信息论与编码(第三版) 第6章 信道编码理论
合集下载
最新信息论与编码(第三版)
I(ak)lorP g(1 ak)lorP g(ak)
28
2.1.1 自信息
设离散信源X的概率空间为：
P X (x ) P ( a a 1 1 )
a 2 P (a 2)
a 3 ......a q P (a 3) .....P .(a q)
q
i 1
P(ai )
1
自信息量：事件ai发生所含有的信息量
须使用随机矢量的联合概率分布和条件概率分布来说明它们 之间的关联关系。
例：汉字组成的中文序列中，只有根据中文的语法、习惯用语、 修辞制约和表达实际意义的制约所构成的中文序列才是有意义 的中文句子或文章。所以，在汉字序列中前后文字的出现是有 依赖的，是彼此相关的。
25
5）m阶马尔可夫信源（非平稳信源）
底为2，单位为“比特（bit, binary unit）”； 底为e，单位为“奈特（nat, nature unit）”； 底为10，单位为“哈特（hat, Hartley）”； 根据换底公式得：
loga
X
logb X logb a
1 nat = 1.44bit , 1 hat = 3.32 bit；
1948年香农的权威性长文“通信的数学理论”，讨论了信 源和信道特性，1949年香农“噪声中的通信”，两论文奠 定了现代信息论的理论基础。
此后，在基本理论和实际应用方面，信息论都得到了巨大 的发展。
18
第2章 离散信源及其信息测度
2.1 信源的数学模型及分类 2.2 离散信源的信息熵 2.3 信息熵的基本性质 2.5 离散无记忆的扩展信源 2.6 离散平稳信源 2.7 马尔可夫信源 2.8 信源剩余度与自然语言的熵
a 2 P (a 2)
a 3 P (a 3)
28
2.1.1 自信息
设离散信源X的概率空间为：
P X (x ) P ( a a 1 1 )
a 2 P (a 2)
a 3 ......a q P (a 3) .....P .(a q)
q
i 1
P(ai )
1
自信息量：事件ai发生所含有的信息量
须使用随机矢量的联合概率分布和条件概率分布来说明它们 之间的关联关系。
例：汉字组成的中文序列中，只有根据中文的语法、习惯用语、 修辞制约和表达实际意义的制约所构成的中文序列才是有意义 的中文句子或文章。所以，在汉字序列中前后文字的出现是有 依赖的，是彼此相关的。
25
5）m阶马尔可夫信源（非平稳信源）
底为2，单位为“比特（bit, binary unit）”； 底为e，单位为“奈特（nat, nature unit）”； 底为10，单位为“哈特（hat, Hartley）”； 根据换底公式得：
loga
X
logb X logb a
1 nat = 1.44bit , 1 hat = 3.32 bit；
1948年香农的权威性长文“通信的数学理论”，讨论了信 源和信道特性，1949年香农“噪声中的通信”，两论文奠 定了现代信息论的理论基础。
此后，在基本理论和实际应用方面，信息论都得到了巨大 的发展。
18
第2章 离散信源及其信息测度
2.1 信源的数学模型及分类 2.2 离散信源的信息熵 2.3 信息熵的基本性质 2.5 离散无记忆的扩展信源 2.6 离散平稳信源 2.7 马尔可夫信源 2.8 信源剩余度与自然语言的熵
a 2 P (a 2)
a 3 P (a 3)
信息论与编码理论2012-ch6 信道编码-卷积码2
V1
g0(1,1) g1(1,1) g2(1,1)
U
g0(1,2)
σ1
g1(1,2)
σ2
g0(1,3)
V2
图6.4.13 (2,1,2)卷积码编码电路
2012/12/27
9
第六章 信道编码
6.4.5 卷积码的状态转移图与栅格描述
U
σ (0) (1) (σ’2σ’1)(V1V2) (00) (00)(00) (01)(11) (σ’2σ’1)(V1V2) (01) (10)(10) (11)(01) (σ’2σ’1)(V1V2) (10) (00)(11) (01)(00) (σ’2σ’1)(V1V2) (11) (10)(01) (11)(10)
(01/0,10/1)
图6.4.15 (2,1,2)码状态转移图(开放型)
2012/12/27
12
第六章 信道编码
6.4.5 卷积码的状态转移图与栅格描述
(2) 卷积码的状态转移图
闭合型的状转移态图：直接地描述了卷积编码器在任 一时刻的工作状况； 开放型的状态转移图：更适合去描述一个特定输入序 列的编码过程。
2
6.4.1 6.4.2 6.4.3 6.4.4 6.4.5 6.4.6 6.4.7 6.4.8 6.4.9
2012/12/27
第六章 信道编码
6.4.4 卷积码的译码
(1) 卷积码译码的种类：卷积码的译码可分为代数译码和 概率译码。 (2) 代数译码：从码的代数结构出发，以一个约束度的接 收序列为单位，对该接收序列的信息码组进行译码。 大数逻辑译码是代数译码的主要方法。 代数译码中，用矩阵描述比较方便。 (3) 概率译码：从信道的统计特性出发，以远大于约束度 的接收序列为单位，对信息码组进行最大似然的判决。 维特比译码和序列译码是其最主要的方法。 在维特比译码中，用篱笆图来描述码的译码更为方便。
信息论与编码第六章
7
§ 6.1 信 道 编 码 的 概 念
四、检错与纠错方式和能力
⒈ 检纠错方式
❖ FEC（前向纠错）——纠错 ❖ ARQ （自动请求重发）——检错
⒉ 几个概念
❖ 汉明距离/距离：在线性码中，两个码字 U、V 之间对应 码元位上符号取值不同的个数，称为码字 U、V 之间的汉 明距离。
❖ 例如：(7,3) 码的两个码字 U=0011101,V=0100111，它们之间 第2、3、4和6位不同。因此，码字 U 和 V 的距离为4。
❖ 线性系统码的监督矩阵与生成矩阵正交。
四、(n,k)线性码的对偶码
对偶码：对一个(n,k)线性码 CI，由于Hr×nGTn×k=0Tr×k， 如果以G 作监督矩阵，而以H 作生成矩阵， 可构造另一个码CId，码CId是一个(n,n－k)线性 码，称码CId为原码的对偶码。
22
§ 6.2 线 性 分 组 码
第六章 信 道 编 码
信道编码的概念 线性分组码 循环码
1
§ 6.1 信 道 编 码 的 概 念
一、信道编码的作用与分类
❖ 信道编码的目的：提高系统的可靠性 ❖ 实现方法：增加冗余度 ❖ 信道编码的纠错原理
根据一定的规律在待发送的信息码元中人为的加入一些 冗余码元，这些冗余码元与信息码元之间以某种确定的规则相 互关联（约束）。
1 0 0 1 C C 1C 2C 3C 4 [0 1 0]0 1 0 1 0101
0 0 1 1 1 0 0 1 C C 1C 2C 3C 4 [1 1 0]0 1 0 1 1100 0 0 1 1
13
§ 6.2 线 性 分 组 码
二、线性分组码的性质及定理
❖ 当消息码为零向量0…0，所得的码字为零码字0…0。 ❖ 线性分组码的封闭性：线性分组码中任意两个码字
§ 6.1 信 道 编 码 的 概 念
四、检错与纠错方式和能力
⒈ 检纠错方式
❖ FEC（前向纠错）——纠错 ❖ ARQ （自动请求重发）——检错
⒉ 几个概念
❖ 汉明距离/距离：在线性码中，两个码字 U、V 之间对应 码元位上符号取值不同的个数，称为码字 U、V 之间的汉 明距离。
❖ 例如：(7,3) 码的两个码字 U=0011101,V=0100111，它们之间 第2、3、4和6位不同。因此，码字 U 和 V 的距离为4。
❖ 线性系统码的监督矩阵与生成矩阵正交。
四、(n,k)线性码的对偶码
对偶码：对一个(n,k)线性码 CI，由于Hr×nGTn×k=0Tr×k， 如果以G 作监督矩阵，而以H 作生成矩阵， 可构造另一个码CId，码CId是一个(n,n－k)线性 码，称码CId为原码的对偶码。
22
§ 6.2 线 性 分 组 码
第六章 信 道 编 码
信道编码的概念 线性分组码 循环码
1
§ 6.1 信 道 编 码 的 概 念
一、信道编码的作用与分类
❖ 信道编码的目的：提高系统的可靠性 ❖ 实现方法：增加冗余度 ❖ 信道编码的纠错原理
根据一定的规律在待发送的信息码元中人为的加入一些 冗余码元，这些冗余码元与信息码元之间以某种确定的规则相 互关联（约束）。
1 0 0 1 C C 1C 2C 3C 4 [0 1 0]0 1 0 1 0101
0 0 1 1 1 0 0 1 C C 1C 2C 3C 4 [1 1 0]0 1 0 1 1100 0 0 1 1
13
§ 6.2 线 性 分 组 码
二、线性分组码的性质及定理
❖ 当消息码为零向量0…0，所得的码字为零码字0…0。 ❖ 线性分组码的封闭性：线性分组码中任意两个码字
《信息论与编码》_第6章_信道编码
uN) =(p/(D-1))d(1-p)N-d， 其中d是(y1y2…yN)与(u1u2…uN)对应位置值不相同的
位数；（以后将称d为Hamming距离）
6.1.1 离散信道编码问题
记w(y)=P((Y1Y2…YN)=y)。我们知道
w(y) q(u) pN (y | u)； u跑 遍 所 有 的 码 字 （全概率公式）
6.1.1 离散信道编码问题
最简单的检错和纠错 单个的字无法检错：扪→？ 词汇能够检错：我扪的→我扪的 词汇能够纠错：我扪的→我们的，我等的，我辈的，
我班的，… 原因分析：“扪→？”可以有几万个答案，但“我扪
的→？”的答案却很少。 结论：课文以及词汇的概率分布的稀疏性可以用来检
错和纠错。
6.1.1 离散信道编码问题
b(u | y) q(u) pN ( y | u) q(u) pN ( y | u) ；
பைடு நூலகம்
w( y)
q(c) pN (y | c)
c跑 遍 所 有 的 码 字
（贝叶斯公式）
6.1.1
在消息的先验等概的条件下，最大似然 译码等价于最大后验概率译码，因而也
离散信道编是码最佳问的。题但在消息的先验不等概的条 件下，采用最大似然译码就不一定能保 证译码的错误概率最小。
设信源序列经过信源编码后变成了如下的序列
…X-2X-1X0X1X2…。 设各随机变量独立同分布。记H(X)为X0的熵，C为信道容量。 如果设备所确定的编码速率R<C/H(X)，则能够同时满足以下
两条要求： （1） L/N使正确译码（正确接收）的概率尽可能接近1。 （2） L/N ≥R。 如果设备所确定的编码速率R>C/H(X)，则不能够同时满足这
将输出 y译 值为码 u(0)字 。
位数；（以后将称d为Hamming距离）
6.1.1 离散信道编码问题
记w(y)=P((Y1Y2…YN)=y)。我们知道
w(y) q(u) pN (y | u)； u跑 遍 所 有 的 码 字 （全概率公式）
6.1.1 离散信道编码问题
最简单的检错和纠错 单个的字无法检错：扪→？ 词汇能够检错：我扪的→我扪的 词汇能够纠错：我扪的→我们的，我等的，我辈的，
我班的，… 原因分析：“扪→？”可以有几万个答案，但“我扪
的→？”的答案却很少。 结论：课文以及词汇的概率分布的稀疏性可以用来检
错和纠错。
6.1.1 离散信道编码问题
b(u | y) q(u) pN ( y | u) q(u) pN ( y | u) ；
பைடு நூலகம்
w( y)
q(c) pN (y | c)
c跑 遍 所 有 的 码 字
（贝叶斯公式）
6.1.1
在消息的先验等概的条件下，最大似然 译码等价于最大后验概率译码，因而也
离散信道编是码最佳问的。题但在消息的先验不等概的条 件下，采用最大似然译码就不一定能保 证译码的错误概率最小。
设信源序列经过信源编码后变成了如下的序列
…X-2X-1X0X1X2…。 设各随机变量独立同分布。记H(X)为X0的熵，C为信道容量。 如果设备所确定的编码速率R<C/H(X)，则能够同时满足以下
两条要求： （1） L/N使正确译码（正确接收）的概率尽可能接近1。 （2） L/N ≥R。 如果设备所确定的编码速率R>C/H(X)，则不能够同时满足这
将输出 y译 值为码 u(0)字 。
信息论与编码_第6章信道编码概述
按照编码函数f的线性性 线性码：编码函数f ( f1,f2,…,fn)是线性函数 非线性码：否则，称为非线性码。
12
6.2 信道编码概念
按照编码函数对信息元处理方法: 分组码与卷积码
分组码 设k, n是正整数，k n，则把从EAk到An的编码函数 f : EAn 称为一个(n, k)分组码编码器，或称为(n, k)编码函数。全体 码字构成的集合 C={c =f (m): mE} 称为一个q元 (n, k)分组码 (block code)，或简称为(n, k)码。
23
6.3 信道译码准则
设 x= x1x2…xn, y= y1y2…yn是两个二元码字，容易验证以 下等式成立:
d ( x, y )
n
xi yi ,
i 1
其中是模二加法 汉明距离的性质 定理6-1 设x、y与z是长为n的码字，那么汉明距离满足 以下性质： (1) 非负性：d(x, y) 0。且d(x, y) = 0的充分必要条件是 x = y； (2) 对称性：d(x, y) = d(y, x)； (3) 三角不等式：d(x, y) d(x, z)+ d( z, y)。
7
第6章
6.1 6.2 6.3 6.4 6.5
信道编码
信道差错概率 信道编码概念 信道信道译码准则 码的检错与纠错能力 信道编码定理
8
6.2 信道编码概念
信道编码器是一个映射f，它把信源符号序列m变换成 信道符号序列c = f (m)，f称为信道编码函数，或称为纠 错编码函数。信道编码也称为纠错编码。
20
6.2 信道编码概念
例6.1 重复码 重复码是一个(n, 1)分组码，其编码规 则是将每位信息元重复n 1次，也称为n次重复码。 即C ={00…0, 11…1}。对重复码，可以采用大数准 则译码。即如果接收序列中0的个数多于1的个数， 则译为0；否则，译为1。 例如，2元3次重复码的编码规则如下： “0” “000”， “1” “111”。 它是一个2元(3, 1)分组码C={000, 111} 。
信息论与编码原理信道编码
介于中间的纠随机/突发差错码。 构码理论：代数码、几何码、算术码、组
合码等
差错控制系统分类
前向纠错（FEC）：发端信息经纠错编码 后传送，收端通过纠错译码自动纠正传递 过程中的差错
反馈重发（ARQ）：收端通过检测接收码 是否符合编码规律来判断，如判定码组有 错，则通过反向信道通知发端重发该码
生成的码字C
前k位由单位矩阵Ik决定，等于把信息组m原封不 动搬到码字的前k位；
其余的n-k位叫冗余位或一致校验位，是前k个信 息位的线性组合。
这样生成的（n,k）码叫做系统码。 若生成矩阵G不具备系统形式，则生成的码叫做
非系统码。 系统化不改变码集，只是改变了映射规则。
校验矩阵
将H空间的n-k个基底排列起来可构成一个(nk)×n矩阵，称为校验矩阵H。用来校验接收到 的码字是否是正确的；
用这种方法不能得知最优码是如何具体编 出来的，却能得知最优码可以好到什么程 度，并进而推导出有扰离散信道的编码定 理，对指导编码技术具有特别重要的理论 价值。
6.1.3随机编码
在(N,K)分组编码器中随机选定的码集有qNM种 第m个码集(记作{c}m )被随机选中的概率是
P({c}m)q(NM)
qk
<
qn
构造线性分组码的方法就是构造子空间的方法,即 在n维n重矢量空间的n个基底中选取k个基底张 成一个k维n重子空间
空间构成
n维n重空间有相互 正交的n个基底
选择k个基底构成码 空间C
选择另外的(n-k)个 基底构成空间H
C和H是对偶的
CHT＝0,码的生成矩阵，H是它的校验矩阵； H是(n,n-k)对偶码的生成矩阵，它的每一行是
一个基底。 G则是它的校验矩阵。 GHT=0 ，H＝[－ PT In-k ]，二进制时，负号
合码等
差错控制系统分类
前向纠错（FEC）：发端信息经纠错编码 后传送，收端通过纠错译码自动纠正传递 过程中的差错
反馈重发（ARQ）：收端通过检测接收码 是否符合编码规律来判断，如判定码组有 错，则通过反向信道通知发端重发该码
生成的码字C
前k位由单位矩阵Ik决定，等于把信息组m原封不 动搬到码字的前k位；
其余的n-k位叫冗余位或一致校验位，是前k个信 息位的线性组合。
这样生成的（n,k）码叫做系统码。 若生成矩阵G不具备系统形式，则生成的码叫做
非系统码。 系统化不改变码集，只是改变了映射规则。
校验矩阵
将H空间的n-k个基底排列起来可构成一个(nk)×n矩阵，称为校验矩阵H。用来校验接收到 的码字是否是正确的；
用这种方法不能得知最优码是如何具体编 出来的，却能得知最优码可以好到什么程 度，并进而推导出有扰离散信道的编码定 理，对指导编码技术具有特别重要的理论 价值。
6.1.3随机编码
在(N,K)分组编码器中随机选定的码集有qNM种 第m个码集(记作{c}m )被随机选中的概率是
P({c}m)q(NM)
qk
<
qn
构造线性分组码的方法就是构造子空间的方法,即 在n维n重矢量空间的n个基底中选取k个基底张 成一个k维n重子空间
空间构成
n维n重空间有相互 正交的n个基底
选择k个基底构成码 空间C
选择另外的(n-k)个 基底构成空间H
C和H是对偶的
CHT＝0,码的生成矩阵，H是它的校验矩阵； H是(n,n-k)对偶码的生成矩阵，它的每一行是
一个基底。 G则是它的校验矩阵。 GHT=0 ，H＝[－ PT In-k ]，二进制时，负号
信息论与编码 第6章 信道编码
• 特点：
– 单向连续传输,实时性好 – 译码电路复杂
消息m
码字C
接收向量R
消息m’
纠错编码
信道
纠错译码
FEC
13
差错控制系统分类
• 自动请求重发(ARQ)：
– 发端发送检错码,收端译码器判断当前码字传 输是否出错；
– 当有错时按某种协议通过一个反向信道请求 发送端重传已发送的码字（全部或部分）。
1
个差错
⑶可以检测出任意小于等于l同时纠正小于等于t 个差错，
– 是指信号差错概率 • 比特差错率 /比特误码率：
– 在传输的比特总数中发生差错的比特数所占比例 – 是指信息差错概率 • 对二进制传输系统,符号差错等效于比特差错;对多进 制系统,一个符号差错对应多少比特差错却难以确定
5
差错率
• 根据不同的应用场合对差错率有不同的要求: – 在电报传送时,允许的比特差错率约为: 10－4～10－5； – 计算机数据传输,一般要求比特差错率小于: 10－8～10－9； – 在遥控指令和武器系统的指令系统中,要求有 更小的误比特率或码组差错率
6
差错图样
• 为定量地描述信号的差错,定义差错图样E
E=C－R (模M )
• 最常用的二进制码可当作特例来研究,其差错图 样等于收码与发码的模2加,即
E = C⊕R 或 C = R⊕E • 设发送的码字C 1 1 1 1 1 1 1 1 1 1
0:传输中无错 1:传输中有错
接收的码字R 1 0 0 1 0 0 1 1 1 1
• 纠错编码所提高的可靠性,是以牺牲信道利用率 为代价换取的。
• 监督码引入越多,检错、纠错能力越强,但信道的 传输效率下降也越多。
20
– 单向连续传输,实时性好 – 译码电路复杂
消息m
码字C
接收向量R
消息m’
纠错编码
信道
纠错译码
FEC
13
差错控制系统分类
• 自动请求重发(ARQ)：
– 发端发送检错码,收端译码器判断当前码字传 输是否出错；
– 当有错时按某种协议通过一个反向信道请求 发送端重传已发送的码字（全部或部分）。
1
个差错
⑶可以检测出任意小于等于l同时纠正小于等于t 个差错，
– 是指信号差错概率 • 比特差错率 /比特误码率：
– 在传输的比特总数中发生差错的比特数所占比例 – 是指信息差错概率 • 对二进制传输系统,符号差错等效于比特差错;对多进 制系统,一个符号差错对应多少比特差错却难以确定
5
差错率
• 根据不同的应用场合对差错率有不同的要求: – 在电报传送时,允许的比特差错率约为: 10－4～10－5； – 计算机数据传输,一般要求比特差错率小于: 10－8～10－9； – 在遥控指令和武器系统的指令系统中,要求有 更小的误比特率或码组差错率
6
差错图样
• 为定量地描述信号的差错,定义差错图样E
E=C－R (模M )
• 最常用的二进制码可当作特例来研究,其差错图 样等于收码与发码的模2加,即
E = C⊕R 或 C = R⊕E • 设发送的码字C 1 1 1 1 1 1 1 1 1 1
0:传输中无错 1:传输中有错
接收的码字R 1 0 0 1 0 0 1 1 1 1
• 纠错编码所提高的可靠性,是以牺牲信道利用率 为代价换取的。
• 监督码引入越多,检错、纠错能力越强,但信道的 传输效率下降也越多。
20
信息论与编码第六章
监督位 1 0 1 1 1 1 1
列监督
恒比码
• 从n位二进制自然码中挑出1和0的个数之比恒定 的一些码字组成许用码集合
• 五中叏三码是从25＝32个二进制自然码中挑出含 2 3个1,2个0的码字，共10个（ 5 = 10 ），用来表 C 达10个阿拉伯数字； • 七中叏四码则是从27＝128个二进制自然码中选 3 C7 出含4个1,3个0的码字，共35个（ = 35 ），可 用来表达26个英文字母和标点符号。
译码错误概率
• 译码规则一旦确定,译码器就按指令办事。 • 设译码规则为F(bj) = ai* ,当收到一个符号bj时, 按 译码规则它就被译为 ai*。 • 如果信源发出符号恰为 ai*,就翻译对了;如果信源 发出的是其它符号,根据后验概率计算结果可知,翻译对的概率是
• 它的编码效率很低，只有η＝1/n
奇偶校验码
• n-1个信息位后添加1位“奇偶校验位”，其关系为：
ì 0（偶校验） an-1 Å an-2 Å ×××Å a1 Å a0 = í î 1（奇校验）
n-1位信息位 1位监督位 • 编码效率 h 它的编码效率很高，达到： = (n -1) / n = 1-1/ n • 检、纠错能力 可查出任何奇数位错误，却不能収现偶数位的错误， 也没有纠错能力 2 4 • 漏检率 = Cn p 2 (1- p)n-2 + Cn p 4 (1- p)n-4 + ×××
因此最小的汉明距离为d0=3 • 线性码的最小汉明距离: d0= Wmin （最小汉明重量）
•
检错、纠错能力
• 检错、纠错能力与最小汉明距离有直接关系 设d0为最小汉明距离,e为可检错位数,t为可纠错位数,则: (a)为了収现e个错误码元,要求最小码距d0≥e+1 ; (b)为了纠正t个错误码元,要求最小码距 d0≥2 t+1 ; (c) 为収现e个错码元,同时又能纠正其中t (t<e )个错误 码元,要求最小码距 d0≥ e +t +1 ;
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
信号无失真传 输条件：通频 带内系统增益 为常数；相位 为线性(群延时
相等)
❖ 信号差错的指标通常用概率大小表征，符号差错概率 也称为误码元率，是指信号差错的概率；
❖ 误比特率则是表示信息差错概率的一种方法 ；
❖ 对于M进制码元，差图样E为
E (C R)(mod M )
❖ 二进制码而言 E CR
2需要反馈信道， 占用额外频率资源
二、前向纠错方式（FEC）
检测 结果
发送端
信道
接收端
发送
纠错码
接收码字
根据编译 码规则
Y 错误
N
译码 规则 纠错
纠错能力足够好，能够纠 正信道引入的数据错误
输出信息
优点 不足
1.不需要反馈信道，能够实现一对多的同 步广播通信 2.译码实时性好，控制电路比ARQ也简 单 由于假设纠错码的纠错能力足够纠正信息序 列传输中的错误，也就是纠错码与信道的干 扰是相匹配的，所以对信道的适应性较差
❖ 差错图样中的1就是符号差错，同时也是比特差错，而差错 的个数就是汉明距离。
C (1010)
R (0011)
E C R (1001)
一、功能
纠错码的分类
检测码
纠错码
只检测信息传输是否出现错 误，本身没有纠错的能力
不仅能够检测信 息传输中的错误，
并且能够自动纠
循环冗余校验码、 奇偶校验码等
信号传输过程中出现大的 信号波形畸变，导致信号 检错时发生错误，进而出 现 码元错误
叠加强的干扰 或者噪声
信号传输过程 中出现线性或 者非线性失真
线性失真
信号传输过程中不同的频率 分量增益不同，或者由于非
线性相位引起的延时不同
非线性 失真
系统的非线性引起的， 会产生新的频率分量
线性失真可以通过均 衡来解决
正错误，
将信息序列划分为
二、信息
分组码
卷积码
组，但当前码组的编
序列处理 方法
将信息序列划分为位 为一组，然后对各个
信息组分别进行编码，
形成对应的一个码字
译码不仅与当前信息
卷积 组有关，而且与前面
要素 移位、 相加
若干码组的编译码有 关，可以利用码组的
相关性进行译码
三、码元 与原始信 息之间的 关系
主要适合随机错 误信道，纠正其 中可能产生的随 机错误
纠突发错误码
主要用于纠正 信息传输过程 中的突发错误
码元错误成串 出现，山区运 行的列车，高 速移动的汽车， 城市某些区域
五、码 元取值
二进制码 M进制码
纠错码
线性码
分组码
循环码
非循环码
非线性码 卷积码
纠随机 错误码
纠突发 错误码
纠随机与突 发错误码
第六章 信道编码理论
信息论研 究问题
无失真 编码
限失真 编码 香农第 3定理
可靠性
本章和后续章节
有效性
等长编码 变长编码
无失真编码 限失真编码
第4、5章讨论
信息率受到熵的限制，平均码长 不小于熵
香农第1定理
平均码长受到信息 率失真函数限制
在平均失真一定条 件下，编码输出码 率不小于平均失真 所对应信息率
本章讨论通信中的另外一个问题——通信的可靠性问题：
即如何选择 译码规则和 编码方法
减少信道传 输中的信息 差错
由于信道噪声或者干扰的存在， 会产生数据传输错误。
信道编码定理，也 称为香农第二定理
通信原理告诉我们，信 道一定，数据传递错误 一定
以二进制调幅+高斯白噪声为例， 介绍虚警概率、漏报概率，以及 计算错误概率的过程和方法
6.2 纠错码的基本概念
定义6.1 分组码就是对每个k位长的信息组，按照一定规则
增加r=n-k位校验码元，构成长度为n的序列(Cn-1Cn-2….C1C0) 该序列称为码字（或者码组、码矢）。
差错控制方式
重传反馈方式 (ARQ)
前向纠错方式 (FEC)
混合纠错方式 (HEC)
❖ 一、重传反馈方式（ARQ）
信源
检错码 编码器
存储器
前向信道 噪声源
检错码 解码器
信宿
判决检测器 控制器
反馈信道
反馈 控制器
工作方式描述
发送端 发送检测码
前向 接收端
信道
接收码字
发送 后续 数据
Y N
重新发送
出错
检测纠正 数据错误
制定规则 引入冗余 提供检错纠 错的可能
线性分组 码还是卷 积码，或 者其组合
差错编码 差错译码
共同完成
根据已知的规则， 利用引入冗余
按照某种原则(译 码方法)进行检错、
纠错
硬判决译码、软判 决译码； 最大似然译码还是 最小错误概率译码 等等
6.1 差错、差错控制系统分类
差错的 本质
❖ 为了获得合适的误码率，往往按照信道最差的情况设计纠错 码，增加的冗余码元比检错码要多，编码效率一般较低。
❖ 随着编码理论的发展和大规模集成技术的发展，复杂算法的 译码设备越来越简单，成本越来越低，所以在实际中这种方 式得到广泛应用
二、混合纠错方式(HEC)
该编码方式是前两种方式的折中 发送的码不仅具有检错功能，而且具有一定的纠错能力。 接收端接收到码序列后，首先检测出现错误 如果序列错误在码的纠错能力内则自动纠正错误； 如果超出码的纠错能力，则接收端通过反馈信道将出错信 息发送给发送端，要求发送端重发码该码字序列。 由于该方式避免了FEC要求的复杂设备和ARQ方式的信息 连贯性差的缺点，并且可以达到较低的误码率，所以在实际 中得到广泛应用
根据规则
检测错误
反馈 信道
检测 结果
优点
1编译码设备比较简单
2冗余一定，检错码的检错能力比纠错码的 纠错能力要高的多，所以系统具有极强的 纠错能力
3能获得极低的误码率
不足
1信道质量不好时， 数据不同重发，导 致效率下降
由于检错码的检错能力 与信道干扰的变化基本 无关，因此这种系统的 适应性很强，特别适应 于短波、散射、有线等 干扰情况特别复杂的信 道中
原始
数
符号
信息
据
信源
X
信源编码
Y
差错控制 编码
Z
调制
信息错误
数据错 误一定
物理信道
条件：实
信宿
重建 符号
Xˆ
信源译码
Yˆ 差错控制 Zˆ
接收 信息
译码
接收 数据
解调
注
际信息传 输速率不 大于信道
容量，
意 1.信道一定，数据出现差错的概率一定，这是无
法改变的，与差错控制编码/译码方式无关
2.数据出现差错的概率不可改变，但是可以通过引 入差错控制编码/译码，降低信息传递中的错误
线性码
非线性码
线性码的所有码字的
码元都是原始信息元 的线性组合
非线性码的码元不是 信息元的线性组合
线性码的特点：任意 两个线性码字的线性 组合仍然是一个码字
当前许多好码都是线性码
四、构 造码字 的理论
代数码
近世 代数
几何码
投影 几何
算术码 数论
组合码
排列组 合+数论
五、差 错的类 型
高斯信道
随机纠错码
相等)
❖ 信号差错的指标通常用概率大小表征，符号差错概率 也称为误码元率，是指信号差错的概率；
❖ 误比特率则是表示信息差错概率的一种方法 ；
❖ 对于M进制码元，差图样E为
E (C R)(mod M )
❖ 二进制码而言 E CR
2需要反馈信道， 占用额外频率资源
二、前向纠错方式（FEC）
检测 结果
发送端
信道
接收端
发送
纠错码
接收码字
根据编译 码规则
Y 错误
N
译码 规则 纠错
纠错能力足够好，能够纠 正信道引入的数据错误
输出信息
优点 不足
1.不需要反馈信道，能够实现一对多的同 步广播通信 2.译码实时性好，控制电路比ARQ也简 单 由于假设纠错码的纠错能力足够纠正信息序 列传输中的错误，也就是纠错码与信道的干 扰是相匹配的，所以对信道的适应性较差
❖ 差错图样中的1就是符号差错，同时也是比特差错，而差错 的个数就是汉明距离。
C (1010)
R (0011)
E C R (1001)
一、功能
纠错码的分类
检测码
纠错码
只检测信息传输是否出现错 误，本身没有纠错的能力
不仅能够检测信 息传输中的错误，
并且能够自动纠
循环冗余校验码、 奇偶校验码等
信号传输过程中出现大的 信号波形畸变，导致信号 检错时发生错误，进而出 现 码元错误
叠加强的干扰 或者噪声
信号传输过程 中出现线性或 者非线性失真
线性失真
信号传输过程中不同的频率 分量增益不同，或者由于非
线性相位引起的延时不同
非线性 失真
系统的非线性引起的， 会产生新的频率分量
线性失真可以通过均 衡来解决
正错误，
将信息序列划分为
二、信息
分组码
卷积码
组，但当前码组的编
序列处理 方法
将信息序列划分为位 为一组，然后对各个
信息组分别进行编码，
形成对应的一个码字
译码不仅与当前信息
卷积 组有关，而且与前面
要素 移位、 相加
若干码组的编译码有 关，可以利用码组的
相关性进行译码
三、码元 与原始信 息之间的 关系
主要适合随机错 误信道，纠正其 中可能产生的随 机错误
纠突发错误码
主要用于纠正 信息传输过程 中的突发错误
码元错误成串 出现，山区运 行的列车，高 速移动的汽车， 城市某些区域
五、码 元取值
二进制码 M进制码
纠错码
线性码
分组码
循环码
非循环码
非线性码 卷积码
纠随机 错误码
纠突发 错误码
纠随机与突 发错误码
第六章 信道编码理论
信息论研 究问题
无失真 编码
限失真 编码 香农第 3定理
可靠性
本章和后续章节
有效性
等长编码 变长编码
无失真编码 限失真编码
第4、5章讨论
信息率受到熵的限制，平均码长 不小于熵
香农第1定理
平均码长受到信息 率失真函数限制
在平均失真一定条 件下，编码输出码 率不小于平均失真 所对应信息率
本章讨论通信中的另外一个问题——通信的可靠性问题：
即如何选择 译码规则和 编码方法
减少信道传 输中的信息 差错
由于信道噪声或者干扰的存在， 会产生数据传输错误。
信道编码定理，也 称为香农第二定理
通信原理告诉我们，信 道一定，数据传递错误 一定
以二进制调幅+高斯白噪声为例， 介绍虚警概率、漏报概率，以及 计算错误概率的过程和方法
6.2 纠错码的基本概念
定义6.1 分组码就是对每个k位长的信息组，按照一定规则
增加r=n-k位校验码元，构成长度为n的序列(Cn-1Cn-2….C1C0) 该序列称为码字（或者码组、码矢）。
差错控制方式
重传反馈方式 (ARQ)
前向纠错方式 (FEC)
混合纠错方式 (HEC)
❖ 一、重传反馈方式（ARQ）
信源
检错码 编码器
存储器
前向信道 噪声源
检错码 解码器
信宿
判决检测器 控制器
反馈信道
反馈 控制器
工作方式描述
发送端 发送检测码
前向 接收端
信道
接收码字
发送 后续 数据
Y N
重新发送
出错
检测纠正 数据错误
制定规则 引入冗余 提供检错纠 错的可能
线性分组 码还是卷 积码，或 者其组合
差错编码 差错译码
共同完成
根据已知的规则， 利用引入冗余
按照某种原则(译 码方法)进行检错、
纠错
硬判决译码、软判 决译码； 最大似然译码还是 最小错误概率译码 等等
6.1 差错、差错控制系统分类
差错的 本质
❖ 为了获得合适的误码率，往往按照信道最差的情况设计纠错 码，增加的冗余码元比检错码要多，编码效率一般较低。
❖ 随着编码理论的发展和大规模集成技术的发展，复杂算法的 译码设备越来越简单，成本越来越低，所以在实际中这种方 式得到广泛应用
二、混合纠错方式(HEC)
该编码方式是前两种方式的折中 发送的码不仅具有检错功能，而且具有一定的纠错能力。 接收端接收到码序列后，首先检测出现错误 如果序列错误在码的纠错能力内则自动纠正错误； 如果超出码的纠错能力，则接收端通过反馈信道将出错信 息发送给发送端，要求发送端重发码该码字序列。 由于该方式避免了FEC要求的复杂设备和ARQ方式的信息 连贯性差的缺点，并且可以达到较低的误码率，所以在实际 中得到广泛应用
根据规则
检测错误
反馈 信道
检测 结果
优点
1编译码设备比较简单
2冗余一定，检错码的检错能力比纠错码的 纠错能力要高的多，所以系统具有极强的 纠错能力
3能获得极低的误码率
不足
1信道质量不好时， 数据不同重发，导 致效率下降
由于检错码的检错能力 与信道干扰的变化基本 无关，因此这种系统的 适应性很强，特别适应 于短波、散射、有线等 干扰情况特别复杂的信 道中
原始
数
符号
信息
据
信源
X
信源编码
Y
差错控制 编码
Z
调制
信息错误
数据错 误一定
物理信道
条件：实
信宿
重建 符号
Xˆ
信源译码
Yˆ 差错控制 Zˆ
接收 信息
译码
接收 数据
解调
注
际信息传 输速率不 大于信道
容量，
意 1.信道一定，数据出现差错的概率一定，这是无
法改变的，与差错控制编码/译码方式无关
2.数据出现差错的概率不可改变，但是可以通过引 入差错控制编码/译码，降低信息传递中的错误
线性码
非线性码
线性码的所有码字的
码元都是原始信息元 的线性组合
非线性码的码元不是 信息元的线性组合
线性码的特点：任意 两个线性码字的线性 组合仍然是一个码字
当前许多好码都是线性码
四、构 造码字 的理论
代数码
近世 代数
几何码
投影 几何
算术码 数论
组合码
排列组 合+数论
五、差 错的类 型
高斯信道
随机纠错码