信息论与编码课件(第五章)

电气信息工程学院
5.2 错误概率与编码方法
一般信道传输时都会产生错误，而错误概率与译 码规则有关。但当信道给定即信道矩阵给定，不 论选择什么译码规PE总不会趋于零从而消除错误， 那么如何减少错误概率呢？下边讨论通过编码方 法来降低错误概率。 0.99 0 0 例：对于二元对称信道
0.01 0.01 1 0.99 1
电气信息工程学院
5.1 错误概率和译码规则
若采用前边的译码函数A，则平均错误概率为：
PE'
可见 PE PE 若输入不等概分布，其概率分布为：
1 1 1 P(a1 ) , P(a2 ) , P(a3 ) 4 4 2
1 1 P(b / a) [(0.3 0.2) (0.3 0.3) (0.2 0.5)] 0.6 3 Y , X a* 3
P(b j / a* ) P(b j / ai ) 并满足 这样定义的译码规则称为最大似然译码准则。
电气信息工程学院
5.1 错误概率和译码规则
最大似然译码准则的方法是收到一个 b j 后 ，在信道矩阵的第j列，选择最大的值所对 应的输入符号作为译码输出。 最大似然译码准则本身不再依赖于先验概 率 P(ai) 。但当先验概率为等概率分布时， 它使错误概率PE最小。
电气信息工程学院
5.1 错误概率和译码规则
平均错误概率的计算
PE P(b j ) P(e b j ) 1 P[ F (b j ) b j ] P(b j ) 1 P F (b j )b j P(ai b j ) P F (b j )b j
X ,Y Y Y
根据最大似然译码准则仍选择译码函数为B，则
PE P(ai ) Pe(i )
X
1 1 1 (0.3 0.2) (0.2 0.3) (0.3 0.4) 0.6 4 4 2
电气信息工程学院
5.1 错误概率和译码规则
若采用最小错误概率译码准则，则联合概率矩阵 为： 0.125 0.075 0.05
P(a b j ) P(ai b j )

P(b j / a* ) P(a* ) P(b j )

P(b j / ai ) P(ai ) P(b j )
即 P(bj / a* ) P(a* ) P(b j / ai ) P(ai ) 当信源等概分布时，可选择译码函数
F (b j ) a , a A, b j B
0 2/3 2/3 1 1/3 1 1/3 0
电气信息工程学院
5.1 错误概率和译码规则
若译码规则为收到“0”译作“0”，收到“1” 译作“1”，则平均错误概率为（假设输入 等概分布）： 2 (0) (1)
PE P(0) Pe P(1) Pe 3
反之，若收到“0”译作“1”，收到“1”译作 “0”，则平均错误概率为1/3，译错的可能 性为1/3，而译对的可能性增大了，为2/3 ，可见错误概率与信道的统计特性有关， 也与译码规则有关。
H ( X Y ) H ( PE ) PE log( r 1)
这个重要不等式称为费诺不等式。
电气信息工程学院
5.2 错误概率与编码方法
5.1节结论： 1）消息通过有噪信道传输时会发生错误 2）错误概率与译码规则有关 噪声干扰：破坏了信号的内部结构→产生畸变而 造成信息的损失。 提高信号抗噪声干扰能力：改造信号使其内部结 构具有更强的规律性或相关性，当信号的部分结 构被破坏时，仍能根据信号原有的内在规律和相 关性来发现甚至纠正错误，恢复原来的信息。
电气信息工程学院
5.1 错误概率和译码规则
下面来定义译码规则，设离散单符号信道： 输入符号集为 A ai , i 1,2,, r 输出符号集为B b j , j 1,2,, s 制定译码规则就是定义一个单值函数 F (b j ) ai 它对于每一个输出符号 b j确定一个惟一的输入符 号ai与其对应。 F 例 0.5 0.3 0.2 A：(b1 ) a1 B: F (b1 ) a1
电气信息工程学院
第五章 有噪信道编码
5.1 错误概率和译码规则 5.2 错误概率与编码方法 5.4 有噪信道编码定理
5.5联合信源信道编码定理
5.6纠错码的基本思想和汉明码 小结
电气信息工程学院
第五章 有噪信道编码
前一章已经从理论上讨论了，对于无噪无 损信道只要对信源进行适当的编码，总能 以信道容量C无差错的传递信息。但是一般 信道总会存在噪声和干扰，那么在有噪信 道中进行无错传输可以达到的最大信息传 输率是多少呢？怎么使有噪信道中消息传 输错误达到最少?这就是本章所要讨论的问 题。本章的核心是香农第二定理。
电气信息工程学院
5.1 错误概率和译码规则
错误：译码输出≠信源输出 产生原因：噪声干扰 研究目的：减少错误，提高可靠性 研究途径：信道的传递矩阵→信道统计特性→错 误概率 为了减少错误，提高通信的可靠性，就必须分析 错误概率与哪些因素有关，有没有办法控制，能 控制到什么程度。
电气信息工程学院
5.1 错误概率和译码规则
在输入等概率分布时采用译码函数B，可使信道 平均错误概率最小。
1 1 PE P(b a) (0.2 0.3) (0.3 0.3) (0.2 0.4) 0.567 3 Y , X a 3 1 1 (i ) Pe (0.3 0.2) (0.2 0.3) (0.3 0.4) 0.567 3 X 3
电气信息工程学院
5.1 错误概率和译码规则
如果先验概率等概分布，有 P(ai ) 1 r 1 则 PE P (b j ai )
r Y , X a 1 Pe( i ) r X
而 Pe(i )就是某个输入符号 a传输所引起的错误概率 i 上式表明在等先验概率分布情况下，译码错误概 率可用信道矩阵中的元素P(bj|ai)求和（除去每 列对应于F(bj)=a*的那一项）来表示。
P(a b j ) P(ai b j ), ai A ai a
就是把每个输出符号均译成具有最大后验概率的 那个输入符号，使信道错误概率最小。 这种译码规则称为“最大后验概率准则”或“最 小错误概率准则”。
电气信息工程学院
5.1 错误概率和译码规则
通常信道的传递概率P(bj|ai)与输入符号的先验 概率P(ai) 已知，根据贝叶斯定律，有：
P 0.2 0.3 0.5 0.3 0.3 0.4
F (b2 ) a2 F (b3 ) a3
F (b2 ) a3 F (b3 ) a2
电气信息工程学院
5.1 错误概率和译码规则
由于s个输出符号中的每一个都可以译成r个输入 符号中的任何一个，所以共有rs种译码规则可供 选择。 译码规则的选择应该有一个依据，一个自然的依 据就是使平均错误概率最小。 若信道输出端接收到的符号为bj，则译为ai 若发送端发送的是ai则为正确译码；否则为错误 译码。
P(a ) P(b
i (i ) e
j
ai )
(0.125 0.05) (0.075 0.075) (0.05 0.125) 0.5 P(ai ) P
X
1 1 1 1 1 0 0.5 4 4 2
电气信息工程学院
5.1 错误概率和译码规则
电气信息工程学院
5.1 错误概率和译码规则
定义收到bj条件下译码的条件正确概率为：
P( F (b j ) / b j ) P(ai / b j )
收到bj条件下译码的条件错误概率P(e|bj)，是发 送端发送除ai外的其他信源符号的概率。它与条 件正确概率之间关系为：P(e | bj)= 1- P(F(bj) | bj) 对条件错误概率P(e|bj)取平均值，得平均错误 s 概率
电气信息工程学院
5.1 错误概率和译码规则
例 已知信道 F (b1 ) a1 根据最大似然译码准则可得译码函数为B F (b2 ) a3
F (b ) a 3 2
0.5 0.3 0.2 P 0.2 0.3 0.5 0.3 0.3 0.4
电气信息工程学院
第五章 有噪信道编码
我们要尽可能的提高信息传输率，并控制传输误 差。信源编码以提高传输效率作为主要考虑因素 ，信道编码以提高传输可靠性作为主要考虑因素 。这一章讨论信道编码的一些基本概念及信道编 码定理 本章介绍了信道编码和译码的基本概念，介绍了 两种常用的译码准则：最大后验概率译码准则和 最大似然译码准则,还介绍了在这两种译码准则 下错误概率的计算方法。还介绍了信道编码定理 及信道编码逆定理，以及信息论中的一个重要不 等式Fnao不等式。
二元对称信道的三 次扩展信道
电气信息工程学院
5.2 错误概率与编码方法
P(ai b j ) 0.05 0.15 0.075 0.125 0.15 0.2
F (b1 ) a3 所得译码函数为C：F (b2ቤተ መጻሕፍቲ ባይዱ) a3 F (b ) a 3 3
Y X a
平均错误概率为：
PE


j



Y

Y , X a
Y
P(ai b j ) P(a b j )
X ,Y Y
P(a b )
i
平均正确概率为
Y
P E 1 PE P F (b j )b j P(ab j )
j 1


s
电气信息工程学院
5.1 错误概率和译码规则
也可写成： PE
PE E P(e b j ) P(b j ) P(e b j )
j 1