信息论课后习题答案

第六章 有噪信道编码

6.1 R 为信息传输率，根据香农第二定理，当码长n->无穷大时，满足什么关系式，可使错误概率Pe->0。

答：Pe0，其中E(R)为可靠性函数，且在9

6.2 写出费诺不等式，其中哪一项表示是否判对的疑义度，log(k-1)又表示什么？

答：H(X|Y)<=H2(Pe)+Pelog(k-1) ，H2(pe)是否判对的疑义度。表示如果判决出错，错在k-1个符号中的一个，疑义度不会超过log(k-1)。

6.3 根据香农定理说明，（信息容量）是保证无差错传输时信息传输率R 的上限值，（平均错误概率）是信源可压缩信息的最低极限。

6.4 最大后验概率译码准则就是最小错误译码准则，对吗？

错误。()∑≠-==≠=k i k i k k e y x y x

y x x y p )|(1)|()|(φφφ 这个公式可知最大后验概

率与最小错误译码准则所得的最终结果是相等的。但并非概念定义一致。

6.5 在信源等该分布时，则极大似然函数译码准则就是最小错误译码准则，对吗？ Proof: if ())|(|k k x y p x y p > m=1,2,……,M

Then 信道等概率输入时，有),()(m k x q x q = 代入上式得

)()|()()|(m m k k x q x y p x q x y p >

So,it comes to )()(y x p y x p m k >

所以说明全概率最大，对应最大联合概率译码准则。

1/2 1/6 1/3

6.6 离散无记忆信道DMC ，转移概率矩阵为 P= 1/3 1/2 1/6

1/6 1/3 1/2

(1 )q(x1)=1/2 q(x2)=1/4 q(x3)=1/4. 求最佳判决译码及错误概率。

（2）若信源等概分布，求最佳判决译码及错误概率。

解：

（1）首先求联合概率矩阵111412611164121111264XY P ⎡⎤⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦

最大后验概率准则即最小错误概率准则，也等同于最大联合概率准则，因此，从联合概率矩阵的每一列中选联合概率最大的发送符号作为译码输出，因此将

112233,,y x y x y x →→→ 此时正确译码概率为11223313()()()344

c p p x y p x y p x y =++=⨯= 错误概率为114

e c p p =-= （2）当信源等概率分布时，极大似然准则等价于最大后验概率准则，因此从信道矩阵的每一列中取转移概率最大的一个发送符号作为相应接收符号的译码输出，即是最佳译码方案，因此将112233,,y x y x y x →→→ 此时正确译码概率为112233111()()()(3)322c p p x y p x y p x y =++=⨯⨯= 错误概率为112

e c p p =-=