信息论与编码理论-第3章信道容量-习题解答-071102

第3章 信道容量 习题解答

3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3 解: (1) 若12()3/4,()1/4PaPa，求(),(),(|),(|)HXHYHXYHYX和(;)IXY。

ii2i=13311

H(X)=p(a)log p(a)log()log()0.8113(/)4444bit符号

111121221212222jjj=1

32117p(b)=p(a)p(b|a)+p(a)p(b|a)=43431231125p(b)=p(a)p(b|a)+p(a)p(b|a)=4343127755H(Y)=p(b)log(b)=log()log()0.9799(/)12121212bit

符号 22ijjijiji,H(Y|X)=p(a,b)logp(b|a)p(b|a)logp(b|a)2211log()log()0.9183(/)3333ijj

bit符号

I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit符号)

(2)求该信道的信道容量及其达到信道容量时的输入概率分布。 二进制对称信息的信道容量 H(P)=-plog(p)-(1-p)log(1-p)1122C=1-H(P)=1+log()+log()=0.0817(bit/)

3333符

BSC信道达到信道容量时，输入为等概率分布，即：{0.5，0.5} 注意单位 3-2 求下列三个信道的信道容量及其最佳的输入概率分布。 1b2b3b3a2a1aYX1b2b3a2a1aYX1b2b2a1aYX

3b11111110.70.3

第一种：无噪无损信道，其概率转移矩阵为：1 0 0P=0 1 00 0 1 信道容量：()max(;)PXCIXY@ bit/符号 ()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}pxpxpxpx

CIXYHXHXYHXYCIXYHX



离散无记忆信道(DMC)只有输入为等概率分布时才能达到信道容量， C=log3=1.5850 bit/符号

输入最佳概率分布如下：111,,333

第二种：无噪有损信道，其概率转移矩阵为：1 0P=0 10 1，离散输入信道， ()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}pxpxpxpx

CIXYHYHYXHYXCIXYHY



H(Y)输出为等概率分布时可达到最大值，此值就是信道容量 此时最佳输入概率：123p(a)+p(a)=0.5,p(a)=0.5

信道容量：C=log(2)=1 bit/符号 第三种：有噪无损信道，由图可知：

()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}pxpx

pxpx

CIXYHXHXYHXYCIXYHX

 输入为等概率分布时可达到信道容量，此时信道容量 p(x)C=max{H(X)}=log(2)=1 bit/符号 输入最佳概率分布：11,22

3-3 设4元删除信道的输入量{1,2,3,4}X，输出量{1,2,3,4,}YE，转移概率为 (|)1(|)1-ε 0 0 0 ε0 1-ε 0 0 ε P=0 0 1-ε 0 ε0 0 0 1-ε ε1-ε 0 0 0 ε0 1-ε 0 0 ε p1= p2=0 0 1-ε 0 ε0 0 0 1-ε εPYiXiPYEXi



其中1,2,3,4i

1）该信道是对称DMC信道吗？ 2）计算该信道的信道容量； 3）比较该信道与两个独立并联的二元删除信道的信道容量。 （1）本通信过程的转移概率分布如下所示： 1-ε 0 0 0 ε0 1-ε 0 0 ε P=0 0 1-ε 0 ε0 0 0 1-ε ε 可以分解为两个矩阵： 1-ε 0 0 0 ε0 1-ε 0 0 ε p1= p2=0 0 1-ε 0 ε

0 0 0 1-ε ε



可以看出该信道不是对称DMC信道，它是准对称DMC信道。 （2）该信道的信道容量为：（直接套用准对称信道计算公式）

2log(|)log(|)loglog(4)(1,)(1)log(1)log(4)2(1)log(1)log()(1)log(1)log(4)12log()22(/)4jkjkssjsCnpbapbaNMHbit



符号 （3）两个独立并联的二元删除信道其转移概率如下： 1-ε ε 00 ε 1-ε可以写成：1-ε 0 ε 0 1-ε ε 



与的形式

独立并联的二元信道的信道容量为两个信道容量的和。 其信道容量为：1(1-ε,ε )(1-ε)log(1-ε)εlog(2ε)=1-εCH bit/符号 两个独立并联和删除信道的信道容量=2C=22 bit/符号 本信道的信道容量与两个并联删除信道信道容量相等。

3-4 设BSC信道的转移概率矩阵为 1122

11Q





1）写出信息熵()HY和条件熵(|)HYX的关于1()H和2()H表达式，其中()log(1)log(1)H。 2）根据()H的变化曲线，定性分析信道的容道容量，并说明当12的信道容量。 解：（1）设输入信号的概率颁布是{p,1-p}

111121212

()()(|)()(|)(1)(1)pbpapbapapbapp



212122212

()()(|)()(|)(1)(1)pbpapbapapbapp



11221212121212

()()log()()log()[(1)(1)]log[(1)(1)][(1)(1)]log[(1)(1)][(1)(1)]HYpbpbpbpbppppppppHpp 2,1111222212(|)()(|)log(|)[(1)log(1)1log()](1)[(1)log(1)log()]()(1)()ijijiijHYXpapbapbapppHpH





（2）()H的变化曲线，是一个上凸函数，当输入等概率分布时达到信道容量。 ()()1212()max{(;)}max{()(|)}max{[(1)(1)]()(1)()}pxpxpx

CIXYHYHYXHpppHpH

 由于函数H（ε）是一个凸函数，有一个性质： 1212((1))()(1)()fff 可知：C 假设12时此信道是一个二元对称信道，转移概率分布为：

11Q





信道容量：

121-log-(1-)log(1-)1-()CH



3-5 求下列两个信道的容量，并加以比较。 1-p-εp-ε2εp-ε1-p-ε2ε



120102pppp



第一个：可以写成：1-p-ε p-εp-ε 1-p-ε与2ε2ε 11(1-p-ε,p-ε,2ε)(12ε)log(12ε)2εlog(4ε)CH bit/符号 第二个：120102pppp 

1-p-ε p-ε

p-ε 1-p-ε与2ε 00 2两个对称形式

21(1-p-ε,p-ε,2ε,0)(12ε)log(12ε)2εlog(2ε)CHbit/符号

122ε<0CC 所以：信道一的信道容量大于信道二的信道容量，信道容量的不增性。