信息论与编码理论-第3章信道容量-习题解答

第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。

i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号 22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。

二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符BSC 信道达到信道容量时，输入为等概率分布，即：{0.5，0.5} 注意单位3-2 求下列三个信道的信道容量及其最佳的输入概率分布。

1b 2b 3b 3a 2a 1a Y X 1b 2b 3a 2a 1a Y X 1b 2b 2a 1a Y X 3b 11111110.70.3第一种：无噪无损信道，其概率转移矩阵为： 1 0 0P=0 1 00 0 1⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦信道容量：()max (;)P X CI X Y bit/符号()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==离散无记忆信道(DMC)只有输入为等概率分布时才能达到信道容量，C=log3=1.5850 bit/符号输入最佳概率分布如下：111,,333⎧⎫⎨⎬⎩⎭第二种：无噪有损信道，其概率转移矩阵为： 1 0P=0 10 1⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦，离散输入信道， ()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H Y H Y X H Y X C I X Y H Y ==-∴=∴==H(Y)输出为等概率分布时可达到最大值，此值就是信道容量 此时最佳输入概率：123p(a )+p(a )=0.5,p(a )=0.5 信道容量：C=log(2)=1 bit/符号第三种：有噪无损信道，由图可知：()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==输入为等概率分布时可达到信道容量，此时信道容量p(x)C=max{H(X)}=log(2)=1 bit/符号 输入最佳概率分布：11,22⎧⎫⎨⎬⎩⎭3-3 设4元删除信道的输入量{1,2,3,4}X ∈，输出量{1,2,3,4,}Y E ∈，转移概率为(|)1(|)1-ε 0 0 0 ε0 1-ε 0 0 ε P=0 0 1-ε 0 ε0 0 0 1-ε ε1-ε 0 0 0 ε0 1-ε 0 0 ε p1= p2=0 0 1-ε 0 ε0 0 0 1-ε εP Y i X i P Y E X i εε===-===⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦其中1,2,3,4i = 1）该信道是对称DMC 信道吗？ 2）计算该信道的信道容量；3）比较该信道与两个独立并联的二元删除信道的信道容量。

（1）本通信过程的转移概率分布如下所示：1-ε 0 0 0 ε0 1-ε 0 0 ε P=0 0 1-ε 0 ε0 0 0 1-ε ε⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦ 可以分解为两个矩阵： 1-ε 0 0 0 ε0 1-ε 0 0 ε p1= p2=0 0 1-ε 0 ε0 0 0 1-ε ε⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦可以看出该信道不是对称DMC 信道，它是准对称DMC 信道。

（2）该信道的信道容量为：（直接套用准对称信道计算公式）2log (|)log (|)log log (4)(1,)(1)log(1)log(4)2(1)log(1)log()(1)log(1)log(4)12log()22(/)4j k j k s sjsC n p b a p b a N M H bit εεεεεεεεεεεεεεεε=+-=------=+--+----=+=-∑∑符号 （3）两个独立并联的二元删除信道其转移概率如下：1-ε ε 00 ε 1-ε⎡⎤⎢⎥⎣⎦可以写成：1-ε 0 ε 0 1-ε ε ⎡⎤⎡⎤⎢⎥⎢⎥⎣⎦⎣⎦与的形式 独立并联的二元信道的信道容量为两个信道容量的和。

其信道容量为：1(1-ε,ε )(1-ε)log(1-ε)εlog(2ε)=1-εC H =--- bit/符号 两个独立并联和删除信道的信道容量=2C=22-ε bit/符号 本信道的信道容量与两个并联删除信道信道容量相等。

3-4 设BSC 信道的转移概率矩阵为112211Q εεεε-⎡⎤=⎢⎥-⎣⎦1）写出信息熵()H Y 和条件熵(|)H Y X 的关于1()H ε和2()H ε表达式，其中()log (1)log(1)H εεεεε=----。

2）根据()H ε的变化曲线，定性分析信道的容道容量，并说明当12εε=的信道容量。

解：（1）设输入信号的概率颁布是{p,1-p}111121212()()(|)()(|)(1)(1)p b p a p b a p a p b a p p =⨯+⨯=⨯-ε+-⨯ε212122212()()(|)()(|)(1)(1)p b p a p b a p a p b a p p =⨯+⨯=⨯ε+-⨯-ε11221212121212()()log ()()log ()[(1)(1)]log[(1)(1)][(1)(1)]log[(1)(1)][(1)(1)]H Y p b p b p b p b p p p p p p p p H p p =--=-⨯-ε+-⨯ε⨯-ε+-⨯ε-⨯ε+-⨯-ε⨯ε+-⨯-ε=⋅-ε+-⋅ε2,1111222212(|)()(|)log (|)[(1)log(1)1log()](1)[(1)log(1)log()]()(1)()i j i j i i j H Y X p a p b a p b a p p p H p H ==-=-⨯-ε-ε+εε---ε-ε+εε=⋅ε+-⋅ε∑（2）()H ε的变化曲线，是一个上凸函数，当输入等概率分布时达到信道容量。

()()1212()max{(;)}max{()(|)}max{[(1)(1)]()(1)()}p x p x p x C I X Y H Y H Y X H p p p H p H ==-=⨯-ε+-⨯ε-⨯ε+-⨯ε由于函数H （ε）是一个凸函数，有一个性质：1212((1))()(1)()f f f θ⋅α+-θ⋅α≥θ⋅α+-θ⋅α可知：C ≥0假设12εε==ε时此信道是一个二元对称信道，转移概率分布为：11Q ε-εε⎡⎤=⎢⎥ε-⎣⎦ 信道容量：121-log -(1-)log(1-)1-()C H εεεεεεεε====3-5 求下列两个信道的容量，并加以比较。

1-p-εp-ε2εp-ε1-p-ε2ε⎡⎤⎢⎥⎣⎦ 120102p p p p εεεεεε---⎡⎤⎢⎥---⎣⎦第一个：可以写成：1-p-ε p-εp-ε 1-p-ε⎡⎤⎢⎥⎣⎦与2ε2ε⎡⎤⎢⎥⎣⎦11(1-p-ε,p-ε,2ε)(12ε)log(12ε)2εlog(4ε)C H =----- bit/符号第二个：120102p p p p εεεεεε---⎡⎤⎢⎥---⎣⎦⎡⎤⎢⎥⎣⎦1-p-ε p-εp-ε 1-p-ε与2ε 00 2ε⎡⎤⎢⎥⎣⎦两个对称形式21(1-p-ε,p-ε,2ε,0)(12ε)log(12ε)2εlog(2ε)C H =-----bit/符号122ε<0C C -=-所以：信道一的信道容量大于信道二的信道容量，信道容量的不增性。

3-6设信道前向转移概率矩阵为1000101Q p p p p ⎡⎤⎢⎥=-⎢⎥⎢⎥-⎣⎦1）求信道容量和最佳输入概率分布的一般表达式；2）当0p =和1/2p =时，信道容量分别为多少？并针对计算结果做出说明。

（1）此信道为非对称信道，设输入概率分布为：{}123123p ,p , p p +p + p 1=输出概率分布为：{}123123q ,q , q q +q + q 1=[]1111121231312312212122232312323331max (;)max[()(|)]()()(|)()(|)()(|)100()()(|)()(|)()(|)0(1)(1)()()C I X Y H Y H Y X q p b p a p b a p a p b a p a p b a p p p p q p b p a p b a p a p b a p a p b a p p p p p p p p pq p b p a ==-==⨯+⨯+⨯=⨯+⨯+⨯===⨯+⨯+⨯=⨯+⨯-+⨯=⨯-+⨯==⨯3123233312323(|)()(|)()(|)0(1)(1)p b a p a p b a p a p b a p p p p p p p p p +⨯+⨯=⨯+⨯+⨯-=⨯+⨯-3,1122332323(|)()(|)log (|)1log1(1)log(1)log log (1)log(1)()(1)log(1)()log i j i j i i j H Y X p x p y x p y x p p p p p p p p p p p p p p p p p p p p p==-=-⨯⨯-⨯---⨯⨯-⨯-⨯--=-+---+∑[]12323max (;)max[()(|)]max[(,,)(,1)(,1)]C I X Y H Y H Y X H q q q p H p p p H p p ==-=----把C 对P 1，P 2，P 3 分别求导：123δC δC δC =0 =0 =0δp δp δp ，可得： 232323233232log(1)(1)log[(1)]log[(1)](,1)0log(1)(1)log[(1)]log[(1)](,1)0p p p p p p p p p p p p H p p p p p p p p p p p p p p H p p -----+-+---=⎧⎨-----+-+---=⎩可得： P 2 = P 3 22log(12)log (,1)0p p H p p ----= 可以解得：23(,1)122H P P p p -==+最佳输入概率分布的表达式为：(,1-)(,1-)(,1-)2111,,222222H P P H P P H P P ⎧⎫-⎨⎬+++⎩⎭设(,1)22H P P N -+=则123()21 p =1 p =p =N Nmax{()(|)}22212(1)log(1)log ()p x C H Y H Y X H p N N N N N-=-=-----（2）p=0时，100010001Q ⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦是一个对称信道，当输入等概率分布时可以达到信道容量，输入转移概率为111,,333⎧⎫⎨⎬⎩⎭N=3，所以2221(1)log(1)log 1.58503333C =----= bit/符号（3）p=1/2时，1001102211022Q ⎡⎤⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦，可得N=4， 1111111log log (,)12224222C H =---= bit/符号3-7设BSC 信道的前向转移概率矩阵为0.980.020.020.98Q ⎡⎤=⎢⎥⎣⎦设该信道以1500个二元符号／秒的速度传输输入符号，现在一消息序列共有14000个二元符号，并设在这消息中(0)(1)1/2P P ==，问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传输完。