信息论与编码习题与答案第三章
信息论与编码理论-第3章信道容量-习题解答
信息论与编码理论-第3章信道容量-习题解答-071102(总11页) --本页仅作为文档封面，使用时请直接删除即可-- --内页可以根据需求调整合适字体及大小--
第3章 信道容量 习题解答 3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤ ⎢⎥⎣⎦ 解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和 (;)I X Y 。 i i 2 i=13311 H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号 111121********* j j j=1 32117 p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125 p(b )=p(a )p(b |a )+p(a )p(b |a )=434312 7755 H(Y)=p(b )log(b )=log()log()0.9799(/) 12121212bit ⨯+⨯= ⨯+⨯=---=∑符号 22 i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a ) 2211 log()log()0.9183(/) 3333 i j j bit -=-=-⨯-⨯=∑∑符号 I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号) (2)求该信道的信道容量及其达到信道容量时的输入概率分布。 二进制对称信息的信道容量 H(P)=-plog(p)-(1-p)log(1-p) 1122 C =1-H(P)=1+log()+log()=0.0817(bit/) 3333 符 BSC 信道达到信道容量时，输入为等概率分布，即：{，} 注意单位
《信息论与编码》习题解答-第三章
第三章 信道容量-习题答案 3.1 设二元对称信道的传递矩阵为? ? ? ???3/23/13/13/2 (1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布； 解： 1) symbol bit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbol bit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbol bit x y p x y p x p X Y H symbol bit x p X H j j i j i j i j i i i / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/() /()()/()();(/ 980.0)4167.0log 4167.05833.0log 5833.0()()(4167 .03 2 413143)/()()/()()()()(5833.031 413243)/()()/()()()()(/ 918.0 10 log )3 2 lg 324131lg 314131lg 314332lg 3243( ) /(log )/()()/(/ 811.0)41 log 4143log 43()()(222221212221221211112111222=-==-==+-=+-=-=-==?+?-=-==?+?=+=+==?+?= +=+==??+?+?+?-=-==?+?-=-=∑∑∑∑ 2) 2 1 )(/ 082.010log )3 2 lg 3231lg 31(2log log );(max 222= =?++=-==i mi x p symbol bit H m Y X I C 3.2 解： (1)αα-==1)(,)(21x p x p ??????=4/14/12/102/12/1P ，?? ? ???---=4/)1(4/)1(2/)1(02/12/1)(αααααj i y x P 4/)1()(,4/14/)(,2/1)(321αα-=+==y p y p y p 接收端的不确定度： ))1(41 log()1(41)4141log()4141()2log(21)(αααα---++-=Y H )1log(41)1log(4123αααα---++-= (2)
信息论与编码第三章曹雪虹习题答案
第三章 3.1 设二元对称信道的传递矩阵为⎥ ⎥⎥⎦⎤⎢⎢⎢⎣⎡32313132 (1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布； 解： 1) symbol bit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbol bit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbol bit x y p x y p x p X Y H symbol bit x p X H j j i j i j i j i i i / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/() /()()/()();(/ 980.0)4167.0log 4167.05833.0log 5833.0()()(4167 .03 2 413143)/()()/()()()()(5833.031 413243)/()()/()()()()(/ 918.0 10 log )3 2 lg 324131lg 314131lg 314332lg 3243( ) /(log )/()()/(/ 811.0)41 log 4143log 43()()(222221212221221211112111222=-==-==+-=+-=-=-==⨯+⨯-=-==⨯+⨯=+=+==⨯+⨯= +=+==⨯⨯+⨯+⨯+⨯-=-==⨯+⨯-=-=∑∑∑∑ 2) 2221122 max (;)log log 2(lg lg )log 100.082 /3333 mi C I X Y m H bit symbol ==-=++⨯=其最佳输入分布为1 ()2 i p x = 3-2某信源发送端有2个符号，i x ，i ＝1，2；()i p x a =，每秒发出一个符号。接受端有3 种符号i y ，j ＝1，2，3，转移概率矩阵为1/21/201/21/41/4P ⎡⎤ =⎢ ⎥ ⎣⎦ 。 （1） 计算接受端的平均不确定度； （2） 计算由于噪声产生的不确定度(|)H Y X ； （3） 计算信道容量。
信息论基础与编码课后题答案(第三章)
3-1 设有一离散无记忆信源，其概率空间为12()0.60.4X x x P x ⎡⎤⎡⎤ =⎢ ⎥⎢⎥ ⎣⎦⎣⎦ ，信源发出符号通过一干扰信道，接收符号为12{,}Y y y =，信道传递矩阵为516 6134 4P ⎡⎤⎢⎥ =⎢ ⎥⎢⎥⎢⎥⎣⎦ ，求： （1） 信源X 中事件1x 和2x 分别含有的自信息量； （2） 收到消息j y （j ＝1，2）后，获得的关于i x （i ＝1，2）的信息量； （3） 信源X 和信宿Y 的信息熵； （4） 信道疑义度(/)H X Y 和噪声熵(/)H Y X ； （5） 接收到消息Y 后获得的平均互信息量(;)I X Y 。 解：（1）12()0.737,() 1.322I x bit I x bit == （2）11(;)0.474I x y bit =，12(;) 1.263I x y bit =-，21(;) 1.263I x y bit =-， 22(;)0.907I x y bit = （3）()(0.6,0.4)0.971/H X H bit symbol == ()(0.6,0.4)0.971/H Y H bit symbol == （4）()(0.5,0.1,0.1,0.3) 1.685/H XY H bit symbol == (/) 1.6850.9710.714/H X Y bit symbol =-= (/)0.714/H Y X bit symbol = （5）(;)0.9710.7140.257/I X Y bit symbol =-= 3-2 设有扰离散信道的输入端是以等概率出现的A 、B 、C 、D 四个字母。该信道的正 确传输概率为0.5，错误传输概率平均分布在其他三个字母上。验证在该信道上每个字母传输的平均信息量为0.21比特。 证明：信道传输矩阵为：
信息论与编码第三章习题参考答案
第三章习题参考答案 3-1 离散无记忆信道如图3.10所示，输入X 取值空间为，信道干扰的概率空间 为 求信道容量和最佳分布。 图3.10 解：设X 的概率分布为 根据Z X ⊕=Y 可以算出条件转移概率矩阵为 ??????--=αα αα11P X |Y 这是一个完全对称的信道，信道容量为 ）-1（）-1（1)(2C αααααlb lb H lb ++=-= 最佳分布为等概率分布，即）5.0,5.0（ 3-2 写出图3.11所示离散无记忆信道的条件转移矩阵，并求信道容量和最佳分布。 图3.11 解：信道的条件转移概率为
??????? ????? ??? ?=434 1031313104143P 观察1、3行，可以发现是相互置换的。 设信道输入为）5.0，0,5.0（，可以计算出相应概率p(bj), 83)()(31= =b p b p 4 1 )(2=b p 平均互信息量为 8 3 ) () |()|()()|()|()()|()|();(I 31 31321212111111=++=b p a b p lb a b p b p a b p lb a b p b p a b p lb a b p Y a 同理可以计算出3);(I 2lb Y a -=，8 3 );(I 3=Y a ，根据信道容量性质可知由于);(I );(I 33Y a Y a =，且03);(I 2<-=lb Y a ，所以信道容量为8 3 );(I C 1==Y a ，而最佳分布为）5.0，0,5.0（。 3-3 在某离散无记忆信道上传输二进制符号0和1，由于受到随机干扰影响，符号传输出现差错，每传输1000个符号会出现2个错误，假设每秒钟允许传输1000个符号，求该信道的信道容量。 解：信道的条件转移概率矩阵为 ?? ????=998.0002.0002.0998.0P 信道容量为 98.0)002.0(2C =-=H lb 比特/符号，每秒钟的信道容量为 9801000*98.0CN C t === 比特/秒 3-4 如图3.12所示的信道，写出条件转移矩阵，求出信道容量和最佳分布，并且求出当 和 时的信道容量。
《信息论与编码》习题解答-第三章
第三章 信道容量 答案 3.1 设二元对称信道的传递矩阵为?? ? ???3/23/13/13/2 (1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布； 解： 1) symbol bit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbol bit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbol bit x y p x y p x p X Y H symbol bit x p X H j j i j i j i j i i i / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/() /()()/()();(/ 980.0)4167.0log 4167.05833.0log 5833.0()()(4167 .03 2 413143)/()()/()()()()(5833.031 413243)/()()/()()()()(/ 918.0 10 log )3 2 lg 324131lg 314131lg 314332lg 3243( ) /(log )/()()/(/ 811.0)41 log 4143log 43()()(222221212221221211112111222=-==-==+-=+-=-=-==?+?-=-==?+?=+=+==?+?= +=+==??+?+?+?-=-==?+?-=-=∑∑∑∑ 2) 2 1 )(/ 082.010log )3 2 lg 3231lg 31(2log log );(max 222= =?++=-==i mi x p symbol bit H m Y X I C 3.2 解： (1)αα-==1)(,)(21x p x p ??????=4/14/12/102/12/1P ，?? ? ???---=4/)1(4/)1(2/)1(02/12/1)(αααααj i y x P 4/)1()(,4/14/)(,2/1)(321αα-=+==y p y p y p 接收端的不确定度： ))1(41 log()1(41)4141log()4141()2log(21)(αααα---++-=Y H )1log(4 1)1log(4123αααα---++-=
信息论与编码第三章习题及答案(清华大学出版社)
版权所有，盗版必究！ 3.1 设二元对称信道的传递矩阵为 ⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡32313132 (1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布； 解： 1) symbol bit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbol bit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbol bit x y p x y p x p X Y H symbol bit x p X H j j i j i j i j i i i / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/() /()()/()();(/ 980.0)4167.0log 4167.05833.0log 5833.0()()(4167 .03 2 413143)/()()/()()()()(5833.031 413243)/()()/()()()()(/ 918.0 10 log )3 2 lg 324131lg 314131lg 314332lg 3243( ) /(log )/()()/(/ 811.0)41 log 4143log 43()()(222221212221221211112111222=-==-==+-=+-=-=-==⨯+⨯-=-==⨯+⨯=+=+==⨯+⨯= +=+==⨯⨯+⨯+⨯+⨯-=-==⨯+⨯-=-=∑∑∑∑ 2) 2221122 max (;)log log 2(lg lg )log 100.082 /3333 mi C I X Y m H bit symbol ==-=++⨯=其最佳输入分布为1 ()2 i p x = 3-2某信源发送端有2个符号，i x ，i ＝1，2；()i p x a =，每秒发出一个符号。接受端有3 种符号i y ，j ＝1，2，3，转移概率矩阵为1/21/201/21/41/4P ⎡⎤ =⎢ ⎥ ⎣⎦ 。 （1） 计算接受端的平均不确定度； （2） 计算由于噪声产生的不确定度(|)H Y X ； （3） 计算信道容量。 解：1/21/201/21/41/4P ⎡⎤ =⎢⎥⎣⎦ 联合概率(,)i j p x y
《信息论与编码》第三章部分习题参考答案
第三章习题参考答案 3-1 解：(1)判断唯一可译码的方法：①先用克劳夫特不等式判定是否满足该不等式；②若满足再利用码树，看码字是否都位于叶子结点上。如果在叶节点上则一定是唯一可译码，如果不在叶节点上则只能用唯一可译码的定义来判断是不是。 其中C1,C2,C3,C6都是唯一可译码。 对于码C2和C4都满足craft 不等式。但是不满足码树的条件。就只能举例来判断。 对C5：6 1319225218 ki i ---==+⨯=>∑，不满足该不等式。所以C5不是唯一可 译码。 (2)判断即时码方法：定义：即时码接收端收到一个完整的码字后，就能立即译码。特点：码集任何一个码不能是其他码的前缀，即时码必定是唯一可译码, 唯一可译码不一定是即时码。 其中C1,C3,C6都是即时码。 对C2：“0”是“01”的前缀，……，所以C2不是即时码。 (1) 由平均码长6 1()i i i K p x k ==∑得 1236 3 1111712(3456) 24168 11117 12(3456) 2416811152334 24162 K bit K bit K bit K bit ==⨯+⨯+⨯+++==⨯+⨯+⨯+++==⨯+⨯+⨯⨯=
6 21 11 22 33 66 ()()log () 2 /()2 66.7%3()294.1%178 ()294.1% 178 ()280.0% 52 i i i H U p u p u H U K H U K H U K H U K ηηηη==-===== ========∑比特符号 3-7 解：(1)信源消息的概率分布呈等比级数，按香农编码方法，其码长集合为自然数数列1, 2, 3, ···, i, ···；对应的编码分别为：0, 10, 110, ···, 111…110 ( i – 1个1), ···。 (2) 先求熵和平均码长，二者的比值即信息传输速率 2()()log () 2 /()...2/() 1 bit/i i I i i I H p x p x bit k p x k H R k =-===== =∑∑X X 符号 码元符号 码元时间 (3)编码效率：η = 1 =100%
信息论与编码理论-第3章信道容量-习题解答
信息论与编码理论-第3章信道容量-习题解答 第3章信道容量 习题解答 3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3?? 解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和 (;)I X Y 。 i i 2 i=1 3311 H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-?-=∑符号 111121********* j j j=1 32117 p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125 p(b )=p(a )p(b |a )+p(a )p(b |a )=434312 7755 H(Y)=p(b )log(b )=log()log()0.9799(/) 12121212bit ?+?= +?= ---=∑符号 22 i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a ) 2211 log()log()0.9183(/) 3333 i j j
bit -=-=-?-?=∑∑符号 I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号) (2)求该信道的信道容量及其达到信道容量时的输入概率分布。 二进制对称信息的信道容量 H(P)=-plog(p)-(1-p)log(1-p) 1122 C =1-H(P)=1+log()+log()=0.0817(bit/) 3333 符 BSC 信道达到信道容量时，输入为等概率分布，即：{0.5，0.5} 注意单位 3-2 求下列三个信道的信道容量及其最佳的输入概率分布。 1b 2b 3b 3 a 2a 1a Y X 1 b 2b 3 a 2a 1a Y X 1 b 2b 2 a 1 a Y X 3 b 111 111 1 0.7 0.3 第一种：无噪无损信道，其概率转移矩阵为：1 0 0P=0 1 00 0 1?? 信道容量：() max (;)P X C
信息论与编码理论_第3章信道容量_习题解答_071102
.. .. ... . . 第3章 信道容量 习题解答 3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤ ⎢⎥⎣⎦ 解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和 (;)I X Y 。 i i 2 i=1 3311 H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号 111121********* j j j=1 32117 p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125 p(b )=p(a )p(b |a )+p(a )p(b |a )=434312 7755 H(Y)=p(b )log(b )=log()log()0.9799(/) 12121212bit ⨯+⨯= ⨯+⨯= ---=∑符号 22 i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a ) 2211 log()log()0.9183(/) 3333 i j j bit -=-=-⨯-⨯=∑∑符号 I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号) (2)求该信道的信道容量及其达到信道容量时的输入概率分布。 二进制对称信息的信道容量 H(P)=-plog(p)-(1-p)log(1-p) 1122 C =1-H(P)=1+log()+log()=0.0817(bit/) 3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{0.5，0.5} 注意单位
西电邓家先版信息论与编码第3章课后习题解答
3.1 设信源 ⎥⎦⎤⎢⎣⎡)(x P X =⎥⎦⎤⎢⎣⎡4.06.021x x 通过一干扰信道，接收符号Y=[]21y y ,信道传递概率如图3.33所示。求： （1） 信源X 中事件x1,和x2分别含有的自信息。 （2） 收到消息yj(j=1,2)后，获得的关于xi(i=1,2)的信息量。 （3） 信源X 和信源Y 的信息熵。 （4） 信道疑义度H （X|Y ）和噪声熵H （Y|X ）。 （5） 接收到消息Y 后获得的平均互信息。 解：（1）由定义得：I （X1）= －log0.6=0.74bit I （X2）= －log0.4=1.32bit （2）P （y1）= 0.6×5/6＋0.4×3/4=0.8 P （y2）= 0.6×1/6＋0.4×1/4=0.2 I （xi ；xj ）= I （xi ）－I （xi|yj ）=log[P （xi|yj ）/p （xi ）] = log[P （yj|xi ）/p （yj ）] 则 I （x1；y1）= log[P （y1|x1）/p （y1）]=log5/6/0.8=0.059bit I （x1；y2）= log[P （y2|x2）/p （y2）]=log1/6/0.2=-0.263bit I （x2；y1）= log[P （y1|x2）/p （y1）]=log3/4/0.8=-0.093bit I （x2；y2）= log[P （y2|x2）/p （y2）]=log1/4/0.2=0.322bit （3）由定义显然 H （X ）=0.97095bit/符号 H （Y ）=0.72193bit/符号 （4）H （Y|X ）= ∑ P （xy ）log[1/P （y|x ）] = 2 2 11 i j ==∑∑ p （xi ）P （yj|xi ）log[1/P （yj|xi ）] =0.6·5/6·log6/5+0.6·1/6·log6+0.4·3/4·log4/3+0.4·1/4·log4 =0.7145bit/符号 H （X|Y ）= H （X ）+H （Y|X ）－H （Y ）=0.9635bit/符号 (5) I （X ；Y ）= H （X ）－H （X|Y ）=0.00745 bit/符号 图3.1 二元信道 1/6 3/4 1/4 5/6 x 1 y 1 y 2 x 2