信息论与编码第3章

合集下载

信息论与编码理论-第3章信道容量-习题解答

信息论与编码理论-第3章信道容量-习题解答-071102(总11页)--本页仅作为文档封面，使用时请直接删除即可----内页可以根据需求调整合适字体及大小--第3章信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。

i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。

二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{，} 注意单位3-2 求下列三个信道的信道容量及其最佳的输入概率分布。

信息论第三版课后答案

信息论第三版课后答案【篇一：西电邓家先版信息论与编码第3章课后习题解答】6x11/6y13/41/4x2图3.1 二元信道y2?x??x1x2???=?0.60.4?通过一干扰信道，接收符号y=?y1y2?,信道传递概率如p(x)????图3.33所示。

求：（1）信源x中事件x1,和x2分别含有的自信息。

（2）收到消息yj(j=1,2)后，获得的关于xi(i=1,2)的信息量。

（3）信源x和信源y的信息熵。

（4）信道疑义度h（x|y）和噪声熵h（y|x）。

（5）接收到消息y后获得的平均互信息。

八个消息相应编成下述码字：m1=0000, m2=0101, m3=0110, m4=0011, m5=1001, m6=1010, m7=1100, m8=1111, 试问 (1) 接受到第一个数字0与m之间的互信息。

信息论与编码第3版第3章习题解答

第3章无失真离散信源编码习题3.1 设信源1234567()0.20.190.180.170.150.10.01X a a a a a a a P X(1) 求信源熵H (X )； (2) 编二进制香农码；(3) 计算其平均码长及编码效率。

解： (1)()()log ()(.log ..log ..log ..log ..log ..log ..log .).7212222222=-020201901901801801701701501501010010012609 i i i H X p a p a bit symbol(2)a i p (a i ) p a (a i ) k i 码字 a 1 0.2 0 3 000 a 2 0.19 0.2 3 001 a 3 0.18 0.39 3 011 a 4 0.17 0.57 3 100 a 5 0.15 0.74 3 101 a 6 0.1 0.89 4 1110 a 70.010.9971111110(3)()3(0.2+0.19+0.18+0.17+0.15)+40.1+70.01=3.1471i i i K k p a()() 2.609=83.1%3.14H X H X R K3.2 对习题3.1的信源编二进制费诺码，计算其编码效率。

解：a i p (a i ) 编码码字 k i a 1 0.2 000 2 a 2 0.19 1 0 010 3 a 3 0.18 1 011 3 a 4 0.17 110 2 a 5 0.15 10 110 3 a 6 0.1 10 1110 4 a 70.011 11114()2(0.2+0.17)+3(0.19+0.18+0.15)+4(0.1+0.01)=2.7471i i i K k p a()() 2.609=95.2%2.74H X H X R K3.3 对习题3.1的信源分别编二进制和三进制赫夫曼码，计算各自的平均码长及编码效率。

信息论与编码习题与答案第三章

3.1设二元对称信道的传递矩阵为
(1)若P(0)= 3/4,P(1)= 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)；
(2)求该信道的信道容量及其达到信道容量时的输入概率分布；
解：1)
（2)
其最佳输入分布为
3.3在有扰离散信道上传输符号0和1，在传输过程中每100个符号发生一个错误，已知P(0)=P(1)=1/2，信源每秒内发出1000个符号，求此信道的信道容量。
解：由题意可知该二元信道的转移概率矩阵为：为一个BSC信道所以由BSC信道的信道容量计算公式得到：
3-6设有扰离散信道的传输情况分别如图3－17所示。求出该信道的信道容量。
解：信道转移概率矩阵为P= 该信道为离散对称信道DMC
3-7发送端有三种等概率符号， ,接收端收到三种符号，信道转移概率矩阵为
（7） bit/symbol
H(X/Y)=
i
bit/symbol
3-10一个平均功率受限制的连续信道，其通频带为1MHZ，信道上存在白色高斯噪声。
（1）已知信道上的信号与噪声的平均功率比值为10，求该信道的信道容量；
（2）信道上的信号与噪声的平均功率比值降至5，要达到相同的信道容量，信道通频带应为多大？
=
bit/symbol
（3）当接收为，发为时正确，如果发的是则为错误，各自的概率为：
则错误概率为：
（4）
从接收端看平均错误概率为
（5）从发送端看的平均错误概率为：
（6）能看出此信道不好。原因是信源等概率分布，从转移信道来看正确发送的概率x1→y1的概率0.5有一半失真；x2→y2的概率0.3有严重失真；x3→y3的概率0完全失真。
(1)接收端收到一个符号后得到的信息量H(Y);

《信息论与编码》习题解答-第三章

第三章信道容量-习题答案3.1 设二元对称信道的传递矩阵为⎥⎦⎤⎢⎣⎡3/23/13/13/2 (1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布；解： 1)symbolbit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbol bit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbolbit x y p x y p x p X Y H symbolbit x p X H jj iji j i j i i i / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/()/()()/()();(/ 980.0)4167.0log 4167.05833.0log 5833.0()()(4167.032413143)/()()/()()()()(5833.031413243)/()()/()()()()(/ 918.0 10log )32lg 324131lg 314131lg 314332lg 3243( )/(log )/()()/(/ 811.0)41log 4143log 43()()(222221212221221211112111222=-==-==+-=+-=-=-==⨯+⨯-=-==⨯+⨯=+=+==⨯+⨯=+=+==⨯⨯+⨯+⨯+⨯-=-==⨯+⨯-=-=∑∑∑∑2)21)(/ 082.010log )32lg 3231lg 31(2log log );(max 222==⨯++=-==i mi x p symbolbit H m Y X I C3.2 解：(1)αα-==1)(,)(21x p x p⎥⎦⎤⎢⎣⎡=4/14/12/102/12/1P ，⎥⎦⎤⎢⎣⎡---=4/)1(4/)1(2/)1(02/12/1)(αααααj i y x P 4/)1()(,4/14/)(,2/1)(321αα-=+==y p y p y p接收端的不确定度：))1(41log()1(41)4141log()4141()2log(21)(αααα---++-=Y H)1log(41)1log(4123αααα---++-= (2))4log()1(41)4log()1(41)2log()1(210)2log(21)2log(21)|(ααααα-+-+-+++=X Y H α2123-= (3))|()();(X Y H Y H Y X I -=);(max )()(Y X C i x p =α,0)(=ααC d d,得到5/3=α 161.0)5/3();max(===C Y X C 3.3∑==⨯++=+=21919.001.0log 01.099.0log 99.02log log )log(j ij ij p p m C0.919*1000=919bit/s 3.4⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=εεεε-10-10001ij p2/1)()(0)(321===a p a p a p 0)(1=b p2/12/1)1(2/100)|()(),()(222=⨯+-⨯+⨯===∑∑εεi ii ii a b p a p b a p b p2/1-12/12/100)|()(),()(333=⨯+⨯+⨯===∑∑）（εεi ii ii a b p a p b a p b p)()|(log)|();(j i j ji j i b p a b p a b p Y a I ∑=0);(1=Y a Iεεεε2log )1(2log )1(0)()|(log)|();(222+--+==∑j j jj b p a b p a b p Y a I )1(2log )1(2log 0)()|(log)|();(333εεεε--++==∑j j jj b p a b p a b p Y a I当0=ε，1=C 当2/1=ε，0=C 3.5两个信道均为准对称DMC 信道设输入符号概率αα-==1)(,)(21a p a p ，（1）对于第一种信道的联合概率的矩阵为：⎥⎦⎤⎢⎣⎡---------)1(2)1)(1()1)((2)()1(αεαεαεεααεαεp p p p⎥⎦⎤⎢⎣⎡---)()1(εαεp p 3.6⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=2/1002/12/12/10002/12/10002/12/1P 121log 2121log 214log log )log(41=++=+=∑=ij j ij p p m C3.7解：(1)从已知条件可知：3,2,1,3/1)(==i x p i ，且转移概率⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡=0109101103103525110321)|(i j x y p ，则联合概率⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡==010330110110115215110161)()|(i i j ij x p x y p p ，因为：),()(∑=ij i j y x p y p ，可计算得到31)(1=y p ，21)(2=y p ，61)(3=y p499.16log 612log 213log 31)(=++=Y H(2)175.1910log 10310log 301310log 101310log10125log 1525log 151310log 1012log 61)|(log )()|(=+++++++=-=∑iji j j i x y p y x p X Y H (3)当接收为2y ，发送为2x 时正确，如果发送为1x 和3x 为错误，各自的概率为： 5/1)|(21=y x p ，5/1)|(22=y x p ，5/3)|(23=y x p 它的错误概率为：5/4)|()|(2321=+=y x p y x p p e(4)从接收端看到的平均错误概率为：===∑∑≠≠ji ij ji j i j e p y x p y p p )|()(收733.010/115/110/310/130/115/2=+++++(5)从发送端看到的平均错误概率为：===∑∑≠≠ji ij ji i j i e p x y p x p p )|()(发733.010/115/110/310/130/115/2=+++++(6)此信道不好，因为信源等概率分布，从转移信道来看，正确发送的概率11y x >-为0.5，有一半失真；22y x >-为0.3，严重失真；33y x >-为0，完全失真。

信息论与编码理论习题答案全解

信息论与编码理论习题答案全解第二章信息量和熵2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。

解：同步信息均相同，不含信息，因此每个码字的信息量为 2⨯8log =2⨯3=6 bit因此，信息速率为 6⨯1000=6000 bit/s2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。

问各得到多少信息量。

解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1})(a p =366=61得到的信息量 =)(1loga p =6log =2.585 bit (2) 可能的唯一，为 {6，6})(b p =361得到的信息量=)(1logb p =36log =5.17 bit2.4 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521信息量=)(1loga p =!52log =225.58 bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C =13.208 bit即)0;(1u I ，)00;(1u I ，)000;(1u I ，)0000;(1u I)0(p =4)1(81⨯-p +481⨯p =21)0;(1u I =)0()|0(log1p u p =211log p-=1+)1log(p - bit)00(p =]2)1(4)1(2[8122p p p p +-+-=41)00;(1u I =)00()|00(log 1p u p =4/1)1(log 2p -=)]1log(1[2p -+ bit)000(p =])1(3)1(3)1[(813223p p p p p p +-+-+-=81)000;(1u I =3[1+)1log(p -] bit)0000(p =])1(6)1[(814224p p p p +-+- )0000;(1u I =42244)1(6)1()1(8logp p p p p +-+-- bit2.12 计算习题2.9中);(Z Y I 、);(Z X I 、);,(Z Y X I 、)|;(X Z Y I 、)|;(Y Z X I 。

信息论与编码(曹雪虹张宗橙)第二、三章答案

2-1.解：该一阶马尔可夫信源，由转移概率构成的转移矩阵为：对应的状态图如右图所示。

设各符号稳定概率为：1p ，2p ，3p 则可得方程组： 1p =211p +312p +313p 2p =211p +323p3p =322p1p +2p +3p =1解得各符号稳态概率为：1p =2510，2p =259，3p =256 2-2.解：该马尔可夫信源的符号条件概率矩阵为：状态转移概率矩阵为：对应的状态图如右图所示。

设各状态的稳态分布概率为1W ,2W ,3W ,4W ,则可得方程组为：1W =0.81W +0.53W 2W =0.21W +0.53W 3W =0.52W +0.24W4W =0.52W +0.84W1W +2W +3W +4W =1解得稳定分布的概率为:1W =145，2W =142，3W =142，4W =145 2-3.解：（1）“3和5同时出现”事件的概率为： p(3,5)=181故其自信息量为： I(3,5)=-㏒2181=4.17bit （2）“两个1同时出现”事件的概率为：p(1,1)=361故其自信息量为： I(1,1)=- ㏒2361=5.17bit （3）两个点数的各种组合构成的信源，其概率空间为：则该信源熵为： H(x 1)=6×361lb36+15×181lb18=4.337bit/事件（4）两个点数之和构成的信源，其概率空间为：则该信源的熵为： H(x 2)=2×361lb36+2×181lb18+2×121lb12+2×91lb9+2×365lb 536+61lb6=3.274bit/事件（5）两个点数中至少有一个是1的概率为： p(1)=3611 故其自信息量为：I(1)= -㏒23611=1.7105bit 2-7.解：（1）离散无记忆信源的每个符号的自信息量为I(x 1)= -㏒283=1.415bit I(x 2)= -㏒241=2bitI(x 3)= -㏒241=2bitI(x 4)= -㏒281=3bit（2）由于信源发出消息符号序列有12个2，14个0，13个1，6个3，故该消息符号序列的自信息量为： I(x)= -㏒2(83)14 (41)25 (81)6=87.81bit平均每个符号携带的信息量为： L H (x)=45)(x I =1.95bit/符号 2-10解：用1x 表示第一次摸出的球为黑色，用2x 表示第一次摸出的球为白色，用1y 表示第二次摸出的球为黑色，用2y 表示第二次摸出的球为白色，则(1)一次实验包含的不确定度为：H(X)=-p(1x )lbp(1x )-p(2x )lbp(2x )=-13lb 13-23lb 23=0.92 bit (2)第一次实验X 摸出的球是黑色，第二次实验Y 给出的不确定度: H(Y|1x )=-p(1y |1x )lb p(1y |1x )-p(2y |1x )lb p(2y |1x )= -27lb 27-57lb 57= 0.86 bit(3)第一次实验X 摸出的球是白色，第二次实验Y 给出的不确定度:H(Y|2x )=-p(1y |2x )lb p(1y |2x )-p(2y |2x )lb p(2y |2x )= -514lb 514-914lb 914= 0.94 bit（4）第二次Y 包含的不确定度：H （Y|X ）= -(,)(|)i j j i ijp x y lbp y x å= p(1x ) H(Y|1x )+p(2x )H(Y|2x ) =0.91 bit 2-11 解：（1）仅对颜色感兴趣的不确定度： H(colour)=H （238，1838，1838）= -238lb 238- 2´1838lb 1838=1.24 bit (2) 对颜色和数字都感兴趣的平均不确定度： H(clour,number)=H(number)= -18´118lb 118= 5.25 bit (3)颜色已知的条件熵：H （number|colour ）=H （colour,number ）- H(colour)=(5.25-1.24) bit=4.01 bit 2-12 解：（1）实验Ｘ和Ｙ的平均信息量： H(X,Y)= - (,)i j ijp x y ålb (,)i j p x y = -(,)i j ijr x y ålb (,)i j r x y=H(724,124,0,124,14,0,124,724) =2.3 bit/符号（2）由联合概率，可得p(1y )=11(,)p x y +21(,)p x y +31(,)p x y=11(,)r x y +21(,)r x y +31(,)r x y=724+124+0 =13同理可得P(2y )=p(3y )=13,则实验Y 的平均信息量：H(Y)=H(13,13,13)=1.58 bit/符号（3）在已知实验Y结果的条件下，实验X的平均信息量：H(X|Y)=H(X,Y)-H(Y)=(2.3-1.58) bit/符号=0.72 bit/符号2-13解：由X和Y的联合概率，可得P(x=0)=p(x=0,y=0)+p(x=0,y=1)= 18+38=12同理，p(x=1)= 12, p(y=0)=p(y=1)=12由于Z=XY，由X和Y的联合概率，可得P(z=0)= P(x=0,y=0)+P(x=1,y=0)+P(x=0,y=1)= 7 8P(z=1)=p(x=1,y=1)= 1 8P(x=0,z=0)= P(x=0,y=0)+ P(x=0,y=1)= 12, P(x=0,z=1)=0P(x=0,y=0)P(x=0,y=0) P(x=0,y=0) P(x=0,y=0)P(x=1,z=0)= P(x=1,y=0)= 38, P(x=1,z=1) =P(x=1,y=1)=18P(y=0,z=0)= 12P(y=0,z=1)=0 P(y=1,z=0)=38P(y=1,z=1)=18P(x=0,y=0,z=0)= 18P(x=0,y=0,z=1)=0 P(x=0,y=1,z=0)=38P(x=0,y=1,z=1)=0 P(x=1,y=0,z=0)= 38P(x=1,y=1,z=0)=0P(x=0,y=0,z=1)=0 P(x=0,y=1,z=1)=0 P(x=1,y=1,z=1)= 18,则:(1) H(X)=H(12,12)=1 bitH(Y)=H(12,12)=1 bitH(Z) =H(18,78)= 0.54 bitH(X,Z)=H(12,0,38,18)=1.41 bitH(Y,Z) =H(12,0,38,18)=1.41 bitH(X,Y,Z) =H(18,0,38,0,38,0,0,18)=1.8 bit(2) H(X,Y)=H(18,38,18, 38)=1.81 bitH(X|Y)= H(X,Y) – H(Y)=0.81 bit H(Y |X)= H(X,Y) – H(X)=0.81 bit H(X|Z)= H(X,Z) – H(Z)=0.87 bit H(Z|X)= H(X,Z) – H(X)=0.41 bit H(Y|Z)= H(Y ,Z) – H(Z)=0.87 bit H(Z|Y)=H(Y ,Z)-H(Y)=0.41bitH(X|Y ,Z)=H(X,Y ,Z)-H(Y ,Z)=0.4bit H(Y|X,Z)=H(X,Y ,Z)-H(X,Z)=0.4bit H(Z|X,Y)=H(X,Y ,Z)-H(X,Y)=0(3) I(X;Y)=H(X)-H(X|Y)=0.19bit I(X;Z)=H(X)-H(X|Z)=0.13bit I(Y;Z)=H(X)-H(Y|Z)=0.13bitI(X;Y|Z)=H(X|Z)-H(X|Y,Z)=0.47bit I(Y;Z|X)=H(Y|X)-H(Y|X,Z)=0.41bit I(X;Z|Y)=H(X|Y)-H(X|Y ,Z)=0.41bit 2-14 解：依题意，可得信道传输概率p(y=0|x=0)=1-p(y=1|x=0)=3/4, p(y=1|x=1)=1-p(y=0|x=1)=7/8 联合概率：p(x=0,y=0)=p(y=0|x=0)p(x=0)=3/8同理：p(x=0,y=1)=1/8,p(x=1,y=0)=1/16,p(x=1,y=1)=7/16 概率：p(y=0)=p(x=0,y=0)+p(x=1,y=0)=7/16 p(y=1)=p(x=0,y=1)+p(x=1,y=1)=9/16后验概率：p(x=0|y=0)=p(x=0,y=0)/p(y=0)=(3/8)/(7/16)=6/7 同理：p(x=1|y=0)=1/7,p(x=0|y=1)=2/9,p(x=1|y=1)=7/9,则（1） I （x;y=0）=(|0)(|0)log()i i ii p x y p x y p x ==å）22(0|0)(1|0)(0|0)log (1|0)log (0)(1)p x y p x y p x y p x y p x p x =======+====616177(log log )/0.41/117722bit bit =+=符号符号22222(|)()(|)log ()(0|0)(1|0)(0)(0|0)log (0)(1|0)log (0)(1)(0|1)(1|1)(0)(0|1)log (1)(1|1)log (0)(1)76(l 167i j j i j iji p x y p y p x y p x p x y p x y p y p x y p y p x y p x p x p x y p x y p y p x y p y p x y p x p x ========+=========+===+======å（2）I(X;Y)=222261277192977799og log log log )/111116716916922220.31/bit bit +++=符号符号21211111211212211212)(|)()(|)()(|)()112121722343412a P x a x a P x a P x a x a P x a P x a x a P x a =====+===+====???2-29 解：由已知起始概率和转移概率，可得：P(x 2223122211222122213255P(),()2424111111)(log log log ) 1.5224444111111H(|)(log log log ) 1.52244442211H(|)log 0log )0.9183333221H(|)log 333x a P x a bit bit x a bit bitx a bit bitx a =====---==---==-+-==--同理可得：由起始概率，可得：H(x 另外：21log 0)0.9183bit bit+=2111211222132332213122321333H(|)()(|)()(|)()(|)111( 1.50.9180.918) 1.209244H(|)()(|)()(|)()(|)755( 1.50.9180.918) 1.257122424x x P x a H x a P x a H x a P x a H x a bit bit x x P x a H x a P x a H x a P x a H x a bit bit H ==+=+==???==+=+==???12,31213121213212,3(,)H()H(|)H(|)H()H(|)H(|)(1.5 1.209 1.257) 3.996(,) 3.996()/331.322/L x x x x x x x x x x x x x x bit bitH x x x H x bit bit =++=++=++====符号符号12312311321231231231122332)w w w 122w w 23311w w 4311w w 43w w w 1833w ,w ,w ,141414()w (|)(|)(|)833( 1.50.9180.918) 1.251141414r r r w w w w H x H x a w H x a w H x a bit bit¥++=+=+=++=====++=???，（设各稳定时的概率为，，则解得：该链的极限平均符号熵为000111220(3)log 3 1.58/ 1.2511(/)10.211.417883333(log log log ) 1.4137/1414141414141.251()10.1151.4171.251/H bit r y H H H bit bit H r y H H H bit r ¥¥¥====-=-=-==---==-=-=-===符号符号符号2-30解：依题意，状态转移图如下图所示，其状态转移概率矩阵为P=213310⎛⎫⎪ ⎪ ⎪⎝⎭设状态稳定概率为1W 、2W ，则：231W +2W =1W 131W =2W 解得：1W =34 ；2W =141W +2W =1则：H(X |1S )=-232log 23-132log 13=0.918bit H(X |2S )=0信源熵为：H （X ）=1W H(X |1S )+2W H(X |2S )=(34*0.918+14*0)bit=0.688bit2-32解：（1）由状态图，可得状态转移概率矩阵为：P=122122122p p p p p p p p p ⎛⎫- ⎪ ⎪ ⎪- ⎪ ⎪ ⎪- ⎪⎝⎭设状态稳定概率为1W ,2W ,3W ，则：（1-p ）1W +2p 2W +2p3W =1W2p1W + (1-p) 2W +2p3W =2W 解得：1W =2W =3W =13，2p1W +2p2W +(1-p) 3W =3W 即p(0)=p(1)=p(2)= 131W +2W +3W =1(2) H(X|0)=H(X|1)=H(X|2)= - (1-p) 2log (1-p) -2p 2log 2p -2p 2log 2p= - (1-p) 2log (1-p) - p 2log 2pH ∞(X)=p(0)H(X|0)+p(1)H(X|1)+p(2)H(X|2)= - (1-p) 2log (1-p) - p 2log 2p bit (3) H(X)= 2log 3=1.58bit(4) 令()0dH X dp ∞=，得lnln(1)1120ln 2(1)ln 2ln 2ln 2pp p p --+---=- 解得p=23，则：当p=23时，H ∞(X)= （- 132log 13-232log 13）bit =1.58 bit当p=0 时， H(X)=0当p=1时，H(X)=13-1 解（1）由输入概率分布和概率转移，可得： 00(,)p x y =00(|)p y x 0()p x =23*34=12同理，可得：01(,)p x y =14； 10(,)p x y =112； 11(,)p x y =16，则：0()p y =00(,)p x y +10(,)p x y =12+112=7121()p y =01(,)p x y +11(,)p x y =14+16=512因此，H(X)=( - 342log 34- 142log 14) bit =0.811 bit H(X ，Y)=( - 122log 12- 142log 14 - 1122log 112-162log 16)bit=1.73bit H(Y)=( -7122log 712 - 5122log 512)bit=0.98bit H(Y|X)=H(X ，Y)-H(X)=(1.73-0.811)bit=0.919 bitH(X|Y )= H(X ，Y)-H(X)=(1.73-0.98)bit=0.75bit I(X ；Y)=H(X)-H(X|Y)=(0.811-0.75)bit=0.061bit （2）该信道是对称DMC 信道，信道容量为 C= 2log m -1log mijij j pp =∑= 2log 2 +23 2log 23+ 13 2log 13=0.082bit 达到信道容量时输入概率分布为：0()p x = 1()p x =123-2 解：(1)由信源的概率分布和转移概率，可得11(,)p x y =11(|)p y x 1()p x =12α 同理可得：12(,)p x y =12α，13(,)p x y =0 ，21(,)p x y =12（1-α）， 22(,)p x y =14（1-α），23(,)p x y =14（1-α），则：1()p y =11(,)p x y +21(,)p x y =12α+12（1-α）=12，同理可得: 2()p y =14α+14；3()p y =14（1-α）因此，接收端的平均不确定度为：2222211111111log ()log ()(1)log (1)22444444311log (1)log (1)()244bit -??--??+??=-+?-?（2）由于噪声产生的不确定度为：22222111111111(|X )=l o g l o g 0l o g l o g l o g 22222244443()22H Y bit ????--?---¶=-由于互信息为：223113I X;Y)=H(Y)-(Y|X)=[-log (1)log (1)]24422+?抖+?-?-（（）令(;)0dI X Y d =¶,可得：35?，则：(3(;)()0.161bit 5max i p a C I X Y C ==?=）3-6 解：该信道的概率转移矩阵为 110022110022P=11002211022骣÷ç÷ç÷ç÷ç÷ç÷ç÷ç÷÷ç÷ç÷ç÷ç÷ç÷ç÷ç÷÷ç÷ç÷ç÷ç÷ç÷ç÷ç÷÷ç桫可见，该信道为对称DMC 信道，因此，该信道的信道容量为： 42222211111C log m log log 4log ()log ()12222ij ij j p p bit ==+=++=å3-7解：（1）由发送符号的概率分布和转移概率，可得： 1111111(,)(|)()0.536p x y p y x p x ==? 同理可得：12132122233132331121(,),(,),(,),(,)10151510113(,),(,),(,),(,)0103010p x y p x y p x y p x y p x y p x y p x y p x y ========11121311211()(,)(,)(,)615303p y p x y p x y p x y =++=++= 同理可得：2311(),()26p y p y ==;111111(,)16(|)1()23p x y p x y p y ===同理可得：21311222321323331221(|)(|)(|)(|)5555313(|)(|)(|)(|)05105p x y p x y p x y p x y p x y p x y p x y p x y ========，，，，，，因此，222222112233H Y)=p(y )log p(y )-p(y )log p(y )-p(y )log p(y )111111log log log 1.459332266bit=---=（（2）H Y|X)=(;)log (|i j j i ijp x y p y x -å（）222221113112213log log log log log 6210101551551010=----- 222131139log log log 101030101010--- 1.175bit =（3）当接收为2 y ，发出为2x 是正确，发出的是1x 和3x 为错误，由于各自概率为：122232113(|),(|),(|)555p x y p x y p x y === 因此，接收端收到一个符号2y 的错误概率为：123213(|)(|)0.855i p p x y p x y =+=+= （4）从接收端看的平均错误概率为：1213111232213233[(|)(|)]()[(|)(|)]()[(|)(|)]()e P p x y p x y p y p x y p x y p y p x y p x y p y =+++++ 213112321323(,)(,)(,)(,)(,)(,)p x y p x y p x y p x y p x y p x y =+++++ 211311153010101510=+++++0.733= （5）同理可得，从发送端看的平均错误概率为：__210.733e e p p == （6）从转移矩阵来看，正确发送的概率11x y -的概率为0.5，有一半失真；22x y -的概率为0.3，产生失真；33x y -的概率为0，完全失真。

《信息论与编码》第三章部分习题参考答案

第三章习题参考答案第三章习题参考答案3-1解：(1)判断唯一可译码的方法：①先用克劳夫特不等式判定是否满足该不等式；②若满足再利用码树，看码字是否都位于叶子结点上。

如果在叶节点上则一定是唯一可译码，如果不在叶节点上则只能用唯一可译码的定义来判断是不是。

可译码的定义来判断是不是。

其中C1,C2,C3,C6都是唯一可译码。

都是唯一可译码。

对于码C2和C4都满足craft 不等式。

但是不满足码树的条件。

就只能就只能举例来判断。

举例来判断。

对C5：61319225218ki i ---==+´=>å，不满足该不等式。

所以C5不是唯一可译码。

译码。

(2)判断即时码方法：定义：即时码接收端收到一个完整的码字后，就能立即译码。

特点：码集任何一个码不能是其他码的前缀，即时码必定是唯一可译码, 唯一可译码不一定是即时码。

唯一可译码不一定是即时码。

其中C1,C3,C6都是即时码。

都是即时码。

对C2：“0”是“01”的前缀，……，所以C2不是即时码。

不是即时码。

(1) 由平均码长61()i i i K p x k ==å得1236 3 1111712(3456) 241681111712(3456) 2416811152334 24162K bitK bit K bitK bit==´+´+´+++==´+´+´+++==´+´+´´=62111223366()()log () 2 /()266.7%3()294.1%178()294.1%178()280.0%52i i i H U p u p u H U K H U K H U K H U K h h h h ==-=============å比特符号3-7解：(1)信源消息的概率分布呈等比级数，按香农编码方法，其码长集合为自然数数列1, 2, 3, ···, i, ·, i, ····；对应的编码分别为：0, 10, 110, ···, 111…110 ( i 110 ( i –– 1个1), ·1), ····。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

第三章信道与信道容量（第七讲）（2课时）主要内容：（1）信道分类与表示参数（2）离散单个符号信道及其容量重点：无干扰离散信道、对称DMC信道、准对称DMC信道、一般DMC信道。

难点：无干扰离散信道、对称DMC信道、准对称DMC信道、一般DMC信道。

作业：3、1，3、2。

说明：信道是构成信息流通系统的重要部分，其任务是以信号形式传输和存储信息。

在物理信道一定的情况下，人们总是希望传输的信息越多越好。

这不仅与物理信道本身的特性有关，还与载荷信息的信号形式和信源输出信号的统计特性有关。

本章主要讨论在什么条件下，通过信道的信息量最大，即所谓的信道容量问题。

本章概念和定理也较多，较为抽象，课堂教学时考虑多讲述一些例题，着重阐明定理和公式的物理意义，对较为繁琐的推倒过程做了部分省略。

3．1 信道的分类和表示参数信道中存在的干扰使输出信号与输入信号之间没有固定的函数关系，只有统计依赖的关系。

因此可以通过研究分析输入输出信号的统计特性研究信道。

首先看一般信道的数学模型，这里我们采用了一种“黑箱”法来操作。

通信系统模型，在信道编码器和信道解码器之间相隔着许多其他部件，如调制解调、放大、滤波、均衡等器件,以及各种物理信道。

信道遭受各类噪声的干扰，使有用信息遭受损伤。

从信道编码的角度，我们对信号在信道中具体如何传输的物理过程并不感兴趣，而仅对传输的结果感兴趣：送人什么信号,得到什么信号，如何从得到的信号中恢复出送入的信号，差错概率是多少。

故将中间部分全部用信道来抽象。

可得到下图表示的一般信道模型。

图3－1 信道模型3．1．1 信道的分类（1）根据输入输出随机信号的特点分类离散信道：输入、输出随机变量都取离散值。

连续信道：输入、输出随机变量都取连续值。

半离散/半连续信道：输入变量取离散值而输出变量取连续值，或反之。

据输入输出随机变量个数的多少分类单符号信道：输入和输出端都只用一个随机变量来表示。

多符号信道：输入和输出端用随机变量序列/随机矢量来表示。

根据输入输出个数分类单用户信道：只有一个输入和输出的信道。

多用户信道：有多个输入和输出的信道。

根据信道上有无干扰分类有干扰信道无干扰信道根据信道有无记忆特性分类有记忆信道，无记忆信道。

根据输入和输出之间有无反馈有反馈信道无反馈信道。

实际信道的带宽总是有限的，所以输入和输出信号总可以分解成随机序列来研究。

一个实际信道可同时具有多种属性。

最简单的信道是单符号离散信道。

3．1．2 信道参数分四部分来讲述。

1．二进制离散信道模型二进制离散信道模型由一个允许输入值的集合 X ＝{0,1} 和可能输出值的集合Y={0,1}，以及一组表示输入、输出关系的条件概率（转移概率）组成。

最简单的二进制离散信道是二进制对称信道（b inary symmetric channel,BSC ）。

如图3－2所示。

它是一种无记忆信道。

转移概率为：(0/1)(1/0)(1/1)(0/0)1p Y X p Y X pp Y X p Y X p ======⎫⎬======-⎭图3－2 二进制对称信道 2．离散无记忆信道假设信道编码器的输入是n 元符号，即输入符号集由n 个元素X={x 1，x 2，…，x n }构成，而检测器的输出是m 元符号即信道输出符号集由m 个元素Y ＝{y 1,y 2，…，y m }构1-p1pp11成，且信道和调制过程是无记忆的，那么信道模型黑箱的输入一输出特性可以用一组共nm 个条件概率来描述(/)(/)j i j i p Y y X x p y x ==≡。

式中，i=1，2，…，n ；j=1，2，…，m ，；这样的信道称为离散无记忆信道（DMC ）。

1122111(,,,/,,)(/)nn n n n k k k k k p Y y Y y Y y X x X x p Y y X x =========∏(/)j i p y x 构成的矩阵为P 矩阵（信道矩阵），如下：如果信道转移概率矩阵的每一行中只包含一个“1”，其余元素均为“0”，说明信道无干扰，叫无扰离散信道。

在信道输入为x i 的条件下，由于干扰的存在，信道输出不是一个固定值而是概率各异的一组值，这种信道就叫有扰离散信道。

3．离散输入连续输出信道假设信道输入符号选自一个有限的、离散的输入字符集X={x 1，x 2，…， x n }，而信道输出未经量化（m －）∞），这时的译码器输出可以是实轴上的任意值，即y={－∞，∞}。

这样的信道模型为离散时间无记忆信道。

这类信道中最重要的一种是加性高斯白噪声（AWGN ）信道，对它而言Y=X ＋G ，式中G 是一个零均值、方差为2σ的高斯随机变量，X=x i ，i=1，2，…，n 。

当 X 给定后，Y 是一个均值为x i 、方差2σ为的高斯随机变量。

22()/21(/)i y x i p y x eσ--=波形信道是这样一种信道模型：其输入是模拟波形，其输出也是模拟波形。

假设输入该信道的是带限信号x （t ），相应的输出是y （t ），那么y （t ）=x （t ）＋n （t ）这里n （t ）代表加性噪声过程的一个样本函数。

说明：a.设计和分析离散信道编、解码器的性能，从工程角度出发，最常用的是DMC 信道模型或其简化形式BSC 信道模型；b.若分析性能的理论极限，则多选用离散输入、连续输出信道模型；c.如果我们是想要设计和分析数字调制器和解调器的性能，则可采用波形信道模型。

本书的主题是编、解码，因此主要使用DMC 信道模型。

3.2离散单个符号信道及其容量信道模型：见3－1图，图中，输入X ∈{x 1,x 2,…,x i ,…,x n }，输出Y ∈{y 1,y 2,…,y j ,…,y m }。

如果信源熵为H (X )，希望在信道输出端接收的信息量就是H (X )，由于干扰的存在，一般只能接收到I (X ;Y )。

信道的信息传输率：就是平均互信息 R =I (X ;Y )。

输出端Y 往往只能获得关于输入X 的部分信息，这是由于平均互信息性质决定的：I (X ;Y )≤H (X )。

I (X ;Y )是信源无条件概率p (x i )和信道转移概率p (y j /x i )的二元函数，当信道特性p (y j /x i )固定后，I (X ;Y )随信源概率分布p (x i )的变化而变化。

调整p (x i )，在接收端就能获得不同的信息量。

由平均互信息的性质已知，I (X ;Y )是p (x i )的上凸函数，因此总能找到一种概率分布p (x i )（即某一种信源），使信道所能传送的信息率为最大。

信道容量C ：在信道中最大的信息传输速率，单位是比特/信道符号()()max max (;)(/)i i p x p x C R I X Y ==比特信道符号单位时间的信道容量C t ：若信道平均传输一个符号需要t 秒钟，则单位时间的信道容量为：1()max (;)(/)i t tp x C I X Y =比特秒3.2.1 无干扰离散信道介绍三种信道：1．具有一一对应关系的无噪信道对应的信道矩阵是: 1000000101000010001001000110⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦因为信道矩阵中所有元素均是“1”或“0”，X 和Y 有确定的对应关系：已知X 后Y 没有不确定性，噪声熵 H (Y /X )=0；反之，收到Y 后，X也不存在不确定性，信道疑义度 H (X /Y )=0; 故有 I (X ;Y )=H (X )=H (Y )。

当信源呈等概率分布时，具有一一对应确定关系的无噪信道达到信道容量: 2．具有扩展性能的无噪信道 1121314252627383(/)(/)(/)00000000(/)(/)(/)0000(/)(/)p y x p y x p y x p y x p y x p y x p y x p y x ⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦虽然信道矩阵中的元素不全是“1”或“0”，但由于每列中只有一个非零元素：已知Y 后，X 不再有任何不确定度，信道疑义度 H (X /Y )=0，I (X ;Y )= H (X ) -H (X /Y )= H (X ) 。

例如，输出端收到y 2后可以确定输入端发送的是x 1，收到y 7后可以确定输入端发送的是x 3，等等。

信道容量为：2()()max (;)max ()log i i p x p x C I X Y H X n===与一一对应信道不同的是，此时输入端符号熵小于输出端符号熵，H (X ) < H (Y )。

3．具有归并性能的无噪信道10010001001001P ⎡⎤⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦信道矩阵中的元素非“0”即“1”，每行仅有一个非零元素，但每列的非零元素个数大于1：已知某一个x i 后，对应的y j 完全确定，信道噪声熵H (Y /X )=0。

但是收到某一个y j 后，对应的x i 不完全确定，信道疑义度 H (X /Y )≠0。

信道容量为：2()()max (;)max ()log i i p x p x C I X Y H Y m ===结论：无噪信道的信道容量C 只决定于信道的输入符号数n ，或输出符号数m ，与信源无关。

3.2.2 对称DMC 信道如果转移概率矩阵P 的每一行都是第一行的置换(包含同样元素)，称该矩阵是输入对称的；如果转移概率矩阵的每一列都是第一列的置换(包含同样元素)，称该矩阵是输出对称的；如果输入、输出都对称，则称该DMC 为对称的DMC 信道。

对应对称的DMC 信道，当输入呈等概分布时，信道到达信道容量，为：1log (/)log log mi ij ij j C m H Y x m p p ==-=+∑其中第二项为矩阵任一行元素的信息熵。

例题3－1：已知P 矩阵，求C 。

解：1/31/31/61/61/61/61/31/311114(,,,)0.082/3366P C lb H bit ⎡⎤=⎢⎥⎣⎦=-=则符号二进制信道的C 值： log 2(,1)1()p P p C H p p H p ⎡⎤=⎢⎥⎣⎦=--=-1-p 1-p则3．2．3 准对称DMC 信道如果注意概率矩阵P 是输入对称而输出不对称，则称为准对称DMC 信道。

例如： [][][]1111248811114288111188241211118842P P P ⎡⎤=⎢⎥⎣⎦⎡⎤⎡⎤==⎢⎥⎢⎥⎣⎦⎣⎦行具有对称性，列不具有对称性，但把矩阵的前两列和后两列分成互不相交的子集，构成两个子矩阵两个子矩阵都是对称矩阵。

它的信道容量求解较为复杂。

3．2．4 一般DMC 信道为使 I （X;Y ）最大化以便求取DMC 容量，输入概率集{ p （x i ）}必须满足的充分和必要条件是:I （x i ;Y ）＝C , 对于所有满足p （x i ）＞0条件的iI （x i ;Y ）≤C , 对于所有满足p （x i ）=0 条件的i 即是每个概率非零的输入符号对Y 提供相同的平均互信息。