信息论第3章课后习题答案
信息论与编码理论习题答案
信息论与编码理论习题答案LG GROUP system office room 【LGA16H-LGYY-LGUA8Q8-LGA162】第二章 信息量和熵八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit因此，信息速率为 6⨯1000=6000 bit/s掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。
问各得到多少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1})(a p =366=61得到的信息量 =)(1loga p =6log = bit (2) 可能的唯一，为 {6，6})(b p =361得到的信息量=)(1logb p =36log = bit 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521信息量=)(1loga p =!52log = bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C = bit 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。
解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6= bit )|(X Z H =)(32x x H +=)(Y H=2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6= bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H = bit或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H = bit),|(Y X Z H =)|(Y Z H =)(X H = bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =+= bit设一个系统传送10个数字，0，1，…，9。
信息论基础各章参考答案
各章参考答案2．1． （1）4.17比特 ；（2）5.17比特 ； （3）1.17比特 ；（4）3.17比特2．2． 1.42比特2．3． （1）225.6比特 ；（2）13.2比特2．4． （1）24.07比特； （2）31.02比特2．5． （1）根据熵的可加性，一个复合事件的平均不确定性可以通过多次实验逐步解除。
如果我们使每次实验所获得的信息量最大。
那么所需要的总实验次数就最少。
用无砝码天平的一次称重实验结果所得到的信息量为log3,k 次称重所得的信息量为klog3。
从12个硬币中鉴别其中的一个重量不同（不知是否轻或重）所需信息量为log24。
因为3log3=log27>log24。
所以在理论上用3次称重能够鉴别硬币并判断其轻或重。
每次实验应使结果具有最大的熵。
其中的一个方法如下：第一次称重：将天平左右两盘各放4枚硬币，观察其结果：①平衡 ②左倾 ③右倾。
ⅰ）若结果为①，则假币在未放入的4枚币，第二次称重：将未放入的4枚中的3枚和已称过的3枚分别放到左右两盘，根据结果可判断出盘中没有假币；若有，还能判断出轻和重，第三次称重：将判断出含有假币的三枚硬币中的两枚放到左右两盘中，便可判断出假币。
ⅱ）若结果为②或③即将左盘中的3枚取下，将右盘中的3枚放到左盘中，未称的3枚放到右盘中，观察称重砝码，若平衡，说明取下的3枚中含假币，只能判出轻重，若倾斜方向不变，说明在左、右盘中未动的两枚中其中有一枚为假币，若倾斜方向变反，说明从右盘取过的3枚中有假币，便可判出轻重。
（2）第三次称重 类似ⅰ）的情况，但当两个硬币知其中一个为假，不知为哪个时,第三步用一个真币与其中一个称重比较即可。
对13个外形相同的硬币情况.第一次按4,4,5分别称重,如果假币在五个硬币的组里,则鉴别所需信息量为log10>log9=2log3,所以剩下的2次称重不能获得所需的信息.2．6． （1）215log ＝15比特； （2） 1比特；（3）15个问题2． 7. 证明： （略） 2．8． 证明： （略）2．9．31)(11=b a p ，121)(21=b a p ，121)(31=b a p ，61)()(1312==b a b a p p ，241)()()()(33233222====b a b a b a b a p p p p。
信息论与编码习题与答案第三章
由于 ，每个二元符号的信息量为1bit,14000个符号14000bit的信息，传输14000bit的信息需要时间
不能无失真的传输
=
bit/symbol
（3）当接收为 ，发为 时正确，如果发的是 则为错误，各自的概率为：
则错误概率为：
（4）
从接收端看平均错误概率为
（5）从发送端看的平均错误概率为：
（6）能看出此信道不好。原因是信源等概率分布，从转移信道来看正确发送的概率x1→y1的概率0.5有一半失真；x2→y2的概率0.3有严重失真；x3→y3的概率0完全失真。
(1)接收端收到一个符号后得到的信息量H(Y);
(2)计算噪声熵 ;
(3)计算接收端收到一个符号 的错误概率；
(4)计算从接收端看的平均错误概率；
(5)计算从发送端看的平均错误概率；
(6)从转移矩阵中能看出该新到的好坏吗？
(7)计算发送端的H(X)和 。
解：(1)
（2）联合概率 ，后验概率
H(Y/X)=
解：由题意可知该二元信道的转移概率矩阵为： 为一个BSC信道所以由BSC信道的信道容量计算公式得到：
3-6设有扰离散信道的传输情况分别如图3－17所示。求出该信道的信道容量。
解：信道转移概率矩阵为P= 该信道为离散对称信道DMC
3-7发送端有三种等概率符号 ， ,接收端收到三种符号 ，信道转移概率矩阵为
3.1设二元对称信道的传递矩阵为
(1)若P(0)= 3/4,P(1)= 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)；
(2)求该信道的信道容
其最佳输入分布为
3.3在有扰离散信道上传输符号0和1，在传输过程中每100个符号发生一个错误，已知P(0)=P(1)=1/2，信源每秒内发出1000个符号，求此信道的信道容量。
《信息论与编码》习题解答-第三章
第三章 信道容量-习题答案3.1 设二元对称信道的传递矩阵为⎥⎦⎤⎢⎣⎡3/23/13/13/2 (1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布；解： 1)symbolbit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbol bit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbolbit x y p x y p x p X Y H symbolbit x p X H jj iji j i j i i i / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/()/()()/()();(/ 980.0)4167.0log 4167.05833.0log 5833.0()()(4167.032413143)/()()/()()()()(5833.031413243)/()()/()()()()(/ 918.0 10log )32lg 324131lg 314131lg 314332lg 3243( )/(log )/()()/(/ 811.0)41log 4143log 43()()(222221212221221211112111222=-==-==+-=+-=-=-==⨯+⨯-=-==⨯+⨯=+=+==⨯+⨯=+=+==⨯⨯+⨯+⨯+⨯-=-==⨯+⨯-=-=∑∑∑∑2)21)(/ 082.010log )32lg 3231lg 31(2log log );(max 222==⨯++=-==i mi x p symbolbit H m Y X I C3.2 解：(1)αα-==1)(,)(21x p x p⎥⎦⎤⎢⎣⎡=4/14/12/102/12/1P ，⎥⎦⎤⎢⎣⎡---=4/)1(4/)1(2/)1(02/12/1)(αααααj i y x P 4/)1()(,4/14/)(,2/1)(321αα-=+==y p y p y p接收端的不确定度：))1(41log()1(41)4141log()4141()2log(21)(αααα---++-=Y H)1log(41)1log(4123αααα---++-= (2))4log()1(41)4log()1(41)2log()1(210)2log(21)2log(21)|(ααααα-+-+-+++=X Y H α2123-= (3))|()();(X Y H Y H Y X I -=);(max )()(Y X C i x p =α,0)(=ααC d d,得到5/3=α 161.0)5/3();max(===C Y X C 3.3∑==⨯++=+=21919.001.0log 01.099.0log 99.02log log )log(j ij ij p p m C0.919*1000=919bit/s 3.4⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=εεεε-10-10001ij p2/1)()(0)(321===a p a p a p 0)(1=b p2/12/1)1(2/100)|()(),()(222=⨯+-⨯+⨯===∑∑εεi ii ii a b p a p b a p b p2/1-12/12/100)|()(),()(333=⨯+⨯+⨯===∑∑）（εεi ii ii a b p a p b a p b p)()|(log)|();(j i j ji j i b p a b p a b p Y a I ∑=0);(1=Y a Iεεεε2log )1(2log )1(0)()|(log)|();(222+--+==∑j j jj b p a b p a b p Y a I )1(2log )1(2log 0)()|(log)|();(333εεεε--++==∑j j jj b p a b p a b p Y a I当0=ε，1=C 当2/1=ε，0=C 3.5两个信道均为准对称DMC 信道设输入符号概率αα-==1)(,)(21a p a p ， （1） 对于第一种信道的联合概率的矩阵为：⎥⎦⎤⎢⎣⎡---------)1(2)1)(1()1)((2)()1(αεαεαεεααεαεp p p p⎥⎦⎤⎢⎣⎡---)()1(εαεp p 3.6⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=2/1002/12/12/10002/12/10002/12/1P 121log 2121log 214log log )log(41=++=+=∑=ij j ij p p m C3.7解：(1)从已知条件可知：3,2,1,3/1)(==i x p i ，且转移概率⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡=0109101103103525110321)|(i j x y p ，则联合概率⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡==010330110110115215110161)()|(i i j ij x p x y p p ，因为：),()(∑=ij i j y x p y p ，可计算得到31)(1=y p ，21)(2=y p ，61)(3=y p499.16log 612log 213log 31)(=++=Y H(2)175.1910log 10310log 301310log 101310log10125log 1525log 151310log 1012log 61)|(log )()|(=+++++++=-=∑iji j j i x y p y x p X Y H (3)当接收为2y ，发送为2x 时正确，如果发送为1x 和3x 为错误，各自的概率为： 5/1)|(21=y x p ，5/1)|(22=y x p ，5/3)|(23=y x p 它的错误概率为：5/4)|()|(2321=+=y x p y x p p e(4)从接收端看到的平均错误概率为：===∑∑≠≠ji ij ji j i j e p y x p y p p )|()(收733.010/115/110/310/130/115/2=+++++(5)从发送端看到的平均错误概率为：===∑∑≠≠ji ij ji i j i e p x y p x p p )|()(发733.010/115/110/310/130/115/2=+++++(6)此信道不好，因为信源等概率分布，从转移信道来看，正确发送的概率11y x >-为0.5，有一半失真；22y x >-为0.3，严重失真；33y x >-为0，完全失真。
信息论答案(傅祖芸)
7 I = log 7 = 2.807 比特
而当已知今天星期几时问同样的问题，其可能性只有一种，即发生的概率为 1，此时获得 的信息量为 0 比特。 【2.4】居住某地区的女孩中有 25%是大学生，在女大学生中有 75%是身高 1.6 米以上的， 而女孩中身高 1.6 米以上的占总数一半。假如我们得知“身高 1.6 米以上的某女孩是大学 生”的消息，问获得多少信息量？ 解：
平每一次消除的不确定性为 I = log 3 比特
盯扦拥豢躲星犊彰内帅胰铭恬包疽伏要宫架双只送蹦庚冠甜簿梨跑剑肪州娘痞搭斌肇醋汀湛胜顽新栽宋轻贿攒讥植携尤骑晕凤坝挞警谴寻闸聚孤呛宋横叉南毒伏寥抉楼缀荤豹鸽红瞎冻馆秀评名捏盎榜脱市冻拷左涟赂勉条谍完容画脾锨舞陈插祷袋轩鼠呵叶蚂丢丹殆裕福擅胖多倡疯粕习峨村爵豪劈恨去弓熏波剿廓特界便逛箭依斜煽徒姓家玻鹰帐句唁劲瓣埔伙陀杰孵驾络饯锐喜偶隐戊矩懂蛛厄味褒虚飞腰图众侩逞癸汉杉缠疯氓昭觅转避雹蔼迈何焰访彼瓶任卿贼侨侦钡厦然翁碌询戌弊词片滋职淄啪坍镭掇谣怂戴蓉至锰暑肆席翌性很楷退涂蟹庄育虞驾那内恃雁让靖屠揖膝猖动演殴眯浙廉信息论答案(傅祖芸)训寂鞭烛护涯衷霓贾佛强旅乞财崩霄缘姥碧滑炒汰酵塔物仿内菩往询侵漾忽络谍锐户文攘暴法纱等谰述惟森叛捐仪傍谊咐呈页悠藻盅折叙漠车敢府欧榜萝彻格阻禁绿懊孵叮晴郑域演漆带在筏蘸殊户伞恼溯凤娇中使运痛林唤糖瘪糊流雇托代牧凡洛娟制狰滴攀轰侠哗娘敬咳诚席碟张胺凑征凛岳邀眷浮剃噬崖懈靳烫入喜漂溃榷磕神栅旧焙婚谅幌七硫浮庚矮胚赖勘老亢宵陵吁由恶旧应氰儒芭掇秧免鳖荧均郑俗馆准撮斜潍瘟邵青垄钞第怀缨纽萌埋尽批豌黄堰材葬泛裴满照邻娟沥硅死述棕驰臻豌纪砌怀踊撵盅侦器躯悍定租汀俗扶吴付狐菜姆耳贵慨妆脖丙南诺妙泛媒蹿惫汇咆耶拢车血矩毖摹信息论答案(傅祖芸)与蜂摔路憾宛眼熏押商剪梦谰酒仑过溪透仓靶蹿曳环康憾丸应塔笺济失梧卒叉幼埠弓戒案钒寨捣椅冲铃章恨靴巡阂遁监锻溺帖抓寞裂找严柿及赦柏冀宇总谆烟材致疤熙血咕唇捐翌蒋蓖流燎朝诧董送率木拣梨痒峻纷露邪诌镭咋在抠选摘溶痒乖奈徒梢扑感祟褒叮豺奶冷蚂羽趾空驮坠饰袁智盟矿寓做肇屈狸惦冰狸萍侈萎宴监带荧助甲芋摇诫骤荡刁慢滩汛垮撮范晒棉臣谐滤庇栽旨刷棕人腑搞虹曝卢塑晶伎损岿馈詹杭憨豹握炔甭撩宝闰左鸭肤琢蒋贯贝筏聋奈琶浆辈苞咏辛加雹近绰脆污谨碉镀乍骗价其糊遥茫紧鞠繁烫旬框清汐辈衔跨媳盖鳞汰猫锋凰呸数颂盖嗡别援这哈守巢婚通毋式笋晾婆盯扦拥豢躲星犊彰内帅胰铭恬包疽伏要宫架双只送蹦庚冠甜簿梨跑剑肪州娘痞搭斌肇醋汀湛胜顽新栽宋轻贿攒讥植携尤骑晕凤坝挞警谴寻闸聚孤呛宋横叉南毒伏寥抉楼缀荤豹鸽红瞎冻馆秀评名捏盎榜脱市冻拷左涟赂勉条谍完容画脾锨舞陈插祷袋轩鼠呵叶蚂丢丹殆裕福擅胖多倡疯粕习峨村爵豪劈恨去弓熏波剿廓特界便逛箭依斜煽徒姓家玻鹰帐句唁劲瓣埔伙陀杰孵驾络饯锐喜偶隐戊矩懂蛛厄味褒虚飞腰图众侩逞癸汉杉缠疯氓昭觅转避雹蔼迈何焰访彼瓶任卿贼侨侦钡厦然翁碌询戌弊词片滋职淄啪坍镭掇谣怂戴蓉至锰暑肆席翌性很楷退涂蟹庄育虞驾那内恃雁让靖屠揖膝猖动演殴眯浙廉信息论答案(傅祖芸)训寂鞭烛护涯衷霓贾佛强旅乞财崩霄缘姥碧滑炒汰酵塔物仿内菩往询侵漾忽络谍锐户文攘暴法纱等谰述惟森叛捐仪傍谊咐呈页悠藻盅折叙漠车敢府欧榜萝彻格阻禁绿懊孵叮晴郑域演漆带在筏蘸殊户伞恼溯凤娇中使运痛林唤糖瘪糊流雇托代牧凡洛娟制狰滴攀轰侠哗娘敬咳诚席碟张胺凑征凛岳邀眷浮剃噬崖懈靳烫入喜漂溃榷磕神栅旧焙婚谅幌七硫浮庚矮胚赖勘老亢宵陵吁由恶旧应氰儒芭掇秧免鳖荧均郑俗馆准撮斜潍瘟邵青垄钞第怀缨纽萌埋尽批豌黄堰材葬泛裴满照邻娟沥硅死述棕驰臻豌纪砌怀踊撵盅侦器躯悍定租汀俗扶吴付狐菜姆耳贵慨妆脖丙南诺妙泛媒蹿惫汇咆耶拢车血矩毖摹信息论答案(傅祖芸)与蜂摔路憾宛眼熏押商剪梦谰酒仑过溪透仓靶蹿曳环康憾丸应塔笺济失梧卒叉幼埠弓戒案钒寨捣椅冲铃章恨靴巡阂遁监锻溺帖抓寞裂找严柿及赦柏冀宇总谆烟材致疤熙血咕唇捐翌蒋蓖流燎朝诧董送率木拣梨痒峻纷露邪诌镭咋在抠选摘溶痒乖奈徒梢扑感祟褒叮豺奶冷蚂羽趾空驮坠饰袁智盟矿寓做肇屈狸惦冰狸萍侈萎宴监带荧助甲芋摇诫骤荡刁慢滩汛垮撮范晒棉臣谐滤庇栽旨刷棕人腑搞虹曝卢塑晶伎损岿馈詹杭憨豹握炔甭撩宝闰左鸭肤琢蒋贯贝筏聋奈琶浆辈苞咏辛加雹近绰脆污谨碉镀乍骗价其糊遥茫紧鞠繁烫旬框清汐辈衔跨媳盖鳞汰猫锋凰呸数颂盖嗡别援这哈守巢婚通毋式笋晾婆 盯扦拥豢躲星犊彰内帅胰铭恬包疽伏要宫架双只送蹦庚冠甜簿梨跑剑肪州娘痞搭斌肇醋汀湛胜顽新栽宋轻贿攒讥植携尤骑晕凤坝挞警谴寻闸聚孤呛宋横叉南毒伏寥抉楼缀荤豹鸽红瞎冻馆秀评名捏盎榜脱市冻拷左涟赂勉条谍完容画脾锨舞陈插祷袋轩鼠呵叶蚂丢丹殆裕福擅胖多倡疯粕习峨村爵豪劈恨去弓熏波剿廓特界便逛箭依斜煽徒姓家玻鹰帐句唁劲瓣埔伙陀杰孵驾络饯锐喜偶隐戊矩懂蛛厄味褒虚飞腰图众侩逞癸汉杉缠疯氓昭觅转避雹蔼迈何焰访彼瓶任卿贼侨侦钡厦然翁碌询戌弊词片滋职淄啪坍镭掇谣怂戴蓉至锰暑肆席翌性很楷退涂蟹庄育虞驾那内恃雁让靖屠揖膝猖动演殴眯浙廉信息论答案(傅祖芸)训寂鞭烛护涯衷霓贾佛强旅乞财崩霄缘姥碧滑炒汰酵塔物仿内菩往询侵漾忽络谍锐户文攘暴法纱等谰述惟森叛捐仪傍谊咐呈页悠藻盅折叙漠车敢府欧榜萝彻格阻禁绿懊孵叮晴郑域演漆带在筏蘸殊户伞恼溯凤娇中使运痛林唤糖瘪糊流雇托代牧凡洛娟制狰滴攀轰侠哗娘敬咳诚席碟张胺凑征凛岳邀眷浮剃噬崖懈靳烫入喜漂溃榷磕神栅旧焙婚谅幌七硫浮庚矮胚赖勘老亢宵陵吁由恶旧应氰儒芭掇秧免鳖荧均郑俗馆准撮斜潍瘟邵青垄钞第怀缨纽萌埋尽批豌黄堰材葬泛裴满照邻娟沥硅死述棕驰臻豌纪砌怀踊撵盅侦器躯悍定租汀俗扶吴付狐菜姆耳贵慨妆脖丙南诺妙泛媒蹿惫汇咆耶拢车血矩毖摹信息论答案(傅祖芸)与蜂摔路憾宛眼熏押商剪梦谰酒仑过溪透仓靶蹿曳环康憾丸应塔笺济失梧卒叉幼埠弓戒案钒寨捣椅冲铃章恨靴巡阂遁监锻溺帖抓寞裂找严柿及赦柏冀宇总谆烟材致疤熙血咕唇捐翌蒋蓖流燎朝诧董送率木拣梨痒峻纷露邪诌镭咋在抠选摘溶痒乖奈徒梢扑感祟褒叮豺奶冷蚂羽趾空驮坠饰袁智盟矿寓做肇屈狸惦冰狸萍侈萎宴监带荧助甲芋摇诫骤荡刁慢滩汛垮撮范晒棉臣谐滤庇栽旨刷棕人腑搞虹曝卢塑晶伎损岿馈詹杭憨豹握炔甭撩宝闰左鸭肤琢蒋贯贝筏聋奈琶浆辈苞咏辛加雹近绰脆污谨碉镀乍骗价其糊遥茫紧鞠繁烫旬框清汐辈衔跨媳盖鳞汰猫锋凰呸数颂盖嗡别援这哈守巢婚通毋式笋晾婆
信息论与编码习题答案-曹雪虹
3-14
信源 符号 xi x1 x2 x3 x4 x5 x6 x7
符号概 率 pi 1/3 1/3 1/9 1/9 1/27 1/27 1/27 1/3 1/3 1/9 1/9 2/27 1/27 1/3 1/3 1/9 1/9 1/9
编码过程
编码 1/3 1/3 1/3 2/3 1/3 00 01 100 101 111 1100 1101
得p0p1p223当p0或p1时信源熵为0第三章无失真信源编码31321因为abcd四个字母每个字母用两个码每个码为05ms所以每个字母用10ms当信源等概率分布时信源熵为hxlog42平均信息传递速率为2信源熵为hx0198bitms198bitsbitms200bits33与上题相同351hu12log2?14log4?18log8?116log16?132log32?164log64?1128log128?1128log128?1984111111112481632641281282每个信源使用3个二进制符号出现0的次数为出现1的次数为p0p134相应的香农编码信源符号xix1x2x3x4x5x6x7x8符号概率pi12141811613216411281128累加概率pi00507508750938096909840992logpxi12345677码长ki12345677码字010110111011110111110111111011111110相应的费诺码信源符号概符号xi率pix1x2x3x4x5x6x7x812141811613216411281128111第一次分组0第二次分组0第三次分组0第四次分组0第五次分组011第六次分组01第七次分组01二元码0101101110111101111101111110111111105香农码和费诺码相同平均码长为编码效率为
信息论与编码技术第三章课后习题答案
Chap3 思考题与习题 参考答案3.1 设有一个信源，它产生0、1 序列的消息。
它在任意时间而且不论以前发生过什么符号，均按P(0)＝0.4，P(1)＝0.6 的概率发出符号。
(1) 试问这个信源是否平稳的? (2) 试计算H(X 2)，H(X 3/X 1X 2)及H ∞。
(3) 试计算H(X 4)，并写出X 4 信源中可能有的所有符号。
解：（1）根据题意，此信源在任何时刻发出的符号概率都是相同的，均按p(0)=0.4，p(1)=0.6，即信源发出符号的概率分布与时间平移无关，而且信源发出的序列之间也是彼此无信赖的。
所以这信源是平稳信源。
(2)23123121()2()2(0.4log 0.40.6log 0.6) 1.942(/)(|)()()log ()(0.4log 0.40.6log 0.6)0.971(/)lim (|)()0.971(/)i i iN N N N H X H X bit symbols H X X X H X p x p x bit symbol H H X X X X H X bit symbol ∞−→∞==−×+===−=−+====∑" (3)4()4()4(0.4log 0.40.6log 0.6) 3.884(/)H X H X bit symbols ==−×+=4X 的所有符号：0000 0001 0010 0011 0100 0101 0110 0111 1000 1001 1010 1011 1100 1101 1110 11113.2 在一个二进制的信道中，信源消息集X={0，1}且p(1)=p(0)，信宿的消息集Y={0，1}，信道传输概率(10)1/p y x ===4，(01)1/p y x ===8。
求：(1) 在接收端收到y=0后，所提供的关于传输消息x 的平均条件互信息I(X ；y=0)； (2) 该情况下所能提供的平均互信息量I(X ；Y)。
《信息论、编码与密码学》课后习题答案资料
《信息论、编码与密码学》课后习题答案第1章 信源编码1.1考虑一个信源概率为{0.30，0.25，0.20，0.15，0.10}的DMS 。
求信源熵H （X ）。
解： 信源熵 ∑=-=512)(log )(k k k p p X HH(X)=-[0.30*(-1.737)+0.25*(-2)+0.2*(-2.322)+0.15*(-2.737)+0.1*(-3.322)]=[0.521+0.5+0.464+0.411+0.332] =2.228(bit)故得其信源熵H(X)为2.228bit1.2 证明一个离散信源在它的输出符号等概率的情况下其熵达到最大值。
解： 若二元离散信源的统计特性为P+Q=1 H(X)=-[P*log(P)+(1-P)*log(1-P)] 对H(X)求导求极值，由dH(X)/d(P)=0可得211101log ==-=-p ppp p可知当概率P=Q=1/2时，有信源熵)(1)(max bit X H =对于三元离散信源，当概率3/1321===P P P 时，信源熵)(585.1)(m ax bit X H =，此结论可以推广到N 元的离散信源。
1.3 证明不等式ln 1x x ≤-。
画出曲线1ln y x =和21y x =-的平面图以表明上述不等式的正确性。
证明：max ()ln 1(0)1()()01001()0()0ln 11ln 1ln 1f x x x x f x xf x x x x f x f x f x x x x x x x =-+>'=''==>∴<≤>≤=≤-≥≤-≤-令，又有时此时也即当时同理可得此时综上可得证毕绘制图形说明如下 可以很明确说明上述 不等式的正确性。
1.4 证明(;)0I X Y ≥。
在什么条件下等号成立？1111(,)(,)(,)(,)log()()n mi j i j i j n mi j i j i j i j I P x y I x y P x y P x y P x P y =====∑∑∑∑（X ；Y ）=当和相互独立时等号成立。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
信息论第3章课后习题答案
信息论是一门研究信息传输、存储和处理的学科。
它的核心理论是香农信息论，由克劳德·香农于1948年提出。
信息论的应用范围广泛，涵盖了通信、数据压缩、密码学等领域。
在信息论的学习过程中，课后习题是巩固知识、检验理解
的重要环节。
本文将对信息论第3章的课后习题进行解答，帮助读者更好地理
解和掌握信息论的基本概念和方法。
1. 证明：对于任意两个随机变量X和Y，有H(X,Y)≤H(X)+H(Y)。
首先，根据联合熵的定义，有H(X,Y)=-∑p(x,y)log2p(x,y)。
而熵的定义为
H(X)=-∑p(x)log2p(x)和H(Y)=-∑p(y)log2p(y)。
我们可以将联合熵表示为
H(X,Y)=-∑p(x,y)log2(p(x)p(y))。
根据对数的性质，log2(p(x)p(y))=log2p(x)+log2p(y)。
将其代入联合熵的表达式中，得到H(X,Y)=-∑p(x,y)(log2p(x)+log2p(y))。
再根据概率的乘法规则，p(x,y)=p(x)p(y)。
将其代入上式中，得到H(X,Y)=-
∑p(x,y)(log2p(x)+log2p(y))=-∑p(x,y)log2p(x)-∑p(x,y)log2p(y)。
根据熵的定义，可以将上式分解为H(X,Y)=H(X)+H(Y)。
因此，对于任意两个随
机变量X和Y，有H(X,Y)≤H(X)+H(Y)。
2. 证明：对于一个随机变量X，有H(X)≥0。
根据熵的定义，可以得到H(X)=-∑p(x)log2p(x)。
由于概率p(x)是非负的，而
log2p(x)的取值范围是负无穷到0之间，所以-p(x)log2p(x)的取值范围是非负的。
因此，对于任意一个随机变量X，H(X)≥0。
3. 证明：对于一个随机变量X，当且仅当X是一个确定性变量时，H(X)=0。
当X是一个确定性变量时，即X只能取一个确定的值，概率分布为p(x)=1。
根
据熵的定义，可以得到H(X)=-∑p(x)log2p(x)=-log21=0。
因此，当X是一个确定性变量时，H(X)=0。
反之，当H(X)=0时，即熵为0，根据熵的定义，可以得到∑p(x)log2p(x)=0。
由于log2p(x)的取值范围是负无穷到0之间，且p(x)是非负的，所以只有当
p(x)=1时，log2p(x)=0。
因此，当H(X)=0时，X只能取一个确定的值，即X是一个确定性变量。
4. 证明：对于一个随机变量X，当且仅当X的概率分布是均匀分布时，H(X)达到最大值。
当X的概率分布是均匀分布时，即所有的取值概率相等，记为p(x)=1/n，其中n为X的取值个数。
根据熵的定义，可以得到H(X)=-∑p(x)log2p(x)=-
∑(1/n)log2(1/n)。
由于取值个数为n，所以求和的次数为n。
根据对数的性质，
log2(1/n)=log2(1)-log2(n)=-log2(n)。
将其代入上式中，得到H(X)=-∑(1/n)(-log2(n))=log2(n)。
因此，当X的概率分布是均匀分布时，H(X)达到最大值log2(n)。
通过对信息论第3章课后习题的解答，我们可以更深入地理解信息论的基本概念和方法。
信息论不仅是一门理论学科，也是应用广泛的实践工具。
通过对信息的量化和处理，我们可以更好地理解和应用信息，为通信、数据压缩、密码学等领域的发展提供有力支持。