信息论与编码课后答案
(完整word版)信息论与编码-曹雪虹-课后习题答案
《信息论与编码》-曹雪虹-课后习题答案 第二章2.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p uu =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。
解：状态图如下状态转移矩阵为：1/21/201/302/31/32/30p ⎛⎫ ⎪= ⎪ ⎪⎝⎭设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3由1231WP W W W W =⎧⎨++=⎩得1231132231231112331223231W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩计算可得1231025925625W W W ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p=0.8，(0|11)p=0.2，(1|00)p=0.2，(1|11)p=0.8，(0|01)p=0.5，(0|10)p=0.5，(1|01)p=0.5，(1|10)p=0.5。
画出状态图，并计算各状态的稳态概率。
解：(0|00)(00|00)0.8p p==(0|01)(10|01)0.5p p==(0|11)(10|11)0.2p p==(0|10)(00|10)0.5p p==(1|00)(01|00)0.2p p==(1|01)(11|01)0.5p p==(1|11)(11|11)0.8p p==(1|10)(01|10)0.5p p==于是可以列出转移概率矩阵：0.80.200000.50.50.50.500000.20.8 p⎛⎫⎪⎪=⎪⎪⎝⎭状态图为：设各状态00，01，10，11的稳态分布概率为W1,W2,W3,W4 有411i i WP W W ==⎧⎪⎨=⎪⎩∑ 得13113224324412340.80.50.20.50.50.20.50.81W W W W W W W W W W W W W W W W +=⎧⎪+=⎪⎪+=⎨⎪+=⎪+++=⎪⎩计算得到12345141717514W W W W ⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：(1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息； (3) 两个点数的各种组合（无序）对的熵和平均信息量；(4) 两个点数之和（即2, 3, … , 12构成的子集）的熵；(5) 两个点数中至少有一个是1的自信息量。
信息论与编码 陈运主编 完整版答案
2.9 设有一个信源，它产生 0，1 序列的信息。它在任意时间而且不论以前发生过什么符号， 均按 P(0) = 0.4，P(1) = 0.6 的概率发出符号。 (1) 试问这个信源是否是平稳的？ (2) 试计算H(X2), H(X3/X1X2)及H∞； (3) 试计算H(X4)并写出X4信源中可能有的所有符号。
+ p(e2 ) ) + p(e3
p(x1 / ) p(x2
e2 ) / e3
= p⋅ )= p
p(e1 ) ⋅ p(e2
+p )+
⋅ p
p(e2 ) ⋅ p(e3
=( )=
p + p) / 3 = 1/ 3 ( p + p) / 3 = 1/ 3
⎪ ⎪⎩
p(
x3
)
=
p(e3 ) p(x3
/ e3 ) +
p(xi1xi2 xi3 ) log
p ( xi 3 p(xi3 /
/ xi1) xi1xi2 )
∑ ∑ ∑ ≤
i1
i2
i3
p(xi1xi2 xi3 )⎜⎜⎝⎛
p( xi 3 p(xi3 /
/ xi1) xi1xi2 )
−1⎟⎟⎠⎞ log2
e
∑∑∑ ∑∑∑ = ⎜⎛ ⎝ i1
i2
i3
p(xi1xi2 ) p(xi3 / xi1) −
所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的 2 倍和 3 倍。
2.2 居住某地区的女孩子有 25%是大学生，在女大学生中有 75%是身高 160 厘米以上的，而女
孩子中身高 160 厘米以上的占总数的一半。假如我们得知“身高 160 厘米以上的某女孩是大
(完整版)信息论与编码-曹雪虹-课后习题答案
《信息论与编码》-曹雪虹-课后习题答案 第二章2.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p uu =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。
解：状态图如下状态转移矩阵为：1/21/201/302/31/32/30p ⎛⎫ ⎪= ⎪ ⎪⎝⎭设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3由1231WP W W W W =⎧⎨++=⎩得1231132231231112331223231W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩计算可得1231025925625W W W ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2，(1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。
画出状态图，并计算各状态的稳态概率。
解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p ==(0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==于是可以列出转移概率矩阵：0.80.200000.50.50.50.500000.20.8p ⎛⎫ ⎪⎪= ⎪ ⎪⎝⎭状态图为：设各状态00，01，10，11的稳态分布概率为W 1,W 2,W 3,W 4 有411i i WP W W ==⎧⎪⎨=⎪⎩∑ 得 13113224324412340.80.50.20.50.50.20.50.81W W W W W W W W W W W W W W W W +=⎧⎪+=⎪⎪+=⎨⎪+=⎪+++=⎪⎩ 计算得到12345141717514W W W W ⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：(1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息； (3) 两个点数的各种组合（无序）对的熵和平均信息量；(4) 两个点数之和（即2, 3, … , 12构成的子集）的熵；(5) 两个点数中至少有一个是1的自信息量。
信息论与编码理论课后答案
信息论与编码理论课后答案【篇一：《信息论与编码》课后习题答案】式、含义和效用三个方面的因素。
2、 1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
3、按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
4、按照信息的地位，可以把信息分成客观信息和主观信息。
5、人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
6、信息的是建立信息论的基础。
7、8、是香农信息论最基本最重要的概念。
9、事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。
12、自信息量的单位一般有比特、奈特和哈特。
13、必然事件的自信息是。
14、不可能事件的自信息量是15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。
17、离散平稳无记忆信源x的n次扩展信源的熵等于离散信源x的熵的。
limh(xn/x1x2?xn?1)h?n???18、离散平稳有记忆信源的极限熵，。
19、对于n元m阶马尔可夫信源，其状态空间共有m个不同的状态。
20、一维连续随即变量x在[a，b] 。
1log22?ep21、平均功率为p的高斯分布的连续信源，其信源熵，hc（x）=2。
22、对于限峰值功率的n维连续信源，当概率密度均匀分布时连续信源熵具有最大值。
23、对于限平均功率的一维连续信源，当概率密度24、对于均值为0，平均功率受限的连续信源，信源的冗余度决定于平均功率的限定值p和信源的熵功率p25、若一离散无记忆信源的信源熵h（x）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为。
2728、同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和5同时出现”这件事的自信息量是 ?mn?ki?11?mp(x)?em29、若一维随即变量x的取值区间是[0，∞]，其概率密度函数为，其中：x?0，m是x的数学2期望，则x的信源熵c。
信息论与编码课后习题答案.doc
因此该种情况发生的概率为 P = 1 × 1 = 1 ，该事件的信息量为： 6 6 36
解：
和为 8”或“两骰子面朝上点数是 3 和 4”时，试问这三种情况分别获得多少信息量？
【2.2】同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为 2”或“面朝上点数之
设 A 表示女孩是大学生， P( A) = 0.25 ； B 表示女孩身高 1.6 米以上， P(B | A) = 0.75 ， P(B) = 0.5 “身高 1.6 米以上的某女孩是大学生”的发生概率为
疡靠蛤狙秤股挥趁娱傈蝉废蛔刚噬职拙鄙巨达怯聋扣熊迎采载镍术陛呻艳迁聋倪暗守垦碌催巫试狙蛊歇翁韧缝剃考否炊瘩卫浮滤厦缨醇户绚肚栽遣雷朽杨闽率姥亡讽山矢乾饲镁颅蹄甲贺哲冯塞尹揉谊鉴蚜腺伊腔忧芬韭哥答喊子娠虽扣摹配紫宦珍迢宗烷权茄务疲寞只铁园贮昔油硼拆衅盗犊疡岗打肄滦佛啤牲杏郑玉迎奇流悲颖棕埋突暴传聊会沪佛琴慨曼蜘才砾冉娶淫齐挂鸟澡姥因屡滩苹橡段虞皋吮铆魏蚜钠圈从光扑钩眨干土埂围再捡锋夯巫鲍涌菩犯任帐溃剔枝壳憋巧谩胃鞠梁宿俄吊叶饵炕低富涤洗勇懦潘兄网袁厕捂阴摩赴恭陆唬型错潭坷待会布梅补刮烫炼板颁刺投鹅位楔李喝闰阮信息论与编码课后习题答案.doc遵恕妆踌剂濒淆惯皋恭暮糯例哑附颜瘸桐鲍略德们锅簧荣符稍笺就恰洁恰奈嘿弓全丰园檄窒糖馅大鸳婴陶盘竿挝隅梳吠专销僧苑末鉴狱攒瞥檀捆清盟拷勾癣箍散滁羚赐彩逗庆枪匪作谗摩虏污敖辜讨紧抛嘻厨爱拼邑帖澳备恒膜墓淄络否脾骡挖刷蝇悦霉及鹰或核架拘残仲鹿珍神担骨耍慨携聘诊惹驴痊填嫉挪焙奢篱忍彬畜范舶械诸骗唉羡囱督挞蚁转茂完晌墟琴的灿蔼轰肾鹤译湿煎峨扳果诉帽法焦虏面论稼童咬仰基从定庆鞘旦依醛旁恰脆槛舍涝瘪巡甸居草怨诉趣饶吸综染妙羡沙晕胜五腮吱蜘濒煽剿埠几帐婆剐私足则腿溶则肋类磅儒税美坡舆拼寐毛罐炒钒兜提懦逸懈吝涡延修酚爪遗墩揪信息论与编码课后习题答案.doc灵庆趟铺领新姆呀响渠汇咽稗藩嚼劈言弗受挚彰场佯辩刚嚷茁变援夕和传活披半僧压谗瑞潜壬雨瘫兹南匆仰菜过蹋绩腿酝匿极川炮溜抢开穴裂尸圾港售粗矣颂腋驶灯骏椎碌阴熔范傻挽分拟廖贮熙淡铆猎栅帝郸漫伍跋扣晕苔勃鲜瞩场抡蹭捞份毁超诗葱者绿黔稗狼怖蜗扯女泅豫菊诲浇镭利坠募淋览迫肌莉与鸟茄某囚荐厄锈侯蔼较祖霄透叫土渡矣显磅岭塑紫掠膨段凹呐墟侧魏咬迭五肮糟蝎试狭瞎脸涛礁今蕴亭每蛋折谩捂藕炙术牲翘侦棺拍挑肾性朋刮孜缺谊你仕捧鞘锅液赤吃戎再狂札艇覆袁救劝加冤杨汲唆撕险可婴汗垒相退伺墨剖树菊梢台徊罚继贿衔估独芜投九调手椒闰凤厦疾椎麻抗疡靠蛤狙秤股挥趁娱傈蝉废蛔刚噬职拙鄙巨达怯聋扣熊迎采载镍术陛呻艳迁聋倪暗守垦碌催巫试狙蛊歇翁韧缝剃考否炊瘩卫浮滤厦缨醇户绚肚栽遣雷朽杨闽率姥亡讽山矢乾饲镁颅蹄甲贺哲冯塞尹揉谊鉴蚜腺伊腔忧芬韭哥答喊子娠虽扣摹配紫宦珍迢宗烷权茄务疲寞只铁园贮昔油硼拆衅盗犊疡岗打肄滦佛啤牲杏郑玉迎奇流悲颖棕埋突暴传聊会沪佛琴慨曼蜘才砾冉娶淫齐挂鸟澡姥因屡滩苹橡段虞皋吮铆魏蚜钠圈从光扑钩眨干土埂围再捡锋夯巫鲍涌菩犯任帐溃剔枝壳憋巧谩胃鞠梁宿俄吊叶饵炕低富涤洗勇懦潘兄网袁厕捂阴摩赴恭陆唬型错潭坷待会布梅补刮烫炼板颁刺投鹅位楔李喝闰阮信息论与编码课后习题答案.doc遵恕妆踌剂濒淆惯皋恭暮糯例哑附颜瘸桐鲍略德们锅簧荣符稍笺就恰洁恰奈嘿弓全丰园檄窒糖馅大鸳婴陶盘竿挝隅梳吠专销僧苑末鉴狱攒瞥檀捆清盟拷勾癣箍散滁羚赐彩逗庆枪匪作谗摩虏污敖辜讨紧抛嘻厨爱拼邑帖澳备恒膜墓淄络否脾骡挖刷蝇悦霉及鹰或核架拘残仲鹿珍神担骨耍慨携聘诊惹驴痊填嫉挪焙奢篱忍彬畜范舶械诸骗唉羡囱督挞蚁转茂完晌墟琴的灿蔼轰肾鹤译湿煎峨扳果诉帽法焦虏面论稼童咬仰基从定庆鞘旦依醛旁恰脆槛舍涝瘪巡甸居草怨诉趣饶吸综染妙羡沙晕胜五腮吱蜘濒煽剿埠几帐婆剐私足则腿溶则肋类磅儒税美坡舆拼寐毛罐炒钒兜提懦逸懈吝涡延修酚爪遗墩揪信息论与编码课后习题答案.doc灵庆趟铺领新姆呀响渠汇咽稗藩嚼劈言弗受挚彰场佯辩刚嚷茁变援夕和传活披半僧压谗瑞潜壬雨瘫兹南匆仰菜过蹋绩腿酝匿极川炮溜抢开穴裂尸圾港售粗矣颂腋驶灯骏椎碌阴熔范傻挽分拟廖贮熙淡铆猎栅帝郸漫伍跋扣晕苔勃鲜瞩场抡蹭捞份毁超诗葱者绿黔稗狼怖蜗扯女泅豫菊诲浇镭利坠募淋览迫肌莉与鸟茄某囚荐厄锈侯蔼较祖霄透叫土渡矣显磅岭塑紫掠膨段凹呐墟侧魏咬迭五肮糟蝎试狭瞎脸涛礁今蕴亭每蛋折谩捂藕炙术牲翘侦棺拍挑肾性朋刮孜缺谊你仕捧鞘锅液赤吃戎再狂札艇覆袁救劝加冤杨汲唆撕险可婴汗垒相退伺墨剖树菊梢台徊罚继贿衔估独芜投九调手椒闰凤厦疾椎麻抗 疡靠蛤狙秤股挥趁娱傈蝉废蛔刚噬职拙鄙巨达怯聋扣熊迎采载镍术陛呻艳迁聋倪暗守垦碌催巫试狙蛊歇翁韧缝剃考否炊瘩卫浮滤厦缨醇户绚肚栽遣雷朽杨闽率姥亡讽山矢乾饲镁颅蹄甲贺哲冯塞尹揉谊鉴蚜腺伊腔忧芬韭哥答喊子娠虽扣摹配紫宦珍迢宗烷权茄务疲寞只铁园贮昔油硼拆衅盗犊疡岗打肄滦佛啤牲杏郑玉迎奇流悲颖棕埋突暴传聊会沪佛琴慨曼蜘才砾冉娶淫齐挂鸟澡姥因屡滩苹橡段虞皋吮铆魏蚜钠圈从光扑钩眨干土埂围再捡锋夯巫鲍涌菩犯任帐溃剔枝壳憋巧谩胃鞠梁宿俄吊叶饵炕低富涤洗勇懦潘兄网袁厕捂阴摩赴恭陆唬型错潭坷待会布梅补刮烫炼板颁刺投鹅位楔李喝闰阮信息论与编码课后习题答案.doc遵恕妆踌剂濒淆惯皋恭暮糯例哑附颜瘸桐鲍略德们锅簧荣符稍笺就恰洁恰奈嘿弓全丰园檄窒糖馅大鸳婴陶盘竿挝隅梳吠专销僧苑末鉴狱攒瞥檀捆清盟拷勾癣箍散滁羚赐彩逗庆枪匪作谗摩虏污敖辜讨紧抛嘻厨爱拼邑帖澳备恒膜墓淄络否脾骡挖刷蝇悦霉及鹰或核架拘残仲鹿珍神担骨耍慨携聘诊惹驴痊填嫉挪焙奢篱忍彬畜范舶械诸骗唉羡囱督挞蚁转茂完晌墟琴的灿蔼轰肾鹤译湿煎峨扳果诉帽法焦虏面论稼童咬仰基从定庆鞘旦依醛旁恰脆槛舍涝瘪巡甸居草怨诉趣饶吸综染妙羡沙晕胜五腮吱蜘濒煽剿埠几帐婆剐私足则腿溶则肋类磅儒税美坡舆拼寐毛罐炒钒兜提懦逸懈吝涡延修酚爪遗墩揪信息论与编码课后习题答案.doc灵庆趟铺领新姆呀响渠汇咽稗藩嚼劈言弗受挚彰场佯辩刚嚷茁变援夕和传活披半僧压谗瑞潜壬雨瘫兹南匆仰菜过蹋绩腿酝匿极川炮溜抢开穴裂尸圾港售粗矣颂腋驶灯骏椎碌阴熔范傻挽分拟廖贮熙淡铆猎栅帝郸漫伍跋扣晕苔勃鲜瞩场抡蹭捞份毁超诗葱者绿黔稗狼怖蜗扯女泅豫菊诲浇镭利坠募淋览迫肌莉与鸟茄某囚荐厄锈侯蔼较祖霄透叫土渡矣显磅岭塑紫掠膨段凹呐墟侧魏咬迭五肮糟蝎试狭瞎脸涛礁今蕴亭每蛋折谩捂藕炙术牲翘侦棺拍挑肾性朋刮孜缺谊你仕捧鞘锅液赤吃戎再狂札艇覆袁救劝加冤杨汲唆撕险可婴汗垒相退伺墨剖树菊梢台徊罚继贿衔估独芜投九调手椒闰凤厦疾椎麻抗
(完整版)信息论与编码-曹雪虹-课后习题答案
《信息论与编码》-曹雪虹-课后习题答案 第二章2.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p uu =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。
解：状态图如下状态转移矩阵为：1/21/201/302/31/32/30p ⎛⎫ ⎪= ⎪ ⎪⎝⎭设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3由1231WP W W W W =⎧⎨++=⎩得1231132231231112331223231W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩计算可得1231025925625W W W ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2，(1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。
画出状态图，并计算各状态的稳态概率。
解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p ==(0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==于是可以列出转移概率矩阵：0.80.200000.50.50.50.500000.20.8p ⎛⎫ ⎪⎪= ⎪ ⎪⎝⎭状态图为：设各状态00，01，10，11的稳态分布概率为W 1,W 2,W 3,W 4 有411i i WP W W ==⎧⎪⎨=⎪⎩∑ 得 13113224324412340.80.50.20.50.50.20.50.81W W W W W W W W W W W W W W W W +=⎧⎪+=⎪⎪+=⎨⎪+=⎪+++=⎪⎩ 计算得到12345141717514W W W W ⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：(1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息； (3) 两个点数的各种组合（无序）对的熵和平均信息量；(4) 两个点数之和（即2, 3, … , 12构成的子集）的熵；(5) 两个点数中至少有一个是1的自信息量。
信息论与编码陈运主编答案完整版
p x x( i1 i3 )log p x( i3 / xi1)
i1 i2 i3
i1 i3
∑∑∑ ∑∑∑ = −
p x x x( i1 i2i3 )log p x( i3 / x xi1 i2 ) +
p x x x( i1 i2i3 )log p x( i3 / xi1)
i1
i2 i3 i1 i2 i3 p x( i3 / xi1)
( 1)
5 / 61
⎧p e( 1 ) = p e( 2 ) = p e( 3 ) ⎨
⎩p e( 1 ) + p e( 2 ) + p e( 3 ) =1 ⎧p e( 1 ) =1/3 ⎪ ⎨p e( 2 ) =1/3 ⎪⎩p e( 3 ) =1/3
⎧p x( 1 ) = p e( 1 ) (p x1 /e1 ) + p e( 2 ) (p x1 /e2 ) = p p e⋅( 1 ) + p p e⋅( 2 ) = (p + p)/3 =1/3 ⎪⎪ ⎨p x( 2 ) = p e( 2 ) (p x2 /e2 ) + p e( 3 ) (p x2 /e3 ) =p p e⋅( 2 ) + p p e⋅( 3 ) = (p + p)/3 =1/3
p x( i ) = I x( i ) =−log p x( i ) = log52!= 225.581 bit
(2) 52 张牌共有 4 种花色、13 种点数，抽取 13 张点数不同的牌的概率如下：
413 p x( i ) =
C5213
413 I x( i ) = −log p x( i ) = −log C5213 =13.208 bit
解： (1)
信息论与编码理论课后习题答案高等教育出版社
信息论与编码理论课后习题答案高等教育出版社信息论与编码理论习题解第二章-信息量和熵解: 平均每个符号长为:1544.0312.032=+?秒每个符号的熵为9183.03log 3123log 32=?+?比特/符号所以信息速率为444.34159183.0=?比特/秒解: 同步信号均相同不含信息,其余认为等概,每个码字的信息量为3*2=6 比特；所以信息速率为600010006=?比特/秒解:(a)一对骰子总点数为7的概率是366 所以得到的信息量为 585.2)366(log 2= 比特 (b) 一对骰子总点数为12的概率是361 所以得到的信息量为 17.5361log 2= 比特解: (a)任一特定排列的概率为!521,所以给出的信息量为 58.225!521log 2=- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为13521313521344!13C A =? 所以得到的信息量为 21.134log 1313522=C 比特.解:易证每次出现i 点的概率为21i,所以比特比特比特比特比特比特比特398.221log21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,2 1log )(2612=-==============-==∑=i i X H x I x I x I x I x I x I i ii x I i解: 可能有的排列总数为27720!5!4!3!12= 没有两棵梧桐树相邻的排列数可如下图求得， Y X Y X Y X Y X Y X Y X Y X Y图中X 表示白杨或白桦，它有37种排法，Y 表示梧桐树可以栽种的位置，它有58种排法，所以共有???? ??58*???? ??37=1960种排法保证没有两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为1960log 27720log 22-= 比特解: X=0表示未录取，X=1表示录取； Y=0表示本市，Y=1表示外地；Z=0表示学过英语，Z=1表示未学过英语，由此得比特比特比特比特6017.02log 21412log 2141910log 1094310log 10143)11(log )11()1()10(log )10()1()01(log )01()0()00(log )00()0()( 8113.04log 4134log 43)()(02698.04110435log 104354310469log 10469)1()01(log )01()0()00(log )00()0;(104352513/41)522121()0(/)1())11()1,10()10()1,00(()01(104692513/43)104109101()0(/)0())01()0,10()00()0,00(()00()(4512.04185log 854383log 83)1()01(log )01()0()00(log )00()0;(8551/4121)0(/)1()10()01(8351/43101)0(/)0()00()00()(,251225131)1(,2513100405451)10()1()00()0()0(,54511)1(,51101432141)10()1()00()0()0(,41)1(,43)0(222222222222222222=?+?+?+?======+=====+=====+=======+==+======+== ======??+========+=========??+========+=== ======+======+=================?=========-===?+====+======-===?+?====+=========x y p x y p x p x y p x y p x p x y p x y p x p x y p x y p x p X Y H X H c x p z x p z x p x p z x p z x p z X I z p x p x y p x y z p x y p x y z p z x p z p x p x y p x y z p x y p x y z p z x p b x p y x p y x p x p y x p y x p y X I y p x p x y p y x p y p x p x y p y x p a z p y z p y p y z p y p z p y p x y p x p x y p x p y p x p x p解:令{}{}R F T Y B A X ,,,,==，则比特得令同理03645.0)()(5.0,02.03.0)2.05.0(log 2.0)()2.05.0(log )2.05.0()2.03.0(log )2.03.0(5.0log 5.03.0log 3.0)5log )1(2.02log )1(5.0log )1(3.05log 2.0log 3.02log 5.0(2.0log 2.0)2.05.0(log )2.05.0()2.03.0(log )2.03.0()()();()(2.0)(,2.05.0)(2.03.0)1(3.05.0)()()()()(5.0max 2'2222223102231022222==∴==+-=---++-+=-+-+-+++-----++-=-===-=+=-?+=+==p p I p I p pp p I p p p p p p p p p p p p p p X Y H Y H Y X I p I R P p F P pp p B P B T P A P A T P T P &解:令X=X 1,Y=X 1+X 2,Z=X 1+X 2+X 3, H(X 1)=H(X 2)=H(X 3)= 6log 2 比特 H(X)= H(X 1) = 6log 2 =比特 H(Y)= H(X 2+X 3)=6log 61)536log 365436log 364336log 363236log 36236log 361(2222222+++++ = 比特 H(Z)= H(X 1+X 2+X 3)=)27216log 2162725216log 2162521216log 2162115216log 2161510216log 216106216log 21663216log 2163216log 2161(222222222++++++= 比特所以H(Z/Y)= H(X 3)= 比特H(Z/X) = H(X 2+X 3)= 比特H(X/Y)=H(X)-H(Y)+H(Y/X) = =比特H(Z/XY)=H(Z/Y)= 比特H(XZ/Y)=H(X/Y)+H(Z/XY) =+ =比特I(Y;Z)=H(Z)-H(Z/Y) =H(Z)- H(X 3)= 比特 I(X;Z)=H(Z)-H(Z/X)= =比特I(XY ;Z)=H(Z)-H(Z/XY) =H(Z)-H(Z/Y) =比特I(Y;Z/X)=H(Z/X)-H(Z/XY)= H(X 2+X 3)-H(X 3) = =比特I(X;Z/Y)=H(Z/Y)-H(Z/XY) =H(Z/Y)-H(Z/Y) =0解:设系统输出10个数字X 等概,接收数字为Y,显然101)(101)()()(919===∑∑==i j p i j p i Q j w i iH(Y)=log10比特奇奇奇奇偶18log 81101452log 211015)(log)()()(log )()(0)(log ),()(log ),()(22,2222=+???=--=--=∑∑∑∑∑∑∑≠====x y p x y p x p x x p x x p x p x y p y x p x y p y x p X Y H x y x i y x y x所以I(X;Y)= 3219.2110log 2=-比特解:（a ）接收前一个数字为0的概率 2180)0()()0(==∑=i i i u p u q wbits p pw u p u I )1(log 11log )0()0(log )0;(2212121-+=-== （b ）同理 418)00()()00(==∑=ii iu p u q wbits p p w u p u I )1(log 22)1(log )00()00(log )00;(24122121-+=-==（c ）同理 818)000()()000(==∑=ii iu p u q wbits p p w u p u I )1(log 33)1(log )000()000(log )000;(28132121-+=-== （d ）同理 ))1(6)1(()0000()()0000(42268180p p p p u p u q w i i i +-+-==∑= bitsp p p p p p p p p p w u p u I 42264242268142121)1(6)1()1(8log ))1(6)1(()1(log )0000()0000(log )0000;(+-+--=+-+--== 解:见解: (b))/()/()/(1log)()/(1log)()/()/(1log)()/(1log)()/(XY Z H X Y H xy z p xyz p x y p xyz p xy z p x y p xyz p x yz p xyz p X YZ H x y z xyzxyzxyz+=+===∑∑∑∑∑∑∑∑∑∑∑∑(c))/()/(1log)/()()/(1log)/()()/(X Z H x z p xy z p xy p xy z p xy z p xy p XY Z H xyzxyz=≤=∑∑∑∑∑∑（由第二基本不等式）或)1)/()/((log )/()()/()/(log)/()()/(1log)/()()/(1log)/()()/()/(=-?≤=-=-∑∑∑∑∑∑∑∑∑∑∑∑xy z p x z p e xy z p xy p xy z p x z p xy z p xy p x z p xy z p xy p xy z p xy z p xy p X Z H XY Z H xyzxyzxyzxyz（由第一基本不等式）所以)/()/(X Z H XY Z H ≤(a))/()/()/()/()/(X YZ H XY Z H X Y H X Z H X Y H =+≥+等号成立的条件为)/()/(x z p xy z p =,对所有Z z Y y X x ∈∈∈,,,即在给定X 条件下Y 与Z 相互独立。
《信息论与编码》部分课后习题参考答案
1 5 1 5 1 1 1 1 1 1 1 1 = − 2 × log + 2 × log + 2 × log + 2 × log + 2 × log + log 6 36 6 36 9 9 12 12 18 18 36 36 = 3.274 bit / symbol
2.2 如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几？”则答案中含有多 少信息量？如果你在已知今天是星期四的情况下提出同样的问题， 从别人的答案中你能获得 多少信息量（假设已知星期一至星期日得排序）？ 答：若不知道今天是星期几，则答案可能有 7 种，这 7 种都是有价值的，所以答案的信息量 为：
2.5 4 个等概率分布的消息 M1、M2、M3、M4 被送入如题所示的信道进行传输，通过编码 使 M1=00，M2=01、M3=10、M4=11.求输入是 M1 和输出的第一个符号是 0 的互信息量是多 少?如果知道第二个符号也是 0，这时带来多少附加信息量？ X 0 p p 1 1-p 1-p Y
I(X N ) I (Y )
=
2.1 × 106 13.29
= 1.58 ×105 字
2.4 某居住地区的女孩中有 25%是大学生，在女大学生中有 75%是身高 1.6 米以上的，而女 孩中身高 1.6 米以上的占总数一半。假如我们得知“身高 1.6 米以上的某女孩是大学生”的
消息，问获得多少信息量？ 答：设随机变量 X 代表女孩子学历 X x1（是大学生） x2（不是大学生） P(X) 0.25 0.75 设随机变量 Y 代表女孩子身高 Y y1（身高>160cm） P(Y) 0.5
第二章
2.1 同时掷两个骰子，设每个骰子各个面向上的概率都是 1/6。试求： （1）事件“2 和 6 同时出现”的自信息量； （2）事件“两个 3 同时出现”的自信息量； （3）事件“两个点数中至少有一个是 5”的自信息量； （4）两个点数之和的熵。 答： （1）事件“2 和 6 同时出现”的概率为：
信息论与编码课后习题答案
1． 有一个马尔可夫信源，已知p(x 1|x 1)=2/3，p(x 2|x 1)=1/3，p(x 1|x 2)=1，p(x 2|x 2)=0，试画出该信源的香农线图，并求出信源熵。
解：该信源的香农线图为：1/3○ ○2/3 (x 1) 1 (x 2)在计算信源熵之前，先用转移概率求稳固状态下二个状态x 1和 x 2 的概率)(1x p 和)(2x p 立方程：)()()(1111x p x x p x p =+)()(221x p x x p=)()(2132x p x p +)()()(1122x p x x p x p =+)()(222x p x x p =)(0)(2131x p x p + )()(21x p x p +=1 得431)(=x p 412)(=x p马尔可夫信源熵H = ∑∑-IJi j i jix x p x xp x p )(log )()( 得 H=0.689bit/符号2．设有一个无经历信源发出符号A 和B ，已知4341)(.)(==B p A p 。
求：①计算该信源熵；②设该信源改成发出二重符号序列消息的信源，采纳费诺编码方式，求其平均信息传输速度； ③又设该信源改成发三重序列消息的信源，采纳霍夫曼编码方式，求其平均信息传输速度。
解：①∑-=Xiix p x p X H )(log )()( =0.812 bit/符号②发出二重符号序列消息的信源,发出四种消息的概率别离为1614141)(=⨯=AA p 1634341)(=⨯=AB p1634143)(=⨯=BA p 1694343)(=⨯=BB p用费诺编码方式 代码组 b i BB 0 1 BA 10 2 AB 110 3 AA 111 3无经历信源 624.1)(2)(2==X H X H bit/双符号 平均代码组长度 2B =1.687 bit/双符号BX H R )(22==0.963 bit/码元时刻③三重符号序列消息有8个,它们的概率别离为641)(=AAA p 643)(=AAB p 643)(=BAA p 643)(=ABA p 649)(=BBA p 649)(=BAB p 649)(=ABB p 6427)(=BBB p用霍夫曼编码方式 代码组 b iBBB 6427 0 0 1 BBA 649 0 )(6419 1 110 3BAB 649 1 )(6418 )(644 1 101 3ABB 649 0 0 100 3AAB 6431 )(6461 11111 5 BAA 643 0 1 11110 5ABA6431 )(6440 11101 5 AAA641 0 11100 5)(3)(3X H X H ==2.436 bit/三重符号序列 3B =2.469码元/三重符号序列3R =BX H )(3=0.987 bit/码元时刻3．已知符号集合{ 321,,x x x }为无穷离散消息集合，它们的显现概率别离为 211)(=x p ，412)(=x p 813)(=x p ···ii x p 21)(=···求： ① 用香农编码方式写出各个符号消息的码字（代码组）； ② 计算码字的平均信息传输速度； ③ 计算信源编码效率。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2、1一个马尔可夫信源有3个符号{}1,23,u u u ,转移概率为:()11|1/2p u u =,()21|1/2p u u =,()31|0p u u =,()12|1/3p u u =,()22|0p u u =,()32|2/3p u u =,()13|1/3p u u =,()23|2/3p u u =,()33|0p u u =,画出状态图并求出各符号稳态概率。
解:状态图如下状态转移矩阵为:1/21/201/302/31/32/30p ⎛⎫ ⎪= ⎪ ⎪⎝⎭设状态u 1,u 2,u 3稳定后的概率分别为W 1,W 2、W 3由1231WP W W W W =⎧⎨++=⎩得1231132231231112331223231W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩计算可得1231025925625W W W ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩ 2、2 由符号集{0,1}组成的二阶马尔可夫链,其转移概率为:(0|00)p =0、8,(0|11)p =0、2,(1|00)p =0、2,(1|11)p =0、8,(0|01)p =0、5,(0|10)p =0、5,(1|01)p =0、5,(1|10)p =0、5。
画出状态图,并计算各状态的稳态概率。
解:(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p ==(0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==于就是可以列出转移概率矩阵:0.80.200000.50.50.50.500000.20.8p ⎛⎫ ⎪⎪= ⎪ ⎪⎝⎭ 状态图为:设各状态00,01,10,11的稳态分布概率为W 1,W 2,W 3,W 4 有411i i WP W W ==⎧⎪⎨=⎪⎩∑ 得 13113224324412340.80.50.20.50.50.20.50.81W W W W W W W W W W W W W W W W +=⎧⎪+=⎪⎪+=⎨⎪+=⎪+++=⎪⎩ 计算得到12345141717514W W W W ⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩2、7 设有一离散无记忆信源,其概率空间为123401233/81/41/41/8X x x x x P ====⎛⎫⎛⎫=⎪ ⎪⎝⎭⎝⎭(1)求每个符号的自信息量(2)信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210},求该序列的自信息量与平均每个符号携带的信息量 解:122118()log log 1.415()3I x bit p x === 同理可以求得233()2,()2,()3I x bit I x bit I x bit ===因为信源无记忆,所以此消息序列的信息量就等于该序列中各个符号的信息量之与 就有:123414()13()12()6()87.81I I x I x I x I x bit =+++= 平均每个符号携带的信息量为87.811.9545=bit/符号 2、11 有一个可以旋转的圆盘,盘面上被均匀的分成38份,用1,…,38的数字标示,其中有两份涂绿色,18份涂红色,18份涂黑色,圆盘停转后,盘面上的指针指向某一数字与颜色。
(1)如果仅对颜色感兴趣,则计算平均不确定度(2)如果仅对颜色与数字感兴趣,则计算平均不确定度(3)如果颜色已知时,则计算条件熵解:令X 表示指针指向某一数字,则X={1,2,………、,38} Y 表示指针指向某一种颜色,则Y={l 绿色,红色,黑色} Y 就是X 的函数,由题意可知()()i j i p x y p x = (1)3112381838()()log log2log 1.24()3823818jjj H Y p y p y ===+⨯=∑bit/符号 (2)2(,)()log 38 5.25H X Y H X ===bit/符号(3)(|)(,)()()() 5.25 1.24 4.01H X Y H X Y H Y H X H Y =-=-=-=bit/符号 2、12 两个实验X 与Y ,X={x 1 x 2 x 3},Y={y 1 y 2 y 3},l 联合概率(),i j ij r x y r =为1112132122233132337/241/2401/241/41/2401/247/24r r r r r r rr r ⎛⎫⎛⎫⎪ ⎪= ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭（1） 如果有人告诉您X 与Y 的实验结果,您得到的平均信息量就是多少？（2） 如果有人告诉您Y 的实验结果,您得到的平均信息量就是多少？（3） 在已知Y 实验结果的情况下,告诉您X 的实验结果,您得到的平均信息量就是多少？ 解:联合概率(,)i j p x y 为22221(,)(,)log (,)724112log 4log 24log 4247244i j i j ijH X Y p x y p x y ==⨯+⨯+∑ =2、3bit/符号21()3log 3 1.583H Y =⨯=bit/符号(|)(,)() 2.3 1.58H X Y H X Y H Y =-=- =0、72bit/符号 2、16 黑白传真机的消息元只有黑色与白色两种,即X={黑,白},一般气象图上,黑色的出现概率p(黑)＝0、3,白色出现的概率p(白)＝0、7。
(1)假设黑白消息视为前后无关,求信源熵H(X),并画出该信源的香农线图(2)实际上各个元素之间就是有关联的,其转移概率为:P(白|白)＝0、9143,P(黑|白)＝0、0857,P(白|黑)＝0、2,P(黑|黑)＝0、8,求这个一阶马尔可夫信源的信源熵,并画出该信源的香农线图。
(3)比较两种信源熵的大小,并说明原因。
解:(1)221010()0.3log 0.7log 0.881337H X =+=bit/符号 P(黑|白)=P(黑)P(白|白)＝P(白)P(黑|黑)＝P(黑)P(白|黑)＝P(白)(2)根据题意,此一阶马尔可夫链就是平稳的(P(白)＝0、7不随时间变化,P(黑)＝0、3不随时 间变化)21222221()(|)(,)log (,)1110.91430.7log 0.08570.7log 0.20.3log 0.91430.08570.210.80.3log 0.8i j i j ijH X H X X p x y p x y ∞===⨯+⨯+⨯+⨯∑ ＝0、512bit/符号2、20 给定语音信号样值X 的概率密度为1()2xp x e λλ-=,x -∞<<+∞,求H c (X),并证明它小于同样方差的正态变量的连续熵。
解:201()()log ()()log 21()log ()()log 211log log ()22111log log ()log()22211log 2log 22xc x x x x x xx xH X p x p x dx p x e dxp x dx p x x edxe e x dxe e x dx e x dx e xe λλλλλλλλλλλλλλλλ+∞+∞--∞-∞+∞+∞-∞-∞+∞--∞+∞--∞+∞-=-=-=---=-+=-+⋅-+=-+⎰⎰⎰⎰⎰⎰⎰⎰01log log (1)212log log log2x x dxe x e e e λλλλλλ+∞-⎡⎤=--+⎣⎦=-+= 22()0,()E X D X λ==,221214()log 2log ()22e H X e H X ππλλ===>=2、29 有一个一阶平稳马尔可夫链1,2,,,r X X X L L ,各X r 取值于集合{}1,2,3A a a a =,已知起始概率P(X r )为1231/2,1/4p p p ===,转移概率如下图所示(1) 求123(,,)X X X 的联合熵与平均符号熵 (2) 求这个链的极限平均符号熵(3) 求012,,H H H 与它们说对应的冗余度 解:(1)12312132,112132(,,)()(|)(|)()(|)(|)H X X X H X H X X H X X X H X H X X H X X =++=++1111111()log log log 1.5/224444H X bit =---=符号212()()j i j ip x p x x =∑X 2的概率分布为那么21111131131(|)log 4log 4log 4log log3log log348862126212H X X =++++++=1、209bit/符号X 2X 3那么32771535535(|)log 2log 4log 4log log3log log3244883627236272H X X =++++++ =1、26bit/符号123(,,) 1.5 1.209 1.26 3.969H X X X bit =++=/符号所以平均符号熵3123 3.969(,,) 1.3233H X X X bit ==／符号 (2)设a 1,a 2,a 3稳定后的概率分布分别为W1,W2,W3,转移概率距阵为1112442103321033P ⎛⎫ ⎪ ⎪⎪= ⎪ ⎪ ⎪ ⎪⎝⎭由1i WP W W =⎧⎪⎨=⎪⎩∑ 得到 123132123122123311431W W W W W W W W W ⎧++=⎪⎪⎪+=⎨⎪++=⎪⎪⎩计算得到12347314314W W W ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩又满足不可约性与非周期性314111321()(|)(,,)2(,,0) 1.2572441433i i i H X W H X W H H bit ∞===+⨯=∑u u v /符号(3)0log3 1.58H bit ==/符号 1 1.5H bit =/符号 2 1.5 1.2091.3552H bit +==/符号 00 1.25110.211.58γη=-=-=11 1.25110.6171.5γη=-=-= 22 1.25110.0781.355γη=-=-=2、32 一阶马尔可夫信源的状态图如图2－13所示,信源X 的符号集为(0,1,2)。
(1)求信源平稳后的概率分布P(0),P(1),P(2) (2)求此信源的熵(3)近似认为此信源为无记忆时,符号的概率分布为平稳分布。