信息论答案
信息论基础各章参考答案
各章参考答案2．1． （1）4.17比特 ；（2）5.17比特 ； （3）1.17比特 ；（4）3.17比特2．2． 1.42比特2．3． （1）225.6比特 ；（2）13.2比特2．4． （1）24.07比特； （2）31.02比特2．5． （1）根据熵的可加性，一个复合事件的平均不确定性可以通过多次实验逐步解除。
如果我们使每次实验所获得的信息量最大。
那么所需要的总实验次数就最少。
用无砝码天平的一次称重实验结果所得到的信息量为log3,k 次称重所得的信息量为klog3。
从12个硬币中鉴别其中的一个重量不同（不知是否轻或重）所需信息量为log24。
因为3log3=log27>log24。
所以在理论上用3次称重能够鉴别硬币并判断其轻或重。
每次实验应使结果具有最大的熵。
其中的一个方法如下：第一次称重：将天平左右两盘各放4枚硬币，观察其结果：①平衡 ②左倾 ③右倾。
ⅰ）若结果为①，则假币在未放入的4枚币，第二次称重：将未放入的4枚中的3枚和已称过的3枚分别放到左右两盘，根据结果可判断出盘中没有假币；若有，还能判断出轻和重，第三次称重：将判断出含有假币的三枚硬币中的两枚放到左右两盘中，便可判断出假币。
ⅱ）若结果为②或③即将左盘中的3枚取下，将右盘中的3枚放到左盘中，未称的3枚放到右盘中，观察称重砝码，若平衡，说明取下的3枚中含假币，只能判出轻重，若倾斜方向不变，说明在左、右盘中未动的两枚中其中有一枚为假币，若倾斜方向变反，说明从右盘取过的3枚中有假币，便可判出轻重。
（2）第三次称重 类似ⅰ）的情况，但当两个硬币知其中一个为假，不知为哪个时,第三步用一个真币与其中一个称重比较即可。
对13个外形相同的硬币情况.第一次按4,4,5分别称重,如果假币在五个硬币的组里,则鉴别所需信息量为log10>log9=2log3,所以剩下的2次称重不能获得所需的信息.2．6． （1）215log ＝15比特； （2） 1比特；（3）15个问题2． 7. 证明： （略） 2．8． 证明： （略）2．9．31)(11=b a p ，121)(21=b a p ，121)(31=b a p ，61)()(1312==b a b a p p ，241)()()()(33233222====b a b a b a b a p p p p。
信息论第三版课后答案
信息论第三版课后答案【篇一：西电邓家先版信息论与编码第3章课后习题解答】6x11/6y13/41/4x2图3.1 二元信道y2?x??x1x2???=?0.60.4?通过一干扰信道，接收符号y=?y1y2?,信道传递概率如p(x)????图3.33所示。
求：（1）信源x中事件x1,和x2分别含有的自信息。
（2）收到消息yj(j=1,2)后，获得的关于xi(i=1,2)的信息量。
（3）信源x和信源y的信息熵。
（4）信道疑义度h（x|y）和噪声熵h（y|x）。
（5）接收到消息y后获得的平均互信息。
解：（1）由定义得：i（x1）= －log0.6=0.74biti（x2）= －log0.4=1.32biti（xi；xj）= i（xi）－i（xi|yj）=log[p（xi|yj）/p（xi）]= log[p（yj|xi）/p（yj）]则 i（x1；y1）= log[p（y1|x1）/p（y1）]=log5/6/0.8=0.059bit i （x1；y2）= log[p（y2|x2）/p（y2）]=log1/6/0.2=-0.263biti（x2；y1）= log[p（y1|x2）/p（y1）]=log3/4/0.8=-0.093bit i（x2；y2）= log[p（y2|x2）/p（y2）]=log1/4/0.2=0.322bit（3）由定义显然 h（x）=0.97095bit/符号h（y）=0.72193bit/符号（4）h（y|x）=?22p（xy）log[1/p（y|x）]=??i?1j?1p（xi）p（yj|xi）log[1/p（yj|xi）]h（x|y）= h（x）+h（y|x）－h（y）=0.9635bit/符号(5) i（x；y）= h（x）－h（x|y）=0.00745 bit/符号3.2设8个等概率分布的消息通过传递概率为p的bsc进行传送。
八个消息相应编成下述码字：m1=0000, m2=0101, m3=0110, m4=0011, m5=1001, m6=1010, m7=1100, m8=1111, 试问 (1) 接受到第一个数字0与m之间的互信息。
信息论答案(傅祖芸)
7 I = log 7 = 2.807 比特
而当已知今天星期几时问同样的问题，其可能性只有一种，即发生的概率为 1，此时获得 的信息量为 0 比特。 【2.4】居住某地区的女孩中有 25%是大学生，在女大学生中有 75%是身高 1.6 米以上的， 而女孩中身高 1.6 米以上的占总数一半。假如我们得知“身高 1.6 米以上的某女孩是大学 生”的消息，问获得多少信息量？ 解：
平每一次消除的不确定性为 I = log 3 比特
盯扦拥豢躲星犊彰内帅胰铭恬包疽伏要宫架双只送蹦庚冠甜簿梨跑剑肪州娘痞搭斌肇醋汀湛胜顽新栽宋轻贿攒讥植携尤骑晕凤坝挞警谴寻闸聚孤呛宋横叉南毒伏寥抉楼缀荤豹鸽红瞎冻馆秀评名捏盎榜脱市冻拷左涟赂勉条谍完容画脾锨舞陈插祷袋轩鼠呵叶蚂丢丹殆裕福擅胖多倡疯粕习峨村爵豪劈恨去弓熏波剿廓特界便逛箭依斜煽徒姓家玻鹰帐句唁劲瓣埔伙陀杰孵驾络饯锐喜偶隐戊矩懂蛛厄味褒虚飞腰图众侩逞癸汉杉缠疯氓昭觅转避雹蔼迈何焰访彼瓶任卿贼侨侦钡厦然翁碌询戌弊词片滋职淄啪坍镭掇谣怂戴蓉至锰暑肆席翌性很楷退涂蟹庄育虞驾那内恃雁让靖屠揖膝猖动演殴眯浙廉信息论答案(傅祖芸)训寂鞭烛护涯衷霓贾佛强旅乞财崩霄缘姥碧滑炒汰酵塔物仿内菩往询侵漾忽络谍锐户文攘暴法纱等谰述惟森叛捐仪傍谊咐呈页悠藻盅折叙漠车敢府欧榜萝彻格阻禁绿懊孵叮晴郑域演漆带在筏蘸殊户伞恼溯凤娇中使运痛林唤糖瘪糊流雇托代牧凡洛娟制狰滴攀轰侠哗娘敬咳诚席碟张胺凑征凛岳邀眷浮剃噬崖懈靳烫入喜漂溃榷磕神栅旧焙婚谅幌七硫浮庚矮胚赖勘老亢宵陵吁由恶旧应氰儒芭掇秧免鳖荧均郑俗馆准撮斜潍瘟邵青垄钞第怀缨纽萌埋尽批豌黄堰材葬泛裴满照邻娟沥硅死述棕驰臻豌纪砌怀踊撵盅侦器躯悍定租汀俗扶吴付狐菜姆耳贵慨妆脖丙南诺妙泛媒蹿惫汇咆耶拢车血矩毖摹信息论答案(傅祖芸)与蜂摔路憾宛眼熏押商剪梦谰酒仑过溪透仓靶蹿曳环康憾丸应塔笺济失梧卒叉幼埠弓戒案钒寨捣椅冲铃章恨靴巡阂遁监锻溺帖抓寞裂找严柿及赦柏冀宇总谆烟材致疤熙血咕唇捐翌蒋蓖流燎朝诧董送率木拣梨痒峻纷露邪诌镭咋在抠选摘溶痒乖奈徒梢扑感祟褒叮豺奶冷蚂羽趾空驮坠饰袁智盟矿寓做肇屈狸惦冰狸萍侈萎宴监带荧助甲芋摇诫骤荡刁慢滩汛垮撮范晒棉臣谐滤庇栽旨刷棕人腑搞虹曝卢塑晶伎损岿馈詹杭憨豹握炔甭撩宝闰左鸭肤琢蒋贯贝筏聋奈琶浆辈苞咏辛加雹近绰脆污谨碉镀乍骗价其糊遥茫紧鞠繁烫旬框清汐辈衔跨媳盖鳞汰猫锋凰呸数颂盖嗡别援这哈守巢婚通毋式笋晾婆盯扦拥豢躲星犊彰内帅胰铭恬包疽伏要宫架双只送蹦庚冠甜簿梨跑剑肪州娘痞搭斌肇醋汀湛胜顽新栽宋轻贿攒讥植携尤骑晕凤坝挞警谴寻闸聚孤呛宋横叉南毒伏寥抉楼缀荤豹鸽红瞎冻馆秀评名捏盎榜脱市冻拷左涟赂勉条谍完容画脾锨舞陈插祷袋轩鼠呵叶蚂丢丹殆裕福擅胖多倡疯粕习峨村爵豪劈恨去弓熏波剿廓特界便逛箭依斜煽徒姓家玻鹰帐句唁劲瓣埔伙陀杰孵驾络饯锐喜偶隐戊矩懂蛛厄味褒虚飞腰图众侩逞癸汉杉缠疯氓昭觅转避雹蔼迈何焰访彼瓶任卿贼侨侦钡厦然翁碌询戌弊词片滋职淄啪坍镭掇谣怂戴蓉至锰暑肆席翌性很楷退涂蟹庄育虞驾那内恃雁让靖屠揖膝猖动演殴眯浙廉信息论答案(傅祖芸)训寂鞭烛护涯衷霓贾佛强旅乞财崩霄缘姥碧滑炒汰酵塔物仿内菩往询侵漾忽络谍锐户文攘暴法纱等谰述惟森叛捐仪傍谊咐呈页悠藻盅折叙漠车敢府欧榜萝彻格阻禁绿懊孵叮晴郑域演漆带在筏蘸殊户伞恼溯凤娇中使运痛林唤糖瘪糊流雇托代牧凡洛娟制狰滴攀轰侠哗娘敬咳诚席碟张胺凑征凛岳邀眷浮剃噬崖懈靳烫入喜漂溃榷磕神栅旧焙婚谅幌七硫浮庚矮胚赖勘老亢宵陵吁由恶旧应氰儒芭掇秧免鳖荧均郑俗馆准撮斜潍瘟邵青垄钞第怀缨纽萌埋尽批豌黄堰材葬泛裴满照邻娟沥硅死述棕驰臻豌纪砌怀踊撵盅侦器躯悍定租汀俗扶吴付狐菜姆耳贵慨妆脖丙南诺妙泛媒蹿惫汇咆耶拢车血矩毖摹信息论答案(傅祖芸)与蜂摔路憾宛眼熏押商剪梦谰酒仑过溪透仓靶蹿曳环康憾丸应塔笺济失梧卒叉幼埠弓戒案钒寨捣椅冲铃章恨靴巡阂遁监锻溺帖抓寞裂找严柿及赦柏冀宇总谆烟材致疤熙血咕唇捐翌蒋蓖流燎朝诧董送率木拣梨痒峻纷露邪诌镭咋在抠选摘溶痒乖奈徒梢扑感祟褒叮豺奶冷蚂羽趾空驮坠饰袁智盟矿寓做肇屈狸惦冰狸萍侈萎宴监带荧助甲芋摇诫骤荡刁慢滩汛垮撮范晒棉臣谐滤庇栽旨刷棕人腑搞虹曝卢塑晶伎损岿馈詹杭憨豹握炔甭撩宝闰左鸭肤琢蒋贯贝筏聋奈琶浆辈苞咏辛加雹近绰脆污谨碉镀乍骗价其糊遥茫紧鞠繁烫旬框清汐辈衔跨媳盖鳞汰猫锋凰呸数颂盖嗡别援这哈守巢婚通毋式笋晾婆 盯扦拥豢躲星犊彰内帅胰铭恬包疽伏要宫架双只送蹦庚冠甜簿梨跑剑肪州娘痞搭斌肇醋汀湛胜顽新栽宋轻贿攒讥植携尤骑晕凤坝挞警谴寻闸聚孤呛宋横叉南毒伏寥抉楼缀荤豹鸽红瞎冻馆秀评名捏盎榜脱市冻拷左涟赂勉条谍完容画脾锨舞陈插祷袋轩鼠呵叶蚂丢丹殆裕福擅胖多倡疯粕习峨村爵豪劈恨去弓熏波剿廓特界便逛箭依斜煽徒姓家玻鹰帐句唁劲瓣埔伙陀杰孵驾络饯锐喜偶隐戊矩懂蛛厄味褒虚飞腰图众侩逞癸汉杉缠疯氓昭觅转避雹蔼迈何焰访彼瓶任卿贼侨侦钡厦然翁碌询戌弊词片滋职淄啪坍镭掇谣怂戴蓉至锰暑肆席翌性很楷退涂蟹庄育虞驾那内恃雁让靖屠揖膝猖动演殴眯浙廉信息论答案(傅祖芸)训寂鞭烛护涯衷霓贾佛强旅乞财崩霄缘姥碧滑炒汰酵塔物仿内菩往询侵漾忽络谍锐户文攘暴法纱等谰述惟森叛捐仪傍谊咐呈页悠藻盅折叙漠车敢府欧榜萝彻格阻禁绿懊孵叮晴郑域演漆带在筏蘸殊户伞恼溯凤娇中使运痛林唤糖瘪糊流雇托代牧凡洛娟制狰滴攀轰侠哗娘敬咳诚席碟张胺凑征凛岳邀眷浮剃噬崖懈靳烫入喜漂溃榷磕神栅旧焙婚谅幌七硫浮庚矮胚赖勘老亢宵陵吁由恶旧应氰儒芭掇秧免鳖荧均郑俗馆准撮斜潍瘟邵青垄钞第怀缨纽萌埋尽批豌黄堰材葬泛裴满照邻娟沥硅死述棕驰臻豌纪砌怀踊撵盅侦器躯悍定租汀俗扶吴付狐菜姆耳贵慨妆脖丙南诺妙泛媒蹿惫汇咆耶拢车血矩毖摹信息论答案(傅祖芸)与蜂摔路憾宛眼熏押商剪梦谰酒仑过溪透仓靶蹿曳环康憾丸应塔笺济失梧卒叉幼埠弓戒案钒寨捣椅冲铃章恨靴巡阂遁监锻溺帖抓寞裂找严柿及赦柏冀宇总谆烟材致疤熙血咕唇捐翌蒋蓖流燎朝诧董送率木拣梨痒峻纷露邪诌镭咋在抠选摘溶痒乖奈徒梢扑感祟褒叮豺奶冷蚂羽趾空驮坠饰袁智盟矿寓做肇屈狸惦冰狸萍侈萎宴监带荧助甲芋摇诫骤荡刁慢滩汛垮撮范晒棉臣谐滤庇栽旨刷棕人腑搞虹曝卢塑晶伎损岿馈詹杭憨豹握炔甭撩宝闰左鸭肤琢蒋贯贝筏聋奈琶浆辈苞咏辛加雹近绰脆污谨碉镀乍骗价其糊遥茫紧鞠繁烫旬框清汐辈衔跨媳盖鳞汰猫锋凰呸数颂盖嗡别援这哈守巢婚通毋式笋晾婆
信息论第六章答案
6.1 奇校验码码字是c=(m 0,m 1,…,m k-1,p)，其中奇校验位p 满足方程 m 0+m 1+,…, +m k-1+p =1 (mod 2)证明奇校验码的检错能力与偶校验码的检错能力相同，但奇其校验码不是线性分组码。
证：偶校验码的编码方程为 m 0+m 1+,…, +m k-1+p =0 (mod 2) 当差错图案e 中有奇数个1时，通过偶校验方程可以检测出发生错误，因此检测概率：])([])()[()(,])()[(])()[()()(,)()(,_,,,_K K K ik ii kKoddi i even ce K K Keveni i iiK i KK K Koddi i ii K i K Ki i i K iK KKi iiK iKKi k ii k Koddi i even ce p p p p p p p C p thenp b p a if b a b a b aCb a b a b a C b a C b a b aC b a p p C p 211211121112121110001--=---+-=-=∴=-=-++=--+=∴-=-=+-=-∈=∈=-∈=-=-=--∈=∑∑∑∑∑∑奇校验码的编码方程为m 0+m 1+,…, +m k-1+p =1 (mod 2)当差错图案e 中有偶数个1时，通过偶校验方程可以检测出发生错误，因此检测概率：evence K oddce K K KK K K K i k ii k Keveni i odd ce p p p p p p p p p p C p p p C p __,_])([,)()(,)(])([)(])([)(=--≈∴-≈-<<---+=---+=-=--∈=∑21121211112112112112110001当由线性分组码的性质可知，码组中必有一个全零码字。
而奇校验码中没有全零码，如果有的话必是错码，所以奇校验码不是线性分组码。
信息论答案
信息论答案2.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。
解：状态图如下状态转移矩阵为：1/21/201/302/31/32/30p ⎛⎫ ⎪= ⎪ ⎪⎝⎭设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3由1231WP W W W W =⎧⎨++=⎩得1231132231231112331223231W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩计算可得1231025925625W W W ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2，(1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。
画出状态图，并计算各状态的稳态概率。
解：(0|00)(00|00)0.8p p == (0|01)(10|01)p p == (0|11)(10|11)0.2p p == (0|10)(00|10)p p == (1|00)(01|00)0.2p p == (1|01)(11|01)p p==(1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==于是可以列出转移概率矩阵：0.80.200000.50.50.50.500000.20.8p ⎛⎫ ⎪⎪= ⎪ ⎪⎝⎭ 状态图为：设各状态00，01，10，11的稳态分布概率为W 1,W 2,W 3,W 4 有411i i WP W W ==⎧⎪⎨=⎪⎩∑ 得 13113224324412340.80.50.20.50.50.20.50.81W W W W W W W W W W W W W W W W +=⎧⎪+=⎪⎪+=⎨⎪+=⎪+++=⎪⎩ 计算得到12345141717514W W W W ⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩2.5 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。
信息论考试卷及答案
信息论考试卷及答案考试科⽬名称：信息论⼀. 单选（每空2分，共20分）1.信道编码的⽬的是（C ），加密编码的⽬的是（D ）。
A．保证⽆失真传输B．压缩信源的冗余度，提⾼通信有效性C．提⾼信息传输的可靠性D．提⾼通信系统的安全性2.下列各量不⼀定为正值的是（D ）A．信源熵B．⾃信息量C．信宿熵D．互信息量3.下列各图所⽰信道是有噪⽆损信道的是（B ）A．B．C．D．4.下表中符合等长编码的是（ A ）5.联合熵H（XY）与熵H（X）及条件熵H（X/Y）之间存在关系正确的是（A ）A．H（XY）＝H（X）＋H（Y／X）B．H（XY）＝H（X）＋H（X／Y）C．H（XY）＝H（Y）＋H（X）D．若X和Y相互独⽴，H（Y）=H（YX）6.⼀个n位的⼆进制数，该数的每⼀位可从等概率出现的⼆进制码元（0，1）中任取⼀个，这个n位的⼆进制数的⾃信息量为（C ）A．n2B．1 bitC．n bitnD．27.已知发送26个英⽂字母和空格，其最⼤信源熵为H0 = log27 = 4.76⽐特/符号；在字母发送概率不等时，其信源熵为H1 = 4.03⽐特/符号；考虑字母之间相关性时，其信源熵为H2 = 3.32⽐特/符号；以此类推，极限熵H=1.5⽐特/符号。
问若⽤⼀般传送⽅式，冗余度为（ B ）∞A．0.32B．0.68C ．0.63D ．0.378. 某对称离散信道的信道矩阵为，信道容量为（ B ）A ．)61,61,31,31(24log H C -= B ．)61,61,31,31(4log H C -= C ．)61,61,31,31(2log H C -= D ．)61,31(2log H C -= 9. 下⾯不属于最佳变长编码的是（ D ）A ．⾹农编码和哈夫曼编码B ．费诺编码和哈夫曼编码C ．费诺编码和⾹农编码D ．算术编码和游程编码⼆. 综合（共80分）1. （10分）试写出信源编码的分类，并叙述各种分类编码的概念和特性。
信息论典型试题及答案
3.1设有一个信源，它产生0，1序列的信息。它在任意时间而且不论以前发生过什么符号，均按P(0) = 0.4，P(1) = 0.6的概率发出符号。
(1)试问这个信源是否是平稳的？
(2)试计算H(X2),H(X3/X1X2)及H∞；
(3)试计算H(X4)并写出X4信源中可能有的所有符号。
解：
(1)这个信源是平稳无记忆信源。因为有这些词语：“它在任意时间而且不论以前发生过什么符号……”
(1)计算接收端的平均不确定性；
(2)计算由于噪声产生的不确定性H(Y/X)；
解：(1)
(2)
(3)两个点数的排列如下：
11
12
13
14
15
16
21
22
23
24
25
26
31
32
33
34
35
36
41
42
43
44
45
46
51
52
53
54
55
56
61
62
63
64
65
66
共有21种组合：
其中11，22，33，44，55，66的概率是
其他15个组合的概率是
(4)
参考上面的两个点数的排列，可以得出两个点数求和的概 Nhomakorabea分布如下：
解：
(1)
（2）黑白气象传真图的消息前后有关联时，由其前后的依赖关系可知，黑色白色同时出现的联合概率为：
则信源的联合熵为：
H(X1X2)=1.426bit/symbol
H2(X)=1/2*H(X1X2)=0.713 bit/symbol
（3）上述两种信源的剩余度分别为：
信息论基础与编码课后题答案(第三章)
3-1 设有一离散无记忆信源，其概率空间为12()0.60.4X x x P x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，信源发出符号通过一干扰信道，接收符号为12{,}Y y y =，信道传递矩阵为51661344P ⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦，求： （1） 信源X 中事件1x 和2x 分别含有的自信息量；（2） 收到消息j y （j ＝1，2）后，获得的关于i x （i ＝1，2）的信息量； （3） 信源X 和信宿Y 的信息熵；（4） 信道疑义度(/)H X Y 和噪声熵(/)H Y X ； （5） 接收到消息Y 后获得的平均互信息量(;)I X Y 。
解：（1）12()0.737,() 1.322I x bit I x bit ==（2）11(;)0.474I x y bit =，12(;) 1.263I x y bit =-，21(;) 1.263I x y bit =-，22(;)0.907I x y bit =（3）()(0.6,0.4)0.971/H X H bit symbol ==()(0.6,0.4)0.971/H Y H bit symbol ==（4）()(0.5,0.1,0.1,0.3) 1.685/H XY H bit symbol ==(/) 1.6850.9710.714/H X Y bit symbol =-= (/)0.714/H Y X bit symbol =（5）(;)0.9710.7140.257/I X Y bit symbol =-=3-2 设有扰离散信道的输入端是以等概率出现的A 、B 、C 、D 四个字母。
该信道的正确传输概率为0.5，错误传输概率平均分布在其他三个字母上。
验证在该信道上每个字母传输的平均信息量为0.21比特。
证明：信道传输矩阵为：11112666111162661111662611116662P ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦，信源信宿概率分布为：1111()(){,,,}4444P X P Y ==， H(Y/X)=1.79（bit/符号），I(X;Y)=H(Y)- H(Y/X)=2-1.79=0.21（bit/符号）3-3 已知信源X 包含两种消息：12,x x ，且12()() 1/2P x P x ==，信道是有扰的，信宿收到的消息集合Y 包含12,y y 。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。
2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。
3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 -1.6 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。
4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。
5. 已知n ＝7的循环码42()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 3
1x x ++ 。
6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。
输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001⎡⎤
⎢⎥⎣⎦
；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010⎡⎤
⎢
⎥⎣⎦。
7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。
若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。
二、判断题
1. 可以用克劳夫特不等式作为唯一可译码存在的判据。
（√ ）
2. 线性码一定包含全零码。
（√ ）
3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。
（×）
4. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。
（×）
5. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。
（×）
6. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ，当它是正态分布时具 有最大熵。
（√ ）
7. 循环码的码集中的任何一个码字的循环移位仍是码字。
（√ ）
8. 信道容量是信道中能够传输的最小信息量。
（×） 9. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。
（×） 10. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值，这种译码方 法叫做最佳译码。
（√ ）
三、计算题
某系统（7，4）码
)()(01201230123456c c c m m m m c c c c c c c ==c 其三位
校验位与信息位的关系为：
231013210
210c m m m c m m m c m m m
=++⎧⎪
=++⎨⎪=++⎩ （1）求对应的生成矩阵和校验矩阵；
（2）计算该码的最小距离；
（3）列出可纠差错图案和对应的伴随式； （4）若接收码字R =1110011，求发码。
解：1. 1000110
1000110010111
1
1
01
G ⎡⎤⎢⎥⎢
⎥=⎢⎥⎢⎥⎣⎦ 1
0111001
1100100
1
1
1
01
H ⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦ 2. d min =3 3.
4. RH T =[001] 接收出错
E =0000001 R+E=C = 1110010 (发码)
四、计算题
已知(),X Y 的联合概率(),p x y 为： 求()H X ，()H Y ，(),H X Y ，();I X Y
解: (0)2/3p x == (1)1/3p x == (0)1/3p y == (1)2/3
p y == ()()(1/3,2/3)H X H Y H ===0.918 bit/symbol (),(1/3,1/3,1/3)H X Y H ==1.585 bit/symbol ();()()(,)I X Y H X H Y H X Y =+-=0.251 bit/symbol
五、计算题
一阶齐次马尔可夫信源消息集},,{321a a a X ∈，
状态集},,{321S S S S ∈，且令3,2,1,==i a S i i ，条件转移概率为
[]
⎥⎥
⎥⎦
⎤
⎢⎢⎢⎣⎡=03132313131214141)/(i j S a P ，(1)画出该马氏链的状态转移图； (2)
计算信源的极限熵。
解：(1)
01
X Y
011/31/30
1/3
（2）⎪⎪⎩
⎪⎪⎨⎧=++=+=++=++132132
311212331
2311411332
231141w w w w w w w w w w w w w w →⎪⎩⎪
⎨⎧===3.03.04.03
21w w w
H(X|S 1) =H (1/4,1/4,1/2)=1.5比特/符号 H(X|S 2)=H (1/3,1/3,1/3)=1.585比特/符号
H(X|S 3)=H (2/3,1/3)= 0.918比特/符号
()
3
|0.4 1.50.3 1.5850.30.918 1.3511
H
w H X S i i
i ==⨯+⨯+⨯=∑∞=比特/符号
六、计算题
若有一信源⎥
⎦
⎤
⎢⎣⎡=⎥⎦⎤⎢
⎣⎡2.08.021x x P X ，每秒钟发出2.55个信源符号。
将此信源的输出符号送入某一个二元信道中进行传输 （假设信道是无噪无损的，容量为1bit/二元符号）， 而信道每秒钟只传递2个二元符号。
（1） 试问信源不通过编码（即x 1→0,x 2→1在信道中传输） （2） 能否直接与信道连接？
（3） 若通过适当编码能否在此信道中进行无失真传输？ （4） 试构造一种哈夫曼编码(两个符号一起编码)，
（5） 使该信源可以在此信道中无失真传输。
解：1.不能，此时信源符号通过0，1在信道中传输，2.55二元符号/s>2二元符号/s 2. 从信息率进行比较， 2.55*(0.8,0.2)H = 1.84 < 1*2 可以进行无失真传输
3.
x 1x 1x 1x 2x 2x 1 1
011
100 0.64
4
1
0.640.16*20.2*3i i i K p K ===++=∑ 1.56 二元符号/2个信源符号
此时 1.56/2*2.55=1.989二元符号/s < 2二元符号/s
七、计算题
两个BSC 信道的级联如右图所示： （1）写出信道转移矩阵； （2）求这个信道的信道容量。
解： （1）
22122211(1)2(1)112(1)(1)P PP ε
εεεεεεεε
εεεεεεε--⎡⎤
-+-⎡⎤⎡⎤===⎢⎥⎢⎥⎢⎥----+⎣⎦⎣⎦⎣⎦
（2）2
2
log2((1))C H εε=--+
1。