《信息理论与编码》,答案,考试重点(1--3章)

《信息理论与编码》习题参考答案1. 信息是什么信息与消息有什么区别和联系答：信息是对事物存在和运动过程中的不确定性的描述。

信息就是各种消息符号所包含的具有特定意义的抽象内容，而消息是信息这一抽象内容通过语言、文字、图像和数据等的具体表现形式。

2. 语法信息、语义信息和语用信息的定义是什么三者的关系是什么答：语法信息是最基本最抽象的类型，它只是表现事物的现象而不考虑信息的内涵。

语义信息是对客观现象的具体描述，不对现象本身做出优劣判断。

语用信息是信息的最高层次。

它以语法、语义信息为基础，不仅要考虑状态和状态之间关系以及它们的含义，还要进一步考察这种关系及含义对于信息使用者的效用和价值。

三者之间是内涵与外延的关系。

第2章1. 一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量答：依据题意，这一随机事件的概率空间为120.80.2X x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦其中：1x 表示摸出的球为红球事件，2x 表示摸出的球是白球事件。

a)如果摸出的是红球，则获得的信息量是()()11log log0.8I x p x =-=-（比特）b)如果摸出的是白球，则获得的信息量是()()22log log0.2I x p x =-=-（比特）c) 如果每次摸出一个球后又放回袋中，再进行下一次摸取。

则如此摸取n 次，红球出现的次数为()1np x 次，白球出现的次数为()2np x 次。

随机摸取n 次后总共所获得信息量为()()()()1122np x I x np x I x +d)则平均随机摸取一次所获得的信息量为()()()()()()()()()112211221log log 0.72 H X np x I x np x I x np x p x p x p x =+⎡⎤⎣⎦=-+⎡⎤⎣⎦=比特/次2. 居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。

假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量答：设事件A 为女孩是大学生；设事件B 为女孩身高1.6米以上。

根据题意，则知：()0.25P A = ()0.50P B = ()0.75P B A =而“身高1.6米以上的某女孩是大学生”这消息表明是在B 事件发生的条件下，A事件发生。

所以其概率为()P A B根据贝叶斯定律可得()()()()()()0.250.750.3750.5P A P B A P AB P A B P B P B ⨯====则得知“身高1.6米以上的某女孩是大学生”这消息，能获得的信息量()()log log0.375 1.415I A B P A B =-==-≈（比特）3. 设一个系统传送10个数字：0,1,2,…,9。

奇数在以的概率传送时，接收端有可能错误地判断成为另外的奇数，而其他数字完全正确地接收。

求收到一个数字后平均得到的信息量答：发送集合{}0,1,,9,X =…接收集合{}0,1,,9,Y =… 其中()()10,2,4,6,810p y i i ===因为()()()()1,1,3,5,7,981,1,3,5,7,92p y i x j i j i j p y i x j i j i j ====≠=====所以()()(),1(),1,3,5,7,910i jp y i p x j p y i x j i j =======∑最后得：()()()9log log10 3.232i H Y p y i p y i ==-====∑（比特/符号）4. 某一无记忆信源的符号集为{0,1}，已知信源的概率空间为013144X P ⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎣⎦。

(1) 求信源熵。

(2) 求由m 个“0”和(100-m )个“l ”构成的某一特定序列的自信息量的表达式。

(3) 计算由100个符号构成的符号序列的熵。

答：（1）信源熵为()134log 4log 0.8113 443H X =+=比特/符号（2）该特定序列用A 表示则()()10013log 4441.5 1.585 (bit)mm I m -⎛⎫⎛⎫=- ⎪ ⎪⎝⎭⎝⎭≈+A （3）因为信源是无记忆信源，所以()()10010081.13 H X H X ==比特/符号序列5. 有一离散无记忆信源，其输出为{}0,1,2X ∈，相应的概率为01/4p =，11/4p =，21/2p =，设计两个独立实验去观察它，其结果分别为{}10,1Y ∈，{}20,1Y ∈。

已知条件概率如表2-4所示。

表2-4 习题5表(1) 求()1;I X Y 和()2;I X Y ，并判断作哪一个实验好些。

(2) 求()12;,I X Y Y ，并计算作Y 1和Y 2两个实验比作Y 1或Y 2中的一个实验各可多得多少关于X 的信息。

(3) 求()12;I X Y Y 和()21;I X Y Y ，并解释它们的含义。

答：（1）()()()111;=I X Y H Y H Y X -，要求()1H Y 和()1H Y X 需要先求()1P Y ，()1P XY ，()1P Y X 已知。

()()()222;=I X Y H Y H Y X -，要求()2H Y 和()2H Y X 需要先求()2P Y ，()2P XY ，()2P Y X 已知。

由()()()11P XY P X P Y X =及联合概率分布与边缘概率分布的关系可得()1P XY 及()1P Y ，如表2-1所示：所以()111log 2log 2 1 22H Y =+=比特/符号()111111log1log1log 2log 2 44442H Y X =+++=比特/符号()()()11111;1= 22I X Y H Y H Y X =-=-比特/符号同样可求出()2P XY 及()2P Y ，如表2-2所示： 所以()211log 2log 2 1 22H Y =+=比特/符号()2111log1log1log10 442H Y X =++=比特/符号()()()222; 1 I X Y H Y H Y X =-=比特/符号因此第二个实验好些。

（2）()()()122222;I X YY H Y Y H Y Y X =-，因此要求出()12P YY ，()12P YYX 和()12P XYY 。

由于1Y 、2Y 是相互独立的实验，所以()()()1212=P YYX P Y X P Y X 。

()()()()()11212122P Y X P YY X P XYY P YY P Y X ⎫⎪⇒⇒⇒⎬⎪⎭（见表2-2和表2-3）()1log 4log 4log 4log 4 2 4444H Y X =+++=比特/符号()1211111log1log1log 2log 2 44442H YY X =+++=比特/符号 ()()()12121213;2= 22I X YY H YY H YY X =-=-比特/符号 可以看到：做1Y 和2Y 两个实验比做1Y 一个实验可多得到的信息为()()12131;;=1 22I X YY I X Y -=-比特/符号 可以看到：做1Y 和2Y 两个实验比做2Y 一个实验可多得到的信息为()()12231;;1= 22I X YY I X Y -=-比特/符号 （3）()()()1212231;;;1= 22I X Y Y I X YY I X Y =-=-比特/符号，它表示做完2Y 实验以后，从1Y 实验可得到关于X 的信息量。

()()()1212131;;;=1 22I X Y Y I X YY I X Y =-=-比特/符号，它表示做1Y 完实验以后，从2Y 实验可得到关于X 的信息量。

6. 设信源()120.60.4X x x P X ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦通过一干扰信道，接收符号为[]12,Y y y =，信道传递概率如图2-7所示。

求：(1) 信源X 中事件1x 和2x 分别携带的自信息量。

(2) 收到消息()1,2j y j =后，获得的关于()1,2i x i =的信息量。

(3) 信源X 和信源Y 的信息熵。

(4) 损失熵()H X Y 和噪声熵()H Y X 。

(5) 接收到消息Y 后获得的平均互信息。

图2-7 习题6图答：（1）因为()()120.60.4P x P x ==所以()1log0.60.737I x =-≈(比特) ()2log0.4 1.322I x =-≈(比特)（2）收到消息i y 的概率为：()()()()21121530.6*0.4*0.86410.2i i i i y P y P x P x P y P y =⎛⎫==+= ⎪⎝⎭=-=∑ 所以收到消息j y 后获得的关于i x 的信息量即(),i j I x y 为：()()()1111156,log log 0.0590.8P y x I x y P y ==≈(比特/符号)()()()2112216,log log 0.2630.2P y x I x y P y ==≈-(比特/符号)()()1221134,log log 0.0930.8P y x I x y P y ==≈-(比特/符号)()()()2222214,log log 0.3220.2P y x I x y P y ==≈(比特/符号)（3）()()()()21log 0.6*log 0.60.4*log 0.40.971i i i H X P x P x ==-=-+≈∑(比特/符号)()()()()21log 0.8*log 0.80.2*log 0.20.722i i i H Y P y P y ==-=-+≈∑(比特/符号)（4）()()(),1,logX YH Y X P X Y YP X =∑其中()()()()()()()()()()()()111111212121212222225,0.6*0.561,0.6*0.163,0.4*0.341,0.4*0.14P x y P x P y x P x y P x P y x P x y P x P y x P x y P x P y x ============所以噪声熵：()11110.5*log0.1*log 0.3*log 0.1*log ]5613414H Y X =+++ 0.715≈(比特/符号)损失熵：()()()()0.9710.7150.722H X Y H X H Y X H Y =+-=+-0.964=(比特/符号)（5）接收到消息Y 后所获得的平均互信息量为：()()(),0.9710.9640.007I X Y H X H X =-=-=(比特/符号)7. 某信源的消息符号集的概率分布和二进制代码如题表2-5所示。