信息论与编码姜丹第三版规范标准答案
信息论与编码第一章答案
第一章信息论与基础1.1信息与消息的概念有何区别？信息存在于任何事物之中,有物质的地方就有信息，信息本身是看不见、摸不着的，它必须依附于一定的物质形式。
一切物质都有可能成为信息的载体，信息充满着整个物质世界。
信息是物质和能量在空间和时间中分布的不均匀程度。
信息是表征事物的状态和运动形式。
在通信系统中其传输的形式是消息。
但消息传递过程的一个最基本、最普遍却又十分引人注意的特点是：收信者在收到消息以前是不知道具体内容的；在收到消息之前，收信者无法判断发送者将发来描述何种事物运动状态的具体消息；再者，即使收到消息，由于信道干扰的存在，也不能断定得到的消息是否正确和可靠。
在通信系统中形式上传输的是消息,但实质上传输的是信息。
消息只是表达信息的工具，载荷信息的载体。
显然在通信中被利用的（亦即携带信息的）实际客体是不重要的，而重要的是信息。
信息载荷在消息之中，同一信息可以由不同形式的消息来载荷；同一个消息可能包含非常丰富的信息，也可能只包含很少的信息。
可见，信息与消息既有区别又有联系的。
1.2 简述信息传输系统五个组成部分的作用。
信源：产生消息和消息序列的源。
消息是随机发生的，也就是说在未收到这些消息之前不可能确切地知道它们的内容。
信源研究主要内容是消息的统计特性和信源产生信息的速率。
信宿：信息传送过程中的接受者，亦即接受消息的人和物。
编码器：将信源发出的消息变换成适于信道传送的信号的设备。
它包含下述三个部分：(1)信源编码器：在一定的准则下，信源编码器对信源输出的消息进行适当的变换和处理，其目的在于提高信息传输的效率。
(2)纠错编码器：纠错编码器是对信源编码器的输出进行变换，用以提高对于信道干扰的抗击能力，也就是说提高信息传输的可靠性。
(3)调制器：调制器是将纠错编码器的输出变换适合于信道传输要求的信号形式。
纠错编码器和调制器的组合又称为信道编码器。
信道：把载荷消息的信号从发射端传到接受端的媒质或通道，包括收发设备在内的物理设施。
信息论与编码（第3版）第3章部分习题答案
3.1设信源()12345670.20.190.180.170.150.10.01X a a a a a a a P X ⎛⎫⎧⎫=⎨⎬ ⎪⎩⎭⎝⎭ (1) 求信源熵()H X (2) 编二进制香农码(3) 计算平均码长及编码效率。
答：(1)根据信源熵公式()()()()21log 2.6087bit/symbol i i i H X p a p a ==−=∑(2)利用到3个关键公式：①根据()()()100,0i a i k k p a p a p a −===∑计算累加概率；②根据()()*22log 1log ,i i i i p a k p a k N −≤<−∈计算码长；③根据()a i p a 不断地乘m 取整（m 表示编码的进制），依次得到的i k 个整数就是i a 对应的码字根据①②③可得香农编码为(3)平均码长公式为()13.14i i i K p a k ===∑单符号信源L =1，以及二进制m =2, 根据信息率公式()2log bit/symbol m KR K L==编码效率()83.08%H X Rη==3.2对习题3.1的信源编二进制费诺码，计算其编码效率答：将概率从大到小排列，且进制m=2,因此，分成2组（每一组概率必须满足最接近相等）。
根据平均码长公式为()12.74i iiK p a k===∑单符号信源L=1，以及二进制m=2, 根据信息率公式()2log bit/symbolmKR KL==编码效率（信源熵看题3.1）()95.21%H XRη==3.3对习题3.1的信源编二进制赫夫曼码，计算平均码长和编码效率答：将n个信源符号的概率从大到小排列，且进制m=2。
从m个最小概率的“0”各自分配一个“0”和“1”，将其合成1个新的符号，与其余剩余的符号组成具有n-1个符号的新信源。
排列规则和继续分配码元的规则如上，直到分配完所有信源符号。
必须保证两点：(1)当合成后的信源符号与剩余的信源符号概率相等时，将合并后的新符号放在靠前的位置来分配码元【注：“0”位表示在前，“1”表示在后】，这样码长方差更小；(2)读取码字时是从后向前读取，确保码字是即时码。
姜丹 信息论与编码习题参考答案
信息论与编码习题参考答案 第一章 单符号离散信源1.1同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。
解：bitP a I N n P bitP a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(3666样本空间：2221111616==-=∴====-=∴===⨯==(3)信源空间：bit x H 32.436log 3616236log 36215)(=⨯⨯+⨯⨯=∴ (4)信源空间： bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格内。
（1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。
解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率 bitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知 bitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。
信息论与编码第3版第3章习题解答
第3章 无失真离散信源编码习题3.1 设信源1234567()0.20.190.180.170.150.10.01X a a a a a a a P X(1) 求信源熵H (X )； (2) 编二进制香农码；(3) 计算其平均码长及编码效率。
解： (1)()()log ()(.log ..log ..log ..log ..log ..log ..log .).7212222222=-020201901901801801701701501501010010012609 i i i H X p a p a bit symbol(2)a i p (a i ) p a (a i ) k i 码字 a 1 0.2 0 3 000 a 2 0.19 0.2 3 001 a 3 0.18 0.39 3 011 a 4 0.17 0.57 3 100 a 5 0.15 0.74 3 101 a 6 0.1 0.89 4 1110 a 70.010.9971111110(3)()3(0.2+0.19+0.18+0.17+0.15)+40.1+70.01=3.1471i i i K k p a()() 2.609=83.1%3.14H X H X R K3.2 对习题3.1的信源编二进制费诺码，计算其编码效率。
解：a i p (a i ) 编 码 码字 k i a 1 0.2 000 2 a 2 0.19 1 0 010 3 a 3 0.18 1 011 3 a 4 0.17 110 2 a 5 0.15 10 110 3 a 6 0.1 10 1110 4 a 70.011 11114()2(0.2+0.17)+3(0.19+0.18+0.15)+4(0.1+0.01)=2.7471i i i K k p a()() 2.609=95.2%2.74H X H X R K3.3 对习题3.1的信源分别编二进制和三进制赫夫曼码，计算各自的平均码长及编码效率。
信息论与编码第三版答案
信息论与编码第三版答案《信息论与编码》是一本非常经典的书籍，已经成为了信息科学领域中的经典教材。
本书的第三版已经出版，相比于前两版，第三版的变化不小，主要是增加了一些新内容，同时也对一些旧内容做了修改和完善。
作为一本教材，上面的题目和习题都是非常重要的，它们可以帮助读者更好地理解书中的相关概念和知识点，同时也可以帮助读者更好地掌握理论和技术。
因此，本文将介绍《信息论与编码》第三版中部分习题的答案，方便读者快速查阅和学习。
第一章：信息量和熵1.1 习题1.1Q：两个随机变量的独立性和无关性有什么区别？A：独立性和无关性是两个不同的概念。
两个随机变量是独立的，当且仅当它们的联合概率分布等于乘积形式的边缘概率分布。
两个随机变量是无关的，当且仅当它们的协方差等于0。
1.2 习题1.7Q：什么样的随机变量的熵等于0？A：当随机变量的概率分布是确定的（即只有一个概率为1，其余全为0），其熵等于0。
第二章：数据压缩2.5 习题2.9Q：为什么霍夫曼编码比熵编码更加高效？A：霍夫曼编码能够更好地利用信源的统计特征，将出现频率高的符号用较短的二进制编码表示，出现频率低的符号用较长的二进制编码表示。
这样一来，在编码过程中出现频率高的符号会占用较少的比特数，从而能够更加高效地表示信息。
而熵编码则是针对每个符号分别进行编码，没有考虑符号之间的相关性，因此相比于霍夫曼编码更加低效。
第四章：信道编码4.2 习题4.5Q：在线性块码中，什么是生成矩阵？A：在线性块码中，生成矩阵是一个包含所有二元线性组合系数的矩阵。
它可以用来生成码字，即任意输入信息序列可以通过生成矩阵与编码器进行矩阵乘法得到相应的编码输出序列。
4.3 习题4.12Q：简述CRC校验的原理。
A：CRC校验是一种基于循环冗余校验的方法，用于检测在数字通信中的数据传输错误。
其基本思想是将发送数据看作多项式系数，通过对这个多项式进行除法运算，得到余数，将余数添加到数据尾部，发送给接收方。
信息论与编码习题答案
信息论与编码习题答案1.在无失真的信源中，信源输出由H(X) 来度量；在有失真的信源中，信源输出由R(D) 来度量。
2.要使通信系统做到传输信息有效、可靠和保密，必须首先信源编码，然后_____加密____编码，再______信道_____编码，最后送入信道。
3.带限AWGN波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)=+；当归一化信道容量C/W趋C W SNR近于零时，也即信道完全丧失了通信能力，此时E b/N0为-1.6 dB，我们将它称作香农限，是一切编码方式所能达到的理论极限。
4.保密系统的密钥量越小，密钥熵H(K)就越小，其密文中含有的关于明文的信息量I(M；C)就越大。
5.已知n＝7的循环码42=+++，则信息位长g x x x x()1度k为 3 ，校验多项式《信息论与编码A》试卷第 2 页共 10 页《信息论与编码A 》试卷 第 3 页 共 10 页h(x)=31x x ++ 。
6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。
输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001⎡⎤⎢⎥⎣⎦；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010⎡⎤⎢⎥⎣⎦。
7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。
若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。
二、判断题1. 可以用克劳夫特不等式作为唯一可译码存在的判据。
（√ ）2. 线性码一定包含全零码。
第三版信息论答案
【2.1】设有12 枚同值硬币，其中有一枚为假币。
只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。
现用比较天平左右两边轻重的方法来测量。
为了在天平上称出哪一枚是假币，试问至少必须称多少次？解：从信息论的角度看，“12 枚硬币中，某一枚为假币”该事件发生的概率为P 1 ；12“假币的重量比真的轻，或重”该事件发生的概率为P 1 ；2为确定哪一枚是假币，即要消除上述两事件的联合不确定性，由于二者是独立的，因此有I log12 log 2 log 24 比特而用天平称时，有三种可能性：重、轻、相等，三者是等概率的，均为P 1 ，因此天3平每一次消除的不确定性为I log 3 比特因此，必须称的次数为I1log 24I 2 log 32.9 次因此，至少需称3 次。
【延伸】如何测量？分3 堆，每堆4 枚，经过3 次测量能否测出哪一枚为假币。
【2.2】同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为2”或“面朝上点数之和为8”或“两骰子面朝上点数是3 和4”时，试问这三种情况分别获得多少信息量？解：“两骰子总点数之和为2”有一种可能，即两骰子的点数各为1，由于二者是独立的，因此该种情况发生的概率为P 1 16 61 ，该事件的信息量为：36I log 36 5.17 比特“两骰子总点数之和为8”共有如下可能：2 和6、3 和5、4 和4、5 和3、6 和2，概率为P 1 1 56 6 5 ，因此该事件的信息量为：36I log3652.85 比特“两骰子面朝上点数是3 和4”的可能性有两种：3 和4、4 和3，概率为P 因此该事件的信息量为：1 121 ，6 6 18I log18 4.17 比特【2.3】如果你在不知道今天是星期几的情况下问你的朋友“明天星期几？”则答案中含有多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知星期一至星期日的顺序）？解：如果不知今天星期几时问的话，答案可能有七种可能性，每一种都是等概率的，均为P 1 ，因此此时从答案中获得的信息量为7I log 7 2.807 比特而当已知今天星期几时问同样的问题，其可能性只有一种，即发生的概率为1，此时获得的信息量为0 比特。
信息论与编码知识梳理及课后答案共69页文档
•
46、寓形宇内复几时，曷不委心任去 留。
•
47、采菊东篱下，悠然见南山。
•
48、啸傲东轩下，聊复得此生。
•
49、勤学如春起之苗，不见其增，日 有所长 。
•
50、环堵萧然，不蔽风日；短褐穿结 ，箪瓢 屡空， 晏如也 。
谢谢你的阅读
❖ 知识就是财富 ❖ 丰富你的人生
71、既然我已经踏上这条道路，那么，任何东西都不应妨碍我沿着这条路走下去。——康德 72、家庭成为快乐的种子在外也不致成为障碍物但在旅行之际却是夜间的伴侣。——西塞罗 73、坚持意志伟大的事业需要始终不渝的精神。——伏尔泰 74、路漫漫其修道远，吾将上下而求索。——屈原 75、内外相应，言行相称。——韩非
信息论与编码理论-习题答案-姜楠-王健-编著-清华大学
第1章 绪论1.1 信源、编码器、信道、干扰、译码器、信宿 1.2 香农1.3 通信系统模型1.4信号是消息的表现形式，是物理的，比如电信号、光信号等。
消息是信息的载荷者，是信号的具体容，不是物理的，但是又比较具体，例如语言、文字、符号、图片等。
信息包含在消息中，是通信系统中被传送的对象，消息被人的大脑所理解就形成了信息。
1.5 略第2章 信息的统计度量2.1 少2.2 y 的出现有助于肯定x 的出现、y 的出现有助于否定x 的出现、x 和y 相互独立 2.3 FTTTF 2.4 2.12比特2.5依题意，题中的过程可分为两步，一是取出一枚硬币恰好是重量不同的那一枚，设其发生的概率为1p ，由于每枚硬币被取出的概率是相同的，所以1181p =所需要的信息量()()1log 6.34I A p bit =-=二是确定它比其他硬币是重还是轻，设其发生的概率为2p ，则212p =总的概率12111812162p p p ==⨯=所需要的信息量()log log1627.34I p bit =-==2.6 设A 表示“大学生”这一事件，B 表示“身高1.60m 以上”这一事件，则()()()0.250.5|0.75p A p B p B A ===故()()()()()()|0.750.25|0.3750.5p AB p A p B A p A B p B p B ⨯====()()()11|loglog 1.42|0.375I A B bit p A B ===2.7 四进制波形所含的信息量为()log 42bit =，八进制波形所含信息量为()log 83bit =，故四进制波形所含信息量为二进制的2倍，八进制波形所含信息量为二进制的3倍。
2.8()()()()()()2322log 3log 32log 3 1.585I p bit I p bit I I =-=-==故以3为底的信息单位是比特的1.585倍。
信息论与编码知识梳理及课后答案分解共69页文档
43、重复别人所说的话，只需要教育； 而要挑战别人所说的话，则需要头脑。—— 玛丽·佩蒂博恩·普尔
44、卓越的人一大优点是：在不利与艰 难的遭遇里百折不饶。——贝多芬
45、自己的饭量自己知道。——苏联
信息论与编码知识梳及课后答案分 解
51、山气日夕佳，飞鸟相与还。 52、木欣欣以向荣，泉涓涓而始流。
53、富贵非吾愿，帝乡不可期。 54、雄发指危冠，猛气冲长缨。 55、土地平旷，屋舍俨然，有良田美 池桑竹 之属， 阡陌交 通，鸡 犬相闻 。
41、学问是异常珍贵的东西，从任何源泉吸 收都不可耻。——阿卜·日·法拉兹
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
信息论与编码习题参考答案第一章单符号离散信源信息论与编码作业是74页，1.1的(1)(5)，1.3,1.4,1.6,1.13,1.14 还有证明熵函数的连续性、扩展性、可加性1.1同时掷一对均匀的子，试求：(1) “ 2和6同时出现”这一事件的自信息量；(2) “两个5同时出现”这一事件的自信息量；(3) 两个点数的各种组合的熵；⑷两个点数之和的熵；(5) “两个点数中至少有一个是 1 ”的自信息量。
解：样本空间：N c6c6 6 6 36(1) P n1— I (a) logR Iog18 4.17bitN 36n2 1(2) F2 2I (a) log F2 log36 5.17bitN 36(3) 信源空间：2 36 1H(x) 15 log 6 log 36 4.32bit36 2 36（42 ,“ 4 ,36 6 , 36 8 ,36H(x) log 36+log —log log -36 36 2 36 3 36 410 ,36 6 ,36log +log - 3.71bit36 5 36 6⑸P3 n3 11I(a) log R 1.17bitN 36 111.2如有6行、8列的棋型方格，若有两个质点A和B,分别以等概落入任一方格内，且它们的坐标分别为（Xa，Ya）, （Xb，Yb），但A，B不能同时落入同一方格内。
（1）若仅有质点A，求A落入任一方格的平均信息量；（2）若已知A已落入，求B落入的平均信息量;(3) 若A , B是可辨认的，求A, B落入的平均信息量。
解：1(1) A落入任一格的概率：P(aJ I (aj log P(aJ log 484848H(a) P(a i)log P(a i) log 48 5.58biti 11(2) 在已知A落入任一格的情况下,B落入任一格的概率是：P(bJ —47I(b) logP(b i) log 4748H (b) P(b i)log P(b i) log 47 5.55biti 11 1(3) AB同时落入某两格的概率是P(AB i) - —748 47I(AB i) log P(AB i)48 47H (AB i) P(AB i)log P(ABJ log(48 47) 11.14biti 11.3从大量统计资料知道，男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。
问这两个回答中各含有多少信息量？平均每个回答中各含有多少信息量？如果你问一位女士，则她的答案中含有多少平均信息量?解:对于男士：回答“是”的信息量：I (m y) log P(m y) log 7% 3.84bit回答“不是”的信息量平均每个回答信息量：:I (m n) log P(m n) log 93% 0.105bit H(m) P(m y) logP(m y) P(m n) log P(m n) -7% log7% - 93% log93% 0.366bit对于女:回答“是”的信息量：l(w y) log P(w y) log 0.5%回答“不是”的信息量平均每个回答信息量：:I (m n) log P(m n) log 99.5%H(m) P(W y) log P(W y) P(W n) log P(W n)-0.5% log0.5% - 99.5% log99.5% 0.0454bit1.4某一无记忆信源的符号集为｛ 1 20,1 },已知 p o - , p i 一。
3 3(1) 求符号的平均信息量; (2) 由1000个符号构成的序列，求某一特定序列(例如有m 个“ 0 ” , (1000-m )个1”)的自信量的表达式; (3) 计算(2)中序列的熵。
解： P 0 log p 0 P 1 log p 1 3 log-- 3 3 log30.918 bit /symble mlog P 0 (1000 m)log p .1 m log - y3 (1000 m) log -bit 31000H (X) 1000 0.918 918 bit/sequenee (1) H(x) ⑵ 1(A) (3) H(A) 1 1 2 21000 mH(A) P 0 log P 0 i 1 P 1 log P 1 i 1 m 1 2(1000 m) 2log log -3 3 3 31.5设信源X 的信源空间为: X : a 1 [x?P ]： p(X) 0.17 a 3 a 4 a sa 60.18 0.16 0.180.3a 20.19 求信源熵，并解释为什么 H(X)>log6 ，不满足信源熵的极值性。
解：6i i0.17log0.17 0.19 log 0.192 0.18log0.180.16 log 0.16 0.3log 0.3 2.725 bit/symble可见H(X) 2.725 log6 2.585不满足信源熵的极值性，r这是因为信源熵的最大值是在p i 1的约束条件下求得的，但是本题中i 16p i 1.18不满足信源熵最大值成 立的约束条件，所以 H(X) log6。
i 11.6为了使电视图象获得良好的清晰度和规定的对比度，需要用5 X 105个像素和10个不同的亮度电平，并设每秒要传送30帧图象，所有的像素是独立的，且所有亮度电平等概出现。
求传输此图象所需要的信息率(bit/s )。
解：由于亮度电平等概出现，由熵的极值性：10每个像素的熵是：H(x 0) p(a i )logp(a i ) log 10 3.322 bit/pelsi 1每帧图像的熵是：H(X) 5 105 H(x o ) 5 105 3.322 1.661 106 bit/frame所需信息速率为： R r (frame/s) H (X )(bit / frame) 30 1.661 106 4.983 1 07 bit/s1.7设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有 H(X)p(ajlog p(aj 30个不同的色彩6度。
试证明传输这种彩电系统的信息率要比黑白系统的信息率大 2.5倍左右。
i 1 i m 1增加30个不同色彩度,在满足黑白电视系统要 求下，每个色彩度需要10个亮度, 所以每个像素需要用 30 10 300bit 量化每个像素的熵是： H(xJ300p(b i )log p(b) log 300bit / pelsi 1H(xJ log 300 2.477 2.5 H(x °) log 10彩色电视系统每个像素 信息量比黑白电视系统 大2.5倍作用,所以传输相同的 图形,彩色电视系统信息率要 比黑白电视系统高2.5倍左右.1.8每帧电视图像可以认为是由3 X 105个像素组成，所以像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现。
问每帧图像含有多少信息量？若现在有 一个广播员，在约 10000个汉字中选1000个字来口述这一电视图像，试问若要恰当地描述此图像，广播员在口述中至少需要多少汉字?610 log 128 2.1 10 bit/symble 10000.1 10000每个汉字所包含信息量：H(c) log p 描述一帧图像需要汉字 数n,H(X) nH(c) n 迪 2±^ 6.322 105/frameH(c) log 0.1最少需要6.322 105个汉字m1.9给定一个概率分布(p 1,p 2,...,p n )和一个整数m ,0 m n 。
定义cm 1 p ，证明:i 1证：先证明f (x) x log x(x 0)为凸函数，如下:f (x) ( x log x) f (x) ( xlog x)loge xm又 H(P 1, P 2,...,P n ) P i log P i0即f (x) xlogx(x 0)为凸函数。
np i log P i每帧图象所含信息量： 5H(X) 3 10 H(x)每个汉字所出现概率pH (P 1, P 2,..., P n )Hg, p 2,..., p m ，C m )C m log( n m)。
并说明等式何时成立?由凸函数的性质, 变量函数的平均值小于变量的算术平均值的函数，可得：i 1i 1nP i log P i i m 1 n即 P i log P i i m 1 当且仅当P m 1 n f (P i ) (n m) -------------- (n n m q m logq m q m log(n i m 1 m)f (——n m)n P i -) m (n nP im 1m) -------- l ogn m n nP ii m 1mq m logq mn mP n 时等式成立。
nP i log P i i m 1 P m 2 . m P i log P i i 1 m P i log P i q m log q m i 1H (P 1, P 2,…，P n ) H(P 1, P 2，..., P m ，q m ) Q m lOg5当且仅当 P m 1 p m 2 ... P n 时等式成立。
H (P i , P 2,…，P n ) H (P i , P 2,…，P m2m ) 1.10找出两种特殊分布 P i log P i1 m) q m log q m q m log(n m)P 1 刊2邛3》…初,P 1 >P 2 >P 3》…书 m ,使 H(p 1,p 2,p 3,…,p n )=H(p 1 ,p 2 ,p 3,…,p m )。
nm解：H (P 1, p 2,...,P n )P i log P i H©,q 2,...,q m )q logq1.15两个离散随机变量X和Y,其和为Z = X + Y,若X和Y统计独立，求证:⑴ H(X) WH(Z), H(Y) W H(Z)(2) H(XY) >H(Z) 证明：第二章单符号离散信道试求:(1)信源X 中的符号 1和2分别含有的自信息量；⑵ 收到消息Y = b 1, Y = b 2后，获得关于1、 2的互交信息量：1(1；b 1)、1( 1；b 2)、I( 2；b 1)、I(2；b 2)；(3) 信源X 和信宿Y 的信息熵； (4) 信道疑义度H(X/Y)和噪声熵H(Y/X);(5) 接收到消息Y 后获得的平均互交信息量l(X;Y)。
设X 、Y 的信源空间为:X[X ?P]:a1a2P(X) P 1 P 2又X, 丫统计独立 tpZ k log pZ k k 1t 又 H(Z) = pz k log pZ kk 1 r s(p iog( p ii 1 j 1 r sq j iog(pi 1 j 1H(Z) a r P r[Y ?P] : Yb i P(Y) q isP (a i b j )logp(q b j ) j 1s sq j )) q j )P i q j ) iog(j 1 i 1r sq j iog(pi 1 j 1 sq j iog(q j )P i q j ) j 1q j )b 2 ... b sq 2 ... q sr s(P i q j )log(P i q j ) H(XY)i 1 j 1b 1 b s a 1 5/6 1/6[P] 一 3/4a 2 1/4Y:{b 「b 2}，信道的矩阵:2.1设信源[X ?P]： X 厲P(X) 0.7 92通过一信道，信道的输出随机变量0.3Y 的符号集(1)l(aJ log p(ajlog0.7 0.5415 bit log 0.3 1.737 bit5/6 I (a ?) logp@21)l ,P (b®) log — P (G ,p(b 2 &1) log(2) g;b i ) log0.7 5/6 0.3 1/40.34 bit I(a i；b 2)1/6P (b 2) log 心 a 2)log0.7 1/6 0.3 3/4 1.036 bit I®®) P (bJ ,P(b 2 a ?) logP (b 2) 1/4log 0.7 5/6 0.3 1/40.766 bit 3/4log0.7 1/6 0.3 3/4 1.134 bit(3)由上：p(b)P (b 2)P (ai )P (b 1ai )120P (a i )P (b 2a i ) 110 2H(X) i 1 2 p(a 」log p(a) (0.7log0.7 0.3log0.3) 0.881 bit/symble H(Y) j p(b j )log p(b j ) 1 2 2 / 79 | 79 (log 120 1202 2dog 空)0.926 bit/symble120 120 (4)H(YX) 又 I(X;Y) H(XY) (5) I(X;Y) P(ab j )log p(b j a i ) j 1 i 1 H(Y) H(YX) H(X)H(X) H(YX) H(Y)H(Y) H(YX) 0.926p(a i )p(b j a i )log p(b j a i ) 0.698 bit/symble j 1 i 1 H(XY) 0.881 0.698 0.926 0.653 bit/symble0.698 0.228 bit/symble2.2某二进制对称信道，其信道矩阵是: 0 0.98 [P] 1 0.020.020.98 设该信道以1500个二进制符号/秒的速度传输输入符号。