2012.信息论.第2章.习题答案
信息论编码与基础课后题(第二章)
第二章习题解答2-1、试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解：四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0===所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
2、 设某班学生在一次考试中获优（A ）、良（B ）、中（C ）、及格（D ）和不及格（E ）的人数相等。
当教师通知某甲：“你没有不及格”，甲获得了多少比特信息？为确定自己的成绩，甲还需要多少信息？ 解：根据题意，“没有不及格”或“pass”的概率为54511pass =-=P 因此当教师通知某甲“没有不及格”后，甲获得信息在已知“pass”后，成绩为“优”（A ），“良”（B ），“中”（C ）和“及格”（D ） 的概率相同：41score )pass |()pass |()pass |()pass |(=====D P C P B P A P P 为确定自己的成绩，甲还需信息bits 241loglog score score =-=-=P I 3、中国国家标准局所规定的二级汉字共6763个。
设每字使用的频度相等，求一个汉字所含的信息量。
设每个汉字用一个1616⨯的二元点阵显示，试计算显示方阵所能表示的最大信息。
显示方阵的利用率是多少？解：由于每个汉字的使用频度相同，它们有相同的出现概率，即67631=P 因此每个汉字所含的信息量为bits 7.1267631loglog =-=-=P I 字每个显示方阵能显示256161622=⨯种不同的状态，等概分布时信息墒最大，所以一个显示方阵所能显示的最大信息量是bits 322.054loglog passpass =-=-=P Ibits 25621loglog 256=-=-=P I 阵显示方阵的利用率或显示效率为0497.02567.12===阵字I I η 4、两个信源1S 和2S 均有两种输出：1 ,0=X 和1 ,0=Y ，概率分别为2/110==X X P P ，4/10=Y P ，4/31=Y P 。
信息论第二版答案+傅祖芸
a2 1 48a3 L源自a 48 1 1 L 48 48
1 。平均自信息量为 47
H ( B | A) = − ∑∑ P(ai ) P(b j | ai ) log P(b j | ai ) = log 47 = 5.55 比特/符号
i =1 j =1
（3）质点 A 和 B 同时落入的平均自信息量为 H ( AB) = H ( A) + H ( B | A) = 11.13 比特/符号 【2.7】从大量统计资料知道，男性中红绿色盲的发病率为 7%，女性发病率为 0.5%，如果 你问一位男同志： “你是否是红绿色盲？” ，他的回答可能是“是” ，也可能是“否” ，问这 两个回答中各含有多少信息量？平均每个回答中含有多少信息量？如果你问一位女同志， 则答案中含有的平均自信息量是多少？ 解：
i =1 j =1 L m
H ( p1 , p 2 , K , p L −1 , q1 , q 2 , K, q m ) = H ( p1 , p 2 , K, p L −1 , p L ) + p L H ( 并说明等式的物理意义。 解： H ( p1 , p 2 ,K , p L −1 , q1 , q 2 ,K, q m )
I (a1 = 1) = log 4 = 2 比特 I (a 2 = 2) = log 4 = 2 比特 I (a3 = 3) = log 8 = 3 比特 在发出的消息中，共有 14 个“0”符号，13 个“1”符号，12 个“2”符号，6 个“3” 符号，则得到消息的自信息为： I = 14 × 1.415 + 13 × 2 + 12 × 2 + 6 × 3 ≈ 87.81 比特 45 个符号共携带 87.81 比特的信息量，平均每个符号携带的信息量为 I= 87.81 = 1.95 比特/符号 45
第三版信息论答案
【】设有 12 枚同值硬币，其中有一枚为假币。
只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。
现用比较天平左右两边轻重的方法来测量。
为了在天平上称出哪一枚是假币，试问至少必须称多少次？解：从信息论的角度看，“12 枚硬币中，某一枚为假币”该事件发生的概率为P 1；12“假币的重量比真的轻，或重”该事件发生的概率为P 1；2为确定哪一枚是假币，即要消除上述两事件的联合不确定性，由于二者是独立的，因此有I log12log2log 24 比特而用天平称时，有三种可能性：重、轻、相等，三者是等概率的，均为P 1 ，因此天3平每一次消除的不确定性为Ilog 3 比特因此，必须称的次数为I1log24I2log3次因此，至少需称 3 次。
【延伸】如何测量？分 3 堆，每堆 4 枚，经过 3 次测量能否测出哪一枚为假币。
【】同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为 2”或“面朝上点数之和为 8”或“两骰子面朝上点数是 3 和 4”时，试问这三种情况分别获得多少信息量？解：“两骰子总点数之和为 2”有一种可能，即两骰子的点数各为 1，由于二者是独立的，因此该种情况发生的概率为P1 16 61，该事件的信息量为：36I log 36比特“两骰子总点数之和为 8”共有如下可能：2 和 6、3 和 5、4 和 4、5 和 3、6 和2，概率为P 1 1 56 65，因此该事件的信息量为：36I log365比特“两骰子面朝上点数是 3 和 4”的可能性有两种：3 和 4、4 和 3，概率为P因此该事件的信息量为：1 121，6 6 18I log18比特【】如果你在不知道今天是星期几的情况下问你的朋友“明天星期几？”则答案中含有多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知星期一至星期日的顺序）？解：如果不知今天星期几时问的话，答案可能有七种可能性，每一种都是等概率的，均为P 1，因此此时从答案中获得的信息量为7I log 7比特而当已知今天星期几时问同样的问题，其可能性只有一种，即发生的概率为1，此时获得的信息量为0 比特。
信息论和编码理论第二章习题集答案解析(王育民)
部分答案，仅供参考。
2.1信息速率是指平均每秒传输的信息量点和划出现的信息量分别为3log ,23log ，一秒钟点和划出现的次数平均为415314.0322.01=⨯+⨯一秒钟点和划分别出现的次数平均为45.410那么根据两者出现的次数，可以计算一秒钟其信息量平均为253log 4153log 4523log 410-=+2.3 解：(a)骰子A 和B ，掷出7点有以下6种可能：A=1,B=6; A=2,B=5; A=3,B=4; A=4,B=3; A=5,B=2; A=6,B=1 概率为6/36=1/6，所以信息量-log(1/6)=1+log3≈2.58 bit(b) 骰子A 和B ，掷出12点只有1种可能： A=6,B=6概率为1/36，所以信息量-log(1/36)=2+log9≈5.17 bit 2.5解：出现各点数的概率和信息量：1点：1/21，log21≈4.39 bit ； 2点：2/21，log21-1≈3.39 bit ； 3点：1/7，log7≈2.81bit ； 4点：4/21，log21-2≈2.39bit ； 5点：5/21，log （21/5）≈2.07bit ； 6点：2/7，log(7/2)≈1.81bit平均信息量：(1/21)×4.39+(2/21)×3.39+(1/7)×2.81+(4/21)×2.39+(5/21)×2.07+(2/7)×1.81≈2.4bit 2.7解：X=1:考生被录取； X=0:考生未被录取； Y=1:考生来自本市；Y=0:考生来自外地； Z=1: 考生学过英语；Z=0：考生未学过英语P(X=1)=1/4, P(X=0)=3/4; P(Y=1/ X=1)=1/2； P(Y=1/ X=0)=1/10； P(Z=1/ Y=1)=1, P(Z=1 / X=0, Y=0)=0.4, P(Z=1/ X=1, Y=0)=0.4, P(Z=1/Y=0)=0.4 (a) P(X=0,Y=1)=P(Y=1/X=0)P(X=0)=0.075, P(X=1,Y=1)= P(Y=1/X=1)P(X=1)=0.125P(Y=1)= P(X=0,Y=1)+ P(X=1,Y=1)=0.2P(X=0/Y=1)=P(X=0,Y=1)/P(Y=1)=0.375, P(X=1/Y=1)=P(X=1,Y=1)/P(Y=1)=0.625I (X ;Y=1)=∑∑=====xx)P()1Y /(P log)1Y /(P )1Y (I )1Y /(P x x x x;x=1)P(X )1Y /1X (P log)1Y /1X (P 0)P(X )1Y /0X (P log)1Y /0X (P =====+===== =0.375log(0.375/0.75)+0.625log(0.625/0.25)=(5/8)log5-1≈0.45bit (b) 由于P(Z=1/ Y=1)=1, 所以 P （Y=1，Z=1/X=1）= P （Y=1/X=1）=0.5 P （Y=1，Z=1/X=0）= P （Y=1/X=0）=0.1那么P （Z=1/X=1）= P （Z=1,Y=1/X=1）+ P （Z=1,Y=0/X=1）=0.5+ P （Z=1/Y=0，X=1）P （Y=0/X=1）=0.5+0.5*0.4=0.7P(Z=1/X=0)= P （Z=1,Y=1/X=0）+ P （Z=1,Y=0/X=0）=0.1+P(Z=1/Y=0，X=0)P(Y=0/X=0)=0.1+0.9*0.4=0.46P （Z=1,X=1）= P （Z=1/X=1）*P(X=1)=0.7*0.25=0.175P （Z=1,X=0）= P （Z=1/X=0）*P(X=0)= 0.46*0.75=0.345 P(Z=1) = P(Z=1,X=1)+ P(Z=1,X=0) = 0.52 P(X=0/Z=1)=0.345/0.52=69/104 P(X=1/Z=1)=35/104I (X ;Z=1)=∑∑=====x x )P()1Z /(P log )1Z /(P )1Z (I )1Z /(P x x x x;x=1)P(X )1Z /1X (P log )1Z /1X (P 0)P(X )1Z /0X (P log )1Z /0X (P =====+======(69/104)log(23/26)+( 35/104)log(35/26) ≈0.027bit(c)H （X ）=0.25*log(1/0.25)+0.75*log(1/0.75)=2-(3/4)log3=0.811bit H(Y/X)=-P(X=1,Y=1)logP(Y=1/X=1) -P(X=1,Y=0)logP(Y=0/X=1)-P(X=0,Y=1)logP(Y=1/X=0) -P(X=0,Y=0)logP(Y=0/X=0)=-0.125*log0.5-0.125*log0.5-0.075*log0.1-0.675*log0.9=1/4+(3/40)log10-(27/40)log(9/10)≈0.603bitH(XY)=H(X)+H(Y/X)=9/4+(3/4)log10-(21/10)log3=1.414bitP(X=0,Y=0,Z=0)= P(Z=0 / X=0, Y=0)* P( X=0, Y=0)=(1-0.4)*(0.75-0.075)=0.405 P(X=0,Y=0,Z=1)= P(Z=1 / X=0, Y=0)* P( X=0, Y=0)=0.4*0.675=0.27 P(X=1,Y=0,Z=1)= P(Z=1/ X=1,Y=0)* P(X=1,Y=0)=0.4*(0.25-0.125)=0.05 P(X=1,Y=0,Z=0)= P(Z=0/ X=1,Y=0)* P(X=1,Y=0)=0.6*0.125=0.075 P(X=1,Y=1,Z=1)=P(X=1,Z=1)- P(X=1,Y=0,Z=1)=0.175-0.05=0.125 P(X=1,Y=1,Z=0)=0 P(X=0,Y=1,Z=0)=0P(X=0,Y=1,Z=1)= P(X=0,Z=1)- P(X=0,Y=0,Z=1)= 0.345-0.27=0.075H(XYZ)=-0.405*log0.405-0.27*log0.27-0.05*log0.05-0.075*log0.075-0.125*log0.125-0.07 5*log0.075=(113/100)+(31/20)log10-(129/50)log3=0.528+0.51+0.216+0.28+0.375+0.28=2.189 bitH(Z/XY)=H(XYZ)-H(XY)= -28/25+(4/5)log10-12/25log3 =0.775bit2.9 解：A，B，C分别表示三个筛子掷的点数。
信息论第二、三章习题解答
信息论（I ）第二、三章 习题解答4.1 同时掷两个正常的骰子，也就是各面呈现的概率是61，求： （1）“3和5同时出现”这一事件的自信息量。
（2）“两个1同时出现”这一事件的自信息量。
（3）两个点数的各种组合（无序对）的熵或平均信息量。
（4）两个点数之和（即2，3…12构成的子集）的熵。
（5）两个点数中至少有一个是1的自信息。
4.2 消息符号集的概率分布和二进制代码如下表（1）求消息的符号熵。
（2）每个消息符号所需要的平均二进制码的个数或平均代码长度。
进而用这个结果求码序列中的一个二进制码的熵。
（3）当消息是由符号序列组成时，各符号之间若相互独立，求其对应的二进制码序列中出现0和1的无条件概率0p 和1p ，求相邻码间的条件概率10110100,,,P P P P 。
解答见第三章课件！4.3 某一无记忆信源的符号集为{0，1}，已知0p =14，1p =34（1）求符号的平均信息熵。
（2）由100个符号构成的序列，求某一特定序列{例如有m 个“0”和（m -10）个“1”}的自信息量的表达式。
（3）计算（2）中的序列的熵。
解：（1）()()0113014408113,;;log ..i i ix p p bitH x p p symb ∈==∴=-=∑（2）这是一个求由一百个二进制符号构成的序列中的某一特定（如有m 个“0”和100－m 个“1” ）序列的自信息，问题是要求某一特定序列而不是某一类序列（如含有m 个“0”的序列）(){}[]()()()()1001001001001344m 0100-m 110013100441341515844;!!!log log ..m mm m m m mmm m m m m m m mP x where x A x P A C P x m m bit I x P x m x ---⎛⎫⎛⎫= ⎪ ⎪⎝⎭⎝⎭=∈⎛⎫⎛⎫∴==⎪ ⎪-⎝⎭⎝⎭⎡⎤⎛⎫⎛⎫∴=-=-=+⎢⎥ ⎪ ⎪⎝⎭⎝⎭⎢⎥⎣⎦其中含有个“”和个“”（3）这里有两种解法，因为是无记忆信源序列，所以单符号熵转序列熵很容易！()()()121001008113.m bit H X H x x x H x x∴==⨯=另一种解法是利用二项式定理来解。
信息论与编码第二章习题参考答案
2.1 同时掷两个正常的骰子，也就是各面呈现的概率都是1/6，求： （1）“3和5同时出现”事件的自信息量； （2）“两个1同时出现”事件的自信息量；（3）两个点数的各种组合（无序对）的熵或平均信息量； （4）两个点数之和（即2，3，…，12构成的子集）的熵；（5）两个点数中至少有一个是1的自信息。
解：（1）一个骰子点数记为X ，另一个骰子的点数记做Y ，X 、Y 之间相互独立，且都服从等概率分布，即同理一个骰子点数为3，另一个骰子点数为5属于组合问题，对应的概率为181616161613Y Py 5X Px 5Y Py 3X Px P 1=⨯+⨯===+===）（）（）（）（对应的信息量为比特）（）（17.4181-lb P -I 11===lb（2）两个骰子点数同时为1的概率为）（）（3611Y Py 1X Px P 2==== 对应的信息量为比特）（）（17.5361-lb P -I 22===lb（3）各种组合及其对应的概率如下,6,5,4,3,2,1Y X 3616161Y X P ===⨯==）（共6种可能18161612Y X P =⨯⨯=≠）（ 共有15种可能因此对应的熵或者平均自信息量为34.418118115-3613616-H 1=⨯⨯⨯⨯=）（）（lb lb 比特/符号 （4）令Z=X+Y ，可以计算出Z 对应的概率分布如下对应的熵为符号比特）（）（）（）（）（）（）（/1.914366366-3653652-3643642-3633632-3633632-3623622-361361-2H 1=⨯⨯⨯⨯⨯⨯⨯⨯⨯⨯⨯⨯⨯=lb lb lb lb lb lb lb （5）X 、Y 相互独立，所以联合熵为比特）（）（597.06162Y X,I =⨯=lb2.2 设在一只布袋中装有100个大小、手感完全相同的球，每个球上涂有一种颜色。
100个球的颜色有下列3种情况：（1）红色球和白色球各50个； （2）红色球99个，白色球1个； （3）红、黄、蓝、白色球各25个。
(信息论)第二、三章习题参考答案
第二章习题参考答案2-1解：同时掷两个正常的骰子，这两个事件是相互独立的，所以两骰子面朝上点数的状态共有6×6＝36种，其中任一状态的分布都是等概的，出现的概率为1/36。
(1)设“3和5同时出现”为事件A ，则A 的发生有两种情况：甲3乙5，甲5乙3。
因此事件A 发生的概率为p(A)=(1/36)*2=1/18 故事件A 的自信息量为I(A)=－log 2p(A)=log 218=4.17 bit(2)设“两个1同时出现”为事件B ，则B 的发生只有一种情况：甲1乙1。
因此事件B 发生的概率为p(B)=1/36 故事件B 的自信息量为I(B)=－log 2p(B)=log 236=5.17 bit (3) 两个点数的排列如下：因为各种组合无序，所以共有21种组合： 其中11，22，33，44，55，66的概率是3616161=⨯ 其他15个组合的概率是18161612=⨯⨯symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑(4) 参考上面的两个点数的排列，可以得出两个点数求和的概率分布：sym bolbit x p x p X H X P X ii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=⎪⎭⎫ ⎝⎛+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑(5)“两个点数中至少有一个是1”的组合数共有11种。
bitx p x I x p i i i 710.13611log )(log )(3611116161)(=-=-==⨯⨯=2-2解：(1)红色球x 1和白色球x 2的概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡2121)(21x x x p X i 比特 12log *21*2)(log )()(2212==-=∑=i i i x p x p X H(2)红色球x 1和白色球x 2的概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡100110099)(21x x x p X i 比特 08.0100log *100199100log *10099)(log )()(22212=+=-=∑=i i i x p x p X H (3)四种球的概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡41414141)(4321x x x x x p X i ，42211()()log ()4**log 4 2 4i i i H X p x p x ==-==∑比特2-5解：骰子一共有六面，某一骰子扔得某一点数面朝上的概率是相等的，均为1/6。
信息论与编码zjh201209习题讲解(第二章)
1）如果有人告诉你X和Y的实验结果，你得到的平均信息量是多 少？ 2）如果有人告诉你Y的实验结果，你得到的平均信息量是多少？ 3）在已知Y实验结果的情况下，告诉你X的实验结果，你得到的 平均信息量是多少？ 解：联合概率 p( xi, yj )为 X概率分布 Y概率分布是 Y x y1 x y2 x y3 1 Y ( X , Y )y1 p( xi,y2) log 2 y3 X H yj 1 2 3 X p( xi, yj ) ij P 8/24 8/24 8/24 P 8/24 8/24 8/24 7 24 1 1 x1 7/24 1/24 0 2 log 2 4 log 224 log 24 1 24 7 24 1/4 1/24 H (Y x2 3 1/2423 1.58 bit/符号 H ( X | Y ) H ( X , Y ) H (Y ) 2.34 1.58 ) log 3 =2.3bit/符号 15 =0.72bit/符号 x3 0 1/24 7/24 2013-8-15
13 2013-8-15
2-11 有一个可以旋转的圆盘，盘面上被均匀的分成38份，用1，…， 38的数字标示，其中有两份涂绿色，18份涂红色，18份涂黑色， 圆盘停转后，盘面上的指针指向某一数字和颜色。 （1）如果仅对颜色感兴趣，则计算平均不确定度 （2）如果仅对颜色和数字感兴趣，则计算平均不确定度 （3）如果颜色已知时，则计算条件熵 解：令X表示指针指向某一数字，则X={1,2,……….,38} Y表示指针指向某一种颜色，则Y={l绿色，红色，黑色} Y是X的函数，由题意可知
p(1|10) p(01|10) 0.5
0 0.8 0.2 0 于是可以列 0 0 0.5 0.5 出转移概率 p 0.5 0.5 0 0 矩阵： 0 0.2 0.8 0
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
p( y1)
p(x1 y1)
p(x2 y1)
1 8
3 8
1 2
p( y2 )
p(x1 y2 )
p(x2 y2 )
3 8
1 8
1 2
H (Y ) p( y j ) log2 p( y j ) 1 bit / symbol
j
(1) H(Z)
Z = XY的概率分布如下：
进制代
码组 x0y0z0x0y0z1x0y1z0x0y1z1x1y0z0x1y0z1x1y1z0x1y1z1
P(ui) 1/4 1/4 1/8 1/8 1/16 1/16 1/16 1/16
求互信息量I(ui;x0),I(u3;x0y1),I(u3;x0y1z1)。 求在给定x0条件下，各消息与y1之间的条件互信息量。 求在给定x0y1条件下，消息u3与z1之间的条件互信息量。 求消息u3与代码组之间的互信息量。
习题2.26：已知信源U包含8个数字消息0,1,2,3,4,5,6,7。为了 在二进制信道上传输，用信源编码器把这8个十进制数编成 三位二进制代码组，信源各消息（符号）的先验概率及相应 的代码组如下：
信息 0 1 2 3 4 5 6 7
三位二 000 001 010 011 100 101 110 111
i jk
1 8
log2
1 8
3 8
log2
3 8
3 8
log2
3 8
1 8
log2
1 8
1.811
bit
(2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), Y X x1=0 x2=1
H(Z/Y), H(X/YZ), H(Y/XZ)和H(Z/XY)；
p(xi )
log 2
1 18
4.170
bit
(2)
p( xi
)
1 6
1 6
1 36
I (xi )
log 2
p(xi )
log 2
1 36
5.170
bit
(3)
p( xi
)
1
5 6
5 6
11 36
I ( xi ) log2
p(
xi
)
log2
11 36
X P(X)
x1（是大学生）
0.25
x2（不是大学生）
0.75
设随机变量Y代表女孩子身高
Y y1（身高>160cm） y2（身高<160cm）
P(Y)
0.5
0.5
已知：在女大学生中有75%是身高160厘米以上的
即：p(y1/ x1) = 0.75
求：身高160厘米以上的某女孩是大学生的信息量,即：
I
• 2.3 在布袋中放入81个硬币，它们的外形完全相同。已 知有一个硬币的重量与其他81个硬币的重量不同，但 不知这一个硬币是比其他硬币重还是轻。问确定随意 取出的一个硬币恰好是重量不同的一个硬币所需要的 信息量是多少？若要进一步确定它比其他硬币是重一 些还是轻一些所需要的信息量是多少？
p( A) 1/ 81 I ( A) log P( A) 6.34(bit)
H (Y / XZ ) H ( XYZ ) H ( XZ ) 1.8111.406 0.405 bit
H (Z / XY ) H ( XYZ ) H ( XY ) 1.8111.811 0 bit
(3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。
p( x1) p( x2 ) 0.5
p( x1z1) 0.5
p( x1z2 ) 0
p(
x2
z1
)
3 8
p(
x2
z2
)
1 8
Y X x1=0 x2=1 y1=0 1/8 3/8 y2=1 3/8 1/8
z1 0 z2 1
7
1
8
8
H ( XZ )
并定义另一随机变量Z = XY（一般乘积），试计算： (1) H(X), H(Y), H(Z), H(XZ), H(YZ)和H(XYZ)； (2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)和H(Z/XY)； (3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和 I(X;Z/Y)。
2.1 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6， 求：
(1) “3和5同时出现”这件事的自信息量； (2) “两个1同时出现”这件事的自信息量； (3) 两个点数中至少有一个是1的自信息量。
解： (1)
p( xi
)
1 6
1 6
1 6
1 6
1 18
I (xi )
log 2
1.710
bit
• 2.2 设在一只布袋中装有100只对人手的感觉完全相同的木球， 每只球上涂有一种颜色。100只球的颜色有下列三种情况：
（1）红色球和白色球各50只；
（2）红色球99只，白色球1只；
（3）红、黄、蓝、白色各25只；
求从布袋中随意取出一只球时，猜测其颜色所需要的信息量。
(1) p(R) p(W ) 50 /100 1/ 2 I (R) I (W ) log 2 1(bit) (2) p(R) 99 /100 0.99 p(W ) 1/100 0.01 I (R) log100 / 99 0.0145(bit) I (W ) log100 6.644(bit) (3) p(R) p(Y ) p(B) p(W ) 25/100 1/ 4 I (R) I (W ) I (W ) I (W ) log 4 2(bit)
y1=0 1/8 3/8
y2=1 3/8 1/8
H ( XY )
p( xi y j ) log2 p( xi y j )
ij
1 8
log2
1 8
3 8
log2
3 8
3 8
log2
3 8
1 8
log2
1 8
1.811
bit
Z
H ( X /Y ) H ( XY ) H (Y ) 1.8111 0.811 bit X
p( xi zk ) log2 p( xi zk )
ik
(
1 2
log2
1 2
3 8
log2
3 8
1 8
log2
1) 8
1.406
bit / symbol
（1）H(XYZ)；
p( x1 y1z2 ) 0, p( x1 y2 z2 ) 0
p(
x2
y1z2
)
0,
p(
x2
y2
z2
)
Hale Waihona Puke iI (u0;x0 )
log
p(u0 / x0 ) p(u0 )
log
1/ 1/
3 4
0.415(bit)
信息 代码 组
P(ui)
01234567 000 001 010 011 100 101 110 111 x0y0z0 x0y0z1 x0y1z0 x0y1z1 x1y0z0 x1y0z1 x1y1z0 x1y1z1 1/4 1/4 1/8 1/8 1/16 1/16 1/16 1/16
p p( A) p(B) 1/ 811/ 2 I log(1/ 811/ 2) 7.34(bit)
• 习题2.4 居住在某地区的女孩中有25%是大学生，在女 大学生中有75%是身高1.6米以上的，而女孩中身高1.6 米以上的占总数一半。假如我们得知“身高1.6米以上 的某女孩是大学生”的消息，问可获得多少信息量？
(
x1
/
y1
)
log
p(
x1
/
y1
)
log2
p(
x1
) p( y1 p( y1)
/
x1 )
log2
0.25 0.75 0.5
1.415
bit
2.18 有两个二元随机变量X和Y，它们的联合概率为
Y X x1=0 x2=1 y1=0 1/8 3/8 y2=1 3/8 1/8
解：(1) H(X), H(Y)
p( x1 )
p(x1 y1)
p(x1 y2 )
1 8
3 8
1 2
Y X x1=0 x2=1 y1=0 1/8 3/8 y2=1 3/8 1/8
p(x2 )
p(x2 y1)
p(x2 y2 )
3 8
1 8
1 2
H ( X ) p(xi ) log2 p(xi ) 1 bit / symbol
I (xi;
yj)