信息论习题答案第二章陈前斌版
信息论与编码第二章课后习题答案
因此，必须称的次数为
因此，至少需称 3 次。
I1 = log 24 ≈ 2.9 次 I 2 log 3
【延伸】如何测量？分 3 堆，每堆 4 枚，经过 3 次测量能否测出哪一枚为假币。
【2.2】同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为 2”或“面朝上点数之
和为 8”或“两骰子面朝上点数是 3 和 4”时，试问这三种情况分别获得多少信息量？
= − p1 log p1 − p2 log p2 − K − pL−1 log pL−1 − pL log pL + pL log pL
− q1 log q1 − q2 log q2 − K − qm log qm
= − p1 log p1 − p2 log p2 − K − pL−1 log pL−1 − pL log pL + (q1 + q2 + q3 + L + qm ) log pL
H ( X ) − H (X ′) = ( p1 − ε ) log( p1 − ε ) + ( p2 + ε ) log( p2 + ε ) − p1 log p1 − p2 log p2
令
f
(x)
=
( p1
−
x) log( p1
−
x) +
( p2
+
x) log( p2
+
x)
，
x ∈ 0,
A
已落入，B
落入的格可能有
47
个，条件概率
P(b j
|
ai )
均为
1 47
。平均自信息量为
48 47
∑ ∑ H (B | A) = −
第一章 第二章课后作业答案
信息论基础（于秀兰 陈前斌 王永）课后作业答案注：X 为随机变量，概率P(X =x)是x 的函数，所以P(X)仍为关于X 的随机变量，文中如无特别说明，则以此类推。
第一章1.6[P (xy )]=[P(b 1a 1)P(b 2a 1)P(b 1a 2)P(b 2a 2)]=[0.360.040.120.48] [P (y )]=[P(b 1)P(b 2)]=[0.480.52] [P (x|y )]=[P(a 1|b 1)P(a 2|b 1)P(a 1|b 2)P(a 2|b 2)]=[0.750.250.0770.923]第二章2.1(1)I (B )=−log P (B )=−log 18=3(bit) 注：此处P (B )表示事件B 的概率。
(2)设信源为X ，H (X )=E [−logP (X )]=−14log 14−2∙18log 18−12log 12=1.75(bit/symbol) (3)ξ=1−η=1−1.75log4=12.5%2.2(1)P(3和5同时出现)=1/18I =−log118≈4.17(bit) (2)P(两个2同时出现)=1/36I =−log 136≈5.17(bit) (3)向上点数和为5时（14，23，41，32）有4种，概率为1/9，I =−log 19≈3.17(bit) (4)(5)P(两个点数至少有一个1)=1−5∙5=11 I =−log 1136≈1.71(bit) (6)相同点数有6种，概率分别为1/36；不同点数出现有15种，概率分别为1/18；H =6∙136∙log36+15∙118∙log18≈4.34(bit/symbol)2.9(1)H (X,Y )=E [−logP (X,Y )]=−∑∑P(x i ,y j )logP(x i ,y j )3j=13i=1≈2.3(bit/sequence)(2)H (Y )=E [−logP (Y )]≈1.59(bit/symbol)(3)H (X |Y )=H (X,Y )−H (Y )=0.71(bit/symbol)2.12(1)H (X )=E [−logP (X )]=−2log 2−1log 1≈0.92(bit/symbol) Y 的分布律为：1/2,1/3,1/6；H (Y )=E [−logP (Y )]≈1.46(bit/symbol)(2)H (Y |a 1)=E [−logP (Y|X )|X =a 1]=−∑P (b i |a 1)logP (b i |a 1)i=−34log 34−14log 14≈0.81(bit/symbol) H (Y |a 2)=E [−logP (Y|X )|X =a 2]=−∑P (b i |a 2)logP (b i |a 2)i=−12log 12−12log 12=1(bit/symbol) (3)H (Y |X )=∑P (a i )H (Y |a i )i =23∙0.81+13∙1≈0.87(bit/symbol)2.13(1)H (X )=H (0.3,0.7)≈0.88(bit/symbol)二次扩展信源的数学模型为随机矢量X 2=(X 1X 2)，其中X 1、X 2和X 同分布，且相互独立，则H (X 2)=2H (X )=1.76(bit/sequence)平均符号熵H 2(X 2)=H (X )≈0.88(bit/symbol)(2)二次扩展信源的数学模型为随机矢量X 2=(X 1X 2)，其中X 1、X 2和X 同分布，且X 1、X 2相关，H (X 2|X 1)=E [−logP (X 2|X 1)]=−∑∑P (x 1,x 2)logP (x 2|x 1)x 2x 1=−110log 13−210log 23−2140log 34−740log 14≈0.84(bit/symbol) H (X 2)= H (X 1,X 2)=H (X 2|X 1)+H (X 1)=0.84+0.88=1.72(bit/sequence)H 2(X 2)=H (X 2)/2=0.86(bit/symbol)2.14(1)令无记忆信源为X ，H (X )=H (14,34)=14×2+34×0.415≈0.81(bit/symbol ) (2)I (X 100)=−logP (X 100=x 1x 2…x 100)=−log [(14)m (34)100−m]=2m +(2−log3)(100−m )=200−(100−m )log3 (bit)(3)H (X 100)=100H (X )=81(bit/sequence)2.15(1)因为信源序列符号间相互独立，且同分布，所以信源为一维离散平稳信源。
信息论基础第二版习题答案
信息论基础第二版习题答案信息论是一门研究信息传输和处理的学科，它的基础理论是信息论。
信息论的基本概念和原理被广泛应用于通信、数据压缩、密码学等领域。
而《信息论基础》是信息论领域的经典教材之一，它的第二版是对第一版的修订和扩充。
本文将为读者提供《信息论基础第二版》中部分习题的答案，帮助读者更好地理解信息论的基本概念和原理。
第一章：信息论基础1.1 信息的定义和度量习题1：假设有一个事件发生的概率为p，其信息量定义为I(p) = -log(p)。
求当p=0.5时，事件的信息量。
答案：将p=0.5代入公式，得到I(0.5) = -log(0.5) = 1。
习题2：假设有两个互斥事件A和B，其概率分别为p和1-p，求事件A和B 同时发生的信息量。
答案：事件A和B同时发生的概率为p(1-p)，根据信息量定义，其信息量为I(p(1-p)) = -log(p(1-p))。
1.2 信息熵和条件熵习题1：假设有一个二进制信源，产生0和1的概率分别为p和1-p，求该信源的信息熵。
答案：根据信息熵的定义，信源的信息熵为H = -plog(p) - (1-p)log(1-p)。
习题2：假设有两个独立的二进制信源A和B，产生0和1的概率分别为p和1-p，求两个信源同时发生时的联合熵。
答案：由于A和B是独立的，所以联合熵等于两个信源的信息熵之和，即H(A,B) = H(A) + H(B) = -plog(p) - (1-p)log(1-p) - plog(p) - (1-p)log(1-p)。
第二章：信道容量2.1 信道的基本概念习题1：假设有一个二进制对称信道，其错误概率为p，求该信道的信道容量。
答案：对于二进制对称信道，其信道容量为C = 1 - H(p)，其中H(p)为错误概率为p时的信道容量。
习题2：假设有一个高斯信道，信道的信噪比为S/N，求该信道的信道容量。
答案：对于高斯信道，其信道容量为C = 0.5log(1 + S/N)。
信息论第二、三章习题解答
信息论（I ）第二、三章 习题解答4.1 同时掷两个正常的骰子，也就是各面呈现的概率是61，求： （1）“3和5同时出现”这一事件的自信息量。
（2）“两个1同时出现”这一事件的自信息量。
（3）两个点数的各种组合（无序对）的熵或平均信息量。
（4）两个点数之和（即2，3…12构成的子集）的熵。
（5）两个点数中至少有一个是1的自信息。
4.2 消息符号集的概率分布和二进制代码如下表（1）求消息的符号熵。
（2）每个消息符号所需要的平均二进制码的个数或平均代码长度。
进而用这个结果求码序列中的一个二进制码的熵。
（3）当消息是由符号序列组成时，各符号之间若相互独立，求其对应的二进制码序列中出现0和1的无条件概率0p 和1p ，求相邻码间的条件概率10110100,,,P P P P 。
解答见第三章课件！4.3 某一无记忆信源的符号集为{0，1}，已知0p =14，1p =34（1）求符号的平均信息熵。
（2）由100个符号构成的序列，求某一特定序列{例如有m 个“0”和（m -10）个“1”}的自信息量的表达式。
（3）计算（2）中的序列的熵。
解：（1）()()0113014408113,;;log ..i i ix p p bitH x p p symb ∈==∴=-=∑（2）这是一个求由一百个二进制符号构成的序列中的某一特定（如有m 个“0”和100－m 个“1” ）序列的自信息，问题是要求某一特定序列而不是某一类序列（如含有m 个“0”的序列）(){}[]()()()()1001001001001344m 0100-m 110013100441341515844;!!!log log ..m mm m m m mmm m m m m m m mP x where x A x P A C P x m m bit I x P x m x ---⎛⎫⎛⎫= ⎪ ⎪⎝⎭⎝⎭=∈⎛⎫⎛⎫∴==⎪ ⎪-⎝⎭⎝⎭⎡⎤⎛⎫⎛⎫∴=-=-=+⎢⎥ ⎪ ⎪⎝⎭⎝⎭⎢⎥⎣⎦其中含有个“”和个“”（3）这里有两种解法，因为是无记忆信源序列，所以单符号熵转序列熵很容易！()()()121001008113.m bit H X H x x x H x x∴==⨯=另一种解法是利用二项式定理来解。
《信息论、编码与密码学》课后习题答案资料
《信息论、编码与密码学》课后习题答案第1章 信源编码1.1考虑一个信源概率为{0.30，0.25，0.20，0.15，0.10}的DMS 。
求信源熵H （X ）。
解： 信源熵 ∑=-=512)(log )(k k k p p X HH(X)=-[0.30*(-1.737)+0.25*(-2)+0.2*(-2.322)+0.15*(-2.737)+0.1*(-3.322)]=[0.521+0.5+0.464+0.411+0.332] =2.228(bit)故得其信源熵H(X)为2.228bit1.2 证明一个离散信源在它的输出符号等概率的情况下其熵达到最大值。
解： 若二元离散信源的统计特性为P+Q=1 H(X)=-[P*log(P)+(1-P)*log(1-P)] 对H(X)求导求极值，由dH(X)/d(P)=0可得211101log ==-=-p ppp p可知当概率P=Q=1/2时，有信源熵)(1)(max bit X H =对于三元离散信源，当概率3/1321===P P P 时，信源熵)(585.1)(m ax bit X H =，此结论可以推广到N 元的离散信源。
1.3 证明不等式ln 1x x ≤-。
画出曲线1ln y x =和21y x =-的平面图以表明上述不等式的正确性。
证明：max ()ln 1(0)1()()01001()0()0ln 11ln 1ln 1f x x x x f x xf x x x x f x f x f x x x x x x x =-+>'=''==>∴<≤>≤=≤-≥≤-≤-令，又有时此时也即当时同理可得此时综上可得证毕绘制图形说明如下 可以很明确说明上述 不等式的正确性。
1.4 证明(;)0I X Y ≥。
在什么条件下等号成立？1111(,)(,)(,)(,)log()()n mi j i j i j n mi j i j i j i j I P x y I x y P x y P x y P x P y =====∑∑∑∑（X ；Y ）=当和相互独立时等号成立。
信息论-第二章信源熵-习题答案
2.4 设离散无记忆信源⎭⎬⎫⎩⎨⎧=====⎥⎦⎤⎢⎣⎡8/14/1324/18/310)(4321x x x x X P X ，其发出的信息为(202120130213001203210110321010021032011223210)，求 (1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？解：(1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：62514814183⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛=p此消息的信息量是：bit p I811.87log =-=(2) 此消息中平均每符号携带的信息量是：bitn I 951.145/811.87/==41()()log () 2.010i i i H X p x p x ==-=∑2.6 设信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡17.016.017.018.019.02.0)(654321x x x x x x X P X ，求这个信源的熵，并解释为什么H(X) > log6不满足信源熵的极值性。
解：585.26log )(/ 657.2 )17.0log 17.016.0log 16.017.0log 17.018.0log 18.019.0log 19.02.0log 2.0( )(log )()(26=>=+++++-=-=∑X H symbol bit x p x p X H ii i 不满足极值性的原因是107.1)(6>=∑iix p 。
2.7 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。
解：(1)用随机事件i x 表示“3和5同时出现”，则bitx p x I x p i i i 170.4181log )(log )(18161616161)(=-=-==⨯+⨯=(2) 用随机事件i x 表示“两个1同时出现”，则bitx p x I x p i i i 170.5361log )(log )(3616161)(=-=-==⨯=(3)两个点数的排列如下： 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 6263646566共有21种组合：其中11，22，33，44，55，66的概率是3616161=⨯ 其他15个组合的概率是18161612=⨯⨯symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑(4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：sym bolbit x p x p X H X P X ii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=⎪⎭⎫ ⎝⎛+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑(5)bitx p x I x p i i i 710.13611log )(log )(3611116161)(=-=-==⨯⨯=2.10 对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态，调查结果得联合出现的相对频度如下：忙晴雨冷 12暖 8暖 16冷 27闲晴雨冷 8暖 15暖 12冷 5若把这些频度看作概率测度，求： (1) 忙闲的无条件熵；(2) 天气状态和气温状态已知时忙闲的条件熵；(3) 从天气状态和气温状态获得的关于忙闲的信息。
[课件]信息论第2章课后习题PPT
2018/12/3
6
[2.7的解答] (a)是求事件“来自本市”与随机变量“是否 被录取”的半平均互信息量。 (b)是求事件“学过英语” 与随机变量“是否被录取”的半平均互信息量。
以x表示是否被录取（0表示被录取，1表示未被录取），y表示是 否为本市学生（0表示本市学生，1表示非本市学生） ，z表示 是否学过英语（0表示学过英语，1表示未学过英语） ，则 P(xyz=000)=(1/4)×(50%)×1=12.5%； P(xyz=001)=(1/4)×(50%)×0=0； P(xyz=010)=(1/4)×(50%)×(40%)=5%； P(xyz=011)=(1/4)×(50%)×(60%)=7.5%； P(xyz=100)=(3/4)×(10%)×1=7.5%； P(xyz=101)=(3/4)×(10%)×0=0； P(xyz=110)=(3/4)×(90%)×(40%)=27%； P(xyz=111)=(3/4)×(90%)×(60%)=40.5%。
2018/12/3 2
习题课
2.6 园丁植树一行，若有3棵白杨、4棵白桦和5棵梧桐。设这12 棵树可随机地排列，且每一种排列都是等可能的。若告诉你没 有两棵梧桐树相邻时，你得到了多少关于树的排列的信息? [2.6的解答] 共有12！种不同的排列。满足“没有两棵梧桐树相 邻”的排列个数为 8×1+7×2+6×3+5×4+4×5+3×6+2×7+1×8=120（为什么？） 记X=“树的排列情况”， Y=“梧桐树有无相邻位置”。则本题要 求半平均互信息量
I ( x ; z 0 ) P ( xz 00 ) P ( xz 00 ) P ( xz 10 ) P ( xz 10 ) log log P ( z 0 ) P ( x 0 ) P ( z 0 ) P ( z 0 ) P ( x 1 ) P ( z 0 ) 35 35 69 23 log log 0 . 143 104 26 104 26
信息论习题解答
第二章 信息量和熵2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此每个码字的信息量为 2⨯8log =2⨯3=6 bit 因此，信息速率为 6⨯1000=6000 bit/s2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。
问各得到多少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1})(a p =366=61 得到的信息量 =)(1loga p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=)(1logb p =36log =5.17 bit2.4 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521 信息量=)(1loga p =!52log =225.58 bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C =13.208 bit2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。
解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6 =3.2744 bit)|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit)|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit2.10 设一个系统传送10个数字，0，1，…，9。
信息论基础第二章信源熵-习题答案.doc
为(202120130213001203210110321010021032011223210),求(1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？解：(1) 此消息总共有14个0、13个1、12个2、6个3,因此此消息发出的概率是:(]\25X ——,4丿此消息的信息量是：/ =-log/? = 87.811 bit(2)此消息中平均每符号携带的信息量是：//〃 = 87.811/45 = 1.951 bit解释为什么> Iog6不满足信源储的极值性。
解： 6 H(X)= -工 /?(%,) log p(xji= -(0.2 log 0.2+ 0.19 log 0.19 + 0.181og0.18 + 0.171og0」7 + 0.161og0.16 + 0.171og0.17) =2.657 bit / symbolW(X)>log 2 6 = 2.5856不满足极值性的原因是工#(兀)=1.07 > i 。
2.7同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6,求:(1) “3和5同时出现”这事件的自信息；(2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合(无序)对的*商和平均信息量；(4) 两个点数之和(即2, 3,…，12构成的子集)的储；(5) 两个点数中至少有一个是1的自信息量。
解：2.4 设离散无记忆信源X P(X) 兀[=0 兀2 = 1 兀3 = 2 X 4 =3 3/8 1/4 1/4 1/8 ,其发出的信息 2. 6 ■ X 'x 2 兀4 尤5 兀6 ' > P(X).[0.2 0.19 0.18 0.17 0.16 0」74H(X)=-工"(xjlog #(兀)= 2.010 /=!设信源 求这个信源的储，并⑴用随机事件兀表示“3和5同时出现”，贝UI(x i ) = - log p(xj = - log — = 4.170 bit 18(2)用随机事件齐表示“两个1同吋出现”，则 p(xj = — X —=—'6 6 36/(兀)=- log p{x i ) = -log — = 5」70 bit⑶两个点数的排列如下: 1112 13 14 15 16 2122 23 24 25 26 3132 33 34 35 36 4142 43 44 45 46 5152 53 54 55 56 61 62 63 64 65 6622, 33, 44, 55, 66的概率是卜卜召 其他"组合的概率是2x 肚诂H(X) =-工 p(x /)logp(x,) = -f6x-^log-^ + 15x-l-log-^/ I 3o 3b 1 o 1 o ⑷参考上而的两个点数的排列，可以得出两个点数求和的概率分布如H ：Xf 2 3 4 5 6 7 8 9 1() 11 121 1 1 1 1 5 1 5 1 1 1 1]p(X)_ 、36 18 12 9 36 6 36 9 12 18 36.H(X) = -工卩(无)log pg1 . 1 c 1 I 1,1. 1,1. 1,5, 5 1 I 1)-2x ——log — + 2x —log — + 2x — log — + 2x —log —+ 2x — log — + —log —I 36 36 18 18 12 12 9 9 36 36 6 6)= 3.274 bit/symbol⑸p(x.) = —x — xl 1 =——'6 6 36/(x z ) = - log /?(%, ) = - log= 1.710 bit 36共有21种组合：其中11,= 4.337 bit I symbol2.10对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷 暖两个状态，调查结果得联合出现的相对频度如下：若把这些频度看作概率测度，求：(1) 忙闲的无条件爛；(2) 天气状态和气温状态已知时忙闲的条件爛；⑶从天气状态和气温状态获得的关于忙闲的信息。
(信息论)第二、三章习题参考答案
第二章习题参考答案2-1解：同时掷两个正常的骰子，这两个事件是相互独立的，所以两骰子面朝上点数的状态共有6×6＝36种，其中任一状态的分布都是等概的，出现的概率为1/36。
(1)设“3和5同时出现”为事件A ，则A 的发生有两种情况：甲3乙5，甲5乙3。
因此事件A 发生的概率为p(A)=(1/36)*2=1/18 故事件A 的自信息量为I(A)=－log 2p(A)=log 218=4.17 bit(2)设“两个1同时出现”为事件B ，则B 的发生只有一种情况：甲1乙1。
因此事件B 发生的概率为p(B)=1/36 故事件B 的自信息量为I(B)=－log 2p(B)=log 236=5.17 bit (3) 两个点数的排列如下：因为各种组合无序，所以共有21种组合： 其中11，22，33，44，55，66的概率是3616161=⨯ 其他15个组合的概率是18161612=⨯⨯symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑(4) 参考上面的两个点数的排列，可以得出两个点数求和的概率分布：sym bolbit x p x p X H X P X ii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=⎪⎭⎫ ⎝⎛+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑(5)“两个点数中至少有一个是1”的组合数共有11种。
bitx p x I x p i i i 710.13611log )(log )(3611116161)(=-=-==⨯⨯=2-2解：(1)红色球x 1和白色球x 2的概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡2121)(21x x x p X i 比特 12log *21*2)(log )()(2212==-=∑=i i i x p x p X H(2)红色球x 1和白色球x 2的概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡100110099)(21x x x p X i 比特 08.0100log *100199100log *10099)(log )()(22212=+=-=∑=i i i x p x p X H (3)四种球的概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡41414141)(4321x x x x x p X i ，42211()()log ()4**log 4 2 4i i i H X p x p x ==-==∑比特2-5解：骰子一共有六面，某一骰子扔得某一点数面朝上的概率是相等的，均为1/6。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第2章习题2-3 同时掷两个正常的骰子，也就是各面呈现的概率都是l/6，求： (1) “3和5同时出现”事件的自信息量； (2)“两个1同时出现”事件的自信息量；(3)两个点数的各种组合（无序对）的熵或平均信息量； (4) 两个点数之和(即 2，3，…，12构成的子集）的熵； (5)两个点数中至少有一个是1的自信息。
解：（1）P （3、5或5、3）＝P （3、5）+P （5、3）＝1/18I ＝log2（18）＝ 4.1699bit 。
（2）P （1、1）＝l/36。
I ＝log2（36）＝5.1699bit 。
（3）相同点出现时（11、22、33、44、55、66）有6种，概率1/36。
不同点出现时有15种，概率1/18。
H （i ，j ）＝6*1/36*log 2（36）+15*1/18*log 2（18）＝4.3366bit/事件。
2/36 1/36)=3.2744bit/事件。
（5）P （1、1or1、j or i 、1）＝1/36+5/36+5/36＝11/36。
I ＝log2（36/11）＝1.7105bit/2-5 居住某地区的女孩中有25％是大学生，在女大学生中有75％身高为1.6m 以上，而女孩中身高1.6m 以上的占总数一半。
假如得知“身高1.6m 以上的某女孩是大学 生”的消息，问获得多少信息量？、解：P （女大学生）＝1/4；P （身高>1.6m / 女大学生）=3/4；P （身高>1.6m ）＝1/2； P （女大学生 / 身高>1.6m ）＝P （身高>1.6m 、女大学生）/P （身高>1.6m ） ＝3/4*1/4*2＝3/8 I ＝log2（8/3）＝1.4150bit 。
2-7两个实验123{,,}X x x x =和123{,,}Y y y y =，联合概率()i j ij p x y p =为1112132122233132337/241/2401/241/41/2401/247/24p p p p p p p p p ⎡⎤⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦（1）如果有人告诉你X 和Y 的实验结果，你得到的平均信息量是多少？ （2）如果有人告诉你Y 的实验结果，你得到的平均信息量是多少？（3）在已知Y 的实验结果的情况下，告诉你X 的实验结果，你得到的平均信息量是多少？ 解：（1）3311(,)(,)log (,)2.301/i j i j i j H X Y p x y P x y bit symbol===-=∑∑（2）31()()log ()1.5894/j j j H Y p y p y bit symbol==-=∑（3）(|)(,)()2.301 1.58940.7151/H X Y H X Y H Y bit symbol=-=-=2．11某一无记忆信源的符号集为{}0,1，已知01/4p =，13/4p =。
（1）求信源符号的平均信息量；（2）由100个符号构成的序列，求某一特定序列（例如有m 个0和100m -个1）的信息量的表达（3）计算（2）中的序列熵。
解：（1）因为信源是无记忆信源，所以符号的平均熵()符号/..,81bit 04150432414341X =⨯+⨯=⎪⎭⎫ ⎝⎛H =H（2）某一特定序列（例如：m 个0和100-m 个1）出现的概率为()()()[]()[]m-100m m-100m10021L43411P 0P X X X P X P ⎪⎭⎫⎝⎛⎪⎭⎫ ⎝⎛===,,,所以，自信息量为()()()bit m)(X P ,X ,,X X I -mm L 3log 1002004341log log 210010021--=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧⎪⎭⎫ ⎝⎛⎪⎭⎫ ⎝⎛-=-=（3）序列的熵()()序列/81bit X 100X L =H =H2-13 有一个马尔可夫信源，已知转移概率为1121122221(|),(|),(|)1,(|)033P S S P S S P S S P S S ====。
试画出状态转移图，并求出信源熵。
解：（1）由题意可得状态转移图由状态转移图可知：该马尔可夫链具有遍历性，平稳后状态的极限分布存在。
一步转移矩阵⎥⎥⎦⎤⎢⎢⎣⎡=013132P由∑=ij ij i W p W 和1p jij =∑可得方程组⎪⎪⎪⎩⎪⎪⎪⎨⎧=+=+=1W W W 31W W W 32W 2112211 解方程组得到各状态的稳态分布概率⎩⎨⎧==41W 43W 21//，因为()()()001S X 3132S X 21=H =H ⎪⎭⎫⎝⎛H =H ,/,,/，所以信源的熵()()()符号/..,/69bit 0920433132H 43s X H s p X ii i =⨯=⎥⎦⎤⎢⎣⎡==H ∑∞2-14有一个一阶马尔可夫链,,,,,21 r X X X 各r X 取值于集},,,{21q a a a A =，已知起始概率为41,21)(3211=====p p x X P p ，其转移概率如下：（1）求321X X X 的联合熵和平均符号熵； （2）求这个链的极限平均符号熵；（3）求210H H H 、、和它们对应的冗余度。
解：（1） 方法一、因为()()()()()()()23121213121321/x x P /x x P x P x /x x P /x x P x P x x x P ==可以计算得到()()()()()()()()()()()(),,,161/a a P /a a P a P a a a P 161/a a P /a a P a P a a a P 81/a a P /a a P a P a a a P 131113111211121111111111====== ()()(),,,241a a a P 0a a a P 121a a a P 321221121===()()(),,,0a a a P 241a a a P 121a a a P 331231131===()()(),,,241a a a P 241a a a P 121a a a P 312212112===()()(),,,0a a a P 0a a a P 0a a a P 322222122=== ()()(),,,0a a a P 361a a a P 181a a a P 332232132===()()(),,,241a a a P 241a a a P 121a a a P 313213113===()()(),,,361a a a P 0a a a P 181a a a P 323223123=== ()()(),,,0a a a P 0a a a P 0a a a P 333233133=== 所以，()()()三个符号3.967bit/log363612log181812log242416log121214log161612log881x x x logP x x x P X X X 321X X X 321321123=⨯⨯+⨯+⨯⨯+⨯⨯+⨯⨯+⨯=-=H ∑∑∑所以，平均符号熵()()符号/1.322bit X X X 31X 32133=H =H 方法二、()()()()三个符号3.967bit/ 1.26209151/X X /X X X X X X 23121321=++=H +H +H =H ..所以，平均符号熵()()符号/1.322bit X X X 31X 32133=H =H （2）因为这个信源是一阶马尔可夫链，其状态极限概率分布就是信源达到平稳后的符号概率分布.由题意得到一步转移矩阵⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡=0313231032414121P 由∑=ij ij i W p W 和1p jij =∑可得方程组⎪⎪⎪⎪⎩⎪⎪⎪⎪⎨⎧=+++=+=++=1W W W W 31W 41W W 31W 41W W 32W 32W 21W 3212133123211 解方程组得到各状态的稳态分布概率⎪⎩⎪⎨⎧===143W 143W 74W 321///，所以信源平稳后的概率分布为()()()⎪⎩⎪⎨⎧===143a P 143a P 74a P 321///因为信源为一阶马尔可夫信源，所以信源的熵()()符号/.,,,,,,/251bit 103132H 14331032H 143414121H 74X X X 122=⎥⎦⎤⎢⎣⎡+⎥⎦⎤⎢⎣⎡+⎥⎦⎤⎢⎣⎡=H =H =H ∞ （3）符号/.585bit 1log30==H符号，，/.414bit 1143143741=⎥⎦⎤⎢⎣⎡H =H()符号/./251bit 1X X 122=H =H ()符号/./251bit 1X X 12=H =H ∞对应的冗余度分别为145.01540.010102201100=H H -==H H -==H H -=γγγ 2-16 一阶马尔可夫信源的状态如图所示，信源X 的符号集为{0,1,2}。
（1）求平稳后的信源的概率分布； （2）求信源熵∞H ；（3）求当0p =和1p =时信源的熵，并说明其理由。
解：（1）由状态转移图可得状态一步转移矩阵⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=p p 00p p p 0p P 由状态转移图可知：该马尔可夫链具有遍历性，平稳后状态的极限分布存在。
由∑=ij ij i W p W 和1p jij =∑可得方程组p⎪⎪⎩⎪⎪⎨⎧=+++=+=+=1W W W W p pW W pW W p W pW W p W 321313322211 解方程组得到各状态的稳态分布概率⎪⎩⎪⎨⎧===31W 31W 31W 321///，所以信源平稳后的概率分布为()()()⎪⎩⎪⎨⎧===312p 311p 310p ///（2）因为信源为一阶马尔可夫信源，所以信源的熵()()()()()()()()()[][][][][]p H p p H p p,0,H 310p p,H 31p 0p H 312X H 2p 1X H 1p 0X H 0p s X H s p X ii i ==++=++==H ∑∞,,,,////（3）当0p =或1p =时，信源的熵为0。
因为此时它表明信源从某一状态出发转移到另一状态的情况是一定发生或一定不发生，即是确定的事件。
2-19设有一信源，它在开始时以()0.6,()0.3,()0.1P a P b P c ===的概率发出1X ，如果1X 为a 时，则2X 为c b a ,,的概率为31；如果1X 为b 时，则2X 为c b a ,,的概率为31；如果1X 为c 时，则2X 为b a ,概率为21，为c 的概率为0。