信息论与编码第2章习题解答.doc

2.1设有12枚同值硬币，其中一枚为假币。

只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。

现用比较天平左右两边轻重的方法来测量（因无砝码）。

为了在天平上称出哪一枚是假币，试问至少必须称多少次？ 解：分三组，每组4个，任意取两组称。

会有两种情况，平衡，或不平衡。

(1) 平衡：明确假币在其余的4个里面。

从这4个里面任意取3个，并从其余8个好的里面也取3个称。

又有 两种情况：平衡或不平衡。

a ）平衡：称一下那个剩下的就行了。

b ）不平衡：我们至少知道那组假币是轻还是重。

从这三个有假币的组里任意选两个称一下，又有两种情况：平衡与不平衡，不过我们已经知道假币的轻重情况了，自然的，不平衡直接就知道谁是假币；平衡的话，剩下的呢个自然是假币，并且我们也知道他是轻还是重。

(2) 不平衡：假定已经确定该组里有假币时候：推论1：在知道该组是轻还是重的时候，只称一次，能找出假币的话，那么这组的个数不超过3。

我们知道，只要我们知道了该组（3个）有假币，并且知道轻重，只要称一次就可以找出来假币了。

从不平衡的两组中，比如轻的一组里分为3和1表示为“轻（3）”和“轻（1）”，同样重的一组也是分成3和1标示为“重（3）”和“重（1）”。

在从另外4个剩下的，也就是好的一组里取3个表示为“准（3）”。

交叉组合为： 轻（3） + 重（1） ？=======？ 轻（1） + 准（3） 来称一下。

又会有3种情况：(1)左面轻：这说明假币一定在第一次称的时候的轻的一组，因为“重（1）”也出现在现在轻的一边，我们已经知道，假币是轻的。

那么假币在轻（3）里面，根据推论1，再称一次就可以了。

(2)右面轻：这里有两种可能：“重（1）”是假币，它是重的，或者“轻（1）”是假币，它是轻的。

这两种情况，任意 取这两个中的一个和一个真币称一下即可。

(3)平衡：假币在“重（3）”里面，而且是重的。

根据推论也只要称一次即可。

2.2 同时扔一对骰子，当得知“两骰子面朝上点数之和为2”或“面朝上点数之和为8”或“骰子面朝上之和是3和4”时，试问这三种情况分别获得多少信息量？解：设“两骰子面朝上点数之和为2”为事件A ，则在可能出现的36种可能中，只能个骰子都为1，这一种结果。

即：P （A ）=1/36，I （A ）= 2log P （A ）=2log 36≈5.17 比特设“面朝上点数之和为8”为事件B ，则有五种可能：2、6；6、2；4、4；3、5；5、3；即：P （B ）= 5/36，I （B ）= 2log P （B ）= 2log 36/5≈2.85 比特设“骰子面朝上之和是3和4”为事件C ，则有两种可能：3、4；4、3；即：P （C ）= 2/36，I （C ）= 2log P （C ）= 2log 36/2≈4.17 比特2.3 如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几？”则答案中含有多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知星期一至星期日的排序） 解：（1）P ＝1/7 I ＝－Log 2P ＝－Log 27（2）已知今天星期四，问明天是星期几？即：明天是星期五是必然事件，不存在不确定性，I ＝0。

2.4地区的女孩中有25％是大学生，在女大学生中有75％是身高1.6米以上的，而女孩中身高1.6米以上的占半数一半。

假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？解：设A 为女大学生,B 为1.6米以上的女孩则依题意有:1()4P A =, 1()2P B =, 3(|)4P B A = 133()()(|)4416P AB P A P B A ==⨯=g()3(|)()8P AB P A B P B ==所以信息量为228log 3log 33=- 2.5一副充分洗乱了的牌（含52张牌），试问(1) 任一特定排列所给出的信息量是多少？(2) 若从中出去抽取13张牌，所给出的点数都不相同时得到多少信息量？ 解：（1）任一排列发生的概率为1/52!I ＝log52!＝225.58 bit（2）13张牌点数都不相同发生的概率为1/413I ＝log413＝26 bit2. 设离散无记忆信源⎥⎦⎤⎢⎣⎡)x (P X =⎥⎦⎤⎢⎣⎡8/13a 4/12a 4/11a 8/30a 4321＝＝＝＝,其发出的消息为（202120130213001203210110321010021032011223210），求：（1）此消息的自信息是多少？（2）在此消息中平均每个符号携带的信息量是多少？解：(1) 因为离散信源是无记忆的，所以起发出的消息序列中各符号是无依赖且统计独立的。

因此，此消息的自信息就为该消息中各符号自信息之和。

I （01=a ）= −log P （1a ） = −log 83= 1.415 比特 I （12=a ）= − log P （2a ）= −log 41=2比特I （23=a ）= −log P （3a ）= −log 41=2比特I （34=a ）= −log P （4a ）= −log 81=3比特则此消息的自信息是：I=14I （01=a ）+ 13I （12=a ）+12 I （23=a ）+ 6I （34=a ）≈14⨯1.415+13⨯2+12⨯2+6⨯3 ≈87.81比特(2)此消息中平均每个符号携带的信息量是： I 2=87.81÷45≈1.95比特/符号2.7如有6行8列的棋型方格，若又二个质点A 和B ，分别以等概率落入任一方格内，他们的坐标分别为（XA,YA ）,(XB,YB),但A.B 不能落入同一方格内。

（1）如仅有质点A ，求A 落入任一个格的平均自信息量是多少？ （2）若已知A 已落入，求B 落入的平均自信息量。

（3）若A,B 是可分辨的，求A,B 同都落入的平均自信息量。

解:(1) H(XA)=－)(log )(241ii ia P a P ∑==log24(2) H(XB/XA)=－∑=qi 1)/(log )/()(1i j qj i jia a P a aP a P ∑==－2423log )/(log )/()(1124201=∑=a a P a aP a P j jj(3) H(XAXB)=－∑=qi 1)(log )(1j i qj jia a P aa P ∑==)(log )(24121j qj ja a P aa P ∑=-=－24*23*241*231log(241*231) =log24*23=log23+log242.8 从大量统计资料知道，男性中红绿色盲的发病率为7％，女性发病率为0.5％，如果你问一位男同志：“你是否是红绿色盲？”他的回答可能是“是”，可能是“否”，问这二个答案中各含多少信息量？平均每个回答中含有多少信息量？如果你问一位女同志，则答案中含有的平均自信息量是多少？ 解：（1） 若男同志回答“是”：I ＝log(1/7%)＝3.84 bit 回答“否”：I ＝log(1/93%)＝0.1 bit平均信息量为：I ＝－7%log7%－93%log93%＝0.36 bit（2） 若问女同志，平均信息量为：I ＝－0.5%log0.5%－99.5%log99.5%＝0.045 bit2.9设信源123456,,,,,()0.2,0.19,0.18,0.17,0.16,0.17X a a a a a a P x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦求这信源的熵，并解释为什么()log6H x >，不满足信源熵的极值性。

解：信源的熵为：2222111()0.2log 50.19log 0.18log 0.17log 0.190.180.17H x =+++ 22110.16log 0.17log 2.6570.160.17++=bit/符号()log6H x > 是因为此信息的61()1i i P a =>∑,不满足信息熵极值性的条件。

2.10设离散无记忆信源S 其符号集A{a1,a2,...,aq},知其相应的概率分布为（P1,P2,...,Pq ）。

设另一离散无记忆信源S’， 其符号集为S 信源符号集的两倍，A’={ai}i=1,2,...,2q,并且各符号的概率分布满足：Pi’=(1-ε)Pi (i=1,2,...,q)Pi’=εPi-q (i=q+1,q+2,...,2q)试写出信源S’信息熵与信源S 的信息熵的关系。

解：S ： a 1 a 2 …… a q P ： p 1 p 2 …… p qH （X ）＝－Σq i ＝1P i LogP i Σq i ＝1P i ＝1S`： a 1 a 2 ……a q a q ＋1……a 2qP ： p ，1 p ，2……p ，q p ，q ＋1……p ，2qH （X ）＝－Σ2q i ＝1P ，i LogP ，i＝－〔Σq i ＝1P ，i LogP ，i ＋Σ2qi ＝q ＋1P ，i LogP ，i 〕＝－{Σq i ＝1（1－ε）P i 〔Log （1－ε）＋LogP i 〕＋Σ2q i ＝q ＋1εP i －q （Log ε＋LogP i －q ）}＝－{（1－ε）Σq i ＝1P i Log （1－ε）＋（1－ε）Σq i ＝1P i LogP i ＋εΣ2q i ＝q ＋1P i －q Log ε＋εΣ2q i ＝q ＋1P i －q LogP i －q } ＝－{（1－ε）Σq i ＝1P i LogP i ＋εΣ2q i ＝q ＋1P i －q LogP i －q ＋（1－ε）Log （1－ε）Σq i ＝1P i ＋εLog εΣ2q i ＝q ＋1P i －q } ＝－{（1－ε）Σq i ＝1P i LogP i ＋εΣq j ＝1P j LogP j ＋（1－ε）Log （1－ε）Σq i ＝1P i ＋εLog εΣq j ＝1P j }＝－{Σq i ＝1P i LogP i ＋〔（1－ε）Log （1－ε）＋εLog ε〕Σq i ＝1P i } ＝H （X ）－〔（1－ε）Log （1－ε）＋εLog ε〕Σq i ＝1P i ＝H （X ）－（1－ε）Log （1－ε）－εLog ε即：H ,（X ）＝H （X ）－（1－ε）Log （1－ε）－εLog ε2.13 （1）为了使电视图象获得良好的清晰度和规定的适当的对比度，需要用5*105个象素和10个不同的亮度电平，求传递此图象所需的信息率（比特/秒）。

并设每秒要传送30帧图像，所有象素是独立变化，且所有亮度电平等概率出现。

（2）设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度，试证明传输这彩色系统的信息率要比黑白系统的信息率约大2.5倍。