信息论第2章课后习题

p
计算量比较大。 结果为p 0.5，I (0.5) 1 3 8 log 5 log 3 0.03645 。 2 10 5 请注意，这个问题在第 四章（信道及其容量） 中极易解决
2016/2/28 13
（准对称信道）
习题课
2.9 随机掷三颗骰子，以X表示第一颗骰子抛掷的结果，以Y表 示第一和第二颗骰子抛掷的点数之和，以Z表示三颗骰子的点 数之和。试求H(Z|Y)、H(X|Y)、H(Z|XY)，H(XZ|Y)和H(Z|X)。 [2.9的解答] 求H(Z|Y)，必须先求(YZ)的联合概率分布和Y的概率分布； 求H(X|Y)，必须先求(XY)的联合概率分布和Y的概率分布； 求H(Z|X)，必须先求(XZ)的联合概率分布和X的概率分布； 求H(Z|XY)，必须先求(XYZ)的联合概率分布和(XY)的联合概率分 布； 求H(XZ|Y)，必须先求(XYZ)的联合概率分布和Y的概率分布。
1/ 36 1/ 36 1/ 36
y
= 5
1/ 36 1/ 36 1/ 36 1/ 36
y
= 6
1/ 36 1/ 36 1/ 36 1/ 36 1/ 36
y
= 7
1/ 36 1/ 36 1/ 36 1/ 36 1/ 36 1/ 36
y
= 8
y
= 9
y
= 1 0
y
= 1 1
y
= 1 2
x=1 x=2 x=3 x=4 x=5 x=6
2016/2/28
10
习题课
2.8 在A、B两组人中进行民意测验，组A中的人有50%讲真话(T)， 30%讲假话(F)，20%拒绝回答(R)。而组B中有30%讲真话， 50%讲假话和20%拒绝回答。设选A组进行测验的概率为p，若 以I(p)表示给定T、F或R条件下得到的有关消息来自组A或组B 的平均信息量，试求I(p)的最大值。 [2.8的解答] I(p)是什么信息量？记 X=“选择的组号”，X的事件有A和B； Y=“得到的回答”，Y的事件有T、F、R。 则I(p)=I(X; Y)。
2016/2/28 12
习题课
1 3 I ( p ) log 5 log 3 2 10 p 3(1 p ) 1 p 3 p ( ) log(3 2 p ) ( ) log(5 2 p ) 2 10 2 10
求 max I ( p )，应该先计算 I ' ( p )，令I ' ( p) 0，求出p。
2016/2/28
1/ 36
1/ 36 1/ 36 1/ 36 1/ 36 1/ 36
1/ 36 1/ 36 1/ 36 1/ 36
1/ 36 1/ 36 1/ 36
1/ 36 1/ 36wenku.baidu.com
1/ 36
15
习题课
(YZ)的联合概率分布为：
P((YZ)=(2,3))=1/63，P((YZ)=(2,4))=1/63， …， P((YZ)=(2,8))=1/63， P((YZ)=(3,4))=2/63，P((YZ)=(3,5))=2/63， …， P((YZ)=(3,9))=2/63， …， P((YZ)=(6,7))=5/63，P((YZ)=(6,8))=5/63， …， P((YZ)=(6,12))=5/63， P((YZ)=(7,8))=6/63，P((YZ)=(7,9))=6/63， …， P((YZ)=(7,13))=6/63， P((YZ)=(8,9))=5/63，P((YZ)=(8,10))=5/63， …， P((YZ)=(8,14))=5/63， …， P((YZ)=(11,12))=2/63，P((YZ)=(11,13))=2/63， …， P((YZ)=(11,17))=2/63， P((YZ)=(12,13))=1/63，P((YZ)=(12,14))=1/63， …， P((YZ)=(12,18))=1/63。
2016/2/28 14
(XYZ)的联合概率分布为： P((XYZ)=(x,y,z))=1/216；x=1~6，y=x+1~x+6，z=y+1~y+6。 (XY)的联合概率分布为： P((XY)=(x,y))=1/36；x=1~6，y=x+1~x+6。
y
= 2
y
= 3
1/ 36 1/ 36
y
= 4
2016/2/28
6
[2.7的解答] (a)是求事件“来自本市”与随机变量“是否 被录取”的半平均互信息量。 (b)是求事件“学过英语” 与随机变量“是否被录取”的半平均互信息量。
以x表示是否被录取（0表示被录取，1表示未被录取），y表示是 否为本市学生（0表示本市学生，1表示非本市学生） ，z表示 是否学过英语（0表示学过英语，1表示未学过英语） ，则 P(xyz=000)=(1/4)×(50%)×1=12.5%； P(xyz=001)=(1/4)×(50%)×0=0； P(xyz=010)=(1/4)×(50%)×(40%)=5%； P(xyz=011)=(1/4)×(50%)×(60%)=7.5%； P(xyz=100)=(3/4)×(10%)×1=7.5%； P(xyz=101)=(3/4)×(10%)×0=0； P(xyz=110)=(3/4)×(90%)×(40%)=27%； P(xyz=111)=(3/4)×(90%)×(60%)=40.5%。
2016/2/28 2
习题课
2.6 园丁植树一行，若有3棵白杨、4棵白桦和5棵梧桐。设这12 棵树可随机地排列，且每一种排列都是等可能的。若告诉你没 有两棵梧桐树相邻时，你得到了多少关于树的排列的信息? [2.6的解答] 共有12！种不同的排列。满足“没有两棵梧桐树相 邻”的排列个数为 8×1+7×2+6×3+5×4+4×5+3×6+2×7+1×8=120（为什么？） 记X=“树的排列情况”， Y=“梧桐树有无相邻位置”。则本题要 求半平均互信息量
2016/2/28 7
各个边际分布
(xy)联合分布 P(xy=00)=12.5%； P(xy=01)=12.5%； P(xy=10)=7.5%； P(xy=11)=67.5%。 x概率分布 P(x=0)=25%； P(x=1)=75%。 (xz)联合分布 P(xz=00)=17.5%； P(xz=01)=7.5%； P(xz=10)=34.5%； P(xz=11)=40.5%。 y概率分布 P(y=0)=20%； P(y=1)=80%。 (yz)联合分布 P(yz=00)=20%； P(yz=01)=0； P(yz=10)=32%； P(yz=11)=48%。 z概率分布 P(z=0)=52%； P(z=1)=48%。
2016/2/28
8
习题课
I ( x; y 0) P ( xy 00) P ( xy 00) P( xy 10) P ( xy 10) log log P ( y 0) P ( x 0) P ( y 0) P ( y 0) P ( x 1) P ( y 0) 5 log 5 1 0.4583 8 I ( x; z 0) P ( xz 00) P( xz 00) P( xz 10) P ( xz 10) log log P ( z 0) P ( x 0) P ( z 0) P ( z 0) P( x 1) P( z 0) 35 35 69 23 log log 0.143 104 26 104 26
2016/2/28
11
习题课
计算X的概率分布： P(X=A)=p；P(X=B)=1-p。 计算Y的概率分布： P(Y=T)=p×50%+(1-p)×30%=30%+ p×20%； P(Y=F)=p×30%+(1-p)×50%=50%- p×20%； P(Y=R)=p×20%+(1-p)×20%=20%。 计算联合概率分布： P(XY=AT)=50p/100；P(XY=BT)=30(1-p)/100； P(XY=AF)=30p/100；P(XY=BF)=50(1-p)/100； P(XY=AR)=20p/100；P(XY=BR)=20(1-p)/100。
P( X x | Y 无) I (Y 无; X ) P( X x | Y 无) log P( X x) x
2016/2/28 3
习题课
X有12！个不同的事件x，每个事件x的概率为1/(12！)。 Y有2个不同的事件，“Y=无”的概率为120/(12！)，“Y=有”的 概率为(12！-120)/(12！)。 以下要计算：在“Y=无”的条件下， X= x（ x为某个特定排列） 的条件概率P(X=x|Y=无)。 若在x这个特定排列中，梧桐树有相邻位置，则P(X=x|Y=无)=0； 若在x这个特定排列中，梧桐树无相邻位置，则 1 1 12 ! P ( X x | Y 无) 120 120 ! 12 2016/2/28 4
5
习题课
2.7 某校入学考试中有1/4考生被录取，3/4考生未被录取。被 录取的考生中有50%来自本市，而落榜考生中有10％来自本 市。所有本市的考生都学过英语，而外地落榜考生中以及被 录取的外地考生中都有40%学过英语。 (a) 当己知考生来自本市时，给出多少关于考生是否被录取的 信息? (b) 当已知考生学过英语时，给出多少有关考生是否被录取的 信息? (c) 以x表示是否被录取，y表示是否为本市学生，z表示是否学 过英语，x、y和z取值为0或1。试求H(x)，H(y|x)，H(z|y)。
25 100 75 100 log log 0.8075 100 25 100 75
P( x 0) P( x 0) P( x 1) P( x 1) P( xy 01) log P( xy 10) log P( xy 11) log P( xy 00) P( xy 01) P( xy 10) P( xy 11)
习题课
P ( X x | Y 无) I (Y 无; X ) P ( X x | Y 无) log P( X x) x P ( X x | Y 无) P ( X x | Y 无) log P( X x) x跑遍那些使得“ Y 无”的排列 1 (1 / 120) log (1 / 12!) x跑遍那些使得“ Y 无”的排列 120 1 (1 / 120) log 1 120 (1 / 12!) x跑遍那些使得“ Y 无”的排列 120 (1 / 120) log 120 (1 / 12!) 2016/2/28 21.92296 (bits)
所以，事件“X=7”的自信息量为log2(36/6)；事件“X=12”的自信 息量为log2(36)。
2016/2/28 1
习题课
2.4 经过充分洗牌后的一付扑克(含52张牌)，试问： (a) 任何一种特定排列所给出的信息量是多少? (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息 量? [2.4的解答] 这是求事件的自信息量。 (a) 任一特定排列的概率都是(1/52!)，所以自信息量为log2(52!)； 13 (b) 从52张牌中抽取13张牌，共有 C52 种抽取方法。 而使得所给出的点数都不相同的抽取方法有 413 种。 13 所以事件“点数都不相同”的概率为 ，自信息量为 413 / C52 13 log2 (C52 / 413 ) 。
习题课
2.3 掷一对无偏的骰子，若告诉你得到的总的点数为：(a) 7；(b) 12。试问各得到了多少信息量? [2.3的解答] 这是求事件的自信息量。记随机变量X=“总的点数”， 则
2 3 4 5 6 7 8 9 10 11 12 X ~1 2 3 4 5 6 5 4 3 2 1 36 36 36 36 36 36 36 36 36 36 36
2016/2/28 9
习题课
H ( x)
H ( y | x) P( xy 00) log ???
H ( z | y) P( yz 00) log ??? P( y 0) P( y 0) P( y 1) P( y 1) P( yz 01) log P( yz 10) log P( yz 11) log P( yz 00) P( yz 01) P( yz 10) P( yz 11)