2019.信息论.第2章.习题答案

2.18 有两个二元随机变量X和Y，它们的联合概率为
Y X x1=0 x2=1 y1=0 1/8 3/8 y2=1 3/8 1/8
并定义另一随机变量Z = XY（一般乘积），试计算： (1) H(X), H(Y), H(Z), H(XZ), H(YZ)和H(XYZ)； (2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)和H(Z/XY)； (3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和 I(X;Z/Y)。
解：(1) H(X), H(Y)
p(x1)p(x1y1)p(x1y2)8 18 31 2
Y X x1=0 x2=1 y1=0 1/8 3/8 y2=1 3/8 1/8
p( x2 )

p( x2 y1 )
p(x2 y2)

3 8

1 8

1 2
H ( X ) p ( xi ) log 2 p ( xi ) 1 bit / symbol
(3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。
Z
X
Y
I(X;Y)H(X)H(X/Y)10.8110.189 bit I(X;Z)H(X)H(X/Z)10.8620.138 bit I(Y;Z)H(Y)H(Y/Z)10.8620.138 bit I(X;YZ)H(X/Z)H(X/YZ)0.8620.4050.457bit I(Y;ZX)H(Y/X)H(Y/XZ)0.8620.4050.457bit I(X;ZY)H(X/Y)H(X/YZ)0.8110.4050.406 bit
i
I(u 0 ;x 0) lo gp (p u (0 u /0 x )0) lo g 1 1 //4 3 0 .4 1 5 (b it)
信息 代码 组
P(ui)
01234567 000 001 010 011 100 101 110 111 x0y0z0 x0y0z1 x0y1z0 x0y1z1 x1y0z0 x1y0z1 x1y1z0 x1y1z1 1/4 1/4 1/8 1/8 1/16 1/16 1/16 1/16
(2) p(xi)1616316 I(xi)lo2gp(xi)lo2g3165.170bit
(3) p(xi)165651316 I(xi)log2p(xi)log213161.710bit
• 2.2 设在一只布袋中装有100只对人手的感觉完全相同的木球， 每只球上涂有一种颜色。100只球的颜色有下列三种情况：
H(Z/Y), H(X/YZ), H(Y/XZ)和H(Z/XY)；
y1=0 1/8 3/8
y2=1 3/8 1/8
H(XY) p(xiyj)log2p(xiyj)
ij
18log21883log28383log28381log2811.811 bit
Z
H(X/Y)H(XY)H(Y) 1.81110.811 bit X
• 2.3 在布袋中放入81个硬币，它们的外形完全相同。已 知有一个硬币的重量与其他81个硬币的重量不同，但 不知这一个硬币是比其他硬币重还是轻。问确定随意 取出的一个硬币恰好是重量不同的一个硬币所需要的 信息量是多少？若要进一步确定它比其他硬币是重一 些还是轻一些所需要的信息量是多少？
p(A )1/81 I(A )logP (A )6.34(bit)
习题2.26：已知信源U包含8个数字消息0,1,2,3,4,5,6,7。为了 在二进制信道上传输，用信源编码器把这8个十进制数编成 三位二进制代码组，信源各消息（符号）的先验概率及相应 的代码组如下：
信息 0 1 2 3 4 5 6 7
三位二 000 001 010 011 100 101 110 111
解： 设随机变量X代表女孩子学历
X P(X)
x1（是大学生）
0.25
x2（不是大学生）
0.75
设随机变量Y代表女孩子身高
Y y1（身高>160cm） y2（身高<160cm）
P(Y)
0.5
0.5
已知：在女大学生中有75%是身高160厘米以上的
即：p(y1/ x1) = 0.75
解： 设随机变量X代表女孩子学历
(1) H(XZ), H(YZ)
p( x1 ) p( x2 ) 0.5
p( x1z1 ) 0.5
p( x1z2 ) 0
p( x2 z1 )

3 8
p( x2 z2
)

1 8
Y X x1=0 x2=1 y1=0 1/8 3/8 y2=1 3/8 1/8
z1 0 z2 1
X P(X)
x1（是大学生）
0.25
x2（不是大学生）
0.75
设随机变量Y代表女孩子身高
Y y1（身高>160cm） y2（身高<160cm）
P(Y)
0.5
0.5
已知：在女大学生中有75%是身高160厘米以上的
即：p(y1/ x1) = 0.75
求：身高160厘米以上的某女孩是大学生的信息量,即：
I(x1/y1)logp(x1/y1)log2p(x1)pp((y1 y)1/x1) log20.250.50.751.415 bit
pp (A )p (B ) 1 /8 1 1 /2 I lo g (1 /8 1 1 /2 ) 7 .3 4 (b it)
• 习题2.4 居住在某地区的女孩中有25%是大学生，在女 大学生中有75%是身高1.6米以上的，而女孩中身高1.6 米以上的占总数一半。假如我们得知“身高1.6米以上 的某女孩是大学生”的消息，问可获得多少信息量？
I(xi;yj)logp(px(i x/iy)j)
p ( x i y j ) p(xi)p(yj /xi)
n
p(xiy j)
i1
p (u 0 /x 0 )p ( p u ( 0 u ) ip )( p x ( 0 x / 0 u /0 u ) i) 1 /4 1 /4 1 / 4 1 /8 1 /8 1 /3
Z P(Z)
z170 8
z211 8
Y X x1=0 x2=1 y1=0 1/8 3/8 y2=1 3/8 1/8
H ( Z ) k 2p ( z k ) 7 8 l o g 2 7 8 1 8 l o g 2 1 8 0 . 5 4 4 b i t/s y m b o l
2.1 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6， 求： (1) “3和5同时出现”这件事的自信息量； (2) “两个1同时出现”这件事的自信息量； (3) 两个点数中至少有一个是1的自信息量。
解： (1)
p(xi )16161616118 I(xi)lo2gp(xi)lo2g1184.170bit
（1）红色球和白色球各50只；
（2）红色球99只，白色球1只；
（3）红、黄、蓝、白色各25只；
求从布袋中随意取出一只球时，猜测其颜色所需要的信息量。
(1) p ( R ) p (W ) 50 /100 1 / 2 I ( R ) I (W ) log 2 1(bit ) (2) p(R ) 99 /100 0.99 p (W ) 1 /100 0.01 I (R ) log100 / 99 0.0145(bit) I (W ) log 100 6.644(bit ) (3) p ( R ) p (Y ) p ( B ) p (W ) 25 /100 1 / 4 I ( R ) I (W ) I (W ) I (W ) log 4 2(bit )
信息 代码 组
P(ui)
01234567 000 001 010 011 100 101 110 111 x0y0z0 x0y0z1 x0y1z0 x0y1z1 x1y0z0 x1y0z1 x1y1z0 x1y1z1 1/4 1/4 1/8 1/8 1/16 1/16 1/16 1/16
求互信息量I(ui;x0),I(u3;x0y1),I(u3;x0y1z1)。
进制代
码组 x0y0z0x0y0z1x0y1z0x0y1z1x1y0z0x1y0z1x1y1z0x1y1z1
P(ui) 1/4 1/4 1/8 1/8 1/16 1/16 1/16 1/16
求互信息量I(ui;x0),I(u3;x0y1),I(u3;x0y1z1)。 求在给定x0条件下，各消息与y1之间的条件互信息量。 求在给定x0y1条件下，消息u3与z1之间的条件互信息量。 求消息u3与代码组之间的互信息量。
p ( x2
y1Hale Waihona Puke Baidu2 )

0,
p ( x2
y2 z2
)

1 8
p ( x1 y1z1 )

1 / 8,
p ( x1 y2 z1 )

3 8
p ( x2
y1z1 )

3 8
,
p ( x2
y2 z1 )

0
Y X x1=0 x2=1 y1=0 1/8 3/8 y2=1 3/8 1/8
z1 0 z2 1
求互信息量I(ui;x0),I(u3;x0y1),I(u3;x0y1z1)。
I(xi;yj)logp(px(i x/iy)j)
p ( x i y j ) p(xi)p(yj /xi)
n
p(xiy j)
i1
p(u3/x0)p(p u (3 u )ip )(p x (0 x/0u /3 u )i)3 1//8 41/6
i
I(u 3 ;x 0 ) lo g p ( p u ( 3 u /3 x )0 ) lo g 1 1 / /8 6 lo g 4 3 0 .4 1 5 (b it)
信息 代码 组
P(ui)
01234567 000 001 010 011 100 101 110 111 x0y0z0 x0y0z1 x0y1z0 x0y1z1 x1y0z0 x1y0z1 x1y1z0 x1y1z1 1/4 1/4 1/8 1/8 1/16 1/16 1/16 1/16
Y
H(Y/ X)H(XY)H(X) 1.81110.811 bit
H(X/Z) H(XZ)H(Z) 1.4060.5440.862 bit
H(Z/ X)H(XZ)H(X) 1.40610.406 bit
H(Y/Z) H(YZ)H(Z) 1.4060.5440.862 bit
H(Z/Y)H(YZ)H(Y)1.40610.406 bit
H(X/YZ)H(XYZ)H(YZ) 1.8111.4060.405 bit
H(Y/ XZ) H(XYZ)H(XZ) 1.8111.4060.405 bit
H(Z/ XY)H(XYZ)H(XY) 1.8111.8110 bit
7
1
8
8
H ( XZ )
p( xi zk ) log2 p( xi zk )
ik

(
1 2
log 2
1 2

3 8
log 2
3 8

1 8
log 2
1) 8

1.406
bit / symbol
（1）H(XYZ)；
p( x1 y1z2 ) 0, p( x1 y2 z2 ) 0
i
p( y1)

p ( x1 y1 )
p( x2 y1 )

1 8

3 8

1 2
p( y2 )

p ( x1 y2 )
p(x2 y2)

3 8

1 8

1 2
H (Y ) p ( y j ) log 2 p ( y j ) 1 bit / symbol
j
(1) H(Z)
Z = XY的概率分布如下：
7
1
8
8
H (X YZ)
p(xiyjzk)log2p(xiyjzk)
i jk
1 8log21 88 3log28 38 3log28 31 8log21 8 1.811bit
(2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), Y X x1=0 x2=1