信息论与编码课后答案

2.10 设一个系统传送 10 个数字，0，1，…，9。奇数在传送过程中以 0.5 的概 率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。
解：
X
Y
信道
i 1,3,5,7,9
Χ
i 0,2,4,6,8
√
I (X ;Y ) = H (Y ) - H(Y | X ) 因为输入等概，由信道条件可知，
2.29 令 Q1(x) 和 Q2 (x) 是同一事件集 U 上的两个概率分布，相应的熵分别为 H (U )1和 H(U)2 。 (a)对于 0 1，证明 Q(x) = Q1(x) + (1 ) Q2 (x) 是概率分布 (b) H(U) 是相应于分布 Q(x) 的熵，试证明 H(U) H (U )1+ (1 ) H(U)2
证明：(a) 由于 Q1(x) 和 Q2 (x) 是同一事件集 U 上的两个概率分布，于是
q1(x) 0， q2 (x) 0
q1(x)dx =1， q2 (x)dx =1
第二章 信息量和熵
2.2 八元编码系统，码长为 3，第一个符号用于同步，每秒 1000 个码字，求它的 信息速率。
解：同步信息均相同，不含信息，因此 每个码字的信息量为 2 log8 =23=6 bit 因此，信息速率为 61000=6000 bit/s
2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信 息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} p(a) = 6 = 1 36 6 得到的信息量 = log 1 = log6 =2.585 bit p(a)
(2) 可能的唯一，为 {6，6} p(b) = 1 36 得到的信息量= log 1 = log36 =5.17 bit p(b)
解：
即 I(u1;0) ， I(u1;00) ， I(u1;000) ， I (u1;0000)
p(0) = 1 (1 p) 4 + 1 p 4 = 1
8
8
2
来自百度文库
I(u1;0) = log
p(0 | u1) p(0)
=
log
1
1
p
=1+ log(1
p)
bit
2
p(00) = 1[2(1 p)2 4(1 p) p 2 p2 ]= 1
=3.5993 bit
I(Y; Z) = H(Z) - H (Z | Y ) = H(Z) - H(X ) =1.0143 bit
I (X ; Z) = H(Z) - H(Z | X ) = H(Z) - H (Y ) =0.3249 bit
I(X ,Y; Z) = H(Z) - H(Z | XY) = H(Z) - H(X ) =1.0143 bit
p(xi y j ) log p( y j | xi )
j i偶
j i奇
=0-
p(xi y j ) log p( y j | xi )
j i奇
= - p(xi )p( yi | xi ) log p( yi | xi ) -
p(xi ) p( y j | xi ) log p( y j | xi )
H(Y | X ) + H(Z | X ,Y) H(Y | X ) + H(Z | X )
于是 H(Y, Z | X ) H(Y | X ) + H(Z | X )
1,1
2.28
令概率空间
X

1 ,
1

，令
Y
是连续随机变量。已知条件概率密度为
2 2
p(
y
|
x)



p(
y

i
i为奇数)

1 10

p(
y

i
i为偶数)

1 10
(
1 2

1 8

1 8

1 8

1) 8

1 10
即输出等概，则 H (Y ) = log 10
H(Y | X ) =
p(xi y j ) log p( y j | xi )
i
j
=
p(xi y j ) log p( y j | xi ) -
8
4
I(u1;00) = log
p(00 | u1) p(00)
= log (1 p)2 1/ 4
= 2[1 log(1 p)]
bit
p(000) = 1[(1 p)3 3(1 p)2 p 3(1 p) p2 p3 ] = 1
8
8
I(u1;000) =3[1+ log(1 p) ] bit
= 1 1 1 log 1 dy 1 3 1 log 1dy =2 bit
2 3 4 4
2 1 4 4
I (X ;Y ) = HC (Y) - HC (Y | X ) =0.5 bit
(c) 由 ( y) 可得到 V 的分布律
V
-1
p
1/4
再由 p( y | x) 可知
V
-1
2.4 经过充分洗牌后的一副扑克（52 张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取 13 张牌，所给出的点数都不相同时得到多少信息量？
解：(a) p(a) = 1 52!
信息量= log 1 = log52!=225.58 bit p(a)
13!13种点数任意排列 (b) 413 花色任选
|
x

1)
=
1

4
3

y

1
0else
p( y | x 1) = 141 y 3 0else
(y) = p(x 1) p(y | x 1) + p(x 1) p(y | x 1)
1 8


3

y

1
= 141 y 1
p(b)
=
13!413 A5123
413 = C5123
信息量=
log
C 13 52

log 413
=13.208
bit
2.9 随机掷 3 颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的 点数之和，Z 表示 3 颗骰子的点数之和，试求 H(Z | Y) 、 H(X | Y) 、
H(Z | X,Y) 、 H(X,Z | Y) 、 H(Z | X ) 。
解：令第一第二第三颗骰子的结果分别为 x1, x2 , x3 ， x1， x2 ， x3 相互独立， 则 X x1 ， Y x1 x2 ， Z x1 x2 x3
H (Z | Y ) = H(x3 ) = log 6=2.585 bit
H(Z | X ) = H(x2 x3 ) = H (Y )
xy
z
p(xy) [- p(z | x) log p(z | x) ]
xy
z
=- p(xyz) log p(z | x) xyz
= H(Z | X )
当 p(z | xy) = p(z | x) ，即 X 给定条件下，Y 与 Z 相互独立时等号成立
(a) 上式(c)左右两边加上 H(Y | X ) ，可得
I(Y; Z | X ) = H(Z | X ) - H(Z | XY) = H (Y ) - H(X ) =0.6894 bit I(X ; Z | Y) = H (Z | Y ) - H(Z | XY) = H(X ) - H(X ) =0 bit
2.14 对于任意概率事件集 X,Y,Z，证明下述关系式成立 (a) H(Y, Z | X ) H(Y | X ) + H(Z | X ) ，给出等号成立的条件
1 8
1

y

3
0else
(b)
H
C
(Y
)
=
1 8
1
log
8

2

1
3
4
1
log 4 =2.5 bit
1
1
HC (Y | X ) = p(x 1) 3 p(y | x 1)log p(y | x 1)dy
3
p(x 1) p(y | x 1)log p(y | x 1)dy 1
i1,3,5,7，9
i j i＝1，3，5，7，9
= 1 1 log 25+ 1 1 1 log 845
10 2
10 2 4
= 1 3 =1 bit 44
I (X ;Y ) = H (Y ) - H(Y | X ) = log 10 -1= log 5=2.3219 bit
=2( 1 log 36+ 2 log 18+ 3 log 12+ 4 log 9+ 5 log 36 )+ 6 log 6
36
36
36
36
36 5 36
=3.2744 bit
H(X | Y) = H(X ) - I (X ;Y ) = H(X ) -[ H (Y ) - H(Y | X ) ] 而 H(Y | X ) = H(X ) ，所以 H(X | Y) = 2 H(X ) - H (Y ) =1.8955 bit 或 H(X | Y) = H(XY) - H (Y ) = H(X ) + H(Y | X ) - H (Y ) 而 H(Y | X ) = H(X ) ，所以 H(X | Y) =2 H(X ) - H (Y ) =1.8955 bit H(Z | X ,Y) = H (Z | Y ) = H(X ) =2.585 bit H(X , Z | Y) = H(X | Y) + H(Z | XY) =1.8955+2.585=4.4805 bit
解：根据题 2.9 分析
H(Z) =2( 1 log 216 + 3 log 216 + 6 log 216 + 10 log 216 +
216
216 3 216 6 216 10
15 log 216 + 21 log 216 + 25 log 216 + 27 log 216 ) 216 15 216 21 216 25 216 27
(b) H(Y, Z | X ) = H(Y | X ) + H(Z | X ,Y)
(c) H(Z | X ,Y) H(Z | X )
证明：(b) H(Y, Z | X ) =- p(xyz) log p( yz | x) xyz =- p(xyz) log[ p( y | x) p(z | xy)] xyz
p(V|x=-1)
1/2
p(V|x=1)
0
0 1/2
0 1/2 1/2
1 1/4
1 0 1/2
H (V ) 1 log 2 1 2log 4 1.5 bit
2
4
H (V | X ) 1 [1 l o g2 1 l o g2] 2 =1 bit
22
2
I (X ;V ) = H(V ) H(V | X ) = 0.5 bit
2.11 令{ u1,u2 ,，u8 }为一等概消息集，各消息相应被编成下述二元码字 u1=0000， u2 =0011， u3 =0101， u4 =0110， u5 =1001， u6 =1010， u7 =1100， u8 =1111 通过转移概率为 p 的 BSC 传送。求： (a)接收到的第一个数字 0 与 u1之间的互信息量。 (b)接收到的前二个数字 00 与 u1之间的互信息量。 (c)接收到的前三个数字 000 与 u1之间的互信息量。 (d)接收到的前四个数字 0000 与 u1之间的互信息量。
1 4
,2

y

x

2
，求：
0, 其他
(a)Y 的概率密度 ( y)
(b) I (X ;Y )
(c) 若对 Y 做如下硬判决 1, y 1
V 0,1 y 1 1, y 1
求 I (X ;V ) ，并对结果进行解释。
解：(a) 由已知，可得
p( y
p(0 0 0)0= 1[(1 p)4 6(1 p)2 p2 p4 ] 8
I (u1;0
0
0)0=
log
(1
p)4
8(1 p)4 6(1 p)2
p2

p4
bit
2.12 计算习题 2.9 中 I(Y; Z) 、 I (X ; Z) 、 I(X ,Y; Z) 、 I(Y; Z | X ) 、 I(X ; Z | Y) 。
=- p(xyz)log p( y | x) - p(xyz) log p(z | xy)
xyz
xyz
= H(Y | X ) + H(Z | XY)
(c) H(Z | X ,Y) =- p(xyz) log p(z | xy) xyz
= p(xy) [- p(z | xy) log p(z | xy) ]