信息论与编码理论习题答案

2.4 经过充分洗牌后的一副扑克（52 张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取 13 张牌，所给出的点数都不相同时得到多少信息量？
解：(a) p(a) = 1 52!
信息量= log 1 = log 52!=225.58 bit p(a)
13!13种点数任意排列 (b) 413 花色任选
H(Z | X ,Y) 、 H(X , Z | Y) 、 H(Z | X ) 。
解：令第一第二第三颗骰子的结果分别为 x1, x2 , x3 ， x1 ， x2 ， x3 相互独立， 则 X x1 ， Y x1 x2 ， Z x1 x2 x3
H (Z | Y ) = H (x3 ) = log 6=2.585 bit
'.
.
p(
y
i
i为奇数
)
1 10
p(
y
i
i为偶数
)
1 10
(
1 2
1 8
1 8
1 8
1 8
)
1 10
即输出等概，则 H (Y ) = log 10
H(Y | X ) =
p(xi y j ) log p( y j | xi )
ij
=
p(xi y j ) log p( y j | xi ) -
13!413 413
p(b) =
=
A5123
C 5123
信息量= log C5123 log 413 =13.208 bit
'.
.
2.9 随机掷 3 颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的 点数之和，Z 表示 3 颗骰子的点数之和，试求 H(Z | Y) 、 H(X | Y) 、
i1,3,5,7，9
i j i＝1，3，5，7，9
= 1 1 log 2 5+ 1 1 1 log 8 4 5
10 2
10 2 4
= 1 3 =1 bit 44
I (X ;Y ) = H (Y ) - H (Y | X ) = log 10 -1= log 5=2.3219 bit
2.11 令{ u1,u2 ,，u8 }为一等概消息集，各消息相应被编成下述二元码字 u1=0000， u2 =0011， u3 =0101， u4 =0110， u5 =1001， u6 =1010， u7 =1100， u8 =1111 通过转移概率为 p 的 BSC 传送。求： (a)接收到的第一个数字 0 与 u1之间的互信息量。 (b)接收到的前二个数字 00 与 u1之间的互信息量。 (c)接收到的前三个数字 000 与 u1之间的互信息量。 (d)接收到的前四个数字 0000 与 u1之间的互信息量。
解：
'.
.
即 I (u1;0) ， I (u1;00) ， I (u1;000) ， I (u1;0000 )
p(0) = 1 (1 p) 4 + 1 p 4= 1
8
8
2
I (u1;0) = log
p(0 | u1 ) p(0)
= log 1 p 1
=1+ log(1
p)
bit
2
p(00) = 1 [2(1 p)2 4(1 p) p 2 p2 ] = 1
H (Z | X ) = H (x2 x3 ) = H (Y )
=2 ( 1 log 36+ 2 log 18+ 3 log 12+ 4 log 9+ 5 log 36 )+ 6 log 6
36
36
36
36
36 5 36
=3.2744 bit
H (X | Y ) = H (X ) - I (X ;Y ) = H (X ) -[ H (Y ) - H (Y | X ) ] 而 H (Y | X ) = H (X ) ，所以 H (X | Y ) = 2 H (X ) - H (Y ) =1.8955 bit 或 H (X | Y ) = H (XY) - H (Y ) = H (X ) + H (Y | X ) - H (Y ) 而 H (Y | X ) = H (X ) ，所以 H (X | Y ) =2 H (X ) - H (Y ) =1.8955 bit H (Z | X ,Y ) = H (Z | Y ) = H (X ) =2.585 bit H (X , Z | Y ) = H (X | Y ) + H (Z | XY) =1.8955+2.585=4.4805 bit
p(xi y j ) log p( y j | xi )
j i偶
j i奇
=0-
p(xi y j ) log p( y j | xi )
j i奇
= - p(xi )p( yi | xBiblioteka Baidu ) log p( yi | xi ) -
p(xi ) p( y j | xi ) log p( y j | xi )
8
4
I (u1;00) = log
p(00 | u1 ) = log (1 p)2 = 2[1 log(1 p)]
p(00)
1/ 4
bit
p(000) = 1 [(1 p)3 3(1 p)2 p 3(1 p) p2 p3 ] = 1
2.10 设一个系统传送 10 个数字，0，1，…，9。奇数在传送过程中以 0.5 的概 率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。
解：
X
Y
信道
i 1,3,5,7,9
Χ
i 0,2,4,6,8
√
I (X ;Y ) = H (Y ) - H (Y | X ) 因为输入等概，由信道条件可知，
.
第二章 信息量和熵
2.2 八元编码系统，码长为 3，第一个符号用于同步，每秒 1000 个码字，求它的 信息速率。
解：同步信息均相同，不含信息，因此 每个码字的信息量为 2 log 8 =2 3=6 bit 因此，信息速率为 6 1000=6000 bit/s
2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信 息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} p(a) = 6 = 1 36 6 得到的信息量 = log 1 = log 6 =2.585 bit p(a)
(2) 可能的唯一，为 {6，6} p(b) = 1 36 得到的信息量= log 1 = log 36 =5.17 bit p(b)