信息论习题答案第二章---陈前斌版

第2章习题

2-3 同时掷两个正常的骰子，也就是各面呈现的概率都是l/6，求： (1) “3和5同时出现”事件的自信息量； (2)“两个1同时出现”事件的自信息量；

(3)两个点数的各种组合（无序对）的熵或平均信息量； (4) 两个点数之和(即 2，3，…，12构成的子集）的熵； (5)两个点数中至少有一个是1的自信息。 解：（1）P （3、5或5、3）＝P （3、5）+P （5、3）＝1/18

I ＝log2（18）＝ 。

（2）P （1、1）＝l/36。I ＝log2（36）＝。

（3）相同点出现时（11、22、33、44、55、66）有6种，概率1/36。 不同点出现时有15种，概率1/18。

H （i ，j ）＝6*1/36*log 2（36）+15*1/18*log 2（18）＝事件。

（4）

H(i+j)=H(1/36 2/36 3/36 4/36 5/36 6/36 5/36 4/36 3/36 2/36 1/36)

=事件。

（5）P （1、1or1、j or i 、1）＝1/36+5/36+5/36＝11/36。 I ＝log2（36/11）＝

2-5 居住某地区的女孩中有25％是大学生，在女大学生中有75％身高为1.6m 以

上，而女孩中身高1.6m 以上的占总数一半。假如得知“身高1.6m 以上的某女孩是大学 生”的消息，问获得多少信息量、

解：P （女大学生）＝1/4；P （身高>1.6m / 女大学生）=3/4；P （身高>1.6m ）＝1/2； P （女大学生 / 身高>1.6m ）＝P （身高>1.6m 、女大学生）/P （身高>1.6m ） ＝3/4*1/4*2＝3/8 I ＝log2（8/3）＝。

2-7两个实验123{,,}X x x x =和123{,,}Y y y y =，联合概率()i j ij p x y p =为

11121321222331

32

337/241/2401/241/41/2401/247/24p p p p p p p p p ⎡⎤⎡⎤

⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦

（1）如果有人告诉你X 和Y 的实验结果，你得到的平均信息量是多少

（2）如果有人告诉你Y 的实验结果，你得到的平均信息量是多少

（3）在已知Y 的实验结果的情况下，告诉你X 的实验结果，你得到的平均信息量是多少 解：

（1）

33

11

(,)(,)log (,)

2.301/i j i j i j H X Y p x y P x y bit symbol

===-=∑∑

（2）

3

1

()()log ()

1.5894/j j j H Y p y p y bit symbol

==-=∑

（3）

(|)(,)()

2.301 1.58940.7151/H X Y H X Y H Y bit symbol

=-=-=

2．11某一无记忆信源的符号集为{}0,1，已知01/4p =，13/4p =。

（1）求信源符号的平均信息量；

（2）由100个符号构成的序列，求某一特定序列（例如有m 个0和100m -个1）的

信息量的表达

（3）计算（2）中的序列熵。

解：（1）因为信源是无记忆信源，所以符号的平均熵

()符号/..,81bit 041504324

1

4341X =⨯+⨯=⎪⎭⎫ ⎝⎛H =H

（2）某一特定序列（例如：m 个0和100-m 个1）出现的概率为

()

()()[]()[]

m

-100m m

-100m

10021L

43411P 0P X X X P X P ⎪⎭

⎫ ⎝⎛⎪⎭⎫ ⎝⎛===,,,

所以，自信息量为

()()

()

bit m)(X P ,X ,,X X I -m

m L

3

log 1002004341log log 210010021--=⎪⎭⎪⎬

⎫⎪⎩⎪⎨⎧⎪⎭⎫ ⎝⎛⎪⎭⎫ ⎝⎛-=-=

（3）序列的熵

()

()序列/81bit X 100X L =H =H

2-13 有一个马尔可夫信源，已知转移概率为

1121122221

(|),(|),(|)1,(|)033

P S S P S S P S S P S S ====。

试画出状态转移图，并求出信源熵。

解：（1）由题意可得状态转移图

一步转移矩阵⎥⎥⎦

⎤⎢⎢⎣

⎡=01313

2

P 由∑=i

j ij i W p W 和1p j

ij =∑可得方程组

⎪⎪⎪

⎩

⎪

⎪

⎪⎨⎧

=+=+=1W W W 31W W W 32W 211

2211 解方程组得到各状态的稳态分布概率⎩⎨⎧==41W 4

3W 2

1//，

因为()()()001S X 3132S X 21=H =H ⎪⎭

⎫

⎝⎛H =H ,/,

,/，

所以信源的熵

()()()符号/..,/69bit 09204

3

3132H 43s X H s p X i

i i =⨯=⎥⎦⎤⎢⎣⎡=

=H ∑∞

2-14有一个一阶马尔可夫链,,,,,21 r X X X 各r X 取值于集},,,{21q a a a A =，已知

起始概率为4

1

,21)(3211=====p p x X P p ，其转移概率如下：

（1）求321X X X 的联合熵和平均符号熵； （2）求这个链的极限平均符号熵；

（3）求210H H H 、、和它们对应的冗余度。

解：（1） 方法一、

因为()()()()()()()23121213121321/x x P /x x P x P x /x x P /x x P x P x x x P ==

可以计算得到

()()()()()()()()()()()(),,,161/a a P /a a P a P a a a P 16

1

/a a P /a a P a P a a a P 8

1/a a P /a a P a P a a a P 131113111211121111111111=====

= ()()(),,,241a a a P 0a a a P 12

1

a a a P 321221121===

()()(),,,0a a a P 241a a a P 121a a a P 331231131===

()()(),

,,24

1a a a P 241a a a P 121

a a a P 312212112===()()(),,,0a a a P 0a a a P 0a a a P 3222221

22=== ()()(),

,,0a a a P 36

1

a a a P 18

1a a a P 332232132===