北邮信息论200806级期中考试试题及答案

北京邮电大学

06级《信息论》期中考试试题答案

（2008.11.15）

姓名班级学号分数

注意：要求将试卷和答题纸一起上交

一、(25分)已知基于字符表{“blank”, B, I, M, O, P, S, T}的一段文本如下：

OTTOS MOPS TOBT MIT OTTOS MOP BIS OTTO MOPPOT

（其中的blank表示空格）

(1) 统计文本中出现各字符的频度，并近似看作各字符的概率进行二元Huffman

编码，给出每个字符对应的码字（要求：码长方差最小）；(9分)

(2) 求平均码长及码长方差；(4+4=8分)

(3) 求编码速率和编码效率。(4+4=8分)

解：

11

10

8

4

4

4

2 20

14

18

1

16

8

18

27

45

码字

1

1

1

1

00

10

010

110

0110

0111

1110

1111

O

T “blank”

M

P

S

B

I

O

T

M

P

S

B

I “blank”

（3+4=7分，每错一个码字扣0.5分）(2) 平均码长及码长方差为：

8.245/)2244(445/)48(345/)1011(2=+++?++?++?=-

l 码元/信源符号(4分)

693

.08.245/42245/44245/3445/3845/21045/21122222222

22=-??+??+?+?+?+?=-=∑i

i i l l p σ（4分）

3）编码速率8.22log '==l R 比特/信源符号（4分） 编码效率()

2.753298.32%2.8

log 2

H X L η-

=

==（4分）

二、（25分）一马氏源具有状态集合{}1,2,...,N ，状态转移图如下图所示

… …

p

其中0,0,1p q p q >>+=。

（1）当N=3时，写出状态转移概率矩阵，并求平稳分布。（3+6=9分） （2）对任意N 值，写出状态转移概率矩阵，并求平稳分布。（3+6=9分） （3）对任意N 值，求马氏源的符号熵。（7分） 答：

（1） N=3,状态转移概率矩阵为：

000q p q p q

p ?? ?

? ??

?

（3分） 由()()

1231231230001

q

p q p q

p πππππππππ?? ?

= ? ??

?

++= （3分）

得平稳分布为：22

122

2

2222

22

3222

(1)1(1)

11q p p pq q p p pq p p p pq q p p

p p p pq q p p πππ-==++-+-==++-+==

++-+（各1分共3分）

（2） 对任意N ，状态转移概率概率矩阵如下：

00...0000...0000...00000...00........

.0000 (000)

0...q p q p q p q p q

p ?? ? ? ? ?

? ? ? ? ??

?

（3分） 该马氏源处于平稳分布时，有：

()()123

1

123100...0000...0000...00 0

00...00.........0000 (000)

0...N N N N q

p

q p q p q p q

p ππππππππππ--?? ? ? ? ?= ? ? ? ? ??

?

以及

N

i

i 1

1π

==∑（2+1=3分）

得：

i i-1i-1

N

1i i 11p q i 2N 1

11i N

p q p q πππππγγπγ===??

== ???

-=

-∑（，），从而有：

， 令=，得：

因此，平稳分布为：

1i (1)

i 1N 1i N

γγπγ--==-，（，）

（3分） （3）由于马氏源状态转移概率矩阵的每行都相等，所以有：

12...()N h h h H p ====，

（4分） 从而对任意N ，有()H H p ∞=（3分）

三、（25分）x 和z 为独立同分布的连续随机变量，且都在区间[-1/2, 1/2]上服从

均匀分布，随机变量y=x+z 。

（1） 求连续随机变量集合Z 的差熵h(Z);（5分）

（2） 证明：h(Y|X) = h(Z);（提示：1011x x y z ??????

=??????

??????

）（7分） （3） 求连续随机变量Y 的概率密度函数；（提示：两个独立随机变量之和的概

率密度为这两个随机变量概率密度的卷积）（3分） （4） 求连续随机变量集合Y 的差熵h(Y); （5分） （5） 求I(X;Y)。（5分） 解：

（1） h(Z) = 0bit; (5分) （2） 由提示：

1011x x y z ??????=???????????? 有：

10h(XY)=h(XZ)+log det h(XZ)11??= ???(3分)

又由Z 与X 独立，

从而：h(XY)=h(X)+h(Y|X)=h(XZ)= h(X)+h(Z|X)= h(X)+h(Z) (3分) 可得：h(Y|X)= h(Z) (1分)

（3）

110()101y y f y y y +-≤≤?=?

-+<≤?(3分) (用图形卷积或分区域积分的方法均给分)

（4）

1

-1

1

1

122000h(Y)=-(+1)ln(+1)d -(-+1)ln(-+1)d

1112ln d 2ln d 22t 1nat 2

y y y y y y t t t t t t t ??

=-=--??

????=????(5分)

或1/2loge=0.722bit

（5） I(X;Y) = h(Y) - h(Y|X) = h(Y) - h(Z) = 1/2nat 或1/2loge=0.722bit (5分)

四、（25分）在某地区篮球联赛的每个赛季，最终只有A 、B 两球队进入决赛争夺冠军。决赛采用7场4胜制，首先赢得4场胜利的球队获得冠军，并结束比赛。把产生冠军的事件x 用A 、B 两队各场次的比赛结果表示，作为信源X 产生的随机事件，例如：AAAA 表示事件“A 队胜前4场获得冠军”；ABBAAA ，表示事件“A 队在第1、4、5、6场取胜获得冠军(而B 队在第2、3场取胜)”，…。假设两球队在每场比赛中的取胜机会均等，每场比赛只有“A 胜”或“B 胜”两种结果，并且各场比赛的结果是彼此独立的。

（1）写出信源X 的所有事件及其相应的概率；（5分） （2）求信源的熵H （X ）；（5分）

（3）求事件“两队打满7场”所提供的信息量；（5分）

（4）列出A 队前三场都失利的所有情况，求“A 队前三场都失利”所提供的信

息量；（5分）

（5）求事件“A 队在前三场都失利的条件下又取得冠军”所提供的信息量？

（5分）

解

（1）A 队获冠军的事件数和相应的概率如下表：（4分）

事件 数目 单事件的概率 概率的和

赛4场获冠军（AAAA ）

1 1/16 1/16 赛5场获冠军（前4场B 胜1场）

4 1/32 1/8 赛6场获冠军（前5场B 胜2场）

10 1/64 5/32 赛7场获冠军（前6场B 胜3场）

20 1/128 5/32 总概率 1/2 同理得到相同的B 队获冠军的事件数和相应的概率分布。（1分） （2）信源X 的熵：

2221111

()2[()log 164()log 3210()log 6420()log(128)]

163264128

H X =?+?+?+?（3分）

186/32 5.8125==比特（1+1=2分） （3） “两队打满7场”事件数为40，（1分）

所求概率为40(1/128)5/16?=，（1分） 事件“两队打满7场”所提供的信息量：

12log (5/16) 1.6781I =-=比特（3分）

（4）A 队在前三场都失利情况下的所有事件与概率：（每概率0.5分共2分）

22log 83I ==比特（3分）

（5）A 队在前三场都失利的条件下又取得冠军的条件概率：

1/128

1/16(1/16)(1/32)(1/64)2(1/128)

=+++?（2分）

“A 队在前三场都失利的条件下又取得冠军的”的信息量：

32log 164I ==比特（3分）