信息论与编码课后答案

. . -优选 2.1一个马尔可夫信源有3个符号1,23,uuu，转移概率为：11|1/2puu，

21|1/2puu，31|0puu，12|1/3puu，22|0puu，32|2/3puu，

13|1/3puu，23|2/3puu，33|0puu，画出状态图并求出各符号稳态概率。

解：状态图如下

状态转移矩阵为： 1/21/201/302/31/32/30p



设状态u1，u2，u3稳定后的概率分别为W1，W2、W3

由1231WPWWWW得1231132231231112331223231WWWWWWWWWWWW计算可得1231025925625WWW

2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p=0.8，(0|11)p=0.2，(1|00)p=0.2，(1|11)p=0.8，(0|01)p=0.5，(0|10)p=0.5，(1|01)p=0.5，(1|10)p=0.5。

画出状态图，并计算各状态的稳态概率。 解：(0|00)(00|00)0.8pp(0|01)(10|01)0.5pp

(0|11)(10|11)0.2pp(0|10)(00|10)0.5pp (1|00)(01|00)0.2pp(1|01)(11|01)0.5pp (1|11)(11|11)0.8pp(1|10)(01|10)0.5pp

u1u2

u3

1/21/2

1/32/32/31/3. .

-优选 于是可以列出转移概率矩阵：0.80.200000.50.50.50.500000.20.8p 状态图为： 0001

10110.8

0.2

0.50.50.50.5

0.20.8

设各状态00，01，10，11的稳态分布概率为W1,W2,W3,W4 有

411iiWPWW







 得 13113224324412340.80.50.20.50.50.20.50.81WWWWWWWWWWWWWWWW 计算得到12345141717514WWWW

2.7 设有一离散无记忆信源，其概率空间为123401233/81/41/41/8XxxxxP 〔1〕求每个符号的自信息量 〔2〕信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210}，求该序列的自信息量和平均每个符号携带的信息量

解：122

1

18()loglog1.415()3Ixbitpx

同理可以求得233()2,()2,()3IxbitIxbitIxbit 因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有：123414()13()12()6()87.81IIxIxIxIxbit

平均每个符号携带的信息量为87.811.9545bit/符号

2.11 有一个可以旋转的圆盘，盘面上被均匀的分成38份，用1，…，38的数字标示，其中有两份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上的指针指向某一数字和颜. . -优选 色。 〔1〕如果仅对颜色感兴趣，那么计算平均不确定度 〔2〕如果仅对颜色和数字感兴趣，那么计算平均不确定度 〔3〕如果颜色时，那么计算条件熵 解：令X表示指针指向某一数字，那么X={1,2,……….,38} Y表示指针指向某一种颜色，那么Y={l绿色，红色，黑色}

Y是X的函数，由题意可知()()ijipxypx

〔1〕3112381838()()loglog2log1.24()3823818jjjHYpypybit/符号 〔2〕2(,)()log385.25HXYHXbit/符号 〔3〕(|)(,)()()()5.251.244.01HXYHXYHYHXHYbit/符号 2.12 两个实验X和Y，X={x1 x2 x3},Y={y1 y2 y3},l联合概率,ijijrxyr为 111213

212223313233

7/241/2401/241/41/2401/247/24rrrrrrrrr



（1） 如果有人告诉你X和Y的实验结果，你得到的平均信息量是多少？ （2） 如果有人告诉你Y的实验结果，你得到的平均信息量是多少？ （3） 在Y实验结果的情况下，告诉你X的实验结果，你得到的平均信息量是多少？

解：联合概率(,)ijpxy为

22221(,)(,)log(,)724112log4log24log4247244ijijij

HXYpxypxy



=2.3bit/符号 X概率分布

21()3log31.583HYbit/符号

(|)(,)()2.31.58HXYHXYHY Y概率分布是 =0.72bit/符号 Y y1 y2 y3 P 8/24 8/24 8/24

2.16 黑白 机的消息元只有黑色和白色两种，即X={黑，白}，一般气象图上，黑色的出现概率p(黑)＝0.3，白色出现的概率p(白)＝0.7。 〔1〕假设黑白消息视为前后无关，求信源熵H(X)，并画出该信源的香农线图

Y X y1 y2 y3

x1 7/24 1/24 0 x2 1/24 1/4 1/24 x3 0 1/24 7/24

X x1 x2 x3 P 8/24 8/24 8/24 . .

-优选 〔2〕实际上各个元素之间是有关联的，其转移概率为：P(白|白)＝0.9143，P(黑|白)＝0.0857，P(白|黑)＝0.2，P(黑|黑)＝0.8，求这个一阶马尔可夫信源的信源熵，并画出该信源的香农线图。 〔3〕比拟两种信源熵的大小，并说明原因。

解：〔1〕22

1010()0.3log0.7log0.881337HXbit/符号

P(黑|白)=P(黑)

P(白|白)＝P(白) 黑白0.70.30.70.3 P(黑|黑)＝P(黑) P(白|黑)＝P(白) 〔2〕根据题意，此一阶马尔可夫链是平稳的〔P(白)＝0.7不随时间变化，P(黑)＝0.3不随时 间变化〕

21222221()(|)(,)log(,)1110.91430.7log0.08570.7log0.20.3log0.91430.08570.210.80.3log0.8ijijijHXHXXpxypxy





＝0.512bit/符号 2.20 给定语音信号样值X的概率密度为1()2xpxe,x,求Hc(X)，并证明

它小于同样方差的正态变量的连续熵。

解：

00201()()log()()log21()log()()log211loglog()22111loglog()log()22211log2log22xcxxxxxxxxHXpxpxdxpxedxpxdxpxxedxeexdxeexdxexdxexe

01loglog(1)212logloglog2x

xdxexeee





 . . -优选 22()0,()EXDX

,22

121422()log2logloglog()22eeeeHXeHX

2.29 有一个一阶平稳马尔可夫链1,2,,,rXXX,各Xr取值于集合1,2,3Aaaa,起始

概率P(Xr)为1231/2,1/4ppp，转移概率如下列图所示 j i 1 2 3

1 2 3 1/2 2/3 2/3 1/4 0 1/3 1/4 1/3 0

(1) 求123(,,)XXX的联合熵和平均符号熵 (2) 求这个链的极限平均符号熵 (3) 求012,,HHH和它们说对应的冗余度 解：〔1〕 12312132,112132

(,,)()(|)(|)()(|)(|)HXXXHXHXXHXXXHXHXXHXX



1111111()logloglog1.5/224444HXbit符号

X1，X2的联合概率分布为 212()()jij

i

pxpxx

X2的概率分布为那么 2111(|)log4lo48HXX

=1.209bit/符号

X2X3的联合概率分布为 23()ijpxx 1 2 3

1 7/24 7/48 7/48 2 5/36 0 5/12

12()ijpxx 1 2 3 1 1/4 1/8 1/8 2 1/6 0 1/12 3 1/6 1/12 0 1 2 3

14/24 5/24 5/24