(完整word版)信息论与编码-曹雪虹-课后习题答案
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
《信息论与编码》-曹雪虹-课后习题答案 第二章
2.1一个马尔可夫信源有3个符号{}1,
23,u u u ，转移概率
为：()1
1
|1/2p u u =，()2
1|1/2p u
u =，()31|0p u u =，()12|1/3p u u =，
()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，
画出状态图并求出各符号稳态概率。 解：状态图如下
状态转移矩阵为：
1/21/2
01/302/31/32/30p ⎛⎫ ⎪= ⎪ ⎪⎝⎭
设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3
由1231WP W W W W =⎧⎨++=⎩得1231132
231231
112331223231W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩
计算可得1231025925625W W W ⎧=⎪⎪⎪=
⎨⎪
⎪=⎪⎩
2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)
p=0.8，(0|11)
p=0.2，(1|00)
p=0.2，(1|11)
p=0.8，(0|01)
p=0.5，(0|10)
p=0.5，(1|01)
p=0.5，(1|10)
p=0.5。画出状态图，并计算各状态的稳态概率。
解：(0|00)(00|00)0.8
p p
==(0|01)(10|01)0.5
p p
==
(0|11)(10|11)0.2
p p
==(0|10)(00|10)0.5
p p
==
(1|00)(01|00)0.2
p p
==(1|01)(11|01)0.5
p p
==
(1|11)(11|11)0.8
p p
==(1|10)(01|10)0.5
p p
==
于是可以列出转移概率矩阵：
0.80.200
000.50.5
0.50.500
000.20.8 p
⎛⎫
⎪
⎪=
⎪
⎪
⎝⎭
状态图为：
设各状态00，01，10，11的稳态分布概率为W1,W2,W3,W4 有
4
1
1i i WP W W ==⎧⎪⎨=⎪⎩∑ 得
131
13224324412340.80.50.20.50.50.20.50.81
W W W W W W W W W W W W W W W W +=⎧⎪+=⎪⎪
+=⎨⎪+=⎪+++=⎪⎩
计算得到12345141
717514W W W W ⎧
=⎪⎪
⎪=⎪⎨
⎪=⎪⎪⎪=
⎩
2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：
(1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息； (3) 两个点数的各种组合（无序）对的熵和平均信息量；
(4) 两个点数之和（即2, 3, … , 12构成的子集）的熵；
(5) 两个点数中至少有一个是1的自信息量。 解： (1)
bit
x p x I x p i i i 170.418
1
log )(log )(18
1
61616161)(=-=-==
⨯+⨯=
(2)
bit
x p x I x p i i i 170.536
1
log )(log )(36
1
6161)(=-=-==
⨯=
两个点数的排列如下： 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66
共有21种组合：
其中11，22，33，44，55，66的概率是36
16
161=
⨯ 其他15个组合的概率是18
16
1612=⨯⨯
symbol bit x p x p X H i
i i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛
⨯+⨯-=-=∑
(4)
参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：
symbol
bit x p x p X H X P X i
i i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 36
12 )
(log )()(36112181111211091936586173656915121418133612)(=⎪
⎭⎫ ⎝⎛
+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥
⎦⎤⎢⎣⎡∑
bit
x p x I x p i i i 710.136
11
log )(log )(36
11
116161)(=-=-==
⨯⨯=
2-4
2.5 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：
设随机变量X 代表女孩子学历
X x 1（是大学生）
x 2（不是大学
生） P(X)
0.25
0.75