信息论课后习题
(完整word版)信息论习题集
信息论习题集第一章、判断题1、信息论主要研究目的是找到信息传输过程的共同规律，提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统的最优化。
（√）2、同一信息，可以采用不同的信号形式来载荷；同一信号形式可以表达不同形式的信息。
（√）3、通信中的可靠性是指使信源发出的消息准确不失真地在信道中传输；（√）4、有效性是指用尽量短的时间和尽量少的设备来传送一定量的信息。
（√）5、保密性是指隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。
（√）6、认证性是指接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。
（√）7、在香农信息的定义中，信息的大小与事件发生的概率成正比，概率越大事件所包含的信息量越大。
（×）第二章一、判断题1、通信中获得的信息量等于通信过程中不确定性的消除或者减少量。
（√）2、离散信道的信道容量与信源的概率分布有关，与信道的统计特性也有关。
（×）3、连续信道的信道容量与信道带宽成正比，带宽越宽，信道容量越大。
（×）4、信源熵是信号符号集合中，所有符号的自信息的算术平均值。
（×）5、信源熵具有极值性，是信源概率分布P的下凸函数，当信源概率分布为等概率分布时取得最大值。
（×）6、离散无记忆信源的N次扩展信源，其熵值为扩展前信源熵值的N倍。
（√）7、互信息的统计平均为平均互信息量，都具有非负性。
（×）8、信源剩余度越大，通信效率越高，抗干扰能力越强。
（×）9、信道剩余度越大，信道利用率越低，信道的信息传输速率越低。
（×）10、信道输入与输出之间的平均互信息是输入概率分布的下凸函数。
（×）11、在信息处理过程中，熵是不会增加的。
（√）12、熵函数是严格上凸的。
（√）13、信道疑义度永远是非负的。
（√）14、对于离散平稳信源，其极限熵等于最小平均符号熵。
信息论、编码与密码学课后习题答案
第1章 信源编码
1.1考虑一个信源概率为{0.30，0.25，0.20，0.15，0.10}的DMS。求信源熵H（X）。
解： 信源熵
H(X)=-[0.30*(-1.737)+0.25*(-2)+0.2*(-2.322)+0.15*(-2.737)+0.1*(-3.322)]
10100+11110=01010 10100+00111=10011
10100+01101=11001
11110+00111=11001 11110+01101=10011
00111+01101=01010
满足第一条性质
2、全零码字总是一个码字
{00000，01010，10011，11001，10100，11110，00111，01101}
(1)给出此信源的霍夫曼码并确定编码效率。
(2)每次考虑两个符号时，给出此信源的霍夫曼码并确定编码效率。
(3)每次考虑三个符号时，给出此信பைடு நூலகம்的霍夫曼码并确定编码效率。
解：
(1)本题的霍夫曼编码如下图所示：
图1.11 霍夫曼编码
则霍夫曼码如下表：
符号
概率
码字
x1
0.5
1
x2
0.4
00
x3
0.1
01
该信源的熵为：
（2）全零字总是一个码字，
（3）两个码字之间的最小距离等于任何非零码字的最小重量，即
设 ，即 ， ， ， ，
首先证明条件（1）：
， ， ， ， ， ，
很明显，条件（1）是满足的。条件（2）也是显然成立的。
信息论第3章课后习题答案
信息论第3章课后习题答案信息论是一门研究信息传输、存储和处理的学科。
它的核心理论是香农信息论，由克劳德·香农于1948年提出。
信息论的应用范围广泛，涵盖了通信、数据压缩、密码学等领域。
在信息论的学习过程中，课后习题是巩固知识、检验理解的重要环节。
本文将对信息论第3章的课后习题进行解答，帮助读者更好地理解和掌握信息论的基本概念和方法。
1. 证明：对于任意两个随机变量X和Y，有H(X,Y)≤H(X)+H(Y)。
首先，根据联合熵的定义，有H(X,Y)=-∑p(x,y)log2p(x,y)。
而熵的定义为H(X)=-∑p(x)log2p(x)和H(Y)=-∑p(y)log2p(y)。
我们可以将联合熵表示为H(X,Y)=-∑p(x,y)log2(p(x)p(y))。
根据对数的性质，log2(p(x)p(y))=log2p(x)+log2p(y)。
将其代入联合熵的表达式中，得到H(X,Y)=-∑p(x,y)(log2p(x)+log2p(y))。
再根据概率的乘法规则，p(x,y)=p(x)p(y)。
将其代入上式中，得到H(X,Y)=-∑p(x,y)(log2p(x)+log2p(y))=-∑p(x,y)log2p(x)-∑p(x,y)log2p(y)。
根据熵的定义，可以将上式分解为H(X,Y)=H(X)+H(Y)。
因此，对于任意两个随机变量X和Y，有H(X,Y)≤H(X)+H(Y)。
2. 证明：对于一个随机变量X，有H(X)≥0。
根据熵的定义，可以得到H(X)=-∑p(x)log2p(x)。
由于概率p(x)是非负的，而log2p(x)的取值范围是负无穷到0之间，所以-p(x)log2p(x)的取值范围是非负的。
因此，对于任意一个随机变量X，H(X)≥0。
3. 证明：对于一个随机变量X，当且仅当X是一个确定性变量时，H(X)=0。
当X是一个确定性变量时，即X只能取一个确定的值，概率分布为p(x)=1。
信息论习题一二答案
信息论习题一、二答案参考1.一个随即变量x的概率密度函数P(x)= x /2，0≤x≤2V，则信源的相对熵为（）。
A. 1.44bit/符号B. 1bit/符号正确C. 0.5bit/符号D. 0.72bit/符号2.下列不属于消息的是（）A. 文字B. 图像C. 语言D. 信号3.下列哪一项不属于最简单的通信系统模型（）A. 信宿B. 加密C. 信道D. 信源4.下列离散信源，熵最大的是（）。
A. H（1/2,1/2）B. H（1/2,1/4,1/8,1/8)C. H（1/3,1/3,1/3）D. H（0.9,0.1）5.下面哪一项不属于熵的性质（）A. 对称性B. 确定性C. 完备性D. 非负性6.同时扔两个正常的骰子，即各面呈现的概率都是1/6，若点数之和为12，则得到的自信息为（）。
A. －log36bitB. log36bitC. －log (11/36)bitD. log (11/36)bit7.对连续信源的熵的描述不正确的是（）。
A. 连续信源的熵和离散集的熵形式一致，只是用概率密度代替概率，用积分代替求和B. 连续信源的熵由相对熵和无穷大项构成C. 连续信源的熵值无限大D. 连续信源的熵可以是任意整数9.相对熵（）。
A. 总非负B. 总为正C. 总为负D. 都不对9.英文字母有26个，加上空格共27个符号，由此H0（X）=4.76bit/符号，根据有关研究H∞（X）=1.4 bit/符号，则冗余度为（）。
A. 0.71B. 0.51C. 0.11D. 0.3110.设信源S，若P（s1）=1/2、P（s2）=1/4、P（s3）=1/4，则其信源剩余度为（）。
A. 3/4B. 0C. 1/4D. 1/211.设有一个无记忆信源发出符号A和B，已知p（A）＝1/4，p（B）=3/4，发出二重符号序列消息的信源，则二次扩展信源熵为（）。
A. 0.81bit/二重符号B. 1.86 bit/二重符号C. 0.93 bit/二重符号D. 1.62bit/二重符号12.H（X/X）=0。
信息论 傅祖芸课后题解答
第二章习题
2.13 (2)每个象素色度所含的信息量为：
H (Y) ? log30 ? 4.91
亮度和色度彼此独立 H ( XY) ? H (X) ? H (Y) ? log10 ? log30 ? 8.23 H ( XY) ? log300 ? 2.5 H ( X) log10
第二章习题
2.18 (1)是平稳的
p log
p 2
?
0
当p＝1：
H?
?
? p log p ?
p log
p 2
?1
第二章习题 2.24 图应改为：
1 a1 : 2
s1
a1 :1
a2
:
1 4
1 a3 : 4
s3
a
2
:
1 2
s2
1 a3 : 2
（1）
?Q(s1) ? 0.5Q(s1) ? Q(s3 )
??Q ?
(s2
?Q (s3
) )
? ?
?
?
log 2
p(x /
y)
?
?
log 2
1 0.375
? 1.415( bit )
获得的信息量是 1.415 bit
第二章习题
2.6
I
(a1
)
? ? log 3 ? ? log 0.375
II((aa32))??8??lloogg1414??
2 2
?
1.396
I (a2 )
?
?
log
1 8
?
3
(1) I ?消息?? 14I (a1) ? 13I(a2 ) ? 12I (a3 ) ? 6I(a4 ) ? 87.544bit
信息论课后习题答案
第六章 有噪信道编码6.1 R 为信息传输率，根据香农第二定理，当码长n->无穷大时，满足什么关系式，可使错误概率Pe->0。
答：Pe<exp{-nE(R)}->0，其中E(R)为可靠性函数，且在9<R<C 的范围为正。
信道容量C 是保证无差错传输时，信息传输率R 的权限值。
6.2 写出费诺不等式，其中哪一项表示是否判对的疑义度，log(k-1)又表示什么？答：H(X|Y)<=H2(Pe)+Pelog(k-1) ，H2(pe)是否判对的疑义度。
表示如果判决出错，错在k-1个符号中的一个，疑义度不会超过log(k-1)。
6.3 根据香农定理说明，（信息容量）是保证无差错传输时信息传输率R 的上限值，（平均错误概率）是信源可压缩信息的最低极限。
6.4 最大后验概率译码准则就是最小错误译码准则，对吗？错误。
()∑≠-==≠=k i k i k k e y x y xy x x y p )|(1)|()|(φφφ 这个公式可知最大后验概率与最小错误译码准则所得的最终结果是相等的。
但并非概念定义一致。
6.5 在信源等该分布时，则极大似然函数译码准则就是最小错误译码准则，对吗？ Proof: if ())|(|k k x y p x y p > m=1,2,……,MThen 信道等概率输入时，有),()(m k x q x q = 代入上式得)()|()()|(m m k k x q x y p x q x y p >So,it comes to )()(y x p y x p m k >所以说明全概率最大，对应最大联合概率译码准则。
1/2 1/6 1/36.6 离散无记忆信道DMC ，转移概率矩阵为 P= 1/3 1/2 1/61/6 1/3 1/2(1 )q(x1)=1/2 q(x2)=1/4 q(x3)=1/4. 求最佳判决译码及错误概率。
（2）若信源等概分布，求最佳判决译码及错误概率。
信息论第八章课后习题
（1）现将图像通过给定的信道传输，不考虑图像的任何统计特性，并采用二元
等长码，问需要多长时间才能传完这幅图像？
（2）若考虑图像的统计特性（不考虑图像的像素之间的依赖性），求此图像的
信源熵
H (S)，并对灰度级进行霍夫曼最佳二元编码，问平均每个像素需
用多少二元码符号来表示？这时需多少时间才能传送完这幅图像？
1 1 1 1 1 1 1 1 1 1
2 2 2 2 2 2 2 2 2 2
2 2 2 2 2 2 2 3 3 3
3 3 3 3 3 3 3 4 4 4
4 4 4 4 4 4 4 5 5 5
5 5 5 5 6 6 6 6 6 6
7 7 7 7 7 8 8 8 8 8
另有一无损无噪二元信道，单位时间（秒）内传输
可见，二者的码字完全相同。
【8.2】设二元霍夫曼码为
(00,01,10,11)和(0,10,110,111)，求出可以编得这样霍夫
曼码的信源的所有概率分布。
解：
二元霍夫曼编码的过程必定是信源缩减的过程，编码为
(00,01,10,11)的信
源，其码树如下图所示。
假设四个信源符号的概率分别是
i(2i -1) + 2(i +1) i2i + i + 22
L= == i +
i ii
2 + 12 + 12 + 1
【8.7】设信源
ss Lss
12 M -1 M ù
S :
pp L pp
12 M -1 M
M
i=1
é
(信息论)第二、三章习题参考答案
第二章习题参考答案2-1解：同时掷两个正常的骰子，这两个事件是相互独立的，所以两骰子面朝上点数的状态共有6×6＝36种，其中任一状态的分布都是等概的，出现的概率为1/36。
(1)设“3和5同时出现”为事件A ，则A 的发生有两种情况：甲3乙5，甲5乙3。
因此事件A 发生的概率为p(A)=(1/36)*2=1/18 故事件A 的自信息量为I(A)=－log 2p(A)=log 218=4.17 bit(2)设“两个1同时出现”为事件B ，则B 的发生只有一种情况：甲1乙1。
因此事件B 发生的概率为p(B)=1/36 故事件B 的自信息量为I(B)=－log 2p(B)=log 236=5.17 bit (3) 两个点数的排列如下：因为各种组合无序，所以共有21种组合： 其中11，22，33，44，55，66的概率是3616161=⨯ 其他15个组合的概率是18161612=⨯⨯symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑(4) 参考上面的两个点数的排列，可以得出两个点数求和的概率分布：sym bolbit x p x p X H X P X ii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=⎪⎭⎫ ⎝⎛+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑(5)“两个点数中至少有一个是1”的组合数共有11种。
bitx p x I x p i i i 710.13611log )(log )(3611116161)(=-=-==⨯⨯=2-2解：(1)红色球x 1和白色球x 2的概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡2121)(21x x x p X i 比特 12log *21*2)(log )()(2212==-=∑=i i i x p x p X H(2)红色球x 1和白色球x 2的概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡100110099)(21x x x p X i 比特 08.0100log *100199100log *10099)(log )()(22212=+=-=∑=i i i x p x p X H (3)四种球的概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡41414141)(4321x x x x x p X i ，42211()()log ()4**log 4 2 4i i i H X p x p x ==-==∑比特2-5解：骰子一共有六面，某一骰子扔得某一点数面朝上的概率是相等的，均为1/6。
信息论编码部分课后习题习题
7
第3章习题 章习题
8
第3章习题 章习题
9
第3章习题 章习题
10
第3章习题 章习题
11
第4章习题 章习题
12
第4章习题 章习题
13
第6章习题 章习题
14
第6章习题 章习题
15
第8章习题 章习题
16
第8章习题 章习题
17
第8章习题 章习题
18
第8章习题 章习题
19
第8章习题 章习题
20
第8章习题 章习题
21
第9章习题 章习题
某线性分组码的生成矩阵为
0 0 G= 1 1 1 0 1 0 1 0 1 1 1 0 0 1 1 1 0 0 1 0 0 1 0 1 0 1
求： （1）用系统码的形式表示G； （2）计算系统码的校验矩阵H； （3）若接收到的码字为R1=0010100，检验它是否为码字？
解：(1)对G作行运算，得到系统化后的生成矩阵为
1 0 G= 0 0 0 1 0 0 0 0 1 0 0 0 0 1 1 1 0 1 1 1 1 0 0 1 1 1
(3)计算
1 1 0 1 1 0 0 T R1 H = [ 0 0 1 0 1 0 0] 1 1 1 0 0 1 0 0 1 1 1 0 0 1 = [1 0 1] ≠ 0
T
(2)由系统化后的生成矩阵得系统码的校验矩阵H为
1 1 0 1 1 0 0 H = 1 1 1 0 0 1 0 0 1 1 1 0 0 1
因此可断言R1不是码字。
22
信息论课后习题答案信息论基础课后答案信息论导引习题答案信息论与编码信息论与编码论文信息论基础习题解答信息论基础习题信息论与编码试卷信息论与编码试题信息论与编码答案第2章 Nhomakorabea题 章习题
信息论课后题答案
2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。
假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：设随机变量X 代表女孩子学历 X x 1（是大学生） x 2（不是大学）P(X) 0.250.75设随机变量Y 代表女孩子身高Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) 0.50.5已知：在女大学生中有75%是身高160厘米以上的 即：bit x y p 75.0)/(11=求：身高160厘米以上的某女孩是大学生的信息量即：b i ty p x y p x p y x p y x I 415.15.075.025.0log )()/()(log )/(log )/(11111111=⨯-=-=-= 2.4 设离散无记忆信源⎭⎬⎫⎩⎨⎧=====⎥⎦⎤⎢⎣⎡8/14/1324/18/310)(4321x x x x X P X ，其发出的信息为( 02120130213001203210110321010021032011223210)，求(1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？ 解：(1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：62514814183⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛=p 此消息的信息量是：bit p I 811.87log =-=(2) 此消息中平均每符号携带的信息量是：b i t n I 951.145/811.87/==2.9 设有一个信源，它产生0，1序列的信息。
它在任意时间而且不论以前发生过什么符号，均按P(0) = 0.4，P(1) = 0.6的概率发出符号。
(1) 试问这个信源是否是平稳的？ (2) 试计算H(X 2), H(X 3/X 1X 2)及H ∞；(3) 试计算H(X 4)并写出X 4信源中可能有的所有符号。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
同的信道容量，信道上的信号与噪声的平均功 率比值应等于多大？
解：（1）由信道容量公式C = B log(1 + S，) 得：
N
C = 1 * log(1 + 10) = log11 (bit/ s)
（2）由信道容量公式得：
B=
C
log(1 + S )
N
所以： B = log11 (Hz) log 6
i=1
H (S )
h=
= 0.8113
L1
4.6（续）
②N=2时，编码过程如下：
所以：
S2
概率
霍夫曼编码
s1s1
0.5625
0
s1s2
0.1875
11
s2s1
0.1875
100
s2s2
0.0625
101
L2 = 1? 0.5625 2? 0.1875 3? (0.1875 0.0625) = 1.6875 (码元/ 二符号)
L = 2.35
s3
0.2
11
s4
0.2
000
s5
0.15
001
4.8（续）
信源熵为：
5
å H (S ) = - P(si ) log P(si ) = 2.3037 bit / sign
i=1
编码效率为：
H (S )
h=
= 0.98
L
5.11 已知一个平均功率受限的连续编号，通过 带宽B=1MHz的高斯白噪声信道，问 （1）若信噪比为10，信道容量为多少？ （2）若信道容量不变，信噪比将为5，信道带 宽应为多少？
1
p/2 p/2
2
p
2.16（续）
解：（1）一阶马尔可夫信源的状态空间 E A {0,1, 2} 。由 状态转移图中分析可知，三个状态多是正规常返态。此状 态马尔可夫链是时齐的、状态有限的和是不可约闭集。所 以具有各态历经性，平稳后状态的极限分布存在。有：
Q(Ei ) P(ai ) i 1, 2,3 Ei E, ai A 而E A {0,1, 2}
3 14
2.14（续） 这个链的极限平均符号熵为：
（3）
H
lim
N
HN
(X)
lim
N
H
(
X
N
|
X N1gggX1)
H2
33
P(ai )P(aj | ai ) log P(a j | ai )
i1 j1
1.251 bit/符号
H0 log 3 1.585 bit/符号
P(a1
)
1 2
P(a1 )
2 3
P(a2 )
2 3
P(a3 )
P(a2
)
1 4
P(a1 )
1 3
P(a3 )
P(a3 )
1 4
P(a1 )
1 3
P(a2 )
P(a1) P(a2 ) P(a3 ) 1
解得：
P(a1 )
4 7
,
P(a2
)
P(a3 )
3 2
H(X
|
S
s2 )
H
0,
1, 2
1 2
1
H ( X | S s3 ) H 1, 0, 0 0
2.17(续) （3）此马尔可夫信源的熵：
33
H H2
Q(si )P(ak | si ) log P(ak | si )
i1 k 1
3
Q(si )H (ak | si ) k 1
2.14(续)
P(a1a1a1 )
P(a1)P(a1
|
a1)P(a1
|
a1)
1 8
1
P(a1a1a2 ) P(a1)P(a1 | a1)P(a2 | a1) 16
P(a1a1a3
)
P(a1)P(a1
|
a1)P(a3
|
a1)
1 16
gggg
其满足：
333
P(aia jak ) 1
H¥ = p(S1)p(S1 | S1) + p(S1)p(S 2 | S1) + p(S 2 )p(S1 | S 2) + p(S2)p(S2 | S2) = 0.6887 bit / sign
2.14 有一个一阶平稳马尔可夫 链，X1，X2 ，，Xr ，各 X r
取值于 A a1, a2, a3 。已
1 2
Q ( S1
)
Q(S3
)
P(a2 )
1 4
Q ( S1
)
1 2
Q(S2
)
1
1
P(a3 ) 4 Q(S1 ) 2 Q(S2 )
解之得：
P(a1 )
3 7
P(a2
)
2 7
P(a3 )
2 7
（2）输出符号条件熵为：
H(X
|
S
s1 )
H
1, 2
1, 4
1 4
解之得：
Q(S1) Q(S3)
Q(S2
)
3 4
Q(S1)
1 2
Q(S2 )
Q(S3
)
1 4
Q(S1)
1 2
Q(S2
)
Q(S1) Q(S2 ) Q(S3) 1
Q(S1)
2 7
Q(S2
)
3 7
Q( S3 )
2 7
2.17（续）
符号极限概率为：
P(a1 )
2 7
H
1 2
,
1 4
,
1 4
2 7
H
0,
1 2
,
1 2
3 7
H
1, 0, 0
6 7
4.2 离散无记忆信源的概率空间为：
轾 犏 犏 犏 臌 P (Ss)
=
轾 犏 犏 犏 s31 犏 臌 4
s2 1
4
若对信源采取等长二元编码，要求编码效
率 h = 0.96 ，允许译码错误概率 d £ 10- 5 ，试计
（1）求信源平稳后的概率分布P(0), P(1), P(2). （2）求此信源的熵。
（3）近似认为此信源为无记忆时，符号的概率分布等于平稳 分布。求近似信源的上H(XH)并 与 进行比较。
（4）对一阶马尔可夫信源p取何值时H 取最大值，又当p=0 和p=1时结果如何？
p
0
p/2
p/2
p/2 p/2
H
p log
p
p log
p 2
1
bit/符号
2.17 设马尔可夫信源的状态集合 S {S1, S2 , S3} ，
符号集 X {a1, a2 , a3}
在某状态Si{i 1, 2, 3下} 发出符
号：ak (i 1, 2, 3)的概率为：
S
s 1
P(ak | Si )(i 1, 2,3; k 1, 2,3)
根据状态转移得状态一步转移矩阵：
p
P= p / 2
p
/
2
p/2 p p/2
p / 2
p / 2
p
2.16（续）
QQQ(((102)))
PT
Q(0)
Q(1)
Q(2)
p p p
/ /
2 2
Q(0) Q(1) Q(2) 1
|
S1 )
1 3
，P(S1
|
S2 )
1，P(S2
|
S2 )
0
试画出状态转移图，并求出信源熵。
解：根据转移概率，得状态转移图如下所示：
2/3
1/3
S1
S2
1
å 求解信源熵： p(S j ) = p(Si )p(S j | Si )
得：
p(S1) =
3 4
，p(S
2
)
=
1i 4
p(S1) + p(S2) = 1
知起始概率 P(x) 为：
1
1
p1
P( X1
a1)
, 2
p2
p3
4
转移概率如右表所示：
j1
i
1 1/2 2 2/3 3 2/3
23
1/4 1/4 0 1/3 1/3 0
2.14（续）
（1）求X1X2X3的联合熵和平均符号熵； （2）求这个链的极限平均符号熵； （3）求H0,H1,H2和它们所对应的冗余度。
则： 所以：
L 2 = 0.84375 (码元/ 符号) 2
H (S )
h2
=
= 0.84375
0.962
4.6（续）
③当 N = ? 时，由香农第一定理可知，必然
存在唯一译码，使
lim
N
LN N
= Hr (S )
而霍夫曼编码为最佳码，即平均码长最短 的码，故