信息论与编码期末考试复习

②状态转移概率矩阵、状态转移图、网格图转换关系；
③平稳马尔可夫信源熵的计算；
④状态平稳分布计算。
第五章
1、区分非奇异码与奇异码、异前置码；
2、区分及时码与非及时码；
3、求非唯一可译码；
对于定长码：非奇异码即为唯一可译码；
非奇异码
变长码：同时满足{
；
异前置码
4、编码定理的掌握；Kraft 定理的理解；
（4）η = ������ = 0.831
������������������������
或者η
=
������(������) ������′
=
0.831
7/7
=
∑������
������(������������ )������(������/������������ )
=
������(0)������
(������)
0
+
������(1)������
(������)
1
+
������(2)������
(������)
2
= 1 ������[���̅���, 0, ������] + 1 ������[������, ���̅���, 0] + 1 ������[0, ������, ���̅���] = ������[������]
1/36。不同点出现时有 15 种，概率 1/18。
H(i,
j)
=
6
∗
1 36
∗
log2
36
+
15
∗
1 18
∗
log2
18
=
4.3366������������������/事件
（4）
i + j 2 3 4 5 6 7 8 9 10 11 12
P(i + j) 1 2 3 4 5 6 5 4 3 2 1 36 36 36 36 36 36 36 36 36 36 36
由状态转移图可知：该马尔可夫链具有遍历性，平稳后状态的
极限分布存在。
由∑������ ������������ ������������������ = ������������和 ∑������ ������������������ = ������������可得方程组
������1 = ���̅���������1 + ������������2 ������2 = ���̅���������2 + ������������3 ������3 = ������������1 + ���̅���������3 {������1+������2 + ������3 = 1
001
������3
011
������4
100
������5
101
������6
1110
6/7
《信息论与编码》复习
������7
1110
（1）计算平均码长���̅���；
（2）编码后信息传输率 R；
（3）编码信息率R‘；
（4）编码效率η。
解：（1）
�Байду номын сангаас����
���̅��� = ∑ ������(������������)������������ = 3.14 (码元/信源符号)
������=0
11
H(Y|X) = − ∑ ∑ P(������������)P(������������|������������)logP(������������|������������) = 0.918 bit/符号
������=0 ������=0
H(XY)=H(X)+H(y|x)=1.729 bit/符号
例题
例 1：同时掷两个正常的骰子，也就是各面呈现的概率都是 l/6，求：
(1)“3 和 5 同时出现”事件的自信息量；
(2)“两个 1 同时出现”事件的自信息量；
(3) 两个点数的各种组合（无序对）的熵或平均信息量；
(4) 两个点数之和(即 2，3，„，12 构成的子集）的熵；
(5) 两个点数中至少有一个是 1 的自信息。
3
3
3
例 4：设二进制对称信道的概率转移矩阵为[21//33 12//33]，
(1)若P(������0)
=
3 4
，P(������1)
+
1/4，求
H(X),H(X|Y),H(Y|X)和
I(X;Y)。
(2)求该信道的信道容量及其达到信道容量时的输入概率分布.
解：（1）
1
H(X) = − ∑ ������(������������)������������������������(������������) = 0.811 ������������������/符号
������=0 5/7
《信息论与编码》复习
P(������0) = P(������0)P(������0|������0) + P(������1)P(������0|������1) = 7/12
P(������������) = 1 − P(������0) = 5/12
1
H(Y) = − ∑ ������(������������)������������������������(������������) = 0.980 ������������������/符号
解：（1）P（3、5 或 5、3）＝P（3、5）+P（5、3）＝1/18
I = log2 18 = 4.1699������������������ （2）P（1、1）＝l/36。I = log2 36 = 5.1699������������������ （3）相同点出现时（11、22、33、44、55、66）有 6 种，概率
������=1
例 5：对信源*������������+ = *0������.12
������2 0.19
������3 0.18
������4 0.17
������5 0.15
������6 0.10
0���.���071+进行
二元编码，编码方案为
信息符号
对应码字
������1
000
������2
5、变长码中求������；̅
6、二元、三元哈夫曼编码；编码效率；信息传输速率的计算；
第六章
1、离散信道模型； 2、无噪信道中，无损、确定、无损确定的判断；容量 C 的求解；
2/7
《信息论与编码》复习
3、对称信道容量 C 的计算； 4、级联信道容量 C 的计算； 5、并联、和信道容量 C 的计算；
第三章
离散无记忆信源 主要考点 {
离散马尔可夫信源 离散无记忆信源
信源符号的概率模型
①*���P���+ = *������(������1������)1
������2 … … ������������ ������(������2) … … P(������������)
+
1/7
《信息论与编码》复习
H(X|Y)=H(XY)-H(Y)=0.749 bit/符号
I(X;Y)=H(X)-H(X|Y)=0.062 bit/符号
(2)该信道为对称 DMC 信道，因此在P(������0) = P(������1) = 1/2时,取得 信道容量为:
2
C = log2 + ∑ ������������������������������������������������������ = 0.082 ������������������/符号
②*������������+ P
=
[������(������������1′1′ )
������2′ … … ���������′��� ������(������2′ ) … … P(���������′���)
]
H(X)、H(������������) 的计算。
离散马尔可夫信源
①离散马尔可夫信源的定义；
《信息论与编码》复习
《信息论与编码》复习
第一章
通信系统的模型、主要性能指标
第二章
1、自信息、联合自信息、条件自信息的求解； 2、自信息的物理含义； 3、互信息求解、物理含义、性质； 4、条件互信息求解； 5、信息熵、条件殇、联合熵的计算； 6、信息熵的物理含义； 7、平均互信息的计算，与各熵的关系； 注：这章几基本概念较多，同学们要注意理解
例 2：居住某地区的女孩中有 25％是大学生，在女大学生中有 75％ 身高为 1.6m 以上，而女孩中身高 1.6m 以上的占总数一半。假如得知 “身高 1.6m 以上的某女孩是大学生”的消息，问获得多少信息量？ 解：P（女大学生）＝1/4；
P（身高>1.6m / 女大学生）=3/4； P（身高>1.6m）＝1/2； P（女大学生/身高>1.6m）＝P（身高>1.6m、女大学生）/P（身高>1.6m） ＝3/4*1/4*2＝3/8； I＝log2（8/3）＝1.4150bit。
H(i+j)=H(1/36 2/36 3/36 4/36 5/36 6/36 5/36 4/36 3/36 2/36 1/36)
=3.2744bit/事件。
3/7
《信息论与编码》复习
（5）P（1、1or1、j or i、 1）＝1/36+5/36+5/36＝11/36。 I＝ log2（36/11）＝1.7105bit/事件
������=1
（2）H（S）=2.61（比特/信源符号）