复习提纲

第一章概述

提纲：

I.什么是信息

II.什么是信息论

需掌握的问题：

1.信息的定义是什么（有通俗定义、广义定义、Shannon信息论定义）

2.它们三个定义的区别

3.什么是信息论，它研究范围的是什么

4.狭义信息论的研究内容

5.画出通信系统模型图，并说明每一部分的作用。

第二、三章信源熵

提纲：

I.信源的数学模型及分类

II.自信息量

III.互信息量

IV.熵

1.定义

2.含义

3.联合熵、条件熵

4.性质（9个）

V.平均互信息

1.定义

2.含义

3.联合平均互信息、条件平均互信息

4.性质（6个）

VI.离散信源的数学模型及分类

1.随机过程介绍

2.数学模型

3.分类

VII.无记忆多符号离散平稳信源

VIII.马尔可夫信源

1.m阶马尔可夫信源

2.含义

IX.信源相关性和冗余度

1.信源冗余度

2.熵的相对率

需掌握的问题：

1.信源的数学模型是什么

2.信源如何分类，不同信源类别的区别是什么

3.不同类别信源的数学描述是什么

4.自信息量的大小如何计算（公式）

5.自信息量公式中对数的底数不同单位分别是什么（单位的中英文名称）

6.自信息量的含义是什么（它是对什么量的度量）

7.联合自信息量、条件自信息量、自信息量之间的关系是什么

8.自信息的性质是什么说明各个性质的含义。

9.互信息量的大小如何计算（公式）

10.互信息量的含义是什么互信息量在通信系统模型中描述哪部分的信息量

11.联合互信息量、条件互信息量、互信息量之间的关系是什么

12.互信息的性质是什么

13.熵的表达式是什么怎么推导的

14.熵的单位是什么

15.熵的含义是什么

16.单符号离散信源最大熵是多少信源概率如何分布时能达到

17.熵的性质是什么（能够证明，并说明每个性质的含义）

18.联合熵、条件熵和熵的关系。

19.平均互信息的定义是什么平均互信息的表达式怎么推导

20.信道疑义度、损失熵和噪声熵的含义

21.平均互信息的性质（能够证明，并说明每个性质的含义）

22.联合平均互信息、条件平均互信息和平均互信息的关系

23.自信息量、熵、互信息、平均互信息之间的关系

24.离散信源的数学模型如何描述

25.离散信源如何分类

26.无记忆多符号离散平稳信源的熵如何计算

27.有记忆多符号离散平稳信源的平均符号熵、极限熵、条件熵的关系和性质。

28.信源冗余度如何计算

29.提高通信效率的手段

第四章信道容量

提纲：

I.信道的数学模型及分类

1.信道的定义

2.分类

3.数学模型

II.单符号离散信道的信道容量

1.信道容量的定义

2.几种特殊离散信道的信道容量

a.无干扰信道

a1. 无噪无损信道

a2. 有噪无损信道

a3. 无噪有损信道

b.有干扰信道

b2. 对称信道

b3. 准对称信道

需掌握的问题：

1.信道的定义是什么

2.信道如何分类，各种类别的名称以及它们之间的区别

3.信道的数学模型是什么

4.二元对称信道和二元删除信道的信道转移矩阵是什么

5.信道容量的定义是什么信道容量的含义如何理解

6.能够计算无噪无损信道、有噪无损信道、无噪有损信道的信道容量。

7.对称信道的定义是什么

8.对称信道、准对称信道的信道转移矩阵有什么特点

9.能够计算对称信道容量。

10.分三种情况计算多符号离散信道的信道容量：a.信源无记忆 b.信道无记忆 c.

信源、信道都无记忆。

第五章信源编码

提纲：

I.基本概念

1.编码器

2.二元码

3.等长码

4.变长码

5.奇异码

6.非奇异码

7.码的N次扩展码

8.唯一可译码

II.无失真信源编码定理

III.编码方法

1.Shannon码

2.Fano码

3.Huffman码

需掌握的问题：

1.通信系统的三个性能指标是什么为了提高这三个性能指标的三种编码分别是

什么

2.香农信息论中的三个编码定理分别是什么三个编码定理分别适用于何种场合

3.描述编码器的概念。

4.解释二元码、等长码、变长码、奇异码、非奇异码、同价码、码的N次扩展

码、唯一可译码。

5.变长码和定长码的区别是什么用码树描述二者的差异，能够说明变长码和定

长码各自的优劣。

6.Kraft不等式是什么

7.如何判断唯一可译码

8.描述无失真信源编码定理。

9.如何从无失真信源编码定理推出无噪信道编码定理

10.掌握Shannon码、Fano码、Huffman码的编码方法，并会计算编码效率。

11.Shannon码、Fano码、Huffman码的编码效率达到100%的条件是什么

第六章有噪信道编码

提纲：

I.错误概率

II.译码规则

1.最大后验概率准则

2.极大似然译码准则

III.Fano不等式

IV.简单重复编码

V.汉明距离

VI.有噪信道编码定理

需掌握的问题：

1.信道编码模型是什么

2.离散信道中的一般概率关系

3.错误概率怎样描述与计算

4.译码规则有哪些怎样选用译码规则

5.学会利用最大后验概率准则和极大似然译码准则进行译码。

6.Fano不等式说明的是哪些量之间的关系

7.简单重复编码过程是怎样的

8.汉明距离概念怎样利用汉明距离解释译码过程

9.有噪信道编码定理及其逆定理。

第七章限失真信源编码

提纲：

I.失真度

II.平均失真度

III.信息率失真函数

IV.信息率失真函数的性质

1.定义域D min, D max

2.R(D)是D的下凹函数

3.R(D)是D的单调连续递减函数

V.离散信源的信息率失真函数

1.参量表达式

2.二元及等概离散信源

VI.保真度准则下的信源编码定理

需掌握的问题：

1.香农在什么论文中提出信息率失真函数的概念

2.失真度如何表示

3.平均失真度如何计算

4.汉明失真度和平方误差失真度的形式分别是什么

5.信息率失真函数的定义是什么

6.什么是保真度准则

7.什么是实验信道

8.信息率失真函数和信道容量的区别和联系是什么

9.能够绘制率失真函数曲线。

10.描述保真度准则下的信源编码定理。