信息论与编码基础知识点

信息论与编码基础知识点

1．当代文明的三大科学支柱

2．信息论发展的过程

3．研究信息论的目的

4．信息理论中度量信息的基本观点

5．衡量通信系统的性能指标，对应编码是哪些？

6．信源符号自信息量的含义与计算

7．信源符号间互信息量与平均互信息量的三个含义

8．信源熵的三种物理含义。离散信源的联合熵、条件熵、平均互信息量的含义及相互之间的关系。

10．信源的平稳性和无记忆性的含义

11．离散无记忆信源的信源熵、N次扩展的信源熵计算。N 阶马尔科夫信源的定义

13．低阶马尔科夫信源的状态转移图、各状态的稳态分布概率(状态极限概率)、极限熵H∞=H n+1

14．信道容量的含义

15．常见信道（无噪信道、强对称、对称、准对称）容量的计算，达到信道容量时对应信源的概率分布情况。16．香浓编码、费诺编码、哈夫曼编码方法及步骤，其编码效率的计算

17．信息率失真函数的含义

18．D max的含义

19．二、三元离散信源的R max R min D min、D max计算，及信息率失真函数R(D)的计算

20．在信道编码中检错与纠错的含意是什么？

21．线性分组码生成矩阵与系统码生成矩阵之间的关系，系统码生成矩阵与一致校验码矩阵之间的关系，码字的生成，编码效率及最小距离的计算。

22．X n+1循环码的生成多项式g(x)与一致校验多项式h(x)的关系，对应生成矩阵和一致校验矩阵的生成，将消息利用生成矩阵生成循环码

理解相关基本概念（定理、性质）多练习课后习题（作业和讲解）