信息论教学大纲

《信息技术基础》教学大纲

一、课程的性质和目的

当前信息产业发展很快，需要大量从事信息、通信、电子工程类专业的人才，本课程正是这类专业的基础课程，信息与计算科学专业（信息安全方向）的专业课程。通过对本课程的学习，使学生能掌握有关信息论的基本理论以及编码的理论和实现原理。重点讨论了信源的熵、熵的性质和无失真信源编码理论、限失真信源编码理论以及各种常用的信源编码方法，讨论了信道编码理论以及各种常用的信道编码方法。而且针对信息安全的具体问题，研究了信息论的应用，信息论与安全理论的关系。本课程为以后开设的专业课程打下了坚实的基础，也为学生更好的理解信息安全理论奠定了基础。

二、课程教学内容及学时分配

1.绪论(2学时)

本章要求了解信息论的形成和发展，了解信息，信号，消息的区别和联系；掌握通信系统的模型。

本章的主要内容为：信息论的形成和发展，信息、信号、消息的区别，香农信息的定义，通信系统的模型。

2.离散信源及其信息测度(10学时)

本章要求掌握信源的数学模型，了解信源的分类；掌握离散信源熵，了解信息熵的基本性质；掌握离散序列信源及马尔可夫信源信息熵的求法。

本章的主要内容为：信源的数学模型及分类，离散信源熵及其性质，离散序列信源的熵，离散平稳信信源的极限熵，马尔可夫信源，信源剩余度。

3.离散信道及其信道容量(10学时)

本章要求掌握信道的数学模型，了解信道的分类；掌握平均互信息的定义，了解平均互信息的特性；了解离散信道信道容量的一般计算方法，会计算对称离散信道的信道容量；理解数据处理定理以及信源与信道匹配的意义。

本章的主要内容为：信道的数学模型及其分类，平均互信息及其特性，信道容量及其一般计算方法，数据处理定理，信源和信道的匹配。

4.无失真信源编码(8学时)

本章要求了解码的分类方法如：定长码和变长码，奇异码和非奇异码，即时码和非即时码等；理解定长编码定理和变长编码定理；了解几种编码方法：香农编码方法、费诺编码方法、MH编码及算术编码；掌握哈夫曼编码方法；会确定编码效率。

本章的主要内容为：编码器，码的分类方法如：定长码和变长码，奇异码和非奇异码，即时码和非即时码等，定长编码定理，变长编码定理，最佳编码方法：香农编码方法，费诺编码方法，哈夫曼编码方法。

5.有噪信道编码(6学时)

本章要求了解几种译码规则；理解有噪信道的编码定理及联合信源信道编码定理；掌握汉明码的编译码方法；了解其他线性分组码的概念。

本章的主要内容为：错误概率及译码规则，有噪信道编码定理，联合信源信道编码定理，纠错码的基本思想和汉明码，线性分组码、卷积码、网格编码调制与级联码简介。

6.波形信源和波形信道(6学时)

本章要求掌握不同条件下连续信源的最大熵定理；了解连续信道和波形信道的分类；掌握香农公式及其意义；理解连续信道编码定理；了解香农定理在移动通信中的应用。

本章的主要内容为：连续信源的差熵，具有最大熵的连续信源，连续信道和波形信道的分类，高斯白噪声加性波形信道的信道容量，连续信道编码定理。

7.限失真信源编码(6学时)

本章要求理解平均失真和信息率失真函数的定义、R(D)的定义域和单调性等性质；理解限失真信源编码定理及其实用意义；了解JPEG等数据压缩标准等限失真信源编码的应用。

本章的主要内容为：平均失真和信息率失真函数，R(D)的定义域和单调性等性质，限失真信源编码定理，常用的信源编码方法简介，游程编码。

8.信息论的应用(6学时)

本章要求了解传统加密算法和公开秘钥加密算法原理；掌握RSA算法；了解AES及其应用，了解信息安全新技术。

本章的主要内容为：保密学应用：传统加密算法和公开秘钥加密算法如DES，RSA，AES等。

三、课程教学的基本要求

本课程是信息与计算科学专业（信息安全方向）的专业课程，理论性较强，是本专业的理论基础课程。在教学方法上，采用课堂讲授，课后自学，课堂讨论等教学形式。

(一)课堂讲授

本课程属基础理论课程，涉及到较多的数学知识，在讲述的过程中教师应尽量联系生产生活实际，注重物理意义，不要陷入到繁复的数学推导之中。在教学中要求同学重点掌握信源、信道、信源编码、信道编码的基本概念、基本方法，要着重培养学生定性分析、定量估算和动手上机实验的能力，在学习理论知识和计算的基础上，更多的讲解课本上没有涉及的工程背景及工程应用，以培养学生的兴趣。在课程内容方面既要保持理论的系统性，又要注意联系工程实际，并且重视信息论与现代通信系统尤其是信息安全相结合的问题及应用，培养学生理论联系实际的能力。

（二）课后自学

为了培养学生整理归纳，综合分析和处理问题的能力，每章都安排一部分内容，课上教师只给出自学提纲，不作详细讲解，课后学生自学。

（三）课堂讨论

课堂讨论的目的是活跃学习气氛，开拓思路，提高学生的创新能力和团队协作精神。教师应认真组织，安排重点发言，充分调动每一名同学的学习积极性，做好总结。

（四）习题课

习题课以典型例题分析为主，并适当安排开阔思路及综合性的练习及讨论。

（五）课外作业和期中考试

课外作业的内容选择基于对基本理论的理解和巩固，培养综合计算和分析、判断能力以及使用计算工具的能力。习题以计算性小题为主，平均每学时１-２道题。另外，针对具体的与信息安全直接相关的信道编码及密码学问题，安排学生上机实验，并交作业。

期中考试安排学生自己分组做PPT并选代表讲解，旨在提高学生的自学能力和口头表达能力；并让学生写出自己的学习心得，可以查找网络资源，旨在培养学生的兴趣以及提高他们的知识面；练习几个与实际结合紧密的作业题，旨在让学生理论联系实际，培养他们的思维能力。

（六）考试

考试可采用开卷形式。闭卷部分的试题包括基本概念，基本理论和计算，题型可采用填空，简答，计算等方式。

总评成绩：课外作业和期中考试占30%；期末闭卷考试占60%。

四、本课程与其它课程的联系与分工

先修课程：线性代数，概率论与数理统计，数学分析。信息论基础可以加深学生对这些先修课程的理解和应用，让学生清楚的知道数学基础课的用途，通过这门课，加深对信息安全理论的理解。

五、建议教材与教学参考书

［1］《信息论—基础理论与应用》傅祖芸主编，电子工业出版社

［2］《信息论及其应用》仇佩亮编著，浙江大学出版社

［3］《信息论与编码》仇佩亮编著，高等教育出版社

［4］《信息论与编码》曹雪虹张宗橙编著，清华大学出版社

［5］《信息论基础》（美）科弗（美）托马斯阮吉寿等，机械工业出版社