信息论与编码 第一章绪论

信息论与编码
Information Theory and Coding Techniques 主讲：陈金兰
课程介绍

课程类别： 学科方向课 开课对象/学期 电子信息工程专业 本科生/第5学期 学分/学时： 考 3/54

核：平时成绩30％（作业、考勤） 期末考试70％（闭卷）
课程介绍
教材：
课程位置

基础课程


概率论 数理统计
通信原理 数字通信 数字图像处理

后续课程：

课程目标
掌握基本的信息论概念，而且要求能够和日常
生活和学习结合起来，做到活学活用。
掌握信息论基本理论和理想通信系统基本理论，
能够熟练解题，掌握建立数学模型和分析数学
模型的方法，
掌握信源编码的原理和方法，要求能够基本上
Recent progress in FECs for optical communication systems.
香农对信息的定义
信息：是对事物运动状态和变化方式的表征，它
存在于任何事物之中，可以被认识主体（人或机 器）获取和利用。 全信息：同时考虑外在形式/语法信息、内在含义/ 语义信息、效用价值/语用信息，称为全信息。
香农和维纳理论的区别
香农理论：香农研究的对象是从信源到信宿之 间的全过程，是收、发端联合最优化问题，其重 点是放在编码。他指出，只要在传输前后对消息进行适
当的编码和译码，就能保证在干扰的存在下，最佳地传送 和准确或近似地再现消息。为此发展了信息测度理论、信 道容量理论和编码理论。
维纳理论：维纳研究的重点是在接收端。研究 一个信号如果在传输过程中被某些因素（如噪声、 非线性失真等）所干扰时，在接收端怎样把它恢 复、再现，从干扰中提取出来。在此基础上，创立
Shannon信息论的基本任务
1948年shannon发表了“通信的数学理
论”奠定了信息论理论基础 基本任务是设计有效而可靠的通信系统
可靠是要使信源发出的消息经过传输后，尽
可能准确地、不失真地再现在接收端
有效是用尽可能短的时间和尽可能少的设备
来传输一定信息量的消息 安全性
信息论的研究内容
它们之间有着密切联系但不等同 ，信息的含义更深刻、广泛
3. 信息的三个基本层次
• 语法（syntactic）信息：事物运动的状态和
1.1 信息论发展简史
我国古代“烽火告警”是一种最早的快速、远距离 传递信息的方式； 造纸术和印刷术的发明，使信息的表示和存储 方式产生了一次重大的变化； 电报、电话、电视的发明，再次引导了信息加 工和传输的革命；
麦克斯韦
贝尔
20世纪后半叶，计算机技术、微电子技术、传感技术、
激光技术、卫星通信技术、移动通信技术、航空航天技术、
第一章
绪论
本章节教学内容、基本要求、重点与难点 1. 教学内容： 信息的一般概念。 信息的分类。 信息论的起源、发展及研究内容。 通信系统的模型 2. 教学基本要求： 了解信息的概念 、度量。 了解学习信息论的重要性、意义。 掌握通信系统中信息传输的模型。 3. 重点与难点： 信息度量的概念。 通信系统中的信息传输模型。
广播电视技术、多媒体技术、网络技术、新能源和新材料 等新技术的应用，将人类社会推入到高度信息化的时代。
信息是否重要？
一位美国科学家在诗中这样描述：
没有物质的世界是虚无的世界，
没有能源的世界是死寂的世界，没有信 息的世界是混乱的世界。 可见信息的重要性。
信息论研究的对象和目的
研究对象：信息论是一门应用概率论、随机过程、数理 统计和代数的方法，来研究广义的信息传输、提取和处理 系统中一般规律的工程学科。
研究目的：提高信息系统的可靠性、有效性和安全性以 便达到系统最优化。
1.1 信息的概念
信息是信息论中最基本、最重要的概念，既抽象又
复杂
信息在日常生活中被认为是“消息”、“知识”、 “信息”不同于消息（在现代信息论形成之前，信息一直 “情报”等 被看作是通信中消息的同义词，没有严格的数学含义）， 消息是表现形式，信息是实质； “信息”不同于情报，情报的含义比“信息”窄的多， 一般只限于特殊的领域，是一类特殊的信息； 信息不同于信号，信号是承载消息的物理量； 信息不同于知识，知识是人们根据某种目的,从自然界收 集得来的数据中整理、概括、提取得到的有价值的信息， 是一种高层次的信息。
实现应用。
掌握信道编码的基本方法，并能够从信息论的
角度加以理解。
学习方法
本课程只有理论介绍，显得枯燥、繁杂，不 易理解，且“概率与数理统计”知识要求较高， 学起来有一定难度。但只要理顺课程思路，尽 快进入角色，并加以举一反三的理解，相信大 家能学好该课程，切忌望而生畏。 为便于理解与掌握，适当的练习必不可少， 对布置的作业最好按时独立地完成。
信息论发展简史
1832年莫尔斯电码对shannon编码理论的启发
1885年凯尔文研究了一条电缆的极限传信速率
1922年卡逊对调幅信号的频谱结构进行研究 1924年奈奎斯特证明了信号传输速率和带宽成正
比 1928年Hartley提出信息量定义为可能消息量的 对数 1939年Dudley发明声码器 1940维纳将随机过程和数理统计引入通信与控制 系统
目 录
第1章
第2章
第3章
第4章
第5章 第6章 第7章*
绪论 信源及信息熵 信道与信道容量 信息率失真函数 信源编码 信道编码 加密编码
课程基本内容 一. 信息论 信息论的发展以及通信系统的模型 离散信源熵，互信息以及冗余度 二. 信源编码 定长编码，变长编码以及最佳编码 离散信源的信息率失真函数R(D) 限失真信源编码定理以及常用信源编码方法 三. 信道编码 信道模型和容量 线性分组码 卷积码
课程内容
本课程包括信息论基础和编码两大部分。 首先立足于概率论和随机过程的知识，通过各 种随机变量的概率空间，给出了信息的统计模 型，介绍了信息的统计度量。 以香农信息论为基础，香农三大定理及香农 公式为重点，从“单符号离散系统—多符号离 散系统”介绍了离散信源和信道的信息理论， 然后，推广到连续系统。 重点讲授信息的概念，信息的度量和计算等 一些基本问题。还学习几种常用的信源编码方 法和纠错编码方法。

香农信息论的深化研究方向
举例：
我们可以这样来理解：
数据——数据链路层的概念——讲究在介质 上传输的信息的准确性。 信息——应用层的概念——你要表达的意思。 信号——物理层的概念——电平的高低，线 路的通断等。
［举例子］：你在打电话，电话线要有【信号】，交换机交
换语音【数据】，而你和接电话的人交换的是【信息】。
课程性质
随着科学技术的不断发展，信息的概念逐渐深化，
其应用领域也不断扩展，并与现代通信、计算机科学、 现代管理、系统工程等学科紧密结合，广泛地应用于 我们的日常生活中。本课程旨在通过对通信系统中信 息理论的介绍，使大家更深入地了解信息的概念和本 质，并掌握一些基本的信息理论知识和常用的编解码 的方法。
信息论发展简史
1950年汉明码，1960年卷积码的概率译码，
Viterbi译码，1982年Ungerboeck编码调 制技术(TCM)，1993年Turbo编译码技术 1959年，Shannon提出率失真函数和率失 真信源编码定理 1961年，Shannon的“双路通信信道”开拓 了网络信息论的研究，目前是非常活跃的研 究领域。
狭义信息论体系结构 Shannon信息论
压缩理论 无失真编码 等长编码 定理 Shannon 1948 McMillan 1953 变长编码 定理 Shannon 1948 McMillan 1956 有失真编码 率失真理论 Shannon Gallager Berger
传输理论
信道编码定理 网络信息理论
▲金像奖获奖感言、前天的“新闻”
总结
a)消息是信息的携带者，信息包
含于消息中。 b)消息不一定含有信息。
c)信号是消息的载体，消息是信
号omes your footer Page 34
消息：用文字等能够被人们感觉器官所感知的形式， 把客观物质运动和主观思维活动的状态表达出来。 知识：一种具有普遍和概括性质的高层次的信息 ， 以实践为基础，通过抽象思维，对客观事物规律性的 概括。 情报：是人们对于某个特定对象所见、所闻、所理解 而产生的知识 。
信息论发展简史
1948年shannon信息论奠基
1952年Fano证明了Fano不等式，给出了
shannon信道编码逆定理的证明 1957，Wolfowitz，1961 Fano， 1968Gallager给出信道编码定理的简介证 明并描述了码率，码长和错误概率的关系， 1974年Bahl发明了分组码的迭代算法 （BCRJ） 1956McMillan证明了Kraft不等式。1952 年Fano码，Huffman码。1976 Rissanen算 术编码，1977，78 Ziv和Lempel的LZ算法
曹雪虹、张宗橙编著，《信息论与编码》（第二版），清华 大学出版社
参考书：
1.陈运、周亮等，《信息论与编码》，电子工业出版社
2.傅祖芸，《信息论—基础理论与应用》，电子工业出版社
3.方军、俞槐栓，《信息论与编码》，电子工业出版社 4.吴伯修、祝宗泰、钱霖君，《信息论与编码》，东南大学 出版社 5.姜丹，《信息论与编码》，中国科学技术大学出版社
狭义信息论（ shannon经典信息论） 研究信息测度，信道容量以及信源和信道编 码理论 一般信息论 研究信息传输和处理问题，除经典信息论外 还包括噪声理论，信号滤波和预测，统计检 测和估值理论，调制理论，信息处理理论和 保密理论 广义信息论 除上述内容外，还包括自然和社会领域有关 信息的内容，如模式识别，计算机翻译，心 理学，遗传学，神经生理学