信息论与编码理论基础

信息论基础
13:46
1
教材
王育民、李晖， 信息论与编码理论 （第2版）， 高等教育出版社， 2013.
13:46
2
参考书
Thomas M. Cover, Joy A. Thomas, Elements of Information Theory，2nd ed, WILEY Press, 2006. 阮吉寿 张华 译 信息论基础，机械工业出版社，2007.
13:46
13
13:46
14
第一章：引论（简介）
一、通信系统模型 二、Shannon信息论的中心问题 三、Shannon信息的概念 四、概率复习内容
13:46
15
一、通信系统模型
信源、信道、信宿 信源是消息的来源， 信道是消息传送媒介， 信宿是消息的目的地。
13:46
6
信息的度量
信息可以被感知，但是不是所有的信息 都可以定量计数，因此，我们要区分信 息和信息量 。
从数学上来说，关于信息量的定义，大 概有100多种。
如果将信息提升到科学进行研究，必须 要对信息进行定量，给出信息的科学测 度，但是这并不是一件很容易的事情。
13:46
7
信息与信息量
作为一个严谨的科学术语，信息的定义却不存在一个统一的观点，这是由它的极端 复杂性决定的。信息的表现形式数不胜数：声音、图片、温度、体积、颜色……信 息的分类也不计其数：电子信息、财经信息、天气信息、生物信息……。
在热力学中，信息是指任何会影响系统的热力学状态的事件。
信息可以减少不确定性。事件的不确定性是以其发生机率来量测，发生机率越高，不 确定性越低，事件的不确定性越高，越需要额外的信息减少其不确定性。 例如投掷一个公正的硬币，其信息为-log2(1/2) = 1 bit，投掷两个公正的硬币，其信 息为-log2(1/4) = 2 bits。
沈世镒 等，信息论与编码理论，科学出版社，2010.
姜丹，信息论与编码，中国科学技术大学出版社，2008. 傅祖芸, 信息论—基础理论与应用，电子工业出版社，2001.
傅祖芸，信息论与编码学习辅导及习题详解，电子工业出 版社，2004.
13:46
3
信息是什么？
Wiener(维纳) ：“信息既不是物质，也 不是能量，信息就是信息”。
“你问我对你的爱有多深，我爱你有几分，你去想一 想，你去看一看，月亮代表我的心。”我们还不能确 切地给出“这份爱”有多少“比特”，“那份爱”比 “这份爱”又多多少“比特”。对于美学信息也是如 此。
13:46
10
信息多少的量度。
1928年R.V.L.哈特莱首先提出信息定量化的初步设想，他将消息数的对数定 义为信息量。
还如信息的量子属性，引出了量子信息和量子 信息论。
13:46
8
信息与信息量
信息的复杂性引出了信息的复杂度和复杂度的 信息理论，信息的感知属性引出了感知信息和 感知信息理论，信息的美学属性引出美学信息 和美学信息理论等等。
现在有五花八门的信息理论，已经提出了各式 各样的信息理论，而且得到了众多不同的结果， 都宣称取得了成功。动态信息论、定性信息论、 经济信息论、算法信息论、模糊信息论、量子 信息论等等，还有信息生态学、信息代数、信 息几何等，信息物理学、信息生物学等。
13:46
12
信息与信息量
1948年发表的《通信的数学理论》文章，这是 一篇20世纪少有的几篇对科学和工程，乃至对 人类社会发展产生了重要影响著作，是可与牛 顿力学相媲美的不朽之作，也是他最重要的科 学贡献。
这使他成为信息论之父，时年仅32岁。作为数 学家，他为数学开辟了一个工程应用的新领域。 这篇文章虽然在1947年完成，但至今仍然闪烁 着智慧的光芒，它将照耀人类今后的数个世纪。
物质和能量是客观存在的、有形的，信 息是抽象的、无形的。物质和能量是系 统的“躯体”，信息则系统的“灵魂”。
信息要借助于物质和能量才能产生、传 输、存储、处理和感知；物质和能量要 借助于信息来表述和控制。
13:46
4
13:46
5
信息（英语：Information），是一个高度概括抽象概念，很难用统一的文字对其进 行定义[1]，这是由于其具体表现形式的多样性造成的。信息是一个发展中的动态范 畴，它随人类社会的演变而相应的扩大或收缩，总的来看从过去到现在信息所涵盖 的范围是不断扩大的，可以断定随人类社会的发展信息范畴将进一步扩大。
后，尽可能多的解除接收者对信源所存在的疑义（不定度），因此这个被解除
的不定度实际上就是在通信中所要传送的信息量。
13:46
11
信息与信息量
由于客观信息的多样性，要想给出一个能够包 罗万象的统一定义，在此基础上建立起一套信 息理论几乎是不大可能的。
香浓(Shannon)信息论： 1948年发表《通信的 数学理论》，创建了信息论，建立了通信系统 的模型，用概率和统计观点描述信息，包括信 源、信道、干扰等，给出了不确定的信息量度， 指出了客观有效、可靠的信息通信之路，宣告 了一门学科信息论的诞生，成为通信领域技术 革命的思想或者理论基础。
13:பைடு நூலகம்6
9
信息与信息量
信息量度定义的困难性，在众多信息中，只有少数的 信息有了量，大多数的信息是可以感知的，但是无法 度量，因为没有找到合适的信息量的定义，就建不起 来一套理论。
比如说对情感信息中的喜怒哀乐，都可以感知，但是 我们很难度量它们，只能用一些比较模糊的形容词， 描述不同程度的感情。
信息是多样的，客观事物是多种多样的、五花 八门的，事物的状态和变化是多姿多彩、变幻 无穷的，属性不同就出现了不同的信息，需要 给出不同的信息定义，从而可创建不同的信息 理论。
比如说信息的不确定性，引出了概率信息，这 是我们讲的最多的。
再如信息的模糊性，引出了模糊信息和模糊信 息论，这个在70年代末提出来的。
若信源有m种消息，且每个消息是以相等可能产生的，则该信源的信息量可表 示为I=logm。
但对信息量作深入而系统研究，还是从1948年C.E.仙农的奠基性工作开始的。
在信息论中，认为信源输出的消息是随机的。即在未收到消息之前，是不能肯
定信源到底发送什么样的消息。而通信的目的也就是要使接收者在接收到消息