信息论

例如： (p22)计算只输出“0， 1”的二元熵函数的信息熵。二元熵函数的曲线图见p23. 解: 数学模型： X P (x) 则 H (X ) = −p log p − (1 − p) log(1 − p) = H (p) 而 H (p) = log 1−p p = 0 1
p 1−p
可以证明， p= 1 时， H (p)为最大值。当p = 0时， 因为 2 lim p log p = lim log p
Example 0.6 同时掷两粒色子，设各个点数出现的概率相等，用随机变量Y 表示两粒色子面上的点数之 和时，有 Y P (y ) = 2
1 36
3
2 36
4
3 36
5
4 36
6
5 36
7
6 36
Example 0.3 播音员使用单词总数为10000个。一个播音员播出1000个单词的熵为 H (X ) = log 100001000 ≈ 1.3 × 104
Example 0.4 掷一个均匀硬币直到出现“正面”为止。令X 表示所需的次数
∞
H (X ) =
n=1
1 log 2n = 2n
∞
n
n=1
1 1 2 = 1 2 = 2 2n (1 − 2 )
Example 0.5 掷一粒色子，各个点数出现的概率相等，即 X P (x) 则熵为
6
=
1
1 6
2
1 6
3
1 6
4
1 6
5
1 6
6
1 6
H ( 6
当掷出色子，得知点数为2时，这时概率分布为 X P (x ) 则熵变为 H (X ) = 0 在此过程中，试验者获得的信息量为 H (X ) − H (X ) = log 6 = 1 2 3 4 5 6 0 1 0 0 0 0
信息论展简史和现状
一、 信息论是在长期的通信工程实践和理论研究的基础上发展起来的。 信息论从诞生到今天，已有五十多年历史，现已成为一门独立的理论科学，回顾它的发展历史，我们 可以知道理论是如何从实践中经过抽象、概括、提高而逐步形成的。信息论是在长期的通信工程实践和理 论研究的基础上发展起来的。通信系统是人类社会的神经系统，即使在原始社会也存在着最简单的通信工 具和通信系统， 这方面的社会实践是悠久漫长的。电的通信系统(电信系统)已有100多年的历史了。在一百 余年的发展过程中，一个很有意义的历史事实是：当物理学中的电磁理论以及后来的电子学理论一旦有某 些进展，很快就会促进电信系统的创造发明或改进。这是因为通信系统对人类社会的发展，其关系实在是 太密切了。日常生活、 工农业生产、 科学研究以及战争等等， 一切都离不开消息传递和信息流动。 建立起电报系统(1832―1835)。 1876年， 贝尔(A． G． BELL)又发明了电话系统。 1864年麦克斯韦(Maxell)预 言了电磁波的存在， 1888年赫兹(H． Hertz)用实验证明了这一预言。 接着1895年英国的马可尼(G.Marconi)和 俄国的波波夫(A．C．ΠoΠoB)就发明了无线电通信。 本世纪初(1907年)，根据电子运动的规律，福雷斯特(1，Forest)发明了能把电磁波进行放大的电子 管。之后很快出现了远距离无线电通信系统。大功率超高频电子管发明以后，电视系统就建立起来 了(1925―1927)。电子在电磁场运动过程中能量相互交换的规律被人们认识后， 就出现了微波电子管(最初 是磁控管，后来是速调管、行波管)，接着，在三十年代末和四十年代初的二次世界大战初期，微波通信系 统、微波雷达系统等就迅速发展起来。五十年代后期发明了量子放大器，六十年代初发明的激光技术，使 人类进入了光纤通信的时代。 二、 随着工程技术的发展， 有关理论问题的研究也逐步深入。 1832年 莫 尔 斯 电 报 系 统 中 高 效 率 编 码 方 法 对 后 来 香 农 的 编 码 理 论 是 有 启 发 的。 1885年 凯 尔 文(L.Kelvin)曾经研究过一条电缆的极限传信率问题。1922年卡逊(J．R．Carson)对调幅信号的频谱 结构进行了研究，并建立了信号频谱概念。1924年奈奎斯特(H．Nyquist)指出，如果以一个确定的速度来 传输电报信号，就需要一定的带宽。他把信息率与带宽联系起来了。1928年哈特莱(R．V．Hartley)发展了 奈奎斯特的工作， 并提出把消息考虑为代码或单语的序列。他的工作对后来香农的思想是有影响的。 1936年阿姆斯特朗(E．H．Armstrong)认识到在传输过程中增加带宽的办法对抑制噪声干扰肯定有好 处。根据这一思想他提出了宽偏移的频率调制方法， 该方法是有划时代意义的。 信息论作为一门严密的科学分支，主要归功于贝尔实验室的香农。他在1948年发表的论文 《通信的数 学理论》 奠定了信息论的基础。控制论的创始人维纳也对信息论有不可忽视的贡献。香农和维纳的基本思 想都是把通信作为统计过程来处理。他们采用的术语、 方法也主要依靠统计理论。 信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压 缩是信息论研究中的两大领域。这两个方面又由信息传输定理、 信源－信道隔离定理相互联系。 信息论的研究范围极为广阔。一般把信息论分成三种不同类型： (1)狭义信息论是一门应用数理统计方 法来研究信息处理和信息传递的科学。它研究存在于通讯和控制系统中普遍存在着的信息传递的共同规 律，以及如何提高各信息传输系统的有效性和可靠性的一门通讯理论。(2)一般信息论主要是研究通讯问 题，但还包括噪声理论、信号滤波与预测、调制与信息处理等问题。(3)广义信息论不仅包括狭义信息论和
例如， 当法拉第(M． Faraday)于1820年–1830年期间发现电磁感应的基本规律后， 不久莫尔斯(F． B． Morse)就
一般信息论的问题， 而且还包括所有与信息有关的领域， 如心理学、 语言学、 神经心理学、 语义学等。信息 就是一种消息，它与通讯问题密切相关。1984年贝尔研究所的申农在题为 《通讯的数学理论》 的论文中系 统地提出了关于信息的论述，创立了信息论。维纳提出的关于度量信息量的数学公式开辟了信息论的广泛 应用前景。1951年美国无线电工程学会承认信息论这门学科，此后得到迅速发展。20世纪50年代是信息论 向各门学科冲击的时期，60年代信息论不是重大的创新时期，而是一个消化、理解的时期，是在已有的基 础上进行重大建设的时期。研究重点是信息和信源编码问题。到70年代，由于数字计算机的广泛应用，通 讯系统的能力也有很大提高，如何更有效地利用和处理信息，成为日益迫切的问题。人们越来越认识到信 息的重要性，认识到信息可以作为与材料和能源一样的资源而加以充分利用和共享。信息的概念和方法已 广泛渗透到各个科学领域，它迫切要求突破申农信息论的狭隘范围，以便使它能成为人类各种活动中所碰 到的信息问题的基础理论，从而推动其他许多新兴学科进一步发展。目前，人们已把早先建立的有关信息 的规律与理论广泛应用于物理学、 化学、 生物学等学科中去。一门研究信息的产生、 获取、 变换、 传输、 存 储、处理、显示、识别和利用的信息科学正在形成。信息科学是人们在对信息的认识与利用不断扩大的过 程中， 在信息论、 电子学、 计算机科学、 人工智能、 系统工程学、 自动化技术等多学科基础上发展起来的一 门边缘性新学科。 它的任务主要是研究信息的性质， 研究机器、 生物和人类关于各种信息的获取、 变换、 传 输、处理、利用和控制的一般规律，设计和研制各种信息机器和控制设备，实现操作自动化，以便尽可能 地把人脑从自然力的束缚下解放出来，提高人类认识世界和改造世界的能力。信息科学在安全问题的研究 中也有着重要应用。香农被称为是“信息论之父” 。人们通常将香农于1948年10月发表于 《贝尔系统技术学 报》 上的论文 《A Mathematical Theory of Communication》 （通信的数学理论）作为现代信息论研究的开 端。这一文章部分基于哈里・奈奎斯特和拉尔夫・哈特利先前的成果。信息论在电信方面很重要。应用非 常广泛
如果两个系统具有同样大的消息量， 如一篇用不同文字写的同一文章， 由于是所有元素消息量的加和， 那么中文文章应用的汉字就比英文文章使用的字母要少。所以汉字印刷的文章要比其他应用总体数量少的 字母印刷的文章要短。即使一个汉字占用两个字母的空间，汉字印刷的文章也要比英文字母印刷的用纸 少。 实际上每个字母和每个汉字在文章中出现的次数并不平均，因此实际数值并不如同上述，但上述计算 是一个总体概念。使用书写单元越多的文字， 每个单元所包含的讯息量越大。
N
H (p1 , p2 , . . . , pn ) = −
n=1
pn log pn
数学模型： X P (x) = a1 a2 · · · p1 p2 ··· an pn
注意： 1. log pn 实为log2 pn . 2. 比特(bit)为binary ubit缩写； loge pn 的单位为纳特； log10 pn 的单位为哈特。
1 p
p→0
p→0
= lim
1 p
p→0
− p12
= − lim p = 0
p→0
， 所以lim 0 log 0 = lim 1 log 1 = 0。
Example 0.2 电视机图象由横500线和纵600线相交点组成。每点分不同灰度，假设灰毒分为10级。整个 图象的可能状态数目为10300000 . 如果这些图象以等概率出现，则该图像信源的熵为 H (X ) = log 10300000 ≈ 106
例如： 在熵中， 我们还可以定义单个事件本身的讯息（信息本体）为： Ie = − log2 pi (对数以2为底， 单位是比特(bit)) 或者 Ie = − ln pi (对数以e为底， 单位是纳特(nats)) 如英语有26个字母， 假如每个字母在文章中出现次数平均的话， 每个字母的讯息量为： 1 26 而汉字常用的有2500个， 假如每个汉字在文章中出现次数平均的话， 每个汉字的信息量为： Ie = − log2 Ie = − log2 熵是整个系统的平均消息量， 即：