信息论发展史和展望 蒲鹤升

信息论发展史和展望

蒲鹤升(020150802)

一、信息论定义

信息论,顾名思义是一门研究信息的处理和传输的科学;即用概率论与数理统

计方法来探究信息的度量、传递和变换规律的一门学科。它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。信息论将信息的传递作为一种统计现象来考虑,给出了估算通信信道容量的方法,信息传输和信息压缩是信息论研究中的两大领域,这两个方面又由信息传输理论、信源-信道隔离定理相互联系。信息是系统传输和处理的对象,它载荷于语言、文字、图像、数据等之中。这就是现代信息论的出发点。

二、狭义与广义

狭义的信息论是应用数理统计方法来研究信息处理和信息传递的科学,它研究存在于通讯和控制系统中普遍存在着的信息传递的共同规体,以及如何提高各信息传输系统的有效性和可能性的一门通讯理论。狭义信息论是申农氏于1948年创立的,其主要内容就是研究信源、信宿、传递及编码问题,因此它主要应用于通讯工作。后来信息论发展很快,将申农氏信息论的观点做为研究一切问题的理论,即广义信息论。信息论是建立在信息基础上的理论,所谓信息,即人类凭借感觉器官感知的周围一切变化,都可称作信息。

三、相关人物贡献

20世纪通信技术的发展推动了信息理论的研究. 美国科学家H.Nyquist 于1924年解释了信号带宽和信息速率之间的关系

美国科学家L.V.R.Hartley 于1928年开始研究通信系统传输信息的能力,给出了信息的度量方法

美国科学家C.E.Shannon 于1948年发表的著名论文《通信的数学理论》

A Mathematical Theory of Communication奠定了信息论的理论基础

四、各发展阶段

第一阶段:1948年贝尔研究所的香农在题为《通讯的数学理论》的论文中系统地提出了关于信息的论述,创立了信息论.

第二阶段:20世纪50年代,信息论向各门学科发起冲击;60年代信息论进入一个消化、理解的时期,在已有的基础上进行重大建设的时期.研究重点是信息和信源编码问题.

第三阶段:到70年代,由于数字计算机的广泛应用,通讯系统的能力也有很大提高,如何更有效地利用和处理信息,成为日益迫切的问题.人们越来越认识到信息的重要性,认识到信息可以作为与材料和能源一样的资源而加以充分利用和共享.信息的概念和方法已广泛渗透到各个科学领域,它迫切要求突破申农信息论的狭隘范围,以便使它能成为人类各种活动中所碰到的信息问题的基础理论,从而推动其他许多新兴学科进一步发展.

详细进程:

1921年美国奈奎斯特和德国的开夫曼尔证实了卡松的理论。

1928年,哈特莱发表了《信息传输》,首先提出了消息是代码、符号、序列,而不是内容本身,这就排除了主观的成分,实现了概念上的突破。他还第一次提出了信息量的概念,并企图用数字公式加以描述,为信息的传递找到了理论根据,对于信

息论的创立起到促进作用。1938年美国人莫尔斯发明了高效率编码电报法,人类终于找到了比较先进的递讯工具。

1940年二次大战中,由于通讯在军事上的重要意义,美国人申农开始从事信息论的研究。1945年波特发表了《声音的可视图形》。

1947年他又与柯普等人着《可视语言》,为此信息论的创立条件日臻成熟。

1948年申农发表《通讯的数学理论》。从而宣告信息论的创立。申农信息论的主要内容是研究信源、信宿、信道及编码问题。战后,由于通讯事业的需要和电子技术的飞速发展,促进了信息论的进一步发展,许多国家的学者对此进行了大量的研究工作,并卓有成就。由于信息论的成就,给许多学科带来了希望之光,人们试图应用信息的基本理论解决诸如组织化、语义化、听觉、神经学、生理学、心理学中一些难以解决的问题。

1950年在英国伦敦召开了信息论会议,收到论文20多篇,其中有6篇是关于信息论在心理学和神经生理学的应用。

1951年美国无线电工程学会承认了信息论这门新学科,建立了信息论学组。

1955年在伦敦举行的第三届信息论会议上,已涉及到解剖学、动物保健学、神经生理学、神经精神学、心理学。1956年申农氏对信息论的发展前途说:“对于像心理学、经济学等一些领域,信息论的许多概念会有用的。”

50年代英国人E·C切尔利还对信息做了历史性的考察,发表了《信息理论史》和《人类递讯》二文。50年代是信息论向各门科学冲击的时期,法国旅美物理学家L.布里渊把信息学推广到物理学领域,他发表的《生命-热力学和控制论》认为:“为了能把类似的概念可靠地应用于有关生命和智力的基本问题上,除了旧的古典的物理熵概念外,还需要一些大胆

的新的推广和概括。”

1956年他又出版了《科学与信息论》,力图把信息与具体物理过程联系起来,把信息熵与热力学熵直接联系起来,并提出“信息的负熵原理”,认为信息与负熵等价。

1979年卡克根据这一原理对人肾化学自稳态功能的效率进行探讨,得出了较

切实际的数值。

60年代是在信息论已有的基础上,进行重大建设时期,研究的重点是信息和信源编码问题,这一时期把信息论推广应用于生物学,神经生理方面的是美国的艾什比,他指出“信息论在本质上是组合论的一个分支,它的本质基本上是一种数数”。60年代人们把信息分成狭义信息论、一般信息论和广义信息论三种。

70年代由于数字计算机的广泛应用,通讯系统的能力也有很大提高,如何更有效地利用和处理信息,成为日益迫切的问题,人们越来越认识到信息的重要性。信息的概念和方法已广泛渗透到各个科学领域,它迫切要求突破申农信息论的狭隘范围,以便推动许多新兴学科的进一步发展。70年代在信息传输方面取得了新进展,出现了几类新信况下的信源和信道编码定理。伯格写了一本相当完整的专论信源和编码的书。在语义问题和有效性方面, 1971年高艾斯等提出“有效信息概念”。

1978年经复尔马等人的修正可加性基础上,推广为非可加性的“广义有效信息”。还有卡尔纳普等提出的“语义信息”、哥廷格尔的“无概率信息”、杰马里的“相对信息”等等。

1965年查德提出模糊数学后,有人在模糊集合论基础上建立起“熵”和信息

的概念,进一步试图建立“模糊信息论”,还有人根据计算机中的信息问题,设想建立“算法信息论”。在自然科学和哲学界,有人把信息作为基本的参量来研究,他们认为形式、结构,关系及类似的东西,比物质和能量更为基本些,而这些差异结构和关系正是用信息来表征的。