信息的内涵与信息论发展简史

信息的内涵与信息论发展简史学院：数学与统计学院专业：信息与计算科学学生：卢富毓学号：20101910072

内容摘要：信息论经过六十多年的发展，现在已经成为现代信息科学的一个重要组成部分，信息论是现代通信和信息技术的理论基础。本文详细从来阐述信息论的内涵以及发展史。

信息是什么？什么叫信息论？

信息泛指人类社会传播的一切内容。人通过获得、识别自然界和社会的不同信息来区别不同事物，得以认识和改造世界。在一切通讯和控制系统中，信息是一种普遍联系的形式。1948年，数学家香农在题为“通讯的数学理论”的论文中指出：“信息是用来消除随机不定性的东西”。美国数学家、控制论的奠基人诺伯特·维纳在他的《控制论——动物和机器中的通讯与控制问题》中认为，信息是“我们在适应外部世界，控制外部世界的过程中同外部世界交换的内容的名称”。英国学者阿希贝认为，信息的本性在于事物本身具有变异度。

由此可见在不同的领域，有着对信息的不同定义。

而如今比较首肯的是数学家香农给出的解释——信息是用来消除随机不定性的东西。

信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。

信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。

1948~1949年，香农（Shannon）在《贝尔系统技术杂志》上发表了论文《通信的数学理论》以及《噪声下的通信》。在这两篇论文中，他经典地阐明了通信的基本问题，提出了通信系统的模型，给出了信息量的数学表达式，解决了信道容量、信源统计特性、信源编码、信道编码等有关精确地传送通信符号的基本技术问题，并且开始创造性的定义了“信息”。这两篇论文成了现在信息论的奠基著作。而香农也一鸣惊人，成了这门新兴学科的奠基人。香农也因此被称为是“信息论之父”。

信息有什么内涵？

信息是现代社会的一种非常重要的资源，信息社会中的信息就像农业社会的土地，工业社会的资金和技术一样，将会成为人们竞相争夺的对象，从某种意义上来说，信息就是现代社会最重要的财富，谁掌握了信息，谁就掌握了未来。

信息的内涵是什么呢？

不同人对信息有着不同的理解。有人认为信息就是消息，传递信息就是传递消息。这种定义有一定道理，但不太准确。信息和消息是有区别的，一般来说，

信息是消息的具体内容，而消息是信息的外壳。一则消息可能包含丰富的信息，也可能只包含有限的信息。

现在一般认为信息是客观事物所具有的一种基本属性，是客观事物运动形式和状态的表征。由于人们应用信息概念的层次和角度不同，因此对信息内涵的表述也是不相同的。一般来说，对信息的理解可以从事物运动的状态和方式来理解，这里所说的事物既包括外部世界的物质客体，也包括人类自身。人不仅可以接受信息，还可以输出信息。

要准确理解信息的内涵，需要进一步明确信息与物质、信息与美结合信息与符号之间的相互关系。从一定意义上来说，宇宙是由物资、能量和信息构成的，哈佛大学的著名学者欧廷格曾提出了一个著名的论断：“没有物质，什么东西都不存在；没有能量，什么事情也不会发生；没有信息，什么东西都没有意义。信息是抽象的，它不像物质那样有明确的质量和体积，但它确实是存在的，并可以传递、加工和处理。信息不能脱离媒体而存在，信息的显示、信息的传递、信息的加工与处理都需要媒体的参与，但信息的载体可以负载信息，可以传递信息，但媒体不能决定信息的本质与属性。信息的传递需要以媒体为中介，需要以符号来表现与表达。符号是信息的表现形式，信息是符号表现的内容。

信息的特征

所有信息都具有如下一些基本特征：

可识别性：所有信息都是可以被识别的。我们可以通过眼、耳、鼻、舌、皮肤等感觉器官识别自然界中的大部分信息。对于一些来源于微观世界的信息，通过专用的设备和工具仍然能觉察到它们的存在。

可传递性：所有信息都是可以被传递的。一种信息可以从一个人传给另一个人；从一个地方传递到另一个地方；从一个信息处理系统传递到另一个信息处理系统，不能传递的信息，是没有价值的。

可存储性：自然界中所发生的各种信息，包括内容信息、状态信息和过程信息，都可以通过一定的媒介进行存储。常见的存储介质包括纸张、幻灯片、录音磁带、录像带、电影胶片、VCD、DVD、计算机外存储器等。

可处理性：所有信息都可以根据人类的实际需要进行处理和加工。对信息的处理与加工既包括信息外在表达形式的转换，如用文字来表达眼睛看到的视觉形象，也包括对信息内容进行的分析、归类、整理、加工与整合。

可利用性：所有经过加工与处理的信息，都可以被用来实现特定目标。人们可以在已掌握信息的基础上，进行科学决策与管理，并通过不同器官或系统的协同活动，发挥信息的最佳效能。

信息论的发展

现代信息论其实是从上世纪二十年代奈奎斯特和哈特莱的研究开始的，他们最早开始研究了通信系统传输信息的能力，并且试图度量系统的信道容量。

香农于1940年在普林斯顿高级研究所期间开始思考信息论与有效通信系统的问题。经过8年的努力，1948年，来自贝尔研究所的Claude Shannon（克劳德?香农）的《通信的数学理论》论文公诸于世，从此宣告了崭新的一门关于信息发面的学科──信息论的诞生。1949年，香农又在该杂志上发表了另一著名论文《噪声下的通信》。在这两篇论文中，香农阐明了通信的基本问题，给出了通信系统的模型，提出了信息量的数学表达式，并解决了信道容量、信源统计特性、信源编码、信道编码等一系列基本技术问题。两篇论文成为了信息论的奠基性著作。这两篇论文一起阐述了现代信息论的基础。并且香农开始创造性的定义了“信息”。

信息论自从二十世纪四十年代中叶到二十一世纪初期，现已成为一门独立的理论科学，他给出一切传输、存储、处理信息系统的一般理论，并指出，实现有效、可靠地传输和存储信息的途径是走数字化的道路。这是通信技术领域数字化革命的数学或理论基础。1946年的计算机和1947年晶体管的诞生和相应技术的发展，是这一革命的物理或物质基础。信息论是在长期的通信工程实践和理论研究的基础上发展起来的。当物理学中的电磁理论以及后来的电子学理论一旦有某些进展，很快就会促进电信系统的创造发明或改进。这是因为通信系统对人类社会的发展，其关系实在是太密切了。日常生活、工农业生产、科学研究以及战争等等，一切都离不开消息传递和信息流动。通信系统是人类社会的神经系统，即使在原始社会也存在着最简单的通信工具和通信系统，这方面的社会实践是悠久漫长的。

自从香农十九世纪四十年代末两篇论文发表后，前苏联和美国的科学家采取了不同的研究途径经一部发展了信息论。在苏联以辛锌、柯尔莫哥洛夫、宾斯基和达布鲁新为首的一批著名数学家致力于信息论的公理化体系和更一般更抽象的数学模型，对信息论的基本定理给出了更为普遍的结果，为信息论发展成数学的一个分支作出了贡献。而在美国测试有一批数学修养很高的工程技术人员致力于信息有效处理和可靠传输的可实现性，维信息论转化为信息技术作出了贡献。

20世纪50年代，信息论向各门学科发起冲击；60年代信息论进入一个消化、理解的时期，在已有的基础上进行重大建设的时期。研究重点是信息和信源编码问题。从此信息论迈入第二个阶段。

到70年代，由于数字计算机的广泛应用，通讯系统的能力也有很大提高，如何更有效地利用和处理信息，成为日益迫切的问题。人们越来越认识到信息的重要性，认识到信息可以作为与材料和能源一样的资源而加以充分利用和共享。信息的概念和方法已广泛渗透到各个科学领域，它迫切要求突破香农信息论的狭隘范围，以便使它能成为人类各种活动中所碰到的信息问题的基础理论，从而推动其他许多新兴学科进一步发展。

小结：

信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。通过对信息论的学习以及深刻掌握，我们会在今后的不同领域中通过不同的方式利用它。（因为其与不同的学科都有着一定的交叉！）。