信息论第1章

第一章信息的定性描述

第一节对信息的初步认识

一. 信息社会

当今，世界上信息革命的热潮一浪高过一浪。近年来，移动电话、个人电脑和网络用户正以高于摩尔定律的速度迅猛增长。人们都在谈论着信息社会、信息革命和网络时代，信息似乎成了个很时髦的字眼儿。就连中国人平常打招呼的话“你吃饭了吗？”也被有些人改成“你上网了吗？”但这绝不是什么赶时髦，也绝不是什么偶然现象，而是社会发展的必然趋势。因为在信息社会里，人们最关心的是信息问题，而不是吃饭问题。“民以食为天”的信条将会逐渐被“民以信为天”所代替。社会学家和未来学家普遍认为，20世纪末和21世纪初，是信息革命爆发的时期。一些新技术的突破和新产业的出现，使社会生产力发生了新的飞跃，人们的生活也发生了新的变化，人类社会正在进入信息化社会。所谓信息化社会，就是以信息产业为中心，使社会生产、生活和经济都发展起来的社会。在这种社会中，

◆信息成了比物质或能源更为重要的资源，

◆对信息产业成了重要的产业。

◆从事信息工作者成了主要的劳动者。

◆信息和知识成了生产力发展的决定因素。

二. 信息的普遍性

其实，信息并不是什么新鲜东西，

信息无时不在，无处不有。

人们生活在信息的海洋里，天天都要通过自己的感觉器官感受各种外界信息。例如，衣食住行，读书看报，听广播，看电视等等。人们要进行社会活动就需要有信息交流。例如，除了书信、电话、电报之外，天天都要同许多人交谈、交往。人们还要进行信息处理和存储。例如，要把观察、接收到的大量事物、数据和资料进行分类、分析、整理和纪录。

不仅如此，信息也是人类自身进化的一个基本条件。恩格斯对于人类的进化过程，曾有过这样一段极其精彩的描述：“……这些猿类，大概是首先由于它们生活方式的影响……渐渐直立行走……手变得自由了……随着手的发展，随着劳动而开始的人对自然的统治，在每一个新的发展中扩大了人的眼界。……另一方面，劳动的发展必然促使社会成员更加紧密地互相结合起来，因为它使互相帮助和共同协作的场合增多了，并且使每个人都清楚地意识到这种共同协作的好处。一句话，这些正在形成中的人，已经到了彼此间有些什么非说不可的地步了。需要产生了自己的器官：猿类不发达的喉头，由于音调的抑扬顿挫的不断加多，缓慢地然而肯定地得到改造，而口部的器官也逐渐学会了发出一个个清晰的音节……首先是劳动，然后是语言和劳动一起，成了两个最主要的推动力，在它们的影响下，猿的脑髓就逐渐地变成人的脑髓……由于随着完全形成的人的出现而产生了新的因素——社会。”在这里，我们看到了一幅清晰的图景，它说明这些正在形成中的人，怎样在与外部的联系中产生了感知信息与利用信息的需要，因而逐渐形成和发展了自己的信息器官：眼、耳、口、脑等等。形成和发展这些器官，形成和发展语言，正是为了从自然界取得信息和利用信息来强化自己，

战胜自然。因为人类发展到一定的阶段，光靠手势、嗥叫和简单的脸部表情已经远远不够用了。而人们一旦开始使用语言来交换信息，人和动物的分离就再也不可逆转了。

人类自古以来就在利用信息，而且，很早就有了一些初步的研究。远古时期，人们已经知道信息可以被掩盖和被检测。蚩尤同黄帝作战，常常利用大雾来使黄帝迷失方向。黄帝发明了指南车，成功地从大雾中检测到了方向的信息，终于赢得了胜利。同时，人们已经知道了信息可以被储存，于是有了“结绳记事”之类的传说。之后，人们很快懂得了信息可以被传送。远在殷商时代，我国就有了“烽火告警”的创举——在许多遥相对望的山头上筑起烽火台，一旦有事，告急的信息就借助烽火信号，逐台向远方传送。如此壮观的原始光学通信系统，几乎可以同今日的无线电通信相媲美！它为现代化的通信系统——微波接力通信提供了发人深省的原始模型。甚至最现代的卫星通信，也依然带着烽火告警系统的某种痕迹，因为它不过是一个设置在三万六千公里高空的中继站。由于站得高，看得远，因此，不再需要那么多的中间接力站了。

信息并不是人类所独有的东西。

一切事物，包括自然界、人类社会和思维领域都会产生信息。

任何一种生物，如果不能从外界取得必要的信息，它就无法感受外部世界的变化，当然也就不可能适当地调整自己的状态来适应这种变化，更无从谈到改造外部世界了。这样的生物必然受到自然的淘汰而无法生存。今天能够存在的一切生物，不论它们多么简单和低级，都必然有它独特的从外界取得信息和利用信息的本领。生物越是高级，它获取和利用信息的本领也就越高超。

鸽子利用地磁来辨别方位；

老虎通过气味来分辨地域；

鸟兽用不同的叫声来传递不同的信息；

蜜蜂利用飞舞的方式来表达蜜源的情况；

蚂蚁利用触角来觅食和辨别敌我；

葵花根据太阳的升落来改变自己的方向；

草木根据气候的变化发芽或结籽……。

此外，非生命物质同样也会产生信息。

宇宙天体的不同形态蕴含着天体演化过程的信息；

星系的红移现象蕴含着宇宙膨胀的信息；

陨石中携带着外星物质结构的信息；

地壳断层中蕴藏着地质年代的信息；

化石中蕴藏着生物进化的信息；

微观粒子的运动过程揭示着深刻的化学、物理定律；

世界万物的运动形态和数量关系蕴含着奥妙无穷的数学定律……。

三. 信息论的发展

人类在信息的海洋中生存和发展，信息渗透在人类活动的一切环节之中，成为人类除物质、能源之外的第三资源。不过，这种过分密切的关系，反而模糊了人们对信息的注意，人们对它司空见惯，习以为常，往往在不知不觉中进行和完成了传递信息和处理信息的工作，

以至于时刻在同信息打交道，却不知道信息为何物，正所谓“不识庐山真面目，只缘身在此山中。”所以，在人类形成以后的一段漫长的时间里，信息问题一直没有引起人们认真地注意。似乎只依靠人体本身的感觉器官与思维器官来传递和处理信息，就足以应付人类生存和发展的需要了。然而到了近代，由于生产力的发展水平达到了一个更高的阶段，人类本能地接收和处理信息的能力就再也不能满足需要了。人们要观察极为遥远的天体；人们要研究更深层次的微观世界；人们要迅速准确地传递大量的数据……。这时，扩展人类接收和处理信息的能力的问题才逐渐引起人们的注意，对信息的研究才开始被人们重视。就是在这种情况下，美国的两位数学家

香农（C. E. Shannon）和

维纳（N. Wiener），

于20世纪四十年代末期，分别创立了信息论和控制论，为信息科学的发展奠定了基础。几十年来，无线电电子学、电子技术、通信技术、计算机技术及自动化控制技术等许多科学领域都取得了巨大的发展。特别是最近几年，由于信息传递、储存、提取等技术手段的疾速进步，使人类所面临的这场“信息革命”成为继农业革命（用了约1万年）、工业革命（用了约300年）之后的为期更短，冲击更猛的又一场巨大的革命。而这种迅猛发展的势头又会反作用于信息科学，它明显地预示着，信息科学正在孕育着空前的、巨大的飞跃。

第二节信息的本质

在前面的叙述中，我们初步认识到信息的一些特征：

1. 信息是可以识别的（包括用感官感知和用工具去探测）；

2. 信息是可以传递和存储的（存储也可以看作是在时间上的传递）；

3. 信息是可以转换和再生的（信息处理）；

4. 信息是可以共享的（信息的购买者和卖出者共享同一信息）。

但是，仅仅认识到这些是不够的，作为一门科学，我们必须从本质上去认识它，给出信息的本质定义。正如哲学中的“物质”不同于通常所说的“物质”，力学中的“力”不同于通常所说的“力”，信息论中的“信息”也不同于通常所说的“信息”，前者是各种信息现象的抽象的本质概念，后者则是这一概念下的具体表现形态。

我国《辞海》中，信息一词的注释是：“信息是指对消息接收者来说预先不知道的报道。”它反映了上述信息的第一和第二个特征。美国的《韦伯字典》把信息解释为“信息就是谈论的事情、新闻和知识。”同样，日本的《广辞苑》也持相近的观点，说“信息是所观察事物的知识”。的确，消息、报道、事实、数据、新闻、知识，所有这些都是活跃在人类身边的信息。但是，仅仅列举这样一些项目，还不能完全揭示信息的本质。

信息论和控制论的创始人之一，维纳曾经说过，“信息就是我们在适应外部世界和控制外部世界的过程中，同外部世界进行交换的内容的名称。”这是对信息概念的一个比较准确的论述。如果把社会也作为一种“外部世界”来理解，那么维纳的论述大体上概括了上述信息的前三个特征。如果我们要问，人们在与外部世界发生联系的过程中所“交换的内容”是什么？这里并没有给出进一步的说明。事实上，人类在与外部世界发生联系的过程中，交换的内容是复杂多样的。比如，人类可以把自然界的物质（如粮食、空气和水）化为自身的物

质（肌体），把自然界的能量（如食物中的热量）转化为自身的能量（体力、体温）。但是，物质本身并不是信息，能量也是与信息截然不同的概念。正如维纳本人所说，“信息就是信息，既不是物质，也不是能量。”于是，我们注意到人类从外部所获取的另一类内容，这就是外部世界各种事物运动变化着的“状态和过程”。这一内容既不是物质和能量本身，又和物质、能量密切联系。显然，这就是我们所说的信息。其中“状态”主要强调事物在空间上的分布，“过程”主要强调事物在时间上的延续性。为叙述方便，我们把“状态和过程”简称为“状况”。由此，我们不妨给信息下一个这样的定义：

信息就是事物运动的状况，它可以脱离原来的事物而被获取、传输、处理和利用。

这个定义告诉我们，信息是事物的运动状态和过程，而世界上万物都在不停地运动变化，因此信息的存在是普遍的。定义中并没有限定信息的发出者和接收者一定是人，它们也可以是动物、植物、机器和其他物质。

信息是一个抽象的概念，它往往不能直接被感知。而要通过某种具体形式（如语言、文字、图像等）才能被感知。而这些具体形式就是消息，所以我们说，

消息是表达信息的工具。

消息在传输时，又往往需要转换成便于在信道中传输的形式（如声、光、电等），我们称之为信号，即

信号是消息的传输形式。

应当指出，信息和消息是两个不同属性的概念。而消息和信号则具有相同的属性，并且它们之间存在着确定的对应关系。但信息和消息之间却不存在这种关系，同一消息在不同场合可以表达不同的信息，而同一信息又可以用不同的消息来表达。

根据前面信息的定义，我们看到，没有物质和能量，就不存在事物的运动，也就谈不上什么运动状态和过程，当然也就没有什么信息。这就是信息对于物质和能量的依赖性。但是，事物的这种运动状态和过程是可以被获取、传输、处理和利用的，因此，信息是可以不受原来的物质和能量的束缚而相对独立地存在的。比如，转播奥运会实况，运动员的运动状态和比赛的过程，可以通过摄像机、无线电广播和卫星转播传送给全世界的广大观众。赛场和运动员本身并不能像孙悟空施分身术那样，同时即在澳洲又在亚洲，但它的运动状况——信息却可以传遍全球。这就是信息的妙用。认识到信息的这种性质是十分重要的。

我们知道，物质、能量和信息是一切事物的三个基本方面，正像人类个体也包含物质（肉体）、能量（体力）和信息（感觉和思维）三个方面一样。它们三者之间形成一种三足鼎立或三位一体的关系，相互依赖、相互制约、相互支持。我们还可以把它们分成两个相辅相成的方面：信息是“虚”的一面，物质和能量是“实”的一面。甚至可以把信息比作宇宙的“软件”，而把物质和能量比作宇宙的“硬件”。

我国有一句俗话：

“巧妇难为无米之炊”。

它十分生动形象地刻画了物质、能量和信息三者之间的关系。这里说的是“做饭”。要把饭做好，至少需要三个方面的条件：米（物质）、火（能量）和巧妇（掌握信息者），三者缺一不可。这句话的本意是强调物质的重要性。在人类物质生活资料缺乏的时代确实如此，而且越是生产力水平低的情况下，就越是显出物质生活资料的重要。在茹毛饮血的时代，人

们吃的是野果和野兽，连物质生活资料都无法保障，当然对能量和信息就无力问津了。农业革命使人类物质生活资料的来源相对地稳定下来，人类的生活方式发生了巨大的变化，摆脱了“自然物”的束缚，提高了生产力。随着生产力的进一步发展，单靠人的体力已经不够用了，能量问题就越来越来显得重要了。这时，我们可用

“巧妇难为无火之炊”

来强调能量的重要性。工业革命使人类摆脱了“自然力”的束缚，开始了机器大生产，人类的体力劳动逐渐被机器取代，从而推动了生产力的巨大发展。现在生产规模越来越大，技术越来越先进，要调节和控制社会生产，要掌握和学习新技术，信息就成为至关重要的了，因此，不可避免地要爆发一场信息革命，将人类社会推进到信息化社会。为此，我们又可以用

“拙夫难为有米之炊”

来强调信息的重要。这里的“拙夫”是和“巧妇”相对的，他代表不善于观察和掌握做饭过程，或者不懂得做饭知识的人。让他去做饭，即便是米与火具备，也做不出美味可口的饭来，要么是夹生，要么是把饭烧焦。所谓做饭的过程和知识，就是事物运动的状况，也就是关于做饭的信息。它可以是火候、气味、声音、时间等。总之，我们既需要优良的物质材料和强大的能量，又需要精确的信息，而且更需要它们三者巧妙地有机地结合。

第三节信息论与信息科学

“需要”是一种强大的推动力。既然信息对于人类的生存和发展具有如此重要的意义，而人类原有的接收信息、处理信息的能力又远远不能满足人类发展的需要，那么就必须进一步探讨信息的本质，研究更加完善、更加高级的接收和处理信息的途经，以扩展人类原有的信息能力。这种研究扩展人类获取、传输、处理和利用信息的能力的学科，叫做信息科学。信息论是信息科学的理论基础。确切地说，信息论是研究信息的基本性质及度量方法，研究信息的获取、传输、处理和利用的一般规律的科学。它的成果将为人们广泛而有效地利用信息提供基本的技术方法和必要的理论基础。人们把信息论和控制论、系统论一起称作“横断科学”。

为了帮助理解信息论与信息科学之间的关系，以及它们在人类知识结构中的地位，我们可以参考钱学森关于人类知识结构的框图。

图1-1表示，直接作用于客观世界的是工程技术，工程技术依赖于技术科学，技术科学又以基础学科为基础，基础学科包括自然科学、数学、社会科学，它们又受哲学的指导。看来在基础科学中应再加上一个内容，就是信息论。

图1-1 人类知识结构框图

人们在长期实践的基础上，逐步建立和发展了材料科学（研究物质结构）、能量科学（研究能量状态及转化）和信息科学（研究信息关系）这样三大门类的基本技术科学。它们是现代自然科学技术的三大支柱。只有当这三门科学都得到充分地发展，而且只有当它们巧妙地、有机地结合起来的时候，科学才能真正给人类提供强大的生产力。

前面说过，信息论创立于20世纪四十年代。当时，美国的一位数学家香农发表了一篇著名的论文《通信的数学理论》，同时美国的另一位数学家维纳也发表了题为《时间序列的内插、外推和平滑化》的论文，以及题为《控制论》的专著。在这些著作中，他们分别解决了狭义信息论的度量问题，并且得到了相同的结果。香农的论文还给出了信息传输问题的一

系列重要结果，建立了比较完整的系统的信息理论，这就是香农信息论，它是一种狭义信息论。香农理论是通信发展史上的一个转折点，它使通信问题的研究从经验转变为科学。

由于信息问题本身具有极为广泛的意义，而香农和维纳的处理方法又颇为新颖，因此，它一出现就在科学界引起了巨大的轰动，从而使信息论很快就渗透到其他领域，甚至渗透到许多看来与通信毫不相关的领域。这种情形在当时的条件下，显然带来很大的盲目性。正像香农本人在20世纪五十年代中期所指出的：“近几年来，信息论简直成了最时髦的科学。它本来只是通信工程师的一种技术工具，但现在不管是在普通杂志还是在科学刊物上，它都占着重要的地位。许多不同学科的同事们都把信息论引进各自的领域：生物学、心理学、语言学、基础物理、经济学、组织理论等等。总之，信息论现在已经是名声在外。这种声誉虽然使我们本学科的人感到愉快和激动，但却带来一种危险。诚然，在理解和探讨通信问题的本质方面，信息论是一个有用的工具，而且其重要意义还将日益增长，但它却肯定不是通信工作者的万灵药，而对其他人则更是如此。一次就打开自然秘密的事情是罕见的。一旦人们懂得，仅用几个像信息、熵、多余性这样一些动人的字眼并不能解决全部问题的时候，这种人为的繁荣就很容易一夜崩溃。”果然，自那时以后，信息论问世以来的第一次繁荣景象开始逐渐冷却，人们的注意力又重新回到那些与信息论的本源密切联系的领域。在20世纪五十年代至六十年代，人们在调制解调、纠错编码、检测理论等方面取得了较大的进展，使信息论在通信、雷达、遥测、遥控、导航等工程技术领域得到了较多的应用。

实际上，信息论发展初期的猛烈渗透并非没有原因。只是由于狭义信息论本身的发展还不够完善，使许多其他领域应用信息论的尝试一时不能成功。20世纪六十年代后期以来，许多领域的人又重新开始注意信息论，不再是简单地搬用信息论的方法，而是在原有的基础上试图寻求某些新的发展，包括对于信息度量方法方面的发展。人们逐渐看到，信息论确实可以为许多学科领域提供解决问题的途径。于是信息论的第二次渗透又在迅速发展，并开始取得一些重要进展。现在，我们已经很难列举出一个完整的渗透领域名单，这是一个太长而且还在不断增长的名单。

根据这种情形，我们可以把信息论的研究划分为三个不同的范畴：

第一．狭义信息论，即通信的数学理论，主要研究狭义信息的度量方法，研究各种信源、信道的描述和传输关系——编码定理。

第二．实用信息论，即狭义信息论方法在调制解调、编码译码及检测理论领域的应用。总起来说，大体上也还是在通信等几个领域范围。

第三．广义信息论，包括信息论的新的应用，如模式识别（包括文字、图像和声音的识别）、机器翻译、自动控制、自学习自组织系统、心理学、生物学（特别是分子生物学）、遗传工程学、医学、生理学、语言学、数理语言学、经济学、社会学等一切与信息问题有关的领域。这个范畴的共同基础——控制论、系统论、仿生学、人工智能等内容，就是前面所说的信息科学。

目前信息论有以下几个研究方向：

1．以编码理论为中心，主要研究信息系统模型，信息度量、信道容量、信源统计特性、信源编码和信道编码。例如汉字编码、语音和图像的压缩编码问题都属于信源编码问题。

2．以信号作为主要研究对象，包括信号和噪声的统计分析、信号的最佳过滤、预测、

检测和估值。如维纳过滤理论、卡尔曼过滤理论、卡切里尼可夫潜在抗干扰理论和最佳接收理论。

3．以计算机为中心的信息处理系统的基本理论，包括语言、文字、图像的模式识别、自动机器翻译、机器学习理论和人工智能等。

4.对信息的本质进行深入的研究，向广义信息发展，使之成为一门完整的“信息科学”。

小结

一.信息是普遍存在的，无时不在，无处不有。随着信息革命的发展，信息科学正孕育着空前的巨大飞跃。

二.信息是事物运动的状况，它可以脱离原来的事物而被获取、传输、处理和利用。

三.物质、能量和信息是一切实际事物的三个基本方面；材料科学、能量科学和信息科学是当代自然科学技术的三大支柱。

四.信息科学是研究扩展人类获取、传输、处理和利用信息的能力的科学。信息论是信息科学的理论基础。

五.信息论是研究信息的基本性质及度量方法，研究信息获取、传输、处理和利用的一般规律的科学。它有狭义信息论、实用信息论和广义信息论三个不同的范畴。

六.目前信息论有如下几个研究方向：

1.以编码理论为中心；

2.以信号为主要研究对象；

3.以计算机为中心的信息处理基本理论；

4.深入研究信息的本质向广义信息发展。

习题

1-1 信息论中的“信息”与通常所说的“信息”有什么联系和区别？

1-2 为什么说在自然界、人类社会和思维领域，信息是普遍存在的？

1-3 信息、信号和消息之间有什么区别？

1-4 信息与物质、能量之间的关系如何？

1-5 你认为信息是客观存在的还是主观意识的？为什么？

1-6 什么是信息科学？什么是信息论？

辩题

正方：信息是客观存在的。

反方：信息是主观意识的。