信息及香农信息论概述概要
香农和信息论
香农和信息论克劳德·香农(Claude Elwood Shannon)1916年4月30日诞生于美国密执安州，他生长在一个有良好教育的环境，香农的祖父是一位农场主兼发明家，发明过洗衣机和许多农业机械，祖父的发明创造对香农影响很大。
此外，香农的家庭与大发明家爱迪生还有远亲关系。
在童年时代，香农还喜欢组装无线电收音机、练习莫尔斯电报码、研究密码学等等。
他有许多爱好，另人难以置信是香农可以熟练地玩一套杂技，他能骑着独轮车手里来回抛着三个球在贝尔实验室的大厅里骑来骑去。
他发明过有两个座位的独轮车，并使该独轮车好象偏离地心似的，骑在上面忽高忽低，像鸭子行走一样。
香农的一生都迷恋于平衡与控制稳定性。
他设计并建造了下棋机器、迷宫老鼠、杂耍器械以及智力阅读机等，下国际象棋的机器包括用3个指头能抓起棋子的手臂、蜂鸣器以及简单的记录装置。
这些活动表明香农有十分的好奇心和探索精神。
香农有一句名言是：“我感到奇妙的是事物何以集成一体。
”1936年香农在密执安大学获得数学与电气工程学士学位；1938年香农写出论文《继电器与开关电路的符号分析》，当时他就发现电话交换电路与布尔代数之间具有类似性，即把布尔代数的“真”与“假”和电路系统的“开”与“关”对应起来，并可用1和0表示。
随后又证明布尔代数的逻辑运算，可以通过继电器电路来实现，明确地给出了实现加、减、乘、除等运算的电子电路的设计方法，他在实践中进一步证明，可以采用能实现布尔代数运算的继电器或电子元件来制造计算机。
他奠定了数字电路的理论基础，并使计算机具有逻辑功能，从而使计算机既能用于数值计算，又具有各种非数值应用功能，使得以后的计算机在几乎任何领域中都得到了广泛的应用。
1941年他加入贝尔实验室数学部，工作到1972年。
1956年他成为MIT（麻省理工学院）客座教授，并于1958年成为终生教授，1978年成为名誉教授。
香农博士于2001年2月26日去世，享年84岁。
香农信息论
信息论对传播学的影响
1.香农的单传播行为的模式有助于奠定传播学的学术领域。
2.香农信息论的第三个要素，也就是在他信息的定义和测度、以及他的传播 模式之后，是他关于信道能力的命题。香农的信息概念化工作为传播学学者 广泛采用，他的传播模式及其修正液引起了非常普遍的关注。
研究的目的和内容
找到信息传输过程的共同规律，提 高信息传输的可靠性、有效性、保 密性和认证性，以达到信息传输系 统的最优化。
香农信息论体系结构
Shannon信息论
压缩理论
传输理论
无失真编码
有失真编码
等长编码 定理
Shannon 1948
McMillan 1953
变长编码 定理
Shannon 1948
建立了一些重要的性能界：信源输出的最可能 的信息量，满足一定失真度的要求所必须传递 的最小信息量，信道上的最大可能通过能力等
建立了一组重要的编码定理，从理论上指明了 为达到上述性能界限应当遵循的信息处理的方 法和原则。
信息论的研究对象
通信系统模型，人们通过系统中消息的传输和处理来研究信息传输和处 理的共同规律
香农信息论的影响
1948年以后，香农的信息论在物理学、生物学和社会科 学等学术团体中得到迅速而又广泛的传播。信息论被普遍引 用，这种影响历时多年经久不衰。香农的（以熵的公式所测 度的）信息概念对于传播学学者来说有着直接的用处。或许 这就是为什么他的理论通常被称为“信息”理论、而不是 “传播”理论的原因，后者是香农用来表示其理论的术语。
信息论的影响
信息论的局限性
1.香农的电子通信过程是一个直线单项的过程，缺乏反馈 环节 2.香农把他的模式限于工程或技术传播，显而易见，人类 主观解释的过程也被包含在过程信道之中，但是具有数学 倾向的香农将人类传播的意义限定在他的范围之外。 3.香农的信息论仅限于通信等很局限的领域 4在密码分析方面，缺乏对信息的不确定性和信息融合的研 究 5.重视传播过程，不重视传播效果 6.香农的理论涉及很多数学命题，就很少为传播学学者所 研究，大部分的传播学者缺少必要的数学能力去从事这一 工作。
香农的信息论的局限性与推广研究
扩展信息论模型
为了克服香农信息论的局限性，需要进 一步发展和完善信息论模型，以适应更 广泛的应用场景。
VS
结合其他理论
可以尝试将香农信息论与其他理论进行结 合，例如统计学习理论、复杂系统理论等 ，以实现更有效的信息处理和分析。
04
香农信论的应用场景
密码学中的应用
密码学基础
01
香农信息论为密码学提供了理论基础，包括对称加密、非对称
香农信息论的主要内容
• 香农信息论主要包括信息的度量、信息的传递和信息的压缩三个方面。其中， 信息的度量是指如何评估信息的不确定性，信息的传递是指如何在信道中传输 信息，信息的压缩则是指如何有效地存储和传输信息。
香农信息论的发展历程
• 香农信息论自提出以来，经历了多个发展阶段。在早期，香农信息论主要关注于通信领域中的一些基本问题， 如信道的容量、噪声和失真等。随着计算机科学和人工智能的不断发展，香农信息论逐渐被应用于这些领域， 以解决一些与信息和知识处理相关的问题。
缺乏对信息来源和传播方式的研究
香农信息论主要关注信息的量和质量，但并未涉及信息的来 源和传播方式。在现实生活中，信息的来源和传播方式对信 息的价值和影响力有着重要影响。
对于信息的来源，需要考虑信息的产生背景、可信度、权威 性等因素；对于信息的传播方式，需要考虑信息的传播途径 、受众群体、传播效果等因素。这些因素在香农信息论中并 未涉及，需要进一步拓展研究领域。
02
香农信息论的局限性
只能处理离散信息，难以处理连续信息
香农信息论主要针对离散信息进行建模和分析，例如二进制或有限字符集等。然而，在现实世界中， 连续信息更为普遍，如语音、图像和视频等。香农信息论难以直接应用于这些连续信息领域，需要进 一步的研究和扩展。
香农信息论的主要内容
香农信息论的主要内容香农信息论是由美国科学家克劳德·香农在20世纪40年代提出的一种关于信息传输和处理的数学理论。
它的主要内容包括信息的度量、信源编码、信道编码和错误控制编码等方面。
香农信息论提出了信息的度量方法。
香农认为，信息的度量应该与信息的不确定性有关。
他引入了信息熵的概念，将信息的度量与信源的概率分布联系起来。
信息熵越大，表示信息的不确定性越高，需要传输的信息量也就越大。
这一概念为后续的编码和传输提供了理论基础。
接下来，香农信息论提出了信源编码的理论。
信源编码是将信息源输出的符号序列进行编码，以便更高效地传输和存储。
香农证明了存在一种无损编码方法，使得平均码长接近信息熵。
这种编码方法被称为香农-费诺编码，为数据压缩和存储提供了理论基础。
然后，香农信息论研究了信道编码的问题。
信道编码是在信道中传输信息时引入冗余来纠正误码的一种方法。
香农提出了信道容量的概念，表示在给定信噪比条件下，信道最大可承载的信息速率。
他证明了存在一种编码方法，使得在无限长的码长下，信息传输速率接近信道容量。
这一结果被称为香农定理，对于提高信道传输的可靠性和效率具有重要意义。
香农信息论还涉及了误差控制编码的研究。
误差控制编码是在信息传输过程中引入冗余以纠正和检测错误的一种方法。
香农提出了循环冗余校验码和海明码等编码方法，有效地提高了信息传输的可靠性。
总结来说，香农信息论的主要内容包括信息的度量、信源编码、信道编码和误差控制编码等方面。
这些理论为信息的传输、存储和处理提供了重要的数学基础，对于信息技术的发展和应用具有深远影响。
香农信息论的研究成果不仅在通信领域得到广泛应用，还在计算机科学、数据压缩、密码学等领域有着重要的应用价值。
香浓定理解密之旅——信息论
香浓定理解密之旅——信息论香农定理是以其奠基人克劳德·香农命名的一条定理，也是信息论的中心。
它揭示了数字通信中信息传输的极限，即信道容量。
本文的目的是通过对香农定理的讲解，让大家更好地了解信息论。
一、信息量的度量首先，我们需要了解在信息论中信息量的度量方式——信息熵。
信息熵是对一组可能性的不确定性程度的度量，它表示在一个系统中信息的平均量。
例如，考虑一枚硬币正面朝上和反面朝上的等概率事件，那么它的信息熵就是1比特。
另一个例子是一组4个可能性的抛硬币事件，那么它的信息熵就是2比特。
通常，我们将信息熵用H表示，单位是比特（bit）。
二、确定信道的容量下面，我们来探讨确定信道的容量。
确定信道是指，在信道中信息没有噪声干扰的情况下，信道的信息传输速率是无限的。
在这样的情况下，信源的信息熵必须小于或等于信道的容量。
在信源的信息熵等于信道容量的情况下，数据传输速率的极限被称为香农极限。
香农极限是一种理论上最快的数据传输速度的极限，它可以用以下公式计算:C = B log(1+S/N)其中C是信道容量，B是信道的宽带，S和N分别是信道内和信道外的信号功率。
这个公式告诉我们，当信号功率的信噪比（SNR）变大时，信道容量也随之增大。
三、非确定信道的容量实际上，在现实生活中，信息传输经常受到噪声的干扰。
在这种情况下，信道容量的计算就更为复杂了。
非确定信道的容量可以用香农公式的扩展版本来计算。
该公式包括两个元素：一是附加的关于信噪比的修正因子，称为香农-哈特利定理，用于计算噪声对数据传输速率的影响；二是关于信道编码的信息，即纠错码和流程控制等技术的应用，能够在一定程度上减轻噪声的影响，提高数据传输速度。
四、应用香农定理被广泛应用于无线通信领域，例如手机通信、无线电子邮件、卫星通信和移动应用等。
通过运用香农定理的基本原理，科学家们不断推陈出新，发明更为先进的通讯技术，开发出更高效、更稳定、更便捷、更安全的通讯设备和网络，使得信息交流更为便捷和快捷，有效地推动了社会进步和经济发展。
第2章_香农_信息论的奠基者
香农：信息论的奠基者（1）个人简介克劳德·香农（Claude Shannon，1916年4月30日—2001年2月24日）是美国数学家、信息论的创始人。
1916年4月30日出生于美国密歇根州的加洛德（Petoskey）。
1936年毕业于密歇根大学并获得数学和电子工程学士学位。
1940年获得麻省理工学院（MIT）数学博士学位和电子工程硕士学位。
1941年他加入贝尔实验室数学部，工作到1972年。
1956年他成为麻省理工学院（MIT）客座教授，并于1958年成为终生教授，1978年成为名誉教授。
香农博士于2001年2月26日去世，享年84岁。
香农提出了信息熵的概念，创立香农三大定理，为信息论和数字通信奠定了基础。
主要论文有：1938年的硕士论文《继电器与开关电路的符号分析》，1948年的《通讯的数学原理》和1949年的《噪声下的通信》。
被誉为信息论的创始人。
——摘自百度百科（2）非凡风采香农在工作香农在贝尔实验室老年香农（3）主要贡献香农在普林斯顿高级研究所（The Institute for Advanced Study at Princeton）期间，开始思考信息论与有效通信系统的问题。
经过8年的努力，从1948年6月到10月，香农在《贝尔系统技术杂志》（Bell System Technical Journal）上连载发表了影响深远的论文《通讯的数学原理》。
1949年，香农又在该杂志上发表了另一著名论文《噪声下的通信》。
在这两篇论文中，香农解决了过去许多悬而未决的问题：阐明了通信的基本问题，给出了通信系统的模型，提出了信息量的数学表达式，并解决了信道容量、信源统计特性、信源编码、信道编码等一系列基本技术问题。
两篇论文成为了信息论的基础性理论著作。
——选自维基百科（4）一个理论改变了一个时代——香农诞辰百年纪念（2016）今年是信息论的创始人香农（C.E.Shannon，1916-2016）诞辰100周年。
香浓信息论完成版
– 有效性 经济性好，即用尽可能短的时间和尽可能少的设备来传 送—定数量的信息。
– 保密性 隐蔽和保护通信系统中传送的消息，使它只能被授权接收 者获取，而不能被未授权者接收和理解。
– 认证性 接收者能正确判断所接收的消息的正确性，验证消息的完 整性，而不是伪造的和被窜改的。
– 有效性、可靠性、保密性和认证性四者构成现代通信系统对信息传 输的全面要求。
研究内容
对信息论的研究内容一般有以下三种理解。 – 狭义信息论（经典信息论）：主要研究信息的测度、信道容量以及信
源和信道编码理论等问题。这部分内容是信息论的基础理论，又称为 香农信息论。 – 一般信息论（通信理论）：主要是研究信息传输和处理问题，除了香 农理论外，还包括噪声理论、信号滤波和预测、统计检测和估计理论、 调制理论以及信息处理理论等。 – 广义信息论：广义信息论不仅包括上述两方面的内容，而且包括所有 与信息有关的领域，如模式识别、计算机翻译、心理学、遗传学、语 言学等等。
本课程讨论香农信息理论
香农其人
• 2001年2月24日，香农在马萨诸塞州Medford辞 世，享年85岁。
• 贝尔实验室和MIT发表的讣告都尊崇香农为 信息论及数字通信时代的奠基之父。
香农其人—信息理论
• 1948年发表论文 ： 《A Mathematical Theory of Communication 》 “通信的根本问题是报文的再生，在某一点与另外
热能不能完全转化为机械能，只能从高温物体传到低温物体
香农公式
• 香农在信息论中指出，如果信源的信息速率R小于或者等于信道容 量C，那么，在理论上存在一种方法可使信源的输出能够以任意小的 差错概率通过信道传输。 该定理还指出：如果信息速率R>信道容量C，则不可能传递信息 .s 香农提出并严格证明了“在被高斯白噪声干扰的信道中，计算 最大信息传送速率C公式”： C=Blog2(1+S/N) 式中：B是信道带宽（赫兹），S是信号功率（瓦），N是噪声功率 （瓦）。 该式即为著名的香农公式，显然，信道容量与信道带宽成正比， 同时还取决于系统信噪比以及编码技术种类。
香农_信息论及数字通信之父
香农：信息论及数字通信之父刘瑞挺／文２０世纪中叶，信息论、控制论、系 统论等标新立异的新理论相继问世，有力地“晃动”着传统的科学框架。
克劳德·香农是一位美国数学工程师，作为信息论的创始人，人们认为他是２０世纪最伟大的科学家之一。
他在通信技术与工程方面的创造性工作，为计算机与远程通信奠定了坚实的理论基础。
人们尊崇香农为信息论及数字通信时代的奠基之父。
确实，他对人类的贡献超过了一般的诺贝尔获奖者。
回顾２０世纪的信息革命风暴，经他阐明的信息概念、连同“比特”这个单位已经深入人心，成为今天日常生活都离不开的词汇。
家庭背景克劳德·香农（Ｃｌａｕｄｅ ＥｌｗｏｏｄＳｈａｎｎｏｎ，１９１６－２００１）１９１６年４月３０日诞生于美国密西根州的Ｐｅｔｏｓｋｅｙ。
在Ｇａｙｌｏｒｄ小镇长大，当时镇里只有三千居民。
父亲是该镇的法官，他们父子的姓名完全相同，都是Ｃｌａｕｄｅ ＥｌｗｏｏｄＳｈａｎｎｏｎ。
母亲是镇里的中学校长，姓名是Ｍａｂｅｌ Ｗｏｌｆ Ｓｈａｎｎｏｎ。
他生长在一个有良好教育的环境，不过父母给他的科学影响好像还不如祖父的影响大。
香农的祖父是一位农场主兼发明家，发明过洗衣机和许多农业机械，这对香农的影响比较直接。
此外，香农的家庭与大发明家爱迪生（Ｔｈｏｍａｓ Ａｌｖａ Ｅｄｉｓｏｎ，１８４７－１９３１）还有远亲关系。
香农的大部分时间是在贝尔实验室和ＭＩＴ（麻省理工学院）度过的。
在“功成名就”后，香农与玛丽（Ｍａｒｙ Ｅｌｉｚａ－ｂｅｔｈ Ｍｏｏｒｅ）１９４９年３月２７日结婚，他们是在贝尔实验室相识的，玛丽当时是数据分析员。
他们共有四个孩子：三个儿子Ｒｏｂｅｒｔ、Ｊａｍｅｓ、Ａｎｄｒｅｗ Ｍｏｏｒｅ和一个女儿Ｍａｒｇａｒｉｔａ Ｃａｔｈｅｒｉｎｅ。
后来身边还有两个可爱的孙女。
２００１年２月２４日，香农在马萨诸塞州Ｍｅｄｆｏｒｄ辞世，享年８５岁。
贝尔实验室和ＭＩＴ发表的讣告都尊崇香农为信息论及数字通信时代的奠基之父。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
消息、信号和信息
信号最具体，它是一物理量，可测量、可显示、 可描述，同时它又是载荷信息的实体 信息的物理层表达 消息是具体的、非物理的，可描述为语言文字、 符号、数据、图片，能够被感觉到，同时它是信 息的载荷体，是信息论中主要描述形式 信息的数学层表达 信息是抽象的、非物理的 哲学层表达
香农其人—信息理论
• 通信的数学理论是香农在数学与工程研究 上的顶峰。他把通信理论的解释公式化， 对最有效地传输信息的问题进行了研究。 • 后来，写道： “信息理论可能像一个升空的气球，其重 要性超过了它的实际成就”
香农其人—信息理论
• 香农理论的重要特征是熵(entropy)的概念， 他证明熵与信息内容的不确定程度有等价 关系。 • 熵曾经是波尔兹曼在热力学第二定律引入 的概念，可以把它理解为分子运动的混乱 度。 信息熵也有类似意义。
2018/10/19 9
信息的特征
《信息论——基础理论与应用》，博祖芸编著，电子工业出版社
1. 信息的客观性 2. 信息与载体的不可分割性
3. 信息的价值性
4. 信息的时效性 5. 信息的可分享性 6. 信息的可传递性 7. 信息的可扩散性
2018/10/19 10
信息的特征
8. 信息的可加工性
信源、信宿和信道
信源：发送消息的源
–
–
离散信源和连续信源 信源是信息论的主要研究对象之一，但在信息论中 并不探讨信源的内结构和物理机理，而把注意力放 在信源的输出上，重点讨论信源输出的描述方法及 性质。
信宿：信息归宿之意，亦即收信者或用户，是信息
传送的终点或目的地。
信道：传输信息的物理媒介
2018/10/19
22
信源编码器与译码器
信源编码器的作用
–
把信源发出的消息变换成由二进制码元(或多进制码 元)组成的代码组，这种代码组就是基带信号。 同时通过信源编码可以压缩信源的冗余度，以提高通 信系统传输消息的效率。
–
信源译码器的作用
–
把信道译码器输出的代码组变换成信宿所需要的消息 形式，它的作用相当于信源编码器的逆过程。
香农其人—攻读学位
• 1940年香农在MIT获得数学博士学位，而 他的博士论文却是关于人类遗传学的，题 目是 《An Algebra for Theoretical Genetics》 (理论遗传学的代数学)。
香农其人—信息理论
• 1948年发表论文 ： 《A Mathematical Theory of Communication 》 “通信的根本问题是报文的再生，在某一点 与另外选择的一点上报文应该精确地或者 近似地重现” 这篇论文建立了信息论这一学科，给出了 通信系统的线性示意模型的新思想 在这篇论文中，香农首次引入“比 特”(bit)一词
如何度量信息
如何衡量信息量的大小?
事件发生的概率越小，此事件含有的信息量就越大。（ 不太可能发生的事件竟然发生了，令人震惊） 例1：中国足球队5：0力克韩国足球队”含有的信 息量大。（小概率事件发生了，事件信息量大） 例2: 中国足球队0：1负于韩国足球队”含有的信 息量小。（大概率事件发生了，事件信息量小）
有关哲学家的论述
信息是一切物质的属性 信息就是信息，不是物质也不是能量
2018/10/19 5
消息、信号和信息
信源
(发送者) 干扰或噪声 消息
信道
信宿
(收信者)
消息（Message）：
信源发出的语言、文字、公式、数据、声音、图像 等等。每个消息都是具体的，其内容千千万万，形式多种 多样。
信息及香农信息论简介
大纲
第一部分 信息的概念 第二部分 香农信息论及应用 第三部分 香农信息论的局限性 第四部分 结束语
世界的支柱之一:信息
物质世界的三大支柱：物质、能量和信息
–
–
–
Without materials, there is nothing. 没有物质的世界是虚无的世界 Without energy, nothing happens. 没有能源的世界是死寂的世界 Without information, nothing makes sense. 没有信息的世界是混乱的世界
24
2018/10/19
大纲
第一部分 信息的概念 第二部分 香农信息论及应用 第三部分 香农信息论的局限性 第四部分 结束语
香农信息论及应用
Claude Shannon (19162001)
香农其人
• 20世纪中叶，信息论、控制论、系统论等 标新立异的新理论相继问世，有力地“晃 动”着传统的科学框架。克劳德· 香农是一 位美国数学工程师，作为信息论的创始人， 人们认为他是20世纪最伟大的科学家之一。 他在通信技术与工程方面的创造性工作， 为计算机与远程通信奠定了坚实的理论基 础。人们尊崇香农为信息论及数字通信时 代的奠基之父。 • 信息概念、“比特”
信息量 •我向你提供的信息量的大小就是你事先不知道结 果的程度!也即是信息的不确定度。 •如果你事先全知道了,说明我提供的信息量等于0; •如果你事先一无所知,说明我提供的信息量最多. •不知道意味着在我告诉你之前你只能猜测! •猜测就是按照每个可能结果的出现概率进行猜测! •因此,你只知道这个事情的每个结果的发生概率!
13
何为信息? 什么能提供信息?
例一：扔硬币
正反面不确定
例二：天气预报
晴、多云、雨、雪、风：不确定
例三：足球比赛
胜负关系不确定
2018/10/19
14
何为信息? 什么能提供信息?
消息
打电话时对方发出的声音 互联网上的网页 广播、电视的节目
有些消息我们是未知的，有些是我们已知的 人们感兴趣的是未知的消息
2018/10/19 8
信息的特征
信息的基本概念在于它的不确定性，任何已确定 的事物都不含信息。 接收者在收到信息之前，对它的内容是不知道 的，所以信息是新知识、新内容 信息是能使认识主体对某一事物的未知性或不 确定性减少的有用知识 信息可以产生，也可以消失，同时信息可以被 携带、贮存及处理 信息是可以量度的，信息量有多少的差别
美国电机和电子工程协会的荣誉奖
香农的贡献
• 1948年发表“保密通信的信息理论”，首先用信 息论的观点对信息保密问题作了全面的论述；
香农其人
• 2001年2月24日在马萨诸塞州的Medford 因老年痴呆症与世长辞，享年85岁。 • 贝尔实验室和MIT发表的讣告都尊崇香农为 信息论及数字通信时代的奠基之父。
香农其人—攻读学位
• 1938年在MIT获得获得电气工程硕士学位，硕士论文题 目是《A Symbolic Analysis of Relay and Switching Circuits》 (继电器与开关电路的符号分 析)。他注意到电话交换电路与布尔代数之间的类似性， 即把布尔代数的“真”与“假”和电路系统的“开”与 “关”对应起来，并用1和0表示。于是他用布尔代数分析 并优化开关电路，这就奠定了数字电路的理论基础。 • 哈佛大学的伽登纳(Howard Gardner)教授说，“这可能 是本世纪最重要、最著名的一篇硕士论文。”
信号（Signal）：
替代消息并适合于在信道中传输的是连续或脉冲的 电压、电流、电磁波及光波。
2018/10/19 6
消息、信号和信息
信息（Information）：
信息是消息的内涵，是信号的价值，信息 是能使信宿得以获知解惑的东西。
它应当是从千千万万不同形式不同内容的 消息中抽象出来的、具有共性的、可定量 测度的一个量，应该有它的单位和数学表 达。
信息的定义
从日常生活知识来理解
英国牛津字典：信息是谈论的事情、新闻和知识 韦氏字典： 在观察研究过程中获得的数据情报、新闻和知识 信息是所观察事物的知识 日本广辞苑：
有关科学家的论述
香农：信息是事物运动状态或存在方式的不确定性 的描述 艾什比：把信息定义为“差异度” 维纳：把信息定义为一种“组织性”的度量
17
信息量的度量
•所以,我提供的信息量就是由你事先知道的每个 可能结果的发生概率(即随机事件的概率分布)决 定. 简单地说,信息就是: (1) 当未知的变成已知的之后获取的信息; (2) 当未知的还没变成已知之前包含的未知信 息.
18
信息量的度量
•通常的信息是指: (1) 一个实验提供的信息; (2) 一个随机事件包含的信息; (3) 一个随机变量包含的信息. 其中(1)和(2)的含义相同,它们比(3)的意义 更加广泛.
香农其人—参加工作
• 1941年香农以数学研究员的身份进入新泽西州的AT&T贝 尔电话公司，并在贝尔实验室工作到1972年；从24岁到 55岁，整整31年。 • 1956年他当了MIT的访问教授，1958年成为正式教授， 1978年退休。 • 二战时期，香农博士是一位著名的密码破译者。1949年 香农发表了另外一篇重要论文 《Communication Theory of Secrecy Systems》 意义：使保密通信由艺术变成科学！
热能不能完全转化为机械能， 只能从高温物体传到低温物 体
香农其人—业余爱好
• 香农可以熟练地玩一套杂技。 一个脍炙人口的故事：他经常骑着独轮车、手里抛着三 个球来到贝尔实验室的大厅。 发明过有两个座位的独轮车，不过恐怕没有人敢与他 享；他还把独轮车造成偏离地心的，骑在上面忽高忽 低，像鸭子行走似的 这些活动表明了香农的主张，即好奇心比实用性对他的 刺激更大。 他的名言是：“我感到奇妙的是事物何以集成一体。”
9. 信息的可再现性
10. 信息的可存储性 11. 信息的积累性 12. 信息的延续性和继承性 13. 信息的可开发性