香农的信息论的局限性及其推广研究
对香农三大定理的分析与探讨
对香农三大定理的分析与探讨摘要本文针对香农三大定理的内容，进行理论分析，探讨了无失真信源编码、有噪信道编码和保真度准则下的信源编码定理。
通过对离散信源熵的分析，延伸到了对扩展信源的理解，同时结合著名的香农公式和信息论与编码的发展史，指出了香农三大定理的意义。
一、香农第一定理香农第一定理主要研究信息的测度，对应的是无失真信源编码定理。
采用无失真最佳信源编码，可以使得用于每个信源符号的编码位数尽可能地小，但它的极限是原始信源的熵值，超过了这一极限就不可能实现无失真的译码。
1.1 离散信源熵1.1.1 信源的概念信源发出消息，消息载荷信息，而消息又具有不确定性，故而可以用随机变量或随机矢量来描述信源输出的消息。
从随机变量出发来研究信息，这正是香农信息论的基本假说。
而离散信源指的是这类信源输出的消息常以一个符号、一个符号的形式出现，这些符号的取值是有限的或者是可数的。
单符号离散信源只涉及一个随机事件，多符号离散信源则涉及多个随机事件。
1.1.2 信源熵的概念及其性质在度量信息的各种方法中，香农提出了解决信息度量问题的方法——熵，这是香农信息论最基本的，也是最重要的概念[1]。
信源熵，即信源的信息熵，又称香农熵、无条件熵，简称熵。
信源各个离散消息的自信息量的数学期望是信源的平均信息量，实质上是无记忆信源平均不确定度的度量。
信源熵表示在信源输出消息前，信源的平均不确定度，也表示在信源输出消息后，平均每个离散消息所提供的信息量，能够反映变量的随机性。
当消息出现的概率相同时，猜测每一个消息发生错误的概率均相同，说明等概率信源的不确定性最大，具有最大熵[2]。
1.2 无失真离散信源编码1.2.1 信源编码的概念信源编码处于通信系统的前端，直接对信源发出的信号进行变换处理。
通过压缩每个信源符号的平均比特数或信源的码率，以较少的码率来传送同样多的信息，增加单位时间内传送的平均信息量，来压缩信源的冗余度，从而提高通信的有效性。
香农和信息论
香农和信息论克劳德·香农(Claude Elwood Shannon)1916年4月30日诞生于美国密执安州，他生长在一个有良好教育的环境，香农的祖父是一位农场主兼发明家，发明过洗衣机和许多农业机械，祖父的发明创造对香农影响很大。
此外，香农的家庭与大发明家爱迪生还有远亲关系。
在童年时代，香农还喜欢组装无线电收音机、练习莫尔斯电报码、研究密码学等等。
他有许多爱好，另人难以置信是香农可以熟练地玩一套杂技，他能骑着独轮车手里来回抛着三个球在贝尔实验室的大厅里骑来骑去。
他发明过有两个座位的独轮车，并使该独轮车好象偏离地心似的，骑在上面忽高忽低，像鸭子行走一样。
香农的一生都迷恋于平衡与控制稳定性。
他设计并建造了下棋机器、迷宫老鼠、杂耍器械以及智力阅读机等，下国际象棋的机器包括用3个指头能抓起棋子的手臂、蜂鸣器以及简单的记录装置。
这些活动表明香农有十分的好奇心和探索精神。
香农有一句名言是：“我感到奇妙的是事物何以集成一体。
”1936年香农在密执安大学获得数学与电气工程学士学位；1938年香农写出论文《继电器与开关电路的符号分析》，当时他就发现电话交换电路与布尔代数之间具有类似性，即把布尔代数的“真”与“假”和电路系统的“开”与“关”对应起来，并可用1和0表示。
随后又证明布尔代数的逻辑运算，可以通过继电器电路来实现，明确地给出了实现加、减、乘、除等运算的电子电路的设计方法，他在实践中进一步证明，可以采用能实现布尔代数运算的继电器或电子元件来制造计算机。
他奠定了数字电路的理论基础，并使计算机具有逻辑功能，从而使计算机既能用于数值计算，又具有各种非数值应用功能，使得以后的计算机在几乎任何领域中都得到了广泛的应用。
1941年他加入贝尔实验室数学部，工作到1972年。
1956年他成为MIT（麻省理工学院）客座教授，并于1958年成为终生教授，1978年成为名誉教授。
香农博士于2001年2月26日去世，享年84岁。
香农的信息论的局限性及其推广研究
香农的信息论的局限性及其推广研究（一）立项依据与研究内容1.项目的立项依据【研究意义】关于香农信息论的局限性一直都有研究，但是信息的可靠性的研究一直在很大程度上受到忽视，比如香农（Shannon，又译申农、仙农）的信息论只是涉及到信息传输过程中的可靠性，香农对信息的定义和度量都从随机不确定性的角度来进行考虑。
目前信息的定义超过80种之多，但是信息的定义都缺乏对信息可靠性的考虑，一些信息的定义把信息当作对事物的一种真实的反映，然而信息的不可靠性是广泛存在的，从严格的角度来讲，信息很难是绝对可靠的，包括一些科学规律（一种特别的信息），也只能被证伪，而不能被证明是正确的，用于获取信息的人的感官和各种仪器设备也存在一定的不可靠性。
信息的不完备性，也是广泛存在的，往往由于条件的限制而不能得到完全的信息，如何将许多片面的信息进行融合，让信息更加完备，也是一个很重要的问题（特别说明：这里的可靠性是信息本身的可靠性，而不是信息传递、存储等方面的可靠性）。
信息的价值之所以存在，还是因为信息具有一定的可靠性，我们处于信息社会，各种各样的信息在急遽增长，如何很好利用信息，识别信息，提高信息的可靠性，将各种不完备，不可靠的信息进行利用、融合和提取，显然是非常重要的。
信息的可靠性不能完全靠人工来鉴别，人工作业有其不精确性，主观性，应当尽量采用信息技术来自动解决，减少人为判断。
互联网的出现使得信息不断急遽增长，人工处理这些浩如烟海的信息将是很困难，不现实的，需要建立相关的信息理论来通过计算机融合信息。
然而香农的信息论并不能解决这些问题，他的信息论仅仅适应于通信等很局限的领域。
一些学者提出了广义信息论、全信息理论，统一信息理论扩展了他的理论，但是这些理论都没有考虑信息的可靠性方面。
此外，它与其他的一些信息相关的学科在一定程度上是隔离的。
在申请人提出了信息的可靠性问题后，一些学者认为可靠性是信息的重要方面，建议笔者建立可靠信息论。
香农信息论
信息论对传播学的影响
1.香农的单传播行为的模式有助于奠定传播学的学术领域。
2.香农信息论的第三个要素，也就是在他信息的定义和测度、以及他的传播 模式之后，是他关于信道能力的命题。香农的信息概念化工作为传播学学者 广泛采用，他的传播模式及其修正液引起了非常普遍的关注。
研究的目的和内容
找到信息传输过程的共同规律，提 高信息传输的可靠性、有效性、保 密性和认证性，以达到信息传输系 统的最优化。
香农信息论体系结构
Shannon信息论
压缩理论
传输理论
无失真编码
有失真编码
等长编码 定理
Shannon 1948
McMillan 1953
变长编码 定理
Shannon 1948
建立了一些重要的性能界：信源输出的最可能 的信息量，满足一定失真度的要求所必须传递 的最小信息量，信道上的最大可能通过能力等
建立了一组重要的编码定理，从理论上指明了 为达到上述性能界限应当遵循的信息处理的方 法和原则。
信息论的研究对象
通信系统模型，人们通过系统中消息的传输和处理来研究信息传输和处 理的共同规律
香农信息论的影响
1948年以后，香农的信息论在物理学、生物学和社会科 学等学术团体中得到迅速而又广泛的传播。信息论被普遍引 用，这种影响历时多年经久不衰。香农的（以熵的公式所测 度的）信息概念对于传播学学者来说有着直接的用处。或许 这就是为什么他的理论通常被称为“信息”理论、而不是 “传播”理论的原因，后者是香农用来表示其理论的术语。
信息论的影响
信息论的局限性
1.香农的电子通信过程是一个直线单项的过程，缺乏反馈 环节 2.香农把他的模式限于工程或技术传播，显而易见，人类 主观解释的过程也被包含在过程信道之中，但是具有数学 倾向的香农将人类传播的意义限定在他的范围之外。 3.香农的信息论仅限于通信等很局限的领域 4在密码分析方面，缺乏对信息的不确定性和信息融合的研 究 5.重视传播过程，不重视传播效果 6.香农的理论涉及很多数学命题，就很少为传播学学者所 研究，大部分的传播学者缺少必要的数学能力去从事这一 工作。
香农的信息论的局限性与推广研究
扩展信息论模型
为了克服香农信息论的局限性，需要进 一步发展和完善信息论模型，以适应更 广泛的应用场景。
VS
结合其他理论
可以尝试将香农信息论与其他理论进行结 合，例如统计学习理论、复杂系统理论等 ，以实现更有效的信息处理和分析。
04
香农信论的应用场景
密码学中的应用
密码学基础
01
香农信息论为密码学提供了理论基础，包括对称加密、非对称
香农信息论的主要内容
• 香农信息论主要包括信息的度量、信息的传递和信息的压缩三个方面。其中， 信息的度量是指如何评估信息的不确定性，信息的传递是指如何在信道中传输 信息，信息的压缩则是指如何有效地存储和传输信息。
香农信息论的发展历程
• 香农信息论自提出以来，经历了多个发展阶段。在早期，香农信息论主要关注于通信领域中的一些基本问题， 如信道的容量、噪声和失真等。随着计算机科学和人工智能的不断发展，香农信息论逐渐被应用于这些领域， 以解决一些与信息和知识处理相关的问题。
缺乏对信息来源和传播方式的研究
香农信息论主要关注信息的量和质量，但并未涉及信息的来 源和传播方式。在现实生活中，信息的来源和传播方式对信 息的价值和影响力有着重要影响。
对于信息的来源，需要考虑信息的产生背景、可信度、权威 性等因素；对于信息的传播方式，需要考虑信息的传播途径 、受众群体、传播效果等因素。这些因素在香农信息论中并 未涉及，需要进一步拓展研究领域。
02
香农信息论的局限性
只能处理离散信息，难以处理连续信息
香农信息论主要针对离散信息进行建模和分析，例如二进制或有限字符集等。然而，在现实世界中， 连续信息更为普遍，如语音、图像和视频等。香农信息论难以直接应用于这些连续信息领域，需要进 一步的研究和扩展。
香农的信息论的局限性及其推广
信息论的意义与应用
信息论为信息的度量提供了统一的标准，有助于提高信息的 有效性和可靠性。
信息论在通信、计算机科学、生物学、心理学、社会学等领 域都有广泛的应用，为各学科的发展提供了新的思路和方法 。
02
香农信息论的基本概念与理论
Chapter
信息量的定义与测量
香农信息量
基于概率的不确定性程度，用数学公式表示为-log2(p)，其中p为事件发生的 概率。
信息论与其他学科的融合与发展趋势
与计算机科学融合
随着计算机科学的发展，信息的表示、处理和传输方 式发生了巨大变化。信息论与计算机科学的融合将为 信息的处理和利用提供更高效和安全的方式。
与物理学融合
量子信息论的发展促使信息论与物理学的融合，一些 物理原理可以用于信息的处理和传输，这将为信息科 学的发展提供新的思路和方法。
01
语义信息
随着人工智能和自然语言处理技术的发展，对信息的语义理解成为研究
热点。如何将语义信息纳入信息论框架是未来的一个研究方向。
02 03
量子信息
量子力学的一些原理可以用于信息处理，量子信息论的发展将为信息科 学提供新的发展方向。如何将量子原理应用于信息论是未来的一个挑战 。
信息经济学
在大数据和人工智能的背景下，信息的价值和使用价值成为研究的焦点 。信息经济学的发展将为信息资源的配置和利用提供理论支持。
计算机科学
香农信息论在计算机科学领域 有着广泛的应用，为计算机程 序的编写和数据压缩提供了理
论基础。
通信工程
香农信息论为通信系统的设计和优 化提供了重要的理论支撑，有助于 实现更加高效和可靠的数据传输。
物理学
香农信息论在物理学领域的应用， 如量子信息论和热力学，为深入研 究微观世界和复杂系统提供了新的 视角。
信息论在数据传输中的应用研究
信息论在数据传输中的应用研究近年来，随着信息技术的飞速发展，数据传输已经成为现代社会中不可或缺的一部分。
在这个信息爆炸的时代，如何高效地传输和利用大量的数据成为了人们关注的焦点。
信息论作为一门独立的学科，正逐渐被广泛应用于数据传输领域。
本文将探讨信息论在数据传输中的应用研究，以及相关的挑战和未来的发展方向。
一、信息论的基本概念信息论是由香农（Claude Shannon）在1948年提出的，它研究的是信息的存储、压缩和传输。
信息在信息论中被量化为比特（bit），表示信息的最小单位。
在信息论中，还引入了熵（entropy）的概念，用来度量一组信息的不确定性。
熵越大，信息的不确定性就越高。
二、信息论在数据压缩中的应用数据压缩是将原始数据转换为更小的表示形式，从而减少数据的存储空间和传输带宽。
信息论的熵和编码理论为数据压缩提供了重要的基础。
通过使用无损压缩算法，如霍夫曼编码和算术编码，可以实现对数据进行高效的压缩。
这些算法根据各个符号的出现频率，为每个符号分配较短的编码。
例如，一些常用的英文字母被分配到更短的编码，而不常用的字母则被分配到较长的编码。
这种压缩方法可以显著减少数据的存储和传输成本。
三、信息论在信道编码中的应用信道编码是指在有噪声或有干扰的信道中，通过添加冗余数据来提高数据传输的可靠性的技术。
信息论中的信道容量概念被用来衡量在特定噪声条件下的最大数据传输速率。
在实际应用中，我们往往借助编码技术来接近这个最大容量。
常见的信道编码方法有海明码、卷积码和LDPC码等。
这些编码技术通过引入冗余来提供容错能力，可以通过纠错和检错算法来恢复传输过程中出现的错误。
信息论的信道编码理论为设计高效的信道编码方案提供了指导和分析工具。
四、信息论在网络通信中的应用网络通信是现代社会的重要组成部分，也是信息论应用的一个重要领域。
信息论通过研究网络的拓扑结构、路由算法和调度策略等问题，来提高网络通信的效率和可靠性。
香农信息定义分析与改进
香农信息定义分析与改进
香农信息论是由美国数学家克劳德·香农于20世纪40年代提出的一种通信理论。
该理论主要研究信息的传输、存储和处理，以及信息的可靠性和效率问题。
香农信息论最基本的概念是信息的概率论定义。
香农定义了信息量的度量方式，将信息的度量单位称为比特（bit）。
一个
比特的信息量等于用一个二进制数字表示一个事件发生的概率的负对数。
比如，如果一个事件发生的概率是1/2，那么该事件的信息量为1比特。
信息量越大，表示事件的不确定性越高，信息的重要性也就越大。
在香农信息论中，还引入了熵的概念。
熵是对一个随机变量的不确定性的度量，表示平均每个符号所包含的信息量。
熵越大，表示随机变量的不确定性越高，信息的平均度量也就越大。
熵可以用来衡量信息源的纯度和复杂性，对于设计有效的编码和压缩算法非常重要。
除了熵和信息量的概念之外，香农信息论还研究了信道容量和编码理论等问题。
信道容量是指在给定信噪比下，信道所能传输的最大有效信息量。
编码理论则研究如何用更少的比特表示更多的信息，以提高信息的传输效率和可靠性。
虽然香农信息论在通信领域有着广泛的应用，但也存在一些问题和改进的空间。
例如，香农信息论主要关注信息的传递和处理，但在现实生活中，信息的解释和理解也是非常重要的。
此外，随着技术的不断发展，信息的形式也越来越多样化，包括文本、图像、音频、视频等，如何应用香农信息论来处理多媒体信息，仍然需要进一步研究和改进。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
香农的信息论的局限性及其推广研究（一）立项根据与研究内容1.项目的立项根据【研究意义】关于香农信息论的局限性一直都有研究，但是信息的可靠性的研究一直在很大程度上受到忽视，比如香农（Shannon，又译申农、仙农）的信息论只是涉及到信息传输过程中的可靠性，香农对信息的定义与度量都从随机不确定性的角度来进行考虑。
目前信息的定义超过80种之多，但是信息的定义都缺乏对信息可靠性的考虑，一些信息的定义把信息当作对事物的一种真实的反映，然而信息的不可靠性是广泛存在的，从严格的角度来讲，信息很难是绝对可靠的，包含一些科学规律（一种特别的信息），也只能被证伪，而不能被证明是正确的，用于获取信息的人的感官与各类仪器设备也存在一定的不可靠性。
信息的不完备性，也是广泛存在的，往往由于条件的限制而不能得到完全的信息，如何将许多片面的信息进行融合，让信息更加完备，也是一个很重要的问题（特别说明：这里的可靠性是信息本身的可靠性，而不是信息传递、存储等方面的可靠性）。
信息的价值之因此存在，还是由于信息具有一定的可靠性，我们处于信息社会，各类各样的信息在急遽增长，如何很好利用信息，识别信息，提高信息的可靠性，将各类不完备，不可靠的信息进行利用、融合与提取，显然是非常重要的。
信息的可靠性不能完全靠人工来鉴别，人工作业有其不精确性，主观性，应当尽量使用信息技术来自动解决，减少人为推断。
互联网的出现使得信息不断急遽增长，人工处理这些浩如烟海的信息将是很困难，不现实的，需要建立有关的信息理论来通过计算机融合信息。
然而香农的信息论并不能解决这些问题，他的信息论仅仅习惯于通信等很局限的领域。
一些学者提出了广义信息论、全信息理论，统一信息理论扩展了他的理论，但是这些理论都没有考虑信息的可靠性方面。
此外，它与其他的一些信息有关的学科在一定程度上是隔离的。
在申请人提出了信息的可靠性问题后，一些学者认为可靠性是信息的重要方面，建议笔者建立可靠信息论。
由于可靠性可能过于狭隘，而使用相对信息论命名，除了考虑可靠性外，它具有更加深远的意义，有助于解决与解释更多的问题。
在密码分析方面，缺乏对信息的不确定性与信息融合的研究，比如当多个伪密钥存在的情况下，如何进行推断分析。
密码分析前已知的信息与密码分析得到的信息如何进行融合，密码分析得到的信息是不可靠的时候，或者者密码分析得到的信息只能得出某些需要熟悉的信息的不确定的概率分布且事先也对这些需要熟悉的信息从其他的角度得出某一概率分布时候，如何来得出更加完备与可靠的信息，都是尚未研究的领域。
【国内外研究现状及进展动态分析】香农信息论的局限性很早就被认识到，包含香农本人。
香农的信息论诞生不久，许多人将它推广到日常信息交流场合，因此出现纰漏。
香农也曾经辑文反对信息论的滥用。
与Shannon合著《通信的数学理论》一书的W. Weaver就提出通信的三个水平，而香农理论仅仅是其中一个水平。
为熟悉决语义信息问题，R. Carnap等人提出用逻辑概率代替普通概率，然后用Shannon 熵度量语义信息。
50年代末，Kullback提出Kullback信息公式。
60年代初，Brillouin提出可用Hartley公式的改进形式来度量非概率信息，比如测量数据的信息。
1965年，L. A. Zadeh提出模糊集合论，1968年，他又提出模糊事件，即模糊集合A 中事件的概率，与模糊集合的熵。
1972年,德鲁卡与特尔米尼提出了用来测度模糊事件的信息量的模糊信息熵公式。
70年代，H. Gottinger提出非概率信息，S.Guiasu提出了加权熵与效用信息，都产生了一定影响。
G. Jumarie还提出使用洛伦兹变换的相对信息，惋惜相对信息的定义并不自然，它与本项目的相对信息有很大的差别。
此后，R. Yager，M. Higashi与G. Klir，D. Dubois与H. Prade 等人又提出或者讨论了可能不确定性测度及相应的广义熵，这类方法只使用隶属度等主观测度而不使用事件发生的概率。
吴伟陵教授对广义熵与模糊信息做过探讨。
我国学者钟义信先生1981年针对香农信息论的熵公式只能度量概率信息的缺陷,提出了一种"广义信息函数"。
1985年,他又把该公式推广到语义信息与语用信息的度量,得到了语法,语义与语用信息的综合测度公式,即所谓"全信息"的计量模型。
1993年，鲁晨光提出广义信息论，指出香农信息论的局限性具体表现在:不便于度量语义信息、感受信息、信源信道可变时的信息与单个信号的信息。
鲁晨光提出了广义通信模型与可度量语义信息、感受信息及测量信号信息的广义信息测度；讨论了预测与检测的信息准则与优化理论。
George J. Klir则在模糊逻辑，不分明集这些不确定性方面作出了许多的研究。
斯托尼尔在90年代初提出统一的信息理论,他把信息看成是宇宙的一种基本属性,其目标是在信息物理学的基础上,并综合现有的操纵论,符号学,语言学,认知心理学等学科,构建一个所谓通常信息理论的框架。
这些新的理论都是在香农的基础上进行扩展，认识到了香农的一些局限性，都很重视对单重不确定性（信息熵）的研究，但是都没有考虑的信息的可靠性这一问题，即信息与客观事实与真理的符合程度，从信息表示的角度，也就是说没有考虑到信息的表示是不确定性的，如信息的表达中概率是变动的，随机的。
此外关于信息的定义非常多，但是并不存在公认的定义，绝大多数定义都没有考虑信息的可靠性，信息的定义也是以“信息是消除不确定性的东西”得到广泛的重视。
关于不确定性理论，有关的推理模型没有一个统一的模型，种类不计其数，其中比较著名的有：Shortliffe在1975年结合医疗专家系统MYCIN建立的确定性理论，Duda在1976年结合探矿专家系统PROSPECTOR建立的主观Bayes 推理，Dempster Shafer在1976年提出的证据理论，Zadeh在1978年提出的可能性理论，1983年提出的模糊逻辑与逻辑推理，Nilsson在1986年提出的概率逻辑，Pearl在1986年提出的信任网络。
八十年代以后，人们又提出了灰色系统理论、粗集理论、概念图、基于信比概念的知识处理与集对分析等新方法。
国内学者李德毅提出了云模型，何华灿提出了泛逻辑学。
但是不确定性理论通常是不够严谨的，甚至还存在一些冲突与悖论。
这些理论与概率论与信息论都是出现了不应该有的隔离，特别是与信息论与不确定性理论、信息融合相去甚远。
能够说信息与知识与智能已经隔离了，国内学者钟义信认识到这一问题，提出信息－知识－智能转换的规律，提出了一些框架。
在可靠性理论方面，要紧是研究工程、产品与系统的可靠性，其中包含软件产品的可靠性，涉及到信息的要紧是针对信息系统的可靠性、可靠性有关的信息的处理软件系统与可靠性有关的信息的分析与利用设计。
除申请人提出了信息的可靠性问题，同时分析了它与不确定性的关系外，目前尚未见到有对信息本身的可靠性有关的其他研究，而信息的可靠性问题比通常的可靠性问题更加复杂。
【要紧参考文献】[1]. Shannon C E. A mathematical theory of communication，Bell System Technical Journal,27 (1948)，379—429，623—656[2]. 美〕威弗尔. 通讯的数学理论的新进展，系统论操纵论信息论经典文献选编，求实出版社，1989,612—636[3]. 汪培庄. 模糊集与随机集落影，北京师范大学出版社，1984.[4]. 宛天巍，王浣尘，张旭，信息测度方法的综述，系统工程理论方法应用，第14卷第6期，2005年12月[5]. Wierman, M.J.,Tastle, W.J. Placing the Dissonance Measure in the Context of Generalized Information Theory,Fuzzy Information Processing Society, 2006. NAFIPS 2006. Annual meeting of the North American, 3-6 June 2006 Page(s):253 - 256[6]. Peter Fleissner, Wolfgang Hofkirchner ，Emergent information Towards a unified information theory In: BioSystems 2-3(38)/1996,243-248[7]. Kullback S. Information and Statistics，John Wiley & Sons Inc.，New York，1959[8]. Aczel J and Forte B. Generalized entropies and the maximum entropy principle，In: Bayesian Entropy and Bayesian Methods in Applied Stastics，Cambridge University Press，Cambridge，1986，95—100[9]. Brillouin L. Science and Information Theory，Academic Press，New York，1962[10]. Zadeh L A. Probability measures of fuzzy events，Journal ofmathematical Analyses and Applications 23 (1968)，421—427 [11]. De Luca A and Termini S. A definition of nonprobabilistic entropy in the setting of fuzzy sets，Infor. Contr. 20 (1972)，201—312 [12]. Gottinger H W. Lecture notes on concepts and Measures of information，In 'Information Theory: New trends and Open Problems', G. Longo eds.，Springer Verlag，CISM(1975)[13]. 郝建民，纪念信息论创立五十周年，遥测遥控，1999年5月，第20卷第3期[14]. 钟义信．面向智能研究的全信息理论[J]．北京邮电大学学报，2000，(1)[15].Klir, G. J. Uncertainty and Information: Foundations of Generalized Information Theory. John Wiley, Hoboken, NJ,2006[16]. 钟义信. 信息科学原理，福建人民出版社，1988[17]. 鲁晨光．广义信息论，中国科技大学出版社，1993[18]. Klir, G.J.Measuring uncertainty associated with convex sets of probability distributions: a new approach,Fuzzy Information Processing Society, 2005. NAFIPS 2005. Annual Meeting of the North American26-28 June 2005 Page(s):61 - 64[19]. 王勇，论信息的相对性，武汉：首届全国社会信息科学研讨会论文集，2007年06月[20]. George J. Klir.An update on generalized informationtheory[A].ISIPTA[C].2003.321～334[22]. 李德毅，不确定性人工智能，国防工业出版社, 2005年7月2.项目的研究内容、研究目标,与拟解决的关键科学问题【项目研究内容】（1）本项目借鉴前人对信息论的局限性的分析，从可靠性的角度来分析香农信息论的局限性，与其产生的根源，同时将信息论从相对信息的角度来进行推广。