论信息概念的演变及其对信息科学发展的影响_从本体论到信息论再到博弈论

论信息概念的演变及其对信息科学发展的影响_从本体论到信息论再到博弈论
论信息概念的演变及其对信息科学发展的影响_从本体论到信息论再到博弈论

●文庭孝,侯经川,汪全莉,刘晓英(湘潭大学 公共管理学院,湖南 湘潭411105)

论信息概念的演变及其对信息科学发展的影响3 ———从本体论到信息论再到博弈论

摘 要:信息是一个发展中的概念,信息在发展演变过程中形成了一个信息概念体系,围绕这些概念又形成了一系列相关学科。通过对信息概念发展演变规律的研究与分析,本文认为信息概念的演变大体经过了3个层次的变化,即本体论层次、信息论层次和认识论层次,并在此基础上形成了本体论方法、信息论方法和博弈论方法3种科学方法论,对信息科学及其相关学科的发展产生了深刻的影响。

关键词:信息理论体系;本体论;信息论;博弈论

Abstract:I nfor mati on is a concep t in devel opment.It comes int o a concep t syste m in the course of its evolu2 ti on,and comes int o a series of related sciences again ar ound these concep ts.After researching and analyzing the e2 voluti on la w of the concep t of inf or mati on,this paper thinks that the evoluti on of the concep t of inf or mati on has expe2 rienced3layers,that is,ont ol ogy,the theory of infor mati on and the theory of cogniti on,and based on this f or m s3 scientific ogies,that is,the method of ont ol ogy,the method of the theory of inf or mati on and the method of ga me theory,which has great influences on the devel opment of inf or mati on science and its related sciences.

Keywords:inf or mati on theory system;ont ol ogy;theory of infor mati on;ga me theory

信息概念的演变大体经过了3个层次,即本体论层次、信息论层次和认识论层次,其中影响最深刻、最广泛的3种说法是本体论、信息论和博弈论中关于信息的定义和解释。并在此基础上形成了本体论方法、信息论方法和博弈论方法3种科学方法论,对信息科学及其相关学科的发展产生了深刻的影响。本文主要从这3个角度出发对信息的概念与本质展开讨论,希望有助于信息管理学、情报学、信息科学及其相关学科的发展。

1 信息概述

信息可以说是当代社会使用最多、最广、最频繁,同时也是使用最泛滥的词汇之一,它不仅在人类社会生活的各个方面和各个领域被广泛使用,而且在自然界的生命现象与非生命现象研究中也被广泛采用。然而,对于究竟什么是信息迄今却尚未有公认的定义。

早期,人们对信息的理解是很肤浅的。通信领域最早把信息作为科学对象来加以研究,因为通信的本质就是传输信息,通信工作者为了解决通信中的种种问题,需要深入研究信息的本质及其度量方法。随着科学技术和经济的发展,人们的认识水平不断提高,信息概念也在不断拓展。当计算机出现后,信息被看作数据,在计算机科学的许多基础理论中使用,并应用于数据库的开发和建设。在生命科学领域,动物界与植物界的信号交换,甚至生命体由一个细胞传递给另一个细胞,由一个机体传递给另一个机体,也开始被看作是信息的传递。在竞争、预测、咨询、管理、决策与博弈等领域,信息被认为是经验、知识、智慧和智能。二次世界大战后,科技信息工作成为科技工作的重要组成部分,信息服务逐渐发展起来,成为社会经济生活中独立的产业。信息又被看作经验、知识和资料。诸如:“信息是作为存储、传递和转换的对象的知识”,“信息是人与人之间传播着的一切符号系列化的知识”,“信息是决策、规划、行动所需要的经验、知识和智慧”,“信息是组织好的、能传递的资料”,等等,都是有代表性的信息定义[1]。信息成为与消息、信号、符号、数据、资料、情报、知识、智能等密切相关的概念,并且在许多情况下这些概念都很容易被等同混用。

信息的普遍性和广泛性也引起了哲学家们的关注,他们发现,人类社会、自然界、思维,乃至宇宙中一切事物的存在方式及运动状态都有其固有的规律和特征,由相应的信息来表现这种运动的状态和方式。由于任何事物都有其内部结构和外部联系,正是这种内部结构和外部联系的综合作用,决定了事物的运动状态和方式,因此,信息可以说是事物的一种普遍属性。随着互联网的普及和利用,网络世界把信息带到了人类社会生活的每一个领域、每一

3本文为中国博士后基金资助研究成果,项目编号:20070410642。

个方面和每一个角落,使人们实实在在感受到了信息的普遍性和不可或缺性。人们对信息的理解包括在网络上传输的一切消息、信号、符号、数据、资料、情报、知识等,是一个无所不包的庞大的集合体[2]。信息在哲学领域(本体论、哲学信息、信息哲学)、管理学(竞争、决策、博弈、预测)、图书情报领域、信息资源管理领域(信息描述、信息组织、信息检索)、心理学领域、通信和信息科学领域(信号、数据)、经济学(知识经济和信息经济)等学科领域都引起了广泛的关注和争论。在信息及其相关领域,迄今为止信息定义仍然是一个研究热点。

2 本体论与信息

211 本体与信息

本体即存在、实在、事实。本体可分为两个部分:一是自然本体;二是社会本体。我们对本体的认识主要是通过本体自身产生的各种信息,即本体信息。本体信息是对特定领域知识的共同认识,以便实现领域相关应用之间的互操作和互转化。人们对本体认识的准确程度取决于本体信息来源的丰富程度及对本体信息的处理能力。

在本体论层次的意义上,亦即没有任何约束的条件下,可以将信息定义为事物存在的方式和运动状态的表现形式。这也是最一般意义上所说的信息概念。这里的“事物”泛指存在于人类社会、思维活动和自然界中一切可能的对象。“存在方式”指事物的内部结构和外部联系。“运动”泛指一切意义上的变化,包括机械的、物理的、化学的、生物的、思维的和社会的运动。“运动状态”则是指事物在时间和空间上变化所展示的特征、态势和规律。由于宇宙间的一切事物都具有特定的存在方式和运动状态,因而一切事物都在不断地产生信息,而且是不同的信息。在这一层次上定义的信息是最普遍、最广义的信息,可与物质、能量并驾齐驱,我们称其为本体论层次的信息。本体论层次上的信息可等同于知识,即确定性信息。其基本特征表现为:本体信息是客观存在的事物、事件或过程;既可以是事物本身,也可以是事物的运动状态及其变化方式;作为客观存在的事物,是一种既定的事实,具有客观性、真实性、确定性和稳定性;可以与人无关而独立存在。

212 本体论方法及应用

本体论是一个哲学上的概念,用于描述事物的本质。本体论经过长期的演变和融合,已经成为一种科学的方法论,即本体论方法,被广泛应用于各学科领域,并取得了丰富的研究成果。

在人工智能领域,一般将本体定义为概念化的精细描述,也可以把本体视为知识术语的集合,包括词汇表、语义关系和一些简单的推理和逻辑规则。本体是可共享的概念化的、规范的、显式的精确描述。概念化是现象的抽象模型,标志了现象的相关概念。本体信息可用来实现知识的共享和重用,主要应用于人与组织之间的信息交流、系统之间的互操作和软件工程3个方面,其中以基于本体的信息检索、基于本体共享的信息访问和基于本体映射的信息访问3个方面的应用最为典型,也最为普遍。

在图书情报领域,本体和本体论方法具有广泛的应用。本体具有良好的概念层次结构和对逻辑推理的支持,利用本体可以建立面向语义的元数据模型,将元数据中术语的含义、术语间的关系更加明确地表达出来,从而支持概念建模、信息检索、W eb服务、知识库设计、数字图书馆建设、数据挖掘、知识管理和知识发现等[329]。可见,在图书情报领域,本体是以元数据为基础,通过元数据实现对信息和知识的描述和表达,从而实现信息和知识的组织、存储、检索、服务和利用等知识信息管理活动。

3 信息论与信息

311 信息论中的信息

最早把信息作为科学对象来加以研究的是通信领域,这一领域的奠基之作当推哈特莱1928年在《贝尔系统电话杂志》上发表的题为《信息传输》的论文。他在这篇文章中把信息理解为选择通信符号的方式,并用选择的自由度来计量这种信息的大小。他认为,发信者所发出的信息,就是他在通信符号表中选择符号的具体方式。20年后(即1948年),通信专家申农在《贝尔系统电话杂志》上发表了一篇题为《通信的数学理论》的论文,他以概率论为工具,阐明了通信中的一系列基本理论问题,给出了计算信源信息量和信道容量的方法和一般公式,得到了一组表示信息传递重要关系的编码定理。申农在定量测度信息时,把信息定义为随机不确定性的减少,亦即信息是用来减少随机不确定性的东西。基于这一思想,布里渊直接指出,信息就是负熵[10]。控制论的奠基人维纳则把信息看作广义通信的内容。他在《控制论与社会》一书中写道:“信息就是我们在适应外部世界,并把这种适应反作用于外部世界的过程中,同外部世界进行交换的内容的名称”。“接收信息和使用信息的过程,就是我们适应外界环境的偶然性的过程,也是我们在这个环境中有效地生活的过程”[11]。维纳显然把人与外部环境交换信息的过程看作是—种广义的通信过程,即泛指人与人、机器与机器、机器与自然物、人与自然物之间的信息传递与交换。维纳同样也把信息解释为负熵。他指出,“正如熵是无组织(无序)程度的度量一样,消息集合所包含的信息就是组织(有序)程度的度量。事实上,完全可以将消息

所包含的信息解释为负熵”[12]。

由此可见,在通信领域所展开的对信息的研究取得了丰硕的成果。在这里,信息被看作有序程度(或组织程度)的度量和负熵,是用以减少不确定性的东西。这些也是申农、维纳、布里渊等人对信息的共同理解。这些认识比仅仅把信息看作消息或通信的内容要丰富得多,深刻得多。事实上,这些关于信息的理解也在不断影响着其他领域的研究,例如有关风险、不确定性与信息之间关系的研究在20世纪40年代就受到许多经济学家的关注,不确定性的减少(信息的获取)与成本、收益联系起来,取得了突出成果。英国生物学家阿思比把信息定义为“变异度”,他认为,任何一个集合包含的元素的数目以2为底的对数就是该集合的变异度。随着信息论方法的不断成熟和应用,信息开始作为一个通用概念在各学科领域和社会生活各方面广泛使用。

312 信息论方法及应用

信息论方法的建立,不仅对自然科学具有重要的意义,而且对于社会科学的研究与发展也同样具有深远的意义。我国学者钟义信认为[13]:信息科学方法论具有相对独立和相对完整的体系结构,并认为信息科学方法论包含3个方法和两个基本法则,即:①信息系统分析方法(认识复杂事物的方法);②信息系统综合方法(综合复杂系统的方法);③信息系统进化方法(变革复杂系统的方法);④物质能量信息三位一体准则;⑤结构功能行为辩证相依准则。3个方法两个准则共同构成了信息科学方法论的完备体系。信息科学方法论的—个鲜明特色是它处理复杂和高级运动形态事物的能力。具体来说,信息系统分析方法重在“分析”,主要用来分析高级复杂事物的运动过程,通过信息系统分析来认识高级复杂事物的奥妙的工作机制;信息系统综合方法重在“综合”,主要用来构造高级复杂的人工系统(通过模拟或仿真),达到给定的工作目标;信息系统进化方法重在“进化”,主要用来变革高级复杂系统的工作机制,通过进化达到优化的状态。不难看出,信息系统分析方法、信息系统综合方法和信息系统进化方法之间具有内在的深刻联系,它们相互结合在一起,就形成了分析、综合、优化高级复杂事物(系统)的强大方法论工具。有时为了简便,我们就把它们笼统地称为“信息方法”或“信息论方法”。两个准则是信息科学方法论的有机组成部分,是应用信息方法求解复杂问题时必须遵循的基本原则。信息论方法的产生与发展在许多学科领域和社会领域形成了连锁反应,对生命科学、信息科学、信息管理学、情报学、经济学、管理学等学科都造成了巨大而深远的影响。它成为众多学科认识和把握研究对象,构建学科体系的方法和理论基石。

4 博弈论与信息

如果考虑到信息的产生、认识、获取和利用离不开人这一主体,并且必须从主体的立场来定义信息,那么,本体论层次的信息定义就转化为认识论层次的信息定义。在认识论层次上,可以将信息定义为:主体所感知或表述的事物存在的方式和运动状态。这里,主体所感知的是外部世界向主体输入的信息,主体所表述的则是主体向外部世界输出的信息。显然,在引入了“主体”这个约束条件后,信息定义的范围变窄了。在认识论层次上,信息主要用于辅助人的行为选择,即决策,涉及人的各种信息活动以及人对信息的理解和把握。而决策恰恰是一个主体间相互博弈和主体内部博弈的过程。

411 博弈论中的信息

博弈论(Ga me Theory),也称“对策论”,是研究决策主体的行为发生直接相互作用时所进行的决策以及决策的均衡问题。博弈由4个基本要素构成:博弈人、信息、行动策略和利益支付[14]。博弈人(Player)即博弈的参与者,是指在博弈中选择行动以最大化自己效用的决策主体;信息是博弈人所掌握的有关博弈的知识,特别是有关其他博弈人(对手)的特征和行动的知识;策略(Strategy)是指博弈人在给定信息条件下的行动规则,它告诉博弈人在什么时候采取什么行动;支付(Pay Off)是博弈人从博弈中获得的效用水平,它是所谓博弈人策略或行动的函数,是每个博弈人真正关心的东西。博弈人分析的目的是运用“博弈规则”(博弈人及其可选择行动集合和支付函数的合称)确定不同信息的结构下博弈人的策略均衡[15]。

可见,“信息”和“时序”是博弈论中最核心的两个概念。但博弈论中的“时序”也是一个信息概念而非日历上的时间概念:只要每个参与人在选择自己的行动时不知道其他参与人的选择,我们就说他们是“同时行动”;只要某个参与人在选择自己的行动时知道其他参与人的选择,而其他参与人做选择时不知道他的选择,我们就说他是在其他参与人“之后”行动,而其他参与人是在他“之前”行动。这就是说,“信息”是博弈论中最最核心的概念,而“时序”只不过是“信息”概念的进一步延伸。正因为如此,博弈论在经济学中还有一个别名,叫做信息经济学。根据博弈中“信息”的特征,博弈可划分为完全信息博弈和不完全信息博弈。完全信息(Comp lete I nfor mati on)是指每一个博弈人对所有其他博弈人的特征、策略空间及支付函数都有准确的知识;否则就是不完全信息(I ncomp lete I nf or mati on)[16217]。

由以上分析可知,信息在博弈论中的特征表现为信息集,即若干可能策略的组合以及博弈人对对方行动策略的

判断。博弈论中的信息是博弈人对客观存在的事物、事件或过程的描述、判断。它的特点因人而异,因而是处于认识论层次上的信息。

412 博弈论方法及其应用

综观近二三十年来,博弈论取得了重大进展,形成了科学的博弈论方法。博弈论的发展及其在研究上的巨大成就,可说是与其日益广泛的实际应用是分不开的。博弈论的主要应用领域涉及经济学、政治学、军事学、信息科学、工程控制论等众多领域,而且还与决策学、管理学、预测学、会计学、统计学、企业管理、社会心理学、伦理学等学科有着重要的联系。政府决策、企业经营、市场竞争、竞争情报、银行金融、信息经济、管理决策、个人决策等领域都已成为博弈论应用的重要领域,这些领域的活动都与信息活动息息相关,甚至已经渗透到科技发展、经济活动和社会生活的方方面面。对于社会科学而言,博弈论可称得上是一种具有高度概括力的“统一场论”。

特别是从经济学的角度来看,“博弈论”无论是在理论研究上还是在实际应用上,都对经济学的发展产生了重大影响:第一,从分析方法上看,博弈论在经济分析中的应用,改变了传统经济分析的那种以个人孤立决策(其他经济活动者的行为影响则被典型地简化为价格信号)为基础的分析方法,而侧重于经济活动中多个利益主体的行为所产生的相互作用和影响的分析,从而使经济分析更能反映经济系统的本质。这可以说是冯?诺伊曼和摩根斯特恩创立“经济博弈论”的理想和初衷。第二,博弈论突出了经济分析中“理性人”的地位。第三,博弈论应用于经济分析,拓展了经济学的研究领域。比如,博弈论的引入,创造了适宜于寡头垄断分析的方法,拓展了市场结构分析的范围,极大地推动了产业组织理论的发展。博弈论从信息揭示的角度出发,把市场价格机制分析这一新古典理论的核心扩展为一般的机制分析,以信息需要量、信息揭示成本、激励相容(I ncentive Compatibility)等作为各类机制的评价标准,对各类竞价拍卖机制、组织设计、政府政策(公共产品提供、财政税收、金融及其他宏观经济政策)等进行了深入的比较分析,极大地推动了一般机制分析和机制设计理论的发展,等等[18-19]。

博弈论对情报学、信息管理科学、管理科学和经济学等学科研究领域最大的影响和贡献就是“信息经济学”这一交叉学科的产生和发展。博弈论和信息经济学同步发展,相互渗透,并逐渐发展成为上述学科共同研究的热点和焦点。不仅如此,博弈论的产生和兴起,也使得“信息”成为经济生活和社会生活中极为重要的一个概念,深入人心。“信息就是财富”、“知识就是力量”变得耳熟能详,人们言必谈信息。5 信息概念的演变及其对学科发展的影响

511 信息概念的演变及其规律

51111 不同条件约束下的信息概念体系信息概念是十分复杂的,引入不同的约束条件,将会得到不同的信息概念和定义。事实上,之前人们所讨论的有关信息概念和定义正是从不同的角度、在不同的条件下对信息的认识和理解。如果我们根据不同的约束条件区分不同的层次来讨论信息的概念和定义,那么我们将会对信息有一个更为清晰的认识[2]。

信息是事物运动的状态与方式,具体地讲,是事物内部结构和外部联系运动的状态与方式。“事物”泛指一切可能的研究对象,包括外部世界的物质客体,也包括主观世界的精神现象。“运动”泛指一切意义上的变化,包括机械运动、物理运动、化学运动、生物运动、思维运动和社会运动等。“运动方式”是指事物运动在时间上所呈现的过程和规律。“运动状态”则是事物运动在空间上所展示的性状与态势。由于宇宙间一切事物都在运动,都有一定的运动状态和状态改变的方式,因而一切事物都在产生信息,这是信息的绝对性和普遍性;同时,由于一切不同的事物都具有不同的运动状态与方式,信息又具有相对性和特殊性。这就是本体论意义上的信息概念,它不受任何条件约束,它所表征的事物实际的运动状态与方式也不受主体意志的影响,不以主体的条件为转移,因而具有最广泛的适应性。由对象产生本体论信息,作为主体的人类从本体论中提取所得信息尤其是结构功能方面的信息(感知信息),然后通过分析综合等过程再产生出优化结构和新型功能方面的信息(再生信息),再作用于对象而使对象结构发生改变并产生人类期望的新功能。这样,对象又产生了新的本体论的信息,新一轮的转化过程又开始了……这种周而复始螺旋模式上升的过程其实就是人类认识世界和改造世界的过程,这个过程不仅造就了大量的物质资源,而且积累了丰富的信息资源。以本体论信息为基点,逐次引入认识主体、主体的认识能力与认识深度、认识对象的运动方式等约束条件,则可推导出一个层次严密、清晰的信息概念体系。

如果引入认识主体这一约束条件,本体论意义上的信息定义就转化为认识论意义上的信息概念。可以认为,认识论信息就是认识主体所感知或所表述的事物运动的状态与方式。其中,认识主体所感知的事物运动状态与方式,是外部世界向主体输入的信息,可称之为感知信息;认识主体所表述的事物运动状态与方式,是主体向外部世界(包括向其他主体)输出的信息,可称之为再生信息。认识论层次的信息受认识主体约束,可以说,没有主体就没

有认识论信息。一般而言,在人类所及的有限时空中,本体论信息与认识论信息是可以互相转化的,其转化过程大致与人类认识和改造世界的过程相统一。

在认识论层次的信息概念中若再引入认识深度这一约束条件,认识论信息就可以进一步扩展为3个层次;语法信息,即主体所感知或表述的事物运动状态和方式的形式化关系,这是最低层次的认识论信息;语义信息,即主体所感知或表述的事物运动状态和方式的逻辑含义,这是较高层次的认识论信息;语用信息,即主体所感知或表述的事物运动状态与方式相对于某种目的的效用,这是最高层次的认识论信息。一般说来,语法信息、语义信息和语用信息是密不可分的,不可能撇开其中的一个方面而孤立地研究其他方面。当认识和研究一个事物时,人们多是遵循从语法、语义到语用的认识顺序,这可以看作是一个认识小循环,是人类认识和改造世界的方法论。

信息是事物的运动状态与方式,这是广义的信息概念,是最普通的层次。由此而层层引入约束条件,信息的内涵就变得越来越丰富,适用范围则变得越来越窄。与此同时,信息的概念由一而众,逐级展开,自然形成了信息的概念体系[4]。

511123种方法论中信息的比较比较3个不同层次的信息定义可以发现,3种方法论中的信息具有不同特征。

首先,在本体论层次上,信息的存在不以主体的存在为前提,即使根本不存在主体,信息也仍然存在,是一种自在信息。完全可以认为,在人类出现以前,信息就已经客观存在了,只是没有人去感知、表述和利用而已。在认识论层次上则不同,没有主体,就不能认识信息,也就没有认识论层次上的信息。因此也可以说,在人类出现之前,根本就不存在信息。而在信息论层次上,主体为了认识事物,感知、表述和利用信息,人们开始利用不同的载体和符号表述、存储、传递和利用信息。

其次,从内涵来看。认识论层次的信息概念比本体论层次和信息论层次的信息概念具有更为丰富的内涵。这是因为:首先,作为主体的人具有感知能力,能够感知到事物的存在和运动状态;其次,人具有理解能力,能够理解事物的存在和运动状态的特定含义;第三,人具有目的性,能够判断事物的存在方式和运动状态对其目的而言的效用价值,而且这3个方面是相互依存不可分割的。事实上,人们只有在感知了事物存在的方式和运动状态的形式,理解了它的含义,明确了它的效用之后,才算真正掌握了这个事物的信息,才能做出正确的决策。我们把同时考虑到事物存在方式和运动状态的外在形式、内在含义和效用价值的认识论层次上的信息称为“全信息”,而把仅仅考虑其中形式因素的信息称为“语法信息”,把考虑其中内容(含义)因素的信息称为“语义信息”,把考虑其中效用因素的信息称为“语用信息”。认识论层次的信息乃是同时考虑语法信息、语义信息和语用信息的全信息。以申农为代表的信息论所研究的基本上不涉及信息的含义和效用,是纯粹的语法信息[4]。

第三,从范围来看。本体论中的信息是反映事物原貌和本质的全信息,范围最广。认识论和博弈论中的信息则是指人们感知、认识、把握和理解的信息,范围次之。而信息论中的信息则是我们可以接收、表达、存储、传递和利用的信息,范围最小。

第四,从确定性来看。本体信息是一种自在信息,它的存在不以人的意志为转移,反映事物的原貌和本质特征,是一种确定性信息,可等同于知识。认识论和博弈中的信息反映了人的认识和理解能力,是体现人的能力、智能和行动的信息集合,这种信息因人而异,因此具有很大的不确定性和很强的主观性。而信息论中的信息则是用来消除人们认识上的不确定性的东西,它是在人们感知、认识和理解本体信息的基础上对本体信息和认识信息的描述,以帮助人们从某种程度上消除认识上的不确定性。

最后,从应用来看。本体信息是人们认识的来源和源泉,是一种宝贵的资源。本体和本体论则为我们提供了一种认识事物的科学方法。信息论要解决的是信息的通信问题,包括信息的表达、传递、转换、存储等基本问题。认识论和博弈论则是要解决人们的行为决策问题,即在认识、理解和把握信息的基础上作出正确选择并指导行动,这是我们认识世界和改造世界的最终目的。

512 信息概念的演变对学科发展的影响

信息的概念及其相关问题研究是信息科学研究的理论基础,围绕信息及其认识与管理研究,形成了信息科学群。Marchand很早就认为,信息科学群包括情报学、图书馆学、计算机科学、信息学和信息论、系统理论和系统分析、控制论、运筹学、机器人学、人工智能、认知心理学、决策科学工作者、符号学、认知科学等学科[20]。实际上,信息科学群的研究范围十分广泛,概括来说主要包括以下方面:哲学中有关信息范畴的研究;控制论和系统论中有关信息一般功能的研究;认识论、认知科学、脑科学中有关人类精神信息的研究;探索信息本质特性的信息论、符号学、语义学、元信息学;以信息交流与管理为对象的图书馆学、文献学、档案学、博物馆学、传播学、新闻学、教育学、情报学、信息学等;与社会各分支的交叉学科如信息社会学、信息经济学、信息心理学、信息政治学、信息法学等;自然科学和工程技术诸领域中有关各物理信息、生物信息、生理信息、遗传信息、工程信息、机器信息、天体信息的研究,等等[21]。

综合起来看,20世纪中叶发展起来的信息科学群主要在4个研究层面上展开[22]:工程技术信息学、领域或部门信息学、一般信息理论和信息哲学,并形成了一系列完整的信息科学方法论,成为信息科学及相关学科发展的理论基础。第一个层面的研究起始于申农、维纳的理论,他们对信息通信和信息控制的研究奠定了信息论与控制论的基础,目前已发展出微电子学、计算机工程、通信工程、自动化及网络化系统工程、数据库理论、供计算机使用的各类符号系统设计工程、生物工程、纳米技术、虚拟现实……以及各类直接面对对象处理的信息工具设备的制作和使用的技能和方法的学科,并形成了信息科学方法论。第二个层面的研究首先包括三大并列学科领域:自然信息学、社会信息学、智能信息学,进而又展开为物理信息学(包括其多级分支上的量子信息学)、化学信息学、生命信息学、天体信息学、地质信息学……经济信息学、信息经济学、博弈理论、政治信息学、文化信息学、人本信息学、信息社会论、信息管理学、情报学、图书馆学……语言信息学、认知信息学、人机信息学、决策信息学、价值信息学……在此基础上形成了信息认识论方法(包括信息进化论方法、信息决策方法、信息管理方法、信息分析方法、博弈论方法等)。第三个层面的研究包括已有的学者所构建的一般信息科学的理论,如雷斯尼科夫(L.H.Resnikoff)、德夫林(K.Devin)、钟义信等人分别所做的工作,以及关于创立一般信息论的某些设想,如马克卢普(F.M chlup)、斯托尼尔(T.St onier)等人所提的建议和预言,并形成了广义信息论方法。第四个层面的研究从维纳当年关于“信息既不是物质,也不是能量”的警示开始,到20世纪六七十年代(我国则是80年代)以来国内外关于信息的哲学及相关哲学问题的广泛论争,如克劳斯(G.Klaus)提出,在意识和物质之间存在一个“客观而不实在”的信息领域;邬焜提出的“信息是标志间接存在的哲学范畴”;再到近年来关于虚拟实在是否实在的讨论,直到相关信息哲学体系较为系统的建立,并在此基础上形成了信息本体方法。如果说,上述前3个层面的研究为第4个层面的研究奠定了坚实基础和开辟了广阔前景的话,那么,第4个层面的研究则是对前3个层面的研究所展示出的信息问题的更为深入和理性化的认识。信息哲学揭示了一个与物质世界完全不同的新领域———信息世界,并把信息本体提升到与物质和能源本体同等的高度加以认识和研究,形成了一个庞大的信息科学群体。不仅信息科学内部各学科之间相互交叉、渗透、融合、碰撞产生出一系列新的学科和研究领域,而且信息科学群的范围正在不断扩大,同时还在不断地向许多学科领域渗透,出现了大量值得关注和研究的交叉学科和研究领域。正因为如此,人类把充满期待的21世纪称为“信息世纪”。□

参考文献

[1]严怡民.情报学概论[M].武汉:武汉大学出版社,1994.

[2]马费成,等.信息管理学基础[M].武汉:武汉大学出

版社,2000.

[3]温有奎,等.知识元挖掘[M].西安:西安电子科技大

学出版社,2004:206.

[4]李善平,等.本体论研究综述[J].计算机研究与发展,

2004(7):104121052.

[5]李健康,张春辉.本体研究及其应用进展[J].图书馆论

坛,2004(6):80286.

[6]王洪伟,等.基于本体的元数据模型及DAML表示[J].

情报学报,2004(2):1322136.

[7]贺赛龙,刘柏嵩.知识管理中本体演化研究[J].情报学

报,2004(4):4692474.

[8]王洪伟,等.基于本体模型的信息检索机制研究[J].情

报学报,2004(1):328.

[9]钟家瑞.知识发现本体论研究[J].情报学报,2004

(6):6492654.

[10]BR I L LOU I N L.Science and inf or mati on theory[M].Ne w

York:Acade m ic Press I nc.,1956.

[11]W I ENER N.Cyberbetics and s ociety[M].[S.l.]:Hough2

t on M ifflin Company,1950.

[12]马费成,等.信息管理学基础[M].武汉:武汉大学出

版社,2000.

[13]钟义信.信息科学原理(第三版)[M].北京:北京邮电

大学出版社,2003.

[14]黄韬.博弈论的发展与创新[J].财经问题研究,1995

(5):329.

[15]徐治道.博弈论的基本内容及发展取向[J].江苏经济探

讨,1996(5):38244.

[16]张维迎.博弈论与信息经济学[M].上海:上海三联书

店;上海人民出版社,1996.

[17]侯经川,邱均平,文庭孝.信息、博弈与竞争力———关于

竞争力的信息学分析[J].情报学报,2005(4).

[18]张培刚,方齐云.博弈论的应用及其展望[J].经济评

论,1998(2):13214.

[19]和蔚.博弈论及其应用[J].贵州师范大学学报:社会科

学版,1998(2):82284.

[20]MARCHAND D A.I nfor mati on manage ment in public organiza2

ti on:defining a ne w res ource management functi on[M]//

HORT ON F W,MARCHAND D A.I nfor mati on Manage ment in

Public Adm inistrati on.A rlingt on:I nf or mati on Res ources Press,

1982.

[21]汪冰,邱剑波.情报学基础理论研究进展[M]//张力

治,主编.情报学进展:1998—1998年度评论(第三

卷).北京:航空工业出版社,1999.

[22]邬焜.信息哲学———理论、体系、方法[M].北京:商

务印书馆,2005.

作者简介:文庭孝,副教授,博士后。

侯经川,教授,博士后。

汪全莉,讲师。

刘晓英,馆员,硕士生。

收稿日期:2008-10-13

信息论编码》模拟试题一及参考答案

模拟试题一 一、概念简答题(共10题,每题5分) 1.简述离散信源和连续信源的最大熵定理。 2.什么是平均自信息(信息熵)?什么是平均互信息?比较一下两个概念的异同之处。 3.解释等长信源编码定理和无失真变长信源编码定理,说明对于等长码和变长码,最佳码的每符号平均码长最小为多少?编码效率最高可达多少? 4.解释最小错误概率译码准则,最大似然译码准则和最小距离译码准则,说明三者的关系。 5.设某二元码字C={111000,001011,010110,101110}, ①假设码字等概率分布,计算此码的编码效率? ②采用最小距离译码准则,当接收序列为110110时,应译成什么码字? 6.一平稳二元信源,它在任意时间,不论以前发出过什么符号,都按 发出符号,求

和平均符号熵 7.分别说明信源的概率分布和信道转移概率对平均互信息的影响,说明平均互信息与信道容量的关系。 8.二元无记忆信源,有求: (1)某一信源序列由100个二元符号组成,其中有m个“1”,求其自信息量?

(2)求100个符号构成的信源序列的熵。 9.求以下三个信道的信道容量: , ,10.已知一(3,1,3)卷积码编码器,输入输出关系为:

试给出其编码原理框图。 二、综合题(共5题,每题10分) 1.二元平稳马氏链,已知P(0/0)=0.9,P(1/1)=0.8,求: (1)求该马氏信源的符号熵。 (2)每三个符号合成一个来编二进制Huffman码,试建立新信源的模型,给出编码结果。 (3)求每符号对应的平均码长和编码效率。 2.设有一离散信道,其信道矩阵为,求:(1)最佳概率分布?

信息论试题1

《信息论基础》答案 一、填空题(本大题共10小空,每小空1分,共20分) 1.按信源发出符号所对应的随机变量之间的无统计依赖关系,可将离散信源分为有记忆信源和无记忆信源两大类。 2.一个八进制信源的最大熵为3bit/符号 3.有一信源X,其概率分布为 123 x x x X 111 P 244 ?? ?? ? = ?? ? ?? ?? ,其信源剩余度为94.64%;若 对该信源进行十次扩展,则每十个符号的平均信息量是15bit。 4.若一连续消息通过放大器,该放大器输出的最大瞬间电压为b,最小瞬时电压为a。若消息从放大器中输出,则该信源的绝对熵是∞;其能在每个自由度熵的最大熵是log(b-a)bit/自由度;若放大器的最高频率为F,则单位时间内输出的最大信息量是2Flog (b-a)bit/s. 5.若某一信源X,其平均功率受限为16w,其概率密度函数是高斯分布时,差熵 的最大值为1 log32e 2 π;与其熵相等的非高斯分布信源的功率为16w ≥ 6、信源编码的主要目的是提高有效性,信道编码的主要目的是提高可靠性。 7、无失真信源编码的平均码长最小理论极限制为信源熵(或H(S)/logr= H r(S))。 8、当R=C或(信道剩余度为0)时,信源与信道达到匹配。 9、根据是否允许失真,信源编码可分为无失真信源编码和限失真信源编码。 10、在下面空格中选择填入数学符号“,,, =≥≤?”或“?” (1)当X和Y相互独立时,H(XY)=H(X)+H(X/Y)。 (2)假设信道输入用X表示,信道输出用Y表示。在无噪有损信道中,H(X/Y)> 0, H(Y/X)=0,I(X;Y)

信息论的应用

学号:201122010835 姓名:李毅 信息论在图像处理中的应用 摘要:把信息论的基本原理应用到图像处理中具有十分重要的价值。本文主要从评估图像捕捉部分性能的评估、图像分割算法这两个个方面阐述信息论在图像处理中的应用。 通过理论分析来说明使用信息论的基本理论对图像处理的价值。 关键字:信息论;图像捕捉;图像分割 第1章 引言 随着科学技术的不断发展,人们对图形图像认识越来越广泛,图形图像处理的应用领域也将随之不断扩大。为了寻找快速有效的图像处理方法,信息理论越来越多地渗透到图像处理技术中。文章介绍了信息论基本理论在图像处理中的应用,并通过理论分析说明其价值。把通信系统的基本理论信息论应用于采样成像系统,对系统作端到端的系统性能评价,从而优化采样成像系统的设计,是当前采样成像系统研究的分支之一。有些图像很繁杂,而我们只需要其中有意义的一部分,图像分割就是将图像分为一些有意义的区域,然后对这些区域进行描述,就相当于提取出某些目标区域图像的特征,随后判断这些图像中是否有感兴趣的目标。 第2章 图像捕捉部分性能评估 2.1 图像捕捉的数学模型 图像捕捉过程如图1所示。G 为系统的稳态增益,),(y x p 是图像捕捉设备的空间响应函数,),(y x n p 是光电探索的噪声。),(y x comb 代表采样网格函数,),(),,(y x s y x o 分别为输入、输出信号。 在这种模型下的输出信号 ),(),()],(),([),(y x n y x comb y x p y x Go y x s p +*= 其中,∑--= n m n y m x y x comb ,),(),(δ,代表在直角坐标系下,具有单位采样间隔的采样设备的采样函数。

信息论考题及答案

一、(25分)如果X 和Y 相互独立,证明X 和Y 的熵满足可加性,即 H(Y)H(X)Y)H(X,+= 证明:设P(x,y)=P(x)P(y),则有 1 H(X,Y)()()log P()()11()()log ()()log ()()11()log ()log ()() ()() xy xy xy x y P x P y x P y P x P y P x P y P x P y P x P y P x P y H X H Y ==+=+=+∑∑∑∑∑ 二、(50分)联合总体X ,Y 具有如下联合分布。 X Y 分别计算 (1) 联合熵H(X,Y)是多少? (2)边缘熵H(X)和H(Y)是多少? (3)对于每一个y 值,条件熵H(X ︱y)是多少? (4)条件熵H(X ︱Y)是多少? (5)X 和Y 之间的互信息是多少? 解答:(1) H(X,Y)=3.375 (2) H(X)=2, H(Y)=1.75 (3) H(X|y=1)=2,H(X|y=1)=1.875,H(X|y=1)=1.875, H(X|y=4)=0.5 (4)H(X|Y)=1.1264 (5)I(X;Y)=H(X)-H(X|Y)=2-1.1264=0.8736 三、(25分)考虑一个差错概率为f=0.15的二进制对称信道。输入总体为x Ω:{0P =0.9,1p =0.1},假设观察到y=1,请计算(1|1)P x y ==? 解: (1|1)P x y === (1|1)(1) (1|)() x P y x P x P y x P x ===∑= = 9.015.01.085.01 .085.0?+?? =22 .0085 .0=0.39

演化博弈论发展

演化博弈论发展 理论部分应用部分 解(均衡)概念适应机制经济学社会学…制度学生物学 ESS NSS … REE 无理性(自然选择)部分理性(学习) (在不同情形下定义及性质不同) 复制动态路径学习模仿信念学习 国外部分应用研究: [1]Basu(1995)研究了公民规范和演化之间的关系 [2]Friedman & Fung(1996)以日本和美国的企业组织模式为背景,用演化博弈论分 析了在无贸易和有贸易的情况下企业组织模式的演化 [3]Bester & Guth(1998)用演化博弈论研究了人类在经济活动中利他行为的存在性 及其演化稳定性 [4]Dufwenbery & Guth(1999)在双寡头垄断竞争的情形下比较了间接演化法和策略代 理方法 [5]Guttman(2000)用演化博弈论研究了互惠主体在有机会主义存在的群体中是否能 够存活的问题 [6]青木昌彦(2001)从认知的角度提出了一个关于演化博弈论的主观博弈模型 [7]Haruvy & Prasad (2001)运用演化博弈论研究了在具有网络外部性的条件下免费软 件的最优价格和质量 [8]Kosfeld(2002)建立了德国超市购物时间反常的演化博弈模型 [9]Nyborg & Rege (2003)用演化博弈理论研究了顾忌别人感受的吸烟行为的社会规范 的形成 [10]Jasmina & John (2004)研究了不同的学习规则在公共物品博弈中仿制人类行为时 谁表现的更好的问题

[11]Daniel,Arce & Todd(2005)研究了四种不同类型的囚徒困境博弈,指出要达成合作所需的演化和信息要求 [12]Josef Hofbauera & William H. Sandholmb(2007)讨论了具有随机扰动得益的演化博弈问题并将其应用于种群博弈问题的研究 国内相关研究曾涉及的问题: 土地制度变迁的演化博弈分析;电子商务中企业行为分析;企业会计信息披露博弈;金融体制改革风险研究;农民工权益维护分析;信息安全问题研究;营销合作系统中的竞争与合作;知识链组织间知识共享的研究;经济组织多样性研究;“以市场换技术”的演化博弈分析;新型农村资金合作体系的构建分析;零售业业态创新研究;区域经济协调发展研究(改革&保守);水污染控制系统;电力市场竞价分析;….. 博弈情形的具体分类: 有限群体/无限群体;连续时间/离散时间;同质/异质;双人/多人;对称/非对称;有限记忆/无限记忆;各种不同学习方式;各种噪音;… 部分演化博弈论研究者的主要贡献: 国外近五年来相关文献研究内容:

信息的内涵与信息论发展简史

信息的内涵与信息论发展简史学院:数学与统计学院专业:信息与计算科学学生:卢富毓学号:20101910072 内容摘要:信息论经过六十多年的发展,现在已经成为现代信息科学的一个重要组成部分,信息论是现代通信和信息技术的理论基础。本文详细从来阐述信息论的内涵以及发展史。 信息是什么?什么叫信息论? 信息泛指人类社会传播的一切内容。人通过获得、识别自然界和社会的不同信息来区别不同事物,得以认识和改造世界。在一切通讯和控制系统中,信息是一种普遍联系的形式。1948年,数学家香农在题为“通讯的数学理论”的论文中指出:“信息是用来消除随机不定性的东西”。美国数学家、控制论的奠基人诺伯特·维纳在他的《控制论——动物和机器中的通讯与控制问题》中认为,信息是“我们在适应外部世界,控制外部世界的过程中同外部世界交换的内容的名称”。英国学者阿希贝认为,信息的本性在于事物本身具有变异度。 由此可见在不同的领域,有着对信息的不同定义。 而如今比较首肯的是数学家香农给出的解释——信息是用来消除随机不定性的东西。 信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。 信息论将信息的传递作为一种统计现象来考虑,给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源-信道隔离定理相互联系。 1948~1949年,香农(Shannon)在《贝尔系统技术杂志》上发表了论文《通信的数学理论》以及《噪声下的通信》。在这两篇论文中,他经典地阐明了通信的基本问题,提出了通信系统的模型,给出了信息量的数学表达式,解决了信道容量、信源统计特性、信源编码、信道编码等有关精确地传送通信符号的基本技术问题,并且开始创造性的定义了“信息”。这两篇论文成了现在信息论的奠基著作。而香农也一鸣惊人,成了这门新兴学科的奠基人。香农也因此被称为是“信息论之父”。 信息有什么内涵? 信息是现代社会的一种非常重要的资源,信息社会中的信息就像农业社会的土地,工业社会的资金和技术一样,将会成为人们竞相争夺的对象,从某种意义上来说,信息就是现代社会最重要的财富,谁掌握了信息,谁就掌握了未来。 信息的内涵是什么呢? 不同人对信息有着不同的理解。有人认为信息就是消息,传递信息就是传递消息。这种定义有一定道理,但不太准确。信息和消息是有区别的,一般来说,

信息论基础及答案

《信息论基础》试卷第1页 《信息论基础》试卷答案 一、填空题(共25分,每空1分) 1、连续信源的绝对熵为 无穷大。(或()()lg lim lg p x p x dx +∞-∞ ?→∞ --?? ) 2、离散无记忆信源在进行无失真变长信源编码时,编码效率最大可以达到 1 。 3、无记忆信源是指 信源先后发生的符号彼此统计独立 。 4、离散无记忆信源在进行无失真变长编码时,码字长度是变化的。根据信源符号的统计特性,对概率大的符号用 短 码,对概率小的符号用 长 码,这样平均码长就可以降低,从而提高 有效性(传输速率或编码效率) 。 5、为了提高系统的有效性可以采用 信源编码 ,为了提高系统的可靠性可以采用 信道编码 。 6、八进制信源的最小熵为 0 ,最大熵为 3bit/符号 。 7、若连续信源输出信号的平均功率为1瓦特,则输出信号幅度的概率密度函数为 高斯分布(或()0,1x N 2 2 x - )时,信源具有最大熵,其值为 0.6155hart(或 1.625bit 或 1lg 22 e π)。 8、即时码是指 任一码字都不是其它码字的前缀 。 9、无失真信源编码定理指出平均码长的理论极限值为 信源熵(或H r (S)或()lg H s r ),此 时编码效率为 1 ,编码后的信息传输率为 lg r bit/码元 。 10、一个事件发生的概率为0.125,则自信息量为 3bit/符号 。 11、信源的剩余度主要来自两个方面,一是 信源符号间的相关性 ,二是 信源符号概率分布的不均匀性 。 12、m 阶马尔可夫信源的记忆长度为 m+1 ,信源可以有 q m 个不同的状态。 13、同时扔出一对均匀的骰子,当得知“两骰子面朝上点数之和为2”所获得的信息量为 lg36=5.17 比特,当得知“面朝上点数之和为8”所获得的信息量为 lg36/5=2.85 比特。 14.在下面空格中选择填入的数学符号“=,≥,≤,>”或“<” H(XY) = H(Y)+H(X ∣Y) ≤ H(Y)+H(X)

信息论

信息论的发展及应用 信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。 信息论将信息的传递作为一种统计现象来考虑,给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源-信道隔离定理相互联系。信息论经过六十多年的发展,现在已经成为现代信息科学的一个重要组成部分,信息论是现代通信和信息技术的理论基础。现代信息论又是数学概率论与数理统计下年的一个分支学科。现在信息论已经成为国内数学系信息与计算科学专业的一门必须课程。作为信息论的奠基人克劳德·艾尔伍德·香农(Claude Elwood Shannon ),于1948 年和1949 年发表的两篇论文一起奠定了现代信息论的基础信息论的研究范围极为广阔。一般把信息论分成三种不同类型: (1)狭义信息论是一门应用数理统计方法来研究信息处理和信息传递的科学。它研究存在于通讯和控制系统中普遍存在着的信息传递的共同规律,以及如何提高各信息传输系统的有效性和可靠性的一门通讯理论。 (2)一般信息论主要是研究通讯问题,但还包括噪声理论、信号滤波与预测、调制与信息处理等问题。 (3)广义信息论不仅包括狭义信息论和一般信息论的问题,而且还包括所有与信息有关的领域,如心理学、语言学、神经心理学、语义学等。

信息论发展: 1924年,Nyquist提出信息传输理论; 1928年,Hartley提出信息量关系; 1932年,Morse发明电报编码; 1946年,柯切尼柯夫提出信号检测理论; 1948年,Shannon提出信息论,他发表的论文:“A mathematical theory of communication ”同时维纳提出了最佳滤波理论,成为信息论的一个重要分支。 1959年,香农为各种信息源编码的研究奠定基础,发表论文:“Coding theorems for a discrete source with a fidelity criterion”,数据压缩理论与技术成为信息论的重要分支 六十年代,信道编码技术有较大的发展,信道编码成为信息论重要分支。 1961年,香农的重要论文“双路通信信道”开拓了多用户信息理论的研究、 七十年代,有关信息论的研究,从点对点的单用户通信推广到多用户系统的研究。密码学成为信息论的重要分支。 详细介绍; 现代信息论其实是从上世纪二十年代奈奎斯特和哈特莱的研究开始的,他们最早开始研究了通信系统传输信息的能力,并且试图度量系统的信道容量。香农于1940 年在普林斯顿高级研究所期间开始思考信息论与有效通信系统的问题。经过8 年的努力,1948

信息论考试题

2009-2010学年第二学期末考试试题 信息论与编码理论 一、(共10分) 简述最大熵原理与最小鉴别信息原理,并说明两者之间的关系。 二、(共12分) 某一无记忆信源的符号集为{0, 1},已知P(0) = 1/4,P(1) = 3/4。 1) 求符号的平均熵; 2) 有100个符号构成的序列,求某一特定序列(例如有m个“0”和(100 - m)个“1”)的自信息量的表达式; 3) 计算2)中序列的熵。

三、(共12分) 一阶马尔可夫信源的状态图如下图所示。信源X 的符号集为{0, 1, 2}。 1) 求平稳后信源的概率分布; 2) 求)(X H ; 3) 求上述一阶马尔可夫信源的冗余度。 P P

四、(共10分) 设离散型随机变量XYZ 的联合概率满足xyz ?)()()()(y z p x y p x p xyz p =。 求证:);();(Z Y X I Y X I ≥ 五、(共12分) 设有一离散无记忆信道,输入信号为321,,x x x ,输出为321,,y y y ,其信道转移矩阵为???? ??????=214141412141414121Q ,61)(,32)(21==x P x P 。 试分别按理想译码准则与最大似然译码准则确定译码规则,并计算相应的平均译码差错概率。

六、(共14分) 设有一离散信道,输入X ,输出Y ,其信道转移矩阵为?? ????7.01.02.02.01.07.0, 求:1)信道的信道容量及达到信道容量时的输入分布? 2)当输入X 分布为7.0)(1=x P 3.0)(2=x P 时,求平均互信息);(Y X I 及信道疑义度)(X Y H 。

信息论试卷题目及标准答案

信息论试卷题目及答案

————————————————————————————————作者:————————————————————————————————日期: 2

中国海洋大学2008—2009学年第一学期 一、填空题(每空2分,共20分) 1、1948年,美国数学家 香农 发表了题为“通信的数学理论”的长篇论文,从而创立了信息论。 2、信源编码的目的是提高通信的有效性。信道编码的最终目的是提高信号传输的可靠性。 3、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的N 倍。 4、对于香农编码、费诺编码和哈夫曼编码,编码方法惟一的是香农编码。 5、信道输入与输出间的平均互信息是信道转移概率的 下凸 函数,是输入概率的 上凸 函数。 6、信道矩阵??????10002/12/1代表的信道的信道容量C=符号/1bit ,达到信道容量的条件是输入符号等概分布。 7、 设某二进制码{00011,10110,01101,11000,10010,10001},则码的最小距离是2 ,假设码字等概分布,则该码的码率为 0.517比特/符号 ,这时若通过二元对称信道接收码字为01100和00110时,应译为01101 , 10110 。。 二、判断题(每题2分,共10分) 1、必然事件和不可能事件的自信息量都是0 。(错) 2、最大后验概率准则与最大似然准则是等价的。(错) 3、如果信息传输速率大于信道容量,就不存在使传输差错率任意小的信道编码。(对) 4、连续信源和离散信源的熵都具有非负性。(错) 5、相同功率的噪声中,高斯噪声使信道容量最小。(对) 三、简答题(第1、2题各6分,第三题10分,共22分) 1、简述最大离散熵定理。对于一个有m 个符号的离散信源,其最大熵是什么? 答:最大离散熵定理为:离散无记忆信源,等概率分布时熵最大。 (3分) 最大熵值为 m H 2max log = (3分) 2、对于任意概率事件集X 、Y 、Z ,证明下述三角不等式成立()()()Z X H Z Y H Y X H ≥+ 证:因为)|()|(Y X H YZ X H ≤ ,(3分) 所以: ) |()|()|() |,() |()|()|()|(Z Y H XZ Y H Z Y H Z Y X I YZ X H Z X H Y X H Z X H ≤-==-≤-(3分)

信息论发展

信息论发展 现代信息论是从上世纪二十年代奈奎斯特和哈特莱的研究开始的,他们最早开始研究了通信系统传输信息的能力,并且试图度量系统的信道容量。香农于1940年在普林斯顿高级研究所期间开始思考信息论与有效通信系统的问题。经过8年的努力,1948年,来自贝尔研究所的ClaudeShannon(克劳德·香农)的《通信的数学理论》论文公诸于世,从此宣告了崭新的一门关于信息发面的学科──信息论的诞生。1949年,香农又在该杂志上发表了另一著名论文《噪声下的通信》。在这两篇论文中,香农阐明了通信的基本问题,给出了通信系统的模型,提出了信息量的数学表达式,并解决了信道容量、信源统计特性、信源编码、信道编码等一系列基本技术问题。两篇论文成为了信息论的奠基性著作。这两篇论文一起阐述了现代信息论的基础。并且香农开始创造性的定义了“信息”。 信息论自从二十世纪四十年代中叶到二十一世纪初期,现已成为一门独立的理论科学,他给出一切传输、存储、处理信息系统的一般理论,并指出,实现有效、可靠地传输和存储信息的途径是走数字化的道路。这是通信技术领域数字化革命的数学或理论基础。1946年的计算机和1947年晶体管的诞生和相应技术的发展,是这一革命的物理或物质基础。信息论是在长期的通信工程实践和理论研究的基础上发展起来的。当物理学中的电磁理论以及后来的电子学理论一旦有某些进展,很快就会促进电信系统的创造发明或改进。这是因为通信系统对人类社会的发展,其关系实在是太密切了。日常生活、工农业生产、科学研究以及战争等等,一切都离不开消息传递和信息流动。通信系统是人类社会的神经系统,即使在原始社会也存在着最简单的通信工具和通信系统,这方面的社会实践是悠久漫长的。自从香农十九世纪四十年代末两篇论文发表后,前苏联和美国的科学家采取了不同的研究途径经一部发展了信息论。柯尔莫哥洛夫、宾斯基和达布鲁新为首的一批著名数学家致力于信息论的公理化体系和更一般更抽象的数学模型,对信息论的基本定理给出了更为普遍的结果,为信息论发展成数学的一个分支作出了贡献。而在美国测试有一批数学修养很高的工程技术人员致力于信息有效处理和可靠传输的可实现性,维信息论转化为信息技术作出了贡献。 20世纪50年代,信息论向各门学科发起冲击;60年代信息论进入一个消化、

信息论与编码期末考试题(全套)..

于信源爛H(X). () 2.由于构成同一空间的基底不是唯一的,所以不同的基底或生成矩阵有可能生成同一码集. () 3.—般情况下,用变长编码得到的平均码长比定长编码 大得多. () 4.只要信息传输率大于信道容量,总存在一种信道编译 码,可以以所要求的任意小的误差概率实现可靠的通信 . () 5.务码字的长度符合克拉夫特不等式,是唯一可译码存在的充分和必要条件.() &连续信源和离散信源的爛都具有非负性. () 7.信源的消息通过信道传输后的误差或失真越大,信宿收到消息后对信源存在的不确 定性就越小,获得的信息戢就越小. 8.汉明码是一种线性分组码. () 9.率失真函数的最小值是0 . () 10.必然事件和不可能事件的自信息量都是0 . () 二、填空题共6小题,满分20分. 1 、码的检、纠错能力取决 于______________________________ . 2、___________________________________ 信源编码的目的是:信道编码 的目的是____________________ . 3、把信息组原封不动地搬到码字前k位的(仏灯码就叫 做___________________ ? 4、香农信息论中的三大极限建理 是____________________ 、 ____________________ 、■ 5、耳信道的输入与输出随机序列分别为X和Y ,则 KX\Y N)=NI(X,Y)成立的 条件______________________________ ? 6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码, 编码方法惟一的是 O ",则该信源的Dmax= ________ a 0 三、本题共4小题,满分50分. K某信源发送端有2种符号x,i = 1,2), /心)=a:接收端 有3种符号y r. () = 123),转移概率矩阵为 1/2 1/2 0 P = ? 1/2 1/4 1/4. (1)计算接收端的平均不确定 度 (2)计算由于噪声产生的不确 定度H(rix): (3)计算信道容量以及最佳入 口分布. 2、一阶马尔可夫信源的状态转移 (1) 求信源平稳后的概率分布: (2) 求此信源的燔: (3) 近似地认为此信源为无记忆时,符号的概率分布为 稳分布?求近似信源的爛H(X)并与Hs进行比较. 4、设二元(7,4)线性分组码的生成矩阵为0 0 0 10 0 0 1 0 0 0 1 (1)给岀该码的一致校验矩阵,写出 所有的陪集首和与之相对应的伴随式: (2)若接收矢gv = (0001011),试讣 算出其对应的伴 随式S并按照最小距离译码准则试着对其译码. (二) 一、填空题(共15分,每空1分) 一、判断题共10小J满分20分. 1.当随机变量X和丫相互独立时,条件爛H(XI Y)等 7、某二元信源[爲冷打加其失真矩阵 图如右图所示, 信源X的符号集为{0丄2}? 1 1 0 1 G = 1 1 0 1 1 0 1 0 1 0

演化博弈论简介

演化博弈论简介 说明:这篇东西是我上周六在浙大思想讨论班上做演讲的讲稿和主要内容。讲完以后,叶航老师提出了很多宝贵的意见。我也正好乘这机会把没有讲或者没有讲清楚的东西梳理了一下。整理过程中还发现了了很多问题,请大家批评。 丁丁1994年有一篇重要的文章,介绍发展经济学的最新进展。他比较了诺斯(North)的制度变迁理论,罗默(Romer),卢卡斯(Lucas)等的内生增长理论,哈耶克的“自发秩序论”,重复博弈和演化博弈论等理论,这些理论的共同特点是“动态”(dynamic)。传统新古典经济学是静态的,重视均衡点,但很难进行历史的研究。正因为如此,这些新理论才显示出强大 的生命力,获得广泛运用。 我们这里讲演化博弈(evolutionary game theory),它显然有2条理论来源,一是演化理论,一是博弈论。 先来看演化理论,我首先要纠正一个常见的误解,即演化均衡是帕累托最优的,或者说最大化整个社群的福利。我们要注意到,演化均衡不等于一般均衡,等会我会给出一些严格的定义。从福利经济学第一定理可以得知,一般均衡必然是帕累托最优的,即所谓的看不见的手的含义,但是演化均衡并没有类似的定理。我们用常识来分析,如果演化均衡最大化社群的福利,那么什么是社群的福利呢?是个体的总数最大吗,是个体的多样性最多吗,抑或是个体预期存活概率最大?即使我们能为适应性(fitness)找出合适的测量方法,我们也无法保证演化是朝向个体适应性最大的方向演化。我这里用演化,避免用演进,可以减少误解。 演化理论中有两条最重要的机制。一个叫自然选择,即不是每种生物都有相同的概率在下一期存活。在这个世界上,有些生物个体(或者人)特别幸运,他们能活下去,但还有些个体就倒霉了,他们会被淘汰。我们今天都活着,可见我们的祖先都还是幸运的,他们有后代继承了他们的基因。我特别要强调自然选择,对于我们来说是被选择(be selected),我们能决定我们的行为和策略,但不能决定我们是否被选择,那是上帝的事情。严复说物竞天择,就是这个意思。 另一种机制叫突变机制(mutant),这保证了种群的变化。如果没有突变,那么这个世界上存活下来的物种就会越来越少,最后只剩下一种。对于突变机制,我也要强调它是没有方向性的,可能会提高个体的适应性,但更有可能降低个体的适应性。突变同样是上帝的选择,微观个体无能为力。 接下来,我们就可以回顾演化经济学的思想史了。我在幻灯片里给出了一长串人的名字,他们都可以看作是具有演化思想的经济学家,都是演化经济学的先驱。斯密,马克思,门格尔,马歇尔,凡勃仑,熊彼特,直到哈耶克。我尤其要强调雄彼特的贡献,他研究经济发展和经济周期,提出了著名的“创新”思想。这带有明显的动态的特征,并影响了随后的尼尔森和温特。 安德森把熊彼特以后,尼尔森-温特以前这段时间(1930-1970)比作黑暗时代(当然这仅指演化经济学而言,对于新古典经济学无疑是黄金时代呢),这段时间很少有人关心动态的演化的经济学理论。(阿尔奇安也许是个例外) 从70年代初开始,尼尔森和温特提出了一系列演化经济学模型。同时,梅纳德.史密斯在1973年提出了著名的演化稳定策略,奠定了演化经济学的基础。从此,演化经济学可以算真正诞生了。 尼尔森自称是熊彼特的忠实信徒,而温特是达尔文进化论的信徒,他们的演化理论非常鲜明地具有这些特征。计算机能够很好地模拟生态学上物种数量的演化,因而也被广泛地用于经济模型的演化模拟。尼尔森-温特的多数模型都很容易被改编成计算机模型,用现实数据进

信息论发展史和展望 蒲鹤升

信息论发展史和展望 蒲鹤升(020150802) 一、信息论定义 信息论,顾名思义是一门研究信息的处理和传输的科学;即用概率论与数理统计方法来探究信息的度量、传递和变换规律的一门学科。它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。信息论将信息的传递作为一种统计现象来考虑,给出了估算通信信道容量的方法,信息传输和信息压缩是信息论研究中的两大领域,这两个方面又由信息传输理论、信源-信道隔离定理相互联系。信息是系统传输和处理的对象,它载荷于语言、文字、图像、数据等之中。这就是现代信息论的出发点。 二、狭义与广义 狭义的信息论是应用数理统计方法来研究信息处理和信息传递的科学,它研究存在于通讯和控制系统中普遍存在着的信息传递的共同规体,以及如何提高各信息传输系统的有效性和可能性的一门通讯理论。狭义信息论是申农氏于1948年创立的,其主要内容就是研究信源、信宿、传递及编码问题,因此它主要应用于通讯工作。后来信息论发展很快,将申农氏信息论的观点做为研究一切问题的理论,即广义信息论。信息论是建立在信息基础上的理论,所谓信息,即人类凭借感觉器官感知的周围一切变化,都可称作信息。 三、相关人物贡献 20世纪通信技术的发展推动了信息理论的研究. 美国科学家H.Nyquist 于1924年解释了信号带宽和信息速率之间的关系 美国科学家L.V.R.Hartley 于1928年开始研究通信系统传输信息的能力,给出了信息的度量方法 美国科学家C.E.Shannon 于1948年发表的著名论文《通信的数学理论》 A Mathematical Theory of Communication奠定了信息论的理论基础 四、各发展阶段 第一阶段:1948年贝尔研究所的香农在题为《通讯的数学理论》的论文中系统地提出了关于信息的论述,创立了信息论. 第二阶段:20世纪50年代,信息论向各门学科发起冲击;60年代信息论进入一个消化、理解的时期,在已有的基础上进行重大建设的时期.研究重点是信息和信源编码问题.

(整理)信息论期末考试试题1.

安徽大学2011—2012学年第1学期 《信息论》考试试卷(AB 合卷) 院/系 年级 专业 姓名 学号 一、填空题 1、接收端收到y 后,获得关于发送的符号是x 的信息量是 。 2、香农信息的定义 。 3、在已知事件z Z ∈的条件下,接收到y 后获得关于事件x 的条件互信息(;|)I x y z 的表达式为 。 4、通信系统模型主要分成五个部分分别为: 。 5、研究信息传输系统的目的就是要找到信息传输过程的共同规律,以提高信息传输的可靠性、有效性、 和 ,使信息传输系统达到最优化。 6、某信源S 共有32个信源符号,其实际熵H ∞=1.4比特/符号,则该信源剩余度为 。 7、信道固定的情况下,平均互信息(;)I X Y 是输入信源概率分布()P x 的 型凸函数。 信源固定的情况下,平均互信息(;)I X Y 是信道传递概率(|)P y x 的 型凸函数。 8、当信源与信道连接时,若信息传输率达到了信道容量,则称此信源与信道达到匹配。信道剩余度定义为 。 9、已知信源X 的熵H (X )=0.92比特/符号,则该信源的五次无记忆扩展信源X 5的信息熵 5()H X = 。

10、将∞H ,6H ,0H ,4H ,1H 从大到小排列为 。 11、根据香农第一定理,对于离散无记忆信源S ,用含r 个字母的码符号集对N 长信源符号序列进行变长编码,总能找到一种无失真的唯一可译码,使每个信源符号所需平均码长满足: 。 12、多项式剩余类环[]())q F x f x 是域的充要条件为 。 13、多项式剩余类环[](1)n q F x x -的任一理想的生成元()g x 与1n x -关系为 。 14、有限域12 2F 的全部子域为 。 15、国际标准书号(ISBN )由十位数字12345678910a a a a a a a a a a 组成(诸i a ∈11F ,满足: 10 1 0(mod11)i i ia =≡∑) ,其中前九位均为0-9,末位0-10,当末位为10时用X 表示。《Handbook of Applied Cryptography 》的书号为ISBN :7-121-01339- ,《Coding and Information Theory 》的书号为ISBN :7-5062-3392- 。 二、判断题 1、互信息(;)I x y 与平均互信息(;)I X Y 都具有非负性质。 ( ) 2、离散信源的信息熵是信源无失真数据压缩的极限值。 ( ) 3、对于无噪无损信道,其输入和输出有确定的一一对应关系。 ( ) 4、对于有噪无损信道,其输入和输出有确定的一一对应关系。 ( ) 5、设有噪信道的信道容量为C ,若信息传输率R C >,只要码长n 足够长,必存在一种信道编码和相应的译码规则,使译码平均错误概率E P 为任意小。反之,若R C <则不存在以R 传输信息而E P 为任意小的码。 ( ) 6、在任何信息传输系统中,最后获得的信息至多是信源所提供的信息。如果一旦在某一

信息论与编码试题集与答案(新)

1. 在无失真的信源中,信源输出由 H (X ) 来度量;在有失真的信源中,信源输出由 R (D ) 来度量。 2. 要使通信系统做到传输信息有效、可靠和保密,必须首先 信源 编码, 然后_____加密____编码,再______信道_____编码,最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式,也就是有名的香农公式是log(1)C W SNR =+;当归一化信道容量C/W 趋近于零时,也即信道完全丧失了通信能力,此时E b /N 0为 -1.6 dB ,我们将它称作香农限,是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小,密钥熵H (K )就越 小 ,其密文中含有的关于明文的信息量I (M ;C )就越 大 。 5. 已知n =7的循环码4 2 ()1g x x x x =+++,则信息位长度k 为 3 ,校验多项式 h(x)= 3 1x x ++ 。 6. 设输入符号表为X ={0,1},输出符号表为Y ={0,1}。输入信号的概率分布为p =(1/2,1/2),失真函数为d (0,0) = d (1,1) = 0,d (0,1) =2,d (1,0) = 1,则D min = 0 ,R (D min )= 1bit/symbol ,相应的编码器转移概率矩阵[p(y/x )]=1001?? ???? ;D max = 0.5 ,R (D max )= 0 ,相应的编码器转移概率矩阵[p(y/x )]=1010?? ? ??? 。 7. 已知用户A 的RSA 公开密钥(e,n )=(3,55),5,11p q ==,则()φn = 40 ,他的秘密密钥(d,n )=(27,55) 。若用户B 向用户A 发送m =2的加密消息,则该加密后的消息为 8 。 二、判断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。 (√ ) 2. 线性码一定包含全零码。 (√ ) 3. 算术编码是一种无失真的分组信源编码,其基本思想是将一定精度数值作为序列的 编码,是以另外一种形式实现的最佳统计匹配编码。 (×) 4. 某一信源,不管它是否输出符号,只要这些符号具有某些概率特性,就有信息量。 (×) 5. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。 (×) 6. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ,当它是正态分布时具 有最大熵。 (√ ) 7. 循环码的码集中的任何一个码字的循环移位仍是码字。 (√ ) 8. 信道容量是信道中能够传输的最小信息量。 (×) 9. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。 (×) 10. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值,这种译码方 法叫做最佳译码。 (√ )

演化博弈论小结

演化博弈论和学习行为的小结 1.RD 模型 ()[()()]()s s x u x u x F s =-= 该模型的来源由Van Damme(1991)的基因复制动态过程的非代际交叠模型和Binmore(1992), Samue(1997)的基因复制动态过程的代际交叠模型分别得出。 2.ESS 的概念 定义:①(,(1))(,(1))u x x y u y x y εεεε-+>-+ ②(1)(,)(,)(1)(,)(,)u x x u x y u y x u y y εεεε-+>-+ ③(,)(,)u x x u x y >或者如果(,)(,)u x x u x y =那么有 EGT 其他引申出的均衡、定理等 ESS 概念 学习模型 模仿 信念学习 路径学习 RD 模型

(,)(,)u x y u y y > PS:NSS 就是在ESS 的定义中将大于号变为大于等于号。 3.其他引申出的一些均衡、均衡之间的关系以及一些定理 3.1 ①EE : 是演化动态过程的任一渐进稳定不动点。其判定方法可以如下: ()0F s =;()/0dF s ds <。 ②ES : (对称二人博弈中)如果x *是X 的子集,且满足条件: a 、x *中每个元素都是一个NSS b 、x X *∈,(,)(,)u x x u y x =且(,)(,)u x y u y y =,则有y X *∈。 ③REE 对称策略(x,x )是REE 充分必要条件是存在某个 ε∈(0,1),使如果x x '≠且 (0,)εε∈,有((1)x B R x x εε ''?+- ④EES x X '∈是EES 的充分必要条件是, 它是最小的非空子集使得:

信息论与编码期末考试题----学生复习用

《信息论基础》参考答案 一、填空题 1、信源编码的主要目的是提高有效性,信道编码的主要目的是提高可靠性。 2、信源的剩余度主要来自两个方面,一是信源符号间的相关性,二是信源符号的统计不均匀性。 3、三进制信源的最小熵为0,最大熵为32log bit/符号。 4、无失真信源编码的平均码长最小理论极限制为信源熵(或H(S)/logr= H r (S))。 5、当R=C 或(信道剩余度为0)时,信源与信道达到匹配。 6、根据信道特性是否随时间变化,信道可以分为恒参信道和随参信道。 7、根据是否允许失真,信源编码可分为无失真信源编码和限失真信源编码。 8、若连续信源输出信号的平均功率为2σ,则输出信号幅度的概率密度是高斯分布或正态分布或()22 212x f x e σπσ -= 时,信源 具有最大熵,其值为值21 log 22 e πσ。 9、在下面空格中选择填入数学符号“,,,=≥≤?”或“?” (1)当X 和Y 相互独立时,H (XY )=H(X)+H(X/Y)=H(Y)+H(X)。 (2)()() 1222H X X H X =≥()()12333 H X X X H X = (3)假设信道输入用X 表示,信道输出用Y 表示。在无噪有损信道中,H(X/Y)> 0, H(Y/X)=0,I(X;Y)

信息论与编码试卷及答案(多篇)

一、概念简答题(每题5分,共40分) 1.什么是平均自信息量与平均互信息,比较一下这两个概念的异同? 答:平均自信息为 表示信源的平均不确定度,也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y获得的关于每个X的平均信息量,也表示发X前后Y的平均不确定性减少的量,还表示通信前后整个系统不确定性减少的量。 2.简述最大离散熵定理。对于一个有m个符号的离散信源,其最大熵是多少? 答:最大离散熵定理为:离散无记忆信源,等概率分布时熵最大。 最大熵值为。 3.解释信息传输率、信道容量、最佳输入分布的概念,说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系? 答:信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。 平均互信息是信源概率分布的∩型凸函数,是信道传递概率的U型凸函数。 4.对于一个一般的通信系统,试给出其系统模型框图,并结合此图,解释数据处理定理。 答:通信系统模型如下:

数据处理定理为:串联信道的输入输出X、Y、Z组成一个马尔可夫链,且有, 。说明经数据处理后,一般只会增加信息的损失。 5.写出香农公式,并说明其物理意义。当信道带宽为5000Hz,信噪比为30dB时求信道容量。 .答:香农公式为,它是高斯加性白噪声信道在单位时间内的信道容量,其值取决于信噪比和带宽。 由得,则 6.解释无失真变长信源编码定理。 .答:只要,当N足够长时,一定存在一种无失真编码。 7.解释有噪信道编码定理。 答:当R<C时,只要码长足够长,一定能找到一种编码方法和译码规则,使译码错误概率无穷小。 8.什么是保真度准则?对二元信源,其失真矩阵,求a>0时率失真函数的和? 答:1)保真度准则为:平均失真度不大于允许的失真度。 2)因为失真矩阵中每行都有一个0,所以有,而。 二、综合题(每题10分,共60分) 1.黑白气象传真图的消息只有黑色和白色两种,求:

相关文档
最新文档