第四章 熵,负熵与时间之箭

第四章 熵,负熵与时间之箭
第四章 熵,负熵与时间之箭

第四章 熵和负熵与时间之箭

4.1 时间之箭

时间是有方向的,总是从过去向未来流动,这就是时间之箭。早在两千四百多年前,孔夫子就说过:“逝者如斯,不舍昼夜”。(时间的流逝就像这河水一样,日夜不停啊!)唐代著名诗人李白也曾满怀感慨地吟唱:“黄河之水天上来,奔流到海不复回!”

但自然科学中研究时间之箭,却是始于19世纪中叶,在那以前科学仅仅研究没有时间箭头的对象。控制论的奠基人维纳说:“天文历书顺读与倒读都是一样的,未来总是以某种形式重复着过去,除了初始位置和方向外,顺转和逆转的两个太阳仪之间的运动没有任何差别。因此,假如把一部行星运动的影片的放映速度加快,使得我们可以感觉到行星的运动,同时倒过来放映,那么它还是符合牛顿力学的一种行星运动状态”。维纳还把这种可逆性变化形象地比喻为“回文”

(Palindrome),即一种词和句子倒过来时仍具有原意的文句。所以维纳指出:“当这一切被牛顿归结为一组抽象的公设而推演出一门严格的力学的时候,这种力学的基本定律并不因时间变数

t变为它的负数而改变,或者说,经典力学对于时间的平移群是不变式”,爱因斯坦也曾说过:“对于我们这些坚信物理学的人,过去、现在和将来的区别只是一种幻觉,但却是一种持久的幻觉。”

1822年,法国学者傅里叶(J.Fourier)以严格的数学形式表述了热传导定理。热传导取决于温度梯度。即热只能从高温传向低温。热传导是不可逆的,它对于时间的平移群已经不再是不变式,它的未来与过去不对称。这是自然科学中研究时间箭头之开始。

1824年,卡诺(S.Carnot)发表题为“关于热动力学以及热动力机制的看法”的经典论文,从理想的“卡诺热机”模型提出著名的卡诺原理。在卡诺原理中已经包含有“功可以完全直接转变为热,但热却不能完全直接转变为功”的思想。这被看作是热力学第二定律的萌芽。功和热的转变是不对称的,这中间就包含了时间箭头。

1850年,克劳修斯(R.J.E.Clausius)仔细研究了卡诺提出的理想热机模型,正式提出热力学第二定律:“热不可能自发地从一个较冷的物体流向一个较热的物体”。1865年,克劳修斯将热力学第二定律表述为熵增加原理:“系统经绝热过程由初态变到终态,它的熵不减少:熵在可逆绝热过程中不变,在不可逆绝热过程中增加”。

1927年,著名物理学家爱丁顿(A.S.Eddington)在爱丁堡大学首先提出“时间之箭”(tim

e arrow)的说法,并且指出“迄今物理学中所说的时间之箭,仅仅只是熵的性质”。

4.2 两类不同的演化方向

几乎与克劳修斯同时,生物学家达尔文(C.R.Darwin)提出了另一类时间之箭。1859年,达尔文出版他的巨著《物种起源》,以自然选择学说解释生物进化,奠定了生物进化论的基础。高等生

物总是从低级生物进化而来,进化之后,高等生物即使发生局部器官的退化,也不可能退化成原先的低等生物(此命题的逆命题不一定正确,不能说“低等生物总会进化成高等生物”)。

在生物进化过程中,时间的过去与未来是不对称的,这是一个不可逆过程,但生物进化的时间箭头与熵增不同。熵增意味着退化,即旧事物的分解和衰亡;而进化是新事物的产生和发展,它的时间箭头是指向熵减少的。这样,事物演化的时间箭头便可以分为退化和进化两大类。

4.3 自然界演化的动因

退化,混乱度或无序度增加,即热力学第二定律所描述的熵增加过程,也可以说是信息量或负熵减少的过程,它的发生需要以储备的负熵作为前提或先决条件。如果一个系统的信息量或负熵为0,熵值已达最大,即表示该系统已退化至极点,无从再退化下去了。

热力学系统发生退化,熵值增加,即意味着自由能(可以作功的能量)的减少。热力学系统的负熵是以自由能的形式储备的。薛定谔最先指明负熵与自由能的对应关系。这就是说,必须有自由能的储备作为前提,熵增加的过程才能发生。热量由高温流向低温,是因为有温度差作为前提;气体由压强大的部分向压强小的部分膨胀,是因为有压强差的存在;水往低处流,是因为原来水在高处,有高度差(或者说势能)的存在;电流从高电势流向低电势,在于原来存在电势差。同一水平面的水是不能流动的,没有电势差便没有电流,没有温度差便没有热传递。退化过程(熵增加)是要消耗负熵的。没有可供消耗的负熵,则无从发生熵增加。而对于孤立系统,热力学第二定律断言,熵是必然会增加的。换句话说就是负熵或信息量必然会减少。自然界有自动走向混乱的倾向,但走向混乱必须以原来存在有序为前提。这就是说,退化过程由熵与负熵的矛盾所推动。对于孤立系统,由于不能从外界获得负熵,信息或有序度,因而熵成为矛盾的主要方面,总是发生熵增加的退化过程。

进化,即有序度增加,或向上的发展过程,可以用负熵或信息量的增加来描述,例如生物的生长和进化,耗散结构的产生和发展等等。但这是要以消耗环境中更大的负熵为代价的,因此,并不违背热力学第二定律。这就是说,进化发展的系统必然要从环境中输入负熵,这就必须是开放系统。绿色植物要利用阳光进行光合作用才能生长,人和动物要摄取食物,藉以从环境输入负熵。系统内部有熵产生,有熵增加的倾向,但如果从环境输入的负熵来抵消系统内部的熵产生,而且有盈余的话,系统就向上进化发展。由此可见,进化过程也由熵与负熵的矛盾所推动,但对系统本身而言,负熵是矛盾的主要方面。

进化发展的系统一定是开放系统,但并非开放系统就一定会进化。进化的系统除了具有能够提供负熵的环境这个外因,还必须具有一定的内因,即系统本身已积累了一定的负熵,具有一定的信息,具有一定的有序的组织结构和有序的功能(所谓“结构序”和“功能序”),具有从外界输入特定负熵或信息的“通道”,并能排除“噪音”,而且系统本身的负熵与环境提供的负熵能够耦合,系统才能进化发展。

4.4 能障与熵障

任何事物的演化,都要以消耗负熵为前提,这是热学第二定律的断言,否则就成为“第二类永动机”了。但有的事物不稳定,容易发生演化;而有的事物非常稳定,很难发生演化。例如汹涌澎湃的洪水,一泻千里,不可逆地奔向大海,其演化过程之剧烈,令人惊心动魄。而水库中的水,由于受到大坝的阻挡,就很难以发生像洪水那样的演化过程。除非水库的水源足以使水面上升到溢出水坝,或水量过大而冲毁水坝。这种演化就要求有很高的势能。也就是说,水坝形成了一个能量的障碍,或者说一个能垒,阻碍了水库内的蓄水向下游的流动,这就是能障。唯有提供的能量水平高于这个能障时,才能越过或冲破能障而导致事物的演化。

请注意,这里所说越过能障的能量,是指能量水平的高低,而不是指能量的大小。例如一小杯沸水所含的能量(热量)比一大桶温水含的能量要少,但一小杯沸水可以烫伤皮肤,一大桶温水却不会。我们所说的能量水平实际上是一种广义的热力学势,例如温度、电势、化学势、高度等。

另一方面,对于水库的蓄水,我们可以设置水闸或涵洞来控制水库的水流。打开水闸或涵洞的塞子,便可以根据人的需要来控制水流的时间和流量。这就是说,当我们掌握了一定的信息时,就可以利用较小的能量(严格说来应是较低的能量水平)来克服障碍,并进行控制。信息与负熵等价,它可克服熵的障碍,导致事物按一定的方向和速度演化。这种由信息和较小能量克服的障碍,叫做“熵障”。

能障和熵障是普遍存在的。例如一扇锁着的房门,你要打开它,可以利用一片相应的钥匙所提供的信息,用很小的能量就可以开门。但如果你没有钥匙,缺乏信息,因而熵(不定度)很大,不能克服熵障,但又非进门不可,就只得用大能量去克服能障,“破门而入”了!

以上讨论表明,利用克服熵障的方法可以降低能障,促进事物的演化。在日常生活中利用简单机械如斜面、杠杆、动滑轮等,虽然并不能省功,即不能节约能量损耗,而由于摩擦反而要增加能量损耗,但却可以省力。原来一个人的力量无法做成的事,利用省力的机械便可做成了。这实际上是用克服熵障的办法降低了能障。一个人无法一步登上高楼,但只要利用一架梯子提供信息,克服熵障,就可以一级一级地爬上去,每一级的能障就很小了。又如修公路遇到高山,可以用开隧道的办法提供信息,克服熵障,从而“穿透”能障。也可以用修盘山公路的办法克服熵障,降低能障,使汽车爬上高山。

能障的概念源出于薛定谔,本书第十章中将继续讨论薛定谔提出的生物遗传物质的能障与熵障问题。

4.5 时间之箭知几许?

包括兰兹伯格在内的一群物理学家,认为宇宙具有一个统一的时间箭头,并倾向于以宇宙大爆炸作为时间箭头的本原,而宇宙中其他具体物质系统的时间方向性都由宇宙大爆炸这个时间箭头派生

而来。后来霍金沿袭了这一观点。霍金在他的一本高级科普名著《时间简史》中写道:“当宇宙停止膨胀并开始收缩时会发生什么呢?热力学箭头会倒转和无序开始随时间减少么?这就导致从膨胀相到

收缩相中活下来的人们各种科学幻想式的可能性。他们会看到碎杯子从地板上自我复原和跳回桌上吗?他们会记忆明天的证券价格而在股市上发财吗?……在收缩相中,人们也向后度过一生:他们在出

生之前先死,当宇宙收缩时愈活愈年轻”。

霍金甚至将这种观点推广到黑洞:“星体坍缩而形成黑洞很像整个宇宙坍缩的晚期,如果在宇

宙的收缩相中无序会减少的话,我们可以预期它在黑洞中也会减少。因此,一个掉入黑洞的宇航员就能在轮盘赌上赚钱,只要他在下赌注之前记得球在哪里就行”。

当这种观点遇到矛盾后,霍金被唐·佩奇(Don

Page)和拉夫兰姆(https://www.360docs.net/doc/1d9308190.html,flamme)所说服,但却又采取了另一种错误的观点,认为宇宙收缩时所有

系统(包括宇宙本身)的熵并不减少,时间箭头并不逆转。

霍金的这一观点受到了普赖斯(H.Price)的严厉批评。普赖斯认为霍金没有解释为何他的假

说可以认为在接近大爆炸时宇宙的熵值很低,而不能同样认为在接近“大坍缩”时(或在一黑洞中)

熵值也很低。霍金由物理学的对称性得出了时间非对称的矛盾结果。霍金曾暗示他已经解决了这个难题,但他没有说明是如何解决的,因此普赖斯指责他“失信”。

根据物理学的对称性,宇宙收缩时,宇宙本身的时间箭头应该逆转。但这并不会导致其他系统

的时间箭头也逆转。因为其他的时间箭头与宇宙的膨胀或收缩并无关系,而决定于系统的内在条件及其与外部条件的相互作用。宇宙的膨胀或收缩对其他具体系统(例如生物的生长,人类的记忆,核军

备的控制等等)的熵变不发生相互作用。宇宙中存在着不可胜数的各种各样、形形色色的具体物质系统,每个系统都有它自己的时间之箭。我们不妨看看《原子科学家通报》(Bulletin of Atomic Scientists)封面上的“末日钟”(Doomsday

Clock)。这是一个钟表图案,于1947年6月首次出现在该刊封面上。当时末日钟的分针指着12点差

7分(12点即爆发全面核战争的“世界末日”)。40多年来,核时代和平与战争的重大事件都在末日

钟上反映出来。1949年,苏联试爆第一颗原子弹,末日钟前拨4分,分钟指着12点差3分。1953年

,美苏试验氢弹,前拨1分,至12点差2分。1960年,美苏出现缓和,后拨5分,恢复到原来的12点

差7分。1963年,美英苏签订部分禁止核试验条约,后拨5分,至12点差12分。1968年,核扩散加剧,法国成为第5个氢弹拥有国,前拨5分,至12点差7分,1969年美苏签订防止核扩散条约,后拨3分,至12点差10分。1972年,美苏签订限制洲际导弹和反弹道导弹条约,后拨2分,至12点差12分

。1974年,美苏第二阶段限制战略武器条约谈判陷入僵局,前拨3分,至12点差9分。1980年,苏

军入侵阿富汗,前拨2分,至12点差7分。1981年美国总统宣布可能爆发核战争,前拨3分,至12点

差4分。1984年,美苏裁军谈判中断,前拨1分,至12点差3分。1988年,美苏签署中程导弹协议,

后拨3分,至12点差6分。1990年,东欧政局剧变,欧洲核战争危险减少,后拨4分,至12点10分。

1991年,东西方冷战结束,后拨7分(这是40多年来后拨最大的一次),至12点差17分。 〔24〕

“末日钟”的前拨与后拨,与宇宙的膨胀和收缩全然无关,也与热力学的时间之箭无关,而是取决于国际社会对军备的控制,取决于人类和平与战争力量的较量。

宇宙中不存在一个决定一切的时间箭头本原。不可胜数的物质系统都各自有其时间之箭。除非两系统间确有相互作用发生时,它们的时间箭头才会彼此影响。宇宙中的时间箭头也不可能归结为少数几个“基本的”时间之箭〔像彭罗斯(R.Penrose)所说的“时间的7支箭”那样〕。这真是:时间之箭知几许!

4.6 心理学时间之箭

什么是心理学时间之箭?霍金说:“是我们只能记忆过去而无法记忆未来的方向”。彭罗斯也如是说。沿用这样说法的还有杨纲凯、吴忠超和许明贤。

我们马上就会发现,如此定义心理学时间箭头是有毛病的。人固然不能记忆未来,但一个人能记忆他出生前的过去吗?不能记忆未来是因为这个人没有感知过未来的事物,就像他因为没有感知过出生前的过去因而也不能记忆出生前的过去一样。在这里,一个人的未来与他出生前的过去在物理学上是对称的。因此,这根本就不是什么心理学的时间之箭!我国唐代诗人陈子昂曾经如此吟唱:“前不见古人,后不见来者,念天地之悠悠,独怆然而涕下!”(《登幽州台歌》)。后不见来者与前不见古人在物理学上也是对称的。看来在这一点上,一千三百多年前的中国诗人比霍金和彭罗斯要高明!“前不见古人,后不见来者”之中固然包含着时间箭头,表明时间既不能倒退,也不能超前。但这是任何一个具有时间之箭的系统都有的性质,岂止心理学过程而已!任何系统,都无法“记忆”未来,也无法“记忆”它存在之前的过去。心理学的时间之箭只是人类大脑对这种性质的感受。“念天地之悠悠,独怆然而涕下!”才是真正的心理学时间之箭。

在讨论心理学的时间之箭时,霍金将人脑的记忆功能与电脑的存储功能相类比。电脑存储某些信息时,其存储物质的状态变得更有序,即“信息熵”减少。但电脑要存储信息,需要以消耗更多的有序能量为代价,系统的总熵仍然增加。霍金据此认为,电脑的“心理学时间方向”,即只能记忆过去而不能记忆将来,与热力学熵增的时间方向是一致的。

霍金的这一论证是错误的。如果电脑真能记忆未来的事物,它就可以不消耗有序能量,反而成为一部“发动机”么?答案是否定的。电脑储存任何信息都要消耗有序能量,而不取决于信息的性质。在任何情况下,电脑都不可能成为永动机。

霍金甚至走得更远,他根据人脑与电脑的类比作出结论说,“无序随时间而增加,是因为我们沿着增加的方向测量时间!你不能有比此更保险的断言了!这使得热力学第二定律几乎一文不值”。

这真令人有点匪夷所思了!与爱丁顿所说“热力学第二定律是科学的最高定律”,恰为两个对立的极端。

那么,究竟什么是心理学的时间之箭?我们说,心理学的时间之箭是一个人对环境熵变与自己身体内部熵变的一种心理感受。不同的人处在不同的年龄阶段,对时间之箭的感受会有所不同。一个小孩,很容易感受到自身热力学熵与信息熵的减少(依赖于从环境输入负熵):“我长大了,我又长高了!”(热力学熵变向负);“我懂事了”(信息熵减少,即信息量增加)。一个青少年会说:“我的身体更棒了;我的知识也增长了!”一个风烛残年的老人,则最容易感受到熵增:“我又向火葬场靠近了一步!”青年人容易感受到春的生机;老年人则更容易悲秋,唐代诗人李白也曾悲叹:“君不见高堂明镜悲白发,朝如青丝暮如雪!”这就是心理学的时间之箭。

4.7 关于时间箭头的伦理学

韶光易逝,时不我待。逝者如斯,岁月不饶人!作为万物之灵的人类,应该把握光阴,把有限的生命投入到无限的人类进步事业中去。“莫等闲白了少年头,空悲切!”

人类无法使时间倒流,无法在孤立系统内造成熵减少,无法制造第二类永动机。但人类却可以利用环境提供的负熵,不断增强自己控制自然界演化的力量。凡是累积负熵和创造信息的事业,无论是工业、农业,还是科技、经济和文化教育事业,都是崇高伟大的事业;而破坏信息、毁损负熵的行为,无论是焚书坑儒,“十年浩劫”,还是杀人放火、盗窃抢劫、阴谋暗算……,都应该受到人类的谴责。人类将在宇宙提供负熵的这个无比壮阔的时空舞台上,演出一幕又一幕控制自然界演化的威武雄壮的史剧。而那些破坏信息、毁损负熵的悲剧和闹剧,也许终有一天会在人类的历史中消亡。

最大熵算法笔记

最大熵算法笔记 最大熵,就是要保留全部的不确定性,将风险降到最小,从信息论的角度讲,就是保留了最大的不确定性。 最大熵原理指出,当我们需要对一个随机事件的概率分布进行预测时,我们的预测应当满足全部已知的条件,而对未知的情况不要做任何主观假设。在这种情况下,概率分布最均匀,预测的风险最小。因为这时概率分布的信息熵最大,所以人们称这种模型叫"最大熵模型"。 匈牙利著名数学家、信息论最高奖香农奖得主希萨(Csiszar)证明,对任何一组不自相矛盾的信息,这个最大熵模型不仅存在,而且是唯一的。而且它们都有同一个非常简单的形式-- 指数函数。 我们已经知道所有的最大熵模型都是指数函数的形式,现在只需要确定指数函数的参数就可以了,这个过程称为模型的训练。 最原始的最大熵模型的训练方法是一种称为通用迭代算法GIS (generalized iterative scaling) 的迭代算法。GIS 的原理并不复杂,大致可以概括为以下几个步骤: 1. 假定第零次迭代的初始模型为等概率的均匀分布。 2. 用第N 次迭代的模型来估算每种信息特征在训练数据中的分布,如果超过了实际的,就把相应的模型参数变小;否则,将它们便大。 3. 重复步骤2 直到收敛。 GIS 最早是由Darroch 和Ratcliff 在七十年代提出的。但是,这两人没有能对这种算法的物理含义进行很好地解释。后来是由数学家希萨(Csiszar) 解释清楚的,因此,人们在谈到这个算法时,总是同时引用Darroch 和Ratcliff 以及希萨的两篇论文。GIS 算法每

次迭代的时间都很长,需要迭代很多次才能收敛,而且不太稳定,即使在64 位计算机上都会出现溢出。因此,在实际应用中很少有人真正使用GIS。大家只是通过它来了解最大熵模型的算法。 八十年代,很有天才的孪生兄弟的达拉皮垂(Della Pietra) 在IBM 对GIS 算法进行了两方面的改进,提出了改进迭代算法IIS (improved iterative scaling)。这使得最大熵模型的训练时间缩短了一到两个数量级。这样最大熵模型才有可能变得实用。即使如此,在当时也只有IBM 有条件是用最大熵模型。 由于最大熵模型在数学上十分完美,对科学家们有很大的诱惑力,因此不少研究者试图把自己的问题用一个类似最大熵的近似模型去套。谁知这一近似,最大熵模型就变得不完美了,结果可想而知,比打补丁的凑合的方法也好不了多少。于是,不少热心人又放弃了这种方法。第一个在实际信息处理应用中验证了最大熵模型的优势的,是宾夕法尼亚大学马库斯的另一个高徒原IBM 现微软的研究员拉纳帕提(Adwait Ratnaparkhi)。拉纳帕提的聪明之处在于他没有对最大熵模型进行近似,而是找到了几个最适合用最大熵模型、而计算量相对不太大的自然语言处理问题,比如词性标注和句法分析。拉纳帕提成功地将上下文信息、词性(名词、动词和形容词等)、句子成分(主谓宾)通过最大熵模型结合起来,做出了当时世界上最好的词性标识系统和句法分析器。拉纳帕提的论文发表后让人们耳目一新。拉纳帕提的词性标注系统,至今仍然是使用单一方法最好的系统。科学家们从拉纳帕提的成就中,又看到了用最大熵模型解决复杂的文字信息处理的希望。

二傻冒死讨论一下“熵”

二傻冒死讨论一下“熵” . (增补-- 见文章末尾) . [前言]: 二傻这个月为国争光了!团结非洲兄弟,大败了欧美列强,凯旋归来!哈哈!美多哉?不多也!奖章还没到手,胆子却已经膨胀。。。斗胆回科学网逛逛,看看谁又给“和谐”了?. 呀!甘永超被羽化了,因为他想研究光!莫非他想当天使不成? 呀!张树风被圆寂了,因为他想研究熵!莫非他想当上帝不成? . 唉!老爱(爱因斯坦)研究光几十年,都弄不懂光到底是啥,就轮到你小甘? 唉!老玻(玻尔兹曼)研究熵几十年,都郁闷加抑郁到自杀,就轮到你小张? 古子说的好:人贵有自知之明!强扭的甜瓜不甜!强扭的苦瓜不苦!何苦来着?

再仔细研究,呀!他们原来都死在几个“大王”之手。。。真所谓: 张长弓,骑奇马,琴瑟琵琶八大王,王王在上,单戈作战。 袭龙衣,伪为人,魅魑魍魉四小鬼,鬼鬼犯边,合手即拿。 二傻号称天狼星特使,既不怕人,也不怕鬼,就怕孙悟空!他可是盘古开天辟地之前就已经存在的“混沌三子”之一的菩提老祖的徒弟也! 人哪!真是怕什么,什么就来!这不是?科学网上唯一的“悟空”就叫上阵了: 张星元:热力学熵和信息熵——兼答二傻兄 哈哈!曾几何时,桃花岛主"黄老邪"用照妖镜照俺三次(黑镜子+ 白镜子+ 贝叶斯镜)都没将俺照得灵魂出壳,最多把俺照得眼花缭乱找不到北而已!于是乎。。。于是晕乎乎。。。再冒险接一下“悟空”几招,对所谓的“熵还是殇?”评论几句,看看是否能触到380V AC的火线?嘿嘿!

[正文]: 其实就是二傻在“悟空”博文下的几条评论,整理一下,供大家公开批判! .首先谢谢“悟空”点名讨论! 请允许让二傻说说自己的看法如下:(1)您的第一个说法:“熵”是系统的无效能量的度量思考A --- “熵”的概念起源于“经典热力学”,"熵"所讨论的"系统"必须是“孤立系统”...而很明显,世界上并没有真正的"孤立系统"(比如:万有引力就无法屏蔽),所以,将"孤立系统"框架下形成的热力学的“熵理论”推广应用到整个宇宙,其推论将是十分可疑的...(恩格斯是支持这一点的,对吗?)思考B --- "能量"本身也是没有普遍定义的,它只能定义在一定的理论层次上...池塘中的水确实没有有效势能,但它至少 有热能吧?(其实还有核能和内秉质量能等等)...这些能量都是"可以有效的"...只是这些不同的"能量形式"不在您正在讨论的狭小的理论范围内而已! 所以您说他们是无用的能量,其 实是您将自己的研究范围强行限制在您自己规定的小范围 内而已..."世界上没有无用的垃圾(能量),只有不知道怎么用 的宝贝(能量)" (“能量”可以是任何东东,如果您知道如何使它产生影响)(世界上任何人都不是“废人”,如果您知道如何使他发挥作用)

“信息”一词的来源

“信息”一词最早出自南唐诗人李中《暮春怀故人》中的“梦断美人沉信息,目穿长路依楼台”。再用“李中暮春怀故人”查得原诗在〈全唐诗〉748卷 Information 1.信息是物质、能量、信息及其属性的标示。[2006年,医学信息(杂志)]. 2.信息是确定性的增加。 3.信息是事物现象及其属性标识的集合 绪论 对于读者来说,如何通俗的了解和接受所谓信息的概念,来得更加重要。 信息,假如使用数学表达的话,很难理解。 举个例子,有十个人,两两传递一句话,“我告诉你一句话!”到第十个人那里的时候,可能听到的是这样的,“火车什么时候出发?”这说明什么问题呢?耳提面命,两两传递,语言失真!一句同样的话,经过十个人,九次传递,面目全非。 再举个例子, 别人告诉你个事,说 1、“前面有个人!”——非常含糊! 2、“前面有个男人!”——更具体! 3、“前面有个老人,是个男的!”——更具体! 4、“前面有个老头,是个盲人!”——更具体! 5、“前面有个老头,是个盲人!迷路了!”——更具体! 6、“前面有个老头,是个盲人!迷路了!需要帮助!”——更具体! 7、“前面有个老头,是个盲人!迷路了!有个警察把他送回家了!”——更具体! 在大多数情况下,我们听到的和事情的本质,是存在非常大的差异的!我们听到的是消息!而不是信息! 举个例子,单位通知作息时间, “下周开始, 长白班, 上午上班时间8:00——12:00, 下午上班时间14:00——18:00, 即日生效。” 这就是信息应用的一个具体事例。 提供一个精准数据,供传播执行。 [编辑本段]一、信息的基本定义 信息是物质、能量、信息及其属性的标示。[2006年,医学信息(杂志)]. 信息是确定性的增加。 信息是事物现象及其属性标识的集合 信息以物质介质为载体,传递和反映世界各种事物存在方式运动作态的表征。 信息(Information)是物质运动规律总和,信息不是物质,也不是能量! 信息是客观事物状态和运动特征的一种普遍形式,客观世界中大量地存在、产生和传递着以这些方式表示出来的各种各样的信息。 信息的目的是用来“消除不确定的因素”。 信息相关资料: 图片信息(又称作讯息),又称资讯,是一种消息,通常以文字或声音、图象的形式来表现,是数据按有意义的关联排列的结果。信息由意义和符号组成。文献是信息的一种,即通常讲到的文献信息。信息就是指以声音、语言、文字、图像、动画、气味等方式所表示的实际内容。

浅谈最大熵原理和统计物理学

浅谈最大熵原理和统计物理学 摘要 在本文中我们将分别从物理和信息论角度简单讨论熵的意义并介绍由 E.T.Jaynes 所奠立基础的最大熵原理的原始理解。透过研究理想气体,我们将阐述如何运用最大熵 原理研究真实问题。同时藉由简短分析统计物理学研究方法的问题,本文会给出最大熵 原理更深层涵义及其应用。我们将称之为最大熵原理第二延伸。最后透过真实气体的研 究,我们将描绘出如何运用第二延伸来帮助我们思考及研究热力学系统。 一、前言 长时间以来人们对于熵有物理上的理解也有二、最大熵原理 (Information theory) 上的理解。物理上l、什么是最大熵原理信息论 的熵可以说明热力学系统的演化方向、热平衡的达相信物理系学生和物理研究人员都很熟悉成与否亦或是代表系统的混乱程度等[1-3]。在信Clausius的经验准则-热力学第二定律[1,2]。该定息论里,信息熵则代表量测信息系统的可信度或者律说明当一个热力学系统达到最后热平衡状态时,是忽略度[3,4]。然而不管物理或是信息论上对熵该系统的熵会达到最大值。进一步的研究指出当系的理解,实际上仍局限于将熵视为一个量测的工统的熵最大时,其自由能将会成为最小。在此一具。正如我们可藉由系统能量的量测来了解系统状特性的影响下人们惯性的倾向于将熵视为类似能态稳定与否。然而由于E.T.Jaynes的贡献,熵可量的巨观物理量。此一物理量成为描述系统乱度的

依据。此后由于 Gibbs 引入 ensemble 观念,开视为一种研究问题的推理工具,这一层意义才为人 所知[5,6]。时至今日,我们虽然仍无法全盘了解启微观角度的研究方法因而奠立近代统计力学理熵的真正意含,但是我们也渐渐掌握熵在物理学尤解熵的理论基础。在统计力学的观念中,观察者所其是统计物理中所能扮演的角色。通过本文浅显的量测到该系统热力学性质之巨观物理量诸如系统介绍,我们将从过去Jaynes对于熵的认识到今日内能或压力,基本上只能以平圴值来表现。原因在我们的新发现,掀开熵的神秘面纱。于观察者无法明确掌握系统微观状态。此种不确定 性可以藉由机率分布如canonical ensemble来量定义为忽略度 (degree of ignorance) 或者描述化表示。古典系统熵便可由此机率分布来定义出不了选取系统信息的倾向程度,称之为倾向度 (degree Of likelihood) 。通过 Cox 和 Skilling 连续表示, 完全不同的论证[5,7],信息熵的机率分布型式类 似于热力学熵。所不同者在于热力学熵含有波兹曼, (1) S,,kPlogP,biii常数。这样的相似性直到 Jaynes 在1957 年的研式中代表波兹曼常数而为观察者量测到kPbi究才证明这个相似其实是相等[5]。信息熵和热力系统处在状态时的机率分布。或者是连续表示, i学熵实际上具有相同的含意。Jaynes更进一步指出且证明最大熵原理 (maximum entropy principle) ,,,,S,,kdqPqlogPq , (2) 并不只是单纯的热力学第二定律。他的研究指出,bNNN, 最大熵原理不具任何物理意义仅是一个推论的工 具。藉由此原理,观察者所拥有的相关系统信息可式中,,代表空间和动量参数且q,r,pN以公正客观的被编入特定机率分布中来描述观察,,表示观察者量

第四章 熵,负熵与时间之箭

第四章 熵和负熵与时间之箭 4.1 时间之箭 时间是有方向的,总是从过去向未来流动,这就是时间之箭。早在两千四百多年前,孔夫子就说过:“逝者如斯,不舍昼夜”。(时间的流逝就像这河水一样,日夜不停啊!)唐代著名诗人李白也曾满怀感慨地吟唱:“黄河之水天上来,奔流到海不复回!” 但自然科学中研究时间之箭,却是始于19世纪中叶,在那以前科学仅仅研究没有时间箭头的对象。控制论的奠基人维纳说:“天文历书顺读与倒读都是一样的,未来总是以某种形式重复着过去,除了初始位置和方向外,顺转和逆转的两个太阳仪之间的运动没有任何差别。因此,假如把一部行星运动的影片的放映速度加快,使得我们可以感觉到行星的运动,同时倒过来放映,那么它还是符合牛顿力学的一种行星运动状态”。维纳还把这种可逆性变化形象地比喻为“回文” (Palindrome),即一种词和句子倒过来时仍具有原意的文句。所以维纳指出:“当这一切被牛顿归结为一组抽象的公设而推演出一门严格的力学的时候,这种力学的基本定律并不因时间变数 t变为它的负数而改变,或者说,经典力学对于时间的平移群是不变式”,爱因斯坦也曾说过:“对于我们这些坚信物理学的人,过去、现在和将来的区别只是一种幻觉,但却是一种持久的幻觉。” 1822年,法国学者傅里叶(J.Fourier)以严格的数学形式表述了热传导定理。热传导取决于温度梯度。即热只能从高温传向低温。热传导是不可逆的,它对于时间的平移群已经不再是不变式,它的未来与过去不对称。这是自然科学中研究时间箭头之开始。 1824年,卡诺(S.Carnot)发表题为“关于热动力学以及热动力机制的看法”的经典论文,从理想的“卡诺热机”模型提出著名的卡诺原理。在卡诺原理中已经包含有“功可以完全直接转变为热,但热却不能完全直接转变为功”的思想。这被看作是热力学第二定律的萌芽。功和热的转变是不对称的,这中间就包含了时间箭头。 1850年,克劳修斯(R.J.E.Clausius)仔细研究了卡诺提出的理想热机模型,正式提出热力学第二定律:“热不可能自发地从一个较冷的物体流向一个较热的物体”。1865年,克劳修斯将热力学第二定律表述为熵增加原理:“系统经绝热过程由初态变到终态,它的熵不减少:熵在可逆绝热过程中不变,在不可逆绝热过程中增加”。 1927年,著名物理学家爱丁顿(A.S.Eddington)在爱丁堡大学首先提出“时间之箭”(tim e arrow)的说法,并且指出“迄今物理学中所说的时间之箭,仅仅只是熵的性质”。 4.2 两类不同的演化方向 几乎与克劳修斯同时,生物学家达尔文(C.R.Darwin)提出了另一类时间之箭。1859年,达尔文出版他的巨著《物种起源》,以自然选择学说解释生物进化,奠定了生物进化论的基础。高等生

实验一-信息熵与图像熵计算-正确

实验一信息熵与图像熵计算(2 学时) 一、实验目的 1.复习MATLAB的基本命令,熟悉MATLAB下的基本函数; 2.复习信息熵基本定义,能够自学图像熵定义和基本概念。 二、实验内容 1.能够写出MATLAB源代码,求信源的信息熵; 2.根据图像熵基本知识,综合设计出MATLAB程序,求出给定图像的图像熵。 三、实验仪器、设备 1.计算机-系统最低配置256M内存、P4 CPU; 2.MATLAB编程软件。 四实验流程图 五实验数据及结果分析

四、实验原理 1.MATLAB中数据类型、矩阵运算、图像文件输入与输出知识复习。 2.利用信息论中信息熵概念,求出任意一个离散信源的熵(平均自信息量)。自信息是一个随机变量,它是指某一信源发出某一消息所含有的信息量。所发出的消息不同,它们所含有的信息量也就不同。任何一个消息的自信息量都代表不了信源所包含的平均自信息量。不能作为整个信源的信息测度,因此定义自信息量的数学期望为信源的平均自信息量: 1( ) 1 ( ) [log ] ( ) log ( ) i n i i p a i H E p a p a X 信息熵的意义:信源的信息熵H是从整个信源的统计特性来考虑的。它是从平均意

义上来表征信源的总体特性的。对于某特定的信源,其信息熵只有一个。不同的信源因统计特性不同,其熵也不同。 3.学习图像熵基本概念,能够求出图像一维熵和二维熵。 图像熵是一种特征的统计形式,它反映了图像中平均信息量的多少。图像的一维熵表示图像中灰度分布的聚集特征所包含的信息量,令Pi表示图像中灰度值为i的像素所占的比例,则定义灰度图像的一元灰度熵为: 2550 log i i i p p H 图像的一维熵可以表示图像灰度分布的聚集特征,却不能反映图像灰度分布的空间特征,为了表征这种空间特征,可以在一维熵的基础上引入能够反映灰度分布空间特征的特征量来组成图像的二维熵。选择图像的邻域灰度均值作为灰度2

熵的应用和意义

浅谈熵的意义及其应用 摘要:介绍了熵这个概念产生的原因,以及克劳修斯对熵变的定义式;介绍了玻尔兹曼从微观角度对熵的定义及玻尔兹曼研究工作的重要意义;熵在信息、生命和社会等领域的作用;从熵的角度理解人类文明和社会发展与环境的关系。 关键词:克劳修斯熵玻尔兹曼熵信息熵生命熵社会熵 0 前言:熵是热力学中一个非常重要的物理量,其概念最早是由德国物理学家克劳 修斯(R.Clausius)于1854年提出,用以定量阐明热力学第二定律,其表达式为 dS=(δQ/T)rev。但克劳修斯给出的定义既狭隘又抽象。1877年,玻尔兹曼(L.Boltzmann)运用几率方法,论证了熵S与热力学状态的几率W之间的关系,并由普朗克于1900给出微观表达式S=k logW,其中k为玻尔兹曼常数。玻尔兹曼对熵的描述开启了人们对熵赋予新的含义的大门,人们开始应用熵对诸多领域的概念予以定量化描述,促成了广义熵在当今自然及社会科学领域的广泛应用【1】【2】。 1 熵的定义及其意义 由其表达式可知,克劳修克劳修斯所提出的熵变的定义式为dS=(δQ/T)rev , 斯用过程量来定义状态函数熵,表达式积分得到的也只是初末状态的熵变,并没有熵的直接表达式,这给解释“什么是熵”带来了困难。【1】直到玻尔兹曼从微观角度理解熵的物理意义,才用统计方法得到了熵的微观表达式:S=k logW。这一公式对应微观态等概出现的平衡态体系。若一个系统有W个微观状态数,且出现的概率相等,即每一个微观态出现的概率都是p=1/W,则玻尔兹曼的微观表达式还可写为:S=-k∑plogp。玻尔兹曼工作的杰出之处不仅在于它引入了概率方法,为体系熵的绝对值计算提供了一种可行的方案,而且更在于他通过这种计算揭示了熵概念的一般性的创造意义和价值:上面所描述的并不是体系的一般性质量和能量的存在方式和状态,而是这些质量和能量的组构、匹配、分布的方式和状态。 玻尔兹曼的工作揭示了正是从熵概念的引入起始,科学的视野开始从对一般物的质量、能量的研究转入对一般物的结构和关系的研究,另外,玻尔兹曼的工作还为熵概念和熵理论的广义化发展提供了科学依据。正是玻尔兹曼开拓性的研究,促使熵概念与信息、负熵等概念联姻,广泛渗透,跨越了众多学科,并促

信息熵理论

信息熵理论 在通信系统中,信息从发送到接收的传输过程是一个有干扰的信息复制过程。 对每一个具体的应用而言,传输的信息是确定的,有明确的应用目的。 对一个通信系统而言主,不同的用户要传送的具体的信息内容是不同的,则如何从这些繁杂的具体信息中提炼出它们的共同特征,并可进行量化估计是shannon 信息论研究的基础。 所谓量化估计就是用提炼的共同特征估计与某些具体内容所对应的需要传输的信息量大小。 信息量定义的另一个重要特征是它能保证信息量值的大小与具体的信息内容无关。 1.定义信息熵: 设X 是一个离散的随机变量,其定义空间为一个字符集E 。 ()()E x x X P x p ∈==,,表示相应的概率分布函数,则 ()()()()x p x p X H x log ∑-=称为离散随机变量的熵。 有时记()()()()(){}X p E x p x p p H p x log log -=-=∑ {}p E 表示以概率分布()x p 对某随机变量或随机函数求概率平均。 2.定义联合熵: 设X ﹑Y 是丙个离散的随机变量,(X,Y )的联合概率分布函数为()()y Y x X P y x p ===,,,则 ()()()y x p y x P Y X H x y ,log ,,∑∑-= 称为离散随机变量X 与Y 的联合熵。 有时记为: ()()()(){}Y X p E y x p y x p Y X H p x y ,log ,log ,,-=-=∑∑ 3.定义条件熵: 如果()(),,~,y x p Y X 则条件熵()X Y H /定义为 ()()() ∑=-=x x X Y H x p X Y H // ()()()∑∑- =x y x y p x y p x p /log / ()()∑∑-=x y x y p y x p /log , (){}X Y p E /log -= 条件熵等于零的条件为()1==Y X p 事实上,对任意的y x ,都有()()0/log /=x y p x y p ,从而得()()1/0/==x y p x y p 或,又因为X 与Y 是取值空间完全相同的随机变量,所以有()1/=X Y p

“负熵”的玄乎

负熵”的玄乎——对诺奖得主薛定谔生命观之批判 1865年,德国物理学家克劳修斯提出了熵的概念,用以度量在化学及热力学中动力学方面不能做功的能量总数(当系统的熵增加时,其做功能力下降),即将熵作为一种能量退化的指标,用于计算一个系统中的失序现象。 奥地利理论物理学家、诺贝尔物理学奖得主薛定谔(Erwin Schr?dinger,1887年-1961年)也是量子力学的奠基人之一。他于1944年发表了《生命是什么》一书,提出了负熵的概念,试图解释生命的物理学本质。他说,“物理学定律全是统计定律……这些定律同事物走向无序状态的自然密切相关……生命像 是物质的有序和有规律的行为,它完全不是以从有序转向无序的自然倾向为基础,而是部分地基于现存秩序的保持……即生命有机体似乎是一个部分行为接近于 纯粹机械的与热力学相对立的宏观系统”(Schr?dinger 1944)。 他说,“当一个非活的系统被孤立出来,或者把它放在一个均匀的环境里,由于各种摩擦阻力的结果,所有的运动都将很快地停顿下来;电势或化学势的差别消失了;倾向于形成化合物的物质也是如此;温度也由于热传导而变得均一了。此后整个系统衰退成死寂的无生机的一团物质。这就达到了一种持久不变的状态,其中不再出现可观察的事件。物理学家把这种状态称为热力学平衡,或‘最大熵’……一个生命有机体在不断地产生熵—或者可以说是在增加正熵—并逐渐趋近于最大熵的危险状态,即死亡。要摆脱死亡,要活着,唯一的办法就是从环境里不断地汲取负熵……有机体就是靠负熵为生的……新陈代谢的本质就在于使 有机体成功地消除了当它活着时不得不产生的全部的熵”。 那么,熵和负熵如何度量? 熵 = kln D 这里,k是波尔茨曼常数(k=3.2983 x 10-24卡/o C),D是所讨论物体的原 子无序性的定量度量,一部分是热运动的无序,另一部分是来自不同原子或分子杂乱不可分的随机混合。在温度处于绝对零度(大约-273o C)时,任何物质的熵都等于零。 负熵 = kln (1/D) 这里,1/D为可作为有序性的一个度量。他认为,一个有机体使它自身稳定在一个高度有序(或低熵)水平上所用的办法,就是从周围环境中不断地汲取序,如高等动物摄取物质状态极为有序的食物后,排泄出来的则是大大降解了的无序的物质,对植物来说,太阳光是“负熵”的最有力的供应者,换言之,非平衡(即物质和能量流)可能成为有序的源泉。 德国化学家克拉墨(Friedrich Cramer,1923年—2003年)认为生命有序性与非生命有序性之间存在本质的差别,他说,“有序经常被视为某种静态的东西……生命系统中的有序并不能与晶体中的静态现象相提并论。一方面,生命乃

信息熵与图像熵计算

p (a i ) ∑ n 《信息论与编码》课程实验报告 班级:通信162 姓名:李浩坤 学号:163977 实验一 信息熵与图像熵计算 实验日期:2018.5.31 一、实验目的 1. 复习 MATLAB 的基本命令,熟悉 MATLAB 下的基本函数。 2. 复习信息熵基本定义, 能够自学图像熵定义和基本概念。 二、实验原理及内容 1.能够写出 MATLAB 源代码,求信源的信息熵。 2.根据图像熵基本知识,综合设计出 MATLAB 程序,求出给定图像的图像熵。 1.MATLAB 中数据类型、矩阵运算、图像文件输入与输出知识复习。 2.利用信息论中信息熵概念,求出任意一个离散信源的熵(平均自信息量)。自信息是一个随机变量,它是指某一信源发出某一消息所含有的信息量。所发出 的消息不同,它们所含有的信息量也就不同。任何一个消息的自信息量都代表不了信源所包含的平均自信息量。不能作为整个信源的信息测度,因此定义自信息量的数学期望为信源的平均自信息量: H (X ) = E [ log 1 ] = -∑ p (a i ) log p (a i ) i =1 信息熵的意义:信源的信息熵H 是从整个信源的统计特性来考虑的。它是从平均意义上来表征信源的总体特性的。对于某特定的信源,其信息熵只有一个。不同的信源因统计特性不同,其熵也不同。 1. 学习图像熵基本概念,能够求出图像一维熵和二维熵。 图像熵是一种特征的统计形式,它反映了图像中平均信息量的多少。图像的一维熵表示图像中灰度分布的聚集特征所包含的信息量,令 P i 表示图像中灰度值为 i 的像素所占的比例,则定义灰度图像的一元灰度熵为: 255 H = p i log p i i =0

熵与人体

熵与人体 摘要:熵是一个古老而又年轻的概念,虽然教材上内容不多,但它有极强的生命力及非常广的应用。本文首先补充了如耗散结构、负熵等关于熵的一些热力学概念以及从热力学第二定律推导出的应用于生 物体的两个公式,然后对熵与人的疾病(如感冒、肿瘤)、衰老、生、死等现象的关系做出了一些浅显的说明。 关键字:熵人体熵变 1864年,根据热力学第二定律,法国物理学家克劳修斯在《热之唯动说》一书中,首次提出一个物理量和新的态函数——熵。1877年玻耳兹曼从现微观角度对熵做出了统计解释,首次提出了熵公式 S=klnΩ, 1943年,薛定谔在《生命是什么》一书中首先提出了负熵的概念,指出有机体是依赖负熵为生。从此,生命与熵进入了众多科学家研究的视野。 一.熵变概念的拓展: ①耗散结构:对于一个热力学过程,其熵变为dS=dQ/T.如果过程是不可逆的,则dS>0. 在如何阐明生命有机体自身的进化过程时提出了耗散结构的概念。耗散结构是指当体系处于非平衡时,通过体系与外界交换能量和物质而形成和维持的一种稳定化了的宏观体系结构。它突破了热力学定律只适用孤立系统的限制,将其运用到开放系统。一个正常的生命体现可视为一个处于非平衡的开放系统,即是一个耗散结构。在开放系统中, 普利高津(Pringogine)将熵变写成

dS=diS+deS(1) diS表示系统内不可逆过程导致的熵产生,deS表示熵流。热力学第二定律指出,diS恒为正,是熵变的正增量。deS可为正,也可为负。对于孤立系统,des=0,热力学第二定律可写成dS=diS≥0;对于开放系统,当deS为负值(负熵流)且|deS|>|diS|时,则有 dS=diS+deS≤0,即负熵流可使总熵减少,由相对无序状态向相对有序状态发展;若dS=0,有diS=-deS,系统处于有结构的平衡状态。 ②负熵:Ω是无序的度量,它的倒数1/Ω可以作为有序的一个直接度量,玻尔兹曼的方程式还可以写成这样:-S=kln(1/Ω),即负熵。负熵的来源有两类:一类是“有序来自无序”即有机体吸收外界无序经过加工变为自身有序,这就是所谓“加工成序”,如氧气。另一类是“有序来自有序”即将从外界获得的秩序进行同化变成自身的秩序,这就是所谓“同化成序”,如,碳水化合物、液态水等。有机体生成过程就是从外界吸收这些低熵物质并消耗以满足正常生命活动和脑 力活动需要,同时产生大量废渣等高熵物质,如CO2:、尿、汗及其他排泄物,以此来与熵增作斗争。 ③熵具体应用于生物体根据开放系统的热力学理论可以算出,其 熵变ΔS=ΔQ/T- μjΔeNj/T- μjΔiNj/T(2).式中,ΔQ代表生命系统与外界环境交换的总热量,ΔeNj代表生命系统与外界所交换的第j种组元物质的摩尔数,ΔiNj代表生命系统内部各种生化反应所引起的第j种组元物质摩尔数的增加,μj为第j种组元物质的化学势,T为生命系统(人)的温度。如果我们用ΔQ吸表示生命系统从外界吸收的热量,用ΔQ放表示生命系统向外界放出的热量;用S0表示生

基于最大熵原理的语言建模

基于最大熵原理的语言建模 1 问题的引入 在自然语言处理中,为了建立语言模型,需要使用上下文文本中的信息特征,利用不同的信息特征所建立的语言模型,对当前词预测所得的概率结果可能会有所不同,这样的信息特征在上下文 中有多种。例如,利用当前词w i 前面的连续n-1个词(∈-+-1 i 1n i w h)作为历史信息特征构造的n-gram 模型,其概率估计为)W |W (P 1i 1n i i -+-;而触发对语言模型,则是利用当前词前面的某个历史窗口中的 词作为触发词,要预测的当前词作为被触发词,该模型中所用的历史信息特征和n-gram 中的就不同,它可以是历史窗口中与当前词相距为d 的某个词或词串。例如,如果我们想估计在给定的文本历史情况下词“模型”的出现概率P(模型|h),如果使用Bigram 模型,则就会将事件空间(h,模型)根据h 的最后一个词划分成几个等价类,比如说,在训练文本中可能有“数学模型”、“语言模型”、“工程模型”、“汽车模型”等这样的短语,因此,“模型”一词的历史文本h 的最后一个词可能就是“数学”、“语言”、“工程”、“汽车”等,并将它们分别看作一个等价类,Bigram 模型为每个等价类赋以相同的概率。例如: {语言,模型} 模型|语言)=K (P Bigram (1) 这里,K {语言,模型}定义如下: ) Count() ,Count(},{语言模型语言模型语言= K (2) Count(语言,模型)是“语言”与“模型”两个词在训练语料中的同现次数,Count(语言)是“语 言”在训练语料中出现的次数。另一种对“模型”出现概率的估计方法就是根据特殊的触发对,比如说“建立汉语语言模型”或“使用语言模型”,我们就要考察在相同的历史信息h 中,是否有“建立”或“使用”这样的词,这样,又可以形成对事件空间(h,模型)的另一种划分,利用Trigger 模型,可以为同一个等价类赋以相同的概率: 模型) 建立 模型建立建立模型,(h h K )|(P ∈=∈→ (3) 这里定义模型) 建立 ,(h K ∈为: ) C() ,C(K h h ,(h ∈∈∈建立模型建立= 模型) 建立 (4) 显然,利用Bigram 和Trigger 模型所使用的信息特征估计得到的“模型”出现概率是不一样的,同理,用前面提到的其他信息特征所得到的概率也会不一样,能不能将它们协调一致,建立一个符合多个信息特征约束的统一模型框架呢?1992年,Della Pietra 等人利用最大熵原理建立语言模型就是对这一想法的尝试。 2 最大熵原理 2.1 基本思想 最大熵原理是E.T.Jayness 于1950年提出的,其基本思想是:假设{X }是一个事件空间,有许多种能够刻画该事件空间的信息源特征(或称约束),可以用来对事件的出现概率P(X)进行表述,假设每个约束i 与一个约束函数f i (X)和一个数学期望K i 相联系,则该约束可以写为:

信息与负熵

第一章 信息与负熵 1.1耗耗耗耗耗耗耗耗耗耗?  1948年,维纳(N.Wiener)出版《控制耗》一书〔8〕,申农(C.E.Shannon)发表《通信的数学耗耗》〔9〕一文,几乎同时以熵的形式表述了信息量的概念。但信息耗的熵概念较热力学的熵概念推广了。这一点,在科学界引起了骚动和混乱。普里高津 (I.Prigoging) 在提出耗耗耗耗耗耗之前,曾在《不可逆过程热力学导耗》〔10〕 一书中说:“生物体的组织耗耗普遍地增加的事实相应于熵的减少”。这里所说的熵,是相应于信息耗的熵而不是热力学的熵。 看来,普里高津后来察觉到了这一点,因此他在耗耗耗耗耗耗中就小心翼翼地避免用熵减或负熵来指有序化。他只是说,耗耗耗耗依靠来自环境的负熵流输入而产生有序化,但他决不肯再〖ZK)〗轻易说有序化也是负熵。这是普里高津的严谨之耗。他避开了信息耗的熵和负熵的概念,而将整个耗耗耗耗耗耗局限于热力学中。即使是“非平衡、非线性热力学”,也仍然是热力学!非平衡非线性,普里高津事实上已经在耗经典热力学开刀了,但他却没有做得更彻底一些。 可是,事情的发展却偏偏不以人的意志为转移。在目前浩如烟海的评介性文章中,耗耗耗耗屡屡被定义为“在远离平衡的条例下,借助于外界能量流、质量流和信息流而维持的一种空间或时间的有序耗耗”。偏偏要节外生枝,在能量流和质量流之外再加上“信息流”!这样的说法已经连篇累牍,而普里高津却不置一词,莫非他已经默许了? 更有甚者,不少人还在耗耗耗耗与信息系统之间划等号。有一篇题为“科学系统与耗耗耗耗”的文章,就毫无顾忌地说:“对于科学系统,特别重要的是伴随着物质能量交换过程而产生的信息过程”。好家伙! 被普里高津小心翼翼地排除了的信息幽灵,又神不知鬼不觉地溜进了耗耗耗耗领域。 把信息系统与耗耗耗耗联系起来的文章比比皆是,普里高津本人也有志于社会系统的探索。社会系统不是一个热力学系统而是信息系统。那么,一方面要避开信息耗的概念,同时又要涉足于信息系统,“又要马儿跑,又要马儿不吃草”,行得通吗?这岂不是“普里高津悖耗”了吗? 普里高津的耗耗耗耗耗耗相对于经典热力学来说,是一次科学革命,正如普朗克的量子耗相对于经典力学来说是一次科学革命一样。现在我们在信息系统的研究领域已经面临推广耗耗耗耗耗耗的问题,这如同量子力学诞生前夕,旧量子耗所面临的问题一样。 经典力学—→旧量子耗—→量子力学 经典热力学—→耗耗耗耗耗耗—→? 我们将怎样来回答这个问号呢?耗耗耗耗耗耗耗耗耗耗?

浅谈熵

题目:浅谈熵 内容摘要:热力学中的熵是用来描述系统混乱程度的物理量。在信息论中,将它定义为信息的缺失,试验结果的不确定性。实际上,热力学中的熵与信息论中的熵它们有着密切的联系。或者说它们是等价的。无论是在热力学中还是在信息论中,熵的定义以及导出过程都有着异曲同工之处。本文即将从着重统计力学的观点出发阐明热力学中的熵与信息论中的熵的关系,将信息论与热力学结合,以此来简明介绍有关Maxwell —demon 的问题。并简单介绍熵的量子观点,进一步说明熵的本质及其意义。并着重于热力学中的各种熵作出详细的讨论。诸如:平动熵、转动熵、振动熵、电子熵、核熵等。 关键词:统计力学、量子观点、信息论、混乱程度、不确定性、Maxwell —demon 在热力学中我们知道熵描述了一个系统的混乱程度的大小。系统的熵值越大,则意味着系统越混乱。一切宏观现象上的热力学现象总是朝着熵增加的方向进行。但是我们也可以这样来想:若一个系统内部它越混乱,则我们从中所获取的微观信息也就越少。也就是说熵描述了信息的缺失,系统的破确。至此我们来考虑这样的一个问题,比如一条具有一定长度的信息(There is a cat )共14个字符,包含空格。如果把组成上述信息的所有字符都打乱,在我们对此一无所知的情况下,将会有14!/3!2!21种组合方式(即系统完全破却)。得到一系列的概率分布。针对此问题,通过信息论我们知道,信息的获取意味着不确定性的消除,或不确定性意味着信息的缺失。在Maxwell —demon 中所谓的精灵就是通过信息与外界系统进行相互作用的,该精灵利用信息操控着过程,使其向逆自发方向方向进行。其实有了Maxwell —demon 的存在,系统已变成了敞开系统,该精灵将负熵引入了系统,降低了系统的熵。因此从整体看气体的反方向集中必不违背热力学第二定律,换句话说:信息即可视为负熵。这种不确定度完全由试验结果的一组概率来唯一确定,令这种不确定度为H ,则 123(......);n H H p p p p =且H 需要满足以下条件: (1)H 是一个关于123......n p p p p 的连续函数。 (2)若所有的概率相等,则1231111 (......)( .....)n H p p p p H n n n n =;为关于n 的单调增函数。 (3)如果一个实验的可能结果依赖于n 个辅助实验的可能结果,那么H 就是辅助实验的不确定性之和。即1 n i i H H == ∑。 数学家香农证实H 的最简单选择是:1231 (......)()n n i i H H p p p p f p === ∑;这里的f 是 未知的。因为是一个连续函数,所以对于等概率的特殊情况,可以定出f ,对已所有的i ,若有1i p n = ,则上述方程可写成:11111(.....)()H nf n n n n n =;由条件(2)知1 [()]0d f dn n ≥; 调用合成定律,考虑第一个辅助实验的等概率结果数目是r, 第二个辅助实验的等概率 结果数目是s,那么n rs =;并且: 11111111 (.....)(.....)(.....)(.....);.......(1)H H H H r r s s n n rs rs +==,所以:

最大熵原理在气象学中的应用

第六章最大熵原理在气象学中的应用 上一章我们把熵原理作了简要介绍,并附带提及了它在一些领域的应用。由于熵原理的普遍的适用性,因而认真分析它在气象上的应用潜力是十分值得的。很显然,用熵原理说明的气象学中的问题越多,不仅越加显示熵原理的重要性,显示宇宙真理的统一性,而且也为气象学找到了新的理论武器,而这势必也提高了气象学的科学性和实用性。 在这一章我们就重点讨论最大熵原理怎样应用于各种气象问题之中,以及由此得出的结果。把最大熵原理用于说明气象现象大致包含如下步骤: ◆首先把气象问题归结为某种分布函数(这在第二章 已列出约30个分布函数的个例)。 ◆找出形成上述分布函数的物理(气象)过程中有哪些 重要的约束条件。 ◆从物理(气象)过程含有随机性引出对应的熵达到极 大值(即随机性导致最混乱)。 ◆进行数学处理,从熵理论导出分布函数。 ◆用实际资料验证理论结果(如不符,可再重复上述过 程)。 后边的介绍就是把上述步骤分别用于各个具体的气象分布问题中,并从中逐步加深对最大熵原理的认识。 另外,从70年代以来Paltridge[1]等人从热力学熵平衡角度研究地球纬圈上的气温分布的工作,也应属于试着用熵原理的一种事例。这个工作中尽管在原理上尚有不清楚之处,但其结果与实况的一致性和引用极值原理都是很有意义的。鉴于汤懋苍[2]近年对此已有介绍,我们这里就不再评述

了。 顺便指出,早在上世纪,从力学中发展起来的最小作用原理就从力学领域体现了自然界遵守某种极值原理的精神。 在气象界,罗伦茨[3]在60年代就设想大气也应当遵守某种极值原理。而我们指出有一些气象分布函数可以从熵达极大的角度推导出来,这可以看成是罗伦茨思想从统计角度(非决定论角度)的具体体现。 所以,最大熵原理在气象学中的应用不仅应看作是随机论(非决定论)的胜利,也应当看成广义的极值原理的胜利。 §1 大气的温度场和气压场 从最大熵原理出发,很容易说明大气中的温度场和气压场的分布。在第二章第4节我们已经论证了大气的温度场和气压场的分布。对气压场,我们从简单的分析得出它应是均匀分布,对温度场则从平均图上得出其分布也是均匀分布。这就是说,如果从大气中纯随机地抽取一个空气样品,则其气压(气温)为各种可能值的出现概率都是相等的,或者说各种可能的气压(温度)占有的大气质量是一样的。图2.5 就是其代表。 大气温度为什么恰为均匀分布(它竟然遵守如此简单的分布,确实有些出人意料!)? 形成现今温度分布的原因当然是太阳辐射和大气的对外辐射,这使我们想到如图6.1的极简单的模型。图的左侧有一高温的恒定热源,其温度为T1,左侧有一低温的恒定热汇,其温度为T0。介质处于T1和T0两个温度之间,它的温度在各处不会都是T1或T0,从而构成了一个温度场。如果介质仅能从左右两端吞吐热量而其他界面与外界绝缘,那么介质中的温度场理应会形成如图所示的等温线呈均匀分布之形状。此时介质上的温度分布函数应为均匀分布,对此我们也可以从解热传导方程中得出来。

第5讲信息熵课件

1 第5讲 随机变量的信息熵 在概率论和统计学中,随机变量表示随机试验结果的观测值。随机变量的取值是不确定的,但是服从一定的概率分布。因此,每个取值都有自己的信息量。平均每个取值的信息量称为该随机变量的信息熵。 信息熵这个名称是冯诺依曼向香农推荐的。在物理学中,熵是物理系统的状态函数,用于度量一个物理系统内部状态和运动的无序性。物理学中的熵也称为热熵。信息熵的表达式与热熵的表达式类似,可以视为热熵的推广。香农用信息熵度量一个物理系统内部状态和运动的不确定性。 信息熵是信息论的核心和基础概念,具有多种物理意义。香农所创立的信息论是从定义和研究信息熵开始的。这一讲我们学习信息熵的定义和性质。 1. 信息熵 我们这里考虑离散型随机变量的信息熵,连续型随机变量的信息熵以后有时间再讨论,读者也可以看课本上的定义,先简单地了解一下。 定义1.1 设离散型随机变量X 的概率空间为 1 21 2 ......n n x x x X p p p P ?? ??=???????? 我们把X 的所有取值的自信息的期望称为X 的平均自信息量,通常称为信息熵,简称熵(entropy ),记为H(X),即 1 1 ()[()]log n i i i H X E I X p p === ∑ (比特) 信息熵也称为香农熵。 注意,熵H (X )是X 的概率分布P 的函数,因此也记为H (P )。 定义1.2 信息熵表达式中的对数底可取任何大于等于2的整数r ,所得结果称为r-进制熵,记为H r (X ),其单位为“r-进制单位”。 我们有

2 ()() log r X H H r X = 注意,在关于熵的表达式中,我们仍然约定 0log 00 0log 00 x ==, 信息熵的物理意义: 信息熵可从多种不同角度来理解。 (1) H(X)是随机变量X 的取值所能提供的平均信息量。 (2) 统计学中用H(X)表征随机变量X 的不确定性,也就是随机性的大小。 例如,假设有甲乙两只箱子,每个箱子里都存放着100个球。甲里面有红蓝色球各50个,乙里面红、蓝色的球分别为99个和1个。显然,甲里面球的颜色更具有不确定性。从两个箱子各摸出一个球,甲里面摸出的球更不好猜。 (3) 若离散无记忆信源的符号概率分布为P ,则H(P)是该信源的所有无损编码的“平均 码长”的极限。 令X 是离散无记忆信源的符号集,所有长度为n 的消息集合为 {1,2, ,}n M X = 每个消息i 在某个无损编码下的码字为w i ,码字长为l i 比特。假设各消息i 出现的概率为p i ,则该每条消息的平均码长为 1 M n i i i L p l ==∑ 因此,平均每个信源符号的码长为 1 1M n i i i L p l n n ==∑ 这个平均每个信源符号的码长称为该编码的平均码长,其量纲为(码元/信源)。 我们有 () lim () n n n L L H X H X n n →∞≥=且 这是信源编码定理的推论。

相关文档
最新文档