熵与信息生命赖负熵为生

•每个消息单元Xi都有个确定的概率与之相对应，记：p(Xi)，整个 消息单元的集合X有概率： P (X) ≡［P(X1)， P(X2 )，……P(Xn)］ 分布着，消息单元集合的互斥性与完备性反应在概率上是概率的总 和具有归一性。
n
P( Xi ) 1
i 1
因此，信息源的基本概型结构：
消息单元Xi
信息熵意义：
在解决通信领域里的实际问题比较方便，只要知道等概 率消息单元总数N就可以计算信息熵H。
不足：
①对简单的信息源应用起来方便，对复杂的信息源把握等概 率消息单元总数N却不是容易做到的；
②用这个信息熵定义计算得到的实际上是信息源的最大熵。
3、1948年，shannon推广Hartrey信息熵的定义，首先引入各不 等概消息单元不肯定性的量度——本征信息熵为：
信息源特点：
•它们都具有一系列可能的基本状态，叫本征态。每一本征态称为 一个消息单元，记：Xi（i=1,2,3……n），这n个消息单元或本征态 序列实际上就是离散的随机变量，它具有互斥性和完备性。互斥性： 信息源可能处于这个基本状态，也可能处于其余的基本状态，但不 能同时处于同一个本征状态，处于这个本征态，就不处于其它本征 态；完备性：这个n个消息单元是完备无缺的。这个n个互斥的完备 的消息单元构成一个消息单元的集合，记：X≡［X1， X2 ，……Xn］
概率分布 1/5 1/5 1/5 1/5 1/5 P(Xi)
当工作人员又接到家信得悉母亲经抢救后，已恢复意识，
正在积极进行治疗。这时信息源的本征态或消息单元的集合概 率分布已发生了变化。
消息单元 Xi
X1 死亡
X2 昏迷
X3 偏瘫
X4 好转
X5 康复
概率分布
0
P(Xi)
0
1/3 1/3 1/3
如果工作人员又接到消息说：经积极治疗后已经能起床作太 极操了，则相应的概率分布变为：
X2 Xi Xn
P2 Pi Pn
n
完备性：
Xi ;
i
归一性：
n
Pi 1
i 1
以上的问题，均可用熵作为指标进行分析。
二、信息源的概型结构 本征信息熵
现在讨论信息熵的基本概念
1、信息源：发送消息的源。Information source
例如：自然界中的一切物体，大至宇宙天体，小至原子、原 子核、基本粒子、以及中间的各个层次：生物圈，生态，群 落，种群，个体，系统，器官，组织，细胞，亚细胞，分子， 亚分子等，例如一个国家、社会团体，大脑，内分泌等等， 都有它们自己的情态，无不随时发送出它们自己的消息，因 而都可作为信息源。
消息单元 Xi
X1 死亡
X2 昏迷
X3 偏瘫
X4 好转
X5 康复
概率分布
0
0
0
1/Байду номын сангаас 1/2
P(Xi)
提出一个问题：各个消息单元的不肯定程度多大？ 概论大，可 能性就越大，不可定性程度就越小；反之，概率小，可能性就 越小。 例如：X5康复的概率最大到1，其它概率降为零，这个 消息单元X5就完全肯定了。不确定性为零。
因此，本征信息熵定义：消息单元概率的倒数的对数为消息单 元的不肯定性程度的量度。
1 H ( X i ) log2 P( X i ) log2 P( X i )
第一次电话后，五个本征态或消息单元，各个本征信息熵：
消息单元 Xi
P(Xi) H(Xi)bit
X1 死亡 1/5
2.322
X2 昏迷 1/5
X1， X2 ， …… Xn
概率分布P(Xi) P(X1)， P(X2 )，…… P(Xn)
实际例子：设有一在外的工作人员，收到消息得知家中的老母 中风住院治疗，这时他母亲就是个信息源，可能处于的本征态： 可能发送出的消息单元有(Xi) ：
消息单元 Xi
X1 死亡
X2 昏迷
X3 偏瘫
X4 好转
X5 康复
混乱性——秩序性， 散漫性——组织性。 无序性——有序性， 不肯定性——肯定性。 盲目性——目的性， 一般性——特异性， 随意性——计划性， 随机性——确定性， 多样性——单纯性， 含糊性——透彻性， 暧昧性——明确性， 未知性——已知性 噪声——信号，………
并且满足如下概型条件
本征状态： X1
概率分布： P1
一、熵概念的发展简史
1. 熵最初产生于18世纪初，Carnot研究热机效率发现可逆循 环过程，随后Clausius根据可逆Carnot循环过程定义了态 函数熵。 Clausius明确了熵态函数，但没有给出更深刻的 物理含义。
2. 直到19世纪中期，1887年波尔兹曼著名公式：w是热力学 体系宏观态的微观状态数。当初称热力学几率，其实这个 词并不确切。因为：通常几率在＜0，1＞区间，而热力学 体系宏观状态的微观状态数w总是大于1，而且数量级非
当各个消息单元是等概率时
P( X1 ) P( X2 )
P( Xn )
1 n
1 N
信息源的信息熵为：
N
HX
1 ln 1 ln N
i1 N
N
Hartrey定义的信息熵是shannon定义的信息熵在等概条件下 的最大值。
4、随着生物信息论、经济信息论、社会信息论等学科不断运 用信息熵，使之有进一步的泛化的必要。熵的产生于热力学， 扩展于信息论等学科领域。在不同的学科里，对熵的意义提法 有所不同。但是从泛熵的概念高度来看。它们在本质上是一致 的。凡是属于下列一类的对立统一性质的事物，例如：
S 常之高。 k ln w
3. 1928年，Hartrey可能受波尔兹曼关系的启发，首次在通 信领域里提出信息熵的定义：
H log N 1
N是等概率消息单元的总数，信息熵H的意义是输送一个 消息单元的不肯定性程度的量度。等概消息单元总数N愈多， 信息熵H愈大，输送一个消息单元的不肯定性程度就愈大；反 之，N愈少。当消息单元的总数N=1时，H=0，输送这个消息 的不肯定性程度为零，就是完全肯定输送这个消息。
H Xi ln Pi 2
n
Pi 1
i 1
信息熵定义：H(X) 各个不等概消息单元的本征信息熵的加权统计平均值。
n
n
H X Pi H Xi Pi ln Pi 3
i 1
i 1
Pi是第i个消息单元的概率，n是不等概消息单元的总数。 本征信息熵的意义：第i个消息单元Xi的不肯定性程度的量度。 总信息熵的意义：信息源X的总的不肯定程度的量度。