浅谈熵

题目：浅谈熵

内容摘要：热力学中的熵是用来描述系统混乱程度的物理量。在信息论中，将它定义为信息的缺失，试验结果的不确定性。实际上，热力学中的熵与信息论中的熵它们有着密切的联系。或者说它们是等价的。无论是在热力学中还是在信息论中，熵的定义以及导出过程都有着异曲同工之处。本文即将从着重统计力学的观点出发阐明热力学中的熵与信息论中的熵的关系，将信息论与热力学结合，以此来简明介绍有关Maxwell —demon 的问题。并简单介绍熵的量子观点，进一步说明熵的本质及其意义。并着重于热力学中的各种熵作出详细的讨论。诸如：平动熵、转动熵、振动熵、电子熵、核熵等。

关键词：统计力学、量子观点、信息论、混乱程度、不确定性、Maxwell —demon

在热力学中我们知道熵描述了一个系统的混乱程度的大小。系统的熵值越大，则意味着系统越混乱。一切宏观现象上的热力学现象总是朝着熵增加的方向进行。但是我们也可以这样来想：若一个系统内部它越混乱，则我们从中所获取的微观信息也就越少。也就是说熵描述了信息的缺失，系统的破确。至此我们来考虑这样的一个问题，比如一条具有一定长度的信息（There is a cat ）共14个字符，包含空格。如果把组成上述信息的所有字符都打乱，在我们对此一无所知的情况下，将会有14!/3!2!21种组合方式（即系统完全破却）。得到一系列的概率分布。针对此问题，通过信息论我们知道，信息的获取意味着不确定性的消除，或不确定性意味着信息的缺失。在Maxwell —demon 中所谓的精灵就是通过信息与外界系统进行相互作用的，该精灵利用信息操控着过程，使其向逆自发方向方向进行。其实有了Maxwell —demon 的存在，系统已变成了敞开系统，该精灵将负熵引入了系统，降低了系统的熵。因此从整体看气体的反方向集中必不违背热力学第二定律，换句话说：信息即可视为负熵。这种不确定度完全由试验结果的一组概率来唯一确定，令这种不确定度为H ，则

123(......);n H H p p p p =且H 需要满足以下条件：

（1）H 是一个关于123......n p p p p 的连续函数。

（2）若所有的概率相等，则1231111

(......)(

.....)n H p p p p H n n n n

=；为关于n 的单调增函数。

（3）如果一个实验的可能结果依赖于n 个辅助实验的可能结果，那么H 就是辅助实验的不确定性之和。即1

n

i

i H H

==

∑。

数学家香农证实H 的最简单选择是：1231

(......)()n

n i

i H H p p p p f p ===

∑；这里的f 是

未知的。因为是一个连续函数，所以对于等概率的特殊情况，可以定出f ，对已所有的i ，若有1i p n =

，则上述方程可写成:11111(.....)()H nf n n n n n =;由条件（2）知1

[()]0d f dn n

≥；

调用合成定律，考虑第一个辅助实验的等概率结果数目是r, 第二个辅助实验的等概率

结果数目是s,那么n r =；

并且：11111111

(.....)(.....)(.....)(.....);.......(1)H H H H r r s s n n rs rs

+==，所以：

111

()()();......(2)rf sf rsf r s rs +=。

111

()()();......(3)f R f S f RS R S RS

+=令R=1/r,S=1/s,以上方程变成

g()(1/)(),()(1/)();g(()();....(4)R R f r g S S f S R g S g RS ==+=令我们有）

'''''''()(),()();....(5)R ()=S ();......(6)R S 6R ()A g(R)=AlnR+C,A C 1R g(R))ln R S RS S R RS R S R A f r r r ===?=-+

现在分别对以上方程对R 和S 求偏导数，得到g g g g 由于这两个关系，允许下式成立：g g 因为和是独立的变量，方程（）能被满足的唯一方式是方程的两边等于相同的常数：g 式中和是两个常数。

重新回到和的定义，以上方程变为：(1

1

1C 1

)ln .

/0,,1/,()ln (),ln n

n

i i i

i i C

r

f nf A n n

A A n A A K K n p f p Kp p

H f p H H K p p ===-->=-==-∑∑若概率是，则不确定度是0，这就是说(1)=0,所以=0，并且对于等概率情况，

我们有(剩下的事情是的符号问题。我们发现所以必须是负的，令而是正的，同时写出我们得到将这个结果应用到=我们得到关于不确定度的公式：=-下面为H 寻找一个单位，将一个只有0和1两种情况的实验结果的H 定为1即：

11111

(ln ln )12222ln 2

H K K =-+=?=；并称此时的信息量为1bit 。有了H 函数以后我

们就可以对任何一段具有一定的长度的信息进行定量的描述其不确定性。

对于任何一段信息，若设它有n 种结果，则它的不确定度的最大值是Kln(n)。证明：

1'

1

1

'

1

1

'

'

'

'

H H ln 1

ln ;[0,1]

ln ;[0,1]0,ln 1)0

[0,1],n

i i i i n n

i i i i i i n n

i i i i i i i i

i H K p p p H K p p p p H K p p p p H dH H K p p H p ααα======∴+∈+∈?∴=?=-++=???∈?∑∑∑∑∑∑由函数的意义知：当取最大值的时候，此时信息的不确定性最大，即系统完全破却。=-且由拉格朗日乘因子法知=-=-为一连续函数，

当时取极值;（1232'2'1112'0;ln 1)0exp(1).

1

......exp(1)................................................................................................i i i n n n K p p p p p p p n

H H p p p p Hess H p p αααα=-++=∴=-=====

=-????=??即（，由于为一常数，故12

2'1'

'

max 1................00...............0Hess 0.. (11)

H ln ln n n n n

i K p K p K H p p p H K K n

n

n =????

-????????????-=????????????-?????

???????==∑显然是一个负定的

所以存在极大值，此时的极大值就是它的最大值即-.

以上说明一个实验的不确定度的最大值是，且此时，也就是每种结果出现的机会都是相同的，即系统完全破确。

至此我们联系到热力学中的熵，S 的定义。由统计学理论知道它是一个有关体系微观状态数的函数，即()S f =Ω，ln S =Ω，Ω为体系的微观状态数。设一封闭系统，中间有一隔板。两侧的微观状态数分别为12,ΩΩ。由于熵是一个广度函数，所以21()()S f f =Ω+Ω；现在抽掉隔板，则新的微观状态数为：12ΩΩ；12()S f =ΩΩ。所以

12()f ΩΩ21()()f f =Ω+Ω；与上述的H 函数的推到情况类似，最终得ln S =Ω。对于一

个独立子系且相格数为1的系统，则Ω1

!

!

n

i

i N N ==

∏；且ln !N =ln N N N -。由此可得：

11

1

1

!

ln(

)ln !ln !(ln )(ln )

!

(

ln

)

ln H K

n n

B B B i B B i i i n i i i i j j B n

B B i i i N S k k N k N k N N N k N N N N N N k N N

N

k N

S k N p p ======-=---===

∑∑∏∑∑所以

N j i i N i p N

=为第状态下的粒子数目，故

；所以1l n

H

K

n

B B i i i k N

S k N p p ===∑；1

H=K ln n

i i i p p =∑。

由此可知S 与H 是等价的，仅仅是单位和比例系数不同而已。热力学中单位用的是J/K ，信息论中用的是bit 。两者比较有231ln 20.95710/B bit k J K -==? 由波尔兹曼分布定律知：

11e x p (

);e x p ()n

j j j

j j j i

N G Z G N

Z βεβε=-=

=-∑；所以

m a x 1

1

1

exp()

exp()

[

ln(

]ln()j j j j B B G G U

S k N k N Z Z Z T

βεβε--==

+；即对一个相格数为1的独立子系，其系统的熵是有关能量的函数。由231ln 20.95710/B bit k J K -==?知：要使计算机里的信息量存储增加一个bit （信息的获取意味着不确定性的消除，熵值减小），它的熵至少要减少23

0.95710

/J K -?。这只能向环境释放热量为代价，即温度为T 的环境下处

理每bit 的信息，计算机至少消耗能量23

0.95710J -?。同样对于前面所讲的Maxwell —demon

它在获取分子有关的信息的时候也需要消耗一定的的能量。因为他将负熵引入了系统，降低了系统的熵。

通过以上，我们阐明了熵与不确定度之间的关系，说明了熵的本质及其意义。也就是说熵仅仅是统计意义上的概率性的。它只有统计意义，热力学中的微观可逆性与宏观不可逆性也是统计意义上的概率性的。例如一滴红墨水（假设共有23

10个红墨水分子），滴入水中。一会整个杯子里的水就都被染红（扩散现象）。那么这些有色分子是否有可能再全部聚集在一起，使得杯子里的水变得澄清?明显是有可能的，且这种概率为

23

1012

。由于这个数值极小

极小，几乎趋近于零。因此重新聚集在一起的现象我们也就无法观察到了。若分子数目极少，比如只有两个有色分子，此时概率为

1

4

。所以此时是完全可以观察到的。故对于微观过程的可逆与宏观过程的不可逆并不是矛盾的，这种可逆与不可逆都是建立在统计意义上的，它

们都是概率性的，只具备统计意义。

各种熵的统计性讨论(经典统计)：

宏观与微观之间配分函数起到了桥梁作用，现在仅仅对熵作出相应的统计学讨论（当然对于其它热力学函数情况也是如此）。

11ln()!ln 1()T N i i N i i B i i i i

B

Z Z U Z S k Z Z T N Z U k ββ?

?=?

?=+=??

??=-=???定域子系离域子系(i=t,r,v,e,n 等)

（当i=t,r,v,e,n 时对应的熵分别为平动熵、转动熵、振动熵、电子熵、核熵等。）

1）平动熵（t S ）：

33

1

22

23

ln 2T 23:()();h h 2

t B t

t B Z mk m V i t Z V U Nk T ππββ?====-=?时 所以322

2T 3

ln[()]2h

B t B B mk S k N k N V π=+ 2）转动熵（r S ）：

221

2/8T h :13r B r r T Ik T

i r Z e πσ-Θ?=?Θ==??+?

（高温情况）时（低温情况）

高温时：ln ;r

r B Z U Nk T β

?=-

=? 所以22

8T

ln[]h B r B B Ik S k N k N πσ

=+ 低温时：

221

2

222

22223exp()ln[13exp()]ln (T )8T 82413exp()

8T r B B

r B h h Z k h Ik I U N N h I

Ik βππββππ--?+-?=-=-=??+-； 所以2

2

22

22

2223exp()(T )8T 2ln[13exp()];248T

13exp()

8T

B B r B B B h k h Ik h S N k N h IT Ik Ik ππππ-=++-+-

3）振动熵（v S ）：

12

1v 1;()12sinh(/2)h v

h v B

e h i v Z e T k βνβνν

--==

=Θ=-Θ时：； 1

ln[

]

ln 2sinh(/2)

v

B v Z h k T U N νβ

β

??=-

=-??

ln[2sinh(/2)]2cosh(/2)11

coth(/2)2sinh(/2)22

h h N

N h Nh h h νβνβνννββνβ?===?

所以11coth(/2)ln[]22sinh(/2)

v B v N S h h k N T T ννβ=

+Θ 1coth(/2)ln[2sinh(/2)]2B v N

h h k N T T

ννβ=

-Θ 4)电子熵（e S ）：

在分子中，电子的能级没有统一的公式。必须通过光谱实验进行逐个分子进行分析，多数的

分子内电子的能级间隔都很大（一般为100T e n B k ε?=或者更大）

，因此一般情况下电子总是处于激发态。处非是几千度的高温

，但是一般情况下，当电子处于激发态之前，分子也就早已分解。所以由

101301223

e x p ()e x p ()e x p ()e x p (

)e x p (

)....

n

e

e

e e e e e

e e j j j Z G G G G G βεβεβεβεβε==-=-+-+-+-+∑可知：100exp()e e e Z G βε≈-如果选取电子的基态能量为零点能，则10e e

Z G ≈。

对于双原子分子，除去少数例外，电子运动的基态都是非简并的，即11e

Z =。少数的例外有：

2,O NO 等分子，

这些分子的基态都是简并的，例如2O 的103e e Z G ≈=，NO 的102e e

Z G ≈= 所以由ln()e e B e U S k Z T =

+；2,ln ln 1T ()()T

e e e B N V B Z Z U k T k ββ??=-==?? 可得：11,()ln T()ln();()/!

e N

e e e B N V B e e N

e Z Z Z S k k Z T Z Z N ?=??=+??=??（代入上述的1e

Z 即可） 5)核熵（n S ）：

对于原子核的能级间隔就更大了，没有足够高的能量一般是不可能使其激发的。因此在一般

的物理化学过程中，原子核总是处于基态能级。所以对于原子核的配分函数为：

100exp()n n n Z G βε=-；同样的道理，仍将基态能量选为零点能，则：10

n n

Z G ≈。如果双原

子分子中两个原子核的基态量子态分别为：121i +个和221i +个，于是分子的核配分函数为 ：112(21)(21)n Z i i =++。（其中1i 和2i 为原子核的自旋量子数） 所以由ln()n n B n U S k Z T =

+；2,ln ln 1

T ()()T

n n n B N V B Z Z U Nk T k ββ??=-==?? 可得：11,()ln T()ln();()/!

n N

n n n B N V B n n N

n Z Z Z S k k Z T Z Z N ?=??=+??=?? （代入上述的1n

Z 即可） 在一般的物理化学过程中，均不涉及原子核的变动，因此通常将其省略。

6）总熵（S ）： 由熵的广度性可知：t r v e n S S S S S S =++++ 7)量子统计下的熵： 由巨配分函数：(1)g e λλαβελλ

λ

--±Ξ=

Ξ=±∏∏；B k T

μ

α=-

，1

B k T

β=

可得：ln ln(1)g e λ

αβελλ

--

Ξ=±

±∑

理想费米气体和理想玻色气体的粒子数平均值和内能、压强都可通过ln Ξ给出。 由玻色----爱因斯坦分布：0

1

i i i g N e αβε+=

±可得：0ln 1

g N N e λλλαβελ

λ

α

+?

=

==-

Ξ±?∑∑

ln 1g E N e λ

λλλλαβελλ

εεβ+?===-Ξ±?∑∑

；1ln p V

β?

=Ξ? 所以由开放可逆系统的热力学方程T d S d U

p d V μ=

+-可知：

(ln ln ln )B dS k d α

βαβ

??=Ξ-Ξ-Ξ??； 所以积分可得：(ln ln ln )B S k α

βαβ

??

=Ξ-Ξ-Ξ??； （上式即为考虑了量子效应以后的理想气体的熵的计算公式。）

参参考文献：

<<统计力学在物理化学中的应用>> 北京大学出版社 <<物理化学>>（上册） 朱文涛教授主编 清华大学出版社 <<物理化学>>（上册） 傅献彩主编 南京大学 <<数学分析>>（下册）第三版 华东大学数学系主编 <<线性代数>>（第二版），吴传生主编 高等教育出版社 <<大学物理>>（下册）, 吴百诗主编 西安交通大学出版社

<<热力学与统计物理简明教程>>包景东主编高等教育出版社