熵理论发展史及其在生物医学信号分析中的作用_刘澄玉
熵的起源历史和发展
熵的起源、历史和发展一、熵的起源1865年,德国物理学家鲁道夫·克劳修斯Rudolf Clausius, 1822 –1888在提出了热力学第二定律后不久,首次从宏观上提出了熵Entropy的概念.Entropy来自希腊词,希腊语源意为“内向”,亦即“一个系统不受外部干扰时往内部最稳定状态发展的特性”另有一说译为“转变”,表示热转变为功的能力.在中国被胡刚复教授一说为清华刘先洲教授译为“熵”,因为熵是Q除以T温度的商数.他发表了力学的热理论的主要方程之便于应用的形式一文,在文中明确表达了“熵”的概念式——dS=dQ/T.熵是物质的状态函数,即状态一定时,物质的熵值也一定.也可以说熵变只和物质的初末状态有关.克劳修斯用大量的理论和事实依据严格证明,一个孤立的系统的熵永远不会减少For an irreversible process in an isolated system, the thermodynamic state variable known as entropy is always increasing.,此即熵增加原理.克劳修斯提出的热力学第二定律便可以从数学上表述为熵增加原理：△S≥0.在一个可逆的过程中,系统的熵越大,就越接近平衡状态,虽然此间能量的总量不变,但可供利用或者是转化的能量却是越来越少.但是克劳修斯在此基础上把热力学第一定律和第二定律应用于整个宇宙,提出了“热寂说”的观点：宇宙的熵越接近某一最大的极限值,那么它变化的可能性越小,宇宙将永远处于一种惰性的死寂状态.热寂说至今仍引发了大量争论,没有得到证明.二、熵的发展在克劳修斯提出熵后,19世纪,科学家为此进行了大量研究.1872年奥地利科学家玻尔兹曼L. E. Boltzmann首次对熵给予微观的解释,他认为：在大量微粒分子、原子、离子等所构成的体系中,熵就代表了这些微粒之间无规律排列的程度,或者说熵代表了体系的混乱度The degree of randomness or disorder in a thermodynamic system..这也称为是熵的统计学定义.玻尔兹曼提出了着名的玻尔兹曼熵公式S=klnΩ,k=×10^-23 J/K,被称为玻尔兹曼常数；Ω则为该宏观状态中所包含之微观状态数量,或者说是宏观态出现的概率,一般叫做热力学概率.玻尔兹曼原理指出系统中的微观特性Ω与其热力学特性S的关系,后来这个伟大的等式被刻在他的墓碑上.三、熵的应用自从Clausius提出熵的概念以来,它在热学界发挥的作用有目共睹.提及这个概念,我们往往把它与热力学定律,熵增原理,卡诺循环等联系在一起,除了热学之外,从它的宏观、微观意义出发,它还被抽象地应用到信息、生物、农业、工业、经济等领域,提出了广义熵的概念.熵在其他领域中的应用在此不再赘述,下面仅在热学领域对熵进行一个基本的探讨.一、熵的定义Definition1．宏观：宏观上来说,熵是系统热量变化与系统温度的商.Amacroscopic relationship between heat flow into a system and the system's change in temperature.这个定义写成数学关系是：dS是系统的熵变, δq是系统增加的热量,仅在可逆过程成立,T是温度.注：对于可逆过程,等号成立；对于不可逆过程,大于号成立；所有自发过程都是不可逆过程.2．微观：微观上说,熵是一个系统宏观态对应的相应微观态的数目热力学概率的自然对数与玻尔兹曼常量的乘积.On a microscopic level, as the natural logarithm of the number of microstates of a system.数学表达如下：S是熵,kB是玻尔兹曼常量, Ω微观态的数目热力学概率.二熵的相关定义1．比熵：在工程热力学中,单位质量工质的熵,称为比熵.表达式为δq=Tds, s称为比熵,单位为J/ kg·K 或 kJ/ kg·K.2．熵流：系统与外界发生热交换,由热量流进流出引起的熵变.定义式为：.熵流可正可负,视热流方向而定.3．熵产：纯粹由不可逆因素引起的熵的增加,定义式为：.熵产永远为正,其大小由过程不可逆性的大小决定,熵产为零时该过程为可逆过程.熵产是不可逆程度的度量.三熵和热力学第二定律1．热力学第二定律的三种表述：1克劳修斯描述Clausius statement：不可能将热从低温物体传至高温物体而不引起其它变化.It is impossible to construct a device that operates in a cycle and produces no effect other than the transfer of heat from a lower-temperature body to a higher-temperature body.2开尔文描述Kelvin statement：不可能从单一热源取热,并使之完全转变为有用功而不产生其它影响.It is impossible for any device that operates on a cycle to receive heat from a single reservoir and produce a net amount of work.3熵增原理principle of entropy increase：孤立热力系所发生的不可逆微变化过程中,熵的变化量永远大于系统从热源吸收的热量与热源的热力学温度之比；也可以说成,一个孤立的系统的熵永远不会减少.The second law of thermodynamics states that the entropy of an isolated system never decreases, because isolated systems always evolve toward thermodynamic equilibrium— a state depending on the maximum entropy.2．熵增原理：根据这一原理,我们得到了对于孤立体系的熵判据：ΔS 孤＞0 自发ΔS 孤=0 平衡ΔS 孤＜0 非自发利用熵判据能够对孤立体系中发生的过程的方向和限度进行判别.如：把氮气和氧气于一个容器内进行混合,体系的混乱程度增大,熵值增加即ΔS＞0,是一个自发进行的过程；相反,欲使该气体混合物再分离为N2 和O2,则混乱度要降低,熵值减小ΔS＜0,在孤立体系中是不可能的.当然,若环境对体系做功,如利用加压降温液化分离的方法可把此混合气体再分离为O2 和N2,但此时体系与环境之间发生了能量交换,故已不是孤立体系了.四熵的性质1．非负性：SnP1,P2,…,Pn≥0；2．可加性：熵是一个状态函数,对于相互独立的状态,其熵的和等于和的熵；3．极值性：当状态为等概率的时候,即pi=1/n,i==1,2,…,n其熵最大,有SnP1,P2,…,Pn≤Sn1/n,1/n,…,1/n=㏑n；4．影响熵值的因素：①同一物质：S高温＞S低温,S低压＞S高压；Sg＞Sl＞Ss；②相同条件下的不同物质：分子结构越复杂,熵值越大；③S混合物＞MS纯净物；④对于化学反应,由固态物质变成液态物质或由液态物质变成气态物质或气体物质的量增加的反应,熵值增加.5．对于纯物质的晶体,在热力学零度时,熵为零.热力学第三定律6．系统的熵越大,就越接近平衡状态,虽然此间能量的总量不变,但可供利用或者是转化的能量却是越来越少.In a physical system, entropy provides a measure of the amount of thermal energy that cannot be used to do work.四、参考资料Reference工程热力学第三版高等教育出版社；现代化学基础清华大学出版社；薛凤佳熵概念的建立和发展；李嘉亮,刘静玻尔兹曼熵和克劳修斯熵的关系；顾豪爽熵及其物理意义；熵——百度百科；Introduction to entropy, From Wikipedia, the free encyclopedia；A History of Thermodynamics——Springer。
熵变的原理及应用论文
熵变的原理及应用论文1. 引言熵是热力学中描述系统混乱程度的量度，熵变则是指系统在变化过程中熵的增加或减少。
熵变的原理和应用已经广泛应用于各个领域。
本文将探讨熵变的原理和其在不同领域中的应用。
2. 熵变的原理2.1 热力学第二定律熵变是热力学第二定律的核心概念之一。
根据热力学第二定律，一个孤立系统的熵在无限接近平衡时不断增加，直到达到最大值。
这意味着一个系统的熵总是增加或保持不变，而不会减少。
2.2 系统的微观状态熵变也可以理解为系统的微观状态的变化。
一个系统的微观状态可以由其粒子的位置、速度和相互作用等因素来确定。
当系统的微观状态发生变化时，其熵也会发生变化。
例如，当我们在一杯水中加入一块冰块时，由于冰块分子的有序排列，系统的熵会减少。
3. 熵变的应用3.1 生态学生态学中的一个重要应用是生态系统的稳定性分析。
通过计算生态系统中各个组成部分的熵变，可以评估生态系统的稳定性。
较低的熵变意味着系统更稳定，较高的熵变则意味着系统更不稳定。
3.2 信息论熵变在信息论中被广泛应用。
在信息论中，熵表示一个随机变量的不确定性。
通过计算随机变量的熵变，可以评估信息传输的效率和信号的可靠性。
3.3 材料科学材料科学中的一个应用是熵变在合金制备过程中的分析。
合金是将两种或多种金属混合而成的材料。
通过对合金中各个组分的熵变进行分析，可以预测合金的相变过程和性能。
3.4 生物医学生物医学中的一个应用是熵变在药物输送系统中的优化。
通过计算药物在输送系统中的熵变，可以评估药物输送的效率和稳定性，从而优化药物输送系统的设计。
4. 结论熵变作为热力学中的重要概念之一，已经在各个领域中找到了广泛的应用。
从生态学到信息论，从材料科学到生物医学，熵变为我们提供了深入理解和优化系统的工具。
通过更深入地研究熵变的原理和应用，我们可以进一步发展不同领域的科学和技术。
以上是关于熵变的原理及应用的论文，从熵变的原理到其在生态学、信息论、材料科学和生物医学中的应用进行了探讨。
熵的理论和应用
熵的理论和应用熵是一个非常重要的概念，不仅在物理学中有着广泛的应用，而且在信息科学、化学以及统计学等很多领域都起到至关重要的作用。
熵理论的建立和发展是一个复杂而又具有挑战性的过程，它的应用涵盖了很多方面，给人类社会带来了诸多福利。
在本文中，笔者将会详尽地介绍熵的理论和应用，并且探讨一些未来可能的研究方向。
一、熵的理论1. 熵的定义熵一词最初来自热力学，是描述热量转移的一个重要概念。
在20世纪初期，熵的定义从热力学扩展到了统计学和信息论中，成为了一种普遍的物理量。
根据热力学的定义，熵常被描述为一个系统的混乱程度，它的大小取决于系统的状态，随着系统微小改变而微小改变，当系统达到平衡态时达到最大值。
2. 熵的热力学意义熵与系统的混乱程度有关，具体来说，热力学意义的熵可以表示系统的无序程度。
比如一个有序的水晶是具有低熵的，而一个无序的气体则是具有高熵的。
此外，熵还有一个重要的特性，即不可逆性。
根据热力学的第二定律，系统的熵会随时间的推移而不断增加，也就是说，一个系统可以降低其内部的能量，但是不能降低其熵。
3. 熵的信息学意义在信息科学中，熵的意义与热力学是有关联的。
与热力学中的系统具有无序程度类似，信息论中的熵可以表示信息序列中的随机程度。
具体来说，假设有一组由0和1组成的二进制数列，它在信息量上的不确定性就可以用熵来表示，而且熵的大小与二进制数列中的随机性成正比。
二、熵的应用1. 热力学应用从热力学的角度来看，熵是一个复杂的、有趣的、多样化的物理量，对许多领域都有着广泛的应用。
在宇宙学中，黑洞的热力学属性以熵的形式表示，它的大小与该黑洞的质量、温度和面积等参数有关。
此外，熵还可以用于预测化学反应的热力学性质、分析物质中的相变等过程。
2. 信息学应用在信息科学中，熵的应用也是非常广泛的。
比如说，信息熵可以用于测量网络协议中的无序行为、衡量密码学中密码随机性、量化音频编码中的压缩效率等。
此外，熵还被应用于网络安全、奇异性等众多领域，产生了巨大的效益。
熵的概念及其在信息理论中的应用
熵的概念及其在信息理论中的应用熵是一个重要的概念，它最初来自于热力学领域，用于描述系统的无序程度。
然而，在20世纪40年代，熵的概念开始被引入到信息理论中，并成为衡量信息量的重要指标。
本文将介绍熵的概念以及它在信息理论中的应用。
首先，让我们来了解一下熵的概念。
在热力学中，熵代表了一个物理系统内部的无序程度。
一个有序的系统具有较低的熵，而一个无序的系统具有较高的熵。
这个概念可以通过一个经典的例子来解释：假设你有一盒子里装着100个相同的硬币，其中50个是正面朝上，另外50个是反面朝上。
如果你闭上眼睛随机取出一个硬币，你很难知道这个硬币是正面还是反面朝上，因为系统具有较高的熵。
相反，如果你知道盒子里正面和反面朝上的硬币均匀分布，那么你可以很容易地猜测每次取出的硬币是正面还是反面，因为系统具有较低的熵。
在信息理论中，熵的概念被引入用于衡量信息量。
在信息传输过程中，我们可以把信息看作是一系列的符号或者数据。
符号或数据的选择越多，信息的熵就越大。
熵的计算公式为：H(X) = -Σ P(x)log2P(x)其中，H(X)代表随机变量X的熵，P(x)代表随机变量X取某个值x的概率。
举个简单的例子来解释熵在信息理论中的应用。
假设我们要传输一个二进制信号，只包含0和1两种可能。
如果这两个数字以相等的概率出现，我们可以说这个信号的熵是最大的。
因为我们无法预测下一个数字是0还是1，所以我们需要传输更多的信息来表达这种不确定性。
相反，如果这两个数字中的一个以明显较大的概率出现，我们可以说这个信号的熵是较低的。
因为我们可以通过传输更少的信息来表达这种确定性。
熵在信息理论中有许多重要的应用。
首先，熵可以用于衡量数据压缩算法的效果。
在数据压缩中，我们试图通过减少冗余信息来缩小数据的大小。
根据香农编码定理，基于熵的编码方法可以达到理论上的最优压缩效果。
这意味着，通过使用基于熵的编码方法，我们可以尽可能地减少数据的传输量。
其次，熵还可以用于衡量随机变量的不确定性。
熵的原理及应用论文
熵的原理及应用1. 引言熵是信息论中一个重要的概念，它描述了一个系统中的无序程度。
熵的概念最初是由克劳修斯·沃维尼克在1948年提出的。
它被广泛应用于各个领域，包括物理学、化学、生物学和计算机科学等。
本文将介绍熵的定义和原理，以及熵在不同领域的应用。
2. 熵的定义熵可以用来衡量一个系统的混乱程度或者不确定性的程度。
熵的计算公式如下：$$ H(X) = -\\sum_{i=1}^{n} P(x_i) \\log_2(P(x_i)) $$其中，H(X)表示系统的熵，P(x i)表示系统处于状态x i的概率。
熵的单位通常用比特（bits）表示。
3. 熵的原理熵的原理可以通过以下三个方面来理解：3.1. 熵与无序程度的关系从熵的定义可以看出，当系统的状态越多且概率分布越均匀时，熵越大，系统的无序程度越高。
相反，当系统的状态少且分布不均匀时，熵越小，系统的无序程度越低。
3.2. 熵与信息量的关系根据熵的计算公式可以看出，熵与信息量有直接的关系。
当系统中某个状态的概率较高时，其对应的信息量较低，而当系统中某个状态的概率较低时，其对应的信息量较高。
熵越大，系统中的每个状态所包含的信息量越多。
3.3. 熵与系统不确定性的关系熵可以用来衡量系统的不确定性。
当系统的熵较高时，系统的状态难以预测，即系统具有较高的不确定性。
相反，当系统的熵较低时，系统的状态容易被确定，即系统具有较低的不确定性。
4. 熵的应用熵在各个领域都具有广泛的应用，下面将介绍熵在物理学、化学、生物学和计算机科学等领域的应用。
4.1. 物理学在物理学中，熵被用来描述热力学系统的无序程度。
熵在热力学中的应用可以帮助我们理解系统的能量转化和热力学过程。
4.2. 化学在化学中，熵被用来衡量反应的自由度和不确定性。
熵在化学反应中的应用可以帮助我们预测和控制化学反应的方向和速率。
4.3. 生物学在生物学中，熵被用来描述生物系统的多样性和适应性。
熵在生物学中的应用可以帮助我们理解生物多样性的形成和演化过程。
熵理论的形成与认识观念的深化
作者： 刘崑
作者机构： 南京政治学院自然科学教研室
出版物刊名： 南京政治学院学报
页码： 40-41页
主题词： 绝对温度;物理量;原理;新兴学科;热力学第二定律;认识观念;熵理论;价值取向;思维方式;自然科学
摘要： <正> “熵”这个科学概念出现于19世纪的物理学,它一经产生便挣脱束缚,跻身自然科学和社会科学的许多领域,促进了一些新兴学科的创生和发展,极大地影响着人们的科学观念、思维方式和价值取向。
1850年克劳修斯由热机理论总结出热力学第二定律,1865年又由它导出一个物理量“熵”。
我们以S表示熵,如果一个物体的绝对温度为T,并有热量△Q传给物体,则该物体的熵S就增加了。
熵在信息理论中的应用
熵在信息理论中的应用信息理论是研究信息的量和质的科学领域，它为我们理解信息的传递和存储提供了强有力的工具和框架。
熵是信息理论的核心概念之一，它是信息的一种度量，能够揭示系统的不确定性和随机性。
熵在信息理论中发挥着重要的作用，本文将探讨熵在信息理论中的应用，并介绍一些具体的应用案例。
首先，熵被用来度量信息的不确定性。
熵的概念最初由克劳德·香农在1948年提出，它可以理解为系统中信息的平均信息量。
在信息理论中，熵被用来衡量信息源的不确定度，即信息源产生的符号的不确定性水平。
对于一个具体的离散信息源，它的熵可以通过以下公式计算：H(X) = -∑P(x)log(P(x))，其中P(x)表示符号x出现的概率。
熵越高，表示信息源产生的符号越随机，不确定度越大。
其次，熵被用来度量信息的压缩性。
在信息传输和存储中，压缩是一种重要的技术，可以显著减小信息的存储空间和传输带宽。
在信息理论中，通过熵的概念可以确定信息的最小表示长度，即熵越大，信息的最小表示长度越长，相应地，信息的压缩率就会降低。
而对于服从某种概率分布的信息源，可以通过霍夫曼编码来实现最佳压缩，其中信息源中出现概率高的符号分配较短的编码，而出现概率低的符号分配较长的编码。
熵告诉我们了解一个信息源的特性，有助于设计相应的压缩算法。
第三，熵被用来度量信息的冗余性。
冗余性是指信息中不必要的部分，它使得信息在传递和存储过程中存在额外的开销。
冗余性可以通过熵和实际编码长度之间的差异来衡量。
在信息理论中，通过比较信息的平均长度和熵，可以得到冗余度的大小。
信息的冗余度越高，表示信息中的冗余部分越多，可以通过去除这些冗余部分来减少信息的传输和存储开销。
因此，熵的概念可以帮助我们分析信息中的冗余，并提出相应的优化策略，以提高信息的传输和存储效率。
最后，熵在密码学中也有着广泛的应用。
密码学是研究信息的保密性和完整性的学科，熵在密码学中被用来衡量密码的复杂性和安全性。
熵的研究和应用
熵的研究和应用在物理学、化学、信息论等领域中，熵是一个非常重要的概念。
熵被定义为系统内分子的混乱程度，也可以简单地说成是无序度量。
在自然界和科学技术中，熵的研究和应用都起着十分重要的作用。
一、熵的研究和理论发展熵的概念最早可追溯到 19 世纪中叶，当时物理学家 Clausius引入了熵的概念，用于研究热量在物体之间传递的问题。
熵作为一个物理量，被应用于热力学中，可以用来描述系统的热力学状态或过程。
熵在热力学中的应用，是描述物质能量转化的过程中有多少能量被耗散的物理量。
随着现代物理学和化学的发展，熵的概念逐渐演化出了更加广泛的理论体系。
在现代物理学中，熵的概念被广泛应用于热力学、统计物理学、信息论等领域。
熵的运用，可以揭示系统的性质和变化，帮助人类更好地理解自然现象和物质世界的本质。
二、熵的应用1、热力学中的应用热力学中，熵通常被称为热熵，是一个热力学量纲，可用于描述无定形固体、气体和溶液的微观结构。
热熵可以用来衡量热力学系统的混乱程度，通常是随系统的复杂性和无序程度增加而增加。
例如，当有机化合物燃烧时，原子团聚在一起，熵降低，能源就会被释放。
相反，当物质分解、蒸发或溶解时，熵增加，能量就会被吸收。
2、统计物理学中的应用在统计物理学中，熵被用来描述微观粒子的混乱程度与排列方式。
这一理论有助于揭示分子和原子如何组成物质，并且有助于研究物质的性质和行为，如导电性、磁性、机械性能等。
3、信息学中的应用熵的概念也被应用于信息学中。
信息熵，通常被称为信息量度或信息混乱度，是用来衡量信息的无序度量。
例如，在通信系统和编码中，熵被用来衡量数据的信息密度。
对于一个随机的消息，信息熵越高，消息传输的差错率就越高。
4、生态学中的应用在生态学中，熵被用来描述自然界的生态平衡状态。
当生态系统中的物种数目、密度、分布等属性发生改变时，系统整体的熵也会发生变化。
例如，当一些外来物种进入生态系统中时，整个生态平衡会失去平衡，熵会增加。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
北京生物医学工程 Beijing Biomedicar 2012
·综
述·
熵理论发展史及其在生物医学信号分析中的作用
刘澄玉
摘 要
1
赵莉娜
2
“信息熵 ” 自 1948 年信息论之父 C． E． Shannon 提出 的概念后， 熵测度用于生理信号复杂
［5 ］ 合概率， 根据式（ 2 ） ， 则定义 Kolmogorov 熵为 ： 1 K = －lim lim lim i1 ， …， iN ） Σ…i ［p（ i0 ， τ→0 ε→0 N→∞ N τ i ， 0 i1 ， n ln p（ i0 ， i1 ， …， iN ） ］ （ 4）
： （ 1）
量问题， 为测度信息的多少找到了一个统一的科学 计量方法， 从而奠定了信息论的基础。 Shannon 指 出， 任何信息都存在冗余， 冗余大小与信息中每个符 号（ 数字、 字母或单词） 的出现概率或者说不确定性 有关， 在借鉴热力学熵概念的基础上， 他将信息中排 ， 并给出了 除了冗余后的平均信息量称为“信息熵 ” X2 ， …， X N］表 计算信息熵的数学方法： 设 X = ［X 1 ， p = ［p 1 ， p2 ， 示某 信 息 中 N 种 可 能 的 独 立 事 件 ， …， p N］表示 这 N 种 事 件 发 生 的 概 率 ， 并且满足
式中极限 ε→0 取在极限 N→∞ 之后， 它使 K 的 值实际上与分格无关， 如取 τ = 1 ， 则极限 τ →0 可省 去， 这样定义的 K 即为 K－S 熵。 在一维情况下， 设 当 t = τ 时系统的状态可能扩散到 m 个格子中， 则 K－S 熵定义为： K = ln m （ 5） 于是可通过 K 的值判断动力学系统的运动性 质： ① 当 m = 1 时， 意味着系统做规则运动， 每一时 此时K = 0 ； ②当 刻 系统的运动状态都是确定的，
2
熵理论之发展
1948 年信息论之父 C． E． 半个世纪过去之后，
Shannon 在 总 结 前 人 研 究 的 基 础 上， 在 论 文“A Mathematical Theory of Communication ” 中开 创 性 地
［3 ］ “信息熵” 提出了 的概念 ， 解决了对信息的量化度
History of entropy theory and its role in biomedical signal analysis
LIU Chengyu1 ，ZHAO Lina2 1 School of Control Science and Engineering，Shandong University，Jinan 250061 2 Shandong HengXin Inspection Technique Exploiture Center，Jinan 250010 【Abstract】 Since C． E． Shannon proposed the “information entropy ”in 1948 ，the entropy measures have achieved encouraging progresses in the complexity analysis for biomedical signals． Later with the guidance ， many measures， such as Kolmogorov entropy， approximate entropy， dynamic of “information entropy ” approximate entropy，sample entropy，mode entropy，multiscale entropy，base scale entropy，joint entropy， fuzzy entropy，fuzzy measure entropy，were proposed and they greatly promoted the level of biomedical signal analysis． In this paper，the history of entropy theory and its role in biomedical signal analysis were reviewed． This paper systematically summarized the four development phases of entropy theory： origin ，development ， prosperity and status quo． Meanwhile，there was also a detailed analysis for the reasons and defects of each entropy algorithm． 【Key words】 entropy theory； biomedical signal ； nonlinear analysis
第5 期
熵理论发展史及其在生物医学信号分析中的作用
· 541·
m = N 时， 意味着系统做随机运动， 每一时刻系统运 动轨迹等概 率 的 落 在 所 有 N 个 格 子 中， 由于 N = －1 N→∞ ， ε ， 当 ε→0 时， 所以 K →∞ ； ③ 当 m 的值介 于 1 和 N 之间时， 系统做混沌运动， 此时 K 的取值 K 越大， 为非零常数， 系统的混沌程度越复杂。 所 以， 使用 Kolmogorov 熵可以区分规则运动、 随机运 。 动和混沌运动
的瞬态强干扰有较好承受能力； ③ 适用于确定性信 号、 随机信号以及由确定性成分和随机成分组成的 混合信号， 并且能随两种成分混合比例的不同而有 不同的近似熵值。 为了提高近似熵算法的执行速 2005 年， 度， 徐安等 又提出了一种动态近似熵的 只需较短数据就能表现信号的非线性特 快速算法， 征， 大大缩短了 ApEn 的计算时间。 尽管 ApEn 有上述优点， 但由于计算过程中计 入了自身匹配， 使得计算结果是一个有偏估计。 为 了避免由于计入向量的自身匹配而引起的有偏性 ， Richman 等［10］ 在沿袭 Grassberger 的研究基础上发 展了一种有别于近似熵的不计数自身匹配的统计 — —样本熵 （ sample entropy，SampEn ） 。 SampEn 量— 区别于 ApEn 之处在于它没有计 入 向 量 的 自 身 匹 因此具有更好的相对一致性。 配， 近似熵和样本熵算法的提出大大增强了生物医 学信号非线性分析能力， 以此为基础衍生出众多的
· 540·
北京生物医学工程
第 31 卷
在用熵的概念描述系统状态内部结构时， 尤其 是探讨系统微观态数与熵的关系时， 熵概念遇到了 物理解释上的困难， 直到运用统计方法以后人们才 充分认识到这些关系的重大意义， 由此发展了统计 物理学的熵。统计物理学作为对热力学系统研究的 微观理论， 用分子运动论的观点来分析系统的热力 1896 年， 奥地利物理学家 L． Boltzmann 从 学性质， 分子运动论的角度考察了熵， 把在宏观层次上熵的 改变与系统吸收热量的关系， 推广到熵与系统微观 并给出了著 层次上子系统的分布的某种确定关系， 名的 Boltzmann 公式
1865 年德国物理学家 R． Clausius 在考察热力 ［1 ］ “熵 （ entropy ） ” 学能量转化现象时提出 的概念 ， 定
基金项目： 国家自然科学基金青年基金（ 61201049 ） 、 中国博士后科 学基金（ 20110491593 ） 资助 作者单位： 1 山东大学控制科学与工程学院（ 济南 250061 ） 2 山东恒信检测技术开发中心（ 济南 250010 ） 作者简介： 刘澄玉（ 1982 —） ， 男， 博士后在站， 主要研究方向为 mail： bestlcy@ sdy． edu． cn 生物医学信号处理 。E-
1
熵理论之起源
义为温比热量， 是指热量的变化除以绝对温度所得 ， 的商 在宏观上描述了一个系统能的不可用程度 ， 熵 越大， 能的不可用程度越高； 熵越小， 能的不可用程 度越低。 Clausius 提出熵的概念后， 应用其阐述了 热力学第二定律， 亦称熵量增加原理， 取得了成功。 熵的提出是 19 世纪科学思想的一个巨大贡献， 甚至 可以与生物学中提出的“进化 ” 相媲美。 自此以后， 熵的概念在热力学领域得到了越来越多的重视和应 用， 并逐渐延伸到其他领域。
S = k lnW
－ 23 W 是宏 其中 k = 1． 38 × 10 J / K 是 Boltzmann 常数，
观系统对应的微观态数目。 Boltzmann 公式阐述了 表征系统宏观状态的熵与该宏观态对应的微观态数 的关系， 把熵的概念与系统有序和无序 （ 或混乱 ） 的 将系统的熵看成是该状态下微观态 概念联系起来， 数的宏观体现： 若微观态数较多， 则系统中粒子可以 构成各式各样的排列， 各种排列的变换将变得频繁， 粒子分布的混乱程度大， 系统的熵值就大； 相反， 若 系统所含的微观态数较少， 则粒子的分布仅能在少 数几种状态间变化， 即粒子分布的混乱程度小， 系统 熵因此成为分子运动混乱程度的量度 。 的熵值也小， Boltzmann 从分子运动论的观点对熵所作的微观解 释， 不仅使人们对熵的理解豁然开朗 ， 而且为熵概念 的泛化创造了契机。
［2 ］
Σ
N i =1
pi = 1， 则该信 息的信息熵定义为： H（ X ） = －
Σ
N i =1
（ p i log a p i ）
（ 2）
当对数底数 a 取 2 时 ， 得到信息熵的单位是 比特 （ bit ） ； 当 对 数 底 数 a 取 e 时 ， 得到信息熵的 单位是奈特 （ nat ） 。 信 息 熵 描 述 了 离 散 随 机 事 件 的出现概 率 ， 当 一 种 信 息 出 现 概 率 更 高 的 时 候， 表明它被 传 播 得 更 广 泛 ， 或 者 说， 被引用的程度 更高 ， 因此 从 信 息 传 播 的 角 度 来 看 ， 信息熵表示 这样 就 有 了 一 个 衡 量 信 息 价 值 高 了信息的价值 ， 低的标 准 。 另 外 信 息 熵 也 反 映 了 信 息 源 的 平 均 不确定程度 ， 不确定性越 大 的 信 息 源 越 无 序 。 因 此有序的信息源信 息 熵 小 、 无序的信息源信息熵 信息熵可以看成 是 人 们 对 系 统 状 态 无 大 。 所以 ， 知程度 或 混 乱 程 度 的 量 度 。 信 息 熵 概 念 的 提 出 使我们很容易想到一切有概率分布的问题中都 包含着相 应 的 熵 值 存 在 ， 各 种 由 概 率 表 述 的“不 确定性 ” 问题都可以用信息熵这个统 一 的 概 念 来 描述 ， 这就为熵概念的泛化提供了理论依据 。 1958 年 前 苏 联 数 学 家、 概 率 论 大 师 A． N． Kolmogorov 进一步把信息熵的概念精确化， 提出了 Kolmogorov 熵的概念［4］， 用来量度系统运动的随机 将它的 或无序的程度。考虑一个 d 维动力学系统， 相空间分割成 N 个边长为 ε 的 d 维小盒子。 当系 统运动时， 它在相空间的轨道为 x（ t） ： x（ t） = ［ x1 （ t） ， x2 （ t） ， …， x d （ t） ］ （ 3） p （ i0 ， i1 ， …， i k ） 表示 取时间间隔为一很小量 τ， 起始时刻系统轨道在第 i0 个盒子中， 当 t = τ 时在第 i1 个盒子中， …… 当 t = kτ 时在第 i k 个盒子中的联