信息熵及其性质和应用

青岛农业大学

本科生课程论文

论文题目信息熵及其性质和应用学生专业班级信息与计算科学09级2班学生学号姓名20093992

指导教师吴慧

完成时间2012年06月25日

2012 年06月25日

课程论文任务书

学生姓名指导教师吴慧

论文题目信息熵及其性质和应用

论文内容（需明确列出研究的问题）：研究信息熵的目的就是为了更深入的了解信息熵，更好的了解信息熵的作用，更好地使用它解决现实生活中的问题。文中介绍了信息熵的定义和性质及其应用。使我们对信息熵有跟深入的了解。

资料、数据、技术水平等方面的要求：论文要符合一般学术论文的写作规范，具备学术性、科学性和一定的创造性。文字要流畅、语言要准确、论点要清楚、论据要准确、论证要完整、严密，有独立的观点和见解。内容要理论联系实际，计算数据要求准确，涉及到他人的观点、统计数据或计算公式等要标明出处，结论要写的概括简短。参考文献的书写按论文中引用的先后顺序连续编码。

发出任务书日期06月15日完成论文日期06月25日

教研室意见（签字）

院长意见（签字）

信息熵及其性质和应用

信息与计算科学专业

指导教师吴慧

摘要：信息熵是随机变量不确定性的度量，文中从信息熵的定义出发，结合信息熵的性质，

介绍了目前信息熵在具体问题中的应用。信息是一个十分通俗而又广泛的名词，它是人类认识世界、改造世界的知识源泉。人类社会发展的速度，在一定程度上取决于人类对信息利用的水平，所以对信息的度量就很有必要。香农提出信息的一种度量，熵的定义形式，它是随机变量不确定性的度量，文中主要介绍熵的性质及其应用。

关键词；信息熵性质应用

Information entropy and its properties and Application Student majoring in Information and Computing Science Specialty dongqiang

Tutor WuHui

Abstract：information entropy is a measure of uncertainty of random variable, this paper

from the definition of information entropy, combined with the nature of information entropy, information entropy, introduced the specific issues in the application rmation is a very popular and wi

dely noun, it is human understanding of the world, transforming the world knowledge source . The human society development speed, depend on on certain level the human make use of information level, so the measurement information is necessary.Shannon put forward the informa-tion a kind of measurement, the definition of entropy form, it is the uncertainty of random variable metric, this paper mainly introduces the property of entropy and its application.

Key words:information entropy properties application

引言:作为一种通俗的解释，熵是一种不规则性的测量尺度．这一种解释起源于香农在通讯理论的研究中，为确定信息量而提出的一种熵测度．对于离散概率分布p=(p 1,p …，p n )，香农熵定义为H(X)=E[I(i x )]=∑-i p log i p 在p 1+p 2+p 3+…p k =1的条件下，为使H （X ）最大，显然是p i ＝1/k （i=1,2,…，k ），即在等概率分布情况下H(X)达到最大值，换句话说，熵的值与不规则度（如果以等概率分布作为不规则性的极端表现）是一致的．这是熵作为一个概率测度的理论基础．物理学的发展为熵理论提供了更为现实的应用背景，热力学的第二法则既是所谓熵增大的法则，对孤立的系统，系统的热力学状态只能假定在熵增大的方向上起变化，Boltzmann 原理把熵引入了热力学的研究领域，他所提供的著名关系式S=klogw （ｗ是系统状态的概率）是后来Planck 的量变论及爱因斯坦的光量子理论开展的基础．人们对熵的认识和应用很长一段时间内都局限于理论物理领域，直到本世纪中叶，一些人开始注意到熵对系统不确定性度量的一般性，试图在行为科学和社会科学中更广泛地引用熵，对一些复杂现象加以刻划。 信息熵(entropy )的概念

设一个离散型随机变量和它的概率分布为

任意随机事件的自信息量定义为该事件发生概率的对数的负值，即I(i x )

∑+=++=≤≤⎥⎦

⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡11

1211211

,10 )(n i i i n n n n p p p p p p x x x x x p X ΛΛ

=-log i p 。自信息量I(i x )是指某一信源X 发出某一消息信号i x 所含有的信息量，发出的消息不同，它们所含的信息量也就不同，因此自信息量是一个随机变量，它不能用来作为整个信源的信息测度。香农将平均自信息量定义为信息熵，简称为熵。即H(X)=E[I(i x )]=∑-i p log i p 。

二、信息熵的性质

1、对称性：

设某一概率系统中n 个事件的概率分布为n p p ,,1Λ，当对事件位置的顺序

进行任意置换后，得到新的概率分布为//1,,n p p Λ，并有以下关系成立:

H(n p p ,,1Λ)=H (//1,,n p p Λ)它表示概率系统中事件的顺序虽不同，但概率系统的

熵值是不变的，即概率系统的熵与事件的顺序无关。 2、非负性： 因为每个p<1，所以它们的以不小于1的数为底的对数是不大于零的。 3、确定性：

设信息系统中，任一事件产生的概率为1，则其他事件产生的概率为0。这是一种确定的系统，对于这样的系统有:H(1,0)=H(1,0,0)=H(1,0,0,0)=…=H (1,0,0,…,0)=0若信源中只要有一个事件是必然事件，则其余事件为不可能事件。 此时，信源中每个事件对熵的贡献都为0，因而熵总为零。 4、扩展性：

若集合X 有n 个事件，另一集合Y 中有n+1 个事件，但集合X 和Y 的差别只是多了一个概率近于零的事件，则两个集合的熵值是一样的。即一个事件的概率和集合中其它事件相比很小时，它对于集合的熵值的贡献就可以忽略不计。式子表达如下：

),,(21≥q p p p H Λ