信息熵及其性质和应用
信息熵入门教程
信息熵入门教程
信息熵是信息理论中的重要概念，它用来度量随机变量中的不确定性或信息量。
在这篇入门教程中，我们将详细介绍信息熵的概念、计算方法和应用领域。
一、信息熵的概念
信息熵是根据信息的概率分布来度量信息的不确定性。
在信息论中，信息的不确定性越大，信息熵越高。
信息熵的单位是比特或纳特。
二、信息熵的计算方法
信息熵的计算方法是根据信息的概率分布来计算的。
对于一个离散随机变量，信息熵的计算公式为：H(X) = -Σp(x)log2p(x)，其中p(x)表示随机变量X取值为x的概率。
三、信息熵的应用领域
信息熵在各个领域都有广泛的应用。
在通信领域，信息熵被用来度量信道的容量，帮助设计高效的通信系统。
在数据压缩领域，信息熵被用来压缩数据，减少存储空间的占用。
在机器学习领域，信息熵被用来评估分类模型的效果，选择最优的特征。
四、信息熵的意义和局限性
信息熵的意义在于量化信息的不确定性，帮助我们理解信息的特性和规律。
然而，信息熵并不能完全反映信息的含义和价值，它只是从概率分布的角度度量信息的不确定性。
五、总结
信息熵是信息理论中的重要概念，用来度量信息的不确定性。
通过计算信息熵，我们可以了解信息的特性和规律，并在各个领域中应用。
然而，信息熵只是从概率分布的角度度量信息的不确定性，不能完全反映信息的含义和价值。
希望通过这篇入门教程，您对信息熵有了更深入的了解。
如果您想进一步学习信息熵的应用和扩展，可以参考相关的学术文献和教材。
祝您学习愉快！。
信息熵及其性质和应用
信息熵及其性质和应用信息熵是信息论中最重要的概念之一，它被广泛应用于通信、隐私保护、压缩、分类和数据挖掘等领域。
信息熵是一个度量随机事件不确定性的量，它可以看做是事件发生概率的负对数，越不确定的事件其信息熵越大。
信息熵与概率密切相关。
对于一个样本空间Ω，若每个事件A的概率为p(A)，则该样本空间的信息熵H(Ω)为：H(Ω) = - ∑p(A)logp(A)其中logp(A)是以2为底的对数，这是信息论中常用的底数。
Log函数是一个单调递增函数，因此H(Ω)随p(A)的变化而变化。
当p(A)=1时，H(Ω)为0，表示该事件完全确定，不需要任何信息来描述；当p(A)接近0时，H(Ω)趋近于无穷大，表示该事件非常不确定，需要大量的信息来描述。
因此，信息熵是一个有效的度量随机事件的不确定性的量。
信息熵有几个重要的性质。
首先，它是非负的。
这是因为p(A)是一个概率，它的取值范围是0到1，因此logp(A)的取值范围是负无穷到0，-p(A)logp(A)必须是非负的。
其次，当且仅当p(A)相等时，信息熵的值最大。
这是因为对于任意一组概率{p1, p2, ..., pn}，它们的信息熵最大当且仅当这组概率相等。
第三，对于两个不同的事件A和B，它们的信息熵只有在它们不相关的情况下才能相加，即：H(A, B) = H(A) + H(B) (当A和B不相关时)这个性质被称为独立性原理，它用于说明当两个随机事件相互独立时，它们的信息熵是可以相加的。
信息熵具有广泛的应用。
通过计算信息熵，我们可以判断一个密码的安全性、评估一个数据压缩算法的效果、确定一个分类任务的复杂度、估算一个随机过程的性质等。
在通信中，我们可以利用信息熵来设计码字，最大程度地利用信道的带宽和容量，使得信息传输更加高效。
在隐私保护中，我们可以利用信息熵来衡量隐私的泄露程度，评估隐私保护算法的性能。
在机器学习中，我们可以利用信息熵来选择特征、评估模型及度量分类器的性能等。
信息熵在高中信息技术教学中的应用研究
信息熵在高中信息技术教学中的应用研究信息熵是信息理论中一个重要的概念，广泛应用于网络通信、数据压缩、密码学等领域。
在高中信息技术教学中，信息熵也有着重要的应用价值。
本文将从信息熵的基本原理、在教学中的应用以及应用效果三个方面来探讨信息熵在高中信息技术教学中的应用研究。
首先，我们来了解一下信息熵的基本原理。
信息熵是信息理论中衡量信息不确定性的度量，表示了信息源的平均信息量或平均不确定性。
信息熵越大，表示信息不确定性越大；信息熵越小，表示信息不确定性越小。
在公式上，信息熵的计算公式为：H(X) = -Σp(x)logp(x)，其中，X为信息源，p(x)表示信息源中各个事件发生的概率。
信息熵的一个重要应用是数据压缩。
在高中信息技术教学中，可以通过信息熵的概念来引导学生了解数据压缩的原理和方法。
数据压缩是将原始数据通过其中一种编码方式转换成更简洁的表示形式，从而减少数据的存储空间或传输带宽。
在教学中，可以通过引入信息熵的概念，让学生了解到不同数据的信息量不同，一些数据中包含的信息冗余较多，可以采取压缩算法进行高效存储或传输，从而提高数据处理的效率。
其次，信息熵还可以应用于密码学领域。
密码学是保护信息安全的一门学科，其中一个重要的问题就是如何加密和解密信息。
信息熵可以作为评估密码算法强度的指标之一、在教学中，可以通过介绍信息熵的概念，让学生了解到密码算法的安全性与其信息熵的关系。
较高的信息熵表示密码算法生成的密文更具随机性，难以通过统计分析猜测出明文，从而提高密码算法的安全性。
同时，通过信息熵的应用，还可以让学生了解一些常见的密码算法，如DES、AES等，并进行相关实践操作，提高学生对密码学的理解和实践能力。
最后，我们来讨论一下信息熵在高中信息技术教学中的应用效果。
信息熵在教学中的应用可以提高学生的综合能力，培养学生的逻辑思维和创新意识。
通过引入信息熵的概念，可以让学生了解到信息理论的基本原理和相关应用，从而提高学生对信息技术的认识和理解，培养学生的信息素养。
熵在信息理论中的应用
熵在信息理论中的应用信息理论是研究信息的量和质的科学领域，它为我们理解信息的传递和存储提供了强有力的工具和框架。
熵是信息理论的核心概念之一，它是信息的一种度量，能够揭示系统的不确定性和随机性。
熵在信息理论中发挥着重要的作用，本文将探讨熵在信息理论中的应用，并介绍一些具体的应用案例。
首先，熵被用来度量信息的不确定性。
熵的概念最初由克劳德·香农在1948年提出，它可以理解为系统中信息的平均信息量。
在信息理论中，熵被用来衡量信息源的不确定度，即信息源产生的符号的不确定性水平。
对于一个具体的离散信息源，它的熵可以通过以下公式计算：H(X) = -∑P(x)log(P(x))，其中P(x)表示符号x出现的概率。
熵越高，表示信息源产生的符号越随机，不确定度越大。
其次，熵被用来度量信息的压缩性。
在信息传输和存储中，压缩是一种重要的技术，可以显著减小信息的存储空间和传输带宽。
在信息理论中，通过熵的概念可以确定信息的最小表示长度，即熵越大，信息的最小表示长度越长，相应地，信息的压缩率就会降低。
而对于服从某种概率分布的信息源，可以通过霍夫曼编码来实现最佳压缩，其中信息源中出现概率高的符号分配较短的编码，而出现概率低的符号分配较长的编码。
熵告诉我们了解一个信息源的特性，有助于设计相应的压缩算法。
第三，熵被用来度量信息的冗余性。
冗余性是指信息中不必要的部分，它使得信息在传递和存储过程中存在额外的开销。
冗余性可以通过熵和实际编码长度之间的差异来衡量。
在信息理论中，通过比较信息的平均长度和熵，可以得到冗余度的大小。
信息的冗余度越高，表示信息中的冗余部分越多，可以通过去除这些冗余部分来减少信息的传输和存储开销。
因此，熵的概念可以帮助我们分析信息中的冗余，并提出相应的优化策略，以提高信息的传输和存储效率。
最后，熵在密码学中也有着广泛的应用。
密码学是研究信息的保密性和完整性的学科，熵在密码学中被用来衡量密码的复杂性和安全性。
熵的研究和应用
熵的研究和应用在物理学、化学、信息论等领域中，熵是一个非常重要的概念。
熵被定义为系统内分子的混乱程度，也可以简单地说成是无序度量。
在自然界和科学技术中，熵的研究和应用都起着十分重要的作用。
一、熵的研究和理论发展熵的概念最早可追溯到 19 世纪中叶，当时物理学家 Clausius引入了熵的概念，用于研究热量在物体之间传递的问题。
熵作为一个物理量，被应用于热力学中，可以用来描述系统的热力学状态或过程。
熵在热力学中的应用，是描述物质能量转化的过程中有多少能量被耗散的物理量。
随着现代物理学和化学的发展，熵的概念逐渐演化出了更加广泛的理论体系。
在现代物理学中，熵的概念被广泛应用于热力学、统计物理学、信息论等领域。
熵的运用，可以揭示系统的性质和变化，帮助人类更好地理解自然现象和物质世界的本质。
二、熵的应用1、热力学中的应用热力学中，熵通常被称为热熵，是一个热力学量纲，可用于描述无定形固体、气体和溶液的微观结构。
热熵可以用来衡量热力学系统的混乱程度，通常是随系统的复杂性和无序程度增加而增加。
例如，当有机化合物燃烧时，原子团聚在一起，熵降低，能源就会被释放。
相反，当物质分解、蒸发或溶解时，熵增加，能量就会被吸收。
2、统计物理学中的应用在统计物理学中，熵被用来描述微观粒子的混乱程度与排列方式。
这一理论有助于揭示分子和原子如何组成物质，并且有助于研究物质的性质和行为，如导电性、磁性、机械性能等。
3、信息学中的应用熵的概念也被应用于信息学中。
信息熵，通常被称为信息量度或信息混乱度，是用来衡量信息的无序度量。
例如，在通信系统和编码中，熵被用来衡量数据的信息密度。
对于一个随机的消息，信息熵越高，消息传输的差错率就越高。
4、生态学中的应用在生态学中，熵被用来描述自然界的生态平衡状态。
当生态系统中的物种数目、密度、分布等属性发生改变时，系统整体的熵也会发生变化。
例如，当一些外来物种进入生态系统中时，整个生态平衡会失去平衡，熵会增加。
信息熵 标准
信息熵是衡量信息不确定性的一个重要指标，由克劳德·香农在1948年提出，是信息论的基础之一。
信息熵不仅在通信理论中有广泛应用，也对统计学、物理学、计算机科学等多个领域产生了深远影响。
一、信息熵的定义信息熵（Entropy），记作H(X)，是描述信息量的大小的一个度量。
它是随机变量不确定性的量化表示，其值越大，变量的不确定性就越高；反之，其值越小，变量的不确定性就越低。
对于一个离散随机变量X，其概率分布为P(X)，信息熵的数学表达式定义为：\[ H(X) = -\sum_{i=1}^{n} p(x_i) \log_b p(x_i) \]其中，\(p(x_i)\)代表事件\(x_i\)发生的概率，\(n\)是随机变量可能取值的数量，\(\log_b\)是以b为底的对数函数，常见的底数有2（此时单位是比特或bits）、e（纳特或nats）和10。
二、信息熵的直观理解信息熵可以被理解为信息的“不确定性”或“混乱程度”。
当一个系统完全有序时，我们可以准确预测它的状态，此时信息熵最低；反之，如果系统完全无序，我们无法预测其任何状态，此时信息熵最高。
例如，在一个完全公平的硬币投掷实验中，正面和反面出现的概率都是0.5，这时信息熵达到最大值，因为每次投掷的结果最不确定。
三、信息熵的性质1. 非负性：信息熵的值总是非负的，即\(H(X) \geq 0\)。
这是因为概率值在0和1之间，而对数函数在(0,1)区间内是负的，所以信息熵的定义中包含了一个负号。
2. 确定性事件的信息熵为0：如果某个事件发生的概率为1，那么这个事件的信息熵为0，因为这种情况下不存在不确定性。
3. 极值性：对于给定数量的n个可能的事件，当所有事件发生的概率相等时，信息熵达到最大值。
这表示在所有可能性均等时，系统的不确定性最大。
4. 可加性：如果两个随机事件X和Y相互独立，则它们的联合熵等于各自熵的和，即\(H(X,Y) = H(X) + H(Y)\)。
信息熵及其性质和应用
2012 年 06 月 25 日课程论文任务书学生姓名指导教师吴慧论文题目信息熵及其性质和应用论文内容（需明确列出研究的问题）：研究信息熵的目的就是为了更深入的了解信息熵，更好的了解信息熵的作用，更好地使用它解决现实生活中的问题。
文中介绍了信息熵的定义和性质及其应用。
使我们对信息熵有跟深入的了解。
资料、数据、技术水平等方面的要求：论文要符合一般学术论文的写作规范，具备学术性、科学性和一定的创造性。
文字要流畅、语言要准确、论点要清楚、论据要准确、论证要完整、严密，有独立的观点和见解。
内容要理论联系实际，计算数据要求准确，涉及到他人的观点、统计数据或计算公式等要标明出处，结论要写的概括简短。
参考文献的书写按论文中引用的先后顺序连续编码。
发出任务书日期 06月15日完成论文日期 06月25日教研室意见（签字）院长意见（签字）信息熵及其性质和应用信息与计算科学专业指导教师吴慧摘要：信息熵是随机变量不确定性的度量，文中从信息熵的定义出发，结合信息熵的性质，介绍了目前信息熵在具体问题中的应用。
信息是一个十分通俗而又广泛的名词，它是人类认识世界、改造世界的知识源泉。
人类社会发展的速度，在一定程度上取决于人类对信息利用的水平，所以对信息的度量就很有必要。
香农提出信息的一种度量，熵的定义形式，它是随机变量不确定性的度量，文中主要介绍熵的性质及其应用。
关键词；信息熵性质应用Information entropy and its properties and Application Student majoring in Information and Computing Science Specialty dongqiangTutor WuHuiAbstract：information entropy is a measure of uncertainty of random variable, this paper from the definition of information entropy, combined with the nature of information entropy, information entropy, introduced the specific issues in the application rmation is a very popular and widely noun, it is human understanding of the world, transforming the world knowledge source . The human society development speed, depend on on certain level the human make use of information level, so the measurement information is necessary.Shannon put forward the informa-tion a kind of measurement, the definition of entropy form, it is the uncertainty of random variable metric, this paper mainly introduces the property of entropy and its application.Key words:information entropy properties application引言:作为一种通俗的解释，熵是一种不规则性的测量尺度．这一种解释起源于香农在通讯理论的研究中，为确定信息量而提出的一种熵测度．对于离散概率分布p=(p 1,p…，p n )，香农熵定义为H(X)=E[I()]=log 在i x ∑-i p i p p 1+p 2+p 3+…p k =1的条件下，为使H （X ）最大，显然是p i ＝1/k （i=1,2,…，k ），即在等概率分布情况下H(X)达到最大值，换句话说，熵的值与不规则度（如果以等概率分布作为不规则性的极端表现）是一致的．这是熵作为一个概率测度的理论基础．物理学的发展为熵理论提供了更为现实的应用背景，热力学的第二法则既是所谓熵增大的法则，对孤立的系统，系统的热力学状态只能假定在熵增大的方向上起变化，Boltzmann 原理把熵引入了热力学的研究领域，他所提供的著名关系式S=klogw （ｗ是系统状态的概率）是后来Planck 的量变论及爱因斯坦的光量子理论开展的基础．人们对熵的认识和应用很长一段时间内都局限于理论物理领域，直到本世纪中叶，一些人开始注意到熵对系统不确定性度量的一般性，试图在行为科学和社会科学中更广泛地引用熵，对一些复杂现象加以刻划。
信息论中熵的概念
信息论中熵的概念信息论中熵的概念引言：信息论是一门研究信息传输、存储和处理的科学，它起源于通信工程领域，后来逐渐发展成为一门独立的学科。
在信息论中，熵是一个非常重要的概念，它是衡量信息量大小的一种指标。
本文将详细介绍信息论中熵的概念及其相关知识。
一、基本概念1. 信息在信息论中，信息是指某个事件发生所提供的消息或者数据。
在投掷一枚硬币时，正反面出现的情况就是两个不同的事件，每一个事件都提供了一个二元数据（正面或反面），因此我们可以说这两个数据都包含了一定量的信息。
2. 熵在统计物理学中，熵是描述系统混乱程度的物理量。
在信息论中，熵则被定义为随机变量不确定性的度量。
简单来说，熵越大表示包含更多不确定性或者随机性的数据。
3. 随机变量随机变量是指可能具有多种取值结果的变量。
在投掷一枚硬币时，正反面出现的情况就是一个随机变量，因为它可能具有两种不同的取值结果。
二、信息熵的定义在信息论中，熵是一个非常重要的概念。
它被定义为一个随机变量所包含的信息量的期望值。
如果我们用X表示一个随机变量，x表示X可能取到的不同取值，p(x)表示X取到x的概率，那么X的熵可以用下面的公式来计算：H(X) = -Σp(x)log2p(x)其中，Σ表示对所有可能取值进行求和。
log2表示以2为底数的对数。
三、信息熵的性质1. 非负性根据熵的定义，可以得知它一定是非负数。
因为p(x)大于0且小于等于1，在log2p(x)中取负号后一定是非正数，所以H(X)一定是非负数。
2. 极大化原理当随机变量具有多个可能取值时，它们之间存在某种不确定性或者随机性。
而熵则可以衡量这种不确定性或者随机性。
在信息论中，有一个重要原理叫做极大化原理：当随机变量具有多个可能取值时，它们之间最大不确定性对应着最大熵。
3. 独立性如果两个随机变量X和Y是相互独立的，那么它们的联合熵等于它们各自的熵之和。
即：H(X,Y) = H(X) + H(Y)四、信息熵的应用1. 数据压缩在数据压缩中，我们希望尽可能地减小数据的存储空间。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
农业大学本科生课程论文论文题目信息熵及其性质和应用学生专业班级信息与计算科学09级2班学生学号 20093992指导教师吴慧完成时间2012年06月25日2012 年 06 月 25 日课程论文任务书学生指导教师吴慧论文题目信息熵及其性质和应用论文容（需明确列出研究的问题）：研究信息熵的目的就是为了更深入的了解信息熵，更好的了解信息熵的作用，更好地使用它解决现实生活中的问题。
文中介绍了信息熵的定义和性质及其应用。
使我们对信息熵有跟深入的了解。
资料、数据、技术水平等方面的要求：论文要符合一般学术论文的写作规，具备学术性、科学性和一定的创造性。
文字要流畅、语言要准确、论点要清楚、论据要准确、论证要完整、严密，有独立的观点和见解。
容要理论联系实际，计算数据要求准确，涉及到他人的观点、统计数据或计算公式等要标明出处，结论要写的概括简短。
参考文献的书写按论文中引用的先后顺序连续编码。
发出任务书日期 06月15日完成论文日期 06月25日教研室意见（签字）院长意见（签字）信息熵及其性质和应用信息与计算科学专业指导教师吴慧摘要：信息熵是随机变量不确定性的度量，文中从信息熵的定义出发，结合信息熵的性质，介绍了目前信息熵在具体问题中的应用。
信息是一个十分通俗而又广泛的名词，它是人类认识世界、改造世界的知识源泉。
人类社会发展的速度，在一定程度上取决于人类对信息利用的水平，所以对信息的度量就很有必要。
香农提出信息的一种度量，熵的定义形式，它是随机变量不确定性的度量，文中主要介绍熵的性质及其应用。
关键词；信息熵性质应用Information entropy and its properties and Application Student majoring in Information and Computing Science Specialty dongqiangTutor WuHuiAbstract：information entropy is a measure of uncertainty of random variable, this paper from the definition of information entropy, combined with the nature of information entropy, information entropy, introduced the specific issues in the application rmation is a very popular and widely noun, it is human understanding of the world, transforming the world knowledge source . The human society development speed, depend on on certain level the human make use of information level, so the measurement information is necessary.Shannon put forward the informa-tion a kind of measurement, the definition of entropy form, it is the uncertainty of random variable metric, this paper mainly introduces the property of entropy and its application.Key words:information entropy properties application引言:作为一种通俗的解释，熵是一种不规则性的测量尺度．这一种解释起源于香农在通讯理论的研究中，为确定信息量而提出的一种熵测度．对于离散概率分布p=(p 1,p …，p n )，香农熵定义为H(X)=E[I(i x )]=∑-i p log i p 在p 1+p 2+p 3+…p k =1的条件下，为使H （X ）最大，显然是p i ＝1/k （i=1,2,…，k ），即在等概率分布情况下H(X)达到最大值，换句话说，熵的值与不规则度（如果以等概率分布作为不规则性的极端表现）是一致的．这是熵作为一个概率测度的理论基础．物理学的发展为熵理论提供了更为现实的应用背景，热力学的第二法则既是所谓熵增大的法则，对孤立的系统，系统的热力学状态只能假定在熵增大的方向上起变化，Boltzmann 原理把熵引入了热力学的研究领域，他所提供的著名关系式S=klogw （ｗ是系统状态的概率）是后来Planck 的量变论及爱因斯坦的光量子理论开展的基础．人们对熵的认识和应用很长一段时间都局限于理论物理领域，直到本世纪中叶，一些人开始注意到熵对系统不确定性度量的一般性，试图在行为科学和社会科学中更广泛地引用熵，对一些复杂现象加以刻划。
信息熵(entropy )的概念 设一个离散型随机变量和它的概率分布为任意随机事件的自信息量定义为该事件发生概率的对数的负值，即I(i x ) =-log i p 。
自信息量I(i x )是指某一信源X 发出某一消息信号i x 所含有的信息量，发出的消息不同，它们所含的信息量也就不同，因此自信息量是一个随机变量，它不能用来作为整个信源的信息测度。
香农将平均自信息量定义为信息熵，简称为熵。
即H(X)=E[I(i x )]=∑-i p log i p 。
二、信息熵的性质1、对称性：设某一概率系统中n 个事件的概率分布为n p p ,,1 ，当对事件位置的顺序进行任意置换后，得到新的概率分布为//1,,n p p ，并有以下关系成立: H(n p p ,,1 )=H (//1,,n p p )它表示概率系统中事件的顺序虽不同，但概率系统的熵值是不变的，即概率系统的熵与事件的顺序无关。
2、非负性： 因为每个p<1，所以它们的以不小于1的数为底的对数是不大于零的。
3、确定性：设信息系统中，任一事件产生的概率为1，则其他事件产生的概率为0。
这∑+=++=≤≤⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡111211211,10 )(n i i i n n n n p p p p p p x x x x x p X 0),,(21≥q p p p H是一种确定的系统，对于这样的系统有:H(1,0)=H(1,0,0)=H(1,0,0,0)=…=H (1,0,0,…,0)=0若信源中只要有一个事件是必然事件，则其余事件为不可能事件。
此时，信源中每个事件对熵的贡献都为0，因而熵总为零。
4、扩展性：若集合X 有n 个事件，另一集合Y 中有n+1 个事件，但集合X 和Y 的差别只是多了一个概率近于零的事件，则两个集合的熵值是一样的。
即一个事件的概率和集合中其它事件相比很小时，它对于集合的熵值的贡献就可以忽略不计。
式子表达如下：()()n n n n p p p H p p p H Lim ,,,,.,,212110=-+→εεε5、可加性与强可加性： （涉及到了两个变量！） H （XY ）为两个随机变量的联合熵。
可加性：H （XY ）等于 X 的无条件熵，加上已知 X 时 Y 的条件概率的熵的平均值，即条件熵对于 X 与 Y 独立的情况有： （强可加性）6、递增性：（子集再划分，第 n 个分为 m 个）按照定义证明：)|()()(X Y H X H XY H +=∑∑===q i i j i j q j i x y p x y p x p X Y H 11)|(1log )|()()|()()()(Y H X H XY H +=yx x p p x y P x P xy P ⋅==)|()()(;01;01),,(),,(log )()(log log log log )(log )()(1112121,.,.,.,.≥=≥=+=--=--=-=-=∑∑∑∑∑∑∑∑∑∑∑===ij mj ij i ni i ni im i i m i n n n i ijij m ji n i m j j i i mn ji ijij i m n j i i ij i mn j i ij i ij i m n j i j i j i nm p p p p p p p H p p p p H p p p y x p p p p p p p p p p p p y x p y x p XY H ∑∑==---+==+=mj nj n i i n m n n m n n n n m n m n p q p p q p q p q H p p p p p H q q q p p p H 1121121211211,1),,,,(),,,,(),,,,,( mi n n i ni n n n n i i i mi i i m n i n i i i i i m n p p q p q p p p p p q q p p p p p H ⨯+-=+==∑∑∑∑∑===-+=-=-+111111111/1log 1log 1log 1log 1log 1log )(例题：计算7、极值性：可利用两个引理证明；（以后再利用Jensen 证明。
） 引理 1 ：对于 x > 0引理 2 ：其中： 8、上凸性：是 P 的上凸函数 即对于和两个概率矢量 ，有：函数f 的图象几何解释： f(EP)总在 Ef(P) 上边9、1 证明离散平稳信源有()()12213X X H X X X H ≤，试说明等式成立的条件。
解：()()()213321213log x x x P x x x P X X X H ∑∑∑-= ()()()21321321log 312x x x P x x x P x x P x x x ∑∑∑-=()()()2321321log 312x x P x x x P x x P x x x ∑∑∑-≤=()23X X H)61,61,31,31(H )/(918.1)21,21()32,31()21,21(2132)21,21(32)32,31()41,41,21(32)32,31()61,61,31,31(symbol bit H H H H H H H =+=⨯++=+=qq q q H p p p H q log )1,1,1(),,(21=≤ 1l n 11-≤≤-x x xii q i q q p p p p H log ),,(121∑=-≤ ∑∑==ii i i q p 1;1)(),,(21P H p p p H q = ,10<<θ21,P P )P (H )1()P (H )P )1(P (H 2121 θθθθ-+≥-+根据信源的平稳性，有()23X X H =()12X X H ，因此有()()12213X X H X X X H ≤ 等式成立的条件是()=213x x x P ()23x x P9、2 证明离散信源有()()()()()N N X H X H X H X H X X X H +++≤32121，并说明等式成立 的条件。