最大熵原理与应用(2011)
最大熵原理的应用
最大熵原理的应用1. 简介最大熵原理是一种由信息论推导而来的概率模型学习方法，适用于在给定一些约束条件下求解随机变量的概率分布。
这一原理在统计学、自然语言处理、机器学习等领域都有广泛的应用。
2. 最大熵模型的定义最大熵模型的定义如下：•给定一些约束条件，例如观测到的样本均值等；•在满足这些约束条件的前提下，寻找概率分布的最优解；•最优解是指使得概率分布的熵最大的解。
3. 最大熵的应用最大熵原理在许多领域中都有重要的应用。
以下是几个常见的应用场景：3.1 自然语言处理（NLP）在自然语言处理中，最大熵模型可以用于解决以下问题：•分类问题：如文本分类、情感分析等；•语言模型：根据给定的单词序列，预测下一个可能的单词；•命名实体识别：从文本中识别出人名、地名、组织机构等具有特殊意义的实体。
3.2 图像处理在图像处理领域，最大熵原理可以应用于图像分类、目标检测等问题。
通过最大熵模型，可以学习到图像中不同区域的特征分布，并进一步对图像进行分析。
3.3 推荐系统最大熵模型在推荐系统中也有着广泛的应用。
通过学习用户的历史行为数据，可以建立用户的概率模型，并用最大熵原理进行推荐。
通过这种方式，可以提高推荐系统的准确度和个性化程度。
4. 最大熵模型的优点最大熵模型相比于其他概率模型具有以下优点：•不依赖于特定的分布假设；•可以自动调整概率分布的复杂度；•在约束条件充分的情况下，最大熵模型可以得到唯一的解。
5. 最大熵模型的局限性尽管最大熵模型具有很多优点，但也存在一些局限性：•计算复杂度较高，特别是在约束条件较多的情况下；•对于特征选择比较敏感，选择不合适的特征可能导致结果不准确；•当约束条件不充分时，最大熵模型可能得到多个解，难以确定最优解。
6. 总结最大熵原理是一种重要的概率模型学习方法，广泛应用于统计学、自然语言处理、机器学习等领域。
通过最大熵模型，可以根据一些约束条件求解概率分布的最优解。
最大熵模型在自然语言处理、图像处理和推荐系统等领域有着重要的应用。
最大熵原理和分析
最大熵原理和分析熵是信息论中一个非常重要的概念，它表示一个随机变量的不确定性。
对于一个离散随机变量X，其熵H(X)定义为：H(X) = -∑ P(x) log P(x)其中，P(x)表示X取一些值x的概率。
熵的值越大，表示随机变量的不确定性越高，反之，熵的值越小，表示随机变量的不确定性越低。
最大熵原理认为，当我们对一个问题缺乏先验知识，也就是无法对一些事件的概率分布进行确定时，我们应该选择一个与我们已知信息最为吻合，即最为均匀的分布。
最大熵原理的核心思想是在保持已知信息的基础上，尽可能避免引入不可验证的假设。
1.定义问题和确定已知信息：首先，我们需要清楚地定义问题，并确定我们已知的信息和限制条件。
这些已知信息可以是一些约束条件，也可以是一些期望值等。
2.确定特征函数：为了表示我们所关心的问题，我们需要选择一组合适的特征函数。
特征函数是一个从问题的状态空间映射到实数的函数，它可以度量一些状态的特征或属性。
3.确定约束条件：根据已知信息和特征函数，我们可以得到一组约束条件。
这些约束条件可以是一些状态的期望值等。
4.定义最大熵模型：最大熵模型是在满足已知信息和约束条件的条件下，找到最大熵分布的模型。
最大熵模型可以通过最优化方法来求解。
5.模型评估和应用：通过最大熵模型，我们可以得到概率分布或其他输出。
我们可以使用这些输出来进行模型评估、分类、预测等任务。
然而，最大熵原理也存在一些限制。
首先，在实际应用中，特征函数的选择往往具有一定的主观性。
其次，最大熵模型的计算复杂度较高，当特征函数和约束条件较多时，求解最大熵模型可能会变得困难。
另外，最大熵原理本身并没有提供一种判断模型的好坏的准则。
综上所述，最大熵原理是一种基于信息论的概率模型学习方法。
它通过最大化系统的熵，来求解最为均匀和不确定的概率分布。
最大熵原理在统计学、自然语言处理、机器学习等领域有广泛的应用，但同时也存在一些局限性。
关于最大熵原理的应用
关于最大熵原理的应用1. 什么是最大熵原理最大熵原理是指在给定一组约束条件的情况下，在不缺乏先验知识的情况下，选择满足所有已知条件中熵最大的模型。
最大熵原理是信息论中的重要原理，它在统计学、自然语言处理、机器学习等领域都得到了广泛的应用。
2. 最大熵原理的应用领域最大熵原理在许多实际问题中都有广泛的应用。
以下是一些常见的应用领域：•自然语言处理：最大熵模型被广泛应用于自然语言处理任务，如词性标注、命名实体识别等。
通过最大熵模型，可以在给定一组约束条件的情况下进行概率推断，从而提高自然语言处理任务的性能。
•机器学习：最大熵原理在机器学习中也有重要的应用。
最大熵模型可以用于分类、回归、聚类等机器学习任务中。
通过最大熵模型，可以获得更为准确的预测结果。
•图像处理：最大熵原理可以用于图像处理任务，如图像分类、目标检测等。
通过最大熵模型，可以从图像中提取出更有价值的信息。
•模式识别：最大熵原理在模式识别领域也有很多应用。
最大熵模型可以用于人脸识别、手写字符识别等任务中。
通过最大熵模型，可以提高模式识别任务的准确率。
•金融风险评估：最大熵原理可以应用于金融领域中的风险评估问题。
通过最大熵模型，可以对金融市场进行风险预测，从而指导投资决策。
3. 最大熵原理的优点最大熵原理具有以下几个优点：•不需假设任何先验知识：最大熵原理不需要对模型的分布做任何假设，充分利用了已知的约束条件，从而提供了一种更为灵活的建模方式。
•适应不同领域的问题：最大熵原理可以应用于不同领域的问题，适应性较强。
只需要根据具体问题制定相应的约束条件即可。
•概率解释性强：最大熵原理给出了模型的概率解释，可以更好地理解模型的预测结果。
•模型稳定性好：最大熵原理可以得到一个全局最优解，具有较好的稳定性。
4. 最大熵原理的应用案例4.1 自然语言处理最大熵模型在自然语言处理领域有着广泛的应用。
例如，在命名实体识别任务中，最大熵模型可以根据已知的约束条件，如词性、上下文等，预测给定文本中的命名实体。
最大熵原理在生活中的应用
最大熵原理在生活中的应用1. 介绍最大熵原理是一种用于解决概率推断问题的原理，它在生活中有许多实际应用。
最大熵原理的核心思想是在给定一些已知信息的情况下，选择使得熵最大的概率分布作为推断结果。
2. 信息熵与最大熵原理信息熵是度量信息量的概念，它刻画了一个随机事件发生的不确定性。
最大熵原理认为，在没有其他先验信息的情况下，应选择满足当前已知信息的分布的熵最大的模型。
最大熵原理的核心在于避免对未知信息作出不必要的假设。
在生活中，我们经常会面临不同的决策问题。
最大熵原理可以帮助我们根据已知信息做出最合理的决策。
3. 最大熵原理在文本分类中的应用文本分类是一个重要的自然语言处理任务，可以在垃圾邮件过滤、情感分析等领域发挥重要作用。
最大熵原理可以用于解决文本分类问题。
以垃圾邮件过滤为例，最大熵原理可以根据已知的垃圾邮件和非垃圾邮件样本，学习一个概率分布模型。
这个模型可以根据一封邮件的特征（如包含的关键词、邮件的发送者等）来计算该邮件是垃圾邮件的概率。
通过选择熵最大的概率分布，可以提高垃圾邮件过滤的准确性。
4. 最大熵原理在图像处理中的应用最大熵原理也可以应用于图像处理领域。
图像处理中的一个重要任务是图像分割，即将一张图像划分成不同的区域。
最大熵原理可以用于解决图像分割问题。
通过选择使熵最大的分割结果，可以保持图像中的信息量最大化。
这在医学图像分析、人脸识别等领域非常有用。
最大熵原理不仅可以提供准确的分割结果，还可以降低人工干预的成本。
5. 最大熵原理在推荐系统中的应用推荐系统常常面临用户的个性化需求。
最大熵原理可以用于解决推荐系统中的个性化推荐问题。
最大熵原理可以根据用户的历史行为和其他已知信息，构建一个用户兴趣模型。
这个模型可以估计用户对某个项目的喜好程度。
通过选择熵最大的推荐结果，可以提高推荐系统的个性化程度。
6. 总结最大熵原理是一种重要的概率推断原理，在生活中有许多实际应用。
无论是文本分类、图像处理还是推荐系统，最大熵原理都可以帮助我们根据已知信息作出最合理的决策。
机器学习中的最大熵原理及应用
机器学习中的最大熵原理及应用随着人工智能、大数据时代的到来，机器学习作为一种重要的人工智能技术，受到了越来越多的关注和研究。
机器学习中有一种常用的模型叫做最大熵模型，其理论基础是最大熵原理。
本文将介绍最大熵原理的概念和应用在机器学习中的方法和优点。
一、最大熵原理概述最大熵原理源自于热力学中的熵概念，熵在热力学中表示一种宏观上的无序状态。
而在信息论中，熵被定义为信息的不确定性或者混乱度。
最大熵原理认为，在没有任何先验知识的情况下，我们应该将分布的不确定性最大化。
也就是说，在满足已知条件下，选择最均匀的分布，最大程度上表示了对未知情况的不确定性，也就是最大的熵。
二、最大熵模型基本形式最大熵模型通常用于分类问题，基本形式为：$$f(x)=\arg \max_{y} P(y / x) \text{ s.t. } \sum_{y} P(y / x)=1$$其中，$x$表示输入的特征，$y$表示输出的类别，$P(y|x)$表示输出类别为$y$在输入特征为$x$的条件下的概率。
通过最大熵原理，我们要求在满足已知条件下，使输出类别分布的熵最大。
三、最大熵模型参数估计最大熵模型参数估计的方法采用最大似然估计。
在训练集中，我们存在$n$个输入特征向量和对应的输出类别标签，即：$(x_1,y_1),(x_2,y_2),...,(x_n,y_n)$。
对于给定的每个$x_i$，我们可以得到相应的条件概率$P(y_i|x_i)$，用于计算最大熵模型的参数。
最终的目标是最大化训练集的对数似然函数：$$L(\boldsymbol{\theta})=\sum_{i=1}^{n} \log P(y_i |x_i)=\sum_{i=1}^{n} \log \frac{\exp \left(\boldsymbol{\theta}^{T}\cdot \boldsymbol{f}(x_i, y_i)\right)}{Z(x_i, \boldsymbol{\theta})} $$其中，$\boldsymbol{\theta}$表示最大熵模型的参数向量，$\boldsymbol{f}(x_i,y_i)$表示输入特征$x_i$和输出类别$y_i$的联合特征，$Z(x_i,\boldsymbol{\theta})$表示规范化常数，也就是对数值进行标准化。
最大熵原理及其应用
熵与激光刘波 200340751一、熵熵是热力学和统计物理学中的核心概念，也是物理学的基本概念之一。
熵定律（热力学第二定律）是19世纪自然科学发展所取得的伟大成果之一。
1864年，克劳修斯在《热的唯动说》一书中，首先引入了熵这个概念，用它来量度热量转化为功的本领。
我们称之为热力学熵，并用符号S 表示。
（一）熵的含义具体说来，熵具有以下的含义： 首先，熵的本义是系统的态函数，是系统演化的重要判据。
熵的物理表达式如下：⎰=T dQ S 或TdQ dS = 其中S 表示熵，Q 表示热量，T 表示温度。
即一个系统的熵等于该系统在一定过程中所吸收（或耗散）的热量除以它的绝对温度。
利用熵这个物理量，热力学第二定律可表述为熵增加原理：系统经绝热过程由初态变到终态，它的熵不减少，熵在可逆绝热过程中不变，在不可逆绝热过程中增加。
只要有热量从高温物体流向低温物体，系统的熵就增加，而这个过程是自发实现的。
只有当热量从地温物体流向高温物体，系统的熵才可能减少，而这个过程是不会自发实现的。
另外，系统达到平衡后，就没有热量传递，熵不变，过程可逆，但是实际上很难有绝对的配合。
也就是说，只要熵增加就表明系统中存在着自发的不可逆过程。
反过来说过程能不能发生？如果发生的话是否可逆？可以从熵的变化来加以判断。
正如普利高津指出的：“这样一来，熵变成了一个进化的指示器，或者象爱丁顿恰当的说的‘时间之矢’。
”其次，熵的宏观意义表征系统能量分布的均匀程度。
即：能量分布越不均匀，熵越小；能量分布越均匀，熵越大；能量分布不均匀趋向均匀，熵增加。
确实，热传导、扩散，以及各种宏观流动都是从不均匀趋向均匀的，所以熵都是增加的。
我们知道能量分布越不均匀，潜在的做功的本领越大；能量分布越均匀，潜在的做功的本领越小。
如果我们把前一种能量叫做可利用性高的能量，那么熵也就成了能量可利用性大小的一种量度。
熵增加意味着能量可利用性的降低，或者说不可利用能量的增加。
最大熵模型核心原理
最大熵模型核心原理一、引言最大熵模型(Maximum Entropy Model, MEM)是一种常用的统计模型，它在自然语言处理、信息检索、图像识别等领域有广泛应用。
本文将介绍最大熵模型的核心原理。
二、信息熵信息熵(Entropy)是信息论中的一个重要概念，它可以衡量某个事件或信源的不确定度。
假设某个事件有n种可能的结果，每种结果发生的概率分别为p1,p2,...,pn，则该事件的信息熵定义为：H = -∑pi log pi其中，log表示以2为底的对数。
三、最大熵原理最大熵原理(Maximum Entropy Principle)是指在所有满足已知条件下，选择概率分布时应选择具有最大信息熵的分布。
这个原理可以理解为“保持不确定性最大”的原则。
四、最大熵模型最大熵模型是基于最大熵原理建立起来的一种分类模型。
它与逻辑回归、朴素贝叶斯等分类模型相似，但在某些情况下具有更好的性能。
五、特征函数在最大熵模型中，我们需要定义一些特征函数(Function)，用来描述输入样本和输出标签之间的关系。
特征函数可以是任意的函数，只要它能够从输入样本中提取出有用的信息，并与输出标签相关联即可。
六、特征期望对于一个特征函数f(x,y)，我们可以定义一个特征期望(Expected Feature)，表示在所有可能的输入样本x和输出标签y的组合中，该特征函数在(x,y)处的期望值。
特别地，如果该特征函数在(x,y)处成立，则期望值为1；否则为0。
七、约束条件最大熵模型需要满足一些约束条件(Constraints)，以保证模型能够准确地描述训练数据。
通常我们会选择一些简单明了的约束条件，比如每个输出标签y的概率之和等于1。
八、最大熵优化问题最大熵模型可以被看作是一个最优化问题(Optimization Problem)，即在满足约束条件下，寻找具有最大信息熵的概率分布。
这个问题可以使用拉格朗日乘子法(Lagrange Multiplier Method)来求解。
最大熵原理和分析
最大熵原理和分析最大熵原理是一种常用的概率模型方法，用于求解在给定约束条件下具有最大不确定性的分布。
最大熵原理的核心思想是，在缺乏先验知识的情况下，选择使得其中一分布最不确定的情况作为最优解。
最大熵原理在统计学、信息论、机器学习等领域都有广泛应用。
最大熵分析是基于最大熵原理进行的一种数据建模方法。
最大熵分析通过解决约束优化问题，找到在给定约束条件下最大熵模型的参数估计。
最大熵分析除了用于求解概率模型参数估计之外，还可以用于特征选择、文本分类、自然语言处理等多个领域。
最大熵原理的数学表述为：在已知的约束条件下，选择熵最大的分布作为模型的最优解。
熵是表示不确定程度的指标，熵越大表示随机性越高，不确定性越大。
在最大熵原理中，使用的熵定义是香农熵（Shannon entropy），具体计算公式为：H(p) = -Σp(x)log(p(x))其中，p(x)是事件x发生的概率，Σ表示对所有可能的事件求和。
最大熵原理的核心思想是找到一个分布，使得在已知的约束条件下，熵取得最大值。
最大熵分析的步骤如下：1.定义特征函数：将问题中的特征转化为特征函数，每个特征函数对应一个约束条件。
2.定义约束：将要满足的约束条件表示为期望。
3.构建优化问题：将最大熵原理转化为一个约束优化问题。
4.求解模型参数：使用优化算法求解约束优化问题，得到最大熵模型的参数。
最大熵分析的特点是可以融合多个特征，并通过最大熵原理确定不同特征的权重，从而对目标进行准确建模。
最大熵分析能够解决非线性分类问题，并且对非线性特征的处理具有很大优势。
最大熵分析在文本分类中有广泛应用。
在文本分类任务中，最大熵分析可以通过特征函数的定义，将文本转化为向量表示，然后使用最大熵原理求解分类模型的参数。
最大熵分析还可以处理学习样本不平衡问题，通过调整不同类别的权重，使得建模更加准确。
最大熵原理和分析的优点是在缺乏先验知识的情况下，能够最大程度地利用给定的约束条件，反映数据的真实情况。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1
8 1 3 1 2 1
1
0.3546
35
，
连续情况
• 信源的熵
h p ( x ) ln p ( x )dx
a b
满足
b
a
b
p ( x ) dx 1
p ( x) g
a
r
( x) dx ar
r 1,2,, m
36
连续最大熵分布定理
r 1 m
其中
Z exp(0 ) exp[ r g r ( xi )]
i 1 r 1
n
m
pi e
0
r g r ( xi )
r 1
15
m
最大熵:
H max ln Z r a r
r 1
m
16
•证
求有约束极值
L pi log pi (0 1)( pi 1)
求使H(XY)达到最大值的XY的联合分布.
21
例
解::
H ( XY ) H ( X ) H (Y )
1/ 3 1/ 6 1/ 6 1/12 1/ 24 1/ 24 1/12 1/ 24 1/ 24
22
The Kangaroo Problem
• Information: 1/3 of kangaroos have blue eyes, and 1/3 of kangaroos are left-handed • Problem: On the basis of this information alone, estimate what proportion of kangaroos are both blueeyed and left-handed
i 1 i 1 n n
r [ pi g r ( xi ) ar ]
r 1 i 1
m
n
待定常数 i , i 0,1,, m
17
令
L / pi 0
pi Z 1 exp[ r g r ( xi )]
r 1 m
Z
1
rg
r 1
m
i
( xi )
k 1 log n / log 3 k
最大熵测量例
• 命题3： (3k 1 1) / 2 n (3k 1) / 2 ）枚硬币，其 • 设有n（ 中有一假，但不知轻重，还有另外的一枚 真币；那么，称k次就能发现假币。
43
最大熵测量例
• 命题4： (3k 1 3) / 2 n (3k 3) / 2 ）枚硬币，其 • 设有 n（ 中有一假，但不知轻重；那么，称k次就能 发现假币。
11
• Δ主观依据。 • “不充分理由原理”，也叫“中性原理”: 如果对所求的概率分布无任何先验信 息，没有任何依据证明某种事件可能比任 何其他事件更优先，只能假定所有可能是 等概率的。 • 对“不充分理由原理”进行扩展--最大熵原理。
12
Δ客观依据。 • Jaynes提出熵集中定理： 满足给定约束的概率分布绝大多数集 中在使熵最大的区域。具有较大熵的分布 具有较高的多样性，所以实现的方法数也 更多，这样越有可能被观察到。 • Max Plank指出: 大自然好像对较大熵的情况更偏爱。 • 在满足给定约束的条件下，事物总是力图 达到最大熵。
Z exp( 0 )
r exp( r )
18
Z
exp[
i 1 r 1
n
m
r
g r ( xi )]}
rg
i 1 r 1
n i 1
n
m
r
( xi )
ar
g g r ( xi ) k k ( xi ) k 1
m
rg
i 1 r 1
Is there some function of the {pi} which when maximised yields this preferred solution?
26
例
某学校学生中，30%爱好音乐，60%爱 好体育，10%爱好书法，问音乐、体育和书 法都爱好的学生所占比例是多少？
27
例1 做1000次抛掷骰子的试验，求抛掷点 数的平均值。 解 由于抛掷次数很多，所以各点出现的频率 近似等于出现的概率。假定在每次抛掷后，骰 子6个面中的每一个面朝上的概率都相同，即 为1/6。这里我们利用了“不充分理由原理”， 因为除知道骰子有6个面外，我们没有其他任 何别的信息。 抛掷点数的平均值： m=(1+2+3+4+5+6)/6=3.5。#
23
解::
X: 眼睛红，不红； Y：左撇子，非左撇子；
H ( XY ) H ( X ) H (Y )
H ( X ) H (1/ 3) H (Y ) H (1/ 3)
24
解::
最大熵条件；
H ( XY ) H ( X ) H (Y )
1 1 p( x red , y left ) 1/ 9 3 3
25
The Kangaroo Problem: 2 x 2 Truth Table
Normalisation: Constraints: p1+ p2 + p3 + p4 = 1 p1+ p2 = 1/3; p1+ p3 = 1/3
Solution uses a single variable, 0 ≤ x ≤ 1/3 but how to choose? Common sense says x = 1/9 (i.e. no correlation of attributes)
29
2 3 4 5 6 1 21 31 41 51 61 4.5 2 3 4 5 6 1 1 1 1 1 1
计算得
1i 1.44925 i pi 2 3 4 5 6 1 1 1 1 1 1 26 .6637
5
最大熵原理
基本思想:
• 求满足某些约束的信源事件概率分布时，应
使得信源的熵最大
• 可以使我们依靠有限的数据达到尽可能客观
的效果
• 克服可能引入的偏差。
6
一般的最大熵原理应用于良好定义的 假设空间和无噪情况且不完整的数 据的推断问ቤተ መጻሕፍቲ ባይዱ。
7
最大熵原理应用于多个领域:
• 信号检测与处理
• 自然语言处理
• 达到最大值的概率密度
p( x ) Z 1 exp[ r g r ( x )]
m
• 其中
Z
r 1
exp[ g
r a r 1
b
m
r
( x )]dx
• 最大熵为
hmax ln Z
r 1
m
r
ar
37
最大熵测量
为使试验次数最少，需要每次试验的熵最大
H ( X ) H (Y1Y2 YN ) H (Y1 ) H (Y2 | Y1 ) H (YN | Y1 YN 1 )
31
2．鱼、鸡肉、面条和豆腐四种销售份额分别记 为：
p1 , p2 , p3 , p4
H pi log pi
i 1
4
32
2．约束为
p1 p2 p3 p4 1 8 p1 3 p2 2 p3 p4 25/10
33
8 3 2 2.5 2 1 1
n
m
r
( xi )
19
20
例
随机变量集合X，符号集A={a1,a2,a3},随机变量集合Y ， 符号集B={b1,b2,b3}.满足:
pX (a1 ) 1/ 2, pX (a2 ) pX (a3 ) 1/ 4
pY (b1 ) 2 / 3, pY (b2 ) pY (b3 ) 1/ 6
8 1 8 1 3 1 3 1 2 1
解得
1 .8359175
34
8 1 p1 8 0.1011 3 2 1 1 1 1
13 p2 8 0.2478 3 2 1 1 1 1
12 p3 8 0.2964 3 2 1 1 1 1
所求分布为计算
( p1 , p2 , p3 , p4 , p5 , p6 ) (0.0543, 0.0788 , 0.1142 , 0.1654 , 0.2398 , 0.3475
30
• 一快餐店出售4种套餐：、鱼、鸡 肉、面条和豆腐，单价分别为8元、3 元、2元和1元。在某月通过调查得知， 该快餐店套餐的总营业额为25万元， 共有10万人次来就餐。试利用最大熵 原理求本月4种套餐所占的销售份额。
28
例1(续) 做1000次抛掷骰子的试验后得知抛掷点数 的平均值为4.5，求骰子各面朝上的概率分布。 解 骰子的各面朝上的概率是不均匀的。除概率的归 一性外，我们知道的信息仅有平均值，这对于确定6 个面的概率是不完整的信息，必须利用最大熵原理。 平均值的约束写为
p1 2 p2 3 p3 4 p4 5 p5 6 p6 4.5
40
最大熵测量例
• 命题1： 设有 n （3k 1 n 3k ）枚硬币，其中有 一假，且知其较轻或较重； 那么，发现假币 的最少称重次数k满足：
k 1 log n / log3 k
41
最大熵测量例
• 命题2： 设有n （ 3k 1 n 3k ）枚硬币，其中有一 假，且满足：①这些硬币分成两组A、B； A有a枚，B有b枚，a+b=n； ②若假币属 于A，则其较轻；若假币属于B，则其较重 ；那么，发现假币的最少称重次数k满足 ：