EM算法
EM算法简介精品PPT课件
在数理统计，数据挖掘，机器学习以及模式识别 等领域有广泛的应用.
3
问题提出
给定一些观察数据y，假设y符合如下的高斯分布
K
p(y) kN(y|k,k). k1
需要求出混合高斯分布的三组参数 k,k,k
即
||i1 i || ||Q (i 1| i)Q (i|. i)||
重复上面两个步骤直至
或
充分小时，停止.
11
EM例子
• 有公式(1)(3)以及贝叶斯公式可得
p(Z|Y,,,)
∝
NK
[kN(yn|k,k)z]nk
n1 k1
其中N表示观察样本数.
• 公式中 znk 是未知的，需要求出它的期望
12
推论L 1(.M(假*设)) 存L在(一)些,
并
且Q (M ()|)Q (，|那么),有
a) k(x|y ,M ( ) )k(x|y , )
b)
c)
几乎处处成立.
17
GEM算法性质
推论2.对于一 , ,L ()L ()
些
，其中
，
那么对于GEM算M 法有().
(p), p0,1,2,...
EM的M-step可能比较复杂
• M-step
定义映M射()
Q (M ( 满)|) Q (|)
足,其中 是参数空 . 间 ，
i1 M(
即
16
GEM算法性质
引理1.
对于任意 (',一 ) 对 ,其 参 中 是 数参数空间，
H ('|)H (|),
4
问题简化
EM算法原理及应用
EM算法原理及应用EM算法，也被称为期望最大化算法，是一种迭代算法，用于解决含有隐变量的概率模型中的参数估计问题。
它在许多领域，如机器学习、自然语言处理、计算机视觉等方面发挥着重要的作用。
EM算法的原理EM算法的基本思想是，通过迭代的方式，不断地估计隐变量的分布，并通过最大化完全数据的似然函数来确定模型参数的精确值。
其中，E步骤是计算Q函数，M步骤是最大化Q函数，直到Q函数的值单位之间的差异小于某个预设值时，迭代停止。
这种方法通常能够比直接最大化似然函数更容易和更快速地收敛到局部最优解。
具体而言，E步骤负责计算似然函数的期望值。
通常情况下，Q函数的形式为：$$ Q(\theta,\theta^{(t)})=\sum_{Z}p(Z|X,\theta^{(t)})\log p(X,Z|\theta) $$ 这里，$\theta^{(t)}$表示参数在第$t$次迭代后的值，$Z$是隐变量，$X$是样本向量。
通过对所有可能的值$Z$求和，可以得到期望值。
M步骤负责最大化Q函数。
由于期望函数的精确形式通常难以计算，这里使用Jensen不等式来对其进行近似。
对于凸函数，Jensen不等式告诉我们，任何函数的期望值都不会超过函数期望的函数值，所以Q函数的下界可以表示为：$$ Q(\theta,\theta^{(t)})\geqslant\sum_{Z}p(Z|X,\theta^{(t)})\log\d frac{p(X,Z|\theta)}{p(Z|X,\theta^{(t)})} $$ 那么，最大化上界只需要最大化分子即可。
也就是说，通过不断地优化分子的形式，就能获得对应于参数的极大值。
EM算法的应用EM算法在各种不同的环境下都有应用。
其中，下面列出的是一些其应用范围很广的领域：1.聚类分析EM算法在聚类中可用于鉴定具有某种特定类型的顺序数据的群集，比如DNA信息、汽车引擎振动等。
通过EM算法，我们可以推断隐藏变量的概率分布，而这些隐藏变量可能与类别标签或群集的数量有关。
em算法的应用场景和案例
em算法的应用场景和案例EM算法（Expectation Maximization Algorithm）是一种常用的统计学习方法，主要用于估计含有隐变量的概率模型的参数。
以下是EM算法的一些应用场景和案例：1.K-Means聚类：这是EM算法的硬聚类应用案例。
在K-Means聚类中，我们试图将数据划分为K个不同的簇，其中每个簇的中心是所有属于该簇的数据点的平均值。
EM算法在这里被用来迭代地更新簇的中心和分配数据点到最近的簇。
2.GMM（高斯混合模型）聚类：这是EM算法的软聚类应用案例。
高斯混合模型是一种概率模型，它假设所有的数据点都是由几个高斯分布混合而成的。
EM算法在这里被用来估计每个高斯分布的参数以及每个数据点属于每个高斯分布的概率。
3.PLSA（概率潜在语义分析）模型：在文本挖掘和信息检索中，PLSA模型被用来发现文档和单词之间的潜在主题。
EM算法在这里被用来估计模型中的参数，包括每个文档的主题分布和每个主题中的单词分布。
4.硬币投掷实验：这是一个简单的EM算法应用案例。
假设有三枚硬币A，B，C，我们不知道它们投掷出正面的概率。
在实验中，我们首先投掷硬币A，如果A出现正面，我们就选择硬币B投掷，否则选择硬币C。
我们只观察到了所选择的硬币的投掷结果（正面或反面），而没有观察到硬币A的投掷结果。
EM算法在这里可以被用来估计三枚硬币投掷出正面的概率。
5.在自然语言处理中的应用：EM算法还可以用于词义消歧和主题模型中，例如隐含狄利克雷分布（LDA）。
在这些模型中，EM算法用于估计话题的分布和文档中单词的主题分配。
6.图像处理和计算机视觉：EM算法也广泛应用于图像处理和计算机视觉领域，例如用于混合高斯模型（GMM）来分割图像，或者用于隐马尔可夫模型（HMM）来进行图像序列分析等。
7.在生物信息学中的应用：EM算法在生物信息学中也有广泛的应用，例如在基因表达数据的分析、蛋白质分类和基因序列分析等领域。
em算法 评价指标
em算法评价指标
引言概述：
EM算法是一种常用的统计学习方法，用于解决含有隐变量的概率模型的参数估计问题。
评价指标在EM算法中起着重要的作用，能够帮助我们评估模型的拟合程度和性能。
本文将从六个大点出发，详细阐述EM算法中常用的评价指标。
正文内容：
一、似然函数
1.1 似然函数的定义和作用
1.2 似然函数的优化方法
1.3 似然函数的局限性
二、BIC准则
2.1 BIC准则的定义和作用
2.2 BIC准则的计算方法
2.3 BIC准则的优缺点
三、AIC准则
3.1 AIC准则的定义和作用
3.2 AIC准则的计算方法
3.3 AIC准则的优缺点
四、交叉验证
4.1 交叉验证的定义和作用
4.2 交叉验证的常用方法
4.3 交叉验证的优缺点
五、信息准则
5.1 信息准则的定义和作用
5.2 信息准则的计算方法
5.3 信息准则的优缺点
六、模型复杂度惩罚
6.1 模型复杂度惩罚的概念和作用
6.2 模型复杂度惩罚的常用方法
6.3 模型复杂度惩罚的优缺点
总结：
在EM算法中，评价指标起着重要的作用，可以帮助我们评估模型的拟合程度和性能。
似然函数是最基本的评价指标，但其在模型选择上存在局限性。
BIC准则和AIC准则是常用的评价指标，可以通过对模型复杂度进行惩罚来平衡拟合程度和模型复杂度。
交叉验证是一种通过将数据集划分为训练集和验证集来评估模型性能的方法。
信息准则则通过对模型的信息损失进行度量来评估模型的拟合程度。
在模型选择时，我们可以综合考虑这些评价指标，选择最优的模型。
最大似然估计和em算法
最大似然估计和em算法最大似然估计（Maximum Likelihood Estimation, 简称MLE）和期望最大化算法（Expectation-Maximization Algorithm, 简称EM）是统计学中常用的两种方法。
它们在许多领域，尤其是概率统计和机器学习中扮演着重要角色。
下面我们将分别介绍这两个概念，并探讨它们的关系和应用。
首先，我们来讨论最大似然估计。
最大似然估计是一种基于概率模型的参数估计方法，其核心思想是选择使得已观察到的数据在该参数下出现的概率最大的参数值作为估计值。
换言之，最大似然估计的目标是寻找参数使得观测到的数据出现的可能性最大化。
举个简单的例子来帮助理解最大似然估计。
假设我们有一袋装有红色和蓝色球的袋子，我们不知道袋子中红色和蓝色球的比例。
为了估计这个比例，我们从袋子中抽取了一些球，观察到了它们的颜色。
通过最大似然估计，我们可以计算出在哪个比例下，我们抽到这些观测到的球的概率最高。
这个比例即为最大似然估计得到的结果。
接下来，我们来介绍期望最大化算法（EM算法）。
EM算法是一种用于处理含有隐变量的概率模型的迭代优化方法。
在某些情况下，我们观测到的数据只是部分信息，而缺失的信息由隐变量表示。
EM算法就是用于通过迭代估计未知参数和隐变量的方法。
它的核心思想是通过交替进行两步：E步骤（Expectation Step）和M步骤（Maximization Step）来实现。
在E步骤中，我们通过已有的观测数据和当前的参数估计来估计隐变量的后验概率分布。
换言之，我们计算观测数据在当前参数估计下对应每个隐变量取值的概率。
在M步骤中，我们通过最大化得到的后验概率分布对参数进行更新。
这个过程会迭代多次，直到参数的收敛。
EM算法的一个经典应用例子是高斯混合模型（Gaussian Mixture Model），它常用于聚类算法中。
在高斯混合模型中，每个数据点被认为是由多个高斯分布组成的混合产生的。
em算法
em算法EM算法是英文expectation-maximization算法的英文简写,翻译过来就是期望最大化算法,其实是一种根据求参的极大似然估计的一种迭代的优化策略,EM算法可以广泛估计是因为他可以从非完整的数据集中对于参数进行极大似然的估计,这样的方法对于处理残缺数据,截尾数据和一些带有噪声的数据来说是很有效的.在写这篇文章之前,我看了很多篇博客,学习了很多的知识,也参照了很多的资料,希望可以从EM算法的迭代优化理论和一般的步骤中出发,然后能够举一个例子来使我们理解这个EM算法,然后在对其收敛性进行证明,目的是为了说明EM算法每一次迭代都是能够提高似然函数值然后收敛到一个稳定的点,再引出EM算法的收敛速度.大概通过上述部分,我们可以得到基于其简单,收敛,稳定上升的优势,但是也会产生一些缺点,比如收敛速度过慢的加速方法等,在第二篇文章中将会介绍这个处理缺点的方法,然后会写一些关于EM算法的重要应用,包括EM算法在二元正态分布上的参数估计的应用,混合高斯分布参数估计方面的应用,以及EM算法在隐马尔科夫模型上参数的应用(一种EM算法的特殊情形),希望通过这一系列的文章可以让大家理解好EM算法的明显优势以及原理,让我们开始吧!背景:极大似然估计和贝叶斯统计其实是作为现在的统计领域中非常热门的领域了,其实来说他们的计算过程是有一定的相似成分的,比如极大似然函数估计在计算的方法上跟贝叶斯的后验概率的计算是非常相似的,学过统计学习的我们知道,贝叶斯是分为两种的大类的,一种是拥有显式的后验分布,这样的一般用于简单的似然函数,另外一种是数据添加的算法,有些时候我们的数据可能会存在缺失或者是似然函数不是显性的,数据添加类在这时候就可以很好的应用,他可以将已经观测到的数据基础上加上一些”潜在数据”,从而使得变得更简单,完成极大化的工作,然后我们常用的一种数据添加法其实就是我们今天介绍的EM算法.EM算法是一种迭代的优化策略,他的计算方法是分为期望步(E步)和极大步(M 步)的,所以这个算法的名字是这样来的,EM算法受到了缺失算法的影响,最初就是为了解决上边提到的数据缺失的问题,基本的思想就是首先根据已经观测出来的数据估计出模型参数的值,然后再根据上一步估计出的参数值来估计缺失数据的值,然后再根据估计中缺失的数据加上之前的已经观测到的数据重新在对参数值进行估计,然后反复的进行迭代,直到最后收敛,迭代结束.而现在EM算法发展了几十年了,在当时的数据快速增长得那个时代,那时候处理数据很困难,经常会出现数据缺失或者不可用的情况,当时无非就是用用神经网络拟合,添补法,卡尔曼滤波法等等,但是最后还是EM脱颖而出,最主要还是他的算法步骤简单,稳定上升可以很可靠的找到最优的收敛值,但是运用这种思想,我们拓展到了简化问题策略,有时候缺失数据并非真的缺少了,这时候EM引入恰当的数据添加技术,这样的数据被称为”潜在数据”,复杂问题通过引入潜在数据,能够有效的解决我们的问题“潜在数据”可以解释为数据本身并不存在缺失变量，但观察数据比较难以处理，如果添加上额外的变量，处理起来会变得比较简单。
EM算法原理总结
EM算法原理总结EM算法（Expectation–Maximization Algorithm）是一种经典的迭代算法，用于解决参数估计问题。
它的基本原理是在已知观测数据的情况下，通过迭代计算潜在变量的期望值和参数的极大似然估计来逐步逼近最优解。
EM算法常用于处理含有隐变量的概率模型的参数估计问题，例如混合高斯模型、隐马尔可夫模型等。
在这些模型中，观测数据由两部分组成，一部分是可观测的数据，另一部分是隐变量。
由于缺少隐变量的观测值，无法直接应用传统的参数估计方法。
EM算法的核心思想就是通过迭代计算隐变量的期望值，然后根据对应的期望值来估计参数值，从而逐渐优化模型。
EM算法的基本步骤如下：1.初始化参数：随机初始化模型的参数值。
2. E步骤（Expectation Step）：根据当前模型参数，计算隐变量的条件概率分布。
这一步通常使用条件期望来近似计算因为这样可以简化计算，将最大似然估计问题转化为最大条件似然估计。
3. M步骤（Maximization Step）：通过最大化似然函数来估计模型参数。
在E步骤中计算得到的隐变量的条件概率分布将被作为已知数据，将原始问题中的似然函数转化为这个已知数据的极大似然函数。
4.迭代更新：重复执行E步骤和M步骤，直到模型收敛或达到预定的迭代次数。
EM算法的核心在于E步骤和M步骤的交替迭代。
在E步骤中，通过计算隐变量的条件概率分布包括隐变量的期望值。
这一步骤的目的是在给定当前参数的情况下，估计隐变量（即未观测到的数据）的分布。
在M步骤中，通过最大化已观测数据和隐变量的联合概率分布来更新模型的参数。
这一步骤的目的是获得使得似然函数达到最大的参数值。
交替执行E步骤和M步骤，直到模型收敛为止。
EM算法的优点是能够处理含有隐变量的概率模型的参数估计问题，且能够在缺失数据的情况下进行参数估计。
它的收敛性也得到了很好的理论保证。
然而，由于EM算法是一种局部算法，结果可能陷入局部最优解，因此对于一些复杂的模型，可能需要多次运行以找到全局最优解。
EM算法及其应用
EM算法及其应用EM算法作为一种常用的统计方法，被广泛应用于各种领域，如计算机视觉、自然语言处理、生物信息学等。
在本文中，我们将详细探讨EM算法及其应用。
一、EM算法概述EM算法（Expectation-Maximization Algorithm）是一种用于概率模型参数估计的迭代算法，由Arthur Dempster等人于1977年提出。
它可以用于处理带有隐变量的模型参数估计，也可以被看做一种极大化带有隐变量的数据似然函数的方法。
EM算法的核心思想是将似然函数分解为两部分，一部分是观测数据，另一部分是隐变量。
在每次迭代中，EM算法首先根据当前参数的值计算出对隐变量的期望，即E步。
然后，它通过极大化在E步中计算出的隐变量的期望下的似然函数来更新参数，即M步。
这个过程不断迭代，直到收敛为止。
二、EM算法应用案例1. 高斯混合模型高斯混合模型（Gaussian Mixture Model，GMM）是一种用来描述多个高斯分布的模型。
在计算机视觉中，GMM被广泛应用于图像分割和姿态估计等领域。
由于图像中的像素值往往服从高斯分布，因此使用GMM进行图像分割时，可以将像素分为多个高斯分布。
使用EM算法进行GMM参数估计的步骤如下：1) 初始化高斯分布的个数和参数；2) E步：计算每个样本属于每个高斯分布的概率，即计算隐变量的期望；3) M步：根据在E步中计算出的隐变量的期望，更新高斯分布的均值和方差。
4) 不断迭代E步和M步，直到收敛。
2. K均值聚类K均值聚类是一种无监督学习的算法，它将n个样本划分为k 个簇，使得每个样本都属于距离它最近的簇。
这种算法被广泛应用于图像分割和文本聚类等领域。
使用EM算法进行K均值聚类的步骤如下：1) 随机初始化k个簇的中心点；2) E步：将每个样本分配到距离它最近的簇中，即计算隐变量的期望；3) M步：根据在E步中计算出的隐变量的期望，更新每个簇的中心点；4) 不断迭代E步和M步，直到收敛。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
在医学研究中的应用
ˆ 和 ˆ 2： 3)计算均值和方差的最大似然估计校正值
2 ˆ ˆ 4)重复以上的2-3步,直至 和 收敛为止。
经过EM迭代算法可得:
迭代算法补入的两个数据:第4行第5个为2.5216,第8行第3个为4.5522。
在医学研究中的应用
5)MonteCarlo模拟,随机取 x
假设我们想估计知道A和B两个参数，在开始状态下二者都是未知的，但如果知道了A的信息就可以得到B的信息，反过来 知道了B也就得到了A。可以考虑首先赋予A某种初值，以此得到B的估计值，然后从B的当前值出发，重新估计A的取值， 持续迭代直到收敛为止。
迭代的结果真的有效吗？
从最大似然到EM算法
EM算法推导
里面了。那下一步怎么办啊？你开始喊：“男的左边，女的右边！”。然后你就先统计抽样得 某些男生和女生一见钟情，无法硬把他们拉扯开。那现在这200个人已经混到一起了， 到的 100个男生的身高。 随便指出一个人（的身高），无法确定这个人（的身高）是男生（的身高）还是女生（的身 假设他们的身高是服从高斯分布的。但是这个分布的均值 μ和方差σ2我们不知道，这两个参数 高）。也就是说不知道抽取的那200个人里面的每一个人到底是从男生的那个身高分布里面 就是我们要估计的。记作 θ=[μ,σ2]T 抽取的，还是女生的那个身高分布抽取的。 用数学的语言就是，抽取得到的每个样本都不知道是从哪个分布抽取的。 两个问题需要估计： 一是这个人是男的还是女的？
i 1 zi
p( xi , zi ; ) ln LEM ( ) ln p( xi , zi ; ) ln Q( zi ) Q( zi ) i zi i zi p( xi , zi ; ) Q( zi ) ln Q( zi ) i zi
从最大似然到EM算法
20.2637] [ 45.2073
在图像分割（无监督聚类）中的应用
实现方法：在聚类时，设置聚类数，则每一类数据认为是服从一
个高斯分布，我们通过EM算法来估计各个类中的高斯参数。关于 灰度图像，在聚类里面其实就是一个一维特征的样本，每个像素
点视为一个样本点，值的大小视为其具有的特征，聚类后再把它
转化为一个图像显示出来。
f(EX) f(b) f(a) E[f(X)] E[f(X)] f(a)
Jensen不等式
ln
p( xi , zi ; ) 的期望E[ln(x)] Q ( zi )
凸函数E[ f ( x)] f [ EX ]
ln x凹函数 E[ln(x)] ln[EX ]
凹函数E[ f ( x)] f [ EX ]
ˆ =[0.7894 1.2284 2.2466 3.6630] (1)如果删去,不考虑这部分数据蕴含的信息,得到 1
0.2500 0.3000 0.3500 0.4000 0.3000 0.3600 0.4200 0.4800 ˆ 0.3500 0.4200 0.4900 0.5600 0.4000 0.4800 0.5600 0.6400
t t 1 t 2
从最大似然到EM算法
EM算法推导
Q( zi )
2、EM算法的应用
在高斯混合模型中的应用 在图像分割中的应用 在医学研究中的应用
在高斯混合模型中的应用
高斯混合模型参数估计的EM算法（以高维数据为例）：
step1、参数赋初始值，开始迭代
step2、E步，计算混合项系数������������������ 的期望E[������������������ ]： 1 1 (i ) T (i ) 1/ 2 ( x j ) j ( x j ) j e 2 E[ Zij ] K 1 1 (i ) T (i ) 1/ 2 ( x k ) k ( x k ) k e 2
EM算法推导
p( xi , zi ; ) p( xi , zi ; ) Q( zi ) ln ln LEM ( ) ln p( xi , zi ; ) ln Q( zi ) Q( zi ) Q( zi ) i zi i zi i zi
p( xi , zi ; ) 的期望E[ x] Q ( zi )
2)计算对于具有缺失值的每一个向量的条件数学期望,令Yk(1) 表示缺失的分量, Yk(2) 表示 ˆ 和 已知的分量,如果对 ˆ 2 进行相应的分块变化,则 Yk(1) 的条件正态分布的均值为
(1) (2) ˆ) ˆ ˆ 1 (Y (2) ˆ (1) E (Y (1) Y (2) , ˆ ˆ ˆ Y , ) k k k 12 22 k
在图像分割中的应用
迭代次数=50
在图像分割中的应用
均值随迭代次数变化图
方差随迭代次数变化图
在图像分割中的应用
随机产生聚类中心，开始EM算 法，直至EM算法收敛 右图分别是分类数为2,3,4的图像
分割结果
但算法的效果很大程度上依赖于
初始聚类中心的选择
在医学研究中的应用
EM 算法是求参数极大似然估计的一种方法，它可以从非完整 数据集中对参数进行估计，是一种非常简单实用的学习算法。 这种方法可以广泛地应用于处理缺损数据、截尾数据以及带
在高斯混合模型中的应用
（左上）生成的观测数据， （右上）分类后的结果，
（下）高斯混合模型的三
维可视化图
在高斯混合模型中的应用
结果如下：
混合项系数估计为
[0.08790, 0.18614, 均值估计为{[ [ 19.9754 3.7483 34.9302] 0.25716, 0.46878] [ 29.9127 15.4781]} 39.8799]
似然函数：L( ) L( x1 , x2 ,..., xn ; ) p( xi ; ),
i 1 n
ln L( ) ln p( xi ; ),
i
因不知样本性别，设为
zi
n
p( xi ; ) p( xi , zi ; )
zi
LEM ( ) p( xi , zi ; ),
N
]
wj
E[ Z
i 1
N
ij
]
N
在高斯混合模型中的应用
Python实例：程：混合项w=[0.1，0.2，0.3，0.4]， 均值u={[5，35]，[30，40]，[20，20]，[45，15]}， 协方差矩阵∑={[30，0]，[0，30]}， 然后以这些数据作为观测数据，根据EM算法来估计以上参数（未估计协 方差矩阵）
生B的概率是p(xB|θ)，那因为他们是独立的，所以很明显，我同时抽到男生A和男生B的概率
是p(xA|θ)* p(xB|θ)，同理，我同时抽到这100个男生的概率就是他们各自概率的乘积了。 数学语言：从分布是p(x|θ)的总体样本中抽取到这100个样本的概率，也就是样本集X中各个样 本的联合概率，用下式表示：
f(b) f(EX)
a
EX
b
a
EX
b
从最大似然到EM算法
EM算法推导
p( xi , zi ; ) p( xi , zi ; ) Q( zi ) ln ln LEM ( ) ln p( xi , zi ; ) ln Q( zi ) Q( zi ) Q( zi ) i zi i zi i zi
有噪声等所谓的不完全数据，可以具体来说，我们可以利用
EM算法来填充样本中的缺失数据、发现隐藏变量的值、估计 HMM中的参数、估计有限混合分布中的参数以及可以进行无监 督聚类等等。
在医学研究中的应用
例：有8名受试者用庆大霉素80mg后的血药浓度动态变化观察结果如表1所示,其中有 2处数据存在缺失:第4例120min时观察缺失和第8例50min时观察缺失。假设每组数据 均服从p维正态分布总体 N p 行迭代计算。
ˆ =[1 2 3 4] N4 (, ) ,样本容量n=4,其中
0.1469 0.3444 0.4909 0.2350 去掉其中第2行第3列和第3行第2列的两个数 0.0344 0.6786 0.1527 0.0551 1 0.4909 0.1527 1.7173 0.7854 0.2350 0.0551 0.7854 0.3760
EM算法原理与应用
1. EM算法原理
从最大似然到EM算法
【例1】假设我们需要调查我们学校的男生和女生的身高分布。（抽样）假设你在校园里随便
地活捉了100个男生和100个女生。他们共200个人（也就是200个身高的样本数据）都在教室
里面了。那下一步怎么办啊？你开始喊：“男的左边，女的右边！”。然后你就先统计抽样得 到的100个男生的身高。 假设他们的身高是服从高斯分布的。但是这个分布的均值μ和方差σ2我们不知道，这两个参数 就是我们要估计的。记作θ=[μ,σ2]T 数学语言：在学校那么多男生（身高）中，我们独立地按照概率密度p(x|θ)抽取100个（身 高），组成样本集X，我们想通过样本集X来估计出未知参数θ。这里概率密度p(x|θ)我们知道
(1) (2) Yk(1)Yc(1) Y 和 k Yck 的条件正态分布的均值分别为 k
Y Y
(1) (1) k ck
将具有缺失分量Yk 的结果与样本实际观察数据的计算结果结合起来,就可得到充分的估 计值。
Yk(1)Yc(2) k
1 ˆ (1) (1) ˆ ˆ ˆ ˆ ˆ E (Y Y Y ; , ) 11 12 22 21 Yk Yck (2) ˆ ) Y (1)Y (2) ˆ E (Yk(1)Yc(2) Y ; , k k ck k (1) (1) k ck (2) k
在医学研究中的应用
ˆ =[0.7894 1.5158 2.9236 3.6630] (2)如果用EM算法计算,得到