基于高斯混合模型的EM学习算法
高斯混合模型中的参数估计与EM算法详解
高斯混合模型中的参数估计与EM算法详解高斯混合模型（Gaussian Mixture Model，GMM）是一种常用的概率统计模型，用于描述由多个高斯分布构成的数据集。
在实际应用中，参数估计是使用GMM的关键步骤之一，而期望最大化（Expectation Maximization，EM）算法是一种常用的参数估计方法。
本文将详细介绍GMM的参数估计方法与EM算法的原理。
首先，我们需要理解高斯混合模型。
GMM是由多个高斯分布组合而成的概率分布模型。
每个高斯分布称为一个分量，是由均值、方差和权重组成的。
其中，均值表示分量的中心位置，方差表示分量的散布程度，权重表示每个分量在整个数据集中的相对重要性。
在GMM中，参数估计的目标是通过已知的数据集，估计出每个分量的均值、方差和权重。
而EM算法是实现这一目标的一种迭代优化算法。
EM算法的基本思想是通过迭代更新，不断提高参数估计的准确性。
具体而言，EM算法包含两个主要步骤：E步和M步。
在E步中，我们根据当前估计的参数值，计算每个样本属于各个分量的概率。
这个过程可以通过贝叶斯公式计算得到。
具体地，对于每个样本，我们根据当前的均值、方差和权重计算它属于每个分量的概率，并将其归一化，以保证所有样本在各个分量上的概率和为1。
在M步中，我们利用已经计算得到的样本属于各个分量的概率，更新参数的值。
具体而言，我们首先计算每个分量所占的样本的比例，即权重的估计值。
然后，对于每个分量，我们根据样本的加权平均值和方差来估计其均值和方差。
这里的权重就是E步中计算得到的样本属于各个分量的概率。
通过反复执行E步和M步，可以逐渐提高参数估计的准确性，直到满足停止准则为止。
通常情况下，停止准则可以是迭代次数达到一定阈值，或是参数变化的绝对值小于某个设定的阈值。
在实际应用中，选择适当的初始参数值对于EM算法的收敛至关重要。
一种常用的初始化方法是使用K-means算法来得到初始的均值估计。
具体而言，我们先用K-means算法将数据集聚类成K个簇，然后使用每个簇的中心作为每个分量的初始均值。
em算法的应用场景和案例
em算法的应用场景和案例EM算法（Expectation Maximization Algorithm）是一种常用的统计学习方法，主要用于估计含有隐变量的概率模型的参数。
以下是EM算法的一些应用场景和案例：1.K-Means聚类：这是EM算法的硬聚类应用案例。
在K-Means聚类中，我们试图将数据划分为K个不同的簇，其中每个簇的中心是所有属于该簇的数据点的平均值。
EM算法在这里被用来迭代地更新簇的中心和分配数据点到最近的簇。
2.GMM（高斯混合模型）聚类：这是EM算法的软聚类应用案例。
高斯混合模型是一种概率模型，它假设所有的数据点都是由几个高斯分布混合而成的。
EM算法在这里被用来估计每个高斯分布的参数以及每个数据点属于每个高斯分布的概率。
3.PLSA（概率潜在语义分析）模型：在文本挖掘和信息检索中，PLSA模型被用来发现文档和单词之间的潜在主题。
EM算法在这里被用来估计模型中的参数，包括每个文档的主题分布和每个主题中的单词分布。
4.硬币投掷实验：这是一个简单的EM算法应用案例。
假设有三枚硬币A，B，C，我们不知道它们投掷出正面的概率。
在实验中，我们首先投掷硬币A，如果A出现正面，我们就选择硬币B投掷，否则选择硬币C。
我们只观察到了所选择的硬币的投掷结果（正面或反面），而没有观察到硬币A的投掷结果。
EM算法在这里可以被用来估计三枚硬币投掷出正面的概率。
5.在自然语言处理中的应用：EM算法还可以用于词义消歧和主题模型中，例如隐含狄利克雷分布（LDA）。
在这些模型中，EM算法用于估计话题的分布和文档中单词的主题分配。
6.图像处理和计算机视觉：EM算法也广泛应用于图像处理和计算机视觉领域，例如用于混合高斯模型（GMM）来分割图像，或者用于隐马尔可夫模型（HMM）来进行图像序列分析等。
7.在生物信息学中的应用：EM算法在生物信息学中也有广泛的应用，例如在基因表达数据的分析、蛋白质分类和基因序列分析等领域。
EM算法用于高斯混合模型
EM算法用于高斯混合模型高斯混合模型（Gaussian Mixture Model，简称GMM）是一种常用的概率密度估计方法，其基本思想是将数据分解为由多个高斯分布组成的混合模型。
每个高斯分布对应于数据中的一个潜在类别，而混合系数则表示每个类别的权重。
GMM的参数估计通常使用期望最大化（Expectation Maximization，简称EM）算法来进行。
EM算法是一种迭代优化算法，用于求解含有隐变量的最大似然估计问题。
GMM中，EM算法被用来最大化对数似然函数，从而估计GMM的参数。
EM算法的基本思想是，在每一次迭代中，先进行E步（Expectation），计算隐变量在给定参数下的后验概率。
然后进行M步（Maximization），通过极大化对数似然函数来估计参数。
重复执行E步和M步，直到收敛为止。
在GMM中，E步计算的是隐藏变量对应的后验概率，即每个样本属于每个高斯分布的概率。
这个概率可以使用贝叶斯公式计算得到。
假设有N个样本，K个高斯分布，那么对于每个样本i和高斯分布j，可以计算其后验概率：$$w_{ij} = \frac{\pi_j \cdot \mathcal{N}(x_i，\mu_j,\Sigma_j)}{\sum_{k=1}^{K} \pi_k \cdot \mathcal{N}(x_i，\mu_k,\Sigma_k)}$$其中，$w_{ij}$表示样本i属于高斯分布j的后验概率，$\pi_j$表示高斯分布j的混合系数，$\mathcal{N}(x_i，\mu_j,\Sigma_j)$表示高斯分布j的概率密度函数。
在M步中，需要利用E步计算得到的后验概率，更新GMM的参数。
更新过程分两步进行：首先，根据后验概率的加权平均来更新混合系数，即每个高斯分布对应的权重；然后，根据后验概率的加权平均来更新高斯分布的均值和协方差矩阵。
混合系数的更新可以通过对每个高斯分布的后验概率求平均得到：$$\pi_j = \frac{1}{N} \sum_{i=1}^{N} w_{ij}$$高斯分布的均值和协方差矩阵的更新可以通过将样本加权平均来得到：$$\mu_j = \frac{1}{\sum_{i=1}^{N} w_{ij}} \sum_{i=1}^{N} w_{ij} \cdot x_i$$$$\Sigma_j = \frac{1}{\sum_{i=1}^{N} w_{ij}} \sum_{i=1}^{N}w_{ij} \cdot (x_i - \mu_j)(x_i - \mu_j)^T$$重复执行E步和M步，直到收敛为止。
混合高斯模型和EM算法
混合高斯模型（Mixtures of Gaussians）和EM算法这篇讨论使用期望最大化算法（Expectation-Maximization）来进行密度估计（density estim ation）。
与k-m eans一样，给定的训练样本是，我们将隐含类别标签用表示。
与k-m eans的硬指定不同，我们首先认为是满足一定的概率分布的，这里我们认为满足多项式分布，，其中，有k个值{1,…,k}可以选取。
而且我们认为在给定后，满足多值高斯分布，即。
由此可以得到联合分布。
整个模型简单描述为对于每个样例，我们先从k个类别中按多项式分布抽取一个，然后根据所对应的k个多值高斯分布中的一个生成样例，。
整个过程称作混合高斯模型。
注意的是这里的仍然是隐含随机变量。
模型中还有三个变量和。
最大似然估计为。
对数化后如下：这个式子的最大值是不能通过前面使用的求导数为0的方法解决的，因为求的结果不是close form。
但是假设我们知道了每个样例的，那么上式可以简化为：这时候我们再来对和进行求导得到：就是样本类别中的比率。
是类别为j的样本特征均值，是类别为j的样例的特征的协方差矩阵。
实际上，当知道后，最大似然估计就近似于高斯判别分析模型（Gaussian discriminant analysis m odel）了。
所不同的是GDA中类别y是伯努利分布，而这里的z是多项式分布，还有这里的每个样例都有不同的协方差矩阵，而GDA中认为只有一个。
之前我们是假设给定了，实际上是不知道的。
那么怎么办呢？考虑之前提到的EM 的思想，第一步是猜测隐含类别变量z，第二步是更新其他参数，以获得最大的最大似然估计。
用到这里就是：在E步中，我们将其他参数看作常量，计算的后验概率，也就是估计隐含类别变量。
估计好后，利用上面的公式重新计算其他参数，计算好后发现最大化最大似然估计时，值又不对了，需要重新计算，周而复始，直至收敛。
的具体计算公式如下：这个式子利用了贝叶斯公式。
机器学习算法总结（六）——EM算法与高斯混合模型
机器学习算法总结（六）——EM算法与⾼斯混合模型 极⼤似然估计是利⽤已知的样本结果，去反推最有可能（最⼤概率）导致这样结果的参数值，也就是在给定的观测变量下去估计参数值。
然⽽现实中可能存在这样的问题，除了观测变量之外，还存在着未知的隐变量，因为变量未知，因此⽆法直接通过最⼤似然估计直接求参数值。
EM算法是⼀种迭代算法，⽤于含有隐变量的概率模型的极⼤似然估计，或者说是极⼤后验概率估计。
1、经典的三硬币模型 引⼊⼀个例⼦来说明隐变量存在的问题。
假设有3枚硬币，分别记作A，B，C。
这些硬币正⾯出现的概率分别是π，p，q。
我们的实验过程如下，先投掷硬币A，根据其结果选出硬币B和硬币C，正⾯选B，反⾯选C；然后投掷选出的硬币，此时出现正⾯记作1，出现反⾯记作0。
在这个例⼦中我们观察到的变量只是B或者C的结果，⽽对A的结果并不知道，在这⾥A的结果也就是我们的隐变量。
A的结果对最终的结果是有影响的，因此在估计参数时必须将A的结果考虑进去。
1、EM算法 我们将观测变量表⽰为Y = （Y1，Y2，....，Y n），隐变量表⽰为Z = （Z1，Z2，....，Z n），则观测数据的似然函数可以表⽰为 在这⾥P(Y|θ) 是P(Y, Z|θ) 的边缘概率，通过转换后可以表⽰成右边的形式，我们将其转换成对数形式，这样便于求联合概率 然⽽对于这样的式⼦直接根据极⼤化求θ的值是很困难的，因为这⾥还存在隐变量Z，在这⾥引⼊EM算法，通过迭代求解，假设在第i 次迭代后θ的估计值为θ(i)。
我们希望新估计值能是L(θ)增加，通过迭代逐步的达到最⼤值。
为此我们考虑第i+1步迭代后两者的差： 利⽤Jensen不等式将上述式⼦展开并得到其下界（对数函数是凹函数）： 令 则有 在这⾥B(θ, θ(i)) 是L(θ) 的⼀个下界，⽽且由的表达式可知 因此任何能使得B(θ, θ(i)) 增⼤的θ，也能使得L(θ) 增⼤。
因此求θ值使得B(θ, θ(i)) 增⼤就可以转变成求θ使得L(θ) 增⼤，即求 将上述式⼦展开可得（在这⾥去掉常数项，因为常数项不会影响最终的结果） 因此问题就演变成了求Q函数的极⼤化。
EM算法用于高斯混合模型
EM算法用于高斯混合模型EM算法（Expectation-Maximization algorithm）是一种迭代算法，用于估计含有隐变量的概率模型参数。
它被广泛应用于高斯混合模型（Gaussian Mixture Model，GMM）的参数估计。
GMM 是一种概率模型，它由若干个高斯分布组成，每个高斯分布对应数据的一个分量。
具体来说，EM算法包含两个步骤：E步骤（Expectation step）和M步骤（Maximization step）。
在E步骤中，给定当前参数估计，我们计算隐变量的期望值。
而在M步骤中，根据这些隐变量的期望值，我们重新估计参数。
这两个步骤会反复迭代，直到参数收敛为止。
首先，我们来看E步骤。
在GMM中，每个观测值都可以由多个高斯分布生成。
我们需要计算每个数据点属于每个高斯分布的后验概率。
这个后验概率可以表示为每个高斯分布生成一些数据点的概率除以所有高斯分布生成这个数据点的概率之和。
这个后验概率即为数据点属于每个高斯分布的权重。
计算后验概率的方法是使用贝叶斯公式。
然后，我们来看M步骤。
在M步骤中，我们根据E步骤计算得到的后验概率，重新估计高斯分布的参数。
具体来说，对于每个高斯分布，我们计算其均值和协方差矩阵。
均值可以通过将数据点乘以其对应的后验概率，再除以所有后验概率之和来计算。
协方差矩阵可以通过计算每个数据点与对应高斯分布的均值之间的差的外积，再乘以其对应的权重，最后除以所有权重之和来计算。
在每次迭代中，E步骤和M步骤会交替进行，直到算法收敛。
算法的收敛条件可以选择参数变化的很小或达到一定的迭代次数。
在每次迭代中，EM算法会逐渐提高对数据的拟合程度，也就是逐渐改善参数的估计。
EM算法有很多优点。
首先，它是一种通用的算法，适用于各种类型的概率模型估计。
其次，EM算法在估计参数时可以有很大的灵活性，可以根据需求自定义参数的个数和选择去模型每个分量的数据。
此外，EM 算法收敛到局部最优，而跳出局部最优通常需要全局优化方法。
EM算法详细例子及推导
EM算法详细例子及推导EM算法（Expectation-Maximization Algorithm）是一种用于求解含有隐变量（latent variable）的概率模型的参数估计方法。
其基本思想是通过迭代的方式，通过观测数据得到对隐变量的估计，然后再基于该估计对模型参数进行优化。
下面我们以一个简单的高斯混合模型为例，详细介绍EM算法的推导和实例。
1. 高斯混合模型（Gaussian Mixture Model, GMM）高斯混合模型是一种概率模型，由多个高斯分布组合而成。
假设我们观测到的数据由K个高斯分布组成，每个高斯分布对应一个参数向量：均值miu和方差sigma^2、同时，我们还有一个隐变量Z，表示观测数据属于哪个高斯分布，取值范围为{1,2,...,K}。
2.EM算法EM算法的核心思想是通过交替进行两个步骤：E步（Expectation）和M步（Maximization）。
在E步中，我们对当前模型参数下的隐变量进行估计，得到对隐变量的最大似然估计。
在M步中，我们利用得到的隐变量估计更新模型参数，使模型对观测数据的似然函数最大化。
不断重复这两步直至模型收敛。
下面我们通过具体的例子来推导EM算法。
假设我们观测到了一个数据集X = {x1, x2, ..., xn}，我们希望通过EM算法对其进行建模。
Step1: 初始化模型参数首先，我们需要初始化模型参数。
选择K个高斯分布的参数miu和sigma^2，并假设所有的高斯分布对应的隐变量Z服从均匀分布。
这时，我们得到了初始模型参数Theta = {miu1, sigma^21, ..., miuK,sigma^K, pi1, pi2, ..., piK}。
Step2: E步，计算隐变量的后验分布在E步中，我们计算隐变量的后验分布。
对于每个观测样本xi，我们计算其属于每个高斯分布的概率，即：gamma(k,i) = P(Zi=k，xi, Theta) = P(Zi=k，xi, miu_k,sigma_k^2) = pi_k * N(xi，miu_k, sigma_k^2) / sum(pi_j * N(xi，miu_j, sigma_j^2)， j=1 to K其中N(xi，miu_k, sigma_k^2)表示xi在第k个高斯分布下服从的概率密度函数。
混合高斯分布的em算法
混合高斯分布的em算法
混合高斯分布是一种常用的数据建模方法，它假设数据样本是由多个高斯分布的混合所组成。
EM算法是一种用于估计混合高斯分布参数的常用方法。
具体步骤如下：
1. 初始化混合系数、均值和协方差矩阵：随机初始化混合系数、均值和协方差矩阵来作为模型参数。
2. E步骤：计算每个样本点属于每个高斯分布的概率。
3. M步骤：基于E步骤中计算出的概率，分别计算每个高斯分布的混合系数、均值和协方差矩阵。
4. 重复执行E步骤和M步骤，直到似然函数收敛或达到指定的最大迭代次数。
5. 输出混合系数、均值和协方差矩阵作为混合高斯分布模型的参数。
EM算法的核心是通过E步骤计算样本点的概率，并通过M步骤更新混合高斯分布的模型参数。
这两个步骤交替执行，不断迭代，直到达到收敛条件。
最终得到的模型可以用于数据分类、聚类等应用中。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
m in .m i - m j ., # > 0 . 即混合密度的重叠度减小到 0时 , 任意两个均值 m i, m j 不能任意靠近 . i− j 条件 3. 2 #%( 条件 3. 3 任意给定的正数 # > 0, ∃ > 0 , %( ) 是协方差矩阵族
1
, &,
k
的最大特征数, 则有 > # .
隐含变量时的聚类学习 , 由于引入了隐含变量 , 导致 算法难以 保证收 敛和达 到极优 值 . 本 文通过 将该算 法应用于高斯混合模型的学习 , 引入重叠度分析的方法改进 EM 算法的约束 条件 , 从而能够确 保 EM 算 法的正确学习 . 关键词 : 高斯混合模型 ; EM 算法 ; 无监督聚类 ; 机器学习 中图分类号 : TP181 文献标识码 : A
N N
N
的 K 个高斯混合分布,
N
是该样本的最
大似然一致解 , 即N li m )∗ 的闭邻域 N (
=
, 若参数
满足条件 3 . 1 、 3 . 2 、 3 . 3时 , 最大重叠度 e(
( 0)
)) 0 , 当 N 充分大时 , .
), 对任意初始值
/ N(
N
), EM 算法必唯一收敛到
4
改进后的 EM 算法
是混合模
= (! pq ! pq ) d % d 为协方差阵 (正定矩阵 ).
2 EM 算法
[ 2]
通过上述模型定义, 我们可以在具有隐含变量的变量和实际数据之间建立上述概率模型, 这就是学习 的目标 . 采用 EM 算法的基本思想是对于上述不完整数据集 D, 假设这些数据独立同分布于我们已知的某一模 型 , 如 GMM, 而我们知道该模型的参数, 因此可以根据该模型推出属于每个成分的各数据点的概率. 然后 , 修改每个成分的值 ( 这里每个成分适合于整个数据集 , 且每个点由属于该成分的概率是否有利而得到 ), 重复该过程直到收敛到结束条件 . 本质上 , 我们通过推断含有隐含变量的概率分布得到 ! 完整 ∀ 的数据 , 每 个数据点中都有这些隐含变量的成分 , 且基于当前的模型. 对于高斯混合分布, 我们任意初始化该混合模型的参数 , 学习步骤如下 : ( 1) 初始化 : 对各类别密度分布待估计的参数 的初值设置 , 包括各类别的比例、 均值向量 ∀和协方 差矩阵 .
( 2)E - 步 : (期望步 ) 计算隐含变量 ( 设为 Z ij ) 数据的期望值 . 用随机变量 C 指示数据成分, 则概率 p ij = P (C = i | x j ) 表示数据 x j 由成分 i产生的概率 , 也即由第 j个高斯分布产生的概率. 由贝叶斯公式, 有 p ij = p ( x j | C = i )P ( c = i ), 其中 P (x j | C = i) 即 x j 在第 i个高斯分布中的概率 . 而 P (C = i) 是第 i个高斯 分布的权重参数 . 应用到上述定义的 GMM 中, 表示如下:
第 1期
王源
陈亚军 : 基于高斯混合模型的 EM 学习算法
( 49(
d) M 步: 计算 ( 3) 、 ( 4) 、 ( 5 ) 三式; e) 收敛性判断: 如果满足结束条件则停止 , 否则转 c ). 这里的预处理程序可以对每一类密度分布进行再分解, 能进一步细化重叠度 , 也可以引入稳健统计的 方法消除孤立点的干扰.
3 GMM 模型中混合支密度的重叠度讨论
我们首先定义高斯混合分布中各支分布的重叠度如下. 定义 3 . 1 对于高斯混合分布中第 i个高斯分布和第 j 个高斯分布的重叠度为: eij ( ) = n) li m ∗ 1 N
n t= 1
r ij ( t) =
l
r (x) +
ij
p (x, )
l
) dx
N i= 1 N
= p (j | xi )
1 jN
N
p ( j | xi ) xi
i= 1
( 3)
i= 1
p ( j | x i )x i x i
j
T
∋
i= 1 N
= p ( j | xi )
1 2 N j )
j
N
p ( j | xi ) xix i
i= 1
T
( 4)
i= 1
NEW j
1 = N
N i= 1 k
第 1期
王源
陈亚军 : 基于高斯混合模型的 EM 学习算法
( 47(
分 . 首先选取一个成分然后基于该成分产生一个样本从而得到数据点 . 设定有 N 个点组成了指定的数据集 D # D = {x i } i= 1. 将数据集 D 在 d 维空间中的对应的点作为一定分布的样本值, 则此分布可由 k 个高斯密度
OLD j
G (x i, m j, G (x i, m j,
j
OLD j j= 1
)
1 = N
n
p ( j | xi )
i= 1
( 5)
( 48(
山西师范大学学报 ( 自然科学版 )
2005 年
( 4) 满足结束条件则停止 , 否则转第 ( 2 ) 步 . 由上可知, 整个 EM 算法分为两步 : E 步 , 又叫期望步, 能通过计算隐含变量 Z ij 的期望值 p ij 得到 . 这里 的 Z ij 值当 x j 由第 i个成分产生时为 1 , 否则为 0 . M 步, 又叫极大化步, 基于最大化隐含指示变量数据 ( 已计 算出期望值 ) 的对数似然估计值寻找参数的新值 . 其中初始 E 步, 虽然各混合密度函数的参数可以选取一个随机初值. 但如果有一定知识支持 , 可以选 取一个有效的初始值 , 以便于缩小 EM 算法的搜索空间 , 基于此种方法的学习有时又称为半监督学习方 法 , 在此不赘述. EM 算法是一个与最大似然估计相一致的算法, 能够收敛 , 但却无法保证收敛的正确性 , 也即收敛到与样本所服从分布的真参数相一致的解 , 尤其是当组成混合模型的支密度函数只局限于单种 [ 3] 样本失去泛化能力时 , 如在某一稀疏分布区域仅存在一个或极少样本时 , 算法可能失败. W u 证明了 EM 算法在某种正则条件下能使原似然函数或对数似然函数收敛到它的极大值或局部极大值 , 但要映射到高 维的正定矩阵进行运算, 这通常难以实现 . 本文是基于各分支密度函数重叠度分析的方法 .
k
k= 1
易得到 eii (
eij (
) > 0
表示第 i个高斯分布和混合密度中其他高斯分布的重叠度. 我们有以下的定义: 定义 3. 2 ( 最大重叠度 ) e( 条件 3. 1 # D m ax ( 其中 D m ax ( ) , D m in ( ) = m ax. m i - m j ., D m in ( i− j ) = mijax eij ( ) , 1 ) ( 7) ) , .m i - m j . , D m ax ( ) =
[ 1]
, 是指在学习过程中未完全观察到的数据. 事实上 , 某些变量有时能观察到 , 有时不能 , 通
常的办法是 : 使用已经观察到的该变量的实例去在一定范围内估计未观察到的实例中的变量的值. 隐含变 量的出现能够大幅度减少参数的数目 , 但在大幅度减少数据数量的同时需要设置学习参数 , 从而使学习的 问题变得复杂. 聚类分析也称为数据分割 , 具有多种目标 , 但都涉及把一个对象集合分组或分割为子集或 ! 簇 ∀, 使得 每个簇内部的对象之间的相关性比其他簇中对象之间的相关性更紧密. 无监督聚类是在多种对象集合中 辩识的问题 , 之所以叫无监督, 是因为分类标志未事先给定, 基于无监督聚类的机器学习称为无监督学习 . 基于模型的聚类方法就是试图对给定数据与某个数学模型达成最佳拟合, 这类方法经常是基于数据 都是有一个内在的混合概率分布假设来进行的. 基于模型聚类方法主要有两种 : 统计方法和神经网络方 法 , 本文采用的 EM 算法属于统计学习方法 , 是从不完全数据中计算极大似然估计的重复统计技术, 比照 传统神经网络的学习方法 , 它具有低开销 , 不用设置学习步长、 易收敛、 收敛速度快和易于实现的特点 , 是 当前机器学习领域的主流技术之一.
基于高斯混合模型的 EM 学习算法
王 源 , 陈亚军
1, 2 3
( 1 西华师范大学计算机学院微机应用研究所 , 四川 南充 637002; 2 淮南师范学院信息技术系 , 安徽 淮南 232001; 3 西华师范大学物 理与电子信息学院 , 四川 南充 637002) 摘 要 : 本文研究了一类基于无监督聚类学习的算法 EM 算 法的算 法实现 . EM 算法 通常用 于存在
, j= 1 i , 2 , &, k
( 6)
G ( x, m l,
k G ( x, m k ,
其中 r ij ( x ) = [ ! ij - h i (x ) ] hj ( x ), 且 hl ( x ) = 以 eij ( ) , 1 . ) =
j− i
k
1= 1 , 2 , &, k 因为 | r ij (x ) | , 1 ,所 )
第 19 卷第 1 期 2005年 3 月
山西师范大学学报 ( 自然科学版 ) Journa l of Shanx i T eacher s U niversity N atural Science Ed ition
Vo. l 19 N o . 1 M ar . 2005
文章编号: 1009 4490( 2005) 01 0046 04
5 EM 算法的通数描述如下:
k k j j= 1
p (x, 其中
) =
G (x, m j ,
j
),
∃ 0且
j= 1
j
= 1
( 1)
exp [ G ( x, m j, 也即, p ( x, ) = j