概率密度函数的参数估计-PPT课件
合集下载
概率论与数理统计-参数估计_图文
或
于是得到
的置信水平为 的置信区间为
为已知
其中
于是得到
的置信水平为 的置信区间为
其中
例3 为比较 I ,ቤተ መጻሕፍቲ ባይዱⅡ 两种型号步枪子弹的枪口
速度 ,随机地取 I 型子弹 10 发 ,得到枪口速度的平
均值 为
标准差
随
机地取 Ⅱ 型子弹 20 发 ,得到枪口速度的平均值为
标准差
假设两总
体都可认为近似地服从正态分布.且生产过程可认
2. 估计的精度要尽可能的高. 如要求区间长度
尽可能短，或能体现该要求的其它准则.
可靠度与精度是一对矛盾，一般是在保证 可靠度的条件下尽可能提高精度.
二、置信区间的求法
在求置信区间时，要查表求分位点.
定义 设
, 对随机变量X，称满足
的点 为X的概率分布的上 分位点.
若 X 为连续型随机变量 , 则有 所求置信区间为
X~N( )
样本均值是否是 的一个好的估计量？
样本方差是否是 的一个好的估计量？
这就需要讨论以下几个问题: (1) 我们希望一个“好的”估计量具有什么特性？ (2) 怎样决定一个估计量是否比另一个估计量“好”？
(3) 如何求得合理的估计量？
常用的几条标准是：
1．无偏性 2．有效性 3．相合性
这里我们重点介绍前面两个标准 .
概率论与数理统计-参数估计_图文.ppt
参数估计
现在我们来介绍一类重要的统计推断问题 参数估计问题是利用从总体抽样得到的信息来估 计总体的某些参数或者参数的某些函数.
估计新生儿的体重
估计废品率
在参数估计问题
估计降雨量 中，假定总体分 布形式已知，未
… 知的仅仅是一个 … 或几个参数.
概率论与数理统计第7章参数估计PPT课件
5
a1(1, ,k )=v1
1 f1(v1, ,vk )
假定方程组a2(1, ,k ) v2 ,则可求出2 f2(v1, ,vk )
ak (1, ,k ) vk
k fk (v1, ,vk )
则x1 xn为X的样本值时，可用样本值的j阶原点矩Aj估计vj，其中
Aj
1 n
n i1
xij ( j
L(x1, ,xn;ˆ)maxL(x1, ,xn;)，则称ˆ(x1, ,xn)为
的一种参数估计方法 .
它首先是由德国数学家
高斯在1821年提出的 ,然而， 这个方法常归功于英国统
Gauss
计学家费歇（Fisher） . 费歇在1922年重新发现了
这一方法，并首先研究了这
种方法的一些性质 .
Fisher
10
极大似然估计是在已知总体分布形式的情形下的 点估计。
极大似然估计的基本思路：根据样本的具体情况
注：估计量为样本的函数，样本不同，估计量不 同。
常用估计量构造法：矩估计法、极大似然估计法。
4
7.1.1 矩估计法
矩估计法是通过参数与总体矩的关系，解出参数， 并用样本矩替代总体矩而得到的参数估计方法。 （由大数定理可知样本矩依概率收敛于总体矩， 且许多分布所含参数都是矩的函数）
下面我们考虑总体为连续型随机变量的情况：
n
它是的函数，记为L(x1, , xn; ) f (xi , ), i 1
并称其为似然函数，记为L( )。
注：似然函数的概念并不仅限于连续随机变量 ，
对于离散型随机变量，用 P {Xx}p(x,)
替代f ( x, )
即可。
14
设总体X的分布形式已知，且只含一个未知参数，
a1(1, ,k )=v1
1 f1(v1, ,vk )
假定方程组a2(1, ,k ) v2 ,则可求出2 f2(v1, ,vk )
ak (1, ,k ) vk
k fk (v1, ,vk )
则x1 xn为X的样本值时，可用样本值的j阶原点矩Aj估计vj，其中
Aj
1 n
n i1
xij ( j
L(x1, ,xn;ˆ)maxL(x1, ,xn;)，则称ˆ(x1, ,xn)为
的一种参数估计方法 .
它首先是由德国数学家
高斯在1821年提出的 ,然而， 这个方法常归功于英国统
Gauss
计学家费歇（Fisher） . 费歇在1922年重新发现了
这一方法，并首先研究了这
种方法的一些性质 .
Fisher
10
极大似然估计是在已知总体分布形式的情形下的 点估计。
极大似然估计的基本思路：根据样本的具体情况
注：估计量为样本的函数，样本不同，估计量不 同。
常用估计量构造法：矩估计法、极大似然估计法。
4
7.1.1 矩估计法
矩估计法是通过参数与总体矩的关系，解出参数， 并用样本矩替代总体矩而得到的参数估计方法。 （由大数定理可知样本矩依概率收敛于总体矩， 且许多分布所含参数都是矩的函数）
下面我们考虑总体为连续型随机变量的情况：
n
它是的函数，记为L(x1, , xn; ) f (xi , ), i 1
并称其为似然函数，记为L( )。
注：似然函数的概念并不仅限于连续随机变量 ，
对于离散型随机变量，用 P {Xx}p(x,)
替代f ( x, )
即可。
14
设总体X的分布形式已知，且只含一个未知参数，
概率论与数理统计完整课件第七章参数估计PPT课件
n
L(1,2,,k ) L(x1, x2,, xk ;1,2,,k ) f (xi ;1,2,,k ) i 1
将其取对数,然后对1,2 ,,k 求偏导数,得
ln L(1, 2 ,, k ) 0 1
ln L(1, 2 ,, k ) 0 k
该 方 程 组 的 解 ˆi ˆi (x1, x2,, xn),i 1,2,,k ,即 为 i 的 极
§1 参数的点估计
设总体 X 的分布函数 F(x;) 形式已知，其中θ 是待估计的参数，点估计问题就是利用样本 (X1, X 2,, X n ) ，构造一个统计量ˆ ˆ(X1, X2,, Xn) 来估 计θ，我们称ˆ(X1, X2,, Xn )为θ的点估计量，它是 一个随机变量。将样本观测值 (x1, x2 ,, xn ) 代入估计 量 ˆ(X1, X2,, Xn ) ， 就 得 到 它 的 一 个 具 体 数 值 ˆ(x1, x2,, xn ) ，这个数值称为θ的点估计值.
如果样本中白球数为0,则应估计p=1/4,而不估计 p=3/4.因为具有X=0的样本来自p=1/4的总体的 可能性比来自p=3/4的总体的可能性要大.一般当 X=0,1时,应估计p=1/4;而当X=2,3时,应估计 p=3/4.
第10页/共71页
定义:设总体 X 的分布类型已知,但含有未知参数θ. (1)设离散型总体 X 的概率分布律为 p(x; ) ，则样本 (X1, X2,, Xn ) 的联合分布律
~~ 2n1nLeabharlann ini1n1x(i xix
x
)
2
由微积分知识易验证以上所求为μ与σ2的极大似然 估计.
第21页/共71页
• 例:设总体X具有均匀分布,其概率密度函数为
p(x;)
概率密度函数的估计优秀课件
N
p(xk | θ) k 1
对数似然函数：
N
H (θ) ln p(xk | θ)
k 1
1
最大似然估计量使似然函数梯度为0 ：
N
θH (θ) |ˆML θ ln p( xk | θ) |ˆML 0 k 1
T
θ
1
...
s
1 一元正态分布
p( xk | 1 ,2 2 )
1 exp( ( xk 1)2 )
1
贝叶斯估计步骤
确定θ的先验分布p(θ) 由样本集K={x1, x2 ,…, xN}求出样本联合分布 利用贝叶斯公式，求出θ的后验分布p(θ|K) 求出贝叶斯估计量（损失函数为二次函数）：
ˆBEθ^ E[ | x]
p( | x)d
1
非参数估计
参数估计方法要求已知总体的分布形式，然而很多实际问题并不 知道总体分布形式，或总体分布不是一些通常遇到的典型分布，不 能写成某些参数的函数。在这些情况下，为了设计贝叶斯分类器， 仍然需要总体分布的知识，于是提出了某些直接用样本来估计总体 分布的方法，称之为估计分布的非参数法。
1
uj
11／,2j，j=11,,22,3,…..., d 2
0 其他 otherwise
超立方体内样本数：
kN
N ( x xi )
i 1
hN
某点概率密度p(x)的估计：
pˆ N (x)
1 N
N 1 ( x xi )
V i1 N
hN
1
窗函数的选择
窗函数需满足两个条件：
几种常用的窗函数： 方窗函数 正态窗函数 指数窗函数
22
22
ln
p( xk
| 1,2 )
p(xk | θ) k 1
对数似然函数：
N
H (θ) ln p(xk | θ)
k 1
1
最大似然估计量使似然函数梯度为0 ：
N
θH (θ) |ˆML θ ln p( xk | θ) |ˆML 0 k 1
T
θ
1
...
s
1 一元正态分布
p( xk | 1 ,2 2 )
1 exp( ( xk 1)2 )
1
贝叶斯估计步骤
确定θ的先验分布p(θ) 由样本集K={x1, x2 ,…, xN}求出样本联合分布 利用贝叶斯公式，求出θ的后验分布p(θ|K) 求出贝叶斯估计量（损失函数为二次函数）：
ˆBEθ^ E[ | x]
p( | x)d
1
非参数估计
参数估计方法要求已知总体的分布形式，然而很多实际问题并不 知道总体分布形式，或总体分布不是一些通常遇到的典型分布，不 能写成某些参数的函数。在这些情况下，为了设计贝叶斯分类器， 仍然需要总体分布的知识，于是提出了某些直接用样本来估计总体 分布的方法，称之为估计分布的非参数法。
1
uj
11／,2j，j=11,,22,3,…..., d 2
0 其他 otherwise
超立方体内样本数：
kN
N ( x xi )
i 1
hN
某点概率密度p(x)的估计：
pˆ N (x)
1 N
N 1 ( x xi )
V i1 N
hN
1
窗函数的选择
窗函数需满足两个条件：
几种常用的窗函数： 方窗函数 正态窗函数 指数窗函数
22
22
ln
p( xk
| 1,2 )
ch..概率密度函数的监督参数估计法.ppt
一 、均值矢量和协方差阵的矩法估计
参数估计
矩法估计是用样本(的统计)矩作为总体(理论)矩的估 值。若类的概型为正态分布，我们用矩法估计出类的 均值矢量和协方差阵后，类的概密也就完全确定了。
均值矢量 :
Ex
xp(x)dx
(1 , 2
,,
n
)
均值无偏估计:
ˆ
1 N
N
xj
j 1
m(N )
一协、方均差值阵矢量: 和协方EE差x(xx阵的矩)(法x估计)
未知参数的某一估计量，代入样本值计算得到的具体结果。
估计量ˆ 作为随机样本的函数，它是一个随机变量，并且不包含 任何未知参数，而估计值仅是抽取一个样本计算估计量得到的一 个具体数值。对于同一个估计量，不同的样本实现，得到的估计 值是不同的。
参数估计的基本概念
③点估计和区间估计?
点估计是指根据抽取到的具体样本数据，代入估计量得到的一个估 计值。区间估计是在点估计的基础上估计出总体参数一个可能的
N 1C(N) N
1 N 1 ( xN 1
m(N
))( xN 1
m(N ))'
一 、均值矢量和协方差阵的矩法估计
参数估计
二 、极大似然估计法(MLE) Maximum Likelihood Estimate
参数估计
如同矩法估计一样，最大似然估计要求已知总体的概型，即
概密的具体函数形式，它也将被估计量作为确定性的变量对待。
3.2 概率密度函数的参数估计
❖均值矢量和协方差阵的矩法估计 ❖极大似然估计 (MLE) ❖Bayes估计 (BE) ❖Bayes学习
问题的产生
利用Bayes决策规则进行分类器设计时,所需的概率密度
《概率密度函数》课件
概率密度函数的积分为1的性质是概 率论中的基本定理之一。这意味着概 率密度函数在整个定义域上的取值之 和为1，即所有可能事件发生的概率 之和为1。
期望和方差
总结词
概率密度函数的期望值和方差描述了随机变量的中心趋势和离散程度。
详细描述
期望值是概率密度函数在定义域上的积分，表示随机变量的平均值或中心趋势。方差则描述了随机变 量取值离散程度的大小，即各个取值与期望值的偏离程度。期望值和方差是概率密度函数的重要特征 ，用于描述随机变量的统计特性。
二项分布
01
二项分布适用于描述伯努利试 验中成功的次数，例如抛硬币 的结果、遗传学中的基因型等 。
02
二项分布的概率密度函数是 f(k)=C(n, k)p^k(1-p)^(n-k) ，其中n是试验次数，k是成功 的次数，p是每次试验成功的 概率。
03
二项分布在统计学、生物学和 经济学等领域有广泛应用，例 如在可靠性工程、市场调查等 领域。
02
常见概率密度函数
正态分布
正态分布是一种常见的概率密 度函数，其概率密度曲线呈钟 形，对称轴为均值所在直线。
正态分布具有两个参数，即 均值和标准差，它们决定了
分布的形状和范围。
在自然界和社会现象中，许多 随机变量的概率分布都服从正 态分布，例如人类的身高、考
试分数等。
指数分布
01
指数分布适用于描述独立随机事件的时间间隔，例如电子元件 的寿命、排队等待时间等。
概率密度函数是微积分中连续函数概念在概率论中的推广。在微积分中，连续函 数可以用其导数描述其变化率；而在概率论中，概率密度函数描述了随机变量取 值在某个区间的概率与该区间长度的关系。
概率密度函数的积分（即概率质量函数）与微积分中的定积分有相似的性质和计 算方法。
期望和方差
总结词
概率密度函数的期望值和方差描述了随机变量的中心趋势和离散程度。
详细描述
期望值是概率密度函数在定义域上的积分，表示随机变量的平均值或中心趋势。方差则描述了随机变 量取值离散程度的大小，即各个取值与期望值的偏离程度。期望值和方差是概率密度函数的重要特征 ，用于描述随机变量的统计特性。
二项分布
01
二项分布适用于描述伯努利试 验中成功的次数，例如抛硬币 的结果、遗传学中的基因型等 。
02
二项分布的概率密度函数是 f(k)=C(n, k)p^k(1-p)^(n-k) ，其中n是试验次数，k是成功 的次数，p是每次试验成功的 概率。
03
二项分布在统计学、生物学和 经济学等领域有广泛应用，例 如在可靠性工程、市场调查等 领域。
02
常见概率密度函数
正态分布
正态分布是一种常见的概率密 度函数，其概率密度曲线呈钟 形，对称轴为均值所在直线。
正态分布具有两个参数，即 均值和标准差，它们决定了
分布的形状和范围。
在自然界和社会现象中，许多 随机变量的概率分布都服从正 态分布，例如人类的身高、考
试分数等。
指数分布
01
指数分布适用于描述独立随机事件的时间间隔，例如电子元件 的寿命、排队等待时间等。
概率密度函数是微积分中连续函数概念在概率论中的推广。在微积分中，连续函 数可以用其导数描述其变化率；而在概率论中，概率密度函数描述了随机变量取 值在某个区间的概率与该区间长度的关系。
概率密度函数的积分（即概率质量函数）与微积分中的定积分有相似的性质和计 算方法。
自考概率论课件_第七章_参数估计.ppt1
2 2 例3 设总体 X 的均值 及方差 都存在, 且有 0, 2 但 , 均为未知, 又设 X1 , X 2 ,, X n 是来自 X 的样 2 本, 试求 , 的矩估计量. 解 1 E ( X ) , 总体一阶原点矩 2 2 2 2 总体二阶 2 E ( X ) D( X ) [ E ( X )] ,
x ˆ 1 . x 1
为求的极大似然估计,先 易求得似然函数为
L( ) ( xi
i 1 n ( 1)
) xi i 1
n n
( 1)
,
ln L( ) n ln ( 1) xi ,
d ln L( ) n n xi 0. d i 1
以 A1 , A2 代替 1 , 2 , 得到 a , b 的矩估计量分别为
3 2 ˆ A1 3( A2 A ) X (Xi X ) , a n i 1
2 1
n
n 3 2 2 ˆ b A1 3( A2 A1 ) X (Xi X ) . n i 1
§7.1
参数的点估计
一、点估计的一般定义及步骤
设总体X～F(x,θ),θ是未知参数,(X1,X2,…,Xn)是 取自总体X的样本,适当选取一个统计量
ˆ 去估计参数θ, 称 ˆ为θ的估计量或把 ˆ 用 叫做 θ的点估计.
ˆ =ˆ(X1,X2,…,Xn)
二、获取点估计的两种方法
1.矩估计法 2.极大似然估计法
以 A1 , A2 代替 1 , 2 , 得到 a , b 的矩估计量分别为
3 2 ˆ A1 3( A2 A ) X (Xi X ) , a n i 1
3概率密度函数的估计79页PPT
➢样本集可按类别分开，不同类别的密度函数的参 数分别用各类的样本集来训练。
➢概率密度函数的形式已知，参数未知，为了描述
概率密度函数p(x|ωi)与参数θ的依赖关系，用
p(x|ωi,θ)表示。
独立地按概率密度p(x|θ)抽取样本集
K={x1, x2 ,…, xN}，用K估计未知参数θ
第三章 概率密度密度的估计
第三章 概率密度密度的估计
14
最大似然估计示意图
最大似 然估计
p(K|θ)
ln p(K|θ)
第三章 概率密度密度的估计
15
计算方法
最大似 然估计
最大似然估计量使似然函数梯度为0 ：
N
θ H (θ )|ˆM L θlnp (x k|θ )|ˆM L 0 k 1
T
θ 1
...
s
第三章 概率密度密度的估计
argmax p(K | ) p( )
p(K)
argmax p(K | ) p( )
第三章 概率密度密度的估计
17
贝叶斯决策问题与贝叶斯估计问题
贝叶斯 估计
贝叶斯决策问题: 样本x 决策ai 真实状态wj 状态空间A是离散空间 先验概率P(wj)
贝叶斯参数估计问题： 样本集K={xi} 估计量^s 真实参数s 参数空间S是连续空间 参数的先验分布p(s)
第三章 概率密度函数的估计
请各位思考的问题
+ 1、我们可以构造一个比贝叶斯规则更好的 分类器吗？
+ 2、利用贝叶斯法则构造分类器何要估计密度以及如何估计密度?
Table of Contents
第三章 概率密度密度的估计
4
3.1 引言
分类器
x1
➢概率密度函数的形式已知，参数未知，为了描述
概率密度函数p(x|ωi)与参数θ的依赖关系，用
p(x|ωi,θ)表示。
独立地按概率密度p(x|θ)抽取样本集
K={x1, x2 ,…, xN}，用K估计未知参数θ
第三章 概率密度密度的估计
第三章 概率密度密度的估计
14
最大似然估计示意图
最大似 然估计
p(K|θ)
ln p(K|θ)
第三章 概率密度密度的估计
15
计算方法
最大似 然估计
最大似然估计量使似然函数梯度为0 ：
N
θ H (θ )|ˆM L θlnp (x k|θ )|ˆM L 0 k 1
T
θ 1
...
s
第三章 概率密度密度的估计
argmax p(K | ) p( )
p(K)
argmax p(K | ) p( )
第三章 概率密度密度的估计
17
贝叶斯决策问题与贝叶斯估计问题
贝叶斯 估计
贝叶斯决策问题: 样本x 决策ai 真实状态wj 状态空间A是离散空间 先验概率P(wj)
贝叶斯参数估计问题： 样本集K={xi} 估计量^s 真实参数s 参数空间S是连续空间 参数的先验分布p(s)
第三章 概率密度函数的估计
请各位思考的问题
+ 1、我们可以构造一个比贝叶斯规则更好的 分类器吗？
+ 2、利用贝叶斯法则构造分类器何要估计密度以及如何估计密度?
Table of Contents
第三章 概率密度密度的估计
4
3.1 引言
分类器
x1
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
模式识别 – 概率密度函数的参数估计
似然函数
• 样本集D出现的概率：
p D θ p x , x , , x θ p x 1 2 n iθ
i 1 n
• 对数似然函数：
l θ l n p D θ l n p x iθ
i 1
n
i 1
M
EM算法
模式识别 – 概率密度函数的参数估计
GMM的参数估计算法(EM)
1. 随机初始化参数：
θ a , a , ,, a μ , Σ , ,, μ Σ 1 2 M 1 1 M M
2. 计算： P yt i
3. 重新估计参数 θ； 4. 迭代计算2，3步，直到收敛为止。
模式识别 – 概率密度函数的参数估计
x1 来自子类： y1
训练样本：
x2 y2
xn yn
已知y的条件下，参数的估计：
1 n ai I yt i n t 1 μi I yt i xt
t 1 n n
I y i
t 1 t t
n
Σi I yt i xt μi xt μi
3.1 最大似然估计
• 独立同分布假设：样本集D中包含n个样本：x1，
x2， …, xn，样本都是独立同分布的随机变量 (i.i.d，independent identically distributed)。
• 对类条件概率密度函数的函数形式作出假设，参
数可以表示为参数矢量θ ：
p θ x i, i
t 1
I y i
t 1 t
n
已知参数条件下，y的估计：
y a r g m a x a N x ; μ , Σ t i t i i
i
K-mean算法
模式识别 – 概率密度函数的参数估计
• 存在的问题：样本xt可能来自于任何一个子类，但 在参数估计时只出现在一个子类中。 • 修改计算过程：
1 n ai P yt i n t 1 μi P yt i xt
t 1 n n
P y i
t 1 t t
n
Σi P yt i xt μi xt μi
t 1
P y i
t 1 t
n
P y i N x ; μ , Σ a N x ; μ , Σ a t i t i i i t i i
模式识别 – 概率密度函数的参数估计
最大似然估计
• 最大似然估计：寻找到一个最优矢量 θ ˆ ，使 得似然函数 l θ 最大。
ˆ θ a r g m a x l θ
θ
模式识别 – 概率密度函数的参数估计
正态分布的似然估计
• Gauss分布的参数：由均值矢量μ 和协方 差矩阵Σ 构成，最大似然估计结果为：
i 1 M
模式识别 – 概率密度函数的参数估计
两个高斯函数的混合
p x 0 . 7 N 1 0 , 2 0 . 3 N ( 5 , 3 )
模式识别 – 概率密度函数的参数估计
样本的产生过程
• 高斯模型样本的产生：每一个样本都是按 照正态分布产生的； • GMM样本的产生：先按照先验概率ai选择 一个子类，然后按照这个子类满足的正态 分布产生样本。
模式识别 – 概率密度函数的参数估计
第三章 概率密度函数的 参数估计
模式识别 – 概率密度函数的参数估计
3.0 引言
• 贝叶斯分类器的学习：类条件概率密度函数的
估计。
• 问题的表示：已有c个类别的训练样本集合D1，
D2，…，Dc，求取每个类别的类条件概率密
度 px i 。
模式识别 – 概率密度函数的参数估计
p D θ p X , Y θ
• 似然函数：由于Y未知，在给定参数θ 时，似 然函数可以看作Y的函数：
l θ l θ D l θ X , Y l n p X , Y θ
模式识别 – 概率密度函数的参数估计
基本EM算法
• 由于Y未知，因此我们需要寻找到一个在Y的 所有可能情况下，平均意义下的似然函数最 大值，即似然函数对Y的期望的最大值：
模式识别 – 概率密度函数的参数估计
混合密度模型
• 混合密度模型：一个复杂的概率密度分布函 数可以由多个简单的密度函数混合构成：
p ap xθ , xθ i i i
i 1 M
M
i1
ai 1
• 高斯混合模型：GMM，Gauss Mixture Model
p aN ;μ x x i i,Σ i
模式识别 – 概率密度函数的参数估计
GMM模型产生的2维样本数据
模式识别 – 概率密度函数的参数估计
GMM模型的参数估计
• GMM的参数：
θ a , a , ,, a μ , Σ , ,, μ Σ 1 2 M 1 1 M M
• 参数估计：已知样本x1,…,xn，估计参数θ。
• 存在的问题：每个样本是由哪一个子集产 生的未知。
1 ˆ μ n
x
i 1
n
i
1n t ˆ ˆ Σ x μ x μ i i n i 1
模式识别 – 概率密度函数的参数估计
3.2 期望最大化算法(EM算法)
• EM算法的应用可以分为两个方面：
1. 训练样本中某些特征丢失情况下，分布参数 的最大似然估计； 2. 对某些复杂分布模型假设，最大似然估计很 难得到解析解时的迭代算法。
概率密度函数的估计方法
• 参数估计方法：预先假设每一个类别的概 率密度函数的形式已知，而具体的参数未 知；
– 最大似然估计(MLE, Maximum Likelihood Estimation)； – 贝叶斯估计(Bayesian Estimation)。
• 非参数估计方法。
模式识别 – 概率密度函数的参数估计
模式识别 – 概率密度函数的参数估计
EM算法的性质
• 收敛性：EM算法具有收敛性；
• 最优性：EM算法只能保证收敛于似然函数
的局部最大值点（极值点），而不能保证 收敛于全局最优点。
模式识别 – 概率密度函数的参数估计
基本EM算法
• 样本集：令X是观察到的样本数据集合，Y为 丢失的数据集合，完整的样本集合Dห้องสมุดไป่ตู้XY。