第五章参数估计与非参数估计

估计则是把待估的参数作为具有某种先验分布的随机变量，通
过对第i类学习样本Xi的观察，使概率密度分布P(Xi/θ)转化为
后验概率P(θ/Xi) ，再求贝叶斯估计。
估计步骤:
① 确定θ的先验分布P(θ),待估参数为随机变量。
② 用第i类样本xi=(x1, x2,…. xN)T求出样本的联合概率密度分布
P(xi|θ)，它是θ的函数。
为比例因子,只与x有
∵ P(Xk| μ)=N(μ,σ2),P(u)=N(μ0,σ02)
N
P( | X i) a
1
exp{ 1 Xk 2
1
exp[ 1
0
2
]}
k1 2
2 2
2 0
a'exp{ 1[ N
Xk
2
0
2
]}
2 k 1
0
2020/6/29
子
a' ' exp{
∴
P( X i | i. i) P( X i | i)
N
P(
X
k
|
i)
k 1
N个学习样本出现概率的乘积
N
N
取对数 ：log
2020/6/29
P(X k | i)
log P( X k | i)
4
k 1
k 1
对θi求导,并令它为0：
1
...
N k 1
log
P( X
k
|
i)
0
P(Xi/θi)
根据以上四条假定，我们下边就可以只利用第i类学习样 本来估计第i类的概率密度，其它类的概率密度由其它类 的学习样本来估计。
2020/6/29
3
1.一般原则： 第i类样本的类条件概率密度：
P(Xi/ωi)= P(Xi/ωi﹒θi) = P(Xi/θi) 原属于i类的学习样本为Xi=(X1 , X2 ,…XN,)T i=1,2,…M 求θi的最大似然估计就是把P(Xi/θi)看成θi的函数，求 出使它最大时的θi值。 ∵学习样本独立从总体样本集中抽取的
待估参数为
服从正态分布 N
i 1
k 1
logP(X k | ) 0
所以在正态分布时
log
P(
X
k
|
)
1 2
log[
2
n
|
|]
1 2
X
k
T
1 X k
代入上式得
N
1
X
k
0
k 1
N
1 X k 0
k 1
2020/6/29
6
所以
1( N X k N ) 0
k 1
1 N
非参数估计：不假定数学模型，直接用已知类别的学习 样本的先验知识直接估计数学模型。
2020/6/29
1
二．监督学习与无监督学习
监督学习:在已知类别样本指导下的学习和训练, 参数估计和非参数估计都属于监督学习。
无监督学习:不知道样本类别，只知道样本的某些 信息去估计，如：聚类分析。
2020/6/29
B．多维情况：n个特征（学生可以自行推出下式）
估计值：1
1 N
N k 1Xk2Fra bibliotek1 N
N k 1
Xk
T
Xk
结论：①μ的估计即为学习样本的算术平均
②估计的协方差矩阵是矩阵
Xk
Xk
T
的算
术平均（nⅹn阵列， nⅹn个值）
2020/6/29
9
二.贝叶斯估计
最大似然估计是把待估的参数看作固定的未知量，而贝叶斯
2
§5-2参数估计理论
一．最大似然估计
假定：
①待估参数θ是确定的未知量 ②按类别把样本分成M类X1，X2，X3，… XM
其中第i类的样本共N个
Xi = (X1,X2,… XN)T 并且是独立从总体中抽取的
③ Xi中的样本不包含 j (i≠j)的信息，所以可以对每一
类样本独立进行处理。
④ 第i类的待估参数 i (1, 2,... n)T
1 2
[( N
2
1)
2 0
2
2( 1
2
N k 1
Xk
0 )]}
2 0
12
其中a’,a’’包含了所有与μ无关的因
∴P(μ| xi)是u的二次函数的指数函数 ∴P(μ| xi)仍然是一个正态函数, P(μ|Xi)=N(μN,σN2)
③ 利用贝叶斯公式,求θ的后验概率
P( | X i)
P( X i | ).P( ) P(X i | )P( )d
④ 求贝叶斯估计 P( | X i)d（证明略）
2020/6/29
10
下面以正态分布的均值估计为例说明贝叶斯估计的过程
一维正态分布:已知σ2,估计μ
假设概率密度服从正态分布:
P(X|μ)=N(μ,σ2), P(μ)=N(μ0,σ02) 第i类学习样本xi=(x1, x2,…. xN)T, 第i类概率密度P(x|μi,xi)=P(x|xi)
1 (X
2
k
1)
0
N
k 1
2
log
P(X k
| i)
N
[
k 1
1
2 2
(X k 1)2]
2
2 2
0
1
1
1 N
N
Xk
k 1
即学习样本的算术平均
2020/6/29
2
2 1
1 N
N k 1
2
Xk
样本方差
8
讨论：
1.正态总体均值的最大似然估计即为学习样本的算术平均 2.正态总体方差的最大似然估计与样本的方差不同，当N较 大的时候，二者的差别不大。
i=1,2,…M
所以后验概率
P( | X i) P( X i | ).P( )
P( X i | )P( )d
(贝叶斯公式)
2020/6/29
11
因为N个样本是独立抽取的，所以上式可以写成
N
P( | X i) a P(X k | ).P() k 1
其中 a 1
关,与μ无关
P(X i | )P()d
§5-1 参数估计与监督学习
贝叶斯分类器中只要知道先验概率，条件概率或后验概 概率 P(ωi),P(x/ωi), P(ωi /x)就可以设计分类器了。现在 来研究如何用已知训练样本的信息去估计P(ωi),P(x/ωi), P(ωi /x) 一．参数估计与非参数估计
参数估计：先假定研究的问题具有某种数学模型，如 正态分布，二项分布，再用已知类别的学习 样本估计里面的参数。
N
Xk
k 1
这说明未知均值的最大似然估计正好是训练样本的算术
平均。
2020/6/29
7
② ∑， μ均未知
A. 一维情况：n=1对于每个学习样本只有一个特征的简单
情况：
1
1,
2
2 1
log
由上式得
P(
X
k
|
i)
1 2
log
2
2
1
2
2
Xk
2
1
(n=1)
N
代入
k 1
1
log
P( X
k
| i)
N k 1
p
N k 1
1
logP(
X
k
|
i)
0
.........
.........
N k 1
p
logP(
X
k
|
i)
0
利用上式求出 i的估值 ，即为 i＝
有时上式是多解的, 上图有5个解,只有一个解最大即.
2020/6/29
5
2. 多维正态分布情况
① ∑已知, μ未知,估计μ
P( X i | i)