概率论第十九讲极大似然估计法

P( X1 x1, X 2 x2,, X n xn )
f (x1, ) f (x2, ) f (xn, )
记为
或
L(x1, x2,, xn, ) L( )
xi u1,u2, ,
称 L( ) 为样本的似然函数 i 1,2, ,n,
极大似然法的思想
选择适当的 = ˆ ,使L( )取最大值, 即
注2 未知参数可以不止一个, 如1,…, k
设X 的密度(或分布)为 f (x,1, ,k )
则定义似然函数为
L(x1, , xn;1, ,k ) n
L(1, ,k ) f (xi ,1, ,k ) i1
xi , i 1, 2, , n (1, ,k )
若 L(x1, , xn;1, ,k ) 关于1, …, k可微,则称
r
L( x1 ,
x2 ,,
xn ;1, 2 ,, k
)
0
r 1,2,,k
为似然方程组
若对于某组给定的样本值 x1, x2,…, xn， 参数 ˆ1,ˆ2,,ˆk 使似然函数取得最大值, 即
L(x1, , xn;1, ,k )
(1
max
,2 ,,k
{L(
)
x1
,
x2
,,
xn
;1
,
2
,,
k
)}
则称 1, ,k 为1,…, k 的极大似然估计值
显然，
ˆr g(x1, x2,, xn )
称统计量
r 1,2,,k
ˆr g( X1, X 2,, X n ) r 1,2,,k
为1, 2,…, k 的极大似然估计量
例7 设总体 X ~ N (, 2), x1, x2,…, xn 是 X 的样本值, 求 , 2 的极大似然估计.
解 L(x1, x2 ,, xn; , 2 )
n
i1
1
2
e
(
xi 2 2
)2
1
n
n i1
( xi )2 2 2
en
(2 )2 ( 2)2
ln
L
n
i1
(
xi
2
2
)2
n ln(2
2
)
n 2
ln(
2
)
似然 方程ln L 12 Nhomakorabean
(xi
i1
)
0
组为
(
2 ) ln
L
1
2( 2 )2
n
(xi
i1
)2
n
2(
2)
0
ˆ mle
)
x1,
x2
,,
xn
;1,
2
,,
k
)}
若 L是 1, ,k的可微函数,解似然方程组
r
L( x1 ,
x2 ,,
xn;1,2,,k ) 0
r 1,2,,k
可得未知参数的极大似然估计值 ˆ1,ˆ2 ,,ˆk 然后, 再求得极大似然估计量.
若 L不是1, ,k的可微函数, 需用其它 方法求极大似然估计值. 请看下例：
1 n
n
xi
i1
x
2
mle
1 n
n
(xi
i1
x)2
, 2 的极大似然估计量分别为
1 n
n
Xi X ,
i 1
1 n
n
(Xi
i1
X
)2
Sn2
极大似然估计方法
1） 写出似然函数 L
2）求出 ˆ1,ˆ2,,ˆk , 使得
L(x1, x2,, xn;ˆ1,ˆ2,,ˆk )
(1
max
,2 ,,k
{L(
L(x1, x2,, xn,ˆ)
max{ f (x1, ) f (x2, ) f (xn, )}
称这样得到的 ˆ g(x1, x2,, xn )
为参数
的极大似然估计值
简记ˆmle
称统计量 g(X1, X 2,, X n )
为参数 的极大似然估计量简记ˆMLE
注1 若 X 连续, 取 f (xi, )为Xi 的密度函数 n 似然函数为 L( ) f (xi , ) i 1
例8 设 X ~ U (a,b), x1, x2,…, xn 是 X 的一个 样本值, 求 a , b 的极大似然估计值与极大
似然估计量.
解 X 的密度函数为
f
( x; a,
b)
b
1
a
,
axb
0, 其它
似然函数为
L(
x1
,
x2
,,
xn
;
a,
b)
(b
1 a)
n
,
a xi b, i 1,2,,n
第十九讲 极大似然估计法、 估计量优劣的标准
教学目的： 1.讲解极大似然估计法； 2.讲解评价估计量优劣的三个标准。
教学内容： 第六章，§ 6.1-2；§ 6.2。。
极大似然估计法
思想方法：一次试验就出现的 事件有较大的概率
例如: 有两外形相同的箱子,各装100个球 一箱 99个白球 1 个红球 一箱 1 个白球 99个红球
0,
其它
似然函数只有当 a < xi < b, i = 1,2,…, n 时 才能获得最大值, 且 a 越大, b 越小, L 越大.
令 xmin = min {x1, x2,…, xn} xmax = max {x1, x2,…, xn}
取 aˆ xmin , bˆ xmax
则对满足 a xmin xmax b 的一切 a < b ,
现经过一次试验，事件
( X1 x1, X 2 x2,, X n xn )
发生了， 则 p 的取值应使这个事件发生 的概率最大.
在容许范围内选择 p ，使L(p)最大 注意到，ln L(p)是 L 的单调增函数,故若
某个p 使ln L(p)最大, 则这个p 必使L(p)最大。
n
n
dlnL
现从两箱中任取一箱, 并从箱中任取一球, 结果所取得的球是白球. 问: 所取的球来自哪一箱？ 答: 第一箱.
例6 设总体 X 服从0-1分布,且P (X = 1) = p, 用极大似然法求 p 的估计值.
解 总体 X 的概率分布为
P( X x) px (1 p)1x , x 0,1
设 x1, x2,…, xn为总体样本X1, X2,…, Xn 的样本值,
i1
xi
n
i1
xi
令
0
dp p 1 p
pˆ
1 n
n i1
xi
x
所以
d
2lnL
dp2
n
xi
i1
p2
n
n xi
i1
(1 p)2
0
pˆ x 为所求 p 的估计值 .
一般, 设 X 为离散型随机变量, 其分布律为
P(X x) f (x, ), x u1,u2,,
则样本 X1, X2,…, Xn的概率分布为
则 P(X1 x1, X2 x2,, Xn xn )
n
n
xi
n xi
p i1 (1 p) i1 L( p)
xi 0,1,i 1,2,,n
对于不同的 p , L (p)不同, 见右下图
Lp
0.01 0.008 0.006 0.004 0.002
p
pˆ0.2 0.4 0.6 0.8 1
都有
1 (b a)n
( xmax
1 xmin )n
故 aˆ xmin , bˆ xmax