研究生应用数理统计参数估计(讲稿)

达到R C不等式的下界.
3.有效估计 定义4 设是参数的无偏估计量，若
D＝ 1 , nI ( )
则称是的有效估计量。 定义5 设是参数的无偏估计量，称
1
e( )＝ nI ( ) , D( )
定理 设X1, X 2, , X n是来自总体X ~ N (, 2 )的样本，X 是
样本中位数，则对任意x,有
lim
n
P
2n（2 X
）
x
1
2
x t2
e 2 dt
§2点估计的优良性
一、无偏性
定义1 设 ( X1, , X n )是参数的估计量。 若E ,则称是的无偏估计量；
若E ,则称(E )是估计量的偏差；
为来自总体的样本，
n
试求：(1)的极大似然估计；
（2）P{X 2}的极大似然估计。
极大似然估计的优点： 利用了总体的分布函数所提供的信息； 不要求总体原点矩的存在（柯西分布） 极大似然估计的缺点： 求解似然方程困难
四、用顺序统计量估计参数
无论X服从何种分布，都可以样本中位数X作为总体均值 E(X)的估计量，以样本极差R作为总体标准差 DX的估计量。 这种估计比较粗超。
方差下界。
解总体的密度函数为
f (x; , 2 )=
1
x 2
e 2 ，可以验证f (x; , 2 )满足正则条件；
2 2
ln f (x; , 2 )=- ln
2
1 ln 2
2
1
2 2
x 2
I ()
E
ln
f
(x; ,
2 )2
E
X 2
2
= E( X )2 D( X ) 1 ( 0)
解方程组 L 0或 ln L 0, (i 1, 2, , k)得到估计值.
i
i
极大估计值利用了总体分布函数的信息，使估计量具有 良好的性质.
性质
设ˆ是参数的极大估计，u=u( )是上的实值函数，且u 有单值的反函数，则uˆ u(ˆ)便是u=u( )的极大似然估计。
注：一般，若待估计函数为u=u( )，u( )是的连续函数， 而垐是的极大似然估计，则u( )便是u( )的极大似然估计。
,
X 2
,
...,
X
n
),以数值T
(
x1
,
x2
,
...,
xn
)作为的估计值,
则称
统计量T (X1, X2,..., Xn )为的估计量,为的估计量和为的
估计值统称为为的估计,记为 .这种对未知参数进行定值
估计,称为点估计.
二、矩估计法
设 r.v.序列 X1, X 2 ,, X n , 相 互独立具有相同的分布，且
x x .
L(, )
n i 1
xi 1
n n
( x1 x2
xn ) 1 , xi
n
ln L(, ) n ln n ln ( 1) ln xi i 1
ln L(, ) n
ln
L( ,
)
n
n
ln
n i 1
ln
xi
（1）
注意到 ln L(, ) n 0,所以L(, )随的
4
4 2
于是的无偏估计的方差下界是 1 2 , nI () n
而D( X ) 2 ,说明样本均值X的方差达到了
n
R - C方差下界，所以X 是的最小方差无偏估计。
又
ln
f
(x; , 2 ) 2
1
2
2
1
2 4
x
2
ln2 f (x; , （ 2）2
2)
1
2
4
1
6
x
2
I (
2)
三、极大似然法
“概率最大事件，最可能出现” 参数的哪个值使观察结果出现的概率最大，就应取这个值作 为参数的估计值。
定义1 设母体X的概率密度(或分布律)为f (x; ),其中 (1, ,k )是未知参数，由设(x1, ,xn )是X的一个观
察值。定义似然函数为
n
L( ) f (xi ), i 1
增大而增大，但当 m1iinn{xi}时，L( , ) 0，
故取 m1iinn{xi}时，L( , )达到最大，
因此的极大似然估计量ˆ m1iinn{xi}。 再令
ln L(, ) 0，解得的极大似然估计量
例2.1.7 设总体X N (, 2 )，, 2未知，
X1, X2,
,
X
例2.1.1 设总体服从泊松分布P()，
试求的矩估计量.
解1 因为E(X)=,所以的矩估计量为X .
解2 因为D(X)=,所以的矩估计量也为
1 n
X
i
2
X .
例2.1.1 设总体服从泊松分布P()，
试求的矩估计量.
解1 因为E(X)=,所以的矩估计量为X .
解2 因为D(X)=,所以的矩估计量也为
计；
求估计量的步骤： 1.求出母体的前k阶矩
设母体X的分布函数F (x;1, ,k )含有k个未知参数，
若母体的k阶矩存在，则母体X的l阶矩
al (1,
,k ) EX l
x
l
dF
(
x;1,
,k ),
l 1, , k.
是(1, ,k )的函数。
2.用子样矩作为母体矩的估计
令 al ( 1,
2
ˆ
1 2
M
2
1 2n
n i 1
X
2 i
.
例2.1.3 设 X1,Y1 , X 2,Y2 , , X n,Yn 为总体 X ,Y 的样本，试求X与Y的相关系数 X ,Y
的矩估计.
解
记X
1 n
n i 1
Xi,Y
1 n
n
Yi ,
i 1
M1
1 n
n i 1
Xi X
2
,M2
1 n
n i 1
的方差下界。
解 可以验证本例满足正则性条件。
因为X P(), 所以P( X x) x e f (x, ),
x!
由于ln f (x, ) x ln ln(x!),于是I ()
E(X
2
)
1
0.故的任一无偏估计ˆ都满足
D(ˆ) 1 . nI () n
例2.2.6 设对总体X N (, 2 )，X1, X 2, , X n 是来自总体X的样本，试求, 2的无偏估计的
例2.1.4 已知总体服从参数为p的几何分布，即
P{X k} (1- p)k1 p(k 1, 2, )
其中p是未知参数，X1, X 2 ,
,
X
是来自总体的样本，
n
试求p的极大似然估计量。
例2.1.5 设总体X的概率分布如下表，
X
0
1
2
3
P
2
2(1-) 2
1-2
0
1 2
是未知参数，利用总体X的如下观测值，
X i，S 2
1 n 1
n i 1
Xi X
2分别是的, 2
无偏估计量;
(2)样本的k阶原点矩
1 n
n i 1
X i k 是总体k阶原点矩
无偏估计；
1 n
(3) n i1
Xi X
2是D（X）渐进无偏估计量。
二、有效性
1.有效性
定义2 设 1， 2都是参数的无偏估计量，若 D 1 D 2 ,
则称 1比 2有效。
注：方差越小越好。那么是否有下界？
例2.2.1 设对总体X N (, 2 )，X1, X 2, , X n
是来自总体X的样本，试证
（1）S12
1 n
n i 1
Xi
2 是
2的无偏估计量;
(2)S12是较S 2
1 n 1
n i 1
Xi X
2更有效的估计量。
解 因为 nS12
定理 2.2.1(Rao-Cramer不等式)
例2.2.1 设总体X的分布密度函数族为{ f (x; ),
}, 是实数轴上的一个开区间，X1, X 2 , , X n
是来自总体X的样本，T T(X1, X 2 , , X n )是的任
个g( )无偏估计，若下列条件
（1）正则条件；（2）I ( )
, k )
1 n
n i 1
X
l i
(l 1, 2,
,k)
3.求出矩估计
解方程组，得 1, , k，分别是1， ，k
的估计量。称为矩估计量。
例2.1.1 设总体服从泊松分布P()，
试求的矩估计量.
解1 因为E(X)=,所以的矩估计量为X .
解2 因为D(X)=,所以的矩估计量也为
1 n
X
i
2
X .
E(
X
k i
)
k
,
i 1,2,
则 0 有
lim
n
P
1 n
n i1
X
k i
k
0
如果总体X的k阶原点矩E( X k )存在，当n充分大时，
可以用样本的k阶原点矩
1 n
n i 1
X
k i
=M k作为E(Xk )的估计；
可以用样本的k阶中心矩
1 n
n
（X i
i 1
-
X）k作为E(X-EX)k的估
2
2
(n), 所以D
nS12
2
2n,即D（S12）=
2
n
4
;
(n 1)S 2
2
2
(n
1),
D
(n
1)S
2
2
2(n
1),即D（S
2）=
2 2
; n 1
故D（S12） D（S 2）.
2.一致最小方差无偏估计
定义3 设1是参数的无偏估计量，若对 的任一无偏估计量 2，都有
D 1 D 2 , 则称 1是一致最小方差无偏估计量。(UMVUE)
Chapter 2 参数估计
一、参数估计的概念
定义：已知母体的分布，估计某个或几个未 知数字特征（参数）的问题，称为参数估 计。
二、参数估计的分类
分为点估计和区间估计；
点估计就是根据样本，估计参数为某个数 值；
区间估计就是根据样本，估计参数在一定 范围内，即一个区间；
总体分布类型已知的统计问题，称为参数 型统计问题；
估计是否是UMVUE,因为在满足定理条件下，如果
D(T ) g( )2 ，则T是g( )的UMVUE.但UMVUE的
nI ( )
方差不一定能达到R C方差下界.
注4 I ( )的另一表达式
I
(
)
E
2
ln f ( X
2
;
)
.
例2.2.5 设总体服从泊松分布P()，X1 , X 2 , , X n是来自总体的样本，试求的无偏估计
若在 ( 1, , k )达到最大值，则称 1,
Baidu Nhomakorabea大似然估计。
, k分别为的最
这种估计法称为最大似然估计法， k依赖于样本值，即
i i (x1, , xn ), i 1, , k
在上式中，将观察值换成子样( X1, , X n )，得到
i = i ( X1, , X n ), 称为i的最大似然估计量(MLE)。
E
ln
f (X ; ) 2
0
则对一切 ，有D(T ) g( )2 .
nI ( )
这里I ( )成为费谢尔信息量，g( )2
nI ( )
称为g( )的无偏估计的T的R C方差下界。
注1 对离散总体，将密度函数改为分布律即可；
注2 一般分布都满足正则条件；
注3 利用R-C不等式有时可以判断出一个无偏
若
lim
n
E[
(
X
1,
, X n )] ,则称是的渐进
无偏估计量。
注：1 n n i1
Xi X
2不是D（X）的无偏估计量，但是
渐进无偏估计量。
例2.2.1 对任一总体，若E( X )=,D( X )= 2均存在
，且X1, X 2 , , X 2为X的样本，试证
（1）1 n
n i 1
E
ln2 f (x; ,
（ 2）2
2 )
E
1
6
x
2
1
2
4
1
2 4
因此 2的无偏估计的R C方差下界为 1 2 4 . nI ( 2 ) n
样本方差S 2是 2的无偏估计，且D(S 2 ) 2 4 ,没有达到R C
n 1
下界，不过可以证明S 2是 2的UMVUE. 由此可见UMVUE不一定
1 n
X
i
2
X .
例2.1.2 设总体X的分布密度为
f (x, )
1
x
e , x , 0.
2
X1, X 2 , , X n为X的样本，试求参数的矩估计量.
解
因为E( X )=
x
1
x
e
dx
0,解不出
,
为此求
2
E(X 2 )=
x2
1
x
e
dx
2
2
2
于是 1 E( X 2 )，从而的矩估计量为
3，1，3，0，3，1，2，3
求的极大似然估计值。
例2.1.6 设总体X的分布函数为
F(x;
,
)=
1
x
,
x
0,
x .
其中，（ 0）和（ 2）均为未知参数，
X1, X 2, , X n是来自总体X的样本，试求和的
极大似然估计。
解
总体X的密度函数为f(x;
,
)=
x 1
,
0,
其中，（ 0）和（ 2）
Yi Y
2
.
用替代方法,E XY 的矩估计是
1 n
X
iYi
,
E
X
的矩估计是X
,
E
Y
的
矩估计是Y ,所以的cov（X ,Y）矩估计是
1
n
X iYi X Y M .
从而， X ,Y cov( X ,Y ) 的矩估计是
D( X )D(Y )
ˆ X ,Y M .
M1M 2
矩估计的优点： 简便、直观，不一定要知道总体的分布函数. 矩估计的缺点： 当总体矩不存在时，矩估计法不能使用； 对某些总体的参数，矩估计量不唯一； 只利用了样本矩的信息，没有成分利用 分布函数的信息。
总体分布类型未知的统计问题，称为非参 数型统计问题；
§1点估计
一.点估计的概念
定义1 设总体X的分布函数为F(x, ), (1,2,...,n ) ,
是未知参数的取值范围,称为参数空间.X1,
X
2
,
...,
X
是来
n
自总体X的样本,其观察值为x1, x2,..., xn.若构造统计量
T
(X1