05第五讲 估计量的优良性准则(续)

有的 ， ( )是可微的，且
2 ( ( )) Var (T ( X )) . I ( )
证明
由于对所有 ， 有
( ) T ( x ) p( x, )dx1 dxn
等式两边对求导可得
( ) T ( x ) p( x , )dx1 dxn T ( x ) (ln p( x , )) p( x , )dx1 dxn E T ( x ) ln p( x , ) .
得这个下界？ 我们用下述例子说明不一定。
例4.8 设X 1 , X 2 ,, X n来自正态总体N ( ,1)的
2 一个简单样本。试求参数 的UMVUE，并
证明其方差大于信息不等式的下界。 解 由于
2 1 ( x ) p( x , ) exp 2 2 2 2 1 x exp exp expx. 2 2 2



有 又因为对所有的 ，
p( x, )dx1 dxn 1
等式两边对求导可得 p( x , )dx1 dxn 0.
ln p( x , ) 即就是 p( x , )dx1 dxn 0.

1

n
I ( x( n ) ) I{0 x(1) } ( x)
由因子分解定理可知 x( n ) max{ x1 , x2 ,, xn } 它是充分统计量。下证它也是完全的。
由P { x( n ) t } P { x1 t } 可知x( n )的密度函数为
n
n t p( t ; ) 0
一个下界， 这个下界到底是多少？
（2） 若UMVUE存在，那么它的方差是否可以 达到这个下界？ 问题（1）已由Cramer-Rao不等式（信息不 等式）揭示；问题（2）不一定成立，我们举例 予以阐述。 为了使问题简化，在这一小节中，我们仅讨 单参数和连续总体情况。对多参数及离散总体 也有相应结论，可参看《高等数理统计学》
第五讲 估计量的优良性准则（续）
一、一致最小方差无偏估计（续） 二、信息不等式 三、相合估计
一、一致最小方差无偏估计（续）
定理4.3(Lehmann-Scheffe)
( x )是q( )的 设S ( x )是完全充分统计量，
无偏估计，则T ( x ) E ( ( x ) | S ( x ))是q( )的
n
则Z服从标准正态分布 N (0,1)。则 1 2 2 Var ( X ) Var ( X ) n 2 2 4 1 2 . 2 Var {( Z n ) } 2 n n n 2 而 I1 ( ) E ln p( x , ) 2 2 1 ( x ) E ln exp 2 2 2 2 ( x ) E ( x )2 1 E 2
设X 1 , X 2 ,, X n是来 式的下界。这个例子为：
X的密度函数为 自总体X的样本，
e p( x , ) 0
( x )
x . otherwise
取充分统计量 T ( X ) X (1) 作为参数 的估计， 通过取其数学期望可获得参数的无偏估计为 1 ˆ ( X ) X (1) , n 1 1 1 ˆ 则有 Var ( ( X )) 2 ( n 1). n n I ( ) 其具体证明过程课后自己完成。 对无偏估计类而言，既然信息不等式给出 了方差的下界，那么UMVUE方差是否一定取
（茆诗松），或《线性统计推断及应用》 （C.R.Rao）。
设分布族为{ P , }，密度函数为p( x , )，
为直线上的一个开区间。 满足下述条件的分布
族{ P , }称为 Cramer-Rao正则族：
（1） 支撑A { x : p( x, ) 0}与无关，且对任 一x A, , 偏导数 ln p( x , )存在。 （2）如果对所有 ，T ( x )是满足E | T |
则
因而
x ln p( x , ) 1, x x 1 2 I ( ) E ( 1) Var ( ) .



可以证 如果X 1 , X 2 ,, X n是来自总体的样本， 2 明 I ( ) nI1 ( ) ， 其中I1 ( ) E ( ln p( X 1 , )) .



这样就有
ln p( x , ) E 0.
从而有 ( ) E T ( x ) ln p( x , ) Cov T ( x ), ln p( x , ) . 由Schwarz Inequality
由定理4.2知完全充分统计量为 X i ，所以 i 1 1 ) 而由 UMVUE为 X ，且服从 N ( , 。 n 1 2 2 2 2 Var ( X ) E ( X ) ( E ( X )) E ( X ) n 1 2 2 有 E X . n 1 2 这样X 是 2的无偏估计，且是完全充分 n 2 统计量 X的函数，所以它是 的UMVUE。 为了计算UMVUE的方差， 令 Z n( X ),
通常将 I1 ( ) 看成一次观察所能获得的关于 参数 的信息，即一个观测值 X 1所含 的信息， 那么 I ( ) 就表示样本 X 1 , , X n 所含 的信息。
（2） 在将定理4.4应用于无偏估计类 U q时， 一定要注意定理的条件是否满足。 Cramer 在1946年举例说明当定理的条件不满足时， 存在这样的无偏估计，其方差小于信息不等
又因为
E ( x( n ) )

n

n 0
n t dt , n 1
n
所以的无偏估计为 ( n 1) ˆ x( n ) , n 且是完全充分统计量x( n )的函数，故它就是的 UMVUE。
二、信息不等式
在上一节，我们知道如果UMVUE存在， 则它在无偏估计类中是最好的，且其方差不可 能是零，因为参数 q( ) 的方差为零的平凡估计 不是无偏估计。 那么，现在的问题是： 对 q( ) 的无偏估计类 U q，在一定的条件下， （1） 既然无偏估计的方差不是零， 则必存在
2 2
例4.6 设总体X在[0, ]上服从均匀分布，其中
是未知参数, x1 , x2 ,, xn是来自总体的样本, 试求参数的UMVUE 。
解 由于
1 n , 0 x(1) x( n ) , p( x1 , x2 ,, xn ; ) otherwቤተ መጻሕፍቲ ባይዱse . 0,
n n 1
0 t , otherwise
对任何函数 g(t )及 0，由
E ( g( x( n ) )) n
n
0 g(t )t

n1
dt 0
可得对所有的 0, 有0 g( t )t dt 0, 这个只
n1
因而x( n )也是完全的。 有在g(t ) 0时才能成立，
| E ( XY ) | E | XY | E ( X 2 ) E (Y 2 )
有
| ( ) | Cov T ( x ), ln p( x , )
Var (T ( X )) Var ln p( x , )
而
计量的函数使之成为 q( ) 的无偏估计。
( x )，则 （2） 若能获得q( )的一个无偏估计量
E ( ( x ) | T ( x ))就是q( )的UMVUE。
例4.5 设总体X服从正态分布N ( , )，
2
( , )未知， x1 , x2 ,, xn是来自总体的
2 2 求参数 和 的UMVUE 。 样本。
解
首先求完全充分统计量。 由于
2 1 ( x ) p( x , ) exp 2 2 2
1 e 2
2 2 2
1 2 exp 2 x 2 x 2
1 由于w 2 , 2 的值域包含内点，所以由 2 定理4.2可知完全充分统计量为
n n 1 1 2 2 2 又 S2 ( xi x ) xi nx n 1 i 1 n 1 i 1
是 的无偏估计，且是 完全充分统计量T ( x )
2
的函数， 故当未知时， 2的UMVUE 为样本
方差S 2。
注：当 已知时，S 不是 的 UMVUE 。
UMVUE，进一步，如果对所有 ，
Var (T ( x )) , 则T ( x )是q( )唯一的UMVUE。
注： Lehmann-Scheffe定理实际上给出了两
种寻找UMVUE的方法，但首先必须知
道完全充分统计量 T ( x )。
h(T ( x )) （1）若h(T ( x ))是q( )无偏统计量，则 也是q( )的UMVUE。即寻找完全充分统
特别地，当q( ) 时，对任一T ( X ) U , 有
1 Var (T ( X )) . I ( ) 1 通常称量 为Cramer-Rao下界。 I ( )
注意：（1）在以上三个不等式中
I ( ) nI1 ( ) 其中I1 ( ) E ( ln p( X 1 , )) 2 , p( x1 , )为总体 的密度函数或分布率。
任一统计量，则对 T ( x ) p( x, )，积分和微
分可交换次序，即 T ( x ) p( x , )dx1 dxn T ( x ) p( x , )dx1 dxn 当仅有（1）成立时，我们可以定义所谓的
ln p( x , ) ln p( x , ) Var E I ( )