stat05数理统计

Var ( ( x )) E ( ( x ) q( )) E ( ( x ) T ( x ) T ( x ) q( ))
2
2
2
E ( ( x ) T ( x )) E (T ( x ) q( ))
2 E (( ( x ) T ( x ))(T ( x ) q( ))
如果R( , T ) ，则MSE由T的均值和方差
确定，即
2
R( , T ) Var (T ( x )) b ( , T ),
2
其中
b( , T ) E (T ( x ) q( )),
（bias）
称b( , T )为用T ( x )估计q( )产生的 偏差。
n
k n (1 ) g k 0 n k 1
n n
k
令E ( g ( x )) 0，有
23
k n g n k 1 0. k 0
2 2
其均值 和方差 的MLE估计为
1 X Xi , n i 1
n
1 n 2 2 ( Xi X ) . ˆ n i 1
试讨论它们的无偏性。
容易验证 X 是无偏的。 2 n 2 ˆ 因为 ～ ( n 1) 2
解

9
且E (
) n 1，所以 n 1 2 2 E ( ) . ˆ n 2 2 故 是 有偏估计。然而 ˆ n 2 2 E( ) . ˆ n 1 2 的无偏估计为 这样 1 n S2 ( X i X )2 . n 1 i 1
令S ( x ) q( 0 ), 则R( 0 , S ) 0，这样
R( 0 , T ) E (T ( x ) q( 0 )) R( 0 , S ) 0,
2
0

即T ( x ) q( 0 ). 由 0的任意性，因此这样 T ( x )

不存在。
平凡估计
定理1（存在性）
设参数 q( ) 是可估的，则
T ( x ) U q是 q( ) 一致最小方差无偏估计的充分
必要条件是对任意的T0 ( x ) U 0，等式
E (T0 ( x )T ( x )) 0
对所有的 都成立。
15
推论 设T1 ( x ) 和T2 ( x ) 分别是可估函数q1 ( ) 和
这些就是我们下面需要讨论的主题。
13
二、一致最小方差无偏估计
设统计模型为{ P , }，q( )是可估
q 参数， U q是q( )的无偏估计类， ( )的一致
最小方差无偏估计定义如下。
定义2
如果存在无偏估计 T ( x ) U q，使得
Var (T ( x )) Var ( S ( x ))
E ( g (T )) 0 成立时，必成立 g (T ) 0，则称
统计量 T ( x )是 完全的(Complete) 。
22
例3
设x1 , x2 ,, xn是来自两点分布 b(1, )的
样本(0 1)， 证明x是完全统计量。 证明 因为 i 1 xi 服从b(n, )，所以 n k n k nk E ( g ( x )) g (1 ) k 0 n k
2
18
但
E (( ( x ) T ( x ))(T ( x ) q( )) E { E [(( ( x ) T ( x ))(T ( x ) q( )) | S ( x )]} E {(T ( x ) q( )) E [(( ( x ) T ( x )) | S ( x )]} 0
这是因为
E [(( ( x ) T ( x )) | S ( x )] E [ ( x ) | S ( x )] E [T ( x ) | S ( x )]
T ( x) T ( x) 0
19
这样
Var ( ( x )) E ( ( x ) q( ))
2
2
E ( ( x ) T ( x )) E (T ( x ) q( )) E (T ( x ) q( )) Var (T ( x ))
2
2
由此定理可知，利用充分统计量可以降低 无偏估计量的方差。因此，为了寻找UMVUE， 可以通过取充分统计量的条件期望（它是充分 统计量的函数且是无偏的）来缩小无偏估计类。
T 可知h(T ( x )) U q 。 这样可以在充分统计量
T 的函数类 U 中寻找UMVUE。 但可能不
21
唯一。 为了在概率意义下确定唯一性，还需 对统计量提出合理的要求， 这便是统计量的 完全性。
定义3
设g ( t )是定义在统计量 T ( x )的值域上
如果对所有的 ， 的任一实值函数，
， 则对所有的 ，有
P {T ( x ) S ( x )} 1
即在概率1下一致最小方差无偏估计是唯一。
16
定理3
设统计模型为{ P , }，S ( x )是其充
分统计量， ( x )是q( )的无偏估计量，令
T ( x ) E ( ( x ) | S ( x )),
2
10
n 2 ˆ
注意：
（1） 无偏估计可能不存在。 如果参数 q( )的无偏估计存在，则称 q( ) 是可估的。
若无特别声明，均认为 q( ) 是可估参数。
（2） 对可估参数 q( )，无偏估计一般是不唯
一的。 （3） 无偏估计不一定是好的估计，即它可能 是非容许的。
11
（4）在函数变换下，无偏性可能消失，即
则T ( x )也是q( )的无偏估计量， 且对所有的
, 有
Var (T ( x )) Var ( ( x )).
17
证明： 由条件期望的性质，有
E (T ( x )) E ( E ( ( x ) | S ( x ))) E ( ( x )) q( ),
所以T ( x )也是q( x )的无偏估计。
q2 ( ) 的一致最小方差无偏估计， 则对任意常
数 a 和 b ， aT1 ( x ) bT2 ( x ) 是 aq1 ( ) bq2 ( )的一 致最小方差无偏估计。
定理2（唯一性）
设参数 q( ) 是可估的，且
T ( x )和 S ( x )都是 q( ) 的一致最小方差无偏估计
参数， X 1 , X 2 ,, X n是来自总体的样本， T
是一个统计量，如果对 所有的 有
E (T ( X )) q( )
成立，即 b( , T ) 0, 则称T ( X )是参数 q( )的
无偏估计量(Unbiased Estimate)。
8
例2
设总体 X服从正态分布 N ( , )，
估计量的优良性准则
一、均方误差的准则 二、一致最小方差无偏估计
1
一、均方误差准则
假设用 T ( x )作为参数 q( )的估计量，评价估
计优劣的一个自然准则可定义如下：
MSE (T ) R( , T ) E (T ( x ) q( ))2
称上式为均方误差， 简记为MSE。
(Mean Squared Error)
p( x , ) c( w )h( x ) exp{ wkTk ( x )},
k 1 m
其中 w w ( ) ( w1 ( ),, wm ( )) R , n n T ( x ),, T ( x ) . (T1 ( x ),, Tm ( x )) 1 i m i i 1 i 1 如果有内点，则统计量 (T1 ( x ),, Tm ( x ))是
20
若令
T U q { E ( ( x ) | T ( x )) : all ( x ) U q } U q T T 则UMVUE应属于 U q . 而U q 实际上是由 U q中
（若存在）
充分统计量的所有函数组成的类， 这是因为
若h(T ( x )) U q , 则由
E ( h(T ( x )) | T ( x )) h(T ( x ))
用Gq 表示q( )所有可能估计组成的类 ，如果
在Gq中存在一个元 T 使得对任一 T Gq，有
R( , T ) R( , T )
对所有的 成立，则T ( x )应是q( )的最好

估计。
5
遗憾的是，这样的估计 T 并不存在。 因为

倘若这样的估计 T ( x ) 存在， 那么对任一 0 ，
12
由定义1可知无偏估计的均方误差就是它
方差，即
R( , T ) Var (T ( X )).
在均方误差准则下，既然最好的估计不存
在， 那么现在的问题是对无偏估计类 U q而
言，同样在均方误差（方差）准则下，最好 的无偏估计（一致最小方差无偏估计）是否 存在？ 若存在，它是否是唯一的？ 如何求？
对而言， ˆ是无偏的，但 q(ˆ )可能是 q( )
的有偏估计。 设 q( ) 是可估参数， 令
U q {T ( x ) : E (T ( x )) q( ),Var (T ( x )) , all }
即U q 表示参数 q( )的所有无偏估计组成的 类.
m
完全充分的。
证明可参见陈希孺著《数理统计引论》
25
例4
设总体 X服从对数正态分布 LN ( , ),
2
x1 , x2 ,, xn是简单样本，求完全统 计量。
解 对数分布密度函数为
(ln x )2 p( x; ) exp 2 2 x 2 1