最小方差无偏估计UMVUE

泊松分布 X ~ P( ), 0. 指数分布
I ( )
1

X ~ Exp( ),
I ( ) 2
正态分布 X ~ N ( ,1),
X ~ N (0, ),
2
I ( ) 1
I ( )
2
1 2 4
0 1 2 4
X ~ N ( , ),
第六章 第三节
最小方差无偏估计
一、Rao-Blackwell定理 二、最小方差无偏估计 三、 Cramer-Rao不等式
一、Rao-Blackwell 定理
优良的无偏估计都是充分统计量的函数.
定理1: 则有
设X和Y是两个r.v.,EX=μ,VarX>0,令 ( y) E ( X | Y y)
注:如果ˆ是的有效估计, 则它也是一致最小方差无偏
估计. 反之, 却不一定成立.
综上, 求证T是g()的有效估计的步骤为:
(1) 验证T 是g( )的无偏估计,即E(T ) g ( );
(2) 计算VarT ;
(3) 计算I ( ); 而计算I ( )又可分为下面几个步骤 : I : 对总体X 的密度函数或分布列函数p( x; )求对数 ln p( x; ); ln p( x; ) II : 求 ; ln p( x; ) 2 ] 或其等价公式计算I ( ); III : 利用I ( ) E[ 2 [ g ( )] [ g ( )]2 (4) 求方差下界 : ; 比较VarT 与 nI ( ) nI ( )
所以, x是的有效估计.
例8. 设x1 ,….xn 为取自总体为正态分布N(μ,σ2)的样本, 验证 x 是μ的有效估计.
解：已证过 x 为U.E, 下求μ的C-R下界,由于 p( x, )
2
1 2 2
e

x 2
2 2
dlnp x, x x 1 2 lnp x, ln 2 , 2 2 2 d 2 2 1 1 2 X 因此, 4 X 2 2
L( ) 1

e n
i 1


n
xi
ln L( ) n ln i1
xi
n
n 1 ˆ xi x 经检验知 的最大似然估计为 n i 1 2 ˆ) Var ( ˆ E 所以它是 的无偏估计量,且
d n i 1 ln L( ) 2 d
C-R下界为
1 p(1 p) nI ( p) nN
1 1 1 Np ˆ ) E( X ) E( X ) 又 E( p E( X ) p N N N N
1 1 1 Var ( X ) p(1 p) ˆ ) Var ( x) 2 Var ( x) 2 Var ( p N n Nn N N 1 ˆ) 所以 Var ( p nI ( p ) 1 ˆ 即 p x 是p 的有效估计. N
例7 ( x1 , x2 ,
, xn )是P( )( 0)的一个样本,
证明 : x是 的有效估计
证明 : 因为x是样本均值, 故, E x EX , x是的U .E Var ( X ) Var ( x) n n
总体X的分布律为 : P{ X x}

x
i 1
ˆ | T t ), 其中t (t )=E ( xi 1
t (t 1)
故 =
T (T 1) n( n 1)
n ( n 1)
为θ的无偏估计.且 Var ( ) Var ( 1 )
二、最小方差无偏估计
ˆ是的一个无偏估计量, 若对于的任一方差 定义: 设 存在的无偏估计量 , 都有 ˆ) Var ( ) , Var ( ˆ是 的一致最小方差无偏估计, 记为UMVUE. 则称

的微分可在积分号下进行，即
g ( )

i 1



T ( x1 , x2 ,
n , xn ) ( p( xi ; ))dx1 i 1 n
dxn
i 1


T ( x1 , x2 ,
n , xn )[ ln( p( xi ; ))] i 1
x1 ,
, xn
注:定理2表明:
若无偏估计不是充分统计量的函数,则将之对充分 统计量求条件期望可得一个新的无偏估计,且它为充分统计量的函
即, 考虑点估计只需在充分统计量的 函数中进行, 这就是 — 充分性原则. 例1.设 ( x1 , , xn ) 为来自b(1,p) 的样本, 求p2的U.E
数且方差会减小.
2

1
2
1 2 nI ( ) n
Var ( x)
故 x 是达到方差下界的无偏估计.
例6 设总体X ~ b( N , p), x1 , x2 , 1 ˆ x是p的有效估计. 试证 : p N
证明: 总体X的分布为 P{ X x} C p (1 p)
x N x
, x n 为总体X 的一个样本,
p( x ; )dx
i 1
dxn
2 则有 Var (T ) [ g ( )] nI ( )
特别地对θ的无偏估计有
1 Var (T ) nI ( )
上述不等式的右端称为C-R下界, I() 为Fisher信息量.
注: (1) 定理对离散型总体也适用.只需改积分号为求和号。 (2) 在定理4条件下, 若g( ) 的无偏估计量T 的方差VarT
T 为θ的UMVUE. x n
三、罗-克拉美（Cramer–Rao ）不等式
1、 Fisher信息量的定义. 设总体X 的概率函数为p(x; ),,且满足条件: (1)是实数轴上的一个开区间;
正 则 条 件
ln p( x; ) 2 则称 I ( ) E ( ) 为总体分布的Fisher信息量.
例5. 设总体 X~Exp(1/θ),密度函数为
x 1 e p( x; ) 0
x 0, x0
0 为参数
( x1 , x2 , , xn ) 为 X 的一个样本值.
求 的最大似然估计量, 并判断它是否为达到方 差下界的无偏估计,即有效估计.
解: 由似然函数
x
x!
e , x 0,1, 2.....


.
例4: 设总体为指数分布Exp(1/θ)，即
p ( x; )
则 I ( )
1
1

.
exp{ }, x 0, 0.
x


2
注： 常见分布的信息量 I()公式
1 两点分布X ~ b(1,p) I ( p) p (1 p ) P( X x) p x (1 p)1 x , x 0,1
ln p( x; ) x ln ln x !
x!
e p( x; )
2 d ln p( X ; ) 2 X E ( X ) 1 2 I ( ) E[ ] E[ 1] 2 d 1 故 , nI ( ) n
1 可见, Var ( x) , nI ( )
1 n
如果对任一个满足 E ( x1 , , xn ) 0 的 ( x1 , , xn ), 都有
Cov ( , ) 0, ˆ是的UMVUE. 反之亦成立. 则
例2: n 设x1 ,
i 1
T xi 为θ 的充分统计量,证明:
, xn
为来自Exp(1/θ) 的样本,则
注： 一致最小方差无偏估计是一种最优估计.由定理2, 只要它存在.它一定是充分统计量的函数.一般地,若依赖 于充分统计量的无偏估计只有一个,它一定是UMVUE. Problem： 无偏估计的方差是否可以任意小? 如果不能任意小, 那么它的下界是什么?
定理3: (UMVUE准则) 设 x1 , , xn 是总体X的样本, ˆ ( x , , x ) 是θ的任一无偏估计, Var
1 def nI ( ) ˆ的效率. e( ) 为估计量 ˆ) Var (
ˆ) 1 注:显然的任一无偏估计量的效率满足 0 e(
定义:
如果的无偏估计量的效率e( ) 1, 则称为的有效估计. ˆ) 1则称 ˆ为的渐近有效估计. 如果 lim e(
n
注：
(1)I(θ)越大,总体分布中包含未知参数的信息越多。 (2) I()的另一表达式为
2 ln p( x; ) I ( ) E ( ), 2 2 p( x; ) ( 存在,满足正则条件) 2
例3:设总体为Poisson分布，即
p( x; )
则 I ( ) 1
def
(2) 支撑S {x | p( x; ) 0}与 无关; p ( x; ) (3) 存在且对中一切 有 p ( x; ) p ( x; )dx dx ln p( x; ) 2 (4) E ( ) 存在
N x
def
P( x; p)
ln P( x; p) ln C x ln p ( N x)ln(1 p)
x N
d ln P( X ; p) 2 X NX 2 所以, I ( p) E[ ] E[ ] dp p 1 p
1 Var ( X ) Np(1 p) N 2 2 E[ X Np] 2 2 2 2 2 p (1 p) p (1 p) p (1 p) p(1 p)
达到下界, 则T必为g( ) 的最小方差无偏估计. 但 是它不一定存在, 也就是说, C-R不等式有时给出 的下界过小.