第六章第三节 最小方差无偏估计

(2) 根据定理4, 若g( ) 的无偏估计量T 的方差VarT
达到下界, 则T必为g( ) 的最小方差无偏估计. 但
是它不一定存在,也就是说,C-R不等式有时给出的 下界过小.
(3)当等号成立时， T 为达到方差下界的无偏估计, 此时称T 为g(θ)的有效估计。 有效估计一定是 UMVUE.（反之不真）
(2) I()的另一表达式为
I
(
)
E(
2
ln p(x; 2
)
),
(若
2
p(x; 2
)
存在)
例3 设总体为Poisson分布，即
p(x; ) x e , x 0,1, 2.....
x!
则 I ( ) 1 .
例4 设总体为指数分布Exp(1/θ)，即
p(x; ) 1 exp{ x}, x 0, 0.
(1)是实数轴上的一个开区间
(2) 支撑S {x | p(x; ) 0}与无关;
(3) p(x; ) 存在且对中一切 有
p(x; )dx
p( x; )
dx
(4) E( ln p(x; ))2 存在
则称
I
(
)
def
E(
ln
p(x;
)
)2
为总体分布的Fisher信息量.
注：
(1)I(θ)越大,总体分布中包含未知参数的信息越多。
估计. 反之,却不一定成立.
由此, 求证T是g()的有效估计的步骤为:
(1) 验证T是g( )的无偏估计,即E(T ) g( );
第六章第三节
最小方差无偏估计
一、Rao-Blackwell定理 二、最小方差无偏估计 三、 Cramer-Rao不等式
一、Rao-Blackwell 定理 优良的无偏估计都是充分统计量的函数.
定理1: 设X和Y是两个r.v.,EX=μ,VarX>0,令
(y) E(X | Y y) 则有
E(Y ) ,Var((Y )) Var(X )
其中等号成立的充要条件为X与 (Y)几乎处处相等.
将之应用在参数估计中可得:
定理2: 设总体的概率函数为p(x;θ), x1,L , xn
是样本,T T (x1,K , xn ) 是θ的充分统计量,
对θ的任一无偏估计 ˆ $(x1,K , xn ),令% E(ˆ | T ),则
% 也是的无偏估计,且Var% Varˆ
且对中一切有
n
g( ) L
T (x1, x2 ,L , xn )
p(xi ; )dx1 L dxn
的微分可在积分号下进行，即 i1
g '( ) L
T (x1, x2 ,L
,
xn
)
n
(
i 1
p(xi ; ))dx1 L
dxn
L
T (x1, x2 ,L
, xn )[
Cov ($,) 0,
则ˆ是的UMVUE. 反之亦成立.
例2
设 n
x1
,L
, xn 为来自Exp(1/θ) 的样本,则
T xi 为θ 的充分统计量,证明:
i1
x T 为θ的UMVUE. n
三、罗-克拉美（Cramer–Rao ）不等式
1、 Fisher信息量的定义.
设总体X 的概率函数为p(x; ),,且满足条件:
X ~ N(, 2),
I () 2
I() 1
I ( 2 ) 1 2 4
1
I
(,
2
)
2
0
0
1
2
4
2、定理4 (Cramer-Rao不等式)
设总体X 的概率函数为p(x ; ),, 满足上面定义中的
条g(件)的；一x1,个…无.,x偏n 是估来计自. 总体gX (的 )一个g样(本) 存, T在(x,1,….,xn )是
t(t 1)
n(n 1)
Var ($1 )
二、最小方差无偏估计
定义 设ˆ是的一个无偏估计量,若对于的任一方差 存在的无偏估计量°, 在参数空间,都有
Var(ˆ) Var(%) 则称ˆ是 的一致最小方差无偏估计,记为UMVUE.
注：一致最小方差无偏估计是一种最优估计.由定理2, 只要它存在.它一定是充分统计量的函数.一般地,若依赖 于充分统计量的无偏估计只有一个,它一定是UMVUE.
n
ln(
i 1
p(xi ; ))]
n
p(xi ; )dx1 L dxn
i 1
则有 Var(T ) [g特'(别)]地2 对θ的无偏估计有
nI ( )
Var(T ) 1
nI ( )
上述不等式的右端称为C-R下界, I() 为Fisher信息量.
注
(1) 定理对离散型总体也适用.只需改积分号为求和号。
注:定理2表明:若无偏估计不是充分统计量的函数,则将之
对充分统计量求条件期望可得一个新的无偏估计且为充分
统计量的函数,且方差会减小. 即, 考虑点估计只需在充
分统计量的函数中进行, 这就是 — 充分性原则.
例1: 设 (x1 ,L , xn ) 为来自b(1,p) 的样本, 求p2的U.E
解：前已求过: x(或T nx) 为p 的பைடு நூலகம்分统计量
则
I
(
)
1
2
.
注： 常见分布的信息量 I()公式
两点分布X ~ b(1,p)
I ( p) 1
P(X x) px (1 p)1x , x 0,1
p(1 p)
泊松分布 X ~ P(), 0.
I () 1
指数分布 X ~ Exp(), 正态分布 X ~ N(,1),
X ~ N(0, 2 ),
3. 有效估计
定义 设ˆ是的任一无偏估计量, 称
1
e($)
def
nI ( ) Var(ˆ)
为估计量ˆ的效率.
注:显然 得任一无偏估计量ˆ的效率满足 0 e(ˆ) 1
定义
如果的无偏估计量$的效率e($) 1则称$为的有效估计.
如果lim e(ˆ) 1则称ˆ为的渐近有效估计. n
注:如果ˆ是的有效估计,则它也是一致最小方差无偏
令θ=p2 ,则
进一步改进：
ˆ1
1
x1
0
1, x2 else
1
为θ的无偏估计.
n
因为 T xi是充分统计量 ,由定理2, 从而可令
i1 $=E($1 | T ) (T ),
(t
故
)=E(ˆ1 | T
$= T (T 1)
n(n 1)
n
t), 其中t xi 可得 (t)=
i 1
为θ的无偏估计.且 Var($)
Problem： 无偏估计的方差是否可以任意小? 如果不能任意小, 那么它的下界是什么?
定理3: (UMVUE准则)设 x1,L , xn是总体X的样本,
ˆ $(x1,K , xn ) 是θ的任一无偏估计, Var$
如果对任一个满足 E(x1,K , xn ) 0的(x1,K , xn ),都有