最小方差无偏估计

xi 2
−
5s
2
,
ϕ

=0
，所以
1 n
n i =1
xi 2
− 5s2
是
µ 2 − 4σ 2 的ቤተ መጻሕፍቲ ባይዱ小方差无偏估计。
7.
设总体的概率函数为
p(x;θ
)
，满足定义
6.3.1
的条件，若二阶导数
∂2 ∂θ 2
p(x;θ ) 对一
切的θ ∈ Θ 存在，证明费歇信息量
I (θ ) = −E( ∂2 ln p(x;θ )) ∂θ 2
2.3 节 最小方差无偏估计 内容概要
1、一致最小方差无偏估计
设θˆ 是θ 的一个无偏估计，如果对另外任意一个θ 的无偏估计θ~ ，在参数空间 Θ = {θ}
上都有
Varθ (θˆ) ≤ Varθ (θ~)
则称θˆ 是θ 的一致最小方差无偏估计，简记为 UMVUE。
2、判断准则
设 θˆ = θ (x1, , xn ) 是 θ 的 一 个 无 偏 估 计 ， Var(θˆ) < ∞ 。 如 果 对 任 意 一 个 满 足
分为 0 的项，有
∫ ∫ ∑ ( ) ∑ ∞ −∞
ϕ x ⋅ ∞ n 2
−∞ i=1 i
2πσ 2
−n 2
exp
−
1 2σ
2
n i=1
xi2
+
nx σ2
µ
−
nµ 2 2σ 2


dx1
dxn = 0
∑ ( ) n
这表明 E(ϕ ⋅ xi2 ) = 0 ，由此可得到 E s2ϕ = 0 ，因而
注意到 g = E(gˆ | T ) ，这说明
E ( g − g ) T = E(g T ) − E E ( g T ) T = E(g T ) − E ( g T ) = 0 ，
于是
E[( g − g )( g −θ )] = E{E ( g − g )( g −θ ) T } = E{( g −θ ) E ( g − g ) T } = 0
则称该期望 I (θ ) 为总体分布的费歇 (Fisher) 信息量。
如果二阶导数对一切θ ∈ Θ 都存在，则 I (θ ) 还可用下式计算
I
(θ
)
=
−E

∂2 ∂θ 2
ln
p
(
x;θ
)
。
5、常用分布的费歇信息量。
二点分布 b(1,p) 的费歇信息量 I ( P) = [P(1− ]P) −1
泊松分布 p (λ ) 的费歇信息量 I (λ ) = λ −1
指数分布 Exp (λ ) 的费歇信息量 I (λ ) = λ 2
正态分布 N ( µ,1) 的费歇信息量 I ( µ ) = 1
( ) ( ) 正态分布 N
0,σ 2
的费歇信息量 I
σ2
=1 2σ 4
( ) ( ) 正态分布 N µ,σ 2 的费歇信息量（信息矩阵） I µ,σ 2 = 1/σ 2 0
因而 MSE ( gˆ ) = E ( gˆ − g )2 + MSE ( g ) ≥ MSE ( g )
2. 证明：若θˆ 是θ 的 UMVUE，则对任一满足 Eθ (ϕ(x)) = 0 且 0 < Varθ (ϕ(x)) < ∞ 的 ϕ(x) 有
Covθ (θˆ,ϕ(x)) = 0 ， θ ∈ Θ
∑ 解：（1）
上题已经证明了 x
和 s2
=
1 n −1
n
( xi
i=1
− x )2
分别是 µ
和σ 2 的UMVUE ，则
由本节习题 3 知 3x + 4s2 是 3µ + 4σ 2 的最小方差无偏估计。
( ) （2）对任意一个 0 的无偏估计ϕ （即 Eϕ = 0 ）有 Cov x 2,ϕ = 0 （见本节第 5 题证
以获得一个新的无偏估计θ = E(θˆ | T ) ，且方差比原估计的方差要小；
考虑θ 的估计时，只需要在其充分统计量的函数中寻找即可，该说法对所有统计推
断都是正确的。这便是充分性原则。
4、费歇信息量 I (θ )
设总体的概率函数 p(x;θ ),θ ∈ Θ 满足下列条件：
（1）参数空间 Θ 是直线上的一个开区间；
（2）支撑 S = {x : p(x;θ ) > 0}与θ 无关；
（3）导数 ∂ p(x;θ ) 对一切θ ∈ Θ 都存在； ∂θ
∫ ∫ （4）对 p(x;θ ) ，积分与微分运算可交换次序，即 ∂ ∞ p(x;θ )dx = ∞ ∂ p(x;θ )dx
∂θ −∞
−∞ ∂θ
1
（5）期望 I (θ ) = E[ ∂ ln p(x;θ )]2 存在 ∂θ
⋅
p
(
x;θ
)
dx
=
E

∂2
ln p ( x;θ
∂θ 2
)

则
∫ ∫ ∏ Eϕ = ∞ −∞
∞
n
ϕ⋅
−∞ i =1
1 2π σ
exp −
( xi − µ )2
2σ 2
dx1
dxn = 0
即
∫ ∫ ( ) ∑ ∞ −∞
∞ −∞
ϕ⋅
2πσ 2
−n 2
exp
−
1 2σ
2
n i =1
xi2
+
nx σ2
µ
−
nµ 2 2σ 2


dx1
∂ ln p ( x;θ )
证：记 Sθ =
∂θ
，则
ESθ
=
∫∞ −∞
p
(
1 x;θ
)
⋅
∂p
( x;θ
∂θ
)
⋅
p ( x;θ
) dx
=
∫∞ −∞
∂p ( x;θ
∂θ
)
dx
=
∂ ∂θ
∫∞ −∞
p ( x;θ ) dx
=
0
所以 ∂ESθ = 0 。另一方面， ∂θ
6
∫ ∫ ( ) ∂ESθ = ∂
∂θ ∂θ
由上题结论有 C ov (Ti ,φ ) = 0, i = 1, 2 ，于是 E (aT1 + bT2 ) = aθ1 + bθ2 Cov (aT1 + bT2 ,φ ) = aC ov (T1,φ ) + bC ov (T2 ,φ ) = 0
因此 aT1 + bT2 是 aθ1 + bθ2 的 UMVUE。
+
nx σ2
µ
−
nµ 2 2σ 2


dx1
dxn
∫ ∫ ( ) ∑ ∞
− −∞
∞ −∞
nx σ2
⋅
nµ σ2
ϕ
⋅
2πσ 2
−
n 2
exp
−
1 2σ
2
n i =1
xi2
+
nx σ2
µ
−
nµ 2σ
2 2

dx1
dxn = 0
( ) 由此可以得到 E x 2ϕ = 0 ，下一步，将（*）式两端对σ 2 求导，略去几个前面已经指出积
∞ −∞
Sθ
p
(
x;θ
)
dx
=
∞∂ −∞ ∂θ
Sθ ⋅ p ( x;θ ) dx
∫=
∞
−∞
∂Sθ ∂θ
⋅
p ( x;θ
)+
Sθ
⋅
∂p ( x;θ )
∂θ
dx
=
∫∞ −∞
∂2
ln p ( x;θ
∂θ 2
)
⋅
p
(
x;θ
)
dx
+
∫∞ −∞

∂
ln
p ( x;θ
∂θ
)
2
3
Varθ0 (θ ) = Eθ0 (θ + bϕ(x) −θ )2 = Eθ0 (θ −θ )2 + b2Eθ0 (ϕ(x))2 + 2bEθ0 ((θ −θ )ϕ(x)) = Varθ0 (θ ) + b2Varθ0 (ϕ(x)) + 2ab < Varθ0 (θ ) 这与θˆ 是θ 的 UMVUE 矛盾，这就证明了对参数空间 Θ 中任意的θ 都有 Covθ (θˆ,ϕ(x)) = 0 ， 也即定理 6.3.3 的逆也对。由此我们知道，条件“对任意满足 Eθ (ϕ(x)) = 0 的 ϕ(x) 有 Covθ (θˆ,ϕ(x)) = 0 ”是“θˆ 是θ 的 UMVUE”的充分必要条件。 3．设T1,T2 分别是θ1,θ2 的 UMVUE，证明：对任意的（非零）常数 a, b ， aT1 + bT2 是 aθ1 + bθ2 的 UMVUE。 证：由于T1,T2 分别是θ1,θ2 的 UMVUE，故 ETi = θi ，且对任意一个φ(x) ，满足 Eφ = 0 ，
0
1/(2σ 4 )
6、C-R 不等式
设T
=
T (x1,…,
xn ) 是未知参数
g(θ ) 的一个无偏估计，若
g
'(θ )
=
∂g(θ ) ∂θ
存在，则在费
歇信息量 I (θ ) 也存在的条件下有
Var(T ) ≥ [g '(θ )]2 /(nI (θ ))
上式称为克拉美-罗（C-R）不等式，[g '(θ )]2 /(nI (θ )) 称为 g(θ ) 的无偏估计的方差的 C-R 下界，简称 g(θ ) 的 C-R 下界。特别，对θ 的无偏估计θˆ ，有Var(θˆ) ≥ (nI (θ ))−1 。