2.3最小方差无偏估计和有效估计

∞ 0
[2
n 2
Γ (n
2
)]−1 t 2 e −
t 2
t
n
2
−
1
d
t
=
n(n
+
2)
从而 V2
=
3 n(n +
T 2为3σ 2)
4的无偏估计。又 V1和V2
都是充分统计
量T 的函数，即
E(V1 T ) = V1及E(V2 T ) = V2.
故V1，V2分别是σ 和3σ 4的最小方差无偏估计。
二、有效估计 最小方差无偏估计是一种优良的估计，在所有无偏
度为
n
L( x;θ ) = ∏ f ( xi;θ ) ， 且记 ∫ ∫ dx = dx1dx2 …dxn i =1
若 g(θ ) 为参数θ 的函数，T (Χ) = T (Χ1, Χ2 , , Χn ) 为 g(θ ) 的任
一无偏估计量，则有
D[T (Χ)] ≥ [g′(θ )]2 nI(θ )
(2.24)
Eθˆ* = θ ,对一切θ ∈ Θ , Dθˆ* ≤ Dθˆ ,对一切θ ∈ Θ
即θˆ* 是θ 的最小方差无偏估计。
证明见参考文献[1]。
3
由于θˆ∗ = E(θˆ T ) ，仍然是充分统计量且作为θ的估计 量，可称之为充分估计量，上述定理表明，要寻找θ 的最 小方差无偏估计量，只需在无偏的充分统计量类中寻找 就足够了，假若θ 的充分无偏估计量是唯一的，则这个充 分无偏估计量就一定是最小方差无偏估计量。那么，在 什么情况下，它才是唯一的呢？显然，如果它是完备统 计量，便可保证其唯一性，
n−1 − x
y2 e 2
∫ ( ) ∴ E(
∞
y) = 0
y
⋅
⎛ ⎜ ⎝
2
n 2
Γ(n
2
)
⎞ ⎟ ⎠
−1
n−1 − y
y 2 e 2 dy
=
2Γ
⎛ ⎜⎝
n
+ 2
1
⎞ ⎟⎠
Γ(n 2)
−1
从 而 V1 =
1
( ) Γ ( n 2 )T 2 为 σ 的 无 偏 估 计 ，
2Γ
n+1 2
∫ 同 理 E (T 2 σ 4 ) =
i=1
⎠
i=1
为σ 2 的 MVUE
(2) X = ( X 1 ,… , X n )的联合分布密度为
∑ L( x,σ 2 ) = (σ
2π
)
−
n
exp
⎧ ⎨
−
⎩
1 2σ 2
n i =1
X
2 i
⎫ ⎬ ⎭
=
c(θ )exp{b(θ )T ( x)}h( x)
6
n
∑ 其中h( x) = 1,T ( x) =
定理 2.8 设总体 X 的分布函数为 F( x;θ ) ，θ ∈ Θ 是未知参 数 ， (Χ1, Χ2, , Χn) 是 来 自 总 体 X 的 一 个 样 本 。 如 果 T = T (Χ1, Χ2 , , Χn ) 是θ 的充分统计量，θˆ 是θ的任一无偏 估计，记θˆ∗ = E(θˆ T ) ，则有
( ) ∑ 由L(Xi ,σ 2 )的表达式可得，c(θ ) =
2π
−n
(σ
2
−
)
n 2
,T
=
1 n
n i =1
X
2 i
,
b(θ
)
=
−
n 2σ 2
, h(X1,…,
Xn )
=
1
∑ ∑ ∑ ∴ T 为充分完备统计量 ∴ σˆ 2*
=
E
⎛ ⎜
n
−1
n
X
2 i
n−1
n
X
2 i
⎞ ⎟
=
n−1
n
X
2 i
⎝
i=1
估计中它的方差最小。然而，一个更深入的问题是：无 偏估计量的方差是否可以任意小？如果不能任意小，那
7
么它的下界是什么？这个下界能否达到？信息不等式和 有效估计将回答这些问题。
1.信息不等式
设总体 X 的分布密度为 f ( x;θ ) ， Χ = (Χ1, Χ2 , , Χn ) 为
其样本，x = ( x1, x2 , , xn ) 为其样本值。样本的联合分布密
由定义 2.4 知，最小方差无偏估计(MVUE)是在无偏 估计类中，使均方误差达到最小的估计量，即在均方误 差最小意义下的最优估计。它是在应用中，人们希望寻 求的一种估计量。 定理 2.7 设θˆ( X ) 是θ 的一个无偏估计， Dθˆ < ∞ ，若对任 何满足条件： EL( X ) = 0 , DL( X ) < ∞ 的统计量 L( X ) ，有
xi
) exp{−
1 2σ
2
n i =1
(Xi
−
µ)2 }dx
=
0
故有 E{L( X )Χ} = 0 ,所以 Χ 是 µ 的 MVUE.
式（2.15）关于 µ 求二阶导数，得
∫ ∫ ∑ ∑ …
n
Li (
i =1
xi )2
exp{−
1 2σ 2
n i =1Biblioteka (Xi−µ)2 }dx
=
0
式（2.15）关于σ 2 求导，得
（*）
2
∫ ∫ ∑ ∑ …
n
L
i =1
( xi
−
µ )2
exp{−
1 2σ
2
n i =1
( xi
−
µ)2 }dx
=
0
（**）
利用
n
∑
( xi
−
µ )2
=
n
∑
( xi
−
µ )2
−
n( x
−
µ )2
,式(2.15)，（*），(**)
i =1
i =1
∫ ∫ ∑ ∑ 可得
…
n
L
i =1
( xi
−
x )2
exp{−
定理 2.9 设总体 X 的分布函数为 F ( x;θ ) ,θ ∈ Θ ， (Χ1, Χ2 , , Χn ) 是来自总体 X 的一个样本。如果 T = T (Χ1, Χ2 , , Χn ) 是θ 的充分完备统计量，θˆ 为θ 的一个 无偏估计，则 θˆ∗ = E(θˆ T )
为θ 的唯一的最小方差无偏估计。
其中 x(1) , x(n) 为最小、最大次序统计量的取值, I(0.θ )( x) 为示
性函数，即
I(0,θ ) ( x) =
⎧1, ⎨⎩0,
0
<
x <θ 其它
5
由因子分解定理 2.3 知，X(n) 是θ 的充分统计量。其分布
密度为
x ⎧ n
f X(n)
(
x)
=
⎪⎨θ ⎪⎩
n
n−1, 0 < x < θ 0, 其它
X
2 i
, b(θ
)
=
−(2σ
2 )−1 , c(θ
)
=
(
2π σ )− n
i=1
由定义它是指数型分布族，从而
n
∑ T( x) =
X
2 i
是σ
2的一个充分完备统计量
i=1
∑ 令y =
1 T(x) = σ2
1 σ2
n i =1
X
2 i
服从χ
2
(n)
∴
有f
(
y)
=
⎛ ⎜ ⎝
n
22
Γ(n
2
)
⎞−1 ⎟ ⎠
教材第二章习题 17：
∏ ( ) ∑ f (x) =
1 2π
− x2
e 2σ 2 , L( X i ;σ 2 ) =
n i =1
f (Xi) = −
2π
−n
⋅
(σ
2
) e − n 2
−1 2σ 2
T
,T
= n−1
n
X
2 i
i =1
(1) : 易验证T为σ 2的最大似然估计,ET = n−1nEX 2 = DX + (EX )2 = σ 2为无偏估计
证明 设θˆ1 和θˆ2 是θ 的任意两个无偏估计，由定理 2.7 知，E(θˆ1 | T ) 和 E(θˆ2 | T ) 也是θ 的无偏估计，即对一切θ ∈ Θ ， 有 Eθ E(θˆ1 | T ) = θ ， Eθ E(θˆ2 | T ) = θ
且
DθE(θˆ 1 | T) ≤ Dθθˆ 1 , DθE(θˆ 2 | T) ≤ Dθθˆ 2
设 g(θ ) 为参数θ 的函数，T (Χ) = T (Χ1, Χ2 , , Χn ) 为 g(θ ) 的任 一无偏估计量，则有
E[T ( X )] = ∫ T ( x)L( x;θ )dx = g(θ )
后一个等式两边对θ 求导，得
∫
T
(
x)
∂L( x;θ ∂θ
)dx
=
g′(θ
)
（2.20）
又
∫ L( x;θ )dx =1
− EL( X )][θˆ( X ) − Eθˆ( X )]}
= DL( X ) + Dθˆ( X ) ≥ Dθˆ( X )
故θˆ( X ) 是θ 的 MVUE。
例 2.19 设 Χ = (Χ1, Χ2 , , Χn ) 是来自正态总体 N (µ,σ 2 ) 的
一个样本，已知
Χ
和
S
*2 n
分别是
µ
和
2.3 最小方差无偏估计和有效估计