大学课件概率论 第七章参数估计2

ˆM 2X ,ˆL Xn
试讨论这两个估计量的无偏性，有效性和相合性。
无偏性
E
ˆM
E
2 X
2 n
n
2
.
ˆM是的无偏估计量。
E ˆL E Xn 需要了解X(n)的密度函数
X的分布函数是
0
F
(
x)
x
1
x0
0 x x
利用顺序统计量的性质可得X(n)的密度函数为：
f
X
n
(
x)
n
x
n1
Var[X ]
n
其次
E
n i 1
ai X i
2
E[X ]
E
i
n 1
ai X i
n
E[
i 1
2
ai X i ]
Var
n i1
ai
X
i
n i1
n
ai2Var[ Xi ] Var[ X ]
i 1
ai2
1 Var[ X n
]n
n i 1
ai2
1 n
Var[
X
]
n i 1
ai
2
比较：若E[(ˆ1 )2 ] E[(ˆ2 )2 ]，则ˆ1比ˆ2有效.
n
n
例如 X 及 ai X i（其中 ai 1）都是E[X]的无偏
i1 n
i 1
估计，但 X 比 ai X i 有效。
首先
E[(X
i 1
- E[ X ])2 ]
E[(X
- E[X ])2 ] Var[X ]
E[X ]
E
n
1
1
n i1
(
X
i
X
)2
2
这也是为何用修正样本方差，而非样本方差的原因
有效性
由于方差是度量随机变量η落在它的均值E[η]的邻域内的 集中或分散程度的。所以一个好的估计量η，不仅应该 是待估参数θ的无偏估计，而且应该有尽可能小的方差。
设 是 的无偏估计量，当样本容量n固定时，使 E[(ˆ )2 ] 达到最小的 称为 的有效估计.
估计量优劣性的评价
标准:无偏性、有效性、相合性、充分性与完备性*
无偏性
无偏估计量：设 是 的估计量，如果 E() , 则称 是 的无偏估计量。
ˆ X1, X 2, , X n 具有无偏性的意义是：
虽然ˆ X1, X2, , Xn 取值由于随机性而偏离
的真值，但取其平均数(数学期望)却等于的真值，
第一组 第二组 第三组
1455 1400 1500
1502 1390 1510
1370 1408 1460
1610 1512 1505
1430 1390 1425
均值 1473.4 1420 1480
用样本均值 X 来估计参数的值
是一个真实存在的确定的数，只是我们不知道确切的值 取样本1，得到估计值1473.4 取样本2，得到估计值1400 取样本3，得到估计值1480
1 n
n
ik
i 1
EM k
1 n
n i 1
Eik
E k
Var[Mk ]
1 n2
n i 1
Var[ik
]
Var[
n
k
]
根据切比雪夫不等式
P{ M k EM k
}
Var[M k
2
]
Var[ 2n
k
]
lim n
P{ M k
E k
} 0
（3）证明很难，这里不介绍了
补充例题
例：设总体XX ~UU(0, )，,有矩估计量和极大似然估计量
.
Var X n
Var
ˆL
n
n
1
2
Var
X
n
n
n
1
2
E
X
2
n
2
E X n
n
n
1
2
0
x2n x
n1
1
dx
n 2
n 1
2
n
12
n
n
n
2
2
n
2
n 1
2
2
n(n
2)
Var ˆL Var ˆM
这个例子中的极大似然估计更有效
相合性 最后看两个估计量的相合性: 之前证明过：样本均值是总体期望的相合估计量. ˆM 是样本均值的2倍，是总体期望的2倍.
1 n
Var[ X
]
算术平均≤平方平均
一致最小方差无偏估计量
1. 要求无偏 2. 最有效
定义：设总体X~FX(·,θ).若T0(X1, …Xn)为g(θ)的无 偏估计量，且对g(θ)的任意无偏估计量T(X1, …Xn)， 都有
Var [T0 ] Var [T ]
则称T0(X1, …Xn)为g(θ)的一致最小无偏估计量 注意：没有普遍可行的构造办法
1
0
0 x
other
直接计算有：
E ˆL E Xn
0
xn
x
n1
1
dx
n
n
1
ቤተ መጻሕፍቲ ባይዱ
不是无偏估计量，只是渐近无偏估计量.
但
ˆL
n 1 n
X(n)
是无偏估计量.
有效性
现在分析 ˆM
2X ,ˆL
n 1 n Xn
的有效性
Var
ˆM
=Var
2 X
4 n2
Var
X1
4 n2
2
n 12
2
3n
可以证明：
1)、样本均值 是的相合估计量。
2)、样本的k阶原点矩M k是总体的k阶原点矩
E[ k ]的相合估计量 3)、样本方差S 2是 2的相合估计量。
证明（1） {n} 独立同分布 由辛钦大数定理，有
lim P( E ) 0 n 即 lim P( ) 0 n
（2） Mk
即无系统偏差
若 lim E[ˆ] ,则ˆ称为的渐近无偏估计量. n
例: 设总体的数学期望E[X]=μ和方差Var[X]=σ2都存在，
证明：样本均值 X
修正样本方差
SS
*2 nn
n
1 1
n i1
(Xi
X
)2
分别是E[X]、Var[X]的无偏估计，
而Sn2是Var [ X ]的渐近无偏估计量 . 证明：之前已经计算了样本均值和修正样本方差的期望
故矩法估计量是相合估计量.
极大似然估计量在一般情况下也有相合性，证明很 复杂，我们这里就不给出了.
参数的区间估计
回忆：
点估计：如果构造一个统计量 (X1, X2, , Xn )
来作为参数的估计量，则称为参数的点估计。 点估计总是有误差的，但没有给出偏差的程度，
引例 设某厂生产的灯泡使用寿命X~N（，100），现 随机抽取5只，用样本均值估计其平均寿命。测三组数据：
相合性
我们不仅希望一个估计是无偏的，且具 有较小的方差，有时还希望当样本容量无限增 大时，即观察次数无限增多时，估计能在某种 意义下越来越接近被估计的参数的真实值，这 就是所谓一致性的要求。
定义 设总体X ~ FX (, ), ,并设T (X1, X 2,, X n )
为g( )的估计量，如果对 0有
lim
n
P(
T
X1,
X
2
,
, Xn g( ) ) 0,
称T X1, X 2, , X n 是g( )的一致估计量或相合估计量。
注意：
lim P(ˆ ) 1
n
依概率收敛到真值
lim P(ˆ ) 0
n
设总体的数学期望E[ ]＝与方差Var[ ]＝ 2
都存在， 1 , 2 , , n是的样本。