7.2点估计的评价标准概率论与数理统计习题和课件(历史上最好的概率论与数理统计)

i =1 i =1
2
n
n
利用柯西不等式
n 2 i n 2
n 2 2 ai bi ai bi i =1 i =1 i =1 n n
n 2
有
c ˆ1 ) ˆ) ci2 var( = Var ( n n i =1
例1
x 1 - e X ~ f ( x; ) = 0
x 0, x0
0 为常数
则 X 是 的相合估计。
证明： 经过简单计算可得
E X = , Var ( X ) =
2
n
.
于是
lim D( X ) = lim n
n

2
n
=0
所以 X 是 的相合估计量，证毕。
特别地,
样本均值 X 是总体期望 E( X ) 的无偏估计量
1 n 2 样本二阶原点矩 A2 = X i 是总体二阶 n i =1
原点矩 2 = E ( X 2 ) 的无偏估计量。
例2 设总体 X 的期望 E( X )与方差 D( X )存在,
( X 1 , X 2 ,L, X n ) 是 X 的一个样本, n > 1，证明：
所以 E ( X h ) = x
0

nx n-1

n
dx
n = , n1
n1 故有 E Xh = , n
n 故 max( X 1 , X 2 ,L, X n ) 也是 的无偏估计量. n1
有效性
定义 设
ˆ = ( X , X ,L, X ) 1 1 1 2 n
ˆ = ( X , X ,L, X ) 2 2 1 2 n
都是总体参数 的无偏估计量,
ˆ ) Var( ˆ) Var( 1 2
且至少有一个 使得上述不等号严格成立,
则称 ˆ1 比 ˆ2 更有效。
例1
设( X 1 , X 2 ,L, X n ) 为 X 的一个样本,密度函数为
证明: 不论 X 服从什么分布, 是 k 的无偏估计量。
1 n k Ak = X i n i =1
证
由于 E( X i ) = k i = 1,2, L, n 因而
k
1 n k 1 n E ( Ak ) = E ( X i ) = E ( X ik ) n i =1 n i =1
1 = n k = k n
n -1 2 = n
2
1 n 2 2 E ( X X ) = 故 证毕。 i n - 1 i =1
例3 设总体 X 的密度函数为
x 1 - e f ( x ; ) = 0
x 0, x0
0 为常数
( X 1 , X 2 ,L, X n )
2
所以, X 比
n min{X1, X 2 ,L, X n } 更有效。
例2 设总体期望为 E( X )= , 方差 D( X )= 2
( X 1 , X 2 ,L, X n ) 为总体X 的一个样本。
(1)设常数 证明 (2) 证明
1 ci i = 1,2, L, n. n
n
c
i =1
证
因为 E ( 2 X ) = 2 E ( X ) = 2 E ( X ) = 2

2
=,
所以 2 X 是 的无偏估计量.
因为 X h = max( X1 , X 2 ,L, X n )的概率密度为
nx n-1 n , 0 x , f ( x) = 其他 0,
= 1 - P( X1 z) P( X 2 z)LP( X n z)
0 nz = 1 - ( P( X i z )) = i =1 1 e
n
z0 z0
0 f Z ( z ) = n - nz e
z0 z0
n 即 Z ~ E
n 1 = n 1 D X , ˆ D( 2 ) = D Xh h n n
n1 又因为 E ( X h ) = , n
2
E( X h ) =
2

n
0

n
x
n 1
n dx = 2, n2
D( X h ) = E ( X h ) - [ E ( X h )]2
§6.2
点估计的评价标准
对于同一个未知参数, 不同的方法得 到的估计量可能不同,于是提出问题 应该选用哪一种估计量?
用什么标准来评价一个估计量的好坏? (1) 相合性
常用 标准 (2) 无偏性 (3) 有效性
相合性
定义
设ˆ = ˆ( X 1 , X 2 , L , X n ) 是总体参数 的 估计量。若对于任意的 ，当n 时,
ˆ ( X , X ,L, X ) = 1 2 n
ˆ) 存在, 且对于任意 E (

Θ 都有
ˆ) = E (
则称 ˆ 是 的无偏估计量，否则称为有偏估计。
例1
k = E ( X ) 存在 设总体X 的 k 阶矩 k
( X 1 , X 2 ,L, X n ) 是总体X 的样本,
为 X 的一个样本。
证明
X 与 n min{X 1 , X 2 ,L, X n }都是 的无偏
估计量，
1 证 X ~ E
E( X ) =
E( X ) = E( X ) =
故
X 是 的无偏估计量。
令 Z = min{X 1 , X 2 , L, X n }
FZ ( z) = 1 - P( X1 z, X 2 z,L, X n z)
2
n 2 = , 2 ( n 1) ( n 2) ˆ2 ) = 故 D( 1 2, n( n 2)
ˆ2 ) D( ˆ1 ), ˆ2 较 ˆ1 有效. 又n 2, 所以 D(
均方误差
对于两个无偏估计，我们可以通过比较它们的 方差来比较哪个更好，但对有偏估计来讲，比较 方差意义不大，我们关心的是估计值围绕真值波
由大数定律知,
1 n 2 A2 = X i 依概率收敛于E ( X 2 ), n i =1 1 n X = X i 依概率收敛于E ( X ), n i =1
故 B2 = A2 - X 2 依概率收敛于E ( X 2 ) - [ E ( X )]2 = 2 , 所以 B2 是 2 的相合估计量 .
在一定条件下, 极大似然估计具有相合性
定理 1
n = n ( X , X ,..., X ) 为 设 1 2 n
的一个估计量。 如果
ˆ ) = , lim var( ˆ ) = 0, lim E ( n n
n n
n = n ( X , X ,..., X ) 为 的相合估计。 则 1 2 n
2
E( X i ) = E( X ) = , D( X i ) = D( X ) =
E ( X ) = E ( X ) = , D( X ) =
2

2
n
因而
n n 1 1 2 2 2 E ( X i - X ) = E ( X i ) - E ( X ) n i =1 n i =1 2 2 2 2 = ( ) - ( ) n
例5 设一个试验有三种可能结果，其发生概率
分别是 p1 = 2 , p2 = 2 (1 - ), p3 = (1 - )2， 现做了
n次试验，观测到三种结果发生的次数分别为n1， n2，n3，可以采用频率替换方法估计θ。由于可 以有三个不同的θ的表达式：
= p1 , = 1 - p3 , = p1 p2 / 2
n 1 (1) S n2 = ( X i - X ) 2不是 D( X ) 的无偏估计量; n i =1
1 n 2 (2) S = 是 D( X ) 的无偏估计量。 ( X X ) i n - 1 i =1 n 1 n 1 2 2 2 ( X X ) = X X 证 前已证 i i n i =1 n i =1
结论
算术均值比加权均值更有效.
例如 X ~ N( , 2 ) , ( X 1 ,X 2 ) 是一样本。
2 1 X1 X 2 3 3 1 3 ˆ2 = X1 X 2 4 4 1 1 ˆ3 = X1 X 2 2 2 ˆ1 =
都是 的无偏估计量
ˆ 3 最有效。 由例2 (2) 知
1 n 所以 X = X i 是 的相合估计量. n i =1
n 1 1 n 2 2 2 又 B2 = ( X i - X ) = ( X i - 2 X i X X ) n i =1 n i =1
1 n 2 = X i - X 2 = A2 - X 2 , n i =1
( A2是样本二阶原点矩 )
ˆ 依概率收敛于 , 即 0,
ˆ - ) ) = 0 lim P (
n
则称
ˆ 是总体参数 的相合估计量。
相合估计量仅在样本容量n 足够大，才显 示其优越性。
关于相合性的常用结论
样本 k 阶矩是总体 k 阶矩的相合估计。 由大数定律证明
矩法得到的估计量一般为相合估计量
E (Z ) =

n
E (nZ ) =
故nZ 是 的无偏估计量。
例4
设总体 X 在 [0, ]上服从均匀分布 , 参数 0,
X 1 , X 2 ,L, X n 是来自总体X 的样本，试证明 2X 和 n 1 max(X 1 , X 2 ,L, X n ) 都是 的无偏估计 . n
从而可以给出θ的三种不同的频率替换估计，分 别是