估计量的三大评选标准
合集下载
估计量的评选标准与区间估计
式的估计称为区间估计。
置信区间 设总体X的分布函数F(x;)含有一个未知 参数. 对于给定值a(0<a<1), 若由样本X1 ,X2 ,…,Xn确定 的两个统计量 ( X1, X 2 ,..., X n )和 ( X1, X 2 ,..., X n ) 满足
P{ ( X1, X 2 ,..., X n ) ( X1, X 2 ,..., X n )} 1 a, 则称随机区间 ( , )是的置信度为1 a的置信区间,和 分
n 1
S 2
1 n 1
n
(Xi
i 1
X 2 ).
这就是说S2是2的无偏估计，因此，一般都是取S2作为 方差2的估计量。
例3 设总体X服从参数为的指数分布，概率密度为
f
( x,
பைடு நூலகம்
ex /
,
x 0,
0,
其它。
其中>0为未知,又设X1 ,X2 ,…,Xn是来自X的样本,试证
都是统计量 , 那么( , )就是的一个置信度为1 a的置信区间。
函数Z(X1 ,X2,…,Xn ; )的构造, 可以从 的点估计着 手考虑。
(三)单个总体N(,2)的情况
设已给定置信度为1-a, 并设X1 ,X2,…,Xn为总体N(,2)
的样本. X, S2分别是样本均值和样本 方差。
2的无偏估计为S2 由第六章2定理一知
(n 1)S 2 ~ 2 (n 1), 2
故
P{
2 1-a/2
(n
1)
(n 1)S 2
2
2 a/2
(n
置信区间 设总体X的分布函数F(x;)含有一个未知 参数. 对于给定值a(0<a<1), 若由样本X1 ,X2 ,…,Xn确定 的两个统计量 ( X1, X 2 ,..., X n )和 ( X1, X 2 ,..., X n ) 满足
P{ ( X1, X 2 ,..., X n ) ( X1, X 2 ,..., X n )} 1 a, 则称随机区间 ( , )是的置信度为1 a的置信区间,和 分
n 1
S 2
1 n 1
n
(Xi
i 1
X 2 ).
这就是说S2是2的无偏估计，因此，一般都是取S2作为 方差2的估计量。
例3 设总体X服从参数为的指数分布，概率密度为
f
( x,
பைடு நூலகம்
ex /
,
x 0,
0,
其它。
其中>0为未知,又设X1 ,X2 ,…,Xn是来自X的样本,试证
都是统计量 , 那么( , )就是的一个置信度为1 a的置信区间。
函数Z(X1 ,X2,…,Xn ; )的构造, 可以从 的点估计着 手考虑。
(三)单个总体N(,2)的情况
设已给定置信度为1-a, 并设X1 ,X2,…,Xn为总体N(,2)
的样本. X, S2分别是样本均值和样本 方差。
2的无偏估计为S2 由第六章2定理一知
(n 1)S 2 ~ 2 (n 1), 2
故
P{
2 1-a/2
(n
1)
(n 1)S 2
2
2 a/2
(n
估计量的评选标准
存在,
k
为正整数,则
1 n
n i 1
X
k i
为
E(X
k
)
的相合估计量.
证明
对指定的
k
,令 Y
X k ,Yi
X
k i
,则 Y1,Y2 ,
,Yn 相互
独立并与 Y 同分布,且 E(Yi ) E(Y) E(X k ) ,由大数定理知, 对任意 0,有
lim P n
1 n
n
Yi
i 1
E(Y )
样本 k 阶矩 Ak
1 n
n i 1
X
k i
是总体 k 阶矩 k 的
无偏估计量.
证明
X1, X2 , , Xn 与 X 同分布,故有
E
X
k i
E
Xk
k , i 1, 2,
, n.
即有
E Ak
1 n
n i 1
E
Xik
k . 因此,不论总体 X 服从什
么分布,样本 k 阶矩是总体 k 阶矩的无偏估计量.
n
2
D(Xi )
i 1
n
,
故 X 较 Xi (i 1, 2, , n) 更有效.
3.一致性
定义 6.7 设 X1, X2 , , Xn 为未知参数 的估计
量,若 依概率收敛于 ,即对任意 0, 有
lim
P
1
或
lim
P
0
,
n
n
则称 为 的相合估计量或一致估计量.
例 6.15 设 X1,X2 , ,Xn 是取自总体 X 的样本,且 E( X k )
lim P n
1 n
第十八讲 估计量的评选标准及区间估计
第十八讲 估计量的评选标准及区间估计1. 估计量的评价标准判断估计量好坏的标准是：有无系统偏差；波动性的大小；伴随样本容量的增大是否是越来越精确，这就是估计的无偏性，有效性和相合性。
（1）无偏性设∧θ是未知参数θ的估计量，则∧θ是一个随机变量，对于不同的样本值就会得到不同的估计值，我们总希望估计值在θ的真实值左右徘徊，即其数学期望恰等于θ的真实值。
定义: 设∧∧=θθ（n X X X ,,,21 ）是未知参数θ的估计量，若)(∧θE 存在，且对Θ∈∀θ有)(∧θE =θ，则称∧θ是θ的无偏估计量，称∧θ具有无偏性。
在科学技术中，)(∧θE -θ称为以∧θ作为θ的估计的系统误差，无偏估计的实际意义就是无系统误差。
例１：设总体X 的k 阶中心矩)(kk X E =μ)1(≥k 存在，),,,(21n X X X 是X 的一个样本，证明：不论X 服从什么分布，∑==n i ki k X n A 11是k μ的无偏估计量。
证明：n X X X ,,21与X 同分布，n i X E X E k k ki ,,2,1)()( ===∴μ第七章 参数估计第3节 估计量的评选标准从上一节得到：对于同一参数，用不同的估计方法求出的估计量可能不相同，用相同的方法也可能得到不同的估计量，也就是说，同一参数可能具有多种估计量，而且，原则上讲，其中任何统计量都可以作为未知参数的估计量，那么采用哪一个估计量为好呢？这就涉及到估计量的评价问题。
对定义的理解：设Θ∈θ是总体X 的分布参数，Θ∈∀θ，即服从某一分布形式的任意总体分布，参数θ的估计量∧∧=θθ（,,21X X n X , ）（是简单随机样本的函数）的数学期望都等于θ。
k n i ki k X E n A E μ==∴∑=1)(1)(特别，不论X 服从什么分布，只要)(X E 存在，X 总是)(X E 的无偏估计。
例２：设总体X 的2)(,)(σμ==X D X E 都存在，且02>σ，若2,σμ均为未知，则2σ的估计量∑=-=ni i X X n 122)(1ˆσ是有偏的。
估计量的评选标准
首先讨论如下简单情形：总体 X 的概率密度为
p(x,θ )，g(θ )为待估参数，设 gˆ(X1)为 g(θ) 的
任意无偏估计，考虑
Var(gˆ(X1)) 的下界？
注：积分形式的 Cauchy 不等式：
uvdx 2 u2dx v2dx
1、 Fisher信息量的定义.
设总体 X 的概率函数为 p (x; ), ,且满足一定条件:
ln p(x;) x ln ln x! x!
I ()
E[ d ln
p( X ; )]2 d
E[ X
1]2
E(X )2 2
1
故 1 , nI () n
显然,Var(x) 1 ,
nI ()
所以, x是的有效估计.
例1 设 X1, X2,… Xn 是取自总体 X ~ N( 0,σ2) 的一个 样本，试证：
两者不同!
对于同一个未知参数,用不同的方法得到 的估计量可能不同,于是提出问题：
应该选用哪一种估计量? 用何标准来评价一个估计量的好坏?
ˆ( X1,..., Xn ) 越接近 越好！
如何刻画？
例：估计农大12级本科生高数的平均成绩：
方案一：设计一个抽样方案，取200个同学 的高数成绩，计算出他们的平均成绩，作为 真实成绩的估计； 方案二：随便取一个同学的成绩作为真实成 绩的估计。
1 n
Var (ˆ )
1
n
2
Var(ˆ1)
例如 X ~ N( , 2 ) , ( x 1, x 2 ) 是一个样本.
ˆ1
2 3
x1
1 3
x2
p(x,θ )，g(θ )为待估参数，设 gˆ(X1)为 g(θ) 的
任意无偏估计，考虑
Var(gˆ(X1)) 的下界？
注：积分形式的 Cauchy 不等式：
uvdx 2 u2dx v2dx
1、 Fisher信息量的定义.
设总体 X 的概率函数为 p (x; ), ,且满足一定条件:
ln p(x;) x ln ln x! x!
I ()
E[ d ln
p( X ; )]2 d
E[ X
1]2
E(X )2 2
1
故 1 , nI () n
显然,Var(x) 1 ,
nI ()
所以, x是的有效估计.
例1 设 X1, X2,… Xn 是取自总体 X ~ N( 0,σ2) 的一个 样本，试证：
两者不同!
对于同一个未知参数,用不同的方法得到 的估计量可能不同,于是提出问题：
应该选用哪一种估计量? 用何标准来评价一个估计量的好坏?
ˆ( X1,..., Xn ) 越接近 越好！
如何刻画？
例：估计农大12级本科生高数的平均成绩：
方案一：设计一个抽样方案，取200个同学 的高数成绩，计算出他们的平均成绩，作为 真实成绩的估计； 方案二：随便取一个同学的成绩作为真实成 绩的估计。
1 n
Var (ˆ )
1
n
2
Var(ˆ1)
例如 X ~ N( , 2 ) , ( x 1, x 2 ) 是一个样本.
ˆ1
2 3
x1
1 3
x2
估计量的评选标准
均为未知, 则 2 的估计量ˆ 2
1n n i1 ( X i
X )2 是有偏
的(即 不 是 无 偏 估 计) .
证明
ˆ 2
1n n i1
X
2 i
X2
A2 X 2 ,
因为 E( A2 ) 2 2 2 , 又因为 E( X 2 ) D( X ) [E( X )]2 2 2 ,
1
e
x 2
x
n11
2 dx
n1
22
1 n
1
2
0
x n1
e 2 x 2 dx
2
n
n 2
2
1
,
E(S)
n
2
1
n
n 2
1
2
,
故 S 不是 的无偏估计量,
n
2
1
n
2
1
n 2
S
是
的无偏估计量.
例4 设总体 X 在 [0, ]上服从均匀分布,参数 0,
0,
0 x ,
其他
所以
E(Xh)
0
x
nx
n1
n dx
n ,
n1
故有
E
n
n
1
X
h
,
故
n
n
1
max(
X1
,
X
2
,,
X
n
)
也是
的
无
偏估
计量.
例5 设总体 X 服从参数为 的指数分布, 概率密度
f
(
x;
)
1
x
e
,
0,
x 0, 其他.
7.3估计量的优良准则
好的估计量要求估计值在未知参 数真值的附近.
ˆ( X ,, X ) 是未知参数 的估计量， 若 定义 设 1 n
ˆ ) , 则称 ˆ 为 的无偏估计量. E ( ˆ ) 为用 ˆ 估计 而 产生的系统偏差. 注：称 E (
无偏性指估计量没有系统的偏差, 只存在随机偏差.
定理1 设 X 1 ,, X n 为取自总体 X 的样本， 总体 X
的均值为 , 方差为 . 则
2
（1） 样本均值 X 是 的无偏估计量； 证 （1） 因为
E( X i ) E( X ) ,
n
i 1,2,, n,
n
1 1 E( X ) E X i E( X i ) n i 1 n i 1 E( X ) ,
2 1 n 1 n D( X ) D X i D( X i ) , n n i 1 n2 i 1
D( X i ) 2 ( i 1,2,, n)
故 X 较 X i ( i 1,2,, n) 更有效.
有效性
注：在数理统计中常用到最小方关差无偏估计, 其 定义如下： 设 X 1 ,, X n 是取自总体 X 的一个样本,
2
n
(2) 因
X
i 1
n
2 i
2
Xi 而 , i 1
n
例1 设总体 X ~ N (0, ), X 1 , X 2 , X n 是来自这一 总体的样本. 2 ˆ ). (2) 求 D(
2
解 (2) 因
X
i 1
n
2 i
2 Xi ~ N (0,1) ( i 1,2,, n), 2 且它们相互独立, 故依 分布定义
7.2估计量的评选标准
1 n 2 2 {∑[ D( Xi ) + E ( Xi )]− n[ D( X ) + E ( X )]} = n − 1 i =1 2 1 σ 2 2 2 [( nσ + nµ ) − n( = + µ )] n−1 n =σ 2 ⇒S2为σ2的无偏估计量 n n−1 2 1 2 E ( B2 ) = E[ ∑ ( X i − X ) ] = E ( S ) n i =1 n n−1 2 2 σ ≠σ = n ⇒B2不是σ2的无偏估计量
7.2 估计量的评选标准
一、一致性 二、无偏性 三、有效性
有时候同一个参数可以有几种不同的 估计方法,这时就存在采用哪一个估计的问 估计方法 这时就存在采用哪一个估计的问 题. 希望未知参数与它的估计量在某种意 义下最为接近. 义下最为接近.
相合性) 一、一致性(相合性 一致性 相合性
ˆ 当样本容量无 对于一个好的估计量θ ,当样本容量无 限增大时,它的值应趋于稳定在参数 限增大时 它的值应趋于稳定在参数θ的真 值附近,即与 保持一致或相合. 值附近 即与θ保持一致或相合
令E(X)=µ, D(X)=σ2 n n 1 1 E ( X ) = E ( ∑ X i ) = ∑ E ( X i ) =µ n i =1 n i =1 ⇒ X为µ的无偏估计量 n 1 2 2 E ( S ) = E[ ∑(Xi − X ) ] n − 1 i =1 n 1 2 2 E ( ∑ X i − nX ) = n − 1 i =1 n 1 2 2 [∑ E ( X i ) − nE ( X )] = n − 1 i =1
, −∞ −∞<x <+∞, x1,x2,⋅⋅⋅ n是X的n次观察值 试求σ的 ⋅⋅⋅,x 次观察值,试求 ∞ ⋅⋅⋅ 的 次观察值 极大似然估计量.并判断它是否为σ的一 极大似然估计量 并判断它是否为 致估计量. 致估计量 1 n ˆ 解: σ = ∑ | X i | n i =1 1 n 1 n P 由大数定律,有 由大数定律 有 ∑ | X i | → ∑ E | X i | n i =1 n i =1 | x| +∞ 1 −σ e dx E|Xi|=E|X|= ∫− ∞ | x | ⋅ 2σ
6.2 估计量的评选标准
所以， X 是 的无偏估计量:
ˆ X.
n n 1 2 1 2 2 2 ( X i n X ) . (Xi X ) （2） S n 1 i 1 n 1 i 1
而 E ( X i2 ) D( X i ) [ E ( X i )]2 2 2 , i 1 ,2 , , n . 2 1 n 2 E ( X ) D( X ) [ E ( X )] D( X i ) 2 n i 1 2 1 n 2 1 2 2 2 . 2 D( X i ) 2 n n n i 1 n n 1 2 由此得 2 2 E ( S ) E[ ( X i n X )] n 1 i 1 2 2 1 2 2 2 . [n( ) n( )] n 1 n 所以，S 2 是 2的无偏估计量:
[例1] 设总体 X 的均值 E ( X ) , 方差 D( X ) 2 ,证明:
1 n （1）样本均值 X X i 是总体均值 的无偏估计量； n i 1 n 1 2 2 （2）样本方差 S 2 ( X X ) 是总体方差 的 i n 1 i 1 无偏估计量.
由于方差是随机变量取值与其数学期望的偏 离程度的度量, 所以无偏估计以方差小者为好.
ˆ1 ( X 1 , X 2 ,, X n )与 ˆ1 ˆ2 ˆ2 ( X 1 , X 2 ,, X n ) 设
都是 的无偏估计量 ,
ˆ1 ) D( ˆ2 ) , 则称 ˆ1 较 ˆ2 有效. 若有 D(
体 X 的 k 阶矩 k E ( X k )的一致估计量, 进而若待
估参数 g ( 1 , 2 ,, n ), 其中g 为连续函数 ,