6.2 估计量的评选标准
合集下载
估计量的评选标准与区间估计
式的估计称为区间估计。
置信区间 设总体X的分布函数F(x;)含有一个未知 参数. 对于给定值a(0<a<1), 若由样本X1 ,X2 ,…,Xn确定 的两个统计量 ( X1, X 2 ,..., X n )和 ( X1, X 2 ,..., X n ) 满足
P{ ( X1, X 2 ,..., X n ) ( X1, X 2 ,..., X n )} 1 a, 则称随机区间 ( , )是的置信度为1 a的置信区间,和 分
n 1
S 2
1 n 1
n
(Xi
i 1
X 2 ).
这就是说S2是2的无偏估计，因此，一般都是取S2作为 方差2的估计量。
例3 设总体X服从参数为的指数分布，概率密度为
f
( x,
பைடு நூலகம்
ex /
,
x 0,
0,
其它。
其中>0为未知,又设X1 ,X2 ,…,Xn是来自X的样本,试证
都是统计量 , 那么( , )就是的一个置信度为1 a的置信区间。
函数Z(X1 ,X2,…,Xn ; )的构造, 可以从 的点估计着 手考虑。
(三)单个总体N(,2)的情况
设已给定置信度为1-a, 并设X1 ,X2,…,Xn为总体N(,2)
的样本. X, S2分别是样本均值和样本 方差。
2的无偏估计为S2 由第六章2定理一知
(n 1)S 2 ~ 2 (n 1), 2
故
P{
2 1-a/2
(n
1)
(n 1)S 2
2
2 a/2
(n
置信区间 设总体X的分布函数F(x;)含有一个未知 参数. 对于给定值a(0<a<1), 若由样本X1 ,X2 ,…,Xn确定 的两个统计量 ( X1, X 2 ,..., X n )和 ( X1, X 2 ,..., X n ) 满足
P{ ( X1, X 2 ,..., X n ) ( X1, X 2 ,..., X n )} 1 a, 则称随机区间 ( , )是的置信度为1 a的置信区间,和 分
n 1
S 2
1 n 1
n
(Xi
i 1
X 2 ).
这就是说S2是2的无偏估计，因此，一般都是取S2作为 方差2的估计量。
例3 设总体X服从参数为的指数分布，概率密度为
f
( x,
பைடு நூலகம்
ex /
,
x 0,
0,
其它。
其中>0为未知,又设X1 ,X2 ,…,Xn是来自X的样本,试证
都是统计量 , 那么( , )就是的一个置信度为1 a的置信区间。
函数Z(X1 ,X2,…,Xn ; )的构造, 可以从 的点估计着 手考虑。
(三)单个总体N(,2)的情况
设已给定置信度为1-a, 并设X1 ,X2,…,Xn为总体N(,2)
的样本. X, S2分别是样本均值和样本 方差。
2的无偏估计为S2 由第六章2定理一知
(n 1)S 2 ~ 2 (n 1), 2
故
P{
2 1-a/2
(n
1)
(n 1)S 2
2
2 a/2
(n
估计量的评选标准
存在,
k
为正整数,则
1 n
n i 1
X
k i
为
E(X
k
)
的相合估计量.
证明
对指定的
k
,令 Y
X k ,Yi
X
k i
,则 Y1,Y2 ,
,Yn 相互
独立并与 Y 同分布,且 E(Yi ) E(Y) E(X k ) ,由大数定理知, 对任意 0,有
lim P n
1 n
n
Yi
i 1
E(Y )
样本 k 阶矩 Ak
1 n
n i 1
X
k i
是总体 k 阶矩 k 的
无偏估计量.
证明
X1, X2 , , Xn 与 X 同分布,故有
E
X
k i
E
Xk
k , i 1, 2,
, n.
即有
E Ak
1 n
n i 1
E
Xik
k . 因此,不论总体 X 服从什
么分布,样本 k 阶矩是总体 k 阶矩的无偏估计量.
n
2
D(Xi )
i 1
n
,
故 X 较 Xi (i 1, 2, , n) 更有效.
3.一致性
定义 6.7 设 X1, X2 , , Xn 为未知参数 的估计
量,若 依概率收敛于 ,即对任意 0, 有
lim
P
1
或
lim
P
0
,
n
n
则称 为 的相合估计量或一致估计量.
例 6.15 设 X1,X2 , ,Xn 是取自总体 X 的样本,且 E( X k )
lim P n
1 n
6.2点估计的评价标准
6.2点估计的评价标注我们已经看到，点估计有各种不同的求法，为了在不同点估计间进行比较选择，就必须对各种点估计的好坏给出评价标准.数理统计中给出了众多的估计量评价标准，对同一估计量实用不同的评价标准可能会得到完全不同的结论，因此在评价某一个估计好坏时首先要说明是在哪一个标准下，否则所论好坏则毫无意义.但不管怎么说，有一个基本标准时所有的估计都应该满足的，它是衡量一个估计是否可行的必要条件，这就是估计的相合性，我们就从相合性开始。
6.2.1 相合性我们知道，点估计是一个统计量，因此它是一个随机变量，在样本量一定的条件下，我们不可能要求它完全等同于参数的真实取值。
但如果我们有足够的观测值，根据格里文科定理，随着样本量的不断增大，经验分布函数逼近真实分布函数，因此完全可以要求估计量随着样本量的不断增大而逼近参数真值，这就是相合性，严格定义如下：定义6.2.1 设θ∈Θ为未知参数，()12,,,n n n x x x θθ∧∧= 是θ的一个估计量，n 是样本容量，若对任何一个0ε>，有()ˆlim 0nn P θθε→∞->= 则称ˆnθ为参数θ的相合估计。
相合性被认为是对估计的一个最基本的要求，如果一个估计量，在样本量不断增大时，它都不能把被估参数估计到任意指定的精度，那么这个估计值是很值得怀疑的。
通常，不满足相合性要求的估计一般不予考虑。
证明估计的相合性一般可应用大数定律或直接由定义来证。
若把依赖于样本量n 的估计量ˆn θ看作一个随机变量序列，相合性就是ˆnθ依概率收敛于θ，所以证明估计的相合性可应用依概率收敛的性质以及各种大数定律。
例6.2.1 设12,,x x 是来自正态总体()2,N μσ的样本，则有辛钦大数定律及依概率收敛的性质知：x 是μ的相合估计；*2s 是2σ相合估计；2s 也是2σ的相合估计。
由此可见参数的相合估计不止一个。
在判断估计的相合性时下述两个定理是很有用的。
估计量的评价标准
三、一致性
无偏性、有效性都是在样本容量 n 一定的条件下进行讨论
的，然而 ( X1 , X2 ,…, Xn ) 不仅与样本值有关，而且与样本容
量 n 有关，不妨记为ˆn ，很自然，我们希望 n 越大时，ˆn 对 θ
的估计应该越精确。
定理7. 4 如果ˆn 依概率收敛于 θ ，即 ∀ε > 0，有
lim
概率学与数理统计
估计量的评价标准
设总体X服从[ 0, θ ]上的均匀分布，由上节例8可知 ˆ矩 =2X ，
ˆL
max{
1i n
X
i
态总体N ( μ ,
}
σ2
都是 )，用
θ
的估计，这两个估计哪一个好? 而对于正
X1
1 n
10 i 1
Xi
估计
μ
好，还是用
X2
1 n
20 i 1
Xi
估计 μ 好? 下面我们首先讨论衡量估计量好坏的标准问题。
应函数的无偏估计量。例如，当 X ~ N ( μ , σ2)时，X是 μ 的无 偏估计量，但 X 2不是 μ2 的无偏估计量，事实上：
E( X 2 ) D( X ) [E( X )]2 2 2 2 .
n
二、有效性
对于未知参数 θ ，如果有两个无偏估计量 ˆ1 与 ˆ2 ， 即 E(ˆ1) E(ˆ2 ) ，那么在 ˆ1 ，ˆ2 中哪 个更好呢? 此时
一、无偏性
定理7. 1 若估计量 ˆ < ( X1 , X2 ,…, Xn )的数学期望等于未
知参数 θ ，即
E(ˆ) ，
( 7. 6 )
则称 ˆ 为 θ 的无偏估计量( Non-deviation estimator)。
6-2点估计的评价标准
n
n
Var(ˆ1 ) ci2Var(xi ) 2 ci2
n
i 1n
n
i 1
利用柯西不等式 ( aibi )2 ( ai2 )( bi2 ) ,其中等号成立的充要条件是
i 1
i 1
i 1
a1 b1 a2 b2 an bn
而 1
n
ci
2
1 (
n
ci2 )(
n
1) n
判断一致性的三个常用结论
1. 样本 k 阶矩是总体 k阶矩的 相合估计. 即矩估计具有相合性 由辛钦大数定律可证
2. 设ˆn是 的一个估计, 且
定理1
lim
n
E(ˆn
)
lim
n
Var
(ˆn
)
0
定理2 则 ˆn 是 的相合估计量.
用切贝雪夫不 等式证明
3. 若ˆn1 ,ˆn2 ,....,ˆnk 分别是 1,2 ,....,k 的相合
例11. 设 X ~ U (0,θ), x1, x2,…, xn 是 X 的一个
样本, 则由前可知：θ的最大似然估计是x(n).
由于
Ex(n)
n
n 1
所以x(n)不是θ的无偏估计, 而是渐近无偏估计.
但修正后可得θ的一个无偏估计:
ˆ 1
n
n
1
x(
n
)
另由矩法估计可知 ˆ2 2x 也是θ的无偏估计,
n
Var (ˆi )
1
2
n1
n
Var j 1
(
x
j
)
2
n1
ji
. 因此, x比 ˆi的方差小, 因而x比ˆi要优
估计量的评价标准
4 1 1 ˆ D( 2 ) ( )DX 0.72DX , 9 4 36 1 1 1 ˆ D( 3 ) ( )DX 0.33DX . 9 9 9
最有效 3
三、相合性
定义 如果对 0 , 有
ˆ } 0， lim P{ n
ˆ 是 的相合估计量。 则称 n
1
一、无偏性
估计量是随机变量, 对于不同的样本值就会得到
不同的估计值, 希望估计值在未知参数真值左右徘徊, 最好它的数学期望等于未知参数的真值, 这就导致了 无偏性这个标准。
是未知参数 的估计量, 如果有
ˆ ˆ( X ,, X ) 一个样本, 定义 设( X1 ,, X n ) 是总体X 的 1 n
ˆ , ˆ ,则 ˆ a ˆ b ˆ 1 2 1 2
当a+b=1时都是 的无偏估计量。 估计量的无偏性只保证了估计量的取值在参数 真值周围波动,但是波动的幅度有多大呢?自然的, 我们希望估计量波动的幅度越小越好,幅度越小,则 估计量取值与参数真值有较大偏差的可能性越小, 而衡量随机变量波动幅度的量就是方差.这样就有 了我们下面要介绍的有效性的概念.
对于同一个参数,用不同的方法可以得到不同的 估计量. 现在的问题是,当同一参数出现多个估计 量时,究竟哪一个更好呢? 这就涉及到用什么标准
来评价估计量的问题. 确定估计量好坏的标准必须是整体性的,说得 明确一点就是,必须在大量观察的基础上从统计的 意义上来评价估计量的好坏.也就是说,估计的好 坏取决于估计量的统计性质.一般认为,一个“好” 的估计量应该具有如下的条件:
定义 设总体有一未知参数
均为 的无偏估计，如果
ˆ1 , ˆ2 , 样本( X 1 , , X n ) ，
第二节 估计量的评选标准
n 即 Z ~ Exp
z0 z0
E( Z ) n
E ( nZ )
故 n Z 是 的无偏估计量.
ˆ 和 ˆ 一个参数往往有不止一个无偏估计, 若 1 2 ˆ )2 都是参数 的无偏估计量， 我们可以比较 E ( 1
2 ˆ 和 E (2 ) 的大小来决定二者谁更优 .
常用的几条标准是：
1．无偏性 2．有效性 3．均方误差 4．相合性
一、无偏性
估计量是随机变量，对于不同的样本值会得到 不同的估计值 . 我们希望估计值在未知参数真值附 近摆动，而它的期望值等于未知参数的真值. 这就 导致无偏性这个标准 .
ˆ( X ,, X ) 是未知参数 的估计量，若 设 1 n
n
因而
n 1 n 1 2 2 2 E n (Xi X ) n E( X i ) E( X ) i 1 i 1 2 2 2 2 ( ) ( ) n
n 1 2 2 n 1 n 2 2 (Xi X ) 故 E n 1 i 1
估计量的评选标准 在介绍估计量的评选标准之前，我们必须强 调指出： 评价一个估计量的好坏，不能仅仅依据一次试 验的结果，而必须由多次试验结果来衡量 . 这是因为估计量是样本的函数, 是随机变量 . 因 此，由不同的观测结果，就会求得不同的参数估计 值. 因此一个好的估计，应在多次试验中体现出优良 性.
例1 设总体X 的 k 阶矩 k E ( X )存在 ( X 1 , X 2 , , X n ) 是总体X 的样本,
k
证明: 不论 X 服从什么分布, 是 k 的无偏估计.
1 n k Ak X i n i 1
证 由于 E ( X ik ) k i 1,2 , , n 因而
z0 z0
E( Z ) n
E ( nZ )
故 n Z 是 的无偏估计量.
ˆ 和 ˆ 一个参数往往有不止一个无偏估计, 若 1 2 ˆ )2 都是参数 的无偏估计量， 我们可以比较 E ( 1
2 ˆ 和 E (2 ) 的大小来决定二者谁更优 .
常用的几条标准是：
1．无偏性 2．有效性 3．均方误差 4．相合性
一、无偏性
估计量是随机变量，对于不同的样本值会得到 不同的估计值 . 我们希望估计值在未知参数真值附 近摆动，而它的期望值等于未知参数的真值. 这就 导致无偏性这个标准 .
ˆ( X ,, X ) 是未知参数 的估计量，若 设 1 n
n
因而
n 1 n 1 2 2 2 E n (Xi X ) n E( X i ) E( X ) i 1 i 1 2 2 2 2 ( ) ( ) n
n 1 2 2 n 1 n 2 2 (Xi X ) 故 E n 1 i 1
估计量的评选标准 在介绍估计量的评选标准之前，我们必须强 调指出： 评价一个估计量的好坏，不能仅仅依据一次试 验的结果，而必须由多次试验结果来衡量 . 这是因为估计量是样本的函数, 是随机变量 . 因 此，由不同的观测结果，就会求得不同的参数估计 值. 因此一个好的估计，应在多次试验中体现出优良 性.
例1 设总体X 的 k 阶矩 k E ( X )存在 ( X 1 , X 2 , , X n ) 是总体X 的样本,
k
证明: 不论 X 服从什么分布, 是 k 的无偏估计.
1 n k Ak X i n i 1
证 由于 E ( X ik ) k i 1,2 , , n 因而
估计量的评选标准
算术平均≤几何平均
第二节 估计量的评选标准
——无偏性、有效性、一致性 参数的估计是构造一个统计量作为参数取值的 估计，矩估计和最大似然估计时构造参数估计的两 种方法。如果采用不同的方法，则可能得到不同的 估计量，即使同一方法也可以得到不同的估计量。 对于同一参数的多个估计量来说，需要给出判断好 坏的标准。
由于未知参数 的估计量 的取值由样本观测值确 定， 具有随机性，是一个随 机变量。因此，用 一般会有 偏差，自然希望 的取值总是在 附近摆动，不应该总 是偏大或偏小。从平均 意义上说，希望 ( )与越接近 E 越好。当其差为零时， 便有了无偏性的概念。
例4：在例2中设总体X的方差为 , 试比较三个
2
无偏估计量中哪一个更 有效。
）都是EX的无偏 a X（其中 a 1 估计，但 X 比 a X 有效。 DX 因为 E X EX E X EX DX n 例5 X 及
i 1 i i n i 1 i i 1 2 i i
2
n
n
E ai X i EX E ai X i E ai X i i 1 i 1 i 1
n 2 n n
2
n n n 2 D ai X i ai D( X i ) D( X ) ai2 i 1 i 1 i 1 2 n n 1 1 2 D( X ) n ai D ( X ) ai 1 D ( X ) n n i 1 n i 1
有效性
有时一个参数存在许多无偏估计量，显然应该看它 们中间哪一个取值更集中，即方差小，哪个估计量较好， 也就是说，一个好的估计量应具有尽量小的方差。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
两个标准.
第二节
估计量的评选标准
一、问题的提出
二、无偏性 三、有效性 四、一致性 五、小结
一、问题的提出
对于同一个参数, 用不同的估计方法求出的 估计量可能不相同.
问题 (1)对于同一个参数究竟采用哪一个估计量好? (2)评价估计量的标准是什么?
本节介绍几个常用标准.
二、无偏性
若 X 1 , X 2 ,, X n 为总体 X 的一个样本，
是包含在总体 X 的分布中的待估参数,
这里 是 的取值范围 .
ˆ ( X 1 , X 2 ,, X n ) 的数学期望 若估计量
ˆ ) 存在, 且对于任意 有 E ( ˆ ) , 则称 E ( ˆ 是 的无偏估计量.
无偏估计的实际意义:
无系统误差.
所以， X 是 的无偏估计量:
ˆ X.
n n 1 2 1 2 2 2 ( X i n X ) . (Xi X ) （2） S n 1 i 1 n 1 i 1
而 E ( X i2 ) D( X i ) [ E ( X i )]2 2 2 , i 1 ,2 , , n . 2 1 n 2 E ( X ) D( X ) [ E ( X )] D( X i ) 2 n i 1 2 1 n 2 1 2 2 2 . 2 D( X i ) 2 n n n i 1 n n 1 2 由此得 2 2 E ( S ) E[ ( X i n X )] n 1 i 1 2 2 1 2 2 2 . [n( ) n( )] n 1 n 所以，S 2 是 2的无偏估计量:
[例1] 设总体 X 的均值 E ( X ) , 方差 D( X ) 2 ,证明:
1 n （1）样本均值 X X i 是总体均值 的无偏估计量； n i 1 n 1 2 2 （2）样本方差 S 2 ( X X ) 是总体方差 的 i n 1 i 1 无偏估计量.
体 X 的 k 阶矩 k E ( X k )的一致估计量, 进而若待
估参数 g ( 1 , 2 ,, n ), 其中g 为连续函数 ,
则 的矩估计量 ˆ1 , ˆ 2 ,, ˆ n ) g( A1 , A2 ,, An ) ˆ g( 是 的一致估计量 .
[例1] 设总体 X 的均值 E ( X ) , 方差 D( X ) 2 ,证明:
1 n （1）样本均值 X X i 是总体均值 的无偏估计量； n i 1 n 1 2 2 （2）样本方差1 i 1 无偏估计量.
四、一致性
ˆ ˆ ( X 1 , X 2 ,, X n ) 为参数 的估计量, 若 若 ˆ ( X 1 , X 2 , , X n ) 依 对于任意 , 当n 时, ˆ 为 的一致估计量. 概率收敛于 , 则称
例如 由第六章第一节知, 样本 k ( k 1)阶矩是总
证： 因为样本 X 1 , X 2 , , X n 相互独立， 且与总体 X 服从相同分布，所以有
E( X i ) ,
D( X i ) 2 ,
i 1 ,2 , , n .
由数学期望与方差的性质可知
n 1 n 1 E ( X ) E ( X i ) E ( X i ) n i 1 n i 1 1 n 1 E ( X i ) n . n i 1 n
五、小结
无偏性 估计量的评选的三个标准 有效性 相合性
一致性是对估计量的一个基本要求, 不具备
相合性的估计量是不予以考虑的. 由最大似然估计法得到的估计量, 在一定条 件下也具有一致性. 估计量的一致性只有当样本容量相当大时,
才能显示出优越性, 这在实际中往往难以做到, 因此, 在工程中往往使用无偏性和有效性这
说明：
同一个参数的无偏估计不止一个。 1 n 样本的二阶中心矩 ( X i X )2 是 2的有偏估计。 n i 1
三、有效性
ˆ1 和 ˆ2 , 如果 比较参数 的两个无偏估计量 ˆ1 的观测值较 ˆ2 更 在样本容量n 相同的情况下 , ˆ1 较 ˆ2 为理想 . 则认为 密集，
由于方差是随机变量取值与其数学期望的偏 离程度的度量, 所以无偏估计以方差小者为好.
ˆ1 ( X 1 , X 2 ,, X n )与 ˆ1 ˆ2 ˆ2 ( X 1 , X 2 ,, X n ) 设
都是 的无偏估计量 ,
ˆ1 ) D( ˆ2 ) , 则称 ˆ1 较 ˆ2 有效. 若有 D(