判断点估计好坏的三个标准
点估计的评价标准
第三讲点估计的评价标准副教授主讲教师叶宏在前两讲中我们介绍了两种点估计法，发现了点估计的不唯一性，即对于同一个未知参数,不同的方法得到的估计量可能不同,于是提出问题:应该选用哪一种估计量?用何标准来评价一个估计量的好坏?常用标准(1) 无偏性(3) 一致性(2) 有效性这一讲我们介绍估计量是随机变量，对于不同的样本值会得到不同的估计值. 我们希望估计值在未知参数真值附近摆动，而它的期望值等于未知参数的真值. 这就导致无偏性这个标准.(1) 无偏性θθ=)ˆ(E 则称为的无偏估计.θˆθ),,(ˆ1n X X θ设是未知参数的估计量，若θ.真值∙∙∙∙∙∙∙∙∙∙∙∙∙∙),,,(21n X X X 是总体X 的样本,证明: 不论X 服从什么分布(但期望存在),是k μ的无偏估计量.证∑∑====n i k i n i k i k X E n X n E A E 11)(1)1()(例设总体X 的k 阶矩)(k k X E =μ存在，因而ni X E k k i ,,2,1)( ==μ由于k k n n μμ=⋅⋅=1∑==n i k i k X n A 11特别地样本二阶矩∑==n i i X n A 1221是总体二阶矩是总体期望E ( X ) 的X 样本均值无偏估计量)(22X E =μ的无偏估计量例设总体X 的期望与方差存在,X 的样本为),,,(21n X X X (1) 不是D ( X )的无偏估计; ∑=-=n i i n X X n S 122)(1(2) 是D ( X ) 的无偏估计. ∑=--=n i i X X n S 122)(11原样本方差样本修正方差2221)(σσ≠-=nn S E n ()22σ=S E 2221lim ()lim n n n n E S nσσ→∞→∞-==是D ( X )的渐进无偏估计2n S无偏估计以方差小者为好, 这就引进了有效性的概念12ˆˆ,θθ一个参数往往有不止一个无偏估计, 若θ都是参数的无偏估计量，我们可以比较的大小来决定谁更优.21)ˆ(θθ-E 和22)ˆ(θθ-E 211)ˆ()ˆ(θθθ-=E D 由于222)ˆ()ˆ(θθθ-=E D (2) 有效性(2) 有效性D ( )< D ( )2ˆθ1ˆθ则称较有效.2ˆθ1ˆθ都是参数的无偏估计量，若有),,(ˆ11n X X θ),,(ˆˆ122n X X θθ==1ˆθ设和θ*1ˆˆ()()D D θθ≤*ˆθ是的任一无偏估计.θ则称为的最小方差无偏估计.θθˆ若321232111254131ˆ)(31ˆX X X X X X ++=++=μμ都是μ的无偏估计量1ˆμ最有效例如X ~ N ( μ,σ2) ,样本是.,,321X X X μμμ==)ˆ()ˆ(21E E 22217225)ˆ(31)ˆ(σμσμ=<=D D 推广i n i i X c ∑==1ˆμ是μ的无偏估计量X X c i ni i 中∑==1ˆμ最有效11n i i c ==∑当时ˆlim ()1n P θθε→∞-<=则称θˆ是参数θ的一致(或相合)估计量.(3) 一致性(相合性)即,0>∀ε一致性估计量仅在样本容量n 足够大时,才显示其优越性.定义设是总体参数θ),,,(ˆˆ21n X X X θθ=θˆ的估计量. 若n →∞时, 依概率收敛于θ,关于一致性的常用结论样本k 阶矩是总体k 阶矩的一致性估计量由大数定律可证明矩法得到的估计量一般为一致估计量为方便鉴别有效性，引进定理： 1lim (),lim ()(,,0)n n nn n n n X X E D θθθθθθ→∞→∞=== 设是未知参数的估计量，若定理 n θθ则是的一个相合估计量.212221~(,),,,1()1n n i i X N X X X S X X n μσσ==--∑ 设总体是的样本则是的一致例估计量.22211()1ni i S X X n σ==--∑是的一致估计量.证明2222(1)(1)1,2(1)n S n S E n D n σσ⎛⎫⎛⎫--=-=- ⎪ ⎪⎝⎭⎝⎭()222lim (),lim 0n n E S D S σ→∞→∞⇒==222(1)~(1)n S n χσ-- ()()42222,1E S D S n σσ=∴=-由卡方分布性质知。
衡量点估计量好坏的标准(修)
X3)
E(
X
),
E(ˆ2 )
E( X1 2
X2 3
X3) 6
E( X ),
所以他们都是总体均值的无偏估计量.
由于
D( ˆ1 )
9
25
2
14
36
2
D(ˆ2 ),
所以ˆ1较ˆ 2有效.
§6.2 衡量点估计量好坏的标准
3.一致性
如果 n 时, ˆ按n 概率收敛于 , 即对于任意给定 的正数 ,有
lim
服从相同分布，所以有
E( Xi ) , D( Xi ) 2 , i 1 ,2 , ,n.
§6.2 衡量点估计量好坏的标准
由数学期望与方差的性质可知
E(X
)
E(1 n
n i1
Xi)
1 n
E(
n i1
Xi)
1 n
n i1
E(Xi
)
1 n
n
.
所以， X 是 的无偏估计量:
ˆ X .
§6.2 衡量点估计量好坏的标准
在实际中常使用无偏性
和有效性这两个标准.
感谢下 载
D(X ) 2
n
2 D( Xi ),
所以X 作为总体均值的无偏估计量较X i 有效.
[例4] 从总体Ｘ中抽取样本 X１，X 2, X3,证明统计量：
ˆ1
X1 5
2X 5
2
2 5
X3,
ˆ2
X1 2
X2 3
X3 6
都是总体均值的无偏估计量.
问二者谁更有效.
解
E(ˆ1)
E(
X1 5
2 5
X
2
2 5
n
P(
概率统计6.2__点估计的评价标准
6.2 点估计的评价标准1,总体X U （θ，2θ）是未知参数，又1x ,…..,nx为取自该总体的样本，_x 为样本均值。
（1）证明 θ =23x --是参数θ的无偏估计和相和估计；（2）求θ的最大似然估计，它是无偏估计吗？是相和估计吗？ 解 （1）总体X U(θ，2θ）,则 2123(),()2nE X Var X θθ==-，从而123()2E x θ=, ()212Var x n θ=于是，E （θ ）=_2()3E x =θ，这说明θ =_23x 是参数θ的无偏估计。
进一步，224()091227Var n nθθθ=⨯=→这就证明了θ也是θ的相和估计。
（2）似然函数为(1)()()(2),1()n nL I x x θθθθ=<<<显然()L θ是θ的减函数，且θ的取值范围为()(1)2n xx θ<<，因而θ的最大似然估计为()2n mlexθ=下求mleθ的均值与方差，由于()n x 的密度函数为1()()n f x n x θθ-=-。
1θ=1()n n nx n θ--，（2x θθ<<）,故2112(1)021()(),1()n n n nnn E xdx t dt n x n x t θθθθθθθ--+==+=+-⎰⎰2221222482()(1)(2)(1)()n n nE dx n n n x n x xθθθθ-++==++-⎰22()(2)(1)n n Var n x n θ=++，从而()121()()22(1)n n E E n n x θθθ+==→→+∞+ ，这说明mleθ不是θ的无偏估计，而是θ的渐进无偏估计。
又22()1()()0()44(2)(1)n n V Var n n x n θθ==→→+∞++， 因而mleθ是θ的相和估计。
2，设123,,x x x 是取自某总体的容量为3的样本，试证下列统计量都是该总体均值μ的无偏估计，在方差存在时指出哪一个估计的有效性最差？（1） 1123111233x x x μ=++ （２） 2123111333x x x μ=++ （３） 3123112663x x x μ=++ 解 先求三统计量的数学期望，1123111111()()()(),236236E E E E x x x μμμμμ=++=++= 2123111111()()()()333333E E E E x x x μμμμμ=++=++= 3123112112()()()()663663E E E E x x x μμμμμ=++=++= 这说明它们都是总体均值μ的无偏估计，下面求它们的方差，不妨设总体的方差为2σ则222211231111117()()()()4936493618V a r V a r V a r V a r x x x μσσσσ=++=++=222221231111111()()()()9999993Var Var Var Var x x x μσσσσ=++=++=222231231141141()()()()36369363692Var Var Var Var x x x μσσσσ=++=++= 不难看出(1,)(,)L M x L M x += 213()()()Var Var Var μμμ<<。
概率论与数理统计教材第六章习题
X σ0 n
~ N(0,1)
对于置信水平1- ，总体均值的置信区间为 对于置信水平 -α，总体均值 的置信区间为
X
σ0
n
uα < < X +
2
σ0
n
uα
2
(2)设总体 ～ N(,σ 2 ), 未知 ，求的置信区间。 设总体X～ 未知σ， 的置信区间。 设总体 的置信区间
σ 0 ，则样本函数 t = X ~ t(n 1) 用 S 代替 S n
i =1
n1
n1
F
1
α ∑ Yj 2
2 j =1
n2
(
)
2
n2
10
2 2 及 （1）设两个总体 ～ N(1,σ1 ) 及Y～ N(2 ,σ 2 ), 未知 1 2， ）设两个总体X～ ～
2 σ1 的置信区间。 求 2 的置信区间。 σ2
选取样本函数 选取样本函数
2 2 S1 σ1 F = 2 2 ~ F(n1 1, n2 1) S2 σ2
∑x
i =1
n
i =1
i
n = 0.
1 p
得 p 的极大似然估计值为 p =
n
∑x
i =1
n
1 = x
i
12
1 θ 2. 设总体 服从拉普拉斯分布：f ( x;θ ) = e ,∞< x < +∞, 设总体X 服从拉普拉斯分布： 2θ 求参数 θ 其中 > 0. 如果取得样本观测值为 x1 , x2 ,L, xn , 求参数θ
第六章 参数估计
(一)基本内容
一、参数估计的概念 1 定义：取样本的一个函数θ ( X 1 , X 2 ,L , X n ), 如果以它的观测 定义：
6.2点估计的评价标准
6.2点估计的评价标注我们已经看到，点估计有各种不同的求法，为了在不同点估计间进行比较选择，就必须对各种点估计的好坏给出评价标准.数理统计中给出了众多的估计量评价标准，对同一估计量实用不同的评价标准可能会得到完全不同的结论，因此在评价某一个估计好坏时首先要说明是在哪一个标准下，否则所论好坏则毫无意义.但不管怎么说，有一个基本标准时所有的估计都应该满足的，它是衡量一个估计是否可行的必要条件，这就是估计的相合性，我们就从相合性开始。
6.2.1 相合性我们知道，点估计是一个统计量，因此它是一个随机变量，在样本量一定的条件下，我们不可能要求它完全等同于参数的真实取值。
但如果我们有足够的观测值，根据格里文科定理，随着样本量的不断增大，经验分布函数逼近真实分布函数，因此完全可以要求估计量随着样本量的不断增大而逼近参数真值，这就是相合性，严格定义如下：定义6.2.1 设θ∈Θ为未知参数，()12,,,n n n x x x θθ∧∧= 是θ的一个估计量，n 是样本容量，若对任何一个0ε>，有()ˆlim 0nn P θθε→∞->= 则称ˆnθ为参数θ的相合估计。
相合性被认为是对估计的一个最基本的要求，如果一个估计量，在样本量不断增大时，它都不能把被估参数估计到任意指定的精度，那么这个估计值是很值得怀疑的。
通常，不满足相合性要求的估计一般不予考虑。
证明估计的相合性一般可应用大数定律或直接由定义来证。
若把依赖于样本量n 的估计量ˆn θ看作一个随机变量序列，相合性就是ˆnθ依概率收敛于θ，所以证明估计的相合性可应用依概率收敛的性质以及各种大数定律。
例6.2.1 设12,,x x 是来自正态总体()2,N μσ的样本，则有辛钦大数定律及依概率收敛的性质知：x 是μ的相合估计；*2s 是2σ相合估计；2s 也是2σ的相合估计。
由此可见参数的相合估计不止一个。
在判断估计的相合性时下述两个定理是很有用的。
点估计的评价标准
例6.2.7 均匀总体U(0, )中 的极大似然估计是x(n) 由于 ，所以x(n)不是 的无偏估计，而是 的渐近无偏估计。经过修偏后可以得到 的一个无 偏估计： 。且
另一方面，由矩法我们可以得到 的另一个无偏 估计 ，且 由此，当n>1时， 比 有效。
6.2.4
均方误差
无偏估计不一定比有偏估计更优。 评价一个点估计的好坏一般可以用：点估计值 与参 数真值 的距离平方的期望，这就是下式给出的均方 误差
量序列,相合性就是 依概率收敛于,所以证明
估计的相合性可应用依概率收敛的性质及各种
大数定律。
在判断估计的相合性时下述两个定理是很有用的。 定理6.2.1 设ˆn ˆn ( x1 , , x n ) 是 的一个估计量， ˆn ˆn ( x1 , , x n ) 若 lim E ˆn , lim Var ˆn 0,
由定理6.2.1可知，x(n)是 的相合估计。
由大数定律及定理6.2.2，我们可以看到： 矩估计一般都具有相合性。比如：
样本均值是总体均值的相合估计；
样本标准差是总体标准差的相合估计；
样本变异系数是总体变异系数的相合估计。
6.2.2
无偏性
定义6.2.2
设 ˆ ˆ ( x , , x ) 是 的一个估计， 1 n 的参数空间为Θ，若对任意的∈Θ，有
均方误差是评价点估计的最一般的标准。我们希望 估计的均方误差越小越好。
注意到
MSE ( ) Var( ) ( E )
ˆ )=Var( ˆ )+(E ˆ - )2 . MSE(
2
(1)
若 ˆ是 的 无 偏 估 计 , 则 M SE ((ˆ ) Var) (ˆ ), ) Var( ˆ M SE
三点估算法
三点估算法
所谓三点估计法就是把施工时间划分为乐观时间、最可能时间、悲观时间，也就是工作顺利情况下的时间为a，最可能时间，就是完成某道工序的最可能完成时间m，最悲观的时间就是工作进行不利所用时间b。
1.不确定性：最大值和最小值当考虑到不确定性时，某个活动的时间/成本估算，就会有波动。
那就会有两个值：最大和最小。
最大
和最小，可以来自于以往的统计数据，也可以来自专家估算。
2.最可能的值-三角分布但是有时候，最大和最小，差太远，所
以可以估一个最可能的值：最大值和最小值范围内出现最多次数的值，也成为“众数（Mode）”。
点估计的优良性
n
n 1 2 2
n
故
E
n
1
1
n i1
(
X
i
X )2 2
证毕.
例5 设总体 X ~ N ( , 2),
为 X 的一个样本
求常数 k , 使
为 的无偏估计量
解 注意到
是 X1, X2,…, Xn 的线性函数,
Xi
X
~
N
0,
n
n
1
2
z2
E(| Xi X |)
|z|
1e
2 n 1
例2 设总体 X 的期望 E( X )与方差 D( X )存在, 是 X 的一个样本, n > 1 . 证明
(1)
不是 D( X ) 的无偏估计量;
(2)
是 D( X ) 的无偏估计量.
证 前已证
因而
E 1 n
n
(Xi
i1
X )2 1 n
n
E
(
X
2 i
)
E
(
X
2
)
i1
( 2 2) ( 2 2)
i
是 的最小方差无偏估计。
说明了选取样本均值 X 作为总体均值的估计的优良性质。
一致性
定义 设 ˆ ˆ( X1, X 2,, X n ) 是总体参数 的 估计量. 若对于任意的 , 当n 时, ˆ 依概 率收敛于 , 即 0,
lim P(ˆ ) 0
n
则称 ˆ 是总体参数 的一致(或相合)性估计量.
例1 设总体X 的 k 阶矩
存在
是总体X 的样本,
证明: 不论 X 服从什么分布, 是 的无偏估计量. 证 由于
因而
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
参数估计一般用样本统计量作为总体参数的点估计值，而样本统计量是一个随机变量，因此就有必要给出评价点估计值好坏的标准。
点估计值好坏的评价标准有以下3个。
1.无偏性
无偏性是指用来估计总体参数的样本统计量的分布是以总体参数真值为中心的，在一次具体的抽样估计中，估计值或大于或小于总体参数，但在多次重复抽样估计的过程中，所有估计值的平均数应该等于待估计的总体参数。
可以证明，样本平均数x是总体均值μ的无偏估计，样本方差[图片]是总体方差σ2的无偏估计。
2.有效性
有效性是指在同一总体参数的两个无偏估计量中，标准差越小的估计量对总体参数的估计越有效。
3.一致性
一致性是指随着样本容量的增加，点估计量的值越来越接近总体参数的真值。
换句话说，一个大样本给出的估计量要比一个小样本给出的估计量更接近总体参数。