19.估计量的评选标准
估计量的评选标准与区间估计
置信区间 设总体X的分布函数F(x;)含有一个未知 参数. 对于给定值a(0<a<1), 若由样本X1 ,X2 ,…,Xn确定 的两个统计量 ( X1, X 2 ,..., X n )和 ( X1, X 2 ,..., X n ) 满足
P{ ( X1, X 2 ,..., X n ) ( X1, X 2 ,..., X n )} 1 a, 则称随机区间 ( , )是的置信度为1 a的置信区间,和 分
n 1
S 2
1 n 1
n
(Xi
i 1
X 2 ).
这就是说S2是2的无偏估计，因此，一般都是取S2作为 方差2的估计量。
例3 设总体X服从参数为的指数分布，概率密度为
f
( x,
பைடு நூலகம்
ex /
,
x 0,
0,
其它。
其中>0为未知,又设X1 ,X2 ,…,Xn是来自X的样本,试证
都是统计量 , 那么( , )就是的一个置信度为1 a的置信区间。
函数Z(X1 ,X2,…,Xn ; )的构造, 可以从 的点估计着 手考虑。
(三)单个总体N(,2)的情况
设已给定置信度为1-a, 并设X1 ,X2,…,Xn为总体N(,2)
的样本. X, S2分别是样本均值和样本 方差。
2的无偏估计为S2 由第六章2定理一知
(n 1)S 2 ~ 2 (n 1), 2
故
P{
2 1-a/2
(n
1)
(n 1)S 2
2
2 a/2
(n
估计量的评选标准
存在,
k
为正整数,则
1 n
n i 1
X
k i
为
E(X
k
)
的相合估计量.
证明
对指定的
k
,令 Y
X k ,Yi
X
k i
,则 Y1,Y2 ,
,Yn 相互
独立并与 Y 同分布,且 E(Yi ) E(Y) E(X k ) ,由大数定理知, 对任意 0,有
lim P n
1 n
n
Yi
i 1
E(Y )
样本 k 阶矩 Ak
1 n
n i 1
X
k i
是总体 k 阶矩 k 的
无偏估计量.
证明
X1, X2 , , Xn 与 X 同分布,故有
E
X
k i
E
Xk
k , i 1, 2,
, n.
即有
E Ak
1 n
n i 1
E
Xik
k . 因此,不论总体 X 服从什
么分布,样本 k 阶矩是总体 k 阶矩的无偏估计量.
n
2
D(Xi )
i 1
n
,
故 X 较 Xi (i 1, 2, , n) 更有效.
3.一致性
定义 6.7 设 X1, X2 , , Xn 为未知参数 的估计
量,若 依概率收敛于 ,即对任意 0, 有
lim
P
1
或
lim
P
0
,
n
n
则称 为 的相合估计量或一致估计量.
例 6.15 设 X1,X2 , ,Xn 是取自总体 X 的样本,且 E( X k )
lim P n
1 n
优良估计量的三个标准
优良估计量的三个标准在统计学中，估计量是指利用样本数据来估计总体参数的方法。
一个好的估计量应当具备一定的性质，以保证对总体参数的准确估计。
下面我们将介绍优良估计量的三个标准。
一、无偏性。
一个估计量的无偏性是指其期望值等于被估计的总体参数。
换句话说，如果重复抽取样本并使用估计量进行估计，那么估计值的平均值应当等于总体参数。
一个无偏的估计量可以保证在大量重复试验中，估计值的平均值会无限接近总体参数。
因此，无偏性是一个优良估计量的基本要求。
二、有效性。
一个估计量的有效性是指其方差要尽可能小。
换句话说，一个有效的估计量应当具有较小的抽样误差，能够给出较为精确的估计结果。
在实际应用中，我们常常希望能够用尽可能小的样本量来获得尽可能精确的估计结果，而有效性就是衡量估计量在这方面的性能的标准之一。
三、一致性。
一个估计量的一致性是指当样本容量逐渐增大时，估计量收敛于总体参数的性质。
换句话说，随着样本容量的增加，估计值会越来越接近总体参数。
一致性是一个估计量的重要性质，它保证了在大样本情况下，估计值能够稳定地逼近总体参数，从而提高了估计的准确性。
总之，一个优良的估计量应当同时具备无偏性、有效性和一致性这三个标准。
无偏性保证了估计量的期望值等于总体参数，有效性保证了估计量的方差尽可能小，一致性保证了估计值能够稳定地逼近总体参数。
只有同时满足这三个标准，一个估计量才能够被称为优良的估计量。
在实际应用中，我们常常需要根据具体情况选择合适的估计量，并对其进行检验。
通过对估计量的无偏性、有效性和一致性进行检验，可以保证我们得到的估计结果是准确可靠的。
因此，对于估计量的这三个标准，我们应当充分重视，并在实际应用中加以考虑。
估计量的评选标准
均为未知, 则 2 的估计量ˆ 2
1n n i1 ( X i
X )2 是有偏
的(即 不 是 无 偏 估 计) .
证明
ˆ 2
1n n i1
X
2 i
X2
A2 X 2 ,
因为 E( A2 ) 2 2 2 , 又因为 E( X 2 ) D( X ) [E( X )]2 2 2 ,
1
e
x 2
x
n11
2 dx
n1
22
1 n
1
2
0
x n1
e 2 x 2 dx
2
n
n 2
2
1
,
E(S)
n
2
1
n
n 2
1
2
,
故 S 不是 的无偏估计量,
n
2
1
n
2
1
n 2
S
是
的无偏估计量.
例4 设总体 X 在 [0, ]上服从均匀分布,参数 0,
0,
0 x ,
其他
所以
E(Xh)
0
x
nx
n1
n dx
n ,
n1
故有
E
n
n
1
X
h
,
故
n
n
1
max(
X1
,
X
2
,,
X
n
)
也是
的
无
偏估
计量.
例5 设总体 X 服从参数为 的指数分布, 概率密度
f
(
x;
)
1
x
e
,
0,
x 0, 其他.
概率论与数理统计：7-3估计量的评选标准
D(ˆ1 ) D(ˆ2 ), 且至少对于某一个 上式中的 不等号成立，则称ˆ1较 ˆ2有效.
第三节 估计量的评选标准
一、问题的提出 二、无偏性 三、有效性 四、相合性
一、问题的提出
从前一节可以看到, 对于同一个参数, 用不 同的估计方法求出的估计量可能不相同, 如课本 上本章的例2和例6. 而且, 很明显, 原则上任何统 计量都可以作为未知参数的估计量.
问题: 对于同一个参数究竟采用哪一个估计量好?
故有
E
(
X
k i
)
E(X
k
)
k
,
i 1,2,,n.
即
E( Ak
)
1 n
n i 1
E
(
X
k i
)
k .
故
k
阶样本矩
Ak
是
k
阶总体矩
的无偏估计
k
.
特别地:
不论总体 X 服从什么分布, 只要它的数学期 望存在, X 总是总体 X 的数学期望 1 E( X ) 的 无偏估计量. S 2是 2的无偏估计,故通常取S 2作 2 Nhomakorabea估计量.
例2 设总体 X 服从参数为的指数分布, 概率密
度
f ( x;)
1
e
x
,
0,
x 0, 其中参数 0, 又设 其它
X1, X2,, Xn 是来自总体X 的样本，试证 X 和
nZ n[min(X1, X2 ,, Xn )] 都是的无偏估计.
估计量的评价标准
计量是有偏的，称 E ˆ 为估计量ˆ的偏差 .
例1 设总体X的一阶和二阶矩存在，分布是任
意的，记E X ，D( X ) 2.
证明：样本均值X 是的无偏估计.
样本方差Sn2是 2的渐近无偏估计.
修正样本方差Sn2是 2的无偏估计.
证
E X ,
E
Sn2
n 1 2,
n
E Sn2 2
定义6.4 设ˆ1和ˆ2均为的无偏估计量,若对任意
样本容量n有D ˆ1 D ˆ2 ,则称ˆ1比ˆ2有效.
如果存在 一个无偏估计量 ˆ0 ,使对 的任意无偏 估计量 ˆ ,都有
Dˆ0 Dˆ
则称ˆ0 是 的最小方差无偏估计(量).
缩写为MVUE. 最小方差无偏估计是一种最优估计.
例3 设总体 X 服从区间 0， 上的均匀分布,
1
2
E[
ˆn Eˆn
2
2
ˆn Eˆn
Eˆn
Eˆn
2
]
1
2
[
Dˆn
Eˆn
2
]
令 n , 由定理的假设得
lim
n
P{ ˆn
}0
即 ˆn 是 的相合估计．
例9 若总体 X 的 EX和 DX都存在 , 证明 X 是总体
均值 EX 的相合估计.
证 因为 EX EX
DX DX 0 n
n
定理6.2设ຫໍສະໝຸດ ˆn是的一个估计量,
若 lim
n
E
ˆn
,
且
lim
n
D(ˆn
)
0,
则
ˆn 是
的相合估计(或一致估计).
证明 由于
0 P{ˆn }
估计量的评选标准ppt课件
而是渐近无偏估计。
（2）修正样本方差
S *2
1n n 1 i1 ( X i
X )2
是总体方差 2= D(X) 的无偏估计。
6
一．无偏性
例题 3
设总体 X 服从指数分布，其概率密度为
f
( x；θ )
1
θ
x
eθ
0
x0 x0
其中参数 > 0 未知， ( X1, X2, …, Xn ) 是抽自总体 X
的样本，试证：X 和 nZ=n[min ( X1, X2, …, Xn )]
都是 的无偏估计。 7
一．无偏性
注记
（1）无偏估计的实际意义。
（2）无偏估计可能不唯一。
（3）无偏估计可能不存在 。
（4）无偏性在函数变换下不一定有不变性。
（5）某些有偏估计可修正为无偏估计。
8
二．最 优 性
9
二．最优性
§3-2 估计量的评选标准
一．无偏性 二．最优性 三．优效性 四．充分性 五．完备性
1
一．无 偏 性
2
一．无偏性
无偏估计
设总体 X ~F ( x; ) ，其中参数 未知。
( X1, X2, …, Xn )是抽自总体 X 的一个样本，
T = T( X1, X2, …, Xn )是 的一个估计量。如果 E(T ) θ
例题 6
设总体 X ～ N( ， ²)，其中 ， ²
未知，( X1, X2, …, Xn )是抽自总体X 的样本，
试求未知参数， ²的最小方差无偏估计。
样本的联合概率密度函 数
n i 1
f
(
xi
;
μ,σ
2
)
(2σ
估计量的评价标准
标准三: 相合性(一致性)
设统计量ˆ 是未知参数 的点估
计量,样本容量为 n , 若对任意 0,
lim
P
|
|
1,
则称
ˆ为
的相合
n估计, 又称一致估计.
相合性表明:当样本容量充分大时,事件
“相合估计量充分接近被估计未知参数的概率” 接近于1,换言之,当样本容量充分大时,事件 “相合估计量与被估未知参数偏离较大”的概 率接近于零.以后,将概率很小的事件被称为小 概率事件.
均方误差准 则 用估计量 ˆ( X1, X2 , , Xn )去估计,
产生误差为:
ˆ .
由于它是随机变量,我们通常是通过对它求 均值来看看误差有多大.
注意:为了防止求均值时正误差和负误差相互 抵消,我们先将其平方再求均值,并将其称为均
方误差,记为MSE(), 即
MSE (ˆ) E(ˆ )2
均方误差准则 假如有的两个估计:ˆ1和ˆ2 . 这时两个估计中哪一个估计的均方误 差小,我们就把哪一个估计看作比较优,这 种判定估计量的准则叫均方误差准则. 说明 均方误差能够分解成两部分:
MSE (ˆ) D(ˆ) [E(ˆ) ]2
证明: MSE (ˆ) E(ˆ )2 E{[ˆ E(ˆ)] [E(ˆ) ]}2
E[ˆ E(ˆ)]2 2[E(ˆ) ] E[ˆ E(ˆ)] [E(ˆ) ]2
E[ˆ E(ˆ)]2 [E(ˆ) ]2
D(ˆ) [E(ˆ) ]2
第7.2节 估计量的评价标准
容易明白, 对同一个未知参数, 采用不同的方 法找到的点估计可能不同. 那么, 自然要问: 究竟是用哪一个更“好”些呢? 这里介绍三个 评价标准.
常用 标准
(1) 无偏性 (2) 有效性 (3) 相合性(或一致性)
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
19.估计量的评选标准【教学内容】：高等教育出版社浙江大学盛骤，谢式千，潘承毅编的《概率论与数理统计》第七章第§3估计量的评选标准【教材分析】：前一节可以看到，用不同的估计方法求出的估计量可能不同，原则上任何统计量都可以作为位置参数的估计量，采用哪个估计量好呢，这就涉及到用什么样的标准来评价估计量的问题，本节重要介绍估计量的评选标准。
【学情分析】：1、知识经验分析学生已经学习了矩估计法和极大似然估计法，并看到用不同的估计方法求出的估计量可能不同。
2、学习能力分析学生虽然具备一定的基础的知识和理论基础，但概念理解不透彻，解决问题的能力不高，方法应用不熟练，知识没有融会贯通。
【教学目标】：1、知识与技能：了解估计量的无偏性、有效性和相合性的概念，并会验证估计量的无偏性、有效性2、过程与方法由本节内容的特点，教学中采用启发式教学法，逐步引入估计量的评选标准。
3、情感态度与价值观通过合作交流，让学生养成认真思考，锲而不舍的习惯，从而增加学习数学的兴趣。
【教学重点、难点】：重点：评选标准的提出。
难点：解估计量的无偏性、有效性和相合性的概念，并会验证估计量的无偏性、有效性。
【教学方法】：讲授法启发式教学法【教学课时】：1个课时【教学过程】：一、问题引入x x x是一个样本值，试求例1 设总体X在[],a b上服从均匀分布，,a b未知，12,,,n,a b的矩估计量和最大似然估计量。
解：可得矩估计量ˆˆa X b X ===+ 最大似然估计量：1ˆmin ,i i na X ≤≤= 1ˆmax .ii nb X ≤≤=【设计意图】：用不同的估计方法求出的估计量可能不同，原则上任何统计量都可以作为位置参数的估计量，对于同一个参数究竟采用哪一个估计量好，评价估计量的标准是什么? 二、无偏性定义 若估计量()12ˆˆ,,,n X X X θθ=的数学期望()ˆE θ存在，且对任意θ∈Θ有 ()ˆE θθ= 则称ˆθ是θ的无偏估计量。
在科学技术中，称()ˆE θθ-是以ˆθ作为θ估计的系统误差。
无偏估计的实际意义就是无系统误差。
例2 设总体X 的k 阶矩()()1k k E X k μ=≥存在，又设12,,,n X X X 是X 的一个样本，试证明不论总体服从什么分布，k 阶样本矩11n kk i i A X n ==∑是k 阶总体矩k μ的无偏估计量 。
证明：12,,,n X X X X 因为与同分布， ()()k k i E X E X =故有,1,2,,.k i n μ== 11()().nk k i k i E A E X n μ===∑即.k k k A k μ故阶样本矩是阶总体矩的无偏估计【设计意图】：让学生掌握不论总体服从什么分布，k 阶样本矩11n kk i i A X n ==∑是k 阶总体矩k μ的无偏估计量。
例3 设总体X 服从指数分布，其概率密度为()/1,0;0,.x e x f x θθθ-⎧>⎪=⎨⎪⎩其他其中参数0θ>为未知，又设12,,,n X X X 是来自X 的一样本，试证X 和{}()12min ,,,n nz n X X X =都是θ的无偏估计量。
证明：()(),E X E X θ==因为 .X θ所以是的无偏估计量12 min(,,,) ,n Z X X X nθ=而服从参数为的指数分布min e ,0,(;)0,.nxn x f x θθθ-⎧>⎪=⎨⎪⎩概率密度其他 (),E Z n θ=故知 (),E nZ θ= .nZ θ所以也是的无偏估计量【设计意图】：通过这个例子，让学生掌握一个未未知参数可以由不同的无偏估计量 同一个参数可以有多个无偏估计量，那么用哪一个为好呢? 三、有效性设参数θ有两个无偏估计量1ˆθ和2ˆθ，在样本容量n 相同的情况下， 1ˆθ的观测值都集中在θ的真值附近，而2ˆθ的观测值较远离θ的真值，即1ˆθ的方差较2ˆθ的方差小，我们认为1ˆθ较2ˆθ好，由此有如下的定义： 定义 设()1112ˆˆ,,,n X X X θθ=和()2212ˆˆ,,,n X X X θθ=都是θ的无偏估计量，若对任意θ∈Θ，有12ˆˆ()()D D θθ≤ 且至少对于某一个θ∈Θ式中的不等号成立，则称1ˆθ较2ˆθ有效。
例4 （续3）试证当1n >时，θ的无偏估计量X 较θ的无偏估计量nZ 有效。
证明：2(),D X θ=由于 2(),D X nθ=故有 22(),D Z n θ=又因为 2 (),D nZ θ=故有【设计意图】：通过这个例子，加强学生对无偏性的理解。
四、相合性无偏性和有效性都是在假设样本容量n 固定的条件下讨论的。
由于估计量是样本的函数，它依赖样本容量n ，自然地，我们希望一个好的估计量，当n 越来越大时，它与参数的真值几乎一致，这就是估计量的相合性。
定义 设()12ˆˆ,,,n n X X X θθ=为参数θ的一个估计量，若对对于任意θ∈Θ，当n →∞时，()12ˆ,,,nX X X θ依概率收敛于θ，即对任意0ε>，有 {}ˆlim 1nn P θθε→∞-<= (1.3)则称ˆnθ为参数θ的相合估计量。
, (1) (),k k k k X k E X μ≥=由第六章第二节知样本阶矩是总体的阶矩的相合估计量()()221222115: , 11 .n ii ni i X S X X n B X X n μσ===--=-∑∑例试证样本均值是总体均值的相合估计量样本方差及样本的二阶中心矩都是总体方差的相合估计量证明：由大数定律知：0,ε∀> 11 lim 1,n i n i P X n με→∞=⎧⎫-<=⎨⎬⎩⎭∑有11 ni i X X n μ==∑所以是的相合估计量，22222222111111 ()(2),n n n i i i i i i i B X X X X X X X X A X n n n ====-=-+=-=-∑∑∑又由大数定律知22211(), n i i A X E X n ==∑依概率收敛于11(), ni i X X E X n ==∑依概率收敛于 222 B A X =-故 ，222()[()] =E X E X σ-依概率收敛于，22 . B σ所以是的相合估计量lim1, 1n n n →∞=-又 222 . 1n S B n σ=-所以也是的相合估计量【设计意图】：通过这个例子，加强学生对相合性的理解。
五、思考与提问：有没有其他的评选标准？六、内容小结1、估计量的评选的三个标准：无偏性、有效性、相合性，相合性是对估计量的一个基本要求， 不具备相合性的估计量是不予以考虑的。
2、由最大似然估计法得到的估计量， 在一定条件下也具有相合性。
估计量的相合性只有当样本容量相当大时，才能显示出优越性， 这在实际中往往难以做到，因此，在工程中往往使用无偏性和有效性这两个标准。
七、课外作业：P175： 11 ， 12 ， 13八、板书设计估计量的评选标准一、问题引入例 1 设总体X 在[],a b 上服从均匀分布，,a b 未知，12,,,n x x x 是一个样本值，试求,a b 的矩估计量和最大似然估计量。
二、无偏性定义 若估计量()12ˆˆ,,,n X X X θθ=的数学期望()ˆE θ存在，且对任意θ∈Θ有 ()ˆE θθ= ，则称ˆθ是θ的无偏估计量。
在科学技术中，称()ˆE θθ-是以ˆθ作为θ估计的系统误差。
无偏估计的实际意义就是无系统误差。
例2 设总体X 的k 阶矩()()1k k E X k μ=≥存在，又设12,,,n X X X 是X 的一个样本，试证明不论总体服从什么分布，k 阶样本矩11n kk i i A X n ==∑是k 阶总体矩k μ的无偏估计量 。
例3 设总体X 服从指数分布，其概率密度为()/1,0;0,.x e x f x θθθ-⎧>⎪=⎨⎪⎩其他其中参数0θ>为未知，又设12,,,n X X X 是来自X 的一样本，试证X 和{}()12min ,,,n nz n X X X =都是θ的无偏估计量。
三、有效性设参数θ有两个无偏估计量1ˆθ和2ˆθ，在样本容量n 相同的情况下， 1ˆθ的观测值都集中在θ的真值附近，而2ˆθ的观测值较远离θ的真值，即1ˆθ的方差较2ˆθ的方差小，我们认为1ˆθ较2ˆθ好，由此有如下的定义： 定义 设()1112ˆˆ,,,n X X X θθ=和()2212ˆˆ,,,nX X X θθ=都是θ的无偏估计量，若对任意θ∈Θ，有12ˆˆ()()D D θθ≤ 且至少对于某一个θ∈Θ式中的不等号成立，则称1ˆθ较2ˆθ有效。
例4 （续3）试证当1n >时，θ的无偏估计量X 较θ的无偏估计量nZ 有效。
四、相合性无偏性和有效性都是在假设样本容量n 固定的条件下讨论的。
由于估计量是样本的函数，它依赖样本容量n ，自然地，我们希望一个好的估计量，当n 越来越大时，它与参数的真值几乎一致，这就是估计量的相合性。
定义 设()12ˆˆ,,,n n X X X θθ=为参数θ的一个估计量，若对对于任意θ∈Θ，当n →∞时，()12ˆ,,,n X X X θ依概率收敛于θ，即对任意0ε>，有{}ˆlim 1nn P θθε→∞-<=(1.3)则称ˆnθ为参数θ的相合估计量。
, (1) (),kk k k X k E X μ≥=由第六章第二节知样本阶矩是总体的阶矩的相合估计量()()22122215: ,11 1 .ni i ni i X S X X n B X X n μσ===--=-∑∑例试证样本均值是总体均值的相合估计量样本方差及样本的二阶中心矩都是总体方差的相合估计量。