概率论与数理统计：7-3估计量的评选标准
《概率论与数理统计》课程教案
※相合性是对一个估计量的基本要求，若估计量不具有相合性，那么不论将样本容量n取得多么大，都不能将θ估计得足够准确，因而不可取
可以用大数定律的思想处理。
板书，回顾
PPT
课后作业
包括课后作业、数值实验作业、其它要求
课后小结
课后小结是教案执行情况的经验总结，目的在于改进和调整教案，为下一轮课讲授设计更加良好的教学方案。应全面审视教学过程，特别注意对意外发现、点滴收获、以及因个别疏漏而及时补充的方法等方面的内容进行撰写
无偏性若估计量 ＝ (X1,X2,…,Xn)的数学期望E( )存在，且对于任意的θ Θ有E( )＝θ，则称 是θ的无偏估计量。
ห้องสมุดไป่ตู้即E( )－θ＝0，
称E( )－θ为以 作为θ的估计的系统误差，那么无偏估计的实际意义就是无系统误差。（人为的或系统本身原因导致的误差，而不是测量误差）
例如：设总体X的k阶矩，期望和方差分别为μk，μ，σ2
由于E(Ak)=E( )= = =μk
E(S2)=E( )=σ2，
E( )=E( )＝μ
所以k阶样本矩，样本方差和样本均值分别为k阶总体矩μk，方差σ2和期望μ的无偏估计量
而σ2的一个估计量 ＝B2＝ 由于
E(B2)=E( )= ≠σ2，因而是有偏的
其中，由方差恒等式E(X2)＝D(X)+E(X)2
由于方差是随机变量取值与其数学期望的偏离程度的度量，这样在无偏的情况下E( )=E( )=θ，以方差小者为好，即估计量的有效性
有效性设 ＝ (X1,X2,…,Xn)与 ＝ (X1,X2,…,Xn)都是θ的无偏估计量，若对于任意θ Θ，有D( )D( )且至少对于某一个θ Θ，上式中的不等号成立，则称 较 有效。
估计量的评选标准与区间估计
置信区间 设总体X的分布函数F(x;)含有一个未知 参数. 对于给定值a(0<a<1), 若由样本X1 ,X2 ,…,Xn确定 的两个统计量 ( X1, X 2 ,..., X n )和 ( X1, X 2 ,..., X n ) 满足
P{ ( X1, X 2 ,..., X n ) ( X1, X 2 ,..., X n )} 1 a, 则称随机区间 ( , )是的置信度为1 a的置信区间,和 分
n 1
S 2
1 n 1
n
(Xi
i 1
X 2 ).
这就是说S2是2的无偏估计，因此，一般都是取S2作为 方差2的估计量。
例3 设总体X服从参数为的指数分布，概率密度为
f
( x,
பைடு நூலகம்
ex /
,
x 0,
0,
其它。
其中>0为未知,又设X1 ,X2 ,…,Xn是来自X的样本,试证
都是统计量 , 那么( , )就是的一个置信度为1 a的置信区间。
函数Z(X1 ,X2,…,Xn ; )的构造, 可以从 的点估计着 手考虑。
(三)单个总体N(,2)的情况
设已给定置信度为1-a, 并设X1 ,X2,…,Xn为总体N(,2)
的样本. X, S2分别是样本均值和样本 方差。
2的无偏估计为S2 由第六章2定理一知
(n 1)S 2 ~ 2 (n 1), 2
故
P{
2 1-a/2
(n
1)
(n 1)S 2
2
2 a/2
(n
北邮概率论与数理统计参数估计的评选标准 (7.3)
§7.3 估计量的评选标准由点估计提法可以看出,估计的概念相当广泛,并且用不同的估计方法往往会得出不同的估计.如果不对估计的好坏加以明确,估计是没有意义的.评价估计量的优劣并不简单，这首先需要明确衡量优良性的标准.这些标准不是唯一的，也不是绝对的.从不同角度出发可以提出不同的标准.下面我们讨论评价估计优劣的一些常用的标准. （一）均方误差同一参数的估计有多种，那么什么样的估计算是好的甚至是最好的？这就涉及优良性标准.从直观上看，估计量与被估计量越接近越好.当我们用)(ˆX θ估计θ时,评价该估计好坏的一个自然的度量是|)(ˆ|θθ-X ,但由于θ是未知的,样本又具有随机性,因而这种自然度量在实际中是不可行的,为了消除随机性的影响,可以考虑对它求平均|)(ˆ|θθ-X E ,出于数学处理上的方便,最常用的标准是由下式给出的均方误差.2))(ˆ()ˆ(θθθθ-=X E MSE 例7.3.1设n X X ,,1 为来自正态总体),(2σμN 的简单随机样本， (1) 若μ已知,考虑2σ的两个估计量:∑=---=n i i X n 1221)(11ˆμσ,∑=-=n i i X n 1220)(1ˆμσ, 求这两个估计量的均方误差,并比较它们的大小; (2)若μ未知,考虑2σ的两个估计量:∑=---=n i i X X n 1221)(11ˆσ,∑=-=n i i X X n 1220)(1ˆσ, 求这两个估计量的均方误差, 并比较它们的大小.解:(1)先求20ˆσ的均方误差,由于220)ˆ(σσ=E ,所以])([1)ˆ()ˆ(1222022∑=-==n i i X D n D M S E μσσσ, 又∑=-ni iX122)(1μσ～)(2n χ,故n XD ni i2])(1[122=-∑=μσ,即得4122])([σμn X D ni i =-∑=,从而知nMSE 4202)ˆ(2σσσ=,或])([1)ˆ()ˆ(1222022∑=-==ni i X D n D MSE μσσσ n X D nni i 41222)(1σμ=-=∑=, (这里用到了:若X ～),(2σμN ,则⎩⎨⎧-=-为奇数，为偶数，k k k X E k k0,!)!1()(σμ从而422)(σμ=-X D )再求21ˆ-σ的均方误差,}])({)1(1)ˆ(212222212∑=-+---=ni i n X E n MSE σσμσσ 424122)1(12}])([{)1(1σσμ-+=+--=∑=n n X D n ni i , 易见对任意的02>σ,总有>-)ˆ(212σσMSE )ˆ(202σσMSE , 思考题：考虑∑=-+=n i i kX k n 122)(1ˆμσ（k 为整数），计算)ˆ(22k MSE σσ并找出k 为何值时均方误差最小.（2）先求21ˆ-σ的均方误差,由于221)ˆ(σσ=-E ,所以 ])([)1(1)ˆ()ˆ(12221212∑=----==ni i X X D n D MSE σσσ又∑=-ni i X X122)(1σ～)1(2-n χ,故)1(2])(1[122-=-∑=n X XD ni iσ, 即得412)1(2])([σ-=-∑=n X X D ni i ,从而知12)ˆ(4212-=-n MSE σσσ,再求20ˆσ的均方误差,}])1()({1)ˆ(21222222∑=----=ni i n X X E n MSE σσσσ 42412212}])([{1σσn n X X D n ni i -=+-=∑=, 易见对任意的02>σ,总有>-)ˆ(212σσMSE )ˆ(202σσMSE . 思考题：考虑∑=-+=n i i kX X k n 122)(1ˆσ（k 为整数），计算)ˆ(22k MSE σσ并找出k 为何值时均方误差最小.（二） 无偏性均方误差可分解成两部分:2))(ˆ()ˆ(θθθθ-=X E MSE 2ˆˆ]-)(E [)(r Va θθθ+= 若偏差0ˆ==θθθ-)(E )b(，那么均方误差就等于方差.这样的估计量叫做无偏估计量.因此有如下义.定义 设θ为待估参数,参数空间为Θ,),,,(ˆˆ21nX X X θθ=为θ的估计量,若对于任意Θ∈θ,总有θθθ=)ˆ(E ， 则称),,,(ˆˆ21n X X X θθ=为θ的无偏估计量,或者说),,,(ˆˆ21n X X X θθ=作为θ的估计量具有无偏性.又若0=∞→)b(lim n θ，称θˆ是θ的渐近无偏估计.例7.3.2 设总体X 的均值为μ，方差为2σ，n X X ,,1 是来自该总体的简单随机样本.则（i ）样本均值X 为总体均值μ的无偏估计； （ii ）样本均值2S 为总体均值2σ的无偏估计;思考题:样本标准差S 是否是总体标准差σ的无偏估计?如果不是，在正态模型下如何修改使之为无偏估计.例7.3.3 设n X X ,,1 是来自总体),(2σμN 的简单随机样本，求解下面问题(1)2σ的两个常用估计量∑=-=n i i nX X n S 122)(1,∑=--=n i i X X n S 122)(11中哪个是无偏估计?(2) 若22bS X a T +=为2μ的无偏估计,确定b a ,. 解:(1)略(2) 2222222)()1()()()(σμσσμna b a b n a S bE X aE T E ++=++=+=， 由无偏性定义知 对2,σμ∀，有 222)(μσμ=++na b a 从而得nb a 1,1-==。
估计量的评选标准
p(x,θ )，g(θ )为待估参数，设 gˆ(X1)为 g(θ) 的
任意无偏估计，考虑
Var(gˆ(X1)) 的下界？
注：积分形式的 Cauchy 不等式：
uvdx 2 u2dx v2dx
1、 Fisher信息量的定义.
设总体 X 的概率函数为 p (x; ), ,且满足一定条件:
ln p(x;) x ln ln x! x!
I ()
E[ d ln
p( X ; )]2 d
E[ X
1]2
E(X )2 2
1
故 1 , nI () n
显然,Var(x) 1 ,
nI ()
所以, x是的有效估计.
例1 设 X1, X2,… Xn 是取自总体 X ~ N( 0,σ2) 的一个 样本，试证：
两者不同!
对于同一个未知参数,用不同的方法得到 的估计量可能不同,于是提出问题：
应该选用哪一种估计量? 用何标准来评价一个估计量的好坏?
ˆ( X1,..., Xn ) 越接近 越好！
如何刻画？
例：估计农大12级本科生高数的平均成绩：
方案一：设计一个抽样方案，取200个同学 的高数成绩，计算出他们的平均成绩，作为 真实成绩的估计； 方案二：随便取一个同学的成绩作为真实成 绩的估计。
1 n
Var (ˆ )
1
n
2
Var(ˆ1)
例如 X ~ N( , 2 ) , ( x 1, x 2 ) 是一个样本.
ˆ1
2 3
x1
1 3
x2
7.3估计量的评选标准
第12页
例7 设总体期望为 E( X )= , 方差 D( X )= 2
( X 1 , X 2 ,, X n )
(1)设常数 为总体X 的一个样本。
1 ci i 1,2, , n. n
n
c
i 1
n
i
1.
证明
(2) 证明
ˆ1 ci X i 是 的无偏估计量
i 1
由前面例子 可知,
x0 X 与 n min{X 1 , X 2 , , X n }都
0 为常数
是 的无偏估计量,问哪个估计量更有效？ 2 解 D(X ) , D(n min{ X 1 , X 2 ,, X n }) 2 n
所以, X 比
n min{X1, X 2 ,, X n } 更有效。
k
特别地, 样本均值 X 是总体期望 E( X ) 的无偏估计量
1 n 2 样本二阶原点矩 A2 X i 是总体二阶 n i 1 2 原点矩 2 E ( X ) 的无偏估计量。
例2 设总体 X 的期望 E( X )与方差 D( X )存在,
第4页
n i 1n 1 2 2 S ( X X ) (2) 是 D( X ) 的无偏估计量。 i n 1 i 1 n 1 n 1 证 (X i X )2 X i2 X 2 n i 1 n i 1
第23页
n 1 1 n 2 2 2 又 B2 ( X i X ) ( X i 2 X i X X ) n i 1 n i 1
1 n 2 X i X 2 A2 X 2 , n i 1
( A2是样本二阶原点矩 )
由大数定律知,
1 n 2 A2 X i 依概率收敛于E ( X 2 ), n i 1 1 n X X i 依概率收敛于E ( X ), n i 1
7.3估计量的优良准则
好的估计量要求估计值在未知参 数真值的附近.
ˆ( X ,, X ) 是未知参数 的估计量， 若 定义 设 1 n
ˆ ) , 则称 ˆ 为 的无偏估计量. E ( ˆ ) 为用 ˆ 估计 而 产生的系统偏差. 注：称 E (
无偏性指估计量没有系统的偏差, 只存在随机偏差.
定理1 设 X 1 ,, X n 为取自总体 X 的样本， 总体 X
的均值为 , 方差为 . 则
2
（1） 样本均值 X 是 的无偏估计量； 证 （1） 因为
E( X i ) E( X ) ,
n
i 1,2,, n,
n
1 1 E( X ) E X i E( X i ) n i 1 n i 1 E( X ) ,
2 1 n 1 n D( X ) D X i D( X i ) , n n i 1 n2 i 1
D( X i ) 2 ( i 1,2,, n)
故 X 较 X i ( i 1,2,, n) 更有效.
有效性
注：在数理统计中常用到最小方关差无偏估计, 其 定义如下： 设 X 1 ,, X n 是取自总体 X 的一个样本,
2
n
(2) 因
X
i 1
n
2 i
2
Xi 而 , i 1
n
例1 设总体 X ~ N (0, ), X 1 , X 2 , X n 是来自这一 总体的样本. 2 ˆ ). (2) 求 D(
2
解 (2) 因
X
i 1
n
2 i
2 Xi ~ N (0,1) ( i 1,2,, n), 2 且它们相互独立, 故依 分布定义
概率论与数理统计：7-3估计量的评选标准
D(ˆ1 ) D(ˆ2 ), 且至少对于某一个 上式中的 不等号成立，则称ˆ1较 ˆ2有效.
第三节 估计量的评选标准
一、问题的提出 二、无偏性 三、有效性 四、相合性
一、问题的提出
从前一节可以看到, 对于同一个参数, 用不 同的估计方法求出的估计量可能不相同, 如课本 上本章的例2和例6. 而且, 很明显, 原则上任何统 计量都可以作为未知参数的估计量.
问题: 对于同一个参数究竟采用哪一个估计量好?
故有
E
(
X
k i
)
E(X
k
)
k
,
i 1,2,,n.
即
E( Ak
)
1 n
n i 1
E
(
X
k i
)
k .
故
k
阶样本矩
Ak
是
k
阶总体矩
的无偏估计
k
.
特别地:
不论总体 X 服从什么分布, 只要它的数学期 望存在, X 总是总体 X 的数学期望 1 E( X ) 的 无偏估计量. S 2是 2的无偏估计,故通常取S 2作 2 Nhomakorabea估计量.
例2 设总体 X 服从参数为的指数分布, 概率密
度
f ( x;)
1
e
x
,
0,
x 0, 其中参数 0, 又设 其它
X1, X2,, Xn 是来自总体X 的样本，试证 X 和
nZ n[min(X1, X2 ,, Xn )] 都是的无偏估计.
估计量的评价标准
计量是有偏的，称 E ˆ 为估计量ˆ的偏差 .
例1 设总体X的一阶和二阶矩存在，分布是任
意的，记E X ，D( X ) 2.
证明：样本均值X 是的无偏估计.
样本方差Sn2是 2的渐近无偏估计.
修正样本方差Sn2是 2的无偏估计.
证
E X ,
E
Sn2
n 1 2,
n
E Sn2 2
定义6.4 设ˆ1和ˆ2均为的无偏估计量,若对任意
样本容量n有D ˆ1 D ˆ2 ,则称ˆ1比ˆ2有效.
如果存在 一个无偏估计量 ˆ0 ,使对 的任意无偏 估计量 ˆ ,都有
Dˆ0 Dˆ
则称ˆ0 是 的最小方差无偏估计(量).
缩写为MVUE. 最小方差无偏估计是一种最优估计.
例3 设总体 X 服从区间 0， 上的均匀分布,
1
2
E[
ˆn Eˆn
2
2
ˆn Eˆn
Eˆn
Eˆn
2
]
1
2
[
Dˆn
Eˆn
2
]
令 n , 由定理的假设得
lim
n
P{ ˆn
}0
即 ˆn 是 的相合估计．
例9 若总体 X 的 EX和 DX都存在 , 证明 X 是总体
均值 EX 的相合估计.
证 因为 EX EX
DX DX 0 n
n
定理6.2设ຫໍສະໝຸດ ˆn是的一个估计量,
若 lim
n
E
ˆn
,
且
lim
n
D(ˆn
)
0,
则
ˆn 是
的相合估计(或一致估计).
证明 由于
0 P{ˆn }
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
例2 设总体 X 服从参数为的指数分布, 概率密
度
f ( x;)
1
e
x
,
0,
x 0, 其中参数 0, 又设 其它
X1, X2,, Xn 是来自总体X 的样本，试证 X 和
nZ n[min(X1, X2 ,, Xn )] 都是的无偏估计.
证 因为 E( X ) E( X ) ,
无偏估计的实际意义: 无系统误差.
例1 设总体 X 的k 阶矩k E( X k ) (k 1)存在, 又设 X1, X2 ,, Xn 是 X 的一个样本，试证明不论
总体服从什么分布, k 阶样本矩
Ak
1 n
n i 1
X
k i
是
k 阶总体矩k的无偏估计.
证 因为 X1, X2 ,, Xn 与 X 同分布，
评价估计量的标准是什么?
下面介绍几个常用标准.
二、无偏性
若 X1, X2 ,, Xn 为总体 X 的一个样本， 是包含在总体 X 的分布中的待估参数, (是的取值范围)
若估计量ˆ ( X1, X2 ,, Xn )的数学期望 E(ˆ )存在, 且对于任意 有 E(ˆ ) , 则称ˆ 是的无偏估计量.
所以 X 是 的无偏估计量.
而
Z
min(
X1,
X2 ,,
Xn)
服从参数为 的指数分布, n
概率密度
fmin ( x;)
n
e
nx
,
x0
0,
其它
故知 E(Z ) , E(nZ ) , n
所以 nZ 也是 的无偏估计性
比较参数的两个无偏估计量ˆ 1和ˆ 2, 如果 在样本容量n相同的情况下, ˆ 1的观察值较ˆ 2更 密集在真值的附近, 则认为ˆ 1较 ˆ 2 理想.
例如 由第六章第二节知, 样本k(k 1)阶矩是 总体 X 的k 阶矩 k E( X k )的相合估计量, 进而若待估参数 g(1,2 ,,n ), 其中g为连续 函数, 则的矩估计量ˆ g(ˆ 1,ˆ 2 ,,ˆ n ) g( A1, A2 , , An )是的相合估计量.
由极大似然估计法得到的估计量, 在一定条 件下也具有相合性. 估计量的相合性只有当样本 容量相当大时,才能显示出优越性, 这在实际中 往往难以做到,因此,在工程中往往使用无偏性和 有效性这两个标准.
第三节 估计量的评选标准
一、问题的提出 二、无偏性 三、有效性 四、相合性
一、问题的提出
从前一节可以看到, 对于同一个参数, 用不 同的估计方法求出的估计量可能不相同, 如课本 上本章的例2和例6. 而且, 很明显, 原则上任何统 计量都可以作为未知参数的估计量.
问题: 对于同一个参数究竟采用哪一个估计量好?
故有
E
(
X
k i
)
E(X
k
)
k
,
i 1,2,,n.
即
E( Ak
)
1 n
n i 1
E
(
X
k i
)
k .
故
k
阶样本矩
Ak
是
k
阶总体矩
的无偏估计
k
.
特别地:
不论总体 X 服从什么分布, 只要它的数学期 望存在, X 总是总体 X 的数学期望 1 E( X ) 的 无偏估计量. S 2是 2的无偏估计,
由于方差是随机变量取值与其数学期望的 偏离程度, 所以无偏估计以方差小者为好. 设ˆ1 ˆ1( X1 , X 2 ,, X n )与ˆ2 ˆ2 ( X1 , X 2 ,, X n ) 都是 的无偏估计量, 若对于任意 ，有
D(ˆ1 ) D(ˆ2 ), 且至少对于某一个 上式中的 不等号成立，则称ˆ1较 ˆ2有效.
例3 (续例2) 试证当n 1时, 的无偏估计量 X较 nZ 有效.
证明
由于 D( X ) 2, 故有 D( X ) 2 , n
又因为
D(Z )
2 n2
,
故有 D(nZ ) 2,
当n 1时, D(nZ ) D( X ),
故 的无偏估计量 X较 nZ 有效.
四、相合性
若ˆ ˆ ( X1, X2 ,, Xn )为参数的估计量, 若对于任意 ,当n 时,ˆ ( X1, X2 ,, Xn ) 依概率收敛于, 则称 ˆ 为 的相合估计量.