第七章 第二节 估计量的评选标准
估计量的评选标准
存在,
k
为正整数,则
1 n
n i 1
X
k i
为
E(X
k
)
的相合估计量.
证明
对指定的
k
,令 Y
X k ,Yi
X
k i
,则 Y1,Y2 ,
,Yn 相互
独立并与 Y 同分布,且 E(Yi ) E(Y) E(X k ) ,由大数定理知, 对任意 0,有
lim P n
1 n
n
Yi
i 1
E(Y )
样本 k 阶矩 Ak
1 n
n i 1
X
k i
是总体 k 阶矩 k 的
无偏估计量.
证明
X1, X2 , , Xn 与 X 同分布,故有
E
X
k i
E
Xk
k , i 1, 2,
, n.
即有
E Ak
1 n
n i 1
E
Xik
k . 因此,不论总体 X 服从什
么分布,样本 k 阶矩是总体 k 阶矩的无偏估计量.
n
2
D(Xi )
i 1
n
,
故 X 较 Xi (i 1, 2, , n) 更有效.
3.一致性
定义 6.7 设 X1, X2 , , Xn 为未知参数 的估计
量,若 依概率收敛于 ,即对任意 0, 有
lim
P
1
或
lim
P
0
,
n
n
则称 为 的相合估计量或一致估计量.
例 6.15 设 X1,X2 , ,Xn 是取自总体 X 的样本,且 E( X k )
lim P n
1 n
§7.2估计量的评选标准
§7.2估计量的评选标准对于同一个未知参数,不同的方法得到的估计量可能不同,于是提出问题（1）应该选用哪一种估计量?（2）用何标准来评价一个估计量的好坏? 常用的标准有：(1) 无偏性，(2) 有效性，(3) 一致性（或相合性）.一 无偏性定义1、设,,,12X X X n 是总体X 的样本，ˆ(,,,)12X X X n θθ= 是总体参数θ的估计量，ˆ()E θ存在，且对于任意θ∈Θ都有ˆ()E θθ=，则称ˆθ是θ的无偏估计量. 在科学技术中ˆ()-E θθ称为以ˆθ作为θ的估计的系统误差. 无偏估计的实际意义就是无系统误差.例1、设总体X 的k 阶矩1k E X k k μ⎛⎫⎛⎫ ⎪ ⎪ ⎪⎝⎭⎝⎭=≥存在，又设,,,12X X X n 是X 的一个样本.试证明不论总体服从什么分布，k 阶样本矩11n k A X n j k j =∑=是k 阶总体矩k μ的无偏估计量. 例2 、设总体X 服从指数分布，其概率密度为1,0;0,x e x f x θθθ⎧⎪⎪⎪⎛⎫⎨ ⎪⎝⎭⎪⎪⎪⎩->=其它其中参数0θ>为未知，又设,,,12X X X n 是来自X 的样本. 试证X 和min ,,,12nZ n X X X n ⎛⎫⎧⎫⎪⎪ ⎪⎨⎬ ⎪⎪⎪⎩⎭⎝⎭= 都是θ的无偏估计量.二 有效性定义2、设 ˆ(,,,)1112X X X n θθ= ，ˆ(,,,)2212X X X n θθ= 都是总体参数θ的无偏估计量, 若对于任意θ∈Θ，有ˆˆ()()12D D θθ≤ 则称ˆ1θ比ˆ2θ更有效.例3、设总体X 服从指数分布，其概率密度为1,0;0,x e x f x θθθ⎧⎪⎪⎪⎛⎫⎨ ⎪⎝⎭⎪⎪⎪⎩->=其它其中参数0θ>为未知，又设,,,12X X X n 是来自X 的样本。
试证当1n >时，θ的无偏估计量X 较θ的无偏估计量min ,,,12nZ n X X X n ⎛⎫⎧⎫⎪⎪ ⎪⎨⎬ ⎪⎪⎪⎩⎭⎝⎭= 有效. 三 一致性定义3、设ˆˆ(,,,)12X X X n θθ= 是总体参数θ的估计量. 若对于任意的θ∈Θ , 当n →∞时，ˆθ依概率收敛于θ，即0,ε∀> ˆlim ())0P n θθε-≥=→∞则称ˆθ是总体参数θ的一致(或相合)估计量. 相合性是对一个估计量的基本要求，若估计量不具有相合性，那么不论将样本容量n取得多么大，都不能将 估计得足够准确，这样的估计量是不可取的.。
估计量的评选标准
p(x,θ )，g(θ )为待估参数，设 gˆ(X1)为 g(θ) 的
任意无偏估计，考虑
Var(gˆ(X1)) 的下界？
注：积分形式的 Cauchy 不等式：
uvdx 2 u2dx v2dx
1、 Fisher信息量的定义.
设总体 X 的概率函数为 p (x; ), ,且满足一定条件:
ln p(x;) x ln ln x! x!
I ()
E[ d ln
p( X ; )]2 d
E[ X
1]2
E(X )2 2
1
故 1 , nI () n
显然,Var(x) 1 ,
nI ()
所以, x是的有效估计.
例1 设 X1, X2,… Xn 是取自总体 X ~ N( 0,σ2) 的一个 样本，试证：
两者不同!
对于同一个未知参数,用不同的方法得到 的估计量可能不同,于是提出问题：
应该选用哪一种估计量? 用何标准来评价一个估计量的好坏?
ˆ( X1,..., Xn ) 越接近 越好！
如何刻画？
例：估计农大12级本科生高数的平均成绩：
方案一：设计一个抽样方案，取200个同学 的高数成绩，计算出他们的平均成绩，作为 真实成绩的估计； 方案二：随便取一个同学的成绩作为真实成 绩的估计。
1 n
Var (ˆ )
1
n
2
Var(ˆ1)
例如 X ~ N( , 2 ) , ( x 1, x 2 ) 是一个样本.
ˆ1
2 3
x1
1 3
x2
7.2(估计量的评价标准)
σ
2
~ χ 2 (n − 1)
可得
E (S ) = σ ,
2 2
2σ 4 2 D( S ) = n −1
由切比雪夫不等式， 由切比雪夫不等式，当 n → ∞，对任意 ε > 0,
P{| S 2 − σ 2 |< ε } ≥ 1 − D( S 2 )
ε2
2σ 4 = 1− →1 2 (n − 1)ε
n−1 n−1 2 E ( B2 ) = E(S ) = D( X ) ≠ D( X ). n n
7.2
估计量的评价标准
所以，B2不是总体方差D(X)的无偏估计，尽管B2是 所以， 不是总体方差 的无偏估计，尽管 的无偏估计 D(X)的矩估计量． 的矩估计量． 的矩估计量
1 n n 2 看作对B 我们可以把 S = ∑ ( X i − X ) = n − 1 B2 看作对 2的 n − 1 i =1
P{ X = k } =
λk
k!
e −λ , k = 0,1, 2, L
分别是E(X) =λ和D(X)=λ 的矩估计量， 的矩估计量， 由于 X 和B2分别是 ˆ ˆ 于是得到λ 的两个不同的矩估计量 λ1 = X 和 λ2 = B2
7.2
估计量的评价标准
既然估计量不是唯一的， 那么， 究竟孰优孰劣就 既然估计量不是唯一的 ， 那么 ， 要有一个评价标准． 要有一个评价标准 ． 评价估计量的好坏一般从以下 三个方面考虑： 有无系统偏差； 波动性的大小； 三个方面考虑 ： 有无系统偏差 ； 波动性的大小 ； 当 样本容量增大时是否越来越精确． 样本容量增大时是否越来越精确 ． 这些就是估计量 的无偏性，有效性和相合性． 的无偏性，有效性和相合性．
7.2估计量的评选标准
1 n 2 2 {∑[ D( Xi ) + E ( Xi )]− n[ D( X ) + E ( X )]} = n − 1 i =1 2 1 σ 2 2 2 [( nσ + nµ ) − n( = + µ )] n−1 n =σ 2 ⇒S2为σ2的无偏估计量 n n−1 2 1 2 E ( B2 ) = E[ ∑ ( X i − X ) ] = E ( S ) n i =1 n n−1 2 2 σ ≠σ = n ⇒B2不是σ2的无偏估计量
7.2 估计量的评选标准
一、一致性 二、无偏性 三、有效性
有时候同一个参数可以有几种不同的 估计方法,这时就存在采用哪一个估计的问 估计方法 这时就存在采用哪一个估计的问 题. 希望未知参数与它的估计量在某种意 义下最为接近. 义下最为接近.
相合性) 一、一致性(相合性 一致性 相合性
ˆ 当样本容量无 对于一个好的估计量θ ,当样本容量无 限增大时,它的值应趋于稳定在参数 限增大时 它的值应趋于稳定在参数θ的真 值附近,即与 保持一致或相合. 值附近 即与θ保持一致或相合
令E(X)=µ, D(X)=σ2 n n 1 1 E ( X ) = E ( ∑ X i ) = ∑ E ( X i ) =µ n i =1 n i =1 ⇒ X为µ的无偏估计量 n 1 2 2 E ( S ) = E[ ∑(Xi − X ) ] n − 1 i =1 n 1 2 2 E ( ∑ X i − nX ) = n − 1 i =1 n 1 2 2 [∑ E ( X i ) − nE ( X )] = n − 1 i =1
, −∞ −∞<x <+∞, x1,x2,⋅⋅⋅ n是X的n次观察值 试求σ的 ⋅⋅⋅,x 次观察值,试求 ∞ ⋅⋅⋅ 的 次观察值 极大似然估计量.并判断它是否为σ的一 极大似然估计量 并判断它是否为 致估计量. 致估计量 1 n ˆ 解: σ = ∑ | X i | n i =1 1 n 1 n P 由大数定律,有 由大数定律 有 ∑ | X i | → ∑ E | X i | n i =1 n i =1 | x| +∞ 1 −σ e dx E|Xi|=E|X|= ∫− ∞ | x | ⋅ 2σ
第二节 估计量的评价标准.
若 有两个无偏估计量:
当a+b=1时也是
ˆ , ˆ ,则 ˆ a ˆ b ˆ 1 2 1 2
的无偏估计量。
估计量的无偏性只保证了估计量的取值在参数 真值周围波动,但是波动的幅度有多大呢?自然的, 我们希望估计量波动的幅度越小越好,幅度越小,则 估计量取值与参数真值有较大偏差的可能性越小, 而衡量随机变量波动幅度的量就是方差.这样就有 了我们下面要介绍的有效性的概念.
1 3 1 2 1 1 ˆ ˆ 1 X 1 X 2 X 3 , 2 X 1 X 2 X 3 , 5 10 2 3 2 6
1 1 1 ˆ 3 X1 X 2 X 3 . 3 3 3
8
1 3 1 2 1 1 ˆ ˆ 1 X 1 X 2 X 3 , 2 X 1 X 2 X 3 , 5 10 2 3 2 6
第二节
1
对于同一个参数,用不同的方法可以得到不同的 估计量. 现在的问题是,当同一参数出现多个估计 量时,究竟哪一个更好呢? 这就涉及到用什么标准
来评价估计量的问题. 确定估计量好坏的标准必须是整体性的,说得 明确一点就是,必须在大量观察的基础上从统计的 意义上来评价估计量的好坏.也就是说,估计的好 坏取决于估计量的统计性质.一般认为,一个“好” 的估计量应该具有如下的条件:
2 ，它们都是 2 的无偏估计。当n1 n2 时， S12 和S2
有 D( S ) D( S ) 。
2 1 2 2
此定理说明,增加样本容量可提高估计量的有效性。 有效性概念说明,在无偏估计量中,方差越小越 有效,那末,方差是否有下界呢？
ˆ Rao-Cramer不等式 D
1 ln f ( X ; ) nE
估计量的评价标准
计量是有偏的，称 E ˆ 为估计量ˆ的偏差 .
例1 设总体X的一阶和二阶矩存在，分布是任
意的，记E X ，D( X ) 2.
证明：样本均值X 是的无偏估计.
样本方差Sn2是 2的渐近无偏估计.
修正样本方差Sn2是 2的无偏估计.
证
E X ,
E
Sn2
n 1 2,
n
E Sn2 2
定义6.4 设ˆ1和ˆ2均为的无偏估计量,若对任意
样本容量n有D ˆ1 D ˆ2 ,则称ˆ1比ˆ2有效.
如果存在 一个无偏估计量 ˆ0 ,使对 的任意无偏 估计量 ˆ ,都有
Dˆ0 Dˆ
则称ˆ0 是 的最小方差无偏估计(量).
缩写为MVUE. 最小方差无偏估计是一种最优估计.
例3 设总体 X 服从区间 0， 上的均匀分布,
1
2
E[
ˆn Eˆn
2
2
ˆn Eˆn
Eˆn
Eˆn
2
]
1
2
[
Dˆn
Eˆn
2
]
令 n , 由定理的假设得
lim
n
P{ ˆn
}0
即 ˆn 是 的相合估计．
例9 若总体 X 的 EX和 DX都存在 , 证明 X 是总体
均值 EX 的相合估计.
证 因为 EX EX
DX DX 0 n
n
定理6.2设ຫໍສະໝຸດ ˆn是的一个估计量,
若 lim
n
E
ˆn
,
且
lim
n
D(ˆn
)
0,
则
ˆn 是
的相合估计(或一致估计).
证明 由于
0 P{ˆn }
估计量的评选标准
估计量的评选标准
估计量在统计学中扮演着非常重要的角色，它是对未知参数进行估计的数值。
在实际应用中，估计量的准确性和可靠性直接影响到统计结论的正确性。
因此，如何评选一个好的估计量是非常重要的。
下面将从偏差、方差和均方误差三个方面来探讨估计量的评选标准。
首先，偏差是评价估计量优劣的重要指标之一。
偏差是指估计量的期望值与真实参数值之间的差异。
一个好的估计量应当具有较小的偏差，即在重复抽样下，估计量的平均值应当接近于真实参数值。
因此，评选估计量时，需要对其偏差进行严格的评估，选择偏差较小的估计量作为最优估计。
其次，方差也是评选估计量的重要指标。
方差是用来度量估计量的离散程度，即在重复抽样下，估计量的变异程度。
一个好的估计量应当具有较小的方差，即在重复抽样下，估计量的取值应当比较稳定。
因此，评选估计量时，需要对其方差进行严格的评估，选择方差较小的估计量作为最优估计。
最后，均方误差是评价估计量优劣的综合指标。
均方误差是偏
差和方差的平方和，它综合考虑了估计量的偏差和离散程度。
一个好的估计量应当具有较小的均方误差，即在重复抽样下，估计量的预测误差应当较小。
因此，评选估计量时，需要对其均方误差进行严格的评估，选择均方误差较小的估计量作为最优估计。
综上所述，评选估计量的标准应当综合考虑偏差、方差和均方误差三个方面。
一个好的估计量应当在偏差小、方差小和均方误差小的情况下，具有较高的准确性和可靠性。
在实际应用中，需要根据具体问题和数据特点，选择合适的评选标准，以得到最优的估计量。
希望本文对您有所帮助。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
二. 有效性
注意到，一个参数往往有不止一个无偏估计, 若 ˆ ˆ 则可通过比 1 和 2 都是参数 的无偏估计量， ˆ ˆ 较 E (1 )2 和 E ( 2 )2 的大小来决定二者谁
2 ˆ ˆ 更优 。又由于 D( ) E ( )，这就引出有效 性这个评选标准。
第二节 估计量的评选标准
一. 无偏性
估计量是随机变量，对于不同的样本值会得到 不同的估计值 。如果希望估计值在未知参数真值 附近摆动，而它的期望值等于未知参数的真值。这 就引出无偏性这个评选标准 。
ˆ 定义：设 是 的估计量，若 E ( ) 存在，且
ˆ 对任意的 有： E ( )
n 2
1 ˆ 1 ) E ( ( X i X )2 ) 证明: E ( n i 1 1 n 2 1 n 1 n E [ X i 2 X X i ( X )2 ] n i 1 n i 1 n i 1
概率统计
n 1 n 2 1 E [ X i X 2 ] E ( X i2 ) E ( X 2 ) n i 1 n i 1 1 n 2 2 E ( Xi ) E ( X ) 数学期望的性质 n i 1 1 n 2 2 [ D ( X i ) E ( X i ) ] { D ( X ) [ E ( X )] } n i 1
ˆ 则称 是 的无偏估计量.
概率统计
注: 无偏性的实际意义是指没有系统性的偏差 。 它是用数学期望衡量其靠近真值的程度。
ˆ ˆ 在科学技术中称 E( ) 为以 作为 的
估计的系统误差。则无偏估计即无系统误差。 例如： 用样本均值作为总体均值的估计时，虽无法说明一 次估计所产生的偏差，但这种偏差随机地在“0”的 周围波动，对同一统计问题大量重复使用不会产生 系统偏差 。
ˆ 22
n n1 2 2 ( ) n1 n 1 n ( X i X )2 n 1 i 1
s
概率统计
2
（样本方差） 是无偏的。
结论: 样本均值、样本方差作为总体均值、总体方 差的估计量是无偏的，它要比矩估计法，极 大似然估计法出来的统计量更接近于真值。 所以：一般可取样本均值与方差作为总体均 值与方差的估计量。
的无偏估计更有效？
ˆ 2 ) D ( X1 ) 2 D (
且显然
2
用 1 X 作为 ˆ
。
三. 一致性 (相合性) 注意到，无偏性和有效性都是在样本容量 n 固 定的前提下提出的。当样本容量 n 增大时自然希望 估计量对未知参数的估计更精确； 再注意到，在无偏估计类中所讨论的是以估计量 的方差的大小作为衡量估计量为“最优”的准则。但 是无偏估计类中方差为最小或较小的估计量不一定 比某个有偏的估计量的方差来的小； 另外，有偏与无偏是反映估计量的数学期望是否 等于被估计的参数的真值；方差的大小是反映估计 量的观测值与被估计的参数的真值的离散程度。如 果希望在偏差性与离散性两者兼顾的原则下建立估 计量为“最优”的准则，这就引出相合性的概念。
概率统计
例1. 设总体 X 的均值
, 方差 2 0 都存在 ，若
1 n ˆ 1 2 ( X i X )2 n i 1 1 n 2 ˆ 22 ( Xi X ) n 1 i 1
， 均未知.
2
2 的两个估计量 证明: ˆ
前者是有偏的，后者是无偏的。
概率统计
概率统计
ˆ ˆ 定义：设 1 1 ( X1 , X2 ,, X n ) 与
ˆ ˆ 2 2 ( X1 , X2 ,, X n ) 都是 的无偏
的估计，且两个样本的容量相等。若：
则称
ˆ ˆ 1 较 2 有效。
ˆ ˆ D(1 ) D( 2 )
注: 有效性指的是在同是 的无偏估计量的前提下,
希望估计值与真值的偏离程度越小越好。一般
称方差愈小的估计量愈有效。
概率统计
例 2. 若总体 X 的均值为 , 方差 2 ，但均为未 知，现有两个 的无偏估计量 ：
求: 1 与 2 哪个作为
ˆ 1 X , 2 X1
1 n 1 2 ˆ 解: D ( 1 ) D ( X ) D ( X i ) n i 1 n
概率统计
ˆ 定义：设 为参数
的估计量，若对于任意的
ˆ 当 n 时 依概率收敛于 , ˆ 即： 0, lim P ( ) 1
n n
ˆ 则称 为 的一致估计量 (相合估计量)
注: 一般，一致性（相合性）是要在样本容量相当大 时才能显示出其优越性。但这在实际中很难做到。 因此在工程中经常使用的是无偏性和有效性这两 条衡量估计量为“最优”的准则。 但值得指出的是：若估计量不具有相合性，那么 不论将样本容量 n 取的多大，都不能使得待估计 量估计的足够准确。
n1 2 ( ) ( ) 2 n n
2 2 2 2
1 2 ˆ 1 ( X i X ) 是有偏的. n i 1
2
n
概率统计
1 n 2 又 E ( 2 2 ) E ( ˆ ( Xi X ) ) n 1 i 1
n 1 n 2 E [ ( Xi X ) ] n1 n i 1