第二节 评价估计量优劣的标准
合集下载
第二节 估计量的优良性准则
E
(
X
2 i
)
nE( X
2 )
n
1
1
n(
2
2)
n
2
n
2
2.
前面两节中，我们曾用矩法和极大似然法
分别求得了正态总体 N(μ, σ2) 中参数σ2 的估计,
均为
ˆ 2
1 n
n
(Xi
i1
X
)2.
很显然，它不是σ2 的无偏估计。这正是我们为 什么要将其分母修正为 n-1，获得样本方差 S2 来估计 σ2 的理由。
X1,X2,…,Xn为来自总体X 的随机样本，记 X与 S 2分别为样本均值与样本方差，即
X
1 n
n
i1
X
i
,
S2
n
1
1
n
i1
(
X
i
X
)2.
则 E(X) , E(S2) 2.
即样本均值和样本方差分别是 总体均值 和总体方差的无偏估计。
证明：因为X1, X2, …, Xn 独立同分布，且 E(Xi )=μ , 所以
证 先计算方差
Var[ X1 (1 )X2]
2Var( X1) (1 )2Var( X2 )
(2 2 2 1) 2
由于
f ( ) 2( 1 )2 1
22
对任意实数, 1，f ( ) 1 ,
2
2
当 1 时, f ( )取最小值 1，
2
2
即样本均值 X 比样本的其他所有线性函数
虑 的如下两个估计的优劣：
ˆ X ,
ˆ i
1 n 1
n j 1
X
j.
ji
解 显然两个估计都是 的无偏估计.但是
2.2估计量的好坏标准
ˆ 若：E(θ ) = θ
ˆ 则称 θ 为 θ 的无偏估计 .
ˆ ˆ 注: 若 Eθ ≠ θ , 其偏差为 Eθ − θ
ˆ ˆ 当 lim Eθ = θ 时, 称θ 是θ的渐近无偏估计量.
n →+∞
例1 设 X 1 , X 2 , L X n是 总 体 X 的 样 本 ， 则
1 n (1)X = ∑ X i 是总体均值µ的无偏估计量; n i =1 (2)S
1 2
ˆ ˆ 则称θ1 较θ 2更有效 .
２）最小方差无偏估计
ˆ ˆ 在θ的所有无偏估计量中, 若∃θ0使得对于任意无偏估计量θ 有 ˆ ˆ Dθ ≤ Dθ
0
ˆ 则称θ0是θ的最小方差无偏估计量.
３）优效估计量
(给 罗 − 克拉美不等式 (给出了无偏估计量方差的下界) 记为 1 ˆ≥ 连续型: Dθ = IR +∞ ∂ ln f ( x,θ ) n∫ ( )2 f ( x,θ )dx −∞ ∂θ 1 ˆ≥ 离散型: Dθ ∂ ln P( x,θ ) 2 n∑( ) P ( x, θ ) ∂θ x
§2 估计量的好坏标准
评价一个估计量的好坏， 评价一个估计量的好坏，不能仅仅依据一次试验 的结果，而必须由多次试验结果来衡量 . 的结果， 这是因为估计量是样本的函数,是随机变量 这是因为估计量是样本的函数 是随机变量. 由不同 是随机变量 的观测结果,就会求得不同的参数估计值 就会求得不同的参数估计值. 的观测结果 就会求得不同的参数估计值 因此一个 好的估计,应在多次试验中体现出优良性 好的估计 应在多次试验中体现出优良性 . 2.1．无偏性 ． ˆ 设 θ ( X1 , X2 ,L, Xn ) 是未知参数θ 的估计量， 的估计量，
(1)指出T1 , T2 , T3中哪些是θ的无偏估计量。 (2)在上述θ的无偏估计量中指出哪一个更有效。
估计量的评选标准
首先讨论如下简单情形：总体 X 的概率密度为
p(x,θ )，g(θ )为待估参数，设 gˆ(X1)为 g(θ) 的
任意无偏估计，考虑
Var(gˆ(X1)) 的下界？
注：积分形式的 Cauchy 不等式：
uvdx 2 u2dx v2dx
1、 Fisher信息量的定义.
设总体 X 的概率函数为 p (x; ), ,且满足一定条件:
ln p(x;) x ln ln x! x!
I ()
E[ d ln
p( X ; )]2 d
E[ X
1]2
E(X )2 2
1
故 1 , nI () n
显然,Var(x) 1 ,
nI ()
所以, x是的有效估计.
例1 设 X1, X2,… Xn 是取自总体 X ~ N( 0,σ2) 的一个 样本，试证：
两者不同!
对于同一个未知参数,用不同的方法得到 的估计量可能不同,于是提出问题：
应该选用哪一种估计量? 用何标准来评价一个估计量的好坏?
ˆ( X1,..., Xn ) 越接近 越好！
如何刻画？
例：估计农大12级本科生高数的平均成绩：
方案一：设计一个抽样方案，取200个同学 的高数成绩，计算出他们的平均成绩，作为 真实成绩的估计； 方案二：随便取一个同学的成绩作为真实成 绩的估计。
1 n
Var (ˆ )
1
n
2
Var(ˆ1)
例如 X ~ N( , 2 ) , ( x 1, x 2 ) 是一个样本.
ˆ1
2 3
x1
1 3
x2
p(x,θ )，g(θ )为待估参数，设 gˆ(X1)为 g(θ) 的
任意无偏估计，考虑
Var(gˆ(X1)) 的下界？
注：积分形式的 Cauchy 不等式：
uvdx 2 u2dx v2dx
1、 Fisher信息量的定义.
设总体 X 的概率函数为 p (x; ), ,且满足一定条件:
ln p(x;) x ln ln x! x!
I ()
E[ d ln
p( X ; )]2 d
E[ X
1]2
E(X )2 2
1
故 1 , nI () n
显然,Var(x) 1 ,
nI ()
所以, x是的有效估计.
例1 设 X1, X2,… Xn 是取自总体 X ~ N( 0,σ2) 的一个 样本，试证：
两者不同!
对于同一个未知参数,用不同的方法得到 的估计量可能不同,于是提出问题：
应该选用哪一种估计量? 用何标准来评价一个估计量的好坏?
ˆ( X1,..., Xn ) 越接近 越好！
如何刻画？
例：估计农大12级本科生高数的平均成绩：
方案一：设计一个抽样方案，取200个同学 的高数成绩，计算出他们的平均成绩，作为 真实成绩的估计； 方案二：随便取一个同学的成绩作为真实成 绩的估计。
1 n
Var (ˆ )
1
n
2
Var(ˆ1)
例如 X ~ N( , 2 ) , ( x 1, x 2 ) 是一个样本.
ˆ1
2 3
x1
1 3
x2
优良估计量的三个标准
优良估计量的三个标准在统计学中，估计量是用来估计总体参数的统计量。
一个好的估计量应当具备一定的性质，以保证对总体参数的估计是准确可靠的。
在选择估计量时，我们需要考虑其偏差、方差和一致性等特性。
下面将分别介绍这三个标准。
首先，偏差是衡量估计量优劣的重要标准之一。
偏差是指估计量的期望值与真实参数值之间的差异。
一个好的估计量应当具有小的偏差，即在重复抽样的情况下，估计量的平均值应当接近真实参数值。
因此，我们通常希望选择那些无偏的估计量，即其期望值等于真实参数值。
当然，在实际应用中，往往很难找到完全无偏的估计量，因此我们也需要考虑偏差的大小，尽量选择偏差较小的估计量。
其次，方差是衡量估计量优劣的另一个重要标准。
方差是衡量估计量的离散程度的指标，一个好的估计量应当具有小的方差，即在重复抽样的情况下，估计量的取值应当比较集中。
这样可以保证估计结果的稳定性和可靠性。
因此，我们通常希望选择那些方差较小的估计量，以确保估计结果的精确度。
最后，一致性是衡量估计量优劣的第三个标准。
一致性是指当样本容量逐渐增大时，估计量逐渐趋近于真实参数值的性质。
一个好的估计量应当具有一致性，即当样本容量增大时，估计量应当收敛于真实参数值。
这样可以保证在大样本情况下，估计结果的准确性。
因此，我们通常希望选择那些具有一致性的估计量，以确保在大样本情况下依然能够得到准确的估计结果。
综上所述，一个优良的估计量应当具备小的偏差、小的方差和一致性这三个标准。
在实际应用中，我们需要根据具体的问题和数据特点来选择合适的估计量，以确保对总体参数的估计是准确可靠的。
希望本文介绍的这三个标准能够帮助大家更好地理解和选择优良的估计量。
《评价估计量的标准》课件
区间估计
给出未知参数可能落在某个区间的概 率。
03
评价估计量的标准
评价标准一：无偏性
总结词
无偏性是指估计量的数学期望值（均值）与总体参数的真实值之间的接近程度。
详细描述
无偏性意味着估计量的平均值与总体参数的真实值相等，即多次重复抽样所得到 的估计量均值趋于稳定，不会出现系统性的偏差。无偏性是评价估计量最基本的 要求之一，因为只有当估计量无偏时，我们才能准确地估计总体参数。
常见估计方法
我们介绍了常见的估计方法，如最小二乘法、极大似然法等。这些方法 在实践中被广泛使用，对于理解和应用估计量评价标准具有重要意义。
03
案例分析
通过案例分析，我们深入了解了如何在实际问题中应用估计量的评价标
准。这些案例涵盖了经济学、统计学等多个领域，有助于拓宽我们的视
野和增强实践能力。
下一步学习计划
常见估计量及其评价
点估计量
点估计量是直接用样本统计量来估计未知参数的方法。
评价点估计量的标准：无偏性、有效性和一致性。
无偏性是指估计量的均值等于未知参数的真值；有效性是指估计量的方差尽可能小 ；一致性是指随着样本容量的增加，估计量逐渐趋近于未知参数的真值。
区间估计量
区间估计量是通过给定样本统计量和 置信水平，来估计未知参数可能取值 的一个区间范围。
实践应用
通过参与实际项目或案例研究，我们将尝试运用所学的估 计方法和评价标准来解决实际问题。这将有助于巩固所学 知识，并培养我们的实际操作能力。
THANKS
感谢观看
先验分布反映了决策者对未知参数的主 观信念；后验分布是在给定样本信息后 ，对未知参数的重新评估；预测分布是 基于贝叶斯定理对未来观测值的预测。
估计量的三个评价标准
估计量的三个评价标准估计量是统计学中非常重要的概念，它在实际应用中有着广泛的用途。
在进行估计量的评价时，我们通常会采用一些评价标准来衡量其优劣，从而选择最适合的估计量。
本文将从三个方面来介绍估计量的评价标准。
首先，我们来看估计量的无偏性。
无偏性是评价估计量优劣的重要标准之一。
一个估计量如果是无偏的，意味着在重复抽样的情况下，其期望值等于被估计的参数真值。
换句话说，无偏估计量不会出现系统性的偏差，能够在一定程度上准确地估计参数的真值。
因此，无偏性是评价估计量优劣的重要标准之一。
其次，我们来讨论估计量的一致性。
一致性是另一个重要的评价标准。
一个估计量如果是一致的，意味着当样本容量趋于无穷大时，估计量收敛于被估计的参数真值。
换句话说，一致估计量能够在大样本情况下稳定地接近参数的真值，具有较高的精确度和可靠性。
因此，一致性也是评价估计量优劣的重要标准之一。
最后，我们来考虑估计量的效率。
效率是评价估计量优劣的另一个重要标准。
一个估计量如果是有效的，意味着在所有无偏估计量中具有最小的方差，能够以最小的误差估计参数的真值。
换句话说，有效估计量具有最佳的精确度和准确性，能够在给定的样本容量下提供最优的估计结果。
因此，效率也是评价估计量优劣的重要标准之一。
综上所述，无偏性、一致性和效率是评价估计量优劣的三个重要标准。
在实际应用中，我们需要综合考虑这三个标准，选择最合适的估计量来进行参数估计。
只有在估计量具有较高的无偏性、一致性和效率时，我们才能够更准确地估计参数的真值，从而得到更可靠的统计推断结果。
因此，在统计学中，对于估计量的评价标准是非常重要的，它直接影响着我们对于总体参数的估计和推断的准确性和可靠性。
概率论与数理统计6-2估计量的评价标准46页
0x
其它
即 ˆ2nn 1X(n)也是 的无偏.估计量
(2)问ˆ： 12X和 ˆ2nn 1X(n)哪一个更
解 由D (于 ˆ1 ) 4 D (X )
4D(X)2 ,
n
3n
D(ˆ2)D(nn 1X(n))(nn 1)2D(X(n)),
又因E(为 X(n))nn 1,
第六章
第二节 估计量的评价标准
一、问题的提出 二、无偏性 三、有效性 四、相合性
一、问题的提出
从前一节可以看到, 对于同一个参数, 用不 同的估计方法求出的估计量可能不同.然而, 原 则上任何统计量都可以作为未知参数的估计量.
问题 (1) 对于同一个参数究竟采用哪一个估计量好? (2) 评价估计量优劣的标准是什么?
Xi2
X2
A2X2,
由大数定律知,
(A2是样本二阶原)点矩
A2n 1i n1Xi2依概率收 E(X敛 2), 于 Xn 1in1Xi依概率收 E(X敛 ), 于
故Sn 2A 2X 2
依概率E 收 (X2敛 )[E于 (X)2] 2,
所以 Sn2是2的相合估 . 计量
换句话说，对参 的 数无偏估 ˆ关计 于量
的波动越小，即方差
D (ˆ)E [ˆE (ˆ)2]
(E(ˆ))
E(ˆ)2
越小越好.
定义6.3 设 ˆ 1 ˆ 1 ( X 1 , X 2 , , X n ) ， ˆ 2 ˆ 2 ( X 1 , X 2 , , X n )
均是的无偏估计量，若
D (ˆ1)D (ˆ2),
则称 ˆ1比 ˆ2有.效
例4 设 E ( X ),D ( X )2 0 存 ( X 1 在 ,X 2 ) 是 ，
第二节 估计量的评选标准
n 即 Z ~ Exp
z0 z0
E( Z ) n
E ( nZ )
故 n Z 是 的无偏估计量.
ˆ 和 ˆ 一个参数往往有不止一个无偏估计, 若 1 2 ˆ )2 都是参数 的无偏估计量， 我们可以比较 E ( 1
2 ˆ 和 E (2 ) 的大小来决定二者谁更优 .
常用的几条标准是：
1．无偏性 2．有效性 3．均方误差 4．相合性
一、无偏性
估计量是随机变量，对于不同的样本值会得到 不同的估计值 . 我们希望估计值在未知参数真值附 近摆动，而它的期望值等于未知参数的真值. 这就 导致无偏性这个标准 .
ˆ( X ,, X ) 是未知参数 的估计量，若 设 1 n
n
因而
n 1 n 1 2 2 2 E n (Xi X ) n E( X i ) E( X ) i 1 i 1 2 2 2 2 ( ) ( ) n
n 1 2 2 n 1 n 2 2 (Xi X ) 故 E n 1 i 1
估计量的评选标准 在介绍估计量的评选标准之前，我们必须强 调指出： 评价一个估计量的好坏，不能仅仅依据一次试 验的结果，而必须由多次试验结果来衡量 . 这是因为估计量是样本的函数, 是随机变量 . 因 此，由不同的观测结果，就会求得不同的参数估计 值. 因此一个好的估计，应在多次试验中体现出优良 性.
例1 设总体X 的 k 阶矩 k E ( X )存在 ( X 1 , X 2 , , X n ) 是总体X 的样本,
k
证明: 不论 X 服从什么分布, 是 k 的无偏估计.
1 n k Ak X i n i 1
证 由于 E ( X ik ) k i 1,2 , , n 因而
z0 z0
E( Z ) n
E ( nZ )
故 n Z 是 的无偏估计量.
ˆ 和 ˆ 一个参数往往有不止一个无偏估计, 若 1 2 ˆ )2 都是参数 的无偏估计量， 我们可以比较 E ( 1
2 ˆ 和 E (2 ) 的大小来决定二者谁更优 .
常用的几条标准是：
1．无偏性 2．有效性 3．均方误差 4．相合性
一、无偏性
估计量是随机变量，对于不同的样本值会得到 不同的估计值 . 我们希望估计值在未知参数真值附 近摆动，而它的期望值等于未知参数的真值. 这就 导致无偏性这个标准 .
ˆ( X ,, X ) 是未知参数 的估计量，若 设 1 n
n
因而
n 1 n 1 2 2 2 E n (Xi X ) n E( X i ) E( X ) i 1 i 1 2 2 2 2 ( ) ( ) n
n 1 2 2 n 1 n 2 2 (Xi X ) 故 E n 1 i 1
估计量的评选标准 在介绍估计量的评选标准之前，我们必须强 调指出： 评价一个估计量的好坏，不能仅仅依据一次试 验的结果，而必须由多次试验结果来衡量 . 这是因为估计量是样本的函数, 是随机变量 . 因 此，由不同的观测结果，就会求得不同的参数估计 值. 因此一个好的估计，应在多次试验中体现出优良 性.
例1 设总体X 的 k 阶矩 k E ( X )存在 ( X 1 , X 2 , , X n ) 是总体X 的样本,
k
证明: 不论 X 服从什么分布, 是 k 的无偏估计.
1 n k Ak X i n i 1
证 由于 E ( X ik ) k i 1,2 , , n 因而
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
偏估计。
证
E[
1（X 2
1
X
2
)2
]
E(
1 2
X
2 1
X1X
2
1 2
X
2 2
)
1 2
EX
2 1
EX 1
EX 2
1 2
EX 22
1 ( 2 2 ) 2 1 ( 2 2 )
2
2
2
三、有效性
比较参数 的两个无偏估计量ˆ1 和ˆ2 , 如果 在样本容量n相同的情况下, ˆ1的观察值在真值 的附近较ˆ2 更密集, 则认为ˆ1 较 ˆ2 有效.
又因为 E( X 2 ) D( X ) [E( X )]2 2 2 ,
n
所以 E(ˆ 2 ) E( X 2 ) E( X 2 ) n 1 2 2,
n
所以ˆ 2 是有偏的.
E(ˆ 2 ) n 1 2 2
n
若以 n 乘 ˆ 2 , 所得到的估计量就是无偏的.
n1
(这种方法称为无偏化).
E n ˆ 2 n E(ˆ 2 )
ˆ
2.
2
1 n
n i1
(Xi
X
2
)
n1 n1
因为
n ˆ 2
n1
S
2
1 n
1
n i 1
(Xi
X 2 ),
即 S2是 2 的无偏估计,故通常取S2作 2的估计量.
练习：
设总体X的均值与方差 2均为未知参数，
X1,
X
为样本。求证：1
2
2
(
X1
X
2
)2 是
2的无
设总体X
有密度f
(
x,
)
Байду номын сангаас
1
x
e 2 , x 0,
2 x
0, 其他
X1, X 2,...X n是样本，求的最大似然估计量ˆ，
并证明ˆ是无偏的。
解 设 x1 , x2 ,, xn是相应于 X1 , X2 ,, Xn 的样本值，
则似然函数为
n
n
L( ) f (xi; )
1
xi
e 2
i1 n
二、无偏性
若 X1, X2 ,, Xn 为总体 X 的一个样本，
是包含在总体X 的分布中的待估参数, ( 是 的取值范围)
若估计量ˆ ( X1, X2 ,, Xn ) 的数学期望 E(ˆ) 存在, 且对于任意 有 E(ˆ) , 则称 ˆ 是 的无偏估计量.
无偏估计的实际意义: 无系统误差.
例（逆问题）设 X ~ e( )（参数为 的指数分布）， X1 , X2 ,, Xn 是来自X 的一个样本。
C 为何值时，C X 2是 DX 的无偏估计量？
解
EX 1 , DX 1
2
由 E(C X 2 ) CE( X 2 ) C[D X (E X )2 ]
C
DX n
1
2
C
1 n
设ˆ1 ˆ1( X1, X2 ,, Xn )与ˆ2 ˆ2( X1, X2 ,, Xn ) 都是 的无偏估计量, 若有 D(ˆ1) D(ˆ2 ), 则称ˆ1较 ˆ2有效.
例（P.144）设 X1 , X 2 , X 3 是X的一个样本，
EX , DX 2 , 下列无偏估计量中哪个更有效？
ˆ1
X1 , ˆ 2
4 3
X1
1 3
X 2 , ˆ 3
1 3(X1
X2
X3)
解 因 X1 , X 2 , X 3 相互独立，且 DXi 2 , i 1,2,3
所以
Dˆ1 DX1 2 ,
Dˆ 2
16 9
DX1
1 9
DX 2
17 2 ,
9
Dˆ 3
DX
1
3
2,
ˆ3 最有效。
四、相合性
设ˆ ˆ( X1 , X 2 ,, X n )是的估计量，若 0有
1
2
1
2
得
C
Cn1 1
n
n 2
1
2
n1
五、小结
无偏性
估计量的评选的三个标准
有效性
相合性
由最大似然估计法得到的估计量, 在一定条 件下也具有相合性. 估计量的相合性只有当样本 容量相当大时,才能显示出优越性, 这在实际中 往往难以做到,因此,在工程中往往使用无偏性和 有效性这两个标准.
练习：
例1 设总体 X 的k 阶矩 k E( X k ) (k 1)存在,
又设 X1, X2 ,, Xn 是 X 的一个样本，试证明不论
总体服从什么分布,
k 阶样本矩 Ak
1 n
n i 1
X
k i
是k
阶总体矩 k 的无偏估计.
证 因为 X1, X2 ,, Xn 与 X 同分布，
故有
E
(
X
k i
)
E(
i 1
i 1
例2 对于均值 , 方差 2 0 都存在的总体, 若
,
2 均为未知, 则 2 的估计量ˆ 2
1 n
n
(Xi
i 1
X )2
是 有偏 的(即不 是无偏 估计).
证
ˆ
2
1 n
n i 1
X
2 i
X
2
因为 E( X i2 ) =E( X 2 ) DX E 2 ( X ) 2 2,
xi
i1 2 xi
n n
1 i1
(2 ) 2 ( xi ) 2 e 2
i1
( xi 0, i 1,2,, n)
取对数得
ln L( ) n ln(2 )
2
1 ln( 2
n i1
xi )
1
2
n
xi
i1
ln L( ) n ln(2 ) 1 ln( n
2
2
i1
xi )
1
2
n i1
xi
求导得似然方程
d ln L( ) d
n 2
2 2
1
2 2
n
xi
i1
0
x 的最大似然估计值
ˆ
1 n
n i1
xi
的最大似然估计量 ˆ X
Eˆ E X EX
x
x
e 2 dx
0 2 x
lim P{|ˆ | } 1
n
则称 ˆ 是 的一致估计量，或相合估计量。
例 由（P.109）大数定律知，
lim P{| X | } 1
n
即 X 是总体均值 的一致估计量。 由B.6知 S 2是总体方差 2的一致估计量。
归纳起来：
X 是 的无偏估计量，有效估计量，一致估计量。
S 2是 2 的无偏估计量，一致估计量。
第六章
第二节 评价估计量优劣的标准
一、问题的提出 二、无偏性 三、有效性 四、相合性(一致性) 五、小结
一、问题的提出
练习 设 X ~P() X1 , X2 ,, Xn 是X的一个样
本，求的矩估计量。
解 EX ,的矩估计量为 ˆ＝X .
而 2 DX , 得的另一矩估计量：ˆ C2 .
问题 (1)对于同一个参数究竟采用哪一个估计量好? (2)评价估计量的标准是什么? 下面介绍几个常用标准.
X
k
)
k
,
i 1,2,,n.
即
E(
Ak
)
1 n
n i 1
E(
X
k i
)
k
.
故 k 阶样本矩 Ak 是 k 阶总体矩 k 的无偏估计.
特别的:
不论总体 X 服从什么分布, 只要它的数学期望存在,
X 总是总体 X 的数学期望1 E( X )的无偏
估计量.
n
n
可验证： Xi ， ai X i ( ai 1) 都是 的无偏估计量