估计量的评价标准
第十八讲 估计量的评选标准及区间估计
第十八讲 估计量的评选标准及区间估计1. 估计量的评价标准判断估计量好坏的标准是：有无系统偏差；波动性的大小；伴随样本容量的增大是否是越来越精确，这就是估计的无偏性，有效性和相合性。
（1）无偏性设∧θ是未知参数θ的估计量，则∧θ是一个随机变量，对于不同的样本值就会得到不同的估计值，我们总希望估计值在θ的真实值左右徘徊，即其数学期望恰等于θ的真实值。
定义: 设∧∧=θθ（n X X X ,,,21 ）是未知参数θ的估计量，若)(∧θE 存在，且对Θ∈∀θ有)(∧θE =θ，则称∧θ是θ的无偏估计量，称∧θ具有无偏性。
在科学技术中，)(∧θE -θ称为以∧θ作为θ的估计的系统误差，无偏估计的实际意义就是无系统误差。
例１：设总体X 的k 阶中心矩)(kk X E =μ)1(≥k 存在，),,,(21n X X X 是X 的一个样本，证明：不论X 服从什么分布，∑==n i ki k X n A 11是k μ的无偏估计量。
证明：n X X X ,,21与X 同分布，n i X E X E k k ki ,,2,1)()( ===∴μ第七章 参数估计第3节 估计量的评选标准从上一节得到：对于同一参数，用不同的估计方法求出的估计量可能不相同，用相同的方法也可能得到不同的估计量，也就是说，同一参数可能具有多种估计量，而且，原则上讲，其中任何统计量都可以作为未知参数的估计量，那么采用哪一个估计量为好呢？这就涉及到估计量的评价问题。
对定义的理解：设Θ∈θ是总体X 的分布参数，Θ∈∀θ，即服从某一分布形式的任意总体分布，参数θ的估计量∧∧=θθ（,,21X X n X , ）（是简单随机样本的函数）的数学期望都等于θ。
k n i ki k X E n A E μ==∴∑=1)(1)(特别，不论X 服从什么分布，只要)(X E 存在，X 总是)(X E 的无偏估计。
例２：设总体X 的2)(,)(σμ==X D X E 都存在，且02>σ，若2,σμ均为未知，则2σ的估计量∑=-=ni i X X n 122)(1ˆσ是有偏的。
估计量的评选标准
p(x,θ )，g(θ )为待估参数，设 gˆ(X1)为 g(θ) 的
任意无偏估计，考虑
Var(gˆ(X1)) 的下界？
注：积分形式的 Cauchy 不等式：
uvdx 2 u2dx v2dx
1、 Fisher信息量的定义.
设总体 X 的概率函数为 p (x; ), ,且满足一定条件:
ln p(x;) x ln ln x! x!
I ()
E[ d ln
p( X ; )]2 d
E[ X
1]2
E(X )2 2
1
故 1 , nI () n
显然,Var(x) 1 ,
nI ()
所以, x是的有效估计.
例1 设 X1, X2,… Xn 是取自总体 X ~ N( 0,σ2) 的一个 样本，试证：
两者不同!
对于同一个未知参数,用不同的方法得到 的估计量可能不同,于是提出问题：
应该选用哪一种估计量? 用何标准来评价一个估计量的好坏?
ˆ( X1,..., Xn ) 越接近 越好！
如何刻画？
例：估计农大12级本科生高数的平均成绩：
方案一：设计一个抽样方案，取200个同学 的高数成绩，计算出他们的平均成绩，作为 真实成绩的估计； 方案二：随便取一个同学的成绩作为真实成 绩的估计。
1 n
Var (ˆ )
1
n
2
Var(ˆ1)
例如 X ~ N( , 2 ) , ( x 1, x 2 ) 是一个样本.
ˆ1
2 3
x1
1 3
x2
估计量的三个评价标准
估计量的三个评价标准估计量是统计学中非常重要的概念，它在实际应用中有着广泛的用途。
在进行估计量的评价时，我们通常会采用一些评价标准来衡量其优劣，从而选择最适合的估计量。
本文将从三个方面来介绍估计量的评价标准。
首先，我们来看估计量的无偏性。
无偏性是评价估计量优劣的重要标准之一。
一个估计量如果是无偏的，意味着在重复抽样的情况下，其期望值等于被估计的参数真值。
换句话说，无偏估计量不会出现系统性的偏差，能够在一定程度上准确地估计参数的真值。
因此，无偏性是评价估计量优劣的重要标准之一。
其次，我们来讨论估计量的一致性。
一致性是另一个重要的评价标准。
一个估计量如果是一致的，意味着当样本容量趋于无穷大时，估计量收敛于被估计的参数真值。
换句话说，一致估计量能够在大样本情况下稳定地接近参数的真值，具有较高的精确度和可靠性。
因此，一致性也是评价估计量优劣的重要标准之一。
最后，我们来考虑估计量的效率。
效率是评价估计量优劣的另一个重要标准。
一个估计量如果是有效的，意味着在所有无偏估计量中具有最小的方差，能够以最小的误差估计参数的真值。
换句话说，有效估计量具有最佳的精确度和准确性，能够在给定的样本容量下提供最优的估计结果。
因此，效率也是评价估计量优劣的重要标准之一。
综上所述，无偏性、一致性和效率是评价估计量优劣的三个重要标准。
在实际应用中，我们需要综合考虑这三个标准，选择最合适的估计量来进行参数估计。
只有在估计量具有较高的无偏性、一致性和效率时，我们才能够更准确地估计参数的真值，从而得到更可靠的统计推断结果。
因此，在统计学中，对于估计量的评价标准是非常重要的，它直接影响着我们对于总体参数的估计和推断的准确性和可靠性。
7.2(估计量的评价标准)
σ
2
~ χ 2 (n − 1)
可得
E (S ) = σ ,
2 2
2σ 4 2 D( S ) = n −1
由切比雪夫不等式， 由切比雪夫不等式，当 n → ∞，对任意 ε > 0,
P{| S 2 − σ 2 |< ε } ≥ 1 − D( S 2 )
ε2
2σ 4 = 1− →1 2 (n − 1)ε
n−1 n−1 2 E ( B2 ) = E(S ) = D( X ) ≠ D( X ). n n
7.2
估计量的评价标准
所以，B2不是总体方差D(X)的无偏估计，尽管B2是 所以， 不是总体方差 的无偏估计，尽管 的无偏估计 D(X)的矩估计量． 的矩估计量． 的矩估计量
1 n n 2 看作对B 我们可以把 S = ∑ ( X i − X ) = n − 1 B2 看作对 2的 n − 1 i =1
P{ X = k } =
λk
k!
e −λ , k = 0,1, 2, L
分别是E(X) =λ和D(X)=λ 的矩估计量， 的矩估计量， 由于 X 和B2分别是 ˆ ˆ 于是得到λ 的两个不同的矩估计量 λ1 = X 和 λ2 = B2
7.2
估计量的评价标准
既然估计量不是唯一的， 那么， 究竟孰优孰劣就 既然估计量不是唯一的 ， 那么 ， 要有一个评价标准． 要有一个评价标准 ． 评价估计量的好坏一般从以下 三个方面考虑： 有无系统偏差； 波动性的大小； 三个方面考虑 ： 有无系统偏差 ； 波动性的大小 ； 当 样本容量增大时是否越来越精确． 样本容量增大时是否越来越精确 ． 这些就是估计量 的无偏性，有效性和相合性． 的无偏性，有效性和相合性．
常用估计量的评价标准
常用估计量的评价标准
常用估计量的评价标准有：
1. 偏差（Bias）：估计量的期望值与真实值之间的差距。
偏差越小越好。
2. 方差（Variance）：估计量的离散度，即估计量与其期望值之间的差异。
方差越小越好。
3. 平均绝对误差（MAE）：估计量的绝对误差的平均值。
MAE越小越好。
4. 均方误差（MSE）：估计量的误差的平方的平均值。
MSE越小越好。
5. 均方根误差（RMSE）：MSE的平方根。
RMSE越小越好。
6. 相对误差（Relative Error）：估计量的误差与真实值之间的比率。
相对误差越小越好。
7. 系数相关度（Correlation Coefficient）：估计量与真实值之间的相关程度。
系数相关度越大越好。
8. 准确率（Accuracy）：估计量正确的比率。
准确率越高越好。
9. 召回率（Recall）：真实值中被正确估计量估计到的比率。
召回率越高越好。
10. F1得分（F1 Score）：综合考虑准确率和召回率的得分。
F1得分越高越好。
估计量的评价标准例
例1 2,S X 分别是μ, σ2无偏估量量;μμ=⋅==⎪⎪⎭⎫⎝⎛=∑∑==n n EX n X n E X E n i i n i i 11111 因为 21σn X D =,2221122*********)(1111)()(11)())((2)(11)]()[(11)(11σσσμμμμμμμμ=⋅--=⎪⎪⎭⎫ ⎝⎛--=⎭⎬⎫⎩⎨⎧----=⎭⎬⎫⎩⎨⎧-+-----=⎭⎬⎫⎩⎨⎧----=⎪⎪⎭⎫ ⎝⎛--=∑∑∑∑∑∑======n n n n X nD DX n X nE X E n X n X X X E n X X E n X X n E ESn i i n i i n i ni i i n i i n i i 而对于样本二阶中心矩∑=-=n i i X X n B 122)(1()2222111σn n ES n n S n n E B E -=-=⎪⎭⎫ ⎝⎛-= 可见, 2B 是2σ有偏估量, 故通常总是取S 2作为2σ估量量.例2 设总体()λP X ~, 未知参数λ>0, X 1为X 样本.试证: 1)2()(ˆ1X X g -=是λ3-e 无偏估量量. 证实λλλλλλλ3201!)2(!)2()2()(ˆ1---∞=-∞=-=⋅=-=⋅-=-=∑∑e e e k e e k E X gE k k k k k X这证实了1)2(X-确是λ3-e 无偏估量量; 但03>-λe , 而X 1取奇数值时, 估量值1)2(X -为负数.所以这是一个有显著弊病无偏估量量.例3 设m X X X ''',,,21 和n X X X '''''',,,21 是来自总体X 容量分别为n m ,两个样本, 其样本均值分别为∑='='mi i X m X 11和∑=''=''ni i X n X 11.若n m<, 试比较它们哪个有效？例4设总体X 均值μ, 方差2σ都存在, n X X X ,,,21 是X 一个样本, 试证实: X 是μ相合估量量.证实 易知21,σμn X D X E ==由Chebyshev 不等式, 有}{lim 1}{lim 1}{:1}{22=≥-⇔=<-⇒≤<--≥<-∞→∞→εμεμεμεσεμX p X p X p nX p n n 而 即μpX →, X 是μ相合估量量.。
评价估计量的标准
评价估计量的标准
1.准确性：估计量应该尽可能接近真实值。
2.精确度：估计量应该具有足够的精度，以支持正确的决策。
3.一致性：估计量应该在相同的背景下多次测量所得到的结果是一致的。
4.可靠性：估计量应该具有足够的可靠性，以在不确定的环境中使用。
5.效度：估计量应该具有足够的效度，以反映所评估的属性或变量。
6.适用性：估计量应该适用于特定的变量或场景，并且在不同场景下使用时应该具有相似的表现。
7.可解释性：估计量应该能够被易于理解的方式解释并解释。
8.稳定性：估计量应该对于不同的操作者、时间和环境条件变化不敏感。
9.可比性：估计量应该具有足够的可比性，以支持不同实验结果的比较。
估计量的评价标准
计量是有偏的，称 E ˆ 为估计量ˆ的偏差 .
例1 设总体X的一阶和二阶矩存在，分布是任
意的，记E X ，D( X ) 2.
证明：样本均值X 是的无偏估计.
样本方差Sn2是 2的渐近无偏估计.
修正样本方差Sn2是 2的无偏估计.
证
E X ,
E
Sn2
n 1 2,
n
E Sn2 2
定义6.4 设ˆ1和ˆ2均为的无偏估计量,若对任意
样本容量n有D ˆ1 D ˆ2 ,则称ˆ1比ˆ2有效.
如果存在 一个无偏估计量 ˆ0 ,使对 的任意无偏 估计量 ˆ ,都有
Dˆ0 Dˆ
则称ˆ0 是 的最小方差无偏估计(量).
缩写为MVUE. 最小方差无偏估计是一种最优估计.
例3 设总体 X 服从区间 0， 上的均匀分布,
1
2
E[
ˆn Eˆn
2
2
ˆn Eˆn
Eˆn
Eˆn
2
]
1
2
[
Dˆn
Eˆn
2
]
令 n , 由定理的假设得
lim
n
P{ ˆn
}0
即 ˆn 是 的相合估计．
例9 若总体 X 的 EX和 DX都存在 , 证明 X 是总体
均值 EX 的相合估计.
证 因为 EX EX
DX DX 0 n
n
定理6.2设ຫໍສະໝຸດ ˆn是的一个估计量,
若 lim
n
E
ˆn
,
且
lim
n
D(ˆn
)
0,
则
ˆn 是
的相合估计(或一致估计).
证明 由于
0 P{ˆn }
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
标准三: 相合性(一致性)
设统计量ˆ 是未知参数 的点估
计量,样本容量为 n , 若对任意 0,
lim
P
|
|
1,
则称
ˆ为
的相合
n估计, 又称一致估计.
相合性表明:当样本容量充分大时,事件
“相合估计量充分接近被估计未知参数的概率” 接近于1,换言之,当样本容量充分大时,事件 “相合估计量与被估未知参数偏离较大”的概 率接近于零.以后,将概率很小的事件被称为小 概率事件.
均方误差准 则 用估计量 ˆ( X1, X2 , , Xn )去估计,
产生误差为:
ˆ .
由于它是随机变量,我们通常是通过对它求 均值来看看误差有多大.
注意:为了防止求均值时正误差和负误差相互 抵消,我们先将其平方再求均值,并将其称为均
方误差,记为MSE(), 即
MSE (ˆ) E(ˆ )2
均方误差准则 假如有的两个估计:ˆ1和ˆ2 . 这时两个估计中哪一个估计的均方误 差小,我们就把哪一个估计看作比较优,这 种判定估计量的准则叫均方误差准则. 说明 均方误差能够分解成两部分:
MSE (ˆ) D(ˆ) [E(ˆ) ]2
证明: MSE (ˆ) E(ˆ )2 E{[ˆ E(ˆ)] [E(ˆ) ]}2
E[ˆ E(ˆ)]2 2[E(ˆ) ] E[ˆ E(ˆ)] [E(ˆ) ]2
E[ˆ E(ˆ)]2 [E(ˆ) ]2
D(ˆ) [E(ˆ) ]2
第7.2节 估计量的评价标准
容易明白, 对同一个未知参数, 采用不同的方 法找到的点估计可能不同. 那么, 自然要问: 究竟是用哪一个更“好”些呢? 这里介绍三个 评价标准.
常用 标准
(1) 无偏性 (2) 有效性 (3) 相合性(或一致性)
标准一: 无偏性 假设总体分布的参数为. 设ˆ 为θ的一个点估计,若 E(ˆ) , 则称ˆ为θ的一个无偏估计.
期望的点估计:
选择估计量
X
1 n
n i1
Xi
(1)无偏性 (2)样本容量越大,估计值 越有效
方差的点估计:
选择估计量
如果E(ˆ ) ,那么E(ˆ ) 称为 ˆ 的偏差. 若 lim E(ˆ) 则称 ˆ 是θ的 渐近无偏估计.
n
例
7.2.1
验证:
S2
1 n
n 1 i1 ( X i
X )2
是总体X方差DX＝σ2
解的：一第E个六(iSn无章12()我 偏X i们估E证计Xn 1明 );21过 Sinn12:i(n1X(n1iXiniE1X2((X)X2i2)XXin)Xn21,不X1DEiX是(2X2i方n))1n(X差X2ni的2 X无)2偏 估计.
ˆ
更有效.
2
证明: E1 EX
E 2
E( 1 k
1 E( kn
Xi )
i1
n
i 1
Xi)
1 k
k
1 n
n
D 1
DX
D( 1 n
n i1
Xi )
1 n2
nDXi
2 n
样本 容量 越大, 样本 均值 估计
D 2
D( 1 k
k i1
Xi )
1 k2
k
DXi
2 k
值越 有效.
D 1 D 2,
1 n1
E in1
X
2 i
2X
n
i 1
Xi
nX
2
i1nn1n11EEXin21
X i2nnn1XE2(X
2
)
nnn111[
n
iD1XE
(X(
i2E)X
)n2
n1DEX(
2
X(
E) X
)2
]
1 n
1
n
{D( Xi
i 1
)
[En(nX1i )[]2D} X
nnD1nX{D]( X=)DX[E( X
)]2 }
/
3,
1, 2
Eˆ 3
1 2
EX1
2 3
EX 2
1 3
EX 3
为无偏估计量,D 1
D2
,
5 EX 5 66
2 更有效.
例7.23 设总体X 的方差存在，X1, X2,…, Xn k
是来自X的s.r.s,试证:
ˆ1
X , ˆ2
1 k
Xi ,(k n)
i 1
为E(X)＝μ的无偏估计,
且
ˆ 1比
关于相合性的两个常用结论
1. 样本 k 阶矩是总体 k 阶矩的相合性估计量.
由大数定律证明
2.设 ˆ 是 的无偏估计
量, 且 lim D(ˆ ) 0, 则 n
ˆ 是 的相合估计量.
用切贝雪夫不 等式证明
3.期望和方差的点估计
在实际中,常常以样本均值作为总体均值的
点估计,以样本方差作为总体方差的点估计.
MSE (ˆ) D(ˆ) [E(ˆ) ]2
上式表明,均方误差由两部分构成: 第一部分是估计量的方差. 第二部分是估计量的偏差E(ˆ) 的平方.
注意:如果一个估计量是无偏的,则第 二部分是零.即有: MSE (ˆ) D(ˆ)
方差准则 如果限定在无偏估计里考虑 问题,这时两个估计中哪一个估计的方差 小, 我们就把哪一个估计看作比较优,这 种判定估计量的准则叫方差准则.
ˆ 3
1 2
X1
2 3
X2
1 3
X3
解:
Eˆ 1
E[ 1 2
X1
1 2
X2 ]
1 2
EX1
1 2
EX 2
=EX=μ
Dˆ 1
D[
1 2
X1
1 2
X
2
]
1 4 DX1
1 4 DX2
=DX/2=σ2/2
同理
Eˆ 2
1 3
EX1
1 3
EX 2
1 3
EX 3
EX
,
Dˆ 2
1 9
DX1
1 9
DX2
1 9
DX3
2
而S2为σ2的无偏估计.
注意
如果ˆ是参数的一个估计.我们通常总是用
g(ˆ)为g( )的估计. 但是必须注意的是 :
当ˆ是的无偏估计时, g(ˆ)却未必是g( )的无偏估计.
例 求证:样本标准差S不是总体标准差的 无偏估计.
证明: ∵E(S2)=2 ∴就是D(S)+[E(S)]2 =2 ∵D(S)≥0 ∴[E(S)]2 =2 -D(S)≤2 ∴E(S)≤. 即:一般说S不是的无偏估计.
标准二: 有效性(方差最小性) D(ˆ 1) 设D(ˆˆ 21和)则ˆ称2是ˆ1比的ˆ两2更个有无效偏.估计,若
例7.2.2. 设X1,X2,X3为来自总体X的简单随机样
本, EX=μ,DX=σ2, 验证下列统计量哪个更有效.
ˆ 1
1 2
X1
1 2
X2 ,
ˆ 2
1 3
X1
1 3
X2
1 3
X3 ,
n ( 2 2 ) n 1 2 2 2
n1
n1 n
即
n
解:
ES2=
σ2。 而i1
(X Sn
2i 2
n2X1i X S
n
2,
X
2
)
故
2
n
估计所.n 以n 1,[
DSX
2
n
D不X是] σ2的n 无[偏DX估计DX,
n1
n
但] 其=D是Xσ2的渐近无偏