估计量的评选标准
第十八讲 估计量的评选标准及区间估计
第十八讲 估计量的评选标准及区间估计1. 估计量的评价标准判断估计量好坏的标准是：有无系统偏差；波动性的大小；伴随样本容量的增大是否是越来越精确，这就是估计的无偏性，有效性和相合性。
（1）无偏性设∧θ是未知参数θ的估计量，则∧θ是一个随机变量，对于不同的样本值就会得到不同的估计值，我们总希望估计值在θ的真实值左右徘徊，即其数学期望恰等于θ的真实值。
定义: 设∧∧=θθ（n X X X ,,,21 ）是未知参数θ的估计量，若)(∧θE 存在，且对Θ∈∀θ有)(∧θE =θ，则称∧θ是θ的无偏估计量，称∧θ具有无偏性。
在科学技术中，)(∧θE -θ称为以∧θ作为θ的估计的系统误差，无偏估计的实际意义就是无系统误差。
例１：设总体X 的k 阶中心矩)(kk X E =μ)1(≥k 存在，),,,(21n X X X 是X 的一个样本，证明：不论X 服从什么分布，∑==n i ki k X n A 11是k μ的无偏估计量。
证明：n X X X ,,21与X 同分布，n i X E X E k k ki ,,2,1)()( ===∴μ第七章 参数估计第3节 估计量的评选标准从上一节得到：对于同一参数，用不同的估计方法求出的估计量可能不相同，用相同的方法也可能得到不同的估计量，也就是说，同一参数可能具有多种估计量，而且，原则上讲，其中任何统计量都可以作为未知参数的估计量，那么采用哪一个估计量为好呢？这就涉及到估计量的评价问题。
对定义的理解：设Θ∈θ是总体X 的分布参数，Θ∈∀θ，即服从某一分布形式的任意总体分布，参数θ的估计量∧∧=θθ（,,21X X n X , ）（是简单随机样本的函数）的数学期望都等于θ。
k n i ki k X E n A E μ==∴∑=1)(1)(特别，不论X 服从什么分布，只要)(X E 存在，X 总是)(X E 的无偏估计。
例２：设总体X 的2)(,)(σμ==X D X E 都存在，且02>σ，若2,σμ均为未知，则2σ的估计量∑=-=ni i X X n 122)(1ˆσ是有偏的。
估计量的评选标准
p(x,θ )，g(θ )为待估参数，设 gˆ(X1)为 g(θ) 的
任意无偏估计，考虑
Var(gˆ(X1)) 的下界？
注：积分形式的 Cauchy 不等式：
uvdx 2 u2dx v2dx
1、 Fisher信息量的定义.
设总体 X 的概率函数为 p (x; ), ,且满足一定条件:
ln p(x;) x ln ln x! x!
I ()
E[ d ln
p( X ; )]2 d
E[ X
1]2
E(X )2 2
1
故 1 , nI () n
显然,Var(x) 1 ,
nI ()
所以, x是的有效估计.
例1 设 X1, X2,… Xn 是取自总体 X ~ N( 0,σ2) 的一个 样本，试证：
两者不同!
对于同一个未知参数,用不同的方法得到 的估计量可能不同,于是提出问题：
应该选用哪一种估计量? 用何标准来评价一个估计量的好坏?
ˆ( X1,..., Xn ) 越接近 越好！
如何刻画？
例：估计农大12级本科生高数的平均成绩：
方案一：设计一个抽样方案，取200个同学 的高数成绩，计算出他们的平均成绩，作为 真实成绩的估计； 方案二：随便取一个同学的成绩作为真实成 绩的估计。
1 n
Var (ˆ )
1
n
2
Var(ˆ1)
例如 X ~ N( , 2 ) , ( x 1, x 2 ) 是一个样本.
ˆ1
2 3
x1
1 3
x2
7.3估计量的评选标准
第12页
例7 设总体期望为 E( X )= , 方差 D( X )= 2
( X 1 , X 2 ,, X n )
(1)设常数 为总体X 的一个样本。
1 ci i 1,2, , n. n
n
c
i 1
n
i
1.
证明
(2) 证明
ˆ1 ci X i 是 的无偏估计量
i 1
由前面例子 可知,
x0 X 与 n min{X 1 , X 2 , , X n }都
0 为常数
是 的无偏估计量,问哪个估计量更有效？ 2 解 D(X ) , D(n min{ X 1 , X 2 ,, X n }) 2 n
所以, X 比
n min{X1, X 2 ,, X n } 更有效。
k
特别地, 样本均值 X 是总体期望 E( X ) 的无偏估计量
1 n 2 样本二阶原点矩 A2 X i 是总体二阶 n i 1 2 原点矩 2 E ( X ) 的无偏估计量。
例2 设总体 X 的期望 E( X )与方差 D( X )存在,
第4页
n i 1n 1 2 2 S ( X X ) (2) 是 D( X ) 的无偏估计量。 i n 1 i 1 n 1 n 1 证 (X i X )2 X i2 X 2 n i 1 n i 1
第23页
n 1 1 n 2 2 2 又 B2 ( X i X ) ( X i 2 X i X X ) n i 1 n i 1
1 n 2 X i X 2 A2 X 2 , n i 1
( A2是样本二阶原点矩 )
由大数定律知,
1 n 2 A2 X i 依概率收敛于E ( X 2 ), n i 1 1 n X X i 依概率收敛于E ( X ), n i 1
估计量的三个评价标准
估计量的三个评价标准估计量是统计学中非常重要的概念，它在实际应用中有着广泛的用途。
在进行估计量的评价时，我们通常会采用一些评价标准来衡量其优劣，从而选择最适合的估计量。
本文将从三个方面来介绍估计量的评价标准。
首先，我们来看估计量的无偏性。
无偏性是评价估计量优劣的重要标准之一。
一个估计量如果是无偏的，意味着在重复抽样的情况下，其期望值等于被估计的参数真值。
换句话说，无偏估计量不会出现系统性的偏差，能够在一定程度上准确地估计参数的真值。
因此，无偏性是评价估计量优劣的重要标准之一。
其次，我们来讨论估计量的一致性。
一致性是另一个重要的评价标准。
一个估计量如果是一致的，意味着当样本容量趋于无穷大时，估计量收敛于被估计的参数真值。
换句话说，一致估计量能够在大样本情况下稳定地接近参数的真值，具有较高的精确度和可靠性。
因此，一致性也是评价估计量优劣的重要标准之一。
最后，我们来考虑估计量的效率。
效率是评价估计量优劣的另一个重要标准。
一个估计量如果是有效的，意味着在所有无偏估计量中具有最小的方差，能够以最小的误差估计参数的真值。
换句话说，有效估计量具有最佳的精确度和准确性，能够在给定的样本容量下提供最优的估计结果。
因此，效率也是评价估计量优劣的重要标准之一。
综上所述，无偏性、一致性和效率是评价估计量优劣的三个重要标准。
在实际应用中，我们需要综合考虑这三个标准，选择最合适的估计量来进行参数估计。
只有在估计量具有较高的无偏性、一致性和效率时，我们才能够更准确地估计参数的真值，从而得到更可靠的统计推断结果。
因此，在统计学中，对于估计量的评价标准是非常重要的，它直接影响着我们对于总体参数的估计和推断的准确性和可靠性。
7.3 估计量的评选标准
估计量的评选标准
一、问题的提出 二、无偏性 三、有效性 四、相合性参数, 对于同一个参数 用不同的估计方法求出的 估计量可能不相同. 估计量可能不相同 问题 (1)对于同一个参数究竟采用哪一个估计量好? (1)对于同一个参数究竟采用哪一个估计量好? 对于同一个参数究竟采用哪一个估计量好 (2)评价估计量的标准是什么? (2)评价估计量的标准是什么? 评价估计量的标准是什么 本节介绍几个常用标准. 本节介绍几个常用标准.
ˆ θ 是 θ 的无偏估计量 .
无偏估计的实际意义: 无系统误差. 无偏估计的实际意义: 无系统误差.
例1 设总体 X 的 k 阶矩 µ k = E ( X k ) ( k ≥ 1)存在 ,
试证明不论 的一个样本， 又设 X 1 , X 2 ,L, X n 是 X 的一个样本，
1 n k 总体服从什么分布 , k 阶样本矩 Ak = ∑ X i 是 n i =1
才能显示出优越性, 这在实际中往往难以做到, 才能显示出优越性, 这在实际中往往难以做到, 因此, 因此, 在工程中往往使用无偏性和有效性这 两个标准. 两个标准.
k 阶总体矩 µ k 的无偏估计 .
证 因为 X 1 , X 2 ,L, X n 与 X 同分布， 同分布， 故有 即
E ( X ik ) = E ( X k ) = µ k ,
i = 1,2,L, n.
1 n k E ( Ak ) = ∑ E ( X i ) = µ k . n i =1
故 k 阶样本矩 Ak 是 k 阶总体矩 µ k 的无偏估计 .
都是 θ 的无偏估计量 ,
ˆ ˆ ˆ ˆ 若有 D(θ1 ) ≤ D(θ 2 ) , 则称 θ1 较 θ 2 有效 .
四、相合性
估计量的评选标准
均为未知, 则 2 的估计量ˆ 2
1n n i1 ( X i
X )2 是有偏
的(即 不 是 无 偏 估 计) .
证明
ˆ 2
1n n i1
X
2 i
X2
A2 X 2 ,
因为 E( A2 ) 2 2 2 , 又因为 E( X 2 ) D( X ) [E( X )]2 2 2 ,
1
e
x 2
x
n11
2 dx
n1
22
1 n
1
2
0
x n1
e 2 x 2 dx
2
n
n 2
2
1
,
E(S)
n
2
1
n
n 2
1
2
,
故 S 不是 的无偏估计量,
n
2
1
n
2
1
n 2
S
是
的无偏估计量.
例4 设总体 X 在 [0, ]上服从均匀分布,参数 0,
0,
0 x ,
其他
所以
E(Xh)
0
x
nx
n1
n dx
n ,
n1
故有
E
n
n
1
X
h
,
故
n
n
1
max(
X1
,
X
2
,,
X
n
)
也是
的
无
偏估
计量.
例5 设总体 X 服从参数为 的指数分布, 概率密度
f
(
x;
)
1
x
e
,
0,
x 0, 其他.
7.2估计量的评选标准
1 n 2 2 {∑[ D( Xi ) + E ( Xi )]− n[ D( X ) + E ( X )]} = n − 1 i =1 2 1 σ 2 2 2 [( nσ + nµ ) − n( = + µ )] n−1 n =σ 2 ⇒S2为σ2的无偏估计量 n n−1 2 1 2 E ( B2 ) = E[ ∑ ( X i − X ) ] = E ( S ) n i =1 n n−1 2 2 σ ≠σ = n ⇒B2不是σ2的无偏估计量
7.2 估计量的评选标准
一、一致性 二、无偏性 三、有效性
有时候同一个参数可以有几种不同的 估计方法,这时就存在采用哪一个估计的问 估计方法 这时就存在采用哪一个估计的问 题. 希望未知参数与它的估计量在某种意 义下最为接近. 义下最为接近.
相合性) 一、一致性(相合性 一致性 相合性
ˆ 当样本容量无 对于一个好的估计量θ ,当样本容量无 限增大时,它的值应趋于稳定在参数 限增大时 它的值应趋于稳定在参数θ的真 值附近,即与 保持一致或相合. 值附近 即与θ保持一致或相合
令E(X)=µ, D(X)=σ2 n n 1 1 E ( X ) = E ( ∑ X i ) = ∑ E ( X i ) =µ n i =1 n i =1 ⇒ X为µ的无偏估计量 n 1 2 2 E ( S ) = E[ ∑(Xi − X ) ] n − 1 i =1 n 1 2 2 E ( ∑ X i − nX ) = n − 1 i =1 n 1 2 2 [∑ E ( X i ) − nE ( X )] = n − 1 i =1
, −∞ −∞<x <+∞, x1,x2,⋅⋅⋅ n是X的n次观察值 试求σ的 ⋅⋅⋅,x 次观察值,试求 ∞ ⋅⋅⋅ 的 次观察值 极大似然估计量.并判断它是否为σ的一 极大似然估计量 并判断它是否为 致估计量. 致估计量 1 n ˆ 解: σ = ∑ | X i | n i =1 1 n 1 n P 由大数定律,有 由大数定律 有 ∑ | X i | → ∑ E | X i | n i =1 n i =1 | x| +∞ 1 −σ e dx E|Xi|=E|X|= ∫− ∞ | x | ⋅ 2σ
第三节 估计量的评选标准
n
数理统计
由辛钦定理
若总体 X 的数学期望 E X μ 有限, 则有
Ak
1 n
n i 1
X
k i
P
E(X k )
μk
(k
1, 2,
)
g( A1, A2 , , Ak ) P g( μ1, μ2, , μk )
其中 g 为连续函数 .
数理统计
故
Ak
1 n
因为 E
X
E
1 n
n i1
Xi
1 n
E
n i1
Xi
EX
所以样本均值是总体均值的无偏估计量。
为方便起见，记总体均值为 方差为 2
n
2
n
2
因为
Xi X
Xi X
i 1
i 1
1 n 1
n i1
E
Xi
2
nE
X
2
1 n 1
n
2
n
2
n
2
Xi 与
所以样本方差是总体方差的无偏估计量。
X X
有相同的
~
N
,
2
n
和
2
数理统计
一个参数往往有不止一个无偏估计, 若 ˆ1和 ˆ2
无偏性是对估计量的一个常见而重要的要求 . 无偏性的实际意义是指没有系统性的偏差 .
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
存在,
k
为正整数,则
1 n
n i 1
X
k i
为
E(X
k
)
的相合估计量.
证明
对指定的
k
,令 Y
X k ,Yi
X
k i
,则 Y1,Y2 ,
,Yn 相互
独立并与 Y 同分布,且 E(Yi ) E(Y) E(X k ) ,由大数定理知, 对任意 0,有
lim P n
1 n
n
Yi
i 1
E(Y )
样本 k 阶矩 Ak
1 n
n i 1
X
k i
是总体 k 阶矩 k 的
无偏估计量.
证明
X1, X2 , , Xn 与 X 同分布,故有
E
X
k i
E
Xk
k , i 1, 2,
, n.
即有
E Ak
1 n
n i 1
E
Xik
k . 因此,不论总体 X 服从什
么分布,样本 k 阶矩是总体 k 阶矩的无偏估计量.
n
2
D(Xi )
i 1
n
,
故 X 较 Xi (i 1, 2, , n) 更有效.
3.一致性
定义 6.7 设 X1, X2 , , Xn 为未知参数 的估计
量,若 依概率收敛于 ,即对任意 0, 有
lim
P
1
或
lim
P
0
,
n
n
则称 为 的相合估计量或一致估计量.
例 6.15 设 X1,X2 , ,Xn 是取自总体 X 的样本,且 E( X k )
lim P n
1 n
n i 1
X
k i
E(X k )
1
,
从而,
1 n
n i 1
X
k i
是
E(X
k)
的相合估计量.
谢谢聆听
2.有效性
定义
6.6
设
1
1
X1, X2,
,
Xn
和
2
2
X1,
X2,
, Xn
都是未知参数 的无偏估计量,若
D(1) D( 2 ) ,
则称无偏估计 1 较 2 有效.
例 6.12
设
X1,
X
，
2
,
Xn
是来自均值为
、方差为
2
的 总 体 X 的 样 本 . X , Xi (i 1, 2, , n) 均 为 总 体 均 值
E(X ) 的无偏估计量,问哪一个估计量更有效？ 解 由于 X , Xi (i 1, 2, , n) 为 的无偏估计量,所以
E(Xi ) (i 1, 2, , n), E(X ) ,
但
D(Xi ) 2 (i 1, 2, , n) ,
D(
X
)
D
1 n
n i 1
X
i
1 n2
估计量的评选标准
1.无偏性
定义 6.5 设 X1, X2 , , Xn 是未知参数 的估
计量,若
E( )= ,
则称 为 的无偏估计量.
例 6.9 设总体 X Байду номын сангаас k 阶矩 k E(X k )(k 1) 存在,又
设 X1, X2, , Xn 是 X 的一个样本.试证明不论总体服从
什么分布,