第二十讲：估计量的评选标准
估计量的评选标准与区间估计
置信区间 设总体X的分布函数F(x;)含有一个未知 参数. 对于给定值a(0<a<1), 若由样本X1 ,X2 ,…,Xn确定 的两个统计量 ( X1, X 2 ,..., X n )和 ( X1, X 2 ,..., X n ) 满足
P{ ( X1, X 2 ,..., X n ) ( X1, X 2 ,..., X n )} 1 a, 则称随机区间 ( , )是的置信度为1 a的置信区间,和 分
n 1
S 2
1 n 1
n
(Xi
i 1
X 2 ).
这就是说S2是2的无偏估计，因此，一般都是取S2作为 方差2的估计量。
例3 设总体X服从参数为的指数分布，概率密度为
f
( x,
பைடு நூலகம்
ex /
,
x 0,
0,
其它。
其中>0为未知,又设X1 ,X2 ,…,Xn是来自X的样本,试证
都是统计量 , 那么( , )就是的一个置信度为1 a的置信区间。
函数Z(X1 ,X2,…,Xn ; )的构造, 可以从 的点估计着 手考虑。
(三)单个总体N(,2)的情况
设已给定置信度为1-a, 并设X1 ,X2,…,Xn为总体N(,2)
的样本. X, S2分别是样本均值和样本 方差。
2的无偏估计为S2 由第六章2定理一知
(n 1)S 2 ~ 2 (n 1), 2
故
P{
2 1-a/2
(n
1)
(n 1)S 2
2
2 a/2
(n
估计量的评选标准
存在,
k
为正整数,则
1 n
n i 1
X
k i
为
E(X
k
)
的相合估计量.
证明
对指定的
k
,令 Y
X k ,Yi
X
k i
,则 Y1,Y2 ,
,Yn 相互
独立并与 Y 同分布,且 E(Yi ) E(Y) E(X k ) ,由大数定理知, 对任意 0,有
lim P n
1 n
n
Yi
i 1
E(Y )
样本 k 阶矩 Ak
1 n
n i 1
X
k i
是总体 k 阶矩 k 的
无偏估计量.
证明
X1, X2 , , Xn 与 X 同分布,故有
E
X
k i
E
Xk
k , i 1, 2,
, n.
即有
E Ak
1 n
n i 1
E
Xik
k . 因此,不论总体 X 服从什
么分布,样本 k 阶矩是总体 k 阶矩的无偏估计量.
n
2
D(Xi )
i 1
n
,
故 X 较 Xi (i 1, 2, , n) 更有效.
3.一致性
定义 6.7 设 X1, X2 , , Xn 为未知参数 的估计
量,若 依概率收敛于 ,即对任意 0, 有
lim
P
1
或
lim
P
0
,
n
n
则称 为 的相合估计量或一致估计量.
例 6.15 设 X1,X2 , ,Xn 是取自总体 X 的样本,且 E( X k )
lim P n
1 n
§7.2估计量的评选标准
§7.2估计量的评选标准对于同一个未知参数,不同的方法得到的估计量可能不同,于是提出问题（1）应该选用哪一种估计量?（2）用何标准来评价一个估计量的好坏? 常用的标准有：(1) 无偏性，(2) 有效性，(3) 一致性（或相合性）.一 无偏性定义1、设,,,12X X X n 是总体X 的样本，ˆ(,,,)12X X X n θθ= 是总体参数θ的估计量，ˆ()E θ存在，且对于任意θ∈Θ都有ˆ()E θθ=，则称ˆθ是θ的无偏估计量. 在科学技术中ˆ()-E θθ称为以ˆθ作为θ的估计的系统误差. 无偏估计的实际意义就是无系统误差.例1、设总体X 的k 阶矩1k E X k k μ⎛⎫⎛⎫ ⎪ ⎪ ⎪⎝⎭⎝⎭=≥存在，又设,,,12X X X n 是X 的一个样本.试证明不论总体服从什么分布，k 阶样本矩11n k A X n j k j =∑=是k 阶总体矩k μ的无偏估计量. 例2 、设总体X 服从指数分布，其概率密度为1,0;0,x e x f x θθθ⎧⎪⎪⎪⎛⎫⎨ ⎪⎝⎭⎪⎪⎪⎩->=其它其中参数0θ>为未知，又设,,,12X X X n 是来自X 的样本. 试证X 和min ,,,12nZ n X X X n ⎛⎫⎧⎫⎪⎪ ⎪⎨⎬ ⎪⎪⎪⎩⎭⎝⎭= 都是θ的无偏估计量.二 有效性定义2、设 ˆ(,,,)1112X X X n θθ= ，ˆ(,,,)2212X X X n θθ= 都是总体参数θ的无偏估计量, 若对于任意θ∈Θ，有ˆˆ()()12D D θθ≤ 则称ˆ1θ比ˆ2θ更有效.例3、设总体X 服从指数分布，其概率密度为1,0;0,x e x f x θθθ⎧⎪⎪⎪⎛⎫⎨ ⎪⎝⎭⎪⎪⎪⎩->=其它其中参数0θ>为未知，又设,,,12X X X n 是来自X 的样本。
试证当1n >时，θ的无偏估计量X 较θ的无偏估计量min ,,,12nZ n X X X n ⎛⎫⎧⎫⎪⎪ ⎪⎨⎬ ⎪⎪⎪⎩⎭⎝⎭= 有效. 三 一致性定义3、设ˆˆ(,,,)12X X X n θθ= 是总体参数θ的估计量. 若对于任意的θ∈Θ , 当n →∞时，ˆθ依概率收敛于θ，即0,ε∀> ˆlim ())0P n θθε-≥=→∞则称ˆθ是总体参数θ的一致(或相合)估计量. 相合性是对一个估计量的基本要求，若估计量不具有相合性，那么不论将样本容量n取得多么大，都不能将 估计得足够准确，这样的估计量是不可取的.。
估计量的评选标准
p(x,θ )，g(θ )为待估参数，设 gˆ(X1)为 g(θ) 的
任意无偏估计，考虑
Var(gˆ(X1)) 的下界？
注：积分形式的 Cauchy 不等式：
uvdx 2 u2dx v2dx
1、 Fisher信息量的定义.
设总体 X 的概率函数为 p (x; ), ,且满足一定条件:
ln p(x;) x ln ln x! x!
I ()
E[ d ln
p( X ; )]2 d
E[ X
1]2
E(X )2 2
1
故 1 , nI () n
显然,Var(x) 1 ,
nI ()
所以, x是的有效估计.
例1 设 X1, X2,… Xn 是取自总体 X ~ N( 0,σ2) 的一个 样本，试证：
两者不同!
对于同一个未知参数,用不同的方法得到 的估计量可能不同,于是提出问题：
应该选用哪一种估计量? 用何标准来评价一个估计量的好坏?
ˆ( X1,..., Xn ) 越接近 越好！
如何刻画？
例：估计农大12级本科生高数的平均成绩：
方案一：设计一个抽样方案，取200个同学 的高数成绩，计算出他们的平均成绩，作为 真实成绩的估计； 方案二：随便取一个同学的成绩作为真实成 绩的估计。
1 n
Var (ˆ )
1
n
2
Var(ˆ1)
例如 X ~ N( , 2 ) , ( x 1, x 2 ) 是一个样本.
ˆ1
2 3
x1
1 3
x2
7.3 估计量的评选标准
估计量的评选标准
一、问题的提出 二、无偏性 三、有效性 四、相合性参数, 对于同一个参数 用不同的估计方法求出的 估计量可能不相同. 估计量可能不相同 问题 (1)对于同一个参数究竟采用哪一个估计量好? (1)对于同一个参数究竟采用哪一个估计量好? 对于同一个参数究竟采用哪一个估计量好 (2)评价估计量的标准是什么? (2)评价估计量的标准是什么? 评价估计量的标准是什么 本节介绍几个常用标准. 本节介绍几个常用标准.
ˆ θ 是 θ 的无偏估计量 .
无偏估计的实际意义: 无系统误差. 无偏估计的实际意义: 无系统误差.
例1 设总体 X 的 k 阶矩 µ k = E ( X k ) ( k ≥ 1)存在 ,
试证明不论 的一个样本， 又设 X 1 , X 2 ,L, X n 是 X 的一个样本，
1 n k 总体服从什么分布 , k 阶样本矩 Ak = ∑ X i 是 n i =1
才能显示出优越性, 这在实际中往往难以做到, 才能显示出优越性, 这在实际中往往难以做到, 因此, 因此, 在工程中往往使用无偏性和有效性这 两个标准. 两个标准.
k 阶总体矩 µ k 的无偏估计 .
证 因为 X 1 , X 2 ,L, X n 与 X 同分布， 同分布， 故有 即
E ( X ik ) = E ( X k ) = µ k ,
i = 1,2,L, n.
1 n k E ( Ak ) = ∑ E ( X i ) = µ k . n i =1
故 k 阶样本矩 Ak 是 k 阶总体矩 µ k 的无偏估计 .
都是 θ 的无偏估计量 ,
ˆ ˆ ˆ ˆ 若有 D(θ1 ) ≤ D(θ 2 ) , 则称 θ1 较 θ 2 有效 .
四、相合性
估计量的评选标准
均为未知, 则 2 的估计量ˆ 2
1n n i1 ( X i
X )2 是有偏
的(即 不 是 无 偏 估 计) .
证明
ˆ 2
1n n i1
X
2 i
X2
A2 X 2 ,
因为 E( A2 ) 2 2 2 , 又因为 E( X 2 ) D( X ) [E( X )]2 2 2 ,
1
e
x 2
x
n11
2 dx
n1
22
1 n
1
2
0
x n1
e 2 x 2 dx
2
n
n 2
2
1
,
E(S)
n
2
1
n
n 2
1
2
,
故 S 不是 的无偏估计量,
n
2
1
n
2
1
n 2
S
是
的无偏估计量.
例4 设总体 X 在 [0, ]上服从均匀分布,参数 0,
0,
0 x ,
其他
所以
E(Xh)
0
x
nx
n1
n dx
n ,
n1
故有
E
n
n
1
X
h
,
故
n
n
1
max(
X1
,
X
2
,,
X
n
)
也是
的
无
偏估
计量.
例5 设总体 X 服从参数为 的指数分布, 概率密度
f
(
x;
)
1
x
e
,
0,
x 0, 其他.
7.2估计量的评选标准
1 n 2 2 {∑[ D( Xi ) + E ( Xi )]− n[ D( X ) + E ( X )]} = n − 1 i =1 2 1 σ 2 2 2 [( nσ + nµ ) − n( = + µ )] n−1 n =σ 2 ⇒S2为σ2的无偏估计量 n n−1 2 1 2 E ( B2 ) = E[ ∑ ( X i − X ) ] = E ( S ) n i =1 n n−1 2 2 σ ≠σ = n ⇒B2不是σ2的无偏估计量
7.2 估计量的评选标准
一、一致性 二、无偏性 三、有效性
有时候同一个参数可以有几种不同的 估计方法,这时就存在采用哪一个估计的问 估计方法 这时就存在采用哪一个估计的问 题. 希望未知参数与它的估计量在某种意 义下最为接近. 义下最为接近.
相合性) 一、一致性(相合性 一致性 相合性
ˆ 当样本容量无 对于一个好的估计量θ ,当样本容量无 限增大时,它的值应趋于稳定在参数 限增大时 它的值应趋于稳定在参数θ的真 值附近,即与 保持一致或相合. 值附近 即与θ保持一致或相合
令E(X)=µ, D(X)=σ2 n n 1 1 E ( X ) = E ( ∑ X i ) = ∑ E ( X i ) =µ n i =1 n i =1 ⇒ X为µ的无偏估计量 n 1 2 2 E ( S ) = E[ ∑(Xi − X ) ] n − 1 i =1 n 1 2 2 E ( ∑ X i − nX ) = n − 1 i =1 n 1 2 2 [∑ E ( X i ) − nE ( X )] = n − 1 i =1
, −∞ −∞<x <+∞, x1,x2,⋅⋅⋅ n是X的n次观察值 试求σ的 ⋅⋅⋅,x 次观察值,试求 ∞ ⋅⋅⋅ 的 次观察值 极大似然估计量.并判断它是否为σ的一 极大似然估计量 并判断它是否为 致估计量. 致估计量 1 n ˆ 解: σ = ∑ | X i | n i =1 1 n 1 n P 由大数定律,有 由大数定律 有 ∑ | X i | → ∑ E | X i | n i =1 n i =1 | x| +∞ 1 −σ e dx E|Xi|=E|X|= ∫− ∞ | x | ⋅ 2σ
7.5 估计量的评选标准有效性和相合性
估计量的评选标准：有效性和相合性到商店购买电视机，看中了其中两种品牌，分别由甲、乙两厂生产，外观、音质和画面都不错.根据市场调查，甲、乙两厂生产的两种电视机平均使用寿命相同，都是20年.甲厂生产的电视机质量较稳定，最低使用寿命18年，最高可以使用22年；乙厂生产的电视机质量稳定性差一些，最差的使用10年就坏了，但是最好的可以使用30年。
选用哪一个厂家生产的电视机呢？若将电视机的使用寿命视为随机变量，甲、乙两厂生产的电视机使用寿命均值相等但是乙厂的质量不稳定，即方差较大.从稳健的角度出发，显然愿意购买甲厂生产的电视机，其风险较小，即方差较小，质量稳定.集中或分散程度用方差DX衡量.无偏估计以方差小者为好,由此引进有效性这一概念.θ1ˆθ2ˆθ一个参数往往有不止一个无偏估计，若和都是参数θ的无偏估计量，比较和的大小来决定二者谁更优.1ˆθ2ˆθ1ˆ()D θ2ˆ()D θ一、有效性（Efficiency ）都是参数θ的无偏估计量设且至少对某一个θ∈Θ上式中的不等号成立.若对任意θ∈Θ，有则称较有效.112212ˆˆ(,,,),(,,,)n n X X X X X X θθ12ˆˆ()()D D θθ≤1ˆθ2ˆθ例1.设总体X 的概率密度为其中θ>0为未知参数，X 1,X 2,…,X n 为来自总体X 的样本，n >1.试比较：和nU =n {min(X 1,X 2,…,X n )}的有效性./1,0(,)0,0x e x f x x θθθ-⎧>⎪=⎨⎪≤⎩X 解：由于和nU 都是θ的无偏估计量.X 且U=min(X 1,X 2,…,X n )的密度函数为,0()0,0n u U n e u f u u θθ-⎧>⎪=⎨⎪≤⎩由得又由得因此，当n >1时，U 的密度函数为,0()0,0n u U n e u f u u θθ-⎧>⎪=⎨⎪≤⎩2()D X θ=21()()D X D X n nθ==22()D U n θ=22222()()=D nU n D U n nθθ=⋅=()()D nU D X >即：比nU 有效.X二、相合性（Consistency ）设为参数θ的估计量，若对于任意θ∈Θ，且当n →∞时则称为参数θ的相合估计量.即对于任意θ∈Θ都满足：对于任意ε>0，有12ˆ(,,,)n X X X θ12ˆ(,,,)P n X X X θθ−−→依概率收敛12ˆ(,,,)n X X X θˆlim {||}1n P θθε→∞-<=例2.设总体X 的k 阶矩μk =EX k 存在，X 1,X 2,…,X n 为来自总体X 的样本，证明样本的k 阶矩A k 是总体k 阶矩的相合估计量.证明：由于X 1,X 2,…,X n 相互独立，且与总体X 同分布.则有Y 1,Y 2,…,Y n 独立同分布且由辛钦大数定律也即,1,2,...,k i i Y X i n==,1,2,...,kk i i k EY EX EX i nμ====111()n P i k i Y E Y n μ=−−→=∑11n P k k i k i A X n μ==−−→∑令若待估参数为θ=g (μ1,μ2,…,μk )，其中g 为连续函数，则θ的矩估计量是θ的相合估计量.1212ˆˆˆˆ=(,,,)=(,,,)k k g g A A A θμμμ例3.设总体X ~U (0,b )，其中b >0为未知参数，X 1,X 2,…,X n 为来自总体X的样本.令X (n )=max (X 1,X 2,…,X n ).证明：X (n )是参数b 的相合估计量.证明：且X 1,X 2,…,X n 相互独立，与X 同分布.总体X 的密度函数和分布函数分别为1,0()0,X b x bf x <<⎧=⎨⎩其他0,0(),01,X x F x x b x bx b <⎧⎪=≤<⎨⎪≥⎩下面求X (n )的密度函数.易知X (n )的分布函数为()()12()()(,,,)n X n n F u P X u P X u X u X u =≤=≤≤≤12()()()n P X u P X u P X u =≤≤≤12()()()n X X X F u F u F u =[()]nX F u =所以X (n )的密度函数为()()()[()]{[()]}n n n X X X f u F u F u ''==1[()]()n X X n F u f u -=因此X (n )的密度函数为1,0()0,X b x bf x <<⎧=⎨⎩其他0,0(),01,X x F x x b x bx b <⎧⎪=≤<⎨⎪≥⎩()1()[()]()n n X X X f u n F u f u -=其他()1,0()0,n n n X nu u bf u -⎧⎪<<=⎨⎪⎩对于任意ε>0，要证明ˆlim {||}1n P θθε→∞-<=(){||}n P X b ε-<()()||()()n n b X X u b b fu du fu duεεε+-<-==⎰⎰11()bnn nb b nu b du b εε---==-⎰()lim {||}lim[1()]1nn n n b P X b bεε→∞→∞--<=-=即：X (n )是参数b 的相合估计.其他()1,0()0,n n n X nu b u bf u -⎧⎪<<=⎨⎪⎩。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
是L(max(xi))=infL(θ) θ
θ
n
关于θ单减 故 越小,L(θ 越大 越大. 关于θ单减,故θ越小 θ)越大 于
∴θ MLE = max( X i )
∧
5.2 估计量的 , , X n )为 θ 的估计量 , 若 E θ = θ 则称 θ 是 θ 的无偏估计量 .
二,有效性
设 θ i = θ i ( X 1 , , X n ), i = 1, 2分别是参数 θ 的两个 无偏估计 , 若D θ 1 < D θ 2 , 则称θ 1 比θ 2 有效 .
续例 2 考察例 2中θ
^
^ M
^
^
^
^
^
^
n+1 ^ θ MLE 都是θ的无偏估计 已知θ M 与 n
n+1 ^ 与 θ MLE 的有效性 n
i =1 i =1
n
n
λ
∑ xi
i =1
n
ln L(λ ) = ln λ e
n
λ
∑ xi
i =1
n
= n ln λ λ ∑ x i
i =1
n
令
d [ln L(λ )] n n = ∑ xi = 0 dλ λ i =1
λ = n
∑x
i =1
n
1 λ = X
i
∧
∴
∧
p = 1 e
a X
注3*:由似然方程解不出θ的似然估计时,可由定 由似然方程解不出θ的似然估计时, 由似然方程解不出 义通过分析直接推求. 义通过分析直接推求.事实上θ MLE 满足
Dθ M
^
n+1 ^ θ MLE ) = ≥ = D( 3n ( n + 2)n n
θ2
θ2
三,相合性
的估计量, 设 θn = θ (X 1 , ,X n )是θ的估计量,若 → 的相合估计量. θn P θ,则称 θ 是θ的相合估计量.
例1.设 X 1, , X n ~ B ( m , p ), m已知 已知,0<p<1, 设 已知 讨论p的极大似然估计量的一致性 的极大似然估计量的一致性. 讨论 的极大似然估计量的一致性. 解:
p
MLE
iid
由辛钦大数定理, 由辛钦大数定理
1 X . = m
1 p ∴ X→p m
p的极大似然估计量 的极大似然估计量 是一致性估计量. 是一致性估计量
1 n X = ∑ X i p→ E ( X ) = mp n i =1
EX: 分别为取自总体X的容量为n EX:设 X 1 ,分别为取自总体X的容量为n1,n2的两个样本的 X2 样本均值,求证:对任意实数a>0,b>0,a+b=1 样本均值,求证:对任意实数a>0,b>0,a+b=1 都是E 的无偏估计,并求a,b a,b使所得 统计量 a X 1 + b X E(X)的无偏估计,并求a,b使所得 都是 2 统计量最有效
概率与 概率与统计
第二十讲 估计量的评选标准
开课系: 开课系:理学院 统计与金融数学系 e-mail:probstat@ 主页
为取自参数为λ 例7:设X1, … , Xn为取自参数为λ的指数分布 : 为取自参数为 总体的样本, 为一给定实数. 总体的样本,a>0为一给定实数. 为一给定实数 求p=P{X<a}的极大似然估计 的极大似然估计 解:
考察θ 考察θ的矩估计和极大似然估计的无偏性 解: θ的矩估计和极大似然估计分别为
∧ ∧
θ M = 2 X ,θ MLE = max( X i )
E (θ M ) = 2 E ( X ) = 2 × E ( X ) = 2 ×
θ的矩估计是无偏的.记 的矩估计是无偏的.
∧
θ
Z = θ MLE
∧
2 = max( X i )
ln L(θ ) = ln
令
1
d [ln L(θ )] n = =0 dθ θ
注意到
θ
n
= n ln θ
无解! 无解
1 n L(θ ) = θ 0
1
0 < xi < θ others
为使L(θ 必须0<max(xi)< θ,故θ的值域为 为使 θ)≠0, 必须 故 的值域为(max(xi), ∞), 再由
=θ
nz n1 1 f Z (z) = θ n , 0 < z < θ 0, 其它
E θ MLE = ∫ z
0
^
θ
nz
n 1 n
θ
n dz = θ ≠θ n+1
故θ的极大似然估计不是无偏的. 的极大似然估计不是无偏的. 注:取
n+1 ∧ θ* = θ MLE n
则θ*是θ的无偏估计. 的无偏估计.
^ ^ ^ ^
易见
1 n 1 n E ( X ) = E ( ∑ X i ) = ∑ EX i = = E ( X ), n i =1 n i =1 n1 2 1 n 2 E[ ∑ ( X i X ) ] = σ . n i =1 n
iid
例2 设X 1 , ,X n ~ U( 0 , θ) ,
估计量的评选标准
无偏性
有效性
相合性
�
Dθ M
^
θ 4σ 4 qθ = D( 2 X ) = = × = n n 12 3n
2 2 2
n+1 n+1 D( θ MLE ) = D( X ( n ) ) n n
^ 2
E( Z ) = ∫ z
2 0
^
θ
2
nz
n 1 n
θ
2
n 2 θ dz = n+ 2
n+1 n2 1 n+1 2 n D( θ MLE ) = θ = θ2 2 n n n + 2 (n + 1) (n + 2 )n
L(θMLE ) = max L(θ )
θ ∈Θ
∧
例8:设X1, … , Xn为取自 U(0,θ) 总体的样 : θ 总体的样 未知, 本, θ>0未知,求参数θ 的极大似然估计. 未知 求参数θ 的极大似然估计. 解:
L(θ ) = ∏
i =1
n
1 n f ( xi ;θ ) = θ 0
0 < xi < θ others
p = P{ X < a } = ∫ λe
0
a
λx
dx = 1 e
∧
λa
关于λ单调.故若λ的极大似然估计为 λ ,则 故若λ 关于λ单调 故若 则 ∧ p的极大似然估计为 1 e λ a . 先求λ的极 先求λ 的极大似然估计为 大似然估计
L(λ ) = ∏ f ( x i ; λ ) = ∏ λe λxi = λn e
解 : E (a X 1 + b X 2 ) = aE ( X 1 ) + bE ( X 2 ) = E ( X )
故对任意实数a>0,b>0,a+b=1,统计量 a X 1 + b X 2 都 对任意实数a>0,b>0,a+b=1,统计量 a>0,b>0,a+b=1, 是E(X)的无偏估计
a 2 b2 D( a X 1 + b X 2 ) = a 2 D( X 1 ) + b 2 D( X 2 ) = ( + ) D( X ) n1 n2