第六章_点估计

第六章点估计

1. 本章重点概括

本章要求学生正确理解参数点估计的概念。掌握矩估计法，明确其实质是用样本矩来替换总体矩，即皮尔逊替换原则。掌握极大似然估计法，明确其基本思想是选取估计量，使得该样本发生的可能性最大，能熟练地求出某些常见分布中未知参数的极大似然估计量。掌握关于判别估计量优良性的一致性、无偏性、有效性这三个准则，并能熟练地加以运用。掌握罗-克拉美(Rao-Cramer)不等式的条件、结论，能求一些常见分布中未知参数的无偏估计量之方差的罗-克拉美下界，会求一些常见分布中未知参数的

有效估计，或会证明某

∧

θ是θ的有效估计。掌握充分统计量的概念和奈曼

(Neyman)因子分解定理，并会加以应用。

点估计方法一般有两种，一种为矩估计法，一种为极大似然估计法。矩估计法比较直观，对任何总体都适用，方法简单，但需要保证总体的相应的矩存在，若不存在就不能用矩估计的方法。而极大似然估计对任何总体也都适用，从它得到估计量一般有有效性，并且常常具有无偏性，即使不具有无偏性，也可以修正偏差使估计值与待估计参数的真实值充分接近。极大似然估计法的缺点是往往要解一个似然方程，而这个方程在有些情况下是很难解的。

在分析估计量的好坏时，应首先考虑一致性，即看估计量是否依概率收敛于所估计的参数，不具备一致性的估计量我们一般是不予考虑的。估计量是一个随机变量，对于不同的样本值，一般给出参数不同的估计值，因而在考虑估计量的优劣时，应该从某种整体性能去衡量，而不能看它在个别样本之下表现如何。

一般来说，矩估计和极大似然估计都不一定是无偏估计。无偏估计要

111

112

求估计量的数学期望等于待估参数，但无偏估计不一定是有效估计，如正

态总体期望的估计量∑==n

i i

i X

k 1

?μ

，其中

∑==n

i i

k

1

1是无偏估计，但只有当

n n n

k i ,,2,1,1

==

时，μ

?才是有效估计。 由于统计量很多，那么怎样的统计量才是最佳的呢？直观的想法是，

一方面要尽可能的简单，另一方面又要能提供样本所含的“全部信息”，由此引出了充分统计量的定义。直接从定义出发判断一个统计量是不是充分统计量有时很困难，奈曼给出了一个较为方便的因子分解定理。

2. 基本概念 1) 点估计

设总体X 的分布已知，θ是待估参数。n X X X ,,,21 为来自该总体一

个样本，若n X X X ,,,21 构造一个统计量),,,(??21n

X X X θθ＝，并 用θ?估计θ，则称θ?是θ的估计量。

2) 一致性

若θ?是θ的估计量，如果对于任意0>ε，总有

1}?{lim =<-∞

→εθθ

P n ， 则称θ?为θ的一致估计量。

3) 无偏性

若未知参数θ的估计量满足

θθ

=)?(E 则称θ?具有无偏性，并称θ?是θ的无偏估计量。

4) 渐近无偏性

若未知参数θ的一个估计θ?有偏，但当∞→n 时，

113

,)?(θθ→E

则称θ?为θ的渐近无偏估计量。

5) 有效性

若1?θ和2?θ都是θ的无偏估计量，且)?()?(21θθD D ≤，则称1?θ较2

?θ有效。若对固定的样本容量n ，)?(θ

D 达到最小，则称θ?为θ的最小方差无偏估计，记为UMVU

E 。

6) 罗—克拉美(Rao-Cramer)不等式

设n X X X ,,,21 是取自总体X 的一个样本，);(~θx f X ，又

),,,(21n X X X u =η是)(θg 的一个无偏估计，且满足正则条件：

(a)集合}0);(:{>θx f x 与θ无关； (b))(θg '与

θ

θ??)

;(x f 存在，且对一切Θ∈θ， dx x f dx x f ??

??=??θ

θθθ

)

;();( ?

???

n n n dx dx x f x f x x u 111);();(),,(θθθ n n

i i n dx dx x f x x u 111);(),,(????????=∏??=θθ

(c) 令0);(log )(2

>??

?

????=θθθθX f E I

称为信息量，则

)

()]([2

θθηθnI g D '≥

这个不等式称为罗—克拉美不等式。罗—克拉美不等式指出，在样本容量n 给定时，)(θg 的无偏估计的方差不可能无限的小，它有一个下界

114

)

()]([2

θθnI g '，称这个下界为R C -下界。

7) 有效估计

若θ的一个无偏估计θ?使罗—克拉美不等式中等式

???

?

?????

?? ?

???=

2

);(log 1

)?(θθθX f nE D

成立，则称θ?为θ的有效估计。

8) 有效率

若θ?是θ的一个无偏估计，且罗—克拉美不等式下界存在，则称)?(θ

D 与)(θnI 的比

)

?()(1

θθD nI e =

为估计θ?的有效率。

9) 充分统计量

设n X X X ,,,21 是取自总体X 的一个样本，);(~θx f X ，设

),,,(21n X X X u =η是一个统计量，有概率密度);(θy g . 若

),(]

);([)

;();(111n n n x x h x x u g x f x f =θθθ

成立，且每当),,,(21n x x x u =η取一固定值时，y =η发生条件下的条件概率函数),(1n x x h 不依赖于θ，则称η为θ的一个充分统计量。

3. 基本方法、定理 1) 矩估计法

由于总体分布中的未知参数往往是总体X 的一些原点矩或原点矩的函

115

数，所以矩估计方法的主要思想就是用样本的各阶原点矩去估计相应的总体的各阶原点矩。求θ的矩估计量θ?的步骤如下：

(1) 求出总体的前k 阶原点矩（用参数k θθθ,,,21 表示）

),()(1k l l l v X E v θθ ==，k l ,,2,1 =

(2) 从这k 个方程中解出k θθθ,,,21 ：

),(1k l l v v h =θ，k l ,,2,1 =

(3) 用l

X 替换上述方程中的l v ，k l ,,2,1 =，则得到l θ的矩估计：

),,(?1k l l X X h =θ，k l ,,2,1 =

不难看出，只要参数k θθθ,,,21 可用原点矩),,,21k X X X 表示，则矩法估计就能进行，无须知道总体分布。

2) 极大似然估计法

(1) 总体为离散型。设总体X 的分布律为

);()(θi i a p a X P ==，Θ∈=θ,,2,1 i

其中θ为未知参数。n X X X ,,,21 为X 的一个样本，其观测值为,1x

n x x ,,2 ，每个i x 取 ,,21a a 中的某个值，则似然函数为

∏==n

i i x p L 1),()(θθ

选取θ?作为θ的估计，使

)(max )?(θθθL L Θ

∈=

则称θθ

即为?极大似然估计。 (2) 总体为连续型。设总体X 的概率密度函数为);(θx f ，其中θ是总体的未知参数，n X X X ,,,21 为X 的一个样本，其观测值为,,,21 x x

n x 。求θ的最大似然估计量θ?的步骤如下：

116

0ln )3()

,(ln ln )2()()

,()()1(1

1

===∑∏==θ

θθθθθd L

d x f L L x f L n

i i n

i i 建立并求解似然方程

对似然函数取对数

的函数

为其中写出似然函数

的极大似然估计量。即为，则，确定其最大值求得似然函数的驻点后θθθ

?? 3）奈曼(Neyman)因子分解定理

设n X X X ,,,21 是取自总体X 的一个样本，);(~θx f X ，Θ∈θ，则统计量),,,(21n X X X u =η是一个充分统计量的充要条件是存在两个非负函数1K 和2K ，使得等式

),,()],,([);();(12111n n n x x K x x u K x f x f =θθ

成立，并且当),,,(21n x x x u =η取一定值时，函数),,(12n x x K 不依赖于θ。

3. 一些说明

1) 关于极大似然估计

的极大似然估计量。，即为方法，求出最大值点利用多元函数求极值的组：

数，似然方程就是方程元函就为时，似然函数含有多个未知参数）若总体（法，应注意一下问题：

似然估计的概率最大。在用极大取，数，使得的分布参求得总体是通过样本值较大，极大似然估计就的概率取，由概率意义知道，测值得样本观，想是：一次观测样本极大似然估计的统计思m

m i

m n n n n n n n m

i L

m L X x x x X X X X x x x x x x X X X x x x X X X θθθθθθθθθθ,,,?,,?,?,,2,10ln ,,,1,,,,,,,,,,,,,,,,,,,21212121212121212121 ==??

117

(2) 并不是对所有的似然函数都可求解似然方程

0ln =θ

d L

d 的方法解出极大似然估计量。

例如求均匀分布的未知参数θ的极大似然估计量，设其概率密度为

???

??≤<=其他

01);(θθ

θx x f

就不能按照求解似然方程的方法来做。

都是最大似然估计量。

唯一，而它的解也未必，似然方程组的解未必估计量来，但也有例外程组能够求出最大似然法。一般来说，求解方要条件而采取的一种方只是根据极值存在的必求解似然方程组

m

i L i

m ,,2,10

),,,(ln )3(21 ==??θθθθ1) 2)关于无偏性和有效性

“无偏性”是指估计量的平均值接近于真正的参数值；“有效性”是指存在多个无偏估计量中相对方差较小的一个。点估计的优良性取决于这些估计量是否具有无偏性和有效性。

不管总体X 服从什么样的分布，下面的结论成立： (1) 样本均值X 是总体均值μ的最小方差无偏估计量； (2) 样本方差2

S 是总体方差2

σ的最小方差无偏估计量。

例1 填空题

118

(1) 设总体0,),0(~>θθU X ，n X X X ,,21是来自X 的样本，则θ的矩估计量为 ；极大似然估计量为 .

(2) 设射手的命中率为p ，在向同一目标的80次射击中，命中75次，则p 的极大似然估计值为 .

(3) 设总体??

?<<+=其它

10)1();(~x x x f X ααα，n X X X ,,21是

来自X 的样本，则θ的极大似然估计量为 .

解 (1)X 2；),,max (1n X X . 因为

2

10θθθ==?dx x EX ，则有EX 2=θ，故θ的矩估计量为X 2?=θ； 而似然函数为n i x L i n

,,2,1,0)( =≤≤=-θθ

θ

由似然函数可以看出，要使L 最大，就要使θ尽可能地小，但θ又不能小于),,max (1n x x ，所以θ取),,max (1n x x 时就使L 最大，故θ极大似

然估计量为),,max(?1n

L X X =θ. (2)

1615

. 记???=射击没有命中目标

射击命中目标，,01X ， 则X 服从两点分布，??

?

?

??-p p

P

X

101， 即有1,0)1()(1=-==-x p p x X P x

x

，

似然函数为 ∑-∑

=-=

==-

=-∏n

i i

n

i i

i

i

x n x n

i x x p p

p p

p L 1

1

)

1()1()(1

1，

)1ln()(ln )(

ln 1

1

p x n p x L n

i i

n

i i

--+=∑∑==

119

令

0ln =dp

L

d ，得x p

L =? 故p 的极大似然估计值为16

15

8075?===p

L . (3) ∑=-

-n

i i

x

n

1

ln 1. 因为似然函数为

αα

ααα)()1()1()(1

1

∏∏==+=+=n

i i n

n i i x x L ，

∑=++=n

i i x n L 1

)1ln(ln αα

令

0ln =α

d L

d ，得∑=--=n

i i

L x

n

1

ln 1?α

.

例2 单选题

(1) 设1021,,X X X 是来自总体X 的样本，下列统计量中不是

μ=EX 的无偏估计量的是（ ）.

A. ∑==1011101i i X T ;

B. ∑∑==+=10

6512203201i i i i X X T ; C. ∑==1013551i i iX T ; D. ∑∑==+=10

651

45151i i i i X X T (2) 设0)?(lim ?=∞

→θθθ

D n 的无偏估计，且为，则（ ）. A. θ?是θ的矩估计； B. θ?是θ的有效估计；

C. θ?是θ的极大似然估计；

D. θ?是θ的一致估计

120

(3) 设的无偏估计为θθ

?，且0?≠θD ，则2

?θ必为2θ的（ ）. A. 无偏估计 ； B. 一致估计 ； C. 有效估计； D. 有偏估计

(4)*设总体X 的方差为2

σ，),,(21n X X X 是来自X 的样本，

∑==n i i X n X 11，21

2

)(11X X n S n i i --=∑=，则（ ）. A. 2S 是2σ的无偏估计量; B. 2S 是2

σ的极大似然估计量; C. 2

S 是2

σ的一致估计; D. S 与X 独立

解 (1)D. 因为μ==∑=10

1

1101i i EX ET ； μμμ=+=+=∑∑==2015205203201106512i i i i EX EX ET ； μμ===∑∑==101101355551i i i i iEX ET ； μ2515110

6

514=+=∑∑==i i i i EX EX ET

所以4T 不是μ=EX 的无偏估计量 .

(2)D. 因为对任意0>ε，有

2?)|??(|)|?(|ε

θεθθεθθD E P P <>-=>-∞→→n ,0

所以θ?是θ的一致估计.

(3) D. 因为22

2

2

?)?(?)?(θθθθθθ

≠+=+=D E D E ，

所以2

?θ

必为2

θ的有偏估计.

121

(4)C. 因为由大数定律知，对任意0>ε，有

1}|1{|lim 1

=<-∑=∞→εμn

i i n X n P ， 所以∑==n

i i X n X 1

1是μ的一致估计量.

又2

1221)(1)(1X X n X X n n i i n i i -=-∑∑==，其中由大数定律知∑=n i i

X n 1

21依概率收敛于2

EX ，从而21

)(1X X n n i i -∑=依概率收敛于2

2)(EX EX -

2σ=.

又11lim =-∞→n n n ，所以21

2

)(11X X n S n i i --=∑=是2σ的一致估计量. 例3 设总体X 的概率密度为

00],[1

),;(22112

21>??

?

??+∈=θθθθθθθ其它

x x f

求参数1θ和2θ的矩估计.

解 矩矩相应的替代，它是将含样本的某阶法估计是点估计的一种 .

?,?,

,,2

1

121估计量并将其作为未知参数的可以解出的方程，从此方程中就和样本估参数而可以得到一个包含待对应总体的某阶矩，从θθθθn

x x

在本例中，参数1θ和2θ并不是总体分布的矩，但它们与总体的原点矩、 中心矩有如下关系：

2

1

2

12

2

11

θθθθθθ+=?

=?

+dx x EX

3

1

2

22121

2

2

2

2

11

θθθθθθθθ+

+=?

=?

+dx x EX

122

12

)(2

22

2θ=

-=EX EX DX

由此可解得：DX DX EX 32?,3?2

1=-=θθ， 我们以样本矩代替总体矩，即取2

,S DX X EX ==，

得到1θ和2θ的矩估计量为S S X 32?,3?2

1=-=θθ. 例4设总体X 的概率密度为???

??∈-=其它

],[1

),;(b a x a

b b a x f

求参数a 和b 的极大似然估计.

解 本题的n

a b b a L )

(1

),(-=

，)ln(ln a b n L --=，如再对a 和b 分别求偏导，不可能解出b a ,，所以这种方法不能用. 因此，转为按定义求出使似然函数L 达到最大值的a 和b .

由于n

a b b a L )(1

),(-=

，故只要选取

),,,min(?21n x x x a

= ),,,max(?21n

x x x b = 就能使),(b a L 在b a

?,?处达到最大值，它们就是a 和b 的极大似然估计 . 例5 设总体X 的概率密度为00

],0[1

);(>???

??∈=θθθ

θ其它

x x f ，

n X X ,,1 是来自总体X 的样本，令),,max (4

3?3211X X X =θ， ),,min(4?3212X X X =θ为θ的估计，问哪一个较好？

解 令),,max (321X X X =ξ，),,min(321X X X =η，则

123

ξ的分布函数为

θθξ<

?

?

??==x x x F x F i X 0,)]([)(3

3

，

概率密度为 3

2

3)(θ

ξx x f =

；

η的分布函数为

θθη<

?

? ??

--=x x x F 0,11)(3

，

概率密度为 2

13)(??

?

??-=θθηx x f

则dx x x E E ??==θθ

ξθ032

133434?θ=， dx x x E E ?

-?==θθ

θηθ0

22)1(344?θ=， 故1?θ和2?θ都是θ的无偏估计.

2

0322221

111513)43(916)(9

16)??(?θθθξξθθθθ=?-=-=-=?dx x x E E E E D

22022

22225

3)1(3)41(16)(16)??(?θ

θθθηηθθθθ

=-?-=-=-=?dx x x E E E E D 故知 21??θθD D <，即1?θ比2

?θ有效. 例6*设总体0,),0(~>θθU X ，n X X X ,,21是来自X 的样本，

在例1(1)中已经得到θ的两个估计X 2?1

=θ及),,max(?12n X X =θ，试比较两者的无偏性与有效性.

124

解 (1)因为θθ

θ=?==2

2)2()?(1

X E E

故1?θ是θ的无偏估计.

为求),,max (1n X X 的数学期望，先求它的概率密度. 记),,max (1n X X Z =，)()]([)(1

z f z F n z f X n X Z -=

于是 dx x n x X X E n n θ

θθ

1

)()],,[max (10

1-?

?=

θ1

+=

n n 可见),,max (1n X X 不是θ的无偏估计，但修正估计量

),,max (1

1n X X n

n +则是θ的无偏估计. (2) 22131124)2()?(θθθn

n X D D =?

==. dx x n x X X E E n n θ

θθθ1)()],,[max ()?(10

22122-??== 22

θ+=

n n

22

222

)

2()1()1(2)?(θθθθ++=+-+=n n n

n n n n D 显见)?()?(12θθD D <，故2?θ比1?θ有效，而且随着n 的增大，2?θ比1

?θ的优势会越来越明显.

这是极大似然估计优于矩估计的有名例子.

125

例7*设总体X 服从Γ分布，

0,00

00)

(1

);(1>>??

???≤>Γ=--θθθθr x x e x r x f x r r

，

n X X X ,,21是来自X 的样本，若参数r 已知，θ未知，试证

r

X

是θ的UMV UE .

证 因为由矩法估计知θ=)(

r

X

E ，所以它是θ的无偏估计. 0,ln ln )(ln );(ln 1>-+-Γ-=-x x

x r r x f r θ

θθ

2);(ln θ

θθθx

r x f +-=??

则2

223242222234222)(θθθθθθθθθθθr

r r r r r rX X E I =+-+=??????+-= 因此R C -下界为rn 2

θ，而rn n DX r r X

D 2

2

1θ==???

? ?

? 所以

r

X

是θ的UMV UE . 例8*设n X X ,,1 是独立同分布的随机变量，都服从几何分布

10,2,1,0)1();(<<=-=θθθθ x x f x

则∑==

n

i i

n X

T 1

是θ的充分统计量.

证 由于n X X ,,1 的联合概率密度为

,2,1,0)1(),,(1

1=∑-==i x n n x x x f n

i i

θθ

126

取=1k ∑-=n

i i

x n

1

)

1(θθ，12=k ，则由奈曼因子分解定理知，∑==

n

i i

n X

T 1

是

θ的充分统计量.

1. 填空题

(1) 设总体X 具有几何分布，分布列为

,2,1,)1()(1=-==-k p p k X P k ，其中10<

n X X ,,1 是来自总体X 的样本， 则（1）p 的矩估计量是 ；

（2）

p 的极大似然估计量是 .

(2) 设总体),0(~θU X ，n X X X ,,21是来自X 的样本，则θ的矩估计量为 ;θ的极大似然估计量为 .

(3) 设n X X X ,,21是来自均匀分布)1()1,(>+θθθU 总体X 的样

本，则未知参数θ的矩估计θ?的方差=θ

?D . (4) 设θθθ是，21??的2个独立的无偏估计量，且假定)?(2)?(2

1θθD D =，令2211???θθθc c +=，

若θθ为?的无偏估计，又使)?(θD 达到最小值，则=1c __ ____；=2c _______.

2. 选择题

(1)设的无偏估计为θθ

?，且0?lim =∞

→θD n ，则θ?

1n

n -（ ）. A. 是θ的无偏估计 ； B. 是θ的一致估计 ； C. 是θ的有效估计； D. 以上均不正确

(2) 设总体μσμ),,(~2

N X 已知，),,(21n X X X 是来自X 的样本，则2

σ的有效估计量为（ ）.

127

A. 2

2

)(?μσ

-=X ； B. 21

2

)(1?μσ-=∑=n

i i X n ； C. 212

)(11?X X n n i i --=∑=σ ； D. 21

2

)(1?X X n n i i -=∑=σ (3) 子样n X X ,,1 来自总体X ，2

,σμ==DX EX ，则（ ）可以作为2

σ的无偏估计. A.

μ已知时，统计量∑=-n

i i n X 12/)(μ；

B.

μ已知时，统计量)1/()(12--∑=n

i i n X μ；

C.

μ未知时，统计量∑=-n

i i n X 12/)(μ ；

D.

μ未知时，统计量)1/()(1

2--∑=n

i i n X μ

3．设总体X 的概率密度为

??

?>=+-其它

)()

1(c x x c x f θθθ

其中0>c 已知，1>θ未知，n X X ,,1 是来自总体X 的样本，试分别用矩法估计和极大似然估计求θ的估计量 .

4．设总体X 的概率密度213

2,00,03);(X X x x x f ，其它

??

?

??<<<=θθθθ是

来自总体X 的样本，试证： （1）),max (6

7

),(32212211X X T X X T =+=

都是θ 的无偏估计；

128

（2）在形为),max (21X X C T c =的估计中，7

8T 最有效

5．若总体),0(~2

σN X ，n X X ,,1 是来自总体X 的样本，令

∑==n i i n 1

2

2

1?ξσ

，证明：22?σσ是的一致估计 . 6. 设n X X ,,1 是独立同分布的随机变量，都服从参数为λ的普哇松分布，则∑==

n

i i

n X

T 1

是λ的充分统计量.

自检题答案或提示

1. 填空题 (1) X /1;X /1； (2) X 2;)(n X ； (3)n

121； (4) 1/3；2/3

2. 选择题 (1) B ； (2) B; (3) A

3. 矩估计c

X X

-=θ

?； 极大似然估计∑=-=n

i i

L

c

n X

n

1

ln ln ?θ

4.（1）因为θ=1ET ， θ=2ET 所以),max (6

7

),(32212211X X T X X T =+=

都是θ 的无偏估计 （2）196322θC DT C =最小7

8

=?C

5．因为∞→→==n n

D E ,02?,?42

2

2

σσσσ

所以2

2?σσ

是的一致估计 .

129

6. n X X ,,1 的联合概率密度为

,2,1,0!

),,(111

=∑=

∏=-=i n

i i

n x n x x e x x f n

i i

λ

λ

取=

1k λ

λ

n x e n

i i

-∑=1

，1

12!-=???

? ??=∏n i i x k ，则由奈曼因子分解定理知， ∑==n

i i n X T 1

是λ的充分统计量.