第18讲参数的点估计判别估计量好坏的标准(精)

第18讲 参数的点估计 判别估计量好坏的标准

教学目的：理解参数点估计的概念，掌握矩估计法和最大似然估计法。了解无偏性、

有效性及一致性等估计量优劣的评价标准，了解样本均值与样本方差作为总体均值与总体方差估计量的无偏性和一致性。

教学重点：参数点估计的矩估计法和最大似然估计法。 教学难点：参数点估计的最大似然估计法。 教学时数： 2学时。 教学过程：

第六章 参数估计

§6.1参数的点估计

设总体X 服从某已知分布，如()2,N μσ，()e θ，()πλ等，但是其中的一个或多个参数为未知，怎样根据抽取的样本估计未知参数的值，就是参数的点估计问题。

定义 设总体X 的分布中含有未知参数θ，从总体X 中抽取样本12,,

,n X X X ，构

造某个统计量12?(,,,)n X X X θ作为参数θ的估计，则称12?(,,,)n X X X θ为参数θ的点估计量；若样本12,,,n X X X 的观测值为12,,

,n x x x ，则称12

?(,,,)n x x x θ为参数θ的点

估计值。

例如，人的身高()2~,X N μσ，一个样本为12,,

,n X X X ,则()11

n X X X n

=

++为

n 个人的平均身高，近似认为总体均值μ为X ，即?X μ

=。用X 来估计μ，这里?μ不是真值，而是估计值。

若总体的分布中含有m （m>1)个未知参数，则需构造m 个统计量作为相应m 个未知参数的点估计量。下面介绍两种常用的求未知参数点估计量的方法。

1.矩估计法

（1）总体k 阶原点矩()k

E X ，样本k 阶原点矩 1

1n k

i i X n =∑，1,2,

k =；

（2）总体k 阶中心矩()k

E X E X -????，样本k 阶中心矩()1

1n

k i i X X n =-∑，1,2,k =。

用相应的样本矩来估计总体矩，如()?E X X =，()()21

1?n

i i D X X X n ==-∑等。同样由于()()()2

2

[]D X E X E X =-，故有()()()22221

1???[]n

i

i D X E X E X X X n ==-=-∑。 例1 设()2~,X N μσ，()E X μ=，()2D X σ=，一个样本为12,,

,n X X X 。则

()11??n i i E X X X n μ

====∑， ()()2211??n i i D X X X n σ===-∑或221

1n i i X X n =-∑。 例2 设~X ()P λ，()E X λ=，一个样本为12,,

,n X X X ，则

()??E X X λ

==1

1n

i i X n ==∑ 例3 设~X ()e θ， ()E X θ= ，一个样本为12,,

,n X X X ，则

?X θ=1

1n

i

i X n ==∑ 若~X 1e λ?? ???，则有()()()1111?, , ?E X E X X E X λλ

λ====。 由于参数θ可以由其总体的各阶原点矩表示出来，即

()()()(

)

2,,

,k g E X E X E X θ=

此时，用样本原点矩来估计总体原点矩代入上面的函数中就可以得到参数θ的估计，

即

()()()(

)

221

111????,,,,,

,n n k k i i i i g E X E X E X g X X X n n θ

==??== ???

∑∑ 因此，求θ的矩估计的关键就在于找出关系()()()()

2,,

,k g E X E X E X θ=。

例4 设~X (),U a b ，一个样本为12,,,n X X X ，求参数,a b 的矩估计。

解 因为

()()()()()()()22

2 2123a b E X b E X a E X a b a D X D X +?

=?=-??

?--?

=?=??

故

()

(

) a E X b E X =-=

则

(

)

??a E X X ==- ()

??b E X X =2. 最大似然估计法

设总体X 的一个样本为（12,,

,n X X X ）

，由样本的独立性可得 ()()()

()()12121,,

,n

n n i i f x x x f x f x f x f x ===∏

其中();f x θ为总体X 的分布密度函数，θ为未知参数。设()12?,,,n h X X X θ=是θ的

点估计量，则()12?,,,n h X X X θ=取样本值12,,

,n x x x 的概率应最大，于是我们选取?

θ使得12,,

,n x x x 最可能出现，步骤如下：

（1）令()()121,,

,;n

n i i L f x x x f x θ===∏

（2）()1

ln ln ;n

i i L f x θ==∑

（3）(ln )0L θ

'= （4）求出最大值点0θ，则0

?θθ=。 例 5 设~X ()e θ， ()E X θ= ，一个样本为12,,

,n X X X ，其观测值为

12,,,n x x x ，求θ的最大似然估计。 解

（1）令()1

1

111

1

;n

i

i

i x n n

x i n

i i L f x e

e

θ

θ

θθθ

=-

-

==∑===

∏∏

（2）1

1

ln ln n

i i L n x θθ

==--

∑

（3）2211

11(ln )n n

i i i i n n L x x θ

θθθθ==????'=---=-+ ? ?????∑∑ （4）令(ln )0L θ

'=，则211

11

10, , n

n

n

i i i i i i n

x n x x n θθθθ===-+===∑∑∑。故 1

1?n

i

i X X n θ===∑ §6.2 判别估计量好坏的标准

上一节我们学习了两种参数点估计的方法,它们是矩估计法和最大似然估计法。对于同一个未知参数,用不同的估计法得到的点估计量一般是不相同的,那么哪一个估计量更好呢?为此我们需要建立判别估计量好坏的标准,而参数θ的所谓“最佳估计量”

),,,(?21n

X X X θ应当是在某种意义下最接近于θ。 最佳估计量),,,(?21n X X X θ应具有下列性质： （1） 无偏性

若?θ=),,,(?21n

X X X θ的数学期望E （?θ）=θ，则称?θ是参数θ的无偏估计量。 设样本观测值为n x x x ,,,21 ，则称),,,(?21n

x x x θ为参数θ的无偏估计值。

例 6 设总体X 的均值()E X μ=，方差2

)(σ=X D ，证明样本均值1

1n

i i X X n ==∑是

总体均值μ的无偏估计量。

证 因为样本n X X X ,,,21 相互独立，且与总体X 服从相同分布，所以有

2)(,)(σμ==i i X D X E n i , ,2 ,1 =

由于

()()111

111111n n n

n i i i i i i i E X E X E X E X n n n n n n μμμ====????=====?= ? ?????∑∑∑∑

所以样本均值X 是总体均值μ的无偏估计量。

（2）有效性

设1?θ=),,,(?211n X X X θ与2

?θ=),,,(?212n X X X θ都是参数θ的无偏估计量，若 )?(1θD <)?(2

θD 则称1?θ较2

?θ有效。 有效估计量：当样本容量n 一定时，若θ的所有无偏估计量中，?θ的方差()

?D θ

最小，则称?θ是参数θ的有效估计量。

例7 证明样本均值X 作为总体均值μ的估计量较个别样本i X (n i , ,2 ,1 =)有效。 证 由例1知，X 与i X 都是总体均值μ的无偏估计量，即

(),E X μ=(),i E X μ=n i , ,2 ,1 =

又

∑∑====n

i i n i i X D n

X n D X D 1

2

1)(1

)1()(=n n n 22

21σσ=,而2)(σ=i X D ,n i , ,2 ,1 = 所以当2≥n 时,()()i D X D X <,故样本均值X 作为总体均值μ的估计量较个别样本

i X (n i , ,2 ,1 =)有效。

例8 从总体X 中抽取样本321,,X X X ，证明下列三个统计量

632?3211

X X X ++=θ,442?3212X X X ++=θ,3

33?3213

X X X ++=θ 都是总体均值()E X μ=的无偏估计量，并确定哪个估计量更有效。

证 μμμμθ=++=++=6

32)632()?(3211

X X X E E μμμμθ=++=++=4

42)442()?(3212

X X X E E

μμμμθ=++=++=3

33)333()?(3213

X X X E E 所以三个统计量都是总体均值μ的无偏估计量。

22

223211

72

283694)632()?(σσσσθ=++=++=X X X D D

2

222321272

2716164)442()?(σ

σσσθ=++=++=X X X D D 22

223213

72

24999)333()?(σσσσθ=++=++=X X X D D 由于2372

24)?(σθ=D 的值最小，所以3

?θ是三个估计量中最有效估计量。 （3）一致性

若对于任意给定的正数ε，有 lim n →∞

P (?n θθε-<)=1, 则称?n

θ是参数θ的一致估计量。

例9 设总体X 的均值()E X μ=， 方差2)(σ=X D ，证明样本均值X 是总体均值

μ的一致估计量。

证 因为样本n X X X ,,,21 相互独立，且与总体X 服从相同的分布，所以

2)(,)(σμ==i i X D X E ，n i , ,2 ,1 =

于是，由切比雪夫定理知：

lim n →∞P ()()

1111 lim P X-1n n

i i n i i X E X n n εμε→∞==??-<=<= ???

∑∑ 所以X 是μ的一致估计量。

对于未知参数θ的估计量，我们可以运用无偏性、有效性、一致性来判断其优劣， 以便选择出较好的估计量。