6.1点估计的概念与无偏性

课题名称、授课时数：§6.1点估计的概念与无偏性（1.5） 授课类型： 理论课 教学方法与手段： 讲授

教学目的与要求：理解参数估计中参数的意义，了解参数估计的形式，

理解点估计的概念、无偏估计、有效估计的意义，掌握总体均值、总体方差的无偏估计.

教学重点、难点：点估计的概念，无偏估计、有效估计的意义. 教学内容：

6.1.1.点估计与无偏性

定义6.1.1设12,,,n x x x 是来自总体的一个样本，用于估计未

知参数θ的统计量()12??,,,n

x x x θθ=称为θ的估计量，或称为θ的点估计，简称估计.

统计量?θ如何构造并没有明确的规定，只要满足一定的合理性即可.最常见的合理性要求是所谓的无偏性.

定义6.1.2设12??(,,,)n

x x x θθ=是θ的一个估计，θ的参数空间为Θ，若对任意的Θ∈θ，有

?()E θθ

θ= （6.1.1） 则称θ?是θ的无偏估计，否则称为有偏估计.

无偏估计的含义：无偏性要求可改写为0)?(=-θθE ，表示

无偏估计没有系统偏差.在使用θ?估计θ时，由于样本的随机性，

?θθ与总是有偏差的，这种偏差时而（对某些样本观测值）为

正，时而（对某些样本观测值）为负，时而大，时而小.无偏性表示把这些偏差平均起来其值为0.而若估计不具有无偏性，则无论使用多少次，其平均也会与参数真值有一定的距离，这个距离就是系统误差.

例6.1.1（1）对任意总体X ，若μ=)(X E ，2)(σ=X Var ，

12,,

,n x x x 是来自X 的样本，则()22,

()E X E S μσ==.

（2）当总体X 的k 阶矩存在时，样本的k 阶原点矩k a 是总体k 阶原点矩k μ的无偏估计.但对k 阶中心矩则不一样.

证明：（1）∵μμ====∑∑==n n

x E n x n E X E n i i n i i 1

)(1)1()(11.

∴ X μ是的无偏估计.

又因为对任意的随机变量X 有：])([)()(22X E X E X Var -=， 从而 ])([)()(22X E X Var X E +=，

且 n n n x Var n

x n Var X Var n

i i n i i 22

21

2

11)(1

)1()(σσ====∑∑==. 所以 )](11[])(11[)(21

212

2

x n x n E x x n E S E n

i i n i i --=--=∑∑==

)]()([11

21

2x nE x E n n

i i --=

∑= )]()([112212

2μσμσ+-+-=

∑=n

n n n

i 22222)(1

1

σμσμσ=--+-=

n n n n . 故 2

211()1n

i i S x x n ==--∑是2σ的无偏估计. 而 221

1()n

n

i i S x x n ==-∑不是2σ的无偏估计.

由于 22

1n n S S n

-=

， 故 222

2

11()()n n n E S E S n n

σσ--==<. 由此知：采用22S σ作为的估计量，不会产生系统偏差.

（2） ∵ n x x x ,...,,21与总体X 同分布，所以，

()()1,2,

,,

1,2,

k k i k E x E X i n k μ====，，

∴ k k n k k i n i k i k n n

x E n x n E a E μμ====∑∑==1

)(1)1()(11.

故 k k a μ是的无偏估计.

由（1）知：对于k 阶中心矩则不一样（22n S σ不是的无偏估计）.

由于22

21()n n E S n

σσ-=

<，因此用2n S 估计2σ有偏小的倾向，特别在小样本情况下要使用2S 作为2σ的估计量（当

22

2n n s ≥<时，s ）. 因此无偏估计是对小容量样本的要求.

无偏性不具有不变性.即若?θθ是的无偏估计，一般而言，

其函数()?()g g θ

θ不是的无偏估计，除非()g θθ是的线性函数. 例6.1.2 设总体为()212,,,...,n N x x x μσ，是样本，已知

22)(σ=S E ，()E S σ≠但.

分析：由定理5.4.1知，()()22

2

11n s Y n χσ

-=-，密度为 ()1122

1

2

1

,

0.12

2n y

n p y y

e y n ----=

>-??Γ ???

从而

()()

()111222210

02

-1--1

-1--22

2

2

2

2

1

122=2,=22=2

=22n y

n n y n n n

x

x n E Y y p y dy y e dy n y x y e dy x e d x x e dx n ∞∞---∞

∞

∞

??== ?-????Γ ?

??

??

Γ ?

??

????

?

令则

所以

2

12

12221222n

n n n E Y n -????Γ ?????== ?-????ΓΓ ? ?

????

由此有

(

)()()()12212n n E s y c n σ

σΓ??==?≡ ?Γ-??

.

这说明()E S σ≠，利用修正技术可使n c s ?是

σ的无偏估计，其中

()()122n n c n Γ-=Γ是修偏系数，表6.1.1给出了n c 的部分取

值.可以证明，当n →∞时有1n c →，说明s σ是的渐近无偏估计，从而在样本容量较大时，不经修正的s σ也是的一个很好的估计.

有时参数θ的无偏估计又不止一个.

例（补充）从均值为μ，方差为2σ的总体X 中取容量为3的样本：321,,x x x ，则

12123321

11???,,.2

3

6

x x x x x μ

μ

μ

==++= 都是μ的无偏估计.

证明：∵ μμ

==)()?(1x E E ， μμ

=++=)(6

1

)(31)(21)?(3212x E x E x E E ， μμ

==)()?(23x E E . ∴ 123???,,μ

μμμ都是的无偏估计. 如何选择μ的估计？希望估计围绕θ的真值的波动越小越好.而波动的大小可用方差衡量.

6.1.2.有效性

定义6.1.3设1?θ和2?θ都是θ的无偏估计，如果对任意的Θ∈θ有

)?()?(2

1θθVar Var ≤ 且至少有一个θ∈Θ使得上述不等号严格成立，则称1?θ比2?θ有效.

在上例中，,3

1

)()?(21σθ==x Var Var ,36

14)?(2

2σθ=Var 23

)?(σθ=Var ， 因

114

1336

<<，所以，x =1?μ

是μ的有效估计.即在样本中，用全部数据的平均估计总体均值比只使用部分数据更有效.

例（补充）证明在样本的一切线性组合中，x 是总体期望值μ的无偏估计中最有效的估计量（例6.1.5的结论）.

证：设12,,n x x x ，是来自总体X 的样本，1122n n

a x a x a x ++

+是样本的一个线性组合， 1

1n

i i x x n ==∑，

因为 1122n n a x a x a x +++是总体期望值μ的无偏估计，所以

1122()()n n E a x a x a x E X μ++

+==，由期望的性质知：11n

i i a ==∑

又有方差的性质知：

22

2

11221122()()()()n n n n Var a x a x a x a Var x a Var x a Var x ++

+=++

+

22212()()n a a a Var X =++

+，

)(1

)(X Var n

x Var =，

问题转化为：判断21

1

n

i i a n

=∑与

的大小. 由不等式：j i j i a a a a 222≥+ 有：

)(22)(2221212221221a a a a a a a a +≤++=+， 3231212322212321222)(a a a a a a a a a a a a +++++=++

2

32223212221232221a a a a a a a a a ++++++++≤ )(3232221a a a ++=，

由数学归纳法可证得：

2

21

1

()n

n

i i i i a n a ==≤∑∑，

所以

211

11

()n

n i i

i i a a n n ==≥=∑∑， ∴ 1

()()n

i i i Var a x Var x

=≥∑， 当1

,1,2,,.i a i n n

== 时，“=”成立，否则“＞”成立.

在样本的一切线性组合中，x 是总体期望值μ的有效估计. 例（补充）设总体为()2012,,,...,n N x x x μσ，是样本，其中0μ已

知，而2σ未知，证明下列统计量

（1）2

211()1n i i S x x n ==--∑； （2）()22

01

1n i i T x n μ==-∑ 都是2σ的无偏估计，但后者比前者有效.

证明 已知 ()22E s σ=，且

()()()2

2

2011

11.n n i i i i E T E x Var x n n μσ===-==∑∑

又因为总体为()20,N μσ，根据抽样分布理论知：

()2

2

1n S σ

-～()2

1n χ-；

2

2

nT σ

～()2n χ.

从而有()()()()()2

22

24

421121;2;

1

n S n Var Var S n Var S n σσσ

??--==- ????=-

()()22

2244222.

nT n Var Var T n

Var T n

σσσ

??== ????=

所以

()()22Var S Var T <.

例6.1.6 设1,,n X X 是来自均匀总体()0,U θ的样本，可用最大观测值()n X 来估计θ（参见例6.3.5），由于

()()()()1

=,

0;

=,

0.n n x

X

p x x F x x θθθ

θ

≤≤≤<

所以 ()

()()()

()-1

-1-1

1

===n n n n n n x x x p x n F x p x n n θθθ?? ???

（参见p273

（5.3.15））.且()()+10

===.+1+1

n

n n n n x n n

E x n dx n n θ

θθθθ?说明()n x 不是θ的无偏估计，但它是是θ的渐近无偏估计.经过修偏后可得θ的一个无偏估计()11

?n n x n

θ+=

.且 ()

()+1

+222

===.+2+2

n n n n n x n n E x

n dx n n θ

θθθθ?

()

()

()()()

222222=-=+2+1+1+2n n n n Var x n n n n θθθ. 所以

()()

()

()()

()

2

2

2

2

12

+11?==+1+1+2n n n n

Var Var x n n n n n n θθθ+????=

? ?????

.

另一方面，由于()2

E X θ

=，所以θ的矩估计为2

?2x θ=. 又()()()2?2222

E E x E x θ

θθ====，即2

?2x θ=也是θ的无偏估计.而

()

()()22

2

44?4.123Var Var x Var X n n n

θθθ===?= 比较知，当1n >时，12

??θθ比有效.

作业：1,6.