第7讲 概率统计

第七讲参数估计

知识要点

一、点估计

1. 点估计的概念

设总体X的分布形式已知，但含有未知参数 ，或者总体的某些数字特征(例如数学期望或方差)存在但未知，从总体X中抽取样本

12,,,n X X X L ，

相应的样本值为12,,,n x x x L . 点估计问题，就是要构造一个统计量

()1?,,n X X θL ，用它来估计未知参数θ，即用

()1?,,n X X θL 的观测值1?(,,)n x x θL 作为未知参

数θ的近似值. 称()1?,,n X X θL 为未知参数θ的

估计量，

1?(,,)n x x θL 为θ的估计值. 在不至于混淆的情况下将θ的估计量和估计值统称为θ的

估计. 点估计的两种常用方法是矩估计法和最大似然估计法.

2. 矩估计法

矩估计法是用样本矩估计相应的总体矩，从而得到参数估计的一种方法. 矩估计法不需要知道总体分布. 矩估计法的一般步骤为：

(1) 计算总体X的一阶直到k阶原点矩，即

()11,,,1,,.,,l l k k l k μμθθθθ==L L L 是待估

参数.

(2) 用样本矩估计总体矩：

()111,,,1,,.n

l

l k i l i X A l k n μθθ====∑L L

(3) 求解上述方程，得到i θ的矩估计为

()1?,,,1,,.i i k A A i k θθ==L L 一般只要求一阶

矩和二阶矩的情形. 3. 最大似然估计法

最大似然估计法要求事先知道总体的分布.

(1) 设总体X 是离散型随机变量，概率分布为{}(;),

1,2,,i i P X x p x i θ===L 其中θ是

待估参数，θ的取值范围是Θ. 设12,,,n

X X X L

是来自总体X 的样本，12,,,n x x x L 是样本值，称函数

11

()(;)(;),n

n i i L L x x p x θθθθ===∈∏,,ΘL

为样本12,,,n x x x L 的似然函数. 如果存在

?θ∈Θ，使得?()max (),L L θθθ∈=Θ

这样的?θ与

12,,,n x x x L 有关，记作1?(,,)n x x θL ，称为未知

参数θ的最大似然估计值，相应的统计量

()1?,,n X X θL 称为θ的最大似然估计量. 一般统称为θ的最大似然估计.

(2) 设总体X 是连续型随机变量，概率密度为(;)f x θ，θ是待估参数，则似然函数为

11

()(;)(;),n

n i i L L x x f x θθθθ===∈∏,,ΘL

(3) 如果()L θ或ln ()L θ关于θ可微，则θ往往可以从方程

d ()0d L θθ= 或 dln ()

0d L θθ

= 中得到.

(4) 如果总体X 的分布中含有k 个未知参数12,,,k θθθL ，则似然函数是这些参数的函数：

()12,,,k L L θθθ=L ，分别令

0j

L

θ?=? 或 ln 0,j

L

θ?=? 1,2,,,j k =L

解上面的方程组，可得各个待估参数j θ的

最大似然估计值()12?,,,j n x x x θL ，从而得到最

大似然估计量()12?,,(1,2,,),j n X X X j k θ=L L , (5) 最大似然估计量的性质：设?θ是未知参

数θ的最大似然估计量，对于θ的函数()g θ，若

()g θ具有单值反函数，则?()g θ是参数()g θ的最

大似然估计量. 例如，正态总体中，方差2

σ的

最大似然估计为·

()22

1

1

n

i i X X n σ==-∑，则总体标

准差的最大似然估计为

?σ

=4. 估计量的评选标准

(1) 无偏性 若估计量()1?,,n X X θL 的数

学期望()

?E θ存在，且对任意θ∈Θ，都有()

?E θθ=，则称?θ是θ的无偏估计量.

(2) 有效性

设()111??,,n X X θθ=L 与()221??,,n X X θθ=L 都是θ的无偏估计量，若对于任意θ∈Θ，都有

12??()()D D θθ≤，且至少对于某一个θ∈Θ，上式中的不等式成立，则称1

?θ比2

?θ更有效.

(3) 相合性（一致性） 设()1?,,n X X θL 为参数θ的估计量，若对于任意θ∈Θ，当n →∞时，

()1?,,n X X θL 依概率收敛于θ，

则称?θ为θ的相合

估计量. 即对任意θ∈Θ，满足：对任意0,ε>都

有{}

?lim 1,n P θθε→∞

-<=则称?θ是θ的相合估计

量.

二、区间估计 1. 置信区间

设θ是总体X 的未知参数，12,,,n X X X L 是来自总体X 的样本，对于给定的()01,αα<<如

果两个统计量

()111??,,n X X θθ=L 和()221??,,n X X θθ=L ， 对于任意θ∈Θ，满足

()(){

}112212??,,,,1,

n n P X X X X X X θθθα<<=-L L ,,

则称随机区间()

12??,θθ为未知参数θ的置信水

平是1α-的置信区间，()111??,,n X X θθ=L 和

()221??,,n X X θθ=L 分别称为置信区间的置信下

限和置信上限，1α-称为置信水平

（或置信度）. 置信水平（置信度）是随机区间()

12??,θθ“包含”

或“覆盖”未知参数θ的值的概率，置信水平一般选取非常接近于1的数，如0.99，0.95等. 直观上，如果多次使用置信度为0.95的置信区间

(

)

12??,θθ，则平均有95%的区间包含θ的值.

2. 单个正态总体均值和方差的置信区间 设12,,,n X X X L 是来自正态总体X 的样本，

2~(,)X N μσ，样本均值为X ，样本方差为2

S . (1) 当2

σ已知时，μ的置信度为1α-的置信

区间为/2/2,X z X z αασσ??-+ ???

. (2) 当2

σ未知时，μ的置信度为1α-的置信区间为

/2/2(1),(1).S S X t n X t n αα??

--+- ?

??

(3) 当μ已知时，2

σ的置信度为1α-的置

信区间为()()

()2211

22

/21/2,.()n n

i i i i X X n n ααμμχχ==-??

-- ? ? ? ???

∑∑ (4) 当μ未知时，2

σ的置信度为1α-的置

信区间为22

22/21/2(1)(1),.(1)(1)n S n S n n ααχχ-??

-- ?--??

3.两个正态总体均值差和方差比的置信区间

设2

11~(,)X N μσ，222

~(,)Y N μσ，从总体X 中抽取样本112,,,n X X X L ，样本均值为X ，样本方差为2

1S ，从总体Y 中抽取样本212,,,n Y Y Y L ，样本均值为Y ，样本方差为2

2S ，两样本相互独立.

(1) 当2

1σ和2

2σ已知时，12μμ-的置信度是

1α-的置信区间为

/2/2.

X Y z X Y z αα??---+ ? ??

?

(2) 当222

12σσσ==未知时，12μμ-的置信度是1α-的置信区间为