数理统计中的几种统计推断方法

数理统计中的几种统计推断方法

——导学文章之九

数理统计的基本问题是根据样本所提供的信息，对总体的分布以及分布的数字特征作出统计推断。统计推断的主要内容分为两大类：一是参数估计问题，另一类是假设检验问题。

本篇文章主要讨论总体参数的点估计、区间估计和假设检验。 一、点估计

１、矩估计

首先讲“矩”的概念，

定义：设X 是随机变量，k 是一正整数，若k EX 存在，则称k EX 为随机变量X 的k 阶原点矩，记为k a ；若存在，则称它为X 的k 阶中心矩，记为k b 。

显然，数学期望EX 就是１阶原点矩，方差DX 就是２阶中心矩。 简单的说就是用样本矩去估计相应的总体矩，用样本矩的连续函数去估计相应的总体矩的连续函数。矩估计法的理论基础是大数定理。因为大数定理告诉我们样本矩依概率收敛于总体的相应矩，样本矩的连续函数依概率收敛于相应总体矩的连续函数。

我们通常样本的均值X 去估计总体的均值E X ：即总体为X 时，我们从中取出n 个样本12,,n X X X ，我们认为总体的均值就是1

1

n

i

i X X n

==∑，（当然这只是对总体均值的一

种估计，当然会有误差）

当2

EX 存在的时候，我们通常用

2

1

1

n

i

i X n

=∑作为总体X 的2EX 的估计

一般地，我们用

1

1

n

k

i

i X n

=∑作为总体X 的k

EX 的估计，用

1

1

()

n

k

i

i X X n

=-∑作为总体的

()

k

E X EX -的估计。

例：设总体X 在[,]a b 上服从均匀分布，参数,a b 未知，12,,n X X X 是一个样本，求,a b 的矩估计量。

解：由矩估计法知道：2

a b EX +=

由于2

2

()DX EX EX =-，因此2

2

2

2

()()

()124

b a a b EX D X EX -+=+=

+

用矩估计法，也即用1

1

n

i

i X X n

==

∑作为E X 的估计，用

2

1

1

n

i

i X n

=∑作为2EX 的估计，

为了计算方便，我们记11

1

n

i

i A X n

==

∑，记2

21

1

n

i

i A X n

==

∑，

即有

12

a b A +=，2

2

2

2()()

12

4

b a a b EX

A -+=

+

=

解得，1

2a b A b a +=⎧⎪⎨-=⎪⎩再联立解关于,a b 的方程组得,a b 的矩估计量分别为

1

a A X =-=-

1

b A X =+=+

2、极大似然估计

⑴ 对于连续型总体X ，设它的密度函数为12(;,,)m f x θθθ ，其中12,,m θθθ 是需要估计的未知参数。

设12,,n X X X 是来自总体X 的一个样本，则12,,n X X X 的联合密度函数为：

121

(;,,)n

i m i f x θθθ=∏

对于给定的一组样本值12,,n x x x ，记联合密度

1212121

(,,;,,)(;,,)n

n m i m i L L x x x f x θθθθθθ===∏

则称L 为样本的似然函数

⑵ 若X 为离散型总体，它的概率分布为： 12{}(;,,)m P X x p x θθθ==

对于给定的一组样本观测值12,,n x x x ，记联合密度

1212121

(,,;,,)(;,,)n

n m i m i L L x x x p x θθθθθθ===∏

则称L 为样本的似然函数 ⑶ 具体求法

对于已经给定的样本观测值12,,n x x x 来说，似然函数L 是关于待估计的参数

12,,m θθθ 的函数，因此我们应该想办法通过似然函数L 求出参数12,,m θθθ 值。

这里我们求法的思想来源于多元函数求极大值：

也即，我们把1212(,,;,,)n m L L x x x θθθ= 看作关于12,,m θθθ 的多元函数，我们要求得适当的12,,m θθθ 的值，使得1212(,,;,,)n m L L x x x θθθ= 取最大值。

解释：实际上1212(,,;,,)n m L L x x x θθθ= 表示随机变量12,,n X X X 取得样本值12,,n x x x 时的联合概率，

我们在一次试验中事件1212(,,)(,,)n n X X X x x x = 已经发生，我们就有理由认为，参数必须保证此时的概率最大，也即：参数12(,,)m θθθ 的值应该是使得1212(,,;,,)n m L L x x x θθθ= 最大的点。

这样我们的方法就是多元函数求极大值的方法。

极大似然估计的具体步骤为：

① 求出似然函数1212(,,;,,)n m L L x x x θθθ= ；

② 计算关于12(,,)m θθθ 的函数1212(,,;,,)n m L L x x x θθθ= 的极大值点， 我们由微积分的知识知道，实际问题中的极大值点就是函数的驻点，也就是每个偏导数都为0的点，即

12000n

L

L

L

θθθ∂⎧=⎪∂⎪∂⎪=⎪∂⎨⎪⎪∂⎪=⎪∂⎩ （一般称该方程组为似然方程组）

但是在实际计算中，由于1212(,,;,,)n m L L x x x θθθ= 都是乘积，因此以上方程组求解不太容易，这时候我们由微积分的知识知道到函数1212(,,;,,)n m L L x x x θθθ= 和它的对数函数1212ln ln (,,;,,)n m L L x x x θθθ= 有相同的极大值点，因此我把问题转化为求

1212ln ln (,,;,,)n m L L x x x θθθ= 的极大值点，这样把乘积问题转化为了和差问题，在某

些复杂问题中可以大大减轻计算！