第九章 参数估计

第九章 参数估计本章开始介绍统计推断，即依据母总体中取得的一个简单随机子样队总体进行分析和推断。

统计推断分成两大部分，一是参数估计，另一是假设检验。

参数估计又分点估计与区间估计两种。

前者是用一个适当的统计量作为参数的近似值，我们称之为该参数的估计量，后者则是用两个统计量所界定的区间来指出真实参数值的大致范围。

这里所指的参数是指如下三类未知参数：⒈分布中所含的未知参数θ，如：二点分布(1,)b p 中的概率p ；正态分布2(,)N μσ中的μ和2.σ⒉分布中所含的未知参数θ的函数。

如：服从正态分布2(,)N μσ的变量X 不超过某给定值a 的概率()()a X a μσ-≤=ΦP 是未知参数,μσ的函数；单位产品的缺陷数X 通常服从泊松分布()P λ，则单位产品合格（无缺陷）的概率(0)X e λ==-P 是未知参数λ的函数。

⒊分布的各种特征数也都是未知参数，如：均值()E X ，方差()D X ，分布中位数等。

一般场合，常用θ表示参数，参数θ所有可能取值组成的集合称为参数空间，常用Θ表示，参数估计问题就是根据样本对上述各种未知参数做出估计。

参数估计的形式有两种：点估计与区间估计。

这里我们先从点估计开始。

设1,,n X X 是来自总体的一个样本，我们用一个统计量1ˆˆ(,,)n X X θθ=的取值作为θ的估计值，ˆθ称为θ的点估计（量），简称估计。

这里如何构造统计量ˆθ并没有明确的规定，只要它满足一定的合理性即可。

这就涉及两个问题：⑴其一是如何给出估计，即估计的方法问题；⑵其二是如何对不同的估计进行评价，即估计的好坏判断标准。

下面介绍一些点估计的方法。

§9.1点估计和估计量的求法人们可以运用各种方法构造出很多θ的估计，本节介绍两种最为常用的点估计方法：矩法和最大似然法。

9.1.1替换原理和矩法估计1900年统计学K.Pearson 家提出了一个替换原则，后来人们称此方法为矩法。

一、矩法估计替换原理常指如下两句话：⒈用样本矩去替换总体矩，这里的矩可以是原点矩也可以是中心矩；⒉用样本矩的函数去替换相应的总体矩的函数。

根据这个替换原理，在总体分布形式未知场合也可以对各种参数做出估计，譬如：⒈用样本均值X 估计总体均值()E X ，即ˆ()EX X =； ⒉用样本方差2n S *估计总体方差()D X ，即2ˆ()nD X S *=； ⒊用事件A 出现的频率估计事件A 发生的概率；⒋用样本的p 分位数估计总体的p 分位数，特别，用样本中位数估计总体中位数。

矩法估计的统计思想（替换原理）十分简单明确，众人都能接受，使用场合甚广，它的实质是用经验分布函数去替换总体分布，其理论基础是格里纹科定理。

二、概率函数(;)p x θ已知时未知参数的矩法估计 设总体具有已知的概率函数11(;,,),(,,)k k p x θθθθ∈Θ是未知参数或参数向量，1,,n X X 是样本，假定总体的k 阶原点矩k μ存在，则对所有的,0,j j j k μ≤≤都存在，若假设1,,k θθ能够表示成1,,k μμ的函数1(,,)j j k θθμμ=，则可给出诸j θ的矩法估计：1ˆ(,,),1,,,j j kj k θθαα== 其中1,,k αα是前k 个样本原点矩：11nj j i i X n α==∑。

进一步，如果我们要估计1,,k θθ的函数1(,,)k g ηθθ=，则可直接得到η的矩法估计1ˆˆˆ(,,),kg ηθθ= 当1k =时，我们通常可以由样本均值出发对未知参数进行估计；如果2k =，我们可以由一阶、二阶原点矩（或二阶中心距）出发估计未知参数。

例9.1.1正态总体的分布是2(,)N μσ。

求2,μσ的矩估计。

由2(),()E X D X μσ==可得22ˆˆ,n X S μσ*== 例9.1.2在泊松分布()P λ的总体中，求λ的矩估计 由()E X λ=可得ˆX λ= 例9.1.3在二项分布(,)b n p 的总体中，n 是已知的，求p 的估计量。

由()E X np =，有ˆX np=，所以第九章 参数估计3ˆXpn= 例9.1.4设总体X 具有Γ分布，其密度为1, 0(;,)()0, 0xx e x f x x ααββαβα--⎧>⎪=Γ⎨⎪≤⎩其中0,0αβ>>，试求,αβ的矩估计。

这里2,k =计算数学期望和方差可得2(),()E X D X ααββ== 因而22ˆˆ,ˆˆn X S ααββ*== 解方程得222ˆˆ,n nX X S S αβ**== 例9.1.5设总体为指数分布，其密度函数为(;),0x f x e x λλλ=>-1,,n X X 是样本，此处1,k =由于1()E X λ=，即1()E X λ=，故λ的矩法估计为 1ˆXλ= 另外，由于21()D X λ=，其反函数为λ=λ的矩法估计也可取为11ˆnS λ*= 这说明矩估计可能是不唯一的，这是矩法估计的一个缺点，此时通常应该尽量采用低阶矩给出未知参数的估计。

例9.1.61,,n X X 是来自(,)a b 上的均匀分布(,)U a b 的样本，,a b 均是未知参数，这里2,k =由于2()(),()212a b b a E X D X ==+-不难推出()()a E X b E X ==由此可得,a b 的矩估计ˆ,n na Xb X **== 若从均匀总体(,)U a b 获得如下一个容量为5的样本：4.5 5.04.7 4.0 4.2，经计算，有 4.48,0.3962n X S *==，于是可得,a b 的矩估计为ˆ 4.48 3.7938,ˆ 4.48 5.1662.ab=-==+=使用矩法估计的一个前提是总体存在适当阶的矩，阶数应不小于待估参数的个数（或者是参数空间的维数），但这不总是可以做到的。

例9.1.7柯西分布（Cauchy ）设总体具有密度函数21(;),(1())f x x x θπθ=∞<<∞-++- 显然它的各阶矩皆不存在，因此不能用矩法估计来估计参数θ，另外尽管矩法估计简便易行，且只要n 充分大，估计的精度也很高，但它只用到总体的数字特征的形式，而未用到总体的具体分布形式，损失了一部分很用的信息，因此在很多场合下显的粗糙和过于一般。

9.1.2最大似然估计最大似然估计是求估计用的最多的方法，它最早是由高斯在1821年提出，但一般将之功归功于费希尔（R.A.Fisher ），因为费希尔在1922年再次提出了这种想法并证明了它的一些性质而使最大似然法得到了广泛的应用。

先通过一个实例介绍最大似然估计。

例9.1.8设有一大批产品，其废品率为(01)p p <<。

今从中随意地取出100个，其中有10个废品，试估计p 的数值。

若正品用“0”表示，废品用“1”表示。

此总体X 的分布为{1},{0}1X p X p ====-P P即1{}(1),0,1x x X x p p x ==-=-P取得的子样记为1,,n X X ，其中10个是“1”，90个是“0”。

出现此子样的概率为第九章 参数估计5112211112211*********{,,,}{}{}{}(1)(1)(1)(1)(1)n n nniii i n n n n x x x x x x x n x X x X x X x X x X x X x p p p p p p p p p p ==========∑∑==---------P P P P这个概率随p 的数值不同而不同。

自然选择使此概率达到最大的p 值作为真正废品率的估计值。

记1090()(1)L p p p =-。

用高等数学中求极值的方法，由'9901089989()10(1)90(1)(1)[10(1)90]0L p p p p p p p p p =---=---=得10ˆ100p= 此例求解的思想方法是：选择参数的值使抽得的子样值出现的可能性最大，用这个值作为未知参数的估计值。

这种求估计量的方法称为最大似然估计法，也称为最大或然估计法或者极大似然估计法。

显然，如果在此例中取一个容量为n 的子样，其中有m 个废品，用最大似然估计法可得ˆmpn=。

下面就离散总体分布和连续总体分布两种情形分别介绍最大似然估计法。

⒈离散总体分布情形 设总体X 的分布列为{},1,2,i X x i ==P或112{}(;,,),,,k X x P x x x x θθ===P其中1,,k θθ是未知参数，如果取得子样值1,,n x x ，那么出现此子样值的概率为1112211221(,,;,,){,,,}{}{}{}()n k i n n n n ni i L x x X x X x X x X x X x X x P x θθ==========∏P P P P选择1,,k θθ使11(,,;,,)n k L x x θθ达到最大，即 11(,,;,,)max n k L x x θθ=这样获得的1,,k θθ值作为相应未知参数的估计值。

这种求估计值的方法称为最大似然估计法。

简记为MLE （Maximum Likelihood Estimate ）。

求得的未知参数的估计量1ˆˆ,,kθθ称为最大似然估计量。

L 称为似然函数。

如果L 对1,,k θθ的偏导数存在，那么可以采用高等数学中求极值的方法计算估计值，只要从似然方程组0,1,2,,iLi k θ∂==∂解出1(,,)i i n x x θθ=，并i θ将换成ˆi θ即可。

需要指出，有时利用对数函数是单调增函数，选择1,,k θθ，使ln max L =较为方便。

通常ln L 亦称为对数似然函数。

易知L 与ln L 在同一处ˆθ达到极大，因此这样做不会改变极大点。

⒉连续总体分布情形 设总体X 的分布密度是1(;,,)k f x θθ，其中1,,k θθ是未知参数，取得子样值为1,,n x x 。

我们知道当总体是连续型随机变量时，谈所谓样本值1,,nx x 出现的概率是没有什么意义的，因为任何一个具体样本出现的概率都是零概率事件。

这时我们考虑样本在它任意小的邻域中出现的概率，这个概率越大，就等价于此样本处的概率密度越大。

因此，考虑概率11112222111111111{,,,}{}{}[(;,,)][(;,,)]n n n n n n n n ni k i i n i k ni x dx X x x dx X x x dx X x x dx X x x dx X x f x dx f x dx dx θθθθ-<≤-<≤<≤=<≤<≤≈=∏∏==---P P P这里取的小区间1,,n dx dx 长度都是固定的量。