矩法与极大似然法的合理性与比较分析报告

矩法与极大似然法的合理性及比较分析矩法与极大似然法的合理性及比较分析摘要:皮尔逊所引入的矩法是较早提出的求参数点估计的方法。

我们从辛钦大数定律知道，若总体ξ的数学期望E(ξ)有限，则样本的平均值依概率收敛于E（ξ）。

这就启示我们想到，在利用样本所提供的信息来对总体ξ的分布函数中未知参数作估计时，可以用样本矩作为总体矩的估计。

费希尔引进的极大似然法，从理论观点来看，至今仍然是参数点估计中最重要的方法，以后将会知道，这种估计方法，是利用总体ξ的分布函数F（x；）的表达式及样本所提供的信息，建立未知参数的估计量（）。

极大似然法的想法同矩法一样也是直观的。

今举一个通俗的例子：有两位同学一起进行实弹射击，两人共同射击一个目标，事先并不知道谁的技术较好，让每人各打一发，有一人击中目标，那么认为击中目标的同学的技术比击不中的技术较好，显然是合理的。

又举一例；有一事件，我们知道它发生大概率p只可能是0.01或0.09，在一次观察中这事件发生了，试问这事件发生的概率是什么？当然人们会认为它发生的概率是0.09而不是0.01。

1、参数估计1.1、极大似然法一、基本概念：求未知参数点估计的一种重要方法。

思路是设一随机试验已知有若干个结果Ａ，Ｂ，Ｃ，…，如果在一次试验中Ａ发生了，则可认为当时的条件最有利于Ａ发生，故应如此选择分布的参数，使发生Ａ的概率最大。

对总体参数的估计分两种——点估计和区间估计。

在点估计里，我们介绍两种求估计量的方法：矩估计法和极大似然估计法。

从矩估计法公式我们得到,对正态总体N(μ, σ2)，未知参数μ的矩估计,σ2的矩估计为sn2；μ, σ2的极大似然估计也分别为x和sn2.一般地，在相当多的情况下，矩估计与极大X，似然估计是一致的，但也确有许多情形，矩估计法和极大似然估计法给出的估计是不同的.谁优谁劣?我们可以用估计量的优劣标准进行评价．除此之外，亦可以根据问题的实际意义进行判定.二、极大似然思想一般地说，事件A与参数Θ∈θ有关，θ取值不同，则)(AP也不同．若A发生了，则认为此时的θ值就是θ的估计值．这就是极大似然思想．看一例子：例１、设袋中装有许多黑、白球，不同颜色球的数量比为3:1，试设计一种方法，估计任取一球为黑球的概率P．分析：易知P的值无非是1/4或3/4．为估计P的值，现从袋中有放回地任取3只球，用X表示其中的黑球数，则),3(~PbX．按极大似然估计思想，对P的取值进行估计．解：对P的不同取值，X取3,2,1,0=k的概率可列表如下:X０１２３41=P6427642764964143=P64164964276427故根据极大似然思想即知：⎪⎩⎪⎨⎧===3,2,431,0,41ˆkkP．在上面的例子中，P是分布中的参数，它只能取两个值：1/4或3/4，需要通过抽样来决定分布中参数究竟是1/4还是3/4．在给定了样本观测值后去计算该样本出现的概率，这一概率依赖于P的值，为此需要用1/4、3/4分别去计算此概率，在相对比较之下，哪个概率大，则P就最象那个三、似然函数与极大似然估计若总体X的密度函数为p(x; θ1, θ2,…, θk)，其中θ1, θ2,…,θk是未知参数，(X1, X2,…, X n)是来自总体X的样本，称为θ1,θ2,…,θk的似然函数若有使得成立,则称为θj极大似然估计量(j=1,2,…,k).根据微积分中函数极值的原理，要求使得上式成立，只要令其中L(θ)=L(x1,x2,…,x n;θ).解之，所得解为极大似然估计量，上式称为似然方程.又由于与=的极值点相同,所以根据情况,也可以求出的解作为极大似然估计量极大似然估计的不变性求未知参数θ的某种函数)g的极大似然估计可用极大似然估计的不变原则，证(θ明从略．定理（不变原则）设θˆ是θ的极大似然估计，)(θgg是θ的连续函数，则)(θ的极大似然估计为)ˆ(θg四、求极大似然估计的一般步骤1、由总体分布导出样本的联合概率函数（或联合密度）；2、把样本联合概率函数（或联合密度）中自变量看成已知常数，而把参数θ看作自变量，得到似然函数)L；(θ3、求似然函数)l的最大值(θL的最大值点（常转化为求对数似然函数)(θ点）；4、在最大值点的表达式中，用样本值代入就得参数的极大似然估计值．下面通过例子来说明：例一：设总体X服从正态分布N(μ, σ2)，试求μ及σ2的极大似然估计.解：μ,σ的似然函数为似然方程组为解之得: ,.因此及分别是μ及σ2的极大似然估计.例二：设某元件失效时间服从参数为λ的指数分布，其密度函数为0,);(≥=-x e x f x λλλ，λ未知．现从中抽取了n 个元件测得其失效时间为n x x x ,,,21Λ，试求λ及平均寿命的极大似然估计．分析：可先求λ的极大似然估计，由于元件的平均寿命即为X 的期望值，在指数分布场合，有λ1)(=X E ，它是λ的函数，故可用极大似然估计的不变原则，求其极大似然估计．解：（１）写出似然函数：∑===-=-∏ni ii x n ni x ee L 11)(λλλλλ（２）取对数得对数似然函数：∑=-=ni i x n l 1ln )(λλλ（３）将)(λl 对λ求导得似然方程为：0)(1=-=∑=ni i x n d dl λλλ （４）解似然方程得：xxnni i1ˆ1==∑=λ经验证，λˆ能使)(λl 达到最大，由于上述过程对一切样本观察值成立，故λ的极大似然估计为：X1ˆ=λ；根据极大似然估计的不变原则，元件的平均寿命的极大似然估计为：X X E ==λˆ1)(．1.2 矩法估计一、矩法估计的概念对于随机变量来说，矩是其最广泛，最常用的数字特征，母体ξ的各阶矩一般与ξ的分布中所含的未知参数有关，有的甚至就等于未知参数。

由辛钦大数定律知，简单随机子样的子样原点矩依概率收敛到相应的母体原点矩E ξr ,r = 1,2,Λ。

这就启发我们想到用子样矩替换母体矩（今后称之为替换原则），进而找出未知参数的估计，基于这种思想求估计量的方法称为矩法。

用矩法求得的估计称为矩法估计，简称矩估计。

它是由英国统计学家皮尔逊Pearson 于1894年提出的。

二、矩法估计的理论依据由辛钦大数定律知：即对，有或三、矩法估计的具体步骤设母体ξ的概率函数为f (x ,θ1,Λ,θk ),其中是k 个未知参数，ξ1,Λ,ξn 是取自这一母体的一个子样。

设ξ的k 阶矩v k = E ξk存在，则v j ,j < k 都存在，并且是θ1,Λ,θk 的函数v j (θ1,Λ,θk )，又子样ξ1,Λ,θk 的j 阶矩为。

我们设(1)这样我们就得到含k 个未知参数θ1,Λ,θk 的k 个方程，解由这k 个方程联列所构成的方程组就可以得到theta 1,Λ,θk 的一组解：(2)用(2)中的解来估计参数θi 就是矩法估计。

一般我们考察的情形。

在数理统计学中，我们一般用表示θ的估计量。

例三：设总体X 的概率密度为X1， … ， Xn 为样本，求参数σ的矩估计。

解：||()02x x E X e dx σμσ∞--∞≡==⎰||222201()2x x x E X e dx x e dxσσασσ∞∞---∞≡==⎰⎰202x xx dexedxσσ∞∞--=-=⎰⎰02xxdeσσ∞-=-⎰xσ∞-2而例五:已知大学生英语四级考试成绩ξ~N(μ,σ2)，均值μ,方差σ2均未知，ξ1,Λ,ξn为取自母体ξ的一个子样，(x1,Λ,x n)是子样的一组观测值,求μ与σ2的矩法估计。

解：注意到有两个未知参数，由矩法估计知需两个方程，按照(1)式得方程组解这一方程组得μ与σ的矩法估计量从而μ与σ2的矩法估计值分别为。

分析：注意到我们这里求出μ与σ2的矩法估计并未用到母体ξ的分布。

这样对μ,σ2作出了估计，也就对整个母体分布作出了推断，进而对大学生英语四级考试成绩ξ相关的其它数字特征如标准分、标准差、偏态系数等作出了估计。

四、矩法估计的优缺点矩法估计原理简单、使用方便，使用时可以不知母体的分布，而且具有一定的优良性质（如矩估计为Eξ的一致最小方差无偏估计），因此在实际问题，特别是在教育统计问题中被广泛使用。

但在寻找参数的矩法估计量时，对母体原点矩不存在的分布如柯西分布等不能用，另一方面它只涉及母体的一些数字特征，并未用到母体的分布，因此矩法估计量实际上只集中22()22E Xασ⇒==211niXnα==∑)212niiXnσ∧=∴=∑了母体的部分信息，这样它在体现母体分布特征上往往性质较差，只有在样本容量n较大时，才能保障它的优良性,因而理论上讲，矩法估计是以大样本为应用对象的。

2、两种方法比较分析归纳如下两种方法的归纳比较如下表：极大似然法给出了具有最小方差的参数µ和σ的渐近无偏估计量，尽管它需要复杂的计算，随着计算机技术的迅速发展，极大似然估计量，，随着计算机技术的迅速发展，极大似然估计量的计算不难在计算机上实现。

而虽然渐近方差和渐进协方差较大，但概率加权矩法却给出参数µ 和σ的无偏估计量，表明了在估计能写出分布函数的反函数形式的分布参数时这种方法非常有用具体的两种方法的比较如下：1. 矩法估计量与极大似然估计量不一定相同；2. 用矩法估计参数比较简单,但有信息量损失；3. 极大似然估计法精度较高,但运算较复杂；4. 不是所有极大似然估计法都需要建立似然方程下面通过举例来说明：一、两种方法估计量相同的情形：例：某电子管的使用寿命 X （单位：小时) 服从指数分布今取得一组样本Xk 数据如下，问如何估计θ？分析 可用两种方法：矩法估计 和极大似然估计. 1）矩法估计2）极大似然估计 1、构造似然函数当x i>0,（i =1,2, …,n ) 时，似然函数为 2、取对数3、建立似然方程1,0:(;)(0)0,xe x X p x other θθθθ-⎧>⎪=>⎨⎪⎩01xEX x e dx θθθ-+∞=⋅=⎰Q ˆ.X X θθθ==则计为：令可得的矩法估量θ数计为：代入具体值可得的估值).(318572318111小时≈⋅=∑=n i i x n 1111()ni i i n x x n i L e e θθθθθ=---=∑==⋅∏∑--==ni ix n L 11ln ln θθ.01ln 12=∑+-==ni i x n d L d θθθ∑=θ--θ-=⋅θ=∏θ=θn i i ix nx n i n e e x x L 11111);,...,(.01ln 12=∑+-==n i i x n d L d θθθ4、求解极大似然估计值5、的极大似然估计值 带入具体值得： θ=二、两种方法不同的情形例：设总体概率密度为求参数θ的极大似然估计, 并用矩法估计θ.1) 极大似然估计法1. 构造似然函数2. 取对数：当 0<xi <1, (i =1,2, …,n) 时3、建立似然方程,1ˆ1x x n n i i =∑==θ,1ˆ1X X nn i i =∑==θ).(318572318111小时≈⋅=∑=n i i x n (1),01;(,)0,.x x p x θθθ⎧+<<=⎨⎩其他01)0n n i i i n x x L x x θθθ=⎧+<<⎪=⎨⎪⎩∏11(1),;(,...,;,其它∑++==n i i x n L 1ln )1ln(ln θθ,0ln 1ln 1=∑++==n i i x n d L d θθ4、求解极大似然估计值5、极大似然估计量为2) 矩估计法参考文献：1、苏均和主编：概率论与数理统计，上海财经大学．1999年1版．2、茆诗松等编著：概率论与数理统计，中国统计．1999年1版．3、魏振军编：概率论与数理统计三十三讲，中国统计．2000年1版．4、唐生强主编：概率论与数理统计复习指导，科学．1999年1版．5、大学，邓集贤：概率论及数量统计，高等教育。