参数估计方法

参数估计的方法矩法一、矩的概念矩(moment )分为原点矩和中心矩两种。

对于样本n y y y ，，， 21，各观测值的k 次方的平均值，称为样本的k 阶原点矩，记为k y ，有∑==ni kiky ny 11，例如，算术平均数就是一阶原点矩；用观测值减去平均数得到的离均差的k 次方的平均数称为样本的k 阶中心矩，记为ky y )(-或k μˆ，有∑-=-=ni ki ky y ny y 1)(1)(，例如，样本方差∑-=ni i y y n12)(1就是二阶中心矩。

对于总体N y y y ，，， 21，各观测值的k 次方的平均值，称为总体的k 阶原点矩，记为)(k y E ，有∑==Ni kik y Ny E 11)(；用观测值减去平均数得到的离均差的k 次方的平均数称为总体的k 阶中心矩，记为])[(ky E μ-或kμ，有∑-=-=Ni ki ky Ny E 1)(1])[(μμ。

二、矩法及矩估计量所谓矩法就是利用样本各阶原点矩来估计总体相应各阶原点矩的方法，即 ∑==ni kiky ny11→)(k y E(8·6)并且也可以用样本各阶原点矩的函数来估计总体各阶原点矩同一函数，即若))(，)，()，((ky E y E y E f Q 2= 则)，，，(k y y y f Q 2ˆ=由此得到的估计量称为矩估计量。

[例8.1] 现获得正态分布)，(2σμN 的随机样本n y y y ，，， 21，要求正态分布)，(2σμN 参数μ和2σ的矩估计量。

首先，求正态分布总体的1阶原点矩和2阶中心矩：⎰=⎥⎦⎤⎢⎣⎡--⋅=⎰=∞+∞-∞+∞-μσμσπdy y y dy y yf y E 22exp 2)(21)()((此处⎥⎦⎤⎢⎣⎡--22exp σμ2)(y 表示自然对数底数e的⎥⎦⎤⎢⎣⎡--22σμ2)(y 的指数式，即][2)(22σμ--y e )22222e x p σσμσπμμμ⎰=⎥⎦⎤⎢⎣⎡--⋅-=⎰-=-∞+∞-∞+∞-dy y y dy y f y y E 2)(21)()()()][(2然后求样本的1阶原点矩和2阶中心矩，为∑-==∑====ni i ni i y y ns y ny 12221ˆˆ)(1，1μμ最后，利用矩法，获得总体平均数和方差的矩估计∑-==∑====ni i ni i y y nsy ny 12221ˆˆ)(1，1σμ故总体平均数和方差的矩估计值分别为样本平均数和样本方差，方差的分母为n 。

单峰分布曲线还有二个特征数，即偏度(skewness )与峰度(kurtosis )，可分别用三阶中心矩3μ和四阶中心矩4μ来度量。

但3μ和4μ是有单位的，为转化成相对数以便不同分布之间的比较，可分别用偏度系数和峰度系数作测度。

偏度系数(coefficient of skewness )是指3阶中心矩与标准差的3次方之比；峰度系数(coefficient of kurtosis )是指4阶中心矩与标准差的4次方之比。

当偏度为正值时，分布向大于平均数方向偏斜；偏度为负值时则向小于平均数方向偏斜；当偏度的绝对值大于2时，分布的偏斜程度严重。

当峰度大于3时，分布比较陡峭，峰态明显，即总体变数的分布比较集中。

由样本计算的偏度系数cs =231i 21i 3)(1)(1⎥⎦⎤⎢⎣⎡∑-∑-===ni ni y y n y y n33ˆˆσμ(8·7)峰度系数ck =241i 21i 4)(1)(1⎥⎦⎤⎢⎣⎡∑-∑-===ni ni y y n y y n44ˆˆσμ(8·8)最小二乘法从总体中抽出的样本观察值与总体平均数是有差异的，这种差异属于抽样误差。

因而，在总体平均数估计时要尽可能地降低这种误差，使总体平均数估计值尽可能好。

参数估计的最小二乘法就是基于这种考虑提出的。

其基本思想是使误差平方和最小，达到在误差之间建立一种平衡，以防止某一极端误差对决定参数的估计值起支配地位。

这有助于揭示更接近真实的状况。

具体方法是为使误差平方和Q 为最小，可通过求Q 对待估参数的偏导数，并令其等于0，以求得参数估计量。

[例8.4] 用最小二乘法求总体平均数μ的估计量。

若从平均数为μ的总体中抽得样本为y 1、y 2、y 3、…、y n ，则观察值可剖分为总体平均数μ与误差e i 之和，ii e y +=μ总体平均数μ的最小二乘估计量就是使y i 与μ间的误差平方和为最小，即∑-=∑==ni i i y eQ 12ˆ2)(μ为最小。

为获得其最小值，求Q 对μ的导数，并令导数等于0，可得：0)(2=∑--=∂∂=ni i y Q 1ˆμμ即总体平均数的估计量为：∑==ni iy n1ˆ1μ因此，算术平均数为总体平均数的最小二乘估计。

这与矩法估计是一致的。

此处顺便介绍估计离均差平方和2)(y y Q i -∑='的数学期望： ])([])([)(22μμ+--∑=-∑='y y E y y E Q E i inn n y y E y y y y E i i i /])(-)([])())((2-)([222222σσμμμμμμ-=-∑-∑=-∑+--∑-∑==(n -1)2σ 因而，2σ估计为：2ˆσ=1)(1)(-∑-=-'n y y n Q i 2)( 与矩法所得不同，而与常规以自由度为除数法一致。

[例8.5] 求例6.13的两向分组方差分析资料缺1个小区(表8.1)的最小二乘估计量和估计值。

从第6章可知，这种资料模式的线性模型为：ij j i ij y εβτμ+++=。

该模型的约束条件为：∑==a i i 10τ，∑==rj j 10β和误差项服从正态分布。

按照最小二乘法的估计原理，使∑∑∑---=∑===a i j i ij rj ij y Q 1212ˆ)(βτμε为最小时可以求出效应和缺失小区y e 的估计量，即⎪⎪⎪⎪⎪⎩⎪⎪⎪⎪⎪⎨⎧∑∑=---=∂∂∑=----=∂∂∑=----=∂∂∑∑=----=∂∂======a i rj j i ij ea i j i ij j r j j i ij ia i r j j i ij y y Qy Qy Q y Q1111110)2(01))(2(01))(2(01))(2(βτμβτμββτμτβτμμ从而，最小二乘估计量分别为：∑∑-∑+∑=++=∑∑-∑=-=∑∑-∑=-=∑∑==============a i rj ija i ij r j ij j i e ai rj ijai ij jj a i rj ij rj ij i i a i rj ijy ar y a y r y y ary ay y y ar y r y y y ary 111111111111ˆˆˆˆˆˆˆ11111111βτμβτμ缺区估计是根据线性模型，以及最小二乘法的原理得到的。

不过，试验中尽可能不要缺区，因为缺区估计尽管可以估计缺区的值，但是误差的自由度将减少，本试验的误差自由度将减少1。

一般地，若m 个自变数x 1、x 2、x 3、…、x m 与依变数y 存在统计模型关系 εθθθ+=)，，，；，，，(k m x x x f y 2121 (8·9) 其中，k θθθ，，， 21为待估参数。

通过n 次观测(n ＞k )得到n 组含有)，1，2，(，，，，n i y x x x i mi i i =21的数据以估计kθθθ，，， 21。

其最小二乘估计值为使22121112][ˆ)，，，；，，，(k mi i i i ni ni x x x f y Q θθθε -∑∑==== (8·10)为最小的k θθθˆˆˆ21，，， 。

这种估计方法称为参数估计的最小二乘法(least squares )，或最小平方法。

第9章将应用最小二乘法估计线性回归中有关参数的估计量，此处不再赘述。

极大似然法极大似然法(maximum likelihood method )是参数估计的重要方法。

首先，通过举例来说明其思路。

例如，有1个射手射击3次，命中0次。

试问该射手的命中概率最有可能为3个命中概率：1/5、8/15和4/5中的哪一个？回答该问题可以从两方面来看，一方面，该射手的命中率为0，与此最接近的命中概率为1/5，即1/5最有可能；另一方面，分别假定该射手的命中率为1/5、8/15和4/5，根据二项分布原理分别计算出该射手射击3次命中0次的概率分别为：337527)54(1)54(，3375343)158(1)158(，33751728)51(1)51(300330033003=-=-=-C C C因此，选择使事件发生概率最大的可能命中概率为1/5，从而认为该射手的命中概率最有可能为1/5。

这种参数估计方法称为极大似然法。

极大似然法，包括二个步骤：首先建立包括有该参数估计量的似然函数(likelihood function )，然后根据实验数据求出似然函数达极值时的参数估计量或估计值。

上面根据二项分布计算概率，因而包含有待估概率的二项分布便是似然函数，它是关于待估参数的函数。

由于试验结果是由总体参数决定的，那么参数估计值就应该使参数真值与试验结果尽可能一致，似然函数正是沟通参数与试验结果一致性的函数。

一、似然函数对于离散型随机变量，似然函数是多个独立事件的概率函数的乘积，该乘积是概率函数值，它是关于总体参数的函数。

例如，一只大口袋里有红、白、黑3种球，采用复置抽样50次，得到红、白、黑3种球的个数分别为12，24，14，那么根据多项式的理论，可以建立似然函数为：143242121)()()(12！24！14！50！p p p其中p 1，p 2，p 3分别为口袋中红、白、黑3种球的概率(p 3=1-p 1-p 2)，它们是需要估计的。

对于连续型随机变量，似然函数是每个独立随机观测值的概率密度函数的乘积，则似然函数为：)；()；()；()；，，，()(θθθθθn n y f y f y f y y y L L 2121== (8·11)若y 1服从正态分布)，(2σμN ，则)，(σμθ=，上式可变为：])()[(212)(2)(221222221222μμσσμσμσπσπσπσμ-++------==n n y y ny y ee e L)1(11)，((8·12)二、极大似然估计所谓极大似然估计就是指使似然函数为最大以获得总体参数估计的方法。

其中，所获得的估计总体参数的表达式称为极大似然估计量，由该估计量获得的总体参数的估计值称为总体参数的极大似然估计值。

为了计算上的方便，一般将似然函数取对数，称为对数似然函数，因为取对数后似然函数由乘积变为加式，其表达式为：∑===ni i n y f y y y L L 121,ln ln ln )()；，，，()(θθθ(8·13)通过对数似然函数和似然函数的极大化以估计总体参数的结果是一致的，一般说来，前者在计算上要容易处理些。