北邮概率论与数理统计参数估计的评选标准 (7.3)

§7.3 估计量的评选标准由点估计提法可以看出,估计的概念相当广泛,并且用不同的估计方法往往会得出不同的估计.如果不对估计的好坏加以明确,估计是没有意义的.评价估计量的优劣并不简单，这首先需要明确衡量优良性的标准.这些标准不是唯一的，也不是绝对的.从不同角度出发可以提出不同的标准.下面我们讨论评价估计优劣的一些常用的标准. （一）均方误差同一参数的估计有多种，那么什么样的估计算是好的甚至是最好的？这就涉及优良性标准.从直观上看，估计量与被估计量越接近越好.当我们用)(ˆX θ估计θ时,评价该估计好坏的一个自然的度量是|)(ˆ|θθ-X ,但由于θ是未知的,样本又具有随机性,因而这种自然度量在实际中是不可行的,为了消除随机性的影响,可以考虑对它求平均|)(ˆ|θθ-X E ,出于数学处理上的方便,最常用的标准是由下式给出的均方误差.2))(ˆ()ˆ(θθθθ-=X E MSE 例7.3.1设n X X ,,1 为来自正态总体),(2σμN 的简单随机样本， (1) 若μ已知,考虑2σ的两个估计量:∑=---=n i i X n 1221)(11ˆμσ,∑=-=n i i X n 1220)(1ˆμσ, 求这两个估计量的均方误差,并比较它们的大小; (2)若μ未知,考虑2σ的两个估计量:∑=---=n i i X X n 1221)(11ˆσ,∑=-=n i i X X n 1220)(1ˆσ, 求这两个估计量的均方误差, 并比较它们的大小.解:(1)先求20ˆσ的均方误差,由于220)ˆ(σσ=E ,所以])([1)ˆ()ˆ(1222022∑=-==n i i X D n D M S E μσσσ, 又∑=-ni iX122)(1μσ～)(2n χ,故n XD ni i2])(1[122=-∑=μσ,即得4122])([σμn X D ni i =-∑=,从而知nMSE 4202)ˆ(2σσσ=,或])([1)ˆ()ˆ(1222022∑=-==ni i X D n D MSE μσσσ n X D nni i 41222)(1σμ=-=∑=, (这里用到了:若X ～),(2σμN ,则⎩⎨⎧-=-为奇数，为偶数，k k k X E k k0,!)!1()(σμ从而422)(σμ=-X D )再求21ˆ-σ的均方误差,}])({)1(1)ˆ(212222212∑=-+---=ni i n X E n MSE σσμσσ 424122)1(12}])([{)1(1σσμ-+=+--=∑=n n X D n ni i , 易见对任意的02>σ,总有>-)ˆ(212σσMSE )ˆ(202σσMSE , 思考题：考虑∑=-+=n i i kX k n 122)(1ˆμσ（k 为整数），计算)ˆ(22k MSE σσ并找出k 为何值时均方误差最小.（2）先求21ˆ-σ的均方误差,由于221)ˆ(σσ=-E ,所以 ])([)1(1)ˆ()ˆ(12221212∑=----==ni i X X D n D MSE σσσ又∑=-ni i X X122)(1σ～)1(2-n χ,故)1(2])(1[122-=-∑=n X XD ni iσ, 即得412)1(2])([σ-=-∑=n X X D ni i ,从而知12)ˆ(4212-=-n MSE σσσ,再求20ˆσ的均方误差,}])1()({1)ˆ(21222222∑=----=ni i n X X E n MSE σσσσ 42412212}])([{1σσn n X X D n ni i -=+-=∑=, 易见对任意的02>σ,总有>-)ˆ(212σσMSE )ˆ(202σσMSE . 思考题：考虑∑=-+=n i i kX X k n 122)(1ˆσ（k 为整数），计算)ˆ(22k MSE σσ并找出k 为何值时均方误差最小.（二） 无偏性均方误差可分解成两部分:2))(ˆ()ˆ(θθθθ-=X E MSE 2ˆˆ]-)(E [)(r Va θθθ+= 若偏差0ˆ==θθθ-)(E )b(，那么均方误差就等于方差.这样的估计量叫做无偏估计量.因此有如下义.定义 设θ为待估参数,参数空间为Θ,),,,(ˆˆ21nX X X θθ=为θ的估计量,若对于任意Θ∈θ,总有θθθ=)ˆ(E ， 则称),,,(ˆˆ21n X X X θθ=为θ的无偏估计量,或者说),,,(ˆˆ21n X X X θθ=作为θ的估计量具有无偏性.又若0=∞→)b(lim n θ，称θˆ是θ的渐近无偏估计.例7.3.2 设总体X 的均值为μ，方差为2σ，n X X ,,1 是来自该总体的简单随机样本.则（i ）样本均值X 为总体均值μ的无偏估计； （ii ）样本均值2S 为总体均值2σ的无偏估计;思考题:样本标准差S 是否是总体标准差σ的无偏估计?如果不是，在正态模型下如何修改使之为无偏估计.例7.3.3 设n X X ,,1 是来自总体),(2σμN 的简单随机样本，求解下面问题(1)2σ的两个常用估计量∑=-=n i i nX X n S 122)(1,∑=--=n i i X X n S 122)(11中哪个是无偏估计?(2) 若22bS X a T +=为2μ的无偏估计,确定b a ,. 解:(1)略(2) 2222222)()1()()()(σμσσμna b a b n a S bE X aE T E ++=++=+=， 由无偏性定义知 对2,σμ∀，有 222)(μσμ=++na b a 从而得nb a 1,1-==。

对估计而言，无偏性的要求是否一定要遵守以及无偏性的实际价值如何，这还必须结合具体问题的实际情况去考察.无偏性体现了一种频率思想，只有在大量重复使用时，无偏性才会体现其价值.例如，要估计某批产品的合格品率θ，从中抽取n 件产品进行检验，其中合格品件数为X ，那么n X /是θ的无偏估计.然而对一次具体的观察值x 而言，n x /与θ丝毫不差几乎是不可能的，但凭此具体的观察值x ,其接近程度无法知晓，此时无偏性显得没有多大意义.如果问题改为某一工厂每天都对其生产的产品进行抽检，若假定生产过程是稳定的，那估计的无偏性要求便是合理的，比如每天都用n X /估计θ，对一天而言，该估计可能偏大也可能偏小，但在一段较长时期内，把各天的估计再进行平均，那么正负偏差就会在很大程度上得以抵消，其平均会在θ周围作微小波动.总之我们不要把无偏性要求看得过重，无偏性是大量重复使用同一估计量时应尽量满足的要求，但根据现有数据进行一次性估计时不必要求什么无偏性. （三） 有效性对于不同的无偏估计量的均方误差的比较，就是比较其方差.因此有如下定义.定义 设)X ,,X n 1 （θθˆˆ=和)X ,,X n 1 （θθ~~=为θ的两个无偏估计，若对于任意Θ∈θ，总有)(Var )(Var θθ~ˆ≤.且至少有一个Θ∈θ，使得)(Va r )(Va r θθ~ˆ<，我们称θˆ比θ~更有效.例7.3.4 设总体X 的均值为μ，方差为2σ，n X X ,,1 是来自该总体的简单随机样本.则对于任意满足11=∑=ni i a 的一组实数n a ,,a ,a 21,∑=ni i i X a 1都是总体均值μ的无偏估计,且此类无偏估计中, 样本均值X 的方差最小.例7.3.5 设n X X ,,1 来自该均匀总体),0(θU 的样本，（1）证明：X 2ˆ=θ，)(1~n X nn +=θ均为θ的无偏估计； （2）比较以上两个估计量的有效性. （四） 相合性估计量是与相本容量有关的,假设用统计量),,(ˆˆ1nn X X θθ=估计θ，其接近程度（当然这里首先要明确接近程度的衡量标准，比如均方误差）一般来说与n 与θ都有关系.对某个固定的n ，接近程度只与θ有关且不可能对所有的Θ∈θ都任意小，但当∞→n 时，通常可以做到这一点.为此就需要考察当∞→n 时统计量的性质，在统计学中把这方面的性质叫做大样本性质.下面介绍的相合性就是大样本性质.定义 设),,(ˆˆ1nn X X θθ=是θ的估计，如果当∞→n 时，有 θθPn →ˆ，则称nθˆ为θ的相合估计. 相合性讨论涉及概率论中极限定理的内容，这部分的知识我们学得不多，这里就不详细讨论了，只给出几个结论：1. ),,(ˆˆ1n n X X θθ=是θ的估计，其均方误差为2)ˆ()ˆ(θθθθ-=nn E MSE ，若当∞→n 时，Θ∈∀→θθθ，0)ˆ(MSE ，则),,(ˆˆ1nn X X θθ=是θ的相合估计.2.设总体X 的k 阶矩k k X E μ=)(存在，n X X ,,1 是来自该总体的简单随机样本，则样本的k 阶矩∑=n i ki X n 11是总体的k 阶矩k μ的相合估计.3.若nθˆ是为θ的相合估计,)(g θ是连续函数,则)(g n θˆ是)(g θ的相合估计.例 设总体X ～),1(θB ,n X X ,,1 是来自该总体的样本，那么XX-1是θθθ-=1)(g 的相合估计.。