估计量优良性的若干判别准则

估计量优良性的若干判别准则作者 李晓辉 指导老师 胡学平摘要 未知参数的估计通常有很多种，一个好的估计量应该在多次观测中，其观测值围绕被估计参数的真值摆动.为正确评价估计量，要建立判别估计量好坏的标准.本文主要总结估计量优良性的若干判别准则，如无偏性、有效性、一致性等。

通过本文的研究，进一步了解了估计量优良性的一些判别准则，为今后学习打下了基础。

关键词 无偏性 一致性 有效性 一致最小方差无偏估计 均方误差1 引言对于估计量优良性的研究，国内外更多的是将其依托于一个具体的实验或具体的实际问题中去进行比较研究，如在1982年《数学杂志》中，刘学圃写了一篇名为《一类平稳时间序列谱密估计量的优良性质》文章，又如在《统计与信息论坛》中，写了一篇《系统样本差估计量的优良性》，所以说对其的研究更多的是依据于是研究中，通过其试验来体现一个估计量的优良性.当然，单纯对于优良性的研究国内有一篇很是经典的文章—王力宾的《对估计量优劣性评价标准的研究》，他在此文中比较详细地介绍了若干判别准则，大致上分为两类：一类是小样本估计量优良性的若干判别准则，另一类是大样本估计量优良性的判别准则。

他也同样在文中详细地叙述了两类之间的联系.其实，一直以来，我国的统计工作者，一直都是把无偏性，有效性，一致性看作是评价估计量优良性的三大标准，但对于其实用性并未进行过较为系统的研究.评价一个估计量的好坏，不能仅仅依据一次试验的结果，而必须由多次试验的结果来衡量.这是因为估计量是样本的函数，是随机变量。

由不同的观测结果，就会求得不同的参数估计值.因此一个好的估计，应在多次试验中体现出优良性.对于一个特定的应用，选择好的估计量与许多因素有关系，最基本的考虑因素就是选择一个好的数据模型，它的复杂性应该足以描述数据的基本特征，但是与此同时要简单的足以允许估计量是最佳的且易于实现.举个简单的例子，对于信号的处理问题，选择一个合适的估计量要从易于现实的最佳估计量开始.如果这种寻找没有效果，那么就应该考察准最佳估计量.对于同一参数，用不同的估计法得到的点估计量不一定相同，那么用哪一种估计法好呢？并且，人们总是希望估计量能代替真实参数．为正确评价估计量，要建立判别估计量好坏的标准.根据不同的要求，评价估计量可以有各种各样的标准．所以，对于一个估计量的优良性进行判别显得尤为重要.对于估计量优良性若干判别准则的研究，为了以后我们进一步的学习和工作都奠定了良好的基础.2 判别优良性的准则 2.1 估计量的无偏性 2.1.1无偏估计量的定义及定理定义 设()n,ξ,,ξξT θ 21ˆ=是未知参数θ的一个估计量，若 ()Θθθ, θE ∈∀=ˆ则称()n,ξ,,ξξT θ 21ˆ=为θ的无偏估计量. 在这里我们要接触一个新的名词：统计量，到底什么是统计量，下面我们来简单介绍一下统计量的定义.统计量 是统计理论中用来对数据进行分析、检验的变量。

宏观量是大量微观量的统计平均值，具有统计平均的意义，对于单个微观粒子，宏观量是没有意义的．相对于微观量的统计平均性质的宏观量也叫统计量．需要指出的是，描写宏观世界的物理量例如速度、动能等实际上也可以说是宏观量，但宏观量并不都具有统计平均的性质，因而宏观量并不都是统计量．定理1 设总体X 的均值为μ,方差为2σ,n 21,,,X X X 为来自该总体的简单随机样本.∑==ni i X n X 11()21211∑=-=n i i X X n-S则()()22σS μ, E X E ==即样本均值和样本方差是μ和σ2的无偏估计.证明()()nσX , Var μX E 22==()()⎪⎭⎫⎝⎛-=∑=n i iX X n-E S E 12211 ()⎪⎪⎭⎫ ⎝⎛-=∑=2111n i i X X E n- ⎥⎦⎤⎢⎣⎡+--=∑∑==2112211X n X X X E n ni i n i i⎥⎦⎤⎢⎣⎡-=∑=21211X n X E n-n i i()212111X E n n )E(X n n i i∑=---= ()()[]{}()()[]{}212111X E X Var n n X E X Var n n i ii +--+-=∑=()⎪⎭⎫ ⎝⎛+--+-=2222111μσn n n μσn n 2σ=2.1.2 无偏估计量的举例说明例1 设n 21,,,X X X 为抽自均值为μ的总体X 的样本,考虑μ的估计量.解 11ˆX =μ， 因为()()μX E μE ==11ˆ, 所以1ˆμ是无偏估计 2ˆ212X X μ+=, 因为()⎪⎭⎫ ⎝⎛+=2ˆ212X X E μE ,所以2ˆμ是无偏估计 1213ˆn-nX X X X μn++++= （假设4n ≥），因为()1213ˆn-n X X X X E μE μn ++++⎛⎫== ⎪⎝⎭,所以3ˆμ是无偏估计 142ˆX =μ, 因为()()μX E μE 22ˆ14==, 所以4ˆμ不是无偏估计 3ˆ215X X +=μ, 因为()μX X E μE 323ˆ215=⎪⎭⎫ ⎝⎛+=,所以5ˆμ不是无偏估计. 例2 设总体[]θξ,0~U ,求未知参数()0>θ的无偏估计量.解 设()n 21,,,ξξξ 为取自总体的样本.由替换原则有()ξξ=E ,而已知()2θξ=E ，故得θ的矩估计量为∑===ni i ξn ξθ122ˆ，由于()()()()θθξE ξE ξE θE =⋅====22222ˆ, 故ξθ2ˆ=是θ的无偏估计量. 2.2 估计量的有效性 2.2.1有效估计量的定义定义 设()()nn ,X ,,X X θθ , ,X ,,X X θθ 21222111ˆˆ== 都是总体参数θ 的无偏估计量,且()()21ˆˆθ＜D θD ，则称1ˆθ比2ˆθ更有效. 2.2.2关于有效估计量的举例说明例3 已知总体的数学期望μ和方差D 都存在,321,,X X X 是总体的样本.设 （1）证明1g 和2g 都是μ的无偏估计.（2）试判断1g 和2g 哪一个更有效. 解 （1） ()⎪⎭⎫⎝⎛++=3211313131X X X E g E()()()321313131X E X E X E ++=μμμ313131++=μ=()⎪⎭⎫ ⎝⎛++=3212613121X X X E g E()()()321613121X E X E X E ++= μμμ613121++=μ=所以1g 和2g 都是μ的无偏估计.3212613121X X X g ++=，3211313131X X X g ++=（2） ()⎪⎭⎫ ⎝⎛++=3211313131X X X D g D()()()321919191X D X D X D ++=231σ=()⎪⎭⎫ ⎝⎛++=3212613121X X X D g D()()()3213619141X D X D X D ++=2223619141σσσ++= 2187σ=因为()()21g g D D ＜ ，所以1g 较2g 更有效.例 4 设总体[]θξ,0~U ，在例2中已经证明θ的矩估计量ξθ2ˆ1=是θ的无偏估计量. （1）证明()n ξnn θ1ˆ2+=是θ的无偏估计量； （2）比较1ˆθ与2ˆθ的有效 解 （1） 在我们已经学习的知识中我们很容易算得()()θn ξE n 11+=，由此立得()()θξn n E θE n =⎪⎭⎫ ⎝⎛+=1ˆ2， 所以θnn θ1ˆ2+=是θ的无偏估计量. (2)计算1ˆθ，2ˆθ的方差，有： ()()()()nθθn ξD n ξD ξD θD 31241442ˆ221=⋅=⋅===； ()()()()()()[]{}222211ˆn n n ξE ξE n n ξn n D θD -⎪⎭⎫ ⎝⎛+=⎪⎭⎫ ⎝⎛+= ⎥⎥⎦⎤⎢⎢⎣⎡⎪⎭⎫⎝⎛+⋅⎪⎭⎫⎝⎛+=⎰2102211θn n -d θnx x n n x n n-θ()nθn n θ3222≤+= 所以1ˆθ较2ˆθ为有效. 2.3 估计量的一致性2.3.1一致估计量的定义定义 设 是总体参数θ的估计量. 若对于任意的R ∈θ , 当∞→n 时, θˆ依概率收敛于θ, 即对于任意正数ε，有0ˆlim =≥-∞→ε))θθP(n ，则称θˆ是总体参数θ的一致估计量. 2.3.2一致估计量的举例说明例5 设总体X 服从参数为θ的指数分布，证明X 是θ的一致估计量. 证明 由总体X 服从参数为θ的指数分布可知：而()θxθx,θf --=ln ln ()221ln ⎥⎦⎤⎢⎣⎡+-=⎥⎦⎤⎢⎣⎡∂∂θx θx,θf θ24θθ）（x -= ()⎥⎦⎤⎢⎣⎡-=42θθX E ()()2421ln θ-=⎥⎦⎤⎢⎣⎡∂∂X E θX,θf θE ()X D θ41=()22ln 11⎥⎦⎤⎢⎣⎡∂∂=X,θf θnE θnθ2=)X D(= ),X ,,X θ(X θn21ˆ=⎪⎩⎪⎨⎧≤>=-0001x ,x eθ)f(x;θθx()()()nθn X D X D θX E )X E(2====又由辛钦大数定律可知：{}111lim lim =⎭⎬⎫⎩⎨⎧=-∑=∞→∞→＜ε -μX n P ＜εμX P n i i n n 所以X 是θ 的一致估计量.2.4 一致最小方差无偏估计2.4.1致最小方差无偏估计的定义及定理定义 设()θg 为可估参数,如果()X T 是()θg 的无偏估计,且对g U 中任一个估计()X ϕ,有()()()()Θ X Var θθT Var ∈∀≤θϕ则称为()X T 为()θg 的一致最小方差无偏估计(Uniformly Minimum Variance Unbiased Estimate) ,简记为UMVUE .引理 1 设()X S 是分布族(){}Θ,θX,θf ∈的充分统计量,()X ϕ是()X g 的无偏估计,令()()()()X S X E X T ϕ= ,则()X T 也是()θg 的无偏估计,()()()()Θ X Var θX T Var θ∈∀≤θϕ.引理 2 设()X S 是分布族(){}Θ∈θθ ,,X f 的完备统计量,()θg 为可估参数,则()θg 的UMVUE 存在,它是()X S 的函数且在几乎处处意义下是唯一的.定理2 设()X T 是()θg 的无偏估计,()()∞＜X T Var θ,则()X T 为()θg 的 UMVUE 的充要条件是对任一θ的无偏估计()X ϕ ,若()()∞＜X Var ϕ,则有()()()0=X ,T X Cov θϕ.证明令()()()()(){}()()()(){}0 000Θ∈∀∞+==∈∀∞+==θϕϕϕθϕϕ，＜X ,Var X :E X U Θ ，＜X ,Var X g X :E X φU()X T 是()θg 的UMVUE,任取()0U X ∈ϕ及R ∈λ ,则()()()U X T X X ∈+=' λϕϕ,且有()()()()()X T X Var T Var θ+≤λϕθθ,即()()()()()0,2≥+X T X Cov X λVarθϕλϕ,由R ∈λ的任意性知()()()Θ∈∀=θϕθ ,0,X T X Cov ,反之,设()0U X ∈ϕ都有()()()Θ∈∀=θϕθ ,0,X T X Cov ,要证()X T 是()θg 的 UMVUE,若()U X ∈'ϕ,则有()()0U X X T ∈'-ϕ.由假设条件得()()()()()()()()()()()()()()00,2='-='-='-X X T E X T E X T X X T E X T X X T Cov ϕϕϕθθθθ由许瓦兹不等式得()()()()()()()()()()()()22222X E X T E X X T E X T E ϕϕθθθ'≤'=从而()()()()()22X E X T E ϕθθ'≤又因为()()()()()θg X E X T E θθ='=ϕ所以()()()()X Var X T Var ϕ'≤由()()U X ∈'ϕ(之任意性可知,()X T 是()θg 的 UMVUE.2.5 均方误差准则2.5.1均方误差准则的定义定义 假如有两个估计1ˆθ和2ˆθ，这时两个估计中哪一个估计的均方误差小,我们就把哪一个估计看作比较优,这种判定估计量的准则叫均方误差准则.2.5.2关于均方误差准则的举例说明例6 设n 21,,,X X X 为抽自均值为μ的总体,考虑μ的如下两个估计∑≠=--==nij j j i X n μX μ111ˆˆ 这里-i μˆ表示去掉第i 个样本式后，对其余1n-个样本所求的样本均值. 我们看到:显然两个估计都是μ的无偏估计.再计算其方差:之前我们证明过()nσX Var 2=()()111ˆ212n-σX Var n-μVar j nij j -i =⎪⎭⎫ ⎝⎛=∑≠= 我们看到X 比i ˆ-μ的方差小，因而X 比-i μˆ更优. 这表明,当我们用样本均值去估计总体均值时,使用全体样本总比不使用全体样本要好.结 束 语常见的估计量优良性的判别准则也就此论文中所提到的五中常用方法：一致性，有效性，无偏性，均方误差准则，一致最小方差无偏估计，其它的判别方法虽然也有不少，但是在我们日常的生活学习中并不常见，所以在此就不用再做过多的详细介绍.虽然这些常见的判别方法被我们所学习和使用，但是都只是在理论上具有可行性，但是在实际生活学习和使用中，并没有人对这些常见的判别方法给出实用性的充分证明，所以，现在很多的数学工作者，正在对这些常见方法的可行性进行较为系统严密的论证中.参考文献[1]魏宗舒. 概率论与数理统计[M]. 高等教育出版社，2008. [2]戴朝寿. 概率论简明教程[M]. 高等教育出版社，2008.[3]中山大学数学组. 概率论与数理统计[M]. 高等教育出版社，2009.[4]西北工业大学. 概率论与数理统计[M]. 西北工业大学出版社，2004.[5]茆诗松. 高等数理统计[M]. 高等教育出版社，2005.[6]Jan kmenta, Elernents of Economitrics[M], Macmiuan Pubilish co.Inc，1971.Estimated the amount of the fine of the criterionAuthor：Li Xiaohui Supervisor:Hu XuepingAbstract：Unknown parameter estimates usually are many, a good estimator should be ata number of observations, the observed values around the true value of the estimatedparameters.For the correct evaluation estimator,to establish the standard of discrimination that is good or bad. This paper summarizes some optimal estimator benign criterion, such as unbiasedness, effectiveness, consistency, etc. The research in this paper is the further understanding of the estimator optimal benign some criterion, and lay the foundation for the future study.Key words:unbiasedness consistency effectiveness consistent minimum variance unbiased estimation mean-square error。