7估计的优良性标准
7.2 估计量的优良性准则
电子科技大学
#
估计量的优良性准则
Dec-10
证明 S2 是σ2 的无偏估计量 例7.2.2 设总体的方差 D(X)=σ2 >0，则样本 ， 方差S 的无偏估计. 方差 2 是σ2的无偏估计 证
(n −1)S = ∑( Xi − X) = ∑ Xi − nX 2
2 2 2 i =1 i =1
n 2 2
证明无偏性判断有效性(1) 证明无偏性判断有效性 证明无偏性判断有效性(2) 证明无偏性判断有效性 和S2 分别是μ和σ2 的最小方差无偏估计 X
电子科技大学
估计量的优良性准则
Dec-10
3. 相合性 无偏性： 无偏性：反映估计量相对待估参数有无系 统偏差. 统偏差 有效性： 有效性：在无偏类中反映估计量相对待估 参数的偏离程度. 参数的偏离程度. 例7.2.5 问题： 问题：在“偏差性”和“离散性”两者 偏差性” 离散性” 兼顾的原则下建立估计量为“最优”准则 兼顾的原则下建立估计量为“最优”准则.
电子科技大学
估计量的优良性准则
Dec-10
的相合估计量; X 是μ的相合估计量; S2 和M2 都是 2的相合估计量 都是σ 的相合估计量.
部分证明
电子科技大学
估计量的优良性准则
Dec-10
例7.2.1 设总体的方差 D(X)=σ2 >0，有 ，
1 E( X) = E( ∑Xi ) = E( X) = µ n i=1 1 2 2 2 2 2 E( X ) = D( X) +[E( X)] = σ + µ ≠ µ n
2
θ2
ˆ ˆ . θ2比θ1更有效
2 ˆ) D(θ2 3n 而且 lim = = 0. 2 n→∞ D θ ) (n + 1) (n + 2) (ˆ 1
估计量优良性的若干判别准则
估计量优良性的若干判别准则作者 李晓辉 指导老师 胡学平摘要 未知参数的估计通常有很多种，一个好的估计量应该在多次观测中，其观测值围绕被估计参数的真值摆动.为正确评价估计量，要建立判别估计量好坏的标准.本文主要总结估计量优良性的若干判别准则，如无偏性、有效性、一致性等。
通过本文的研究，进一步了解了估计量优良性的一些判别准则，为今后学习打下了基础。
关键词 无偏性 一致性 有效性 一致最小方差无偏估计 均方误差1 引言对于估计量优良性的研究，国内外更多的是将其依托于一个具体的实验或具体的实际问题中去进行比较研究，如在1982年《数学杂志》中，刘学圃写了一篇名为《一类平稳时间序列谱密估计量的优良性质》文章，又如在《统计与信息论坛》中，写了一篇《系统样本差估计量的优良性》，所以说对其的研究更多的是依据于是研究中，通过其试验来体现一个估计量的优良性.当然，单纯对于优良性的研究国内有一篇很是经典的文章—王力宾的《对估计量优劣性评价标准的研究》，他在此文中比较详细地介绍了若干判别准则，大致上分为两类：一类是小样本估计量优良性的若干判别准则，另一类是大样本估计量优良性的判别准则。
他也同样在文中详细地叙述了两类之间的联系.其实，一直以来，我国的统计工作者，一直都是把无偏性，有效性，一致性看作是评价估计量优良性的三大标准，但对于其实用性并未进行过较为系统的研究.评价一个估计量的好坏，不能仅仅依据一次试验的结果，而必须由多次试验的结果来衡量.这是因为估计量是样本的函数，是随机变量。
由不同的观测结果，就会求得不同的参数估计值.因此一个好的估计，应在多次试验中体现出优良性.对于一个特定的应用，选择好的估计量与许多因素有关系，最基本的考虑因素就是选择一个好的数据模型，它的复杂性应该足以描述数据的基本特征，但是与此同时要简单的足以允许估计量是最佳的且易于实现.举个简单的例子，对于信号的处理问题，选择一个合适的估计量要从易于现实的最佳估计量开始.如果这种寻找没有效果，那么就应该考察准最佳估计量.对于同一参数，用不同的估计法得到的点估计量不一定相同，那么用哪一种估计法好呢？并且，人们总是希望估计量能代替真实参数．为正确评价估计量，要建立判别估计量好坏的标准.根据不同的要求，评价估计量可以有各种各样的标准．所以，对于一个估计量的优良性进行判别显得尤为重要.对于估计量优良性若干判别准则的研究，为了以后我们进一步的学习和工作都奠定了良好的基础.2 判别优良性的准则 2.1 估计量的无偏性 2.1.1无偏估计量的定义及定理定义 设()n,ξ,,ξξT θ 21ˆ=是未知参数θ的一个估计量，若 ()Θθθ, θE ∈∀=ˆ则称()n,ξ,,ξξT θ 21ˆ=为θ的无偏估计量. 在这里我们要接触一个新的名词：统计量，到底什么是统计量，下面我们来简单介绍一下统计量的定义.统计量 是统计理论中用来对数据进行分析、检验的变量。
7.估计的优良性
估计的优良性同一个未知参数的估计量有很多种，即使是使用最大似然估计，样本量不一样。
估计量也不相同，什么样的估计量最好呢？这就涉及到估计量的优良性标准。
从直观上看，自然是估计量被估计的量越接近越好。
但“接近”二字含义不很简单，有深入研究的必要。
设X 的密度函数(,)f x θ，其中()12,,,,m θθθθ=∈ΘΘL 是R m 中的非空集合。
设()g θ是θ的函数，X 1,X 2,…，X n 是X的样本。
所谓()g θ的估计量，是指样本的函数()1,,n X X ϕL 。
ϕ的不同选择就得到不同的估计量。
直观上看，()()1,,n X X g ϕθ−L 越小，ϕ就越好，但是()1,,n X X ϕL 的值是依赖于样本的，它本身是随机变量，而()g θ是未知的，所以评价估计量的优劣不很简单，需要衡量优良性的标准，当然这种标准不是唯一的，从不同角度出发可提出不同的标准。
定义2.1 设()g θ的估计量()1,,n X X ϕL 满足：对一切估计量()1,,n X X ψL 有 ()()M M θθϕψ≤（一切θ）则称ϕ是()g θ的最小均方误差估计。
定义 2.2 设()1,,n X X ϕL 是()g θ的无偏估计，且对一切无偏估计()1,,n X X ψL 均有()()M M θθϕψ≤（一切θ），则称ϕ是()g θ的（一致）最小方差无偏估计。
“最小方差无偏估计”就是一种最优的估计量，可惜它有时并不存在。
有时无偏性标准显得不合理（参看后面的例子）。
还有别的优良性标准，如贝叶斯标准，minimax 标准等等，这里不介绍了（参看第七章）。
怎样得到（一致）最小方差无偏估计呢？这不是容易的事，需要具体问题具体分析，没有一个普遍适用的公式。
但在50年代形成的Blackwell-Lehmann-Scheffe 理论对于寻求最小方差无偏估计 有重要的指导作用。
这个理论的严密论述涉及到测试论等较深的数学工具，这里只从方法的角度作一粗浅介绍，为此称介绍有广泛重要意义的概念——充分统计量。
概率论 第七章 参数估计
L( ) max L( )
称^为
的极大似然估计（MLE）.
求极大似然估计(MLE)的一般步骤是：
(1) 由总体分布导出样本的联合概率分布 (或联合密度);
(2) 把样本联合概率分布(或联合密度)中自变 量看成已知常数,而把参数 看作自变量, 得到似然函数L( );
(3) 求似然函数L( ) 的最大值点(常常转化 为求ln L( )的最大值点) ，即 的MLE;
1. 将待估参数表示为总体矩的连续函数 2. 用样本矩替代总体矩，从而得到待估参
数的估计量。
四. 最大似然估计（极大似然法）
在总体分布类型已知条件下使用的一种 参数估计方法 .
首先由德国数学家高斯在1821年提出。 英国统计学家费歇1922年重新发现此
方法，并首先研究了此方法的一些性质 .
例：某位同学与一位猎人一起外出打猎.一只 野兔从前方窜过 . 一声枪响，野兔应声倒下 .
p值 P(Y=0) P(Y=1) P( Y=2) P(Y=3) 0.7 0.027 0.189 0.441 0.343 0.3 0.343 0.441 0.189 0.027
应如何估计p?
若：只知0<p<1, 实测记录是 Y=k
(0 ≤ k≤ n), 如何估计p 呢?
注意到
P(Y k) Cnk pk (1 p)nk = f (p)
第七章 参数估计
参数估计是利用从总体抽样得到的信息 估计总体的某些参数或参数的某些函数.
仅估 计一 个或 几个 参数.
估计新生儿的体重
估计废品率
估计降雨量
估计湖中鱼数
…
…
参数估计问题的一般提法:
设总体的分布函数为 F(x, )，其中为未 知参数 (可以是向量).从该总体抽样，得样本
概率论教学课件第七章7.2估计量的优良性标准
D( 2 )
16 2 9 2 1 2 26 2 0.72 2 ,
36 36 36 36
D( 3 )
1 2
9
12
9
12
9
1 2
3
0.33 2.
D(3) D(1) D(2 ) ,因此 3 最为有效.
10
一般地,有如下基本结论：
例4. 设 X1, X2,, Xn 是来自任意总体 X 的一组样本，
7
定义2 设ˆ1,ˆ2都是未知参数的无偏估计量，如果 Dˆ1 Dˆ2
则称（ˆ1和ˆ2作为参数的估计量）ˆ1比ˆ2更有效。
例3 设为 X1, X 2 , X3 取自总体 X 的样本,EX= ,DX= 2 0 , 证明:下列三个统计量均为 的无偏估计量，并比较有效性.
1
2 10
X
1
3 10
)
EX
2 i
EX
2 i 1
2EX i1EX i
EX
2 i
( 2 2 ) 2 2 ( 2 2 ) 2 2
n1
Eˆ 2 c E( X i1 X i )2 c 2(n 1) 2 2,
i 1
1
c
.
2(n 1)
6
二、有效性
例如，设总体X ,而X1, X 2, X3是来自总体X的样本，EX 未知，则
则称ˆ 为 的无偏估计量.否则称为有偏估计量.
2
Eˆ ，E(ˆ ) 0.
无偏估计量的含义是：ˆ 作为样本的函数 是一个随机变量，它在 的真值附近波动，但其 平均值恰好是 的真值。
3
设 X1, , X n 为取自总体 X 的样本，
样本均值
X
1 n
n
第三节估计量的优良性
概率统计
例 2. 若总体 X 的均值为 , 方差 2 ，但均为未 知，现有两个 的无偏估计量 ：
求: 1 与 2 哪个作为 的无偏估计更有效？ n 1 1 2 ˆ 解: D ( 1 ) D ( X ) D ( X i ) n i1 n ˆ 2) D (X1) 2 D ( 且显然
ˆ 对任意的 有： E ( ) 则称 ˆ 是 的无偏估计量.
概率统计
注: 无偏性的实际意义是指没有系统性的偏差 。 它是用数学期望衡量其靠近真值的程度。
在科学技术中称 E (ˆ ) 为以 ˆ 作为 的
估计的系统误差。则无偏估计即无系统误差。 例如： 用样本均值作为总体均值的估计时，虽无法说明一 次估计所产生的偏差，但这种偏差随机地在“0”的 周围波动，对同一统计问题大量重复使用不会产生 系统偏差 。
E[
i1
(X n
i1
1
n
i
n
1
n
Xi 2X
2
i1
n
1
n
Xi
i1
n
1
n
(X ) ]
2
i1
概率统计
E[
1
n
n i1
1
n
Xi X ]
2 2
2 2
1 n
i1
E ( X i ) E ( X )
2 2 i1
n
n
1
E (Xi ) E (X )
概率统计
例1. 设总体 X 的均值 , 方差
， 均 未 知 .
2
2
0 都存在 ，若
n证明: ຫໍສະໝຸດ 的两个估计量2ˆ 12
7-2估计量的评选标准
所以 ˆ 2 是有偏的.
由于
1 n n 1 2 2 E (Xi X ) n n i 1
n 1 n 2 2 E (Xi X ) n 1 n i 1
所以 即
1 n 2 2 E ( X X ) i n 1 i 1
1 n 2 2 ( X X ) S 是 σ 无偏估计 i n 1 i 1
ˆ2 同理可证明(2) E
由此可知, 一个参数可以有不同的无偏估计量.
例2 若总体 X 的均值 , 方差 2 均为未知, 证明
n 1 ˆ 2 ( X i X ) 2 不是 2 的 无偏估计. 估计量 n i 1
往证
ˆ E
2
2
2
回顾
n
EX , DX
1 1 1 ( X 1 X 2 ) ( DX 1 DX 2 ) θ2 2 2 4
1 2 ˆ D 3 DX θ 3
1 4 5 ˆ D 4 DX 1 DX 2 θ2 9 9 9
因而， D ˆ3 D ˆ2 D ˆ4 D ˆ1
练习 X 1 , X 2 为总体 N ( ,1) 的样本，比较下列无偏估
练习
1. 证明 S 不是 的无偏估计量 .
提示 2 E S 2 DS ( ES ) 2 ( ES ) 2 ES
2.设总体 X 的均值 µ 与方差σ2均为未知参数， X1，X2为样本.
证明 (1)
1 ( X 1 X 2 ), 2 2 1 X 1 X 2 1.7 X 1 0.7 X 2 3 3
ˆ 与 ˆ 都是 的无偏估计量, 若有 定义 设 1 2 ˆ ) D( ˆ ), 则称 ˆ 较 ˆ 有效. D( 1 2 1 2
估计量的优良性准则.ppt
)
,
电子科技大学
估计量的优良性准则
Oct-19
即
4 3
max X i
1 i 3
和4min X
1 i 3
i
都是的无偏估计.
2) D(Y ) E(Y 2 ) E(Y )2 3 2,
80
D(Z ) E(Z 2 ) E(Z )2 3 2,
80
D(4 Y ) D(4Z ) 3
电子科技大学
估计量的优良性准则
Oct-19
注意：
M 2
1 n
n
(Xi
i 1
X )2不是
2的无偏估计
M2
1 n
n
(Xi
i 1
X
)2
n n
1
S2
E(M2)
n n
1 2
已知E(
X
)
时，1
n
n
(Xi
i 1
)2是
2的无偏估计
电子科技大学
2. 有效性
估计量的优良性准则
E
(ˆn
)
]
0
则称 ˆn 为θ的渐进无偏估计量.
电子科技大学
估计量的优良性准则
Oct-19
若θ的实函数 g(θ) 的无偏估计量存在，称
g(θ)是可估计函数.
注 当ˆ是的无偏估计量，g(ˆ)不一定是g( )
的无偏估计量.
反例
样本均值是总体均值E(X)的无偏估计量.
S2 是2 的无偏估计
(n
3n2 1)2 (n
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
估计的优良性
同一个未知参数的估计量有很多种，即使是使用最大似然估计，样本量不一样。
估计量也不相同，什么样的估计量最好呢？这就涉及到估计量的优良性标准。
从直观上看，自然是估计量被估计的量越接近越好。
但“接近”二字含义不很简单，有深入研究的必要。
设X 的密度函数(,)f x θ，其中()12,,,,m θθθθ=∈ΘΘL 是R m 中的非空集合。
设()g θ是θ的函数，X 1,X 2,…，X n 是X的样本。
所谓()g θ的估计量，是指样本的
函数()1,,n X X ϕL 。
ϕ的不同选择就得到不同的估计量。
直观上看，
()()1,,n X X g ϕθ−L 越小，ϕ就越好，但是()1,,n X X ϕL 的值是依赖于样本的，它本身是随机变量，而()g θ是未知的，所以评价估计量的优劣不很简单，需要衡量优良性的标准，当然这种标准不是唯一的，从不同角度出发可提出不同的标准。
定义2.1 设()g θ的估计量()1,,n X X ϕL 满足：对一切估计量()1,,n X X ψL 有 ()()M M θθϕψ≤（一切θ）
则称ϕ是()g θ的最小均方误差估计。
定义 2.2 设()1,,n X X ϕL 是()g θ的无偏估计，且对一切无偏估计()1,,n X X ψL 均有()()M M θθϕψ≤（一切θ），则称ϕ是()g θ的（一致）最小方差无偏估计。
“最小方差无偏估计”就是一种最优的估计量，可惜它有时并不存在。
有时无偏性标准显得不合理（参看后面的例子）。
还有别的优良性标准，如贝叶斯标准，minimax 标准等等，这里不介绍了（参看第七章）。
怎样得到（一致）最小方差无偏估计呢？这不是容易的事，需要具体问题具体分析，没有一个普遍适用的公式。
但在50年代形成的Blackwell-Lehmann-Scheffe 理论对于寻求最小方差无偏估计 有重要的指导作用。
这个理论的严密论述涉及到测试论等较深的数学工具，这里只从方法的角度作一粗浅介绍，为此称介绍有广泛重要意义的概念——充分统计量。