第二章参数估计2-2统计量的评判标准
社会统计学_参数估计
总体参数的点估计公式
1．样本均值 2．样本方差 3．样本成数
x
1 n
x
s2 1 (x x)2 n 1
p
1 n
x
m n
即用样本的 X，S 2，P 作为总体的参 数的点估计值。
例1. 根据抽样调查，以下是8名同学“社 会统计学”考试得分
学生
A B C D E F G H
[x 1.96 , x 1.96 ]
n
n
当置信度为1-=0.99时，置信区间为
[x–2.58 n
，x+2.58 n ]
区间估计原理 0.6827
落在 x SE 范围内的概率 为68.27%
区间估计原理 0.9545
落在 x 2SE 范围内的概率 为95.45%
参数估计是先看样本的情况，再问总体的 情况。
假设检验则是先假设总体的情况，再以一 个随机样本的统计值来检验这个假设是否 正确。即要先构思总体情况，才进行抽样 和分析样本的资料。
第四章 参数估计
参数估计有两种做法
一 是 点 值 估 计 （ 或 称 点 估 计:point estimation）
成绩
70 71 72 74 74 76 77 78
求：总体的均值、方差、标准差的点估计值。
解：
根据抽样调查，可以求出样本
x
1 n
x
1 8
592
74
s2 1 (x x)2 1 58 8.29
n 1
7
第二章 参数估计.pdf
22、设总体 X 在区间 [, +1] 上服从均匀分布，则 的矩估计 ˆ =
；
3
D(ˆ) =
。
23、设总体 X ~ N(, 2 ) ，若 和 2 均未知， n 为样本容量，总体均值 的置 信水平为1 − 的置信区间为 (X − , X + ) ，则 的值为________；
24、在实际问题中求某参数的置信区间时，总是希望置信水平愈 愈好，而置
解： E(ˆ1) = E(ˆ2), D(ˆ1) D(ˆ2) ． 12、设ˆ1 和ˆ2 均是未知参数 的无偏估计量，且 E(ˆ12 ) E(ˆ22 ) ，则其中的统计
量 更有效。
13、在参数的区间估计 (1,2 ) 中，当样本容量 n 固定时，精度2 −1 提高时，置
信度1 −
。
14、设 X1, X 2 ,, X n 是来自总体 X ~ N(,1) 的样本，则 的置信度为 0.95 的置
9、什么是最优无偏估计量？ 10、什么是一致最小方差无偏估计量？ 11、有效估计量和最优无偏估计量的关系是什么？ 12、什么叫均方误差最小估计量？ 13、叙述一致估计量的概念。 14、试述评价一个置信区间好坏的标准。 15、描述区间估计中样本容量、精度、置信度的关系。
三、单选题 1、设总体未知参数 的估计量 满足 E( ) = ,则 一定是 的( )
的关系为
。
6 、 称 统 计 量 T = T ( X1, X 2 ,, X n ) 为 可 估 函 数 g() 的 （ 弱 ） 一 致 估 计 量 是
指
。
7、判断对错：设总体 X ~ N(, 2 ) ，且 与 2 都未知，设 X1, X 2 ,..., X n 是来自
1
该总体的一个样本，设用矩法求得 的估计量为 ˆ1 、用极大似然法求得 的
第二章 多元正态分布及参数的估计
27
北大数学学院
第二章 多元正态分布及参数的估计
§2.2 多元正态分布的定义与基本性质—简单例子
y BxB
0 0 1
1 0 0
100 110
1 2 0
003 100
0 0 1
1 0 0
1 0 1
2 0 1
003 100
2
北大数学学院
第二章 多元正态分布及参数的估计
目录
§2.1 随机向量 §2.2 多元正态分布的定义与
基本性质
§2.3 条件分布和独立性 §2.4 随机矩阵的正态分布 §2.5 多元正态分布的参数估计
3
北大数学学院
第二章 多元正态分布及参数的估计
§2.1 随 机 向
本课程所讨论的是多变量总体.把 p个随机变量放在一起得
第二章 多元正态分布及参数的估计
§2.2 多元正态分布性质2的推论
例2.1.1
f (x1, x2
()X1,X212)的e联 12合( x12密 x22度) [1函数x为1 x2e
1 2
(
x12
x22
)
]
我们从后面将给出的正态随机向量的联合密
度函数的形式可知, (X1,X2)不是二元正态随机向 量.但通过计算边缘分布可得出:
本节有关随机向量的一些概念(联合分布, 边缘分布,条件分布,独立性;X的均值向量,X 的协差阵和相关阵,X与Y的协差阵)要求大家 自已复习.
三﹑ 均值向量和协方差阵的性质 (1) 设X,Y为随机向量,A,B为常数阵,则
E(AX)=A·E(X) E(AXB)=A·E(X)·B
6
教育与心理统计学 第二章 常用统计参数考研笔记-精品
第二章常用统计参数第二章常用统计参数用参数来描述一组变量的分布特征，便于我们对数据分布状况进行更好的代表性的描述，也有利于我们更好地了解数据的特点。
常见的统计参数包括三类：集中量数、差异量数、地位量数（相对量数X相关量数。
描述统计的指标通常有五类。
第一类集中量数：用于表示数据的集中趋势，是评定一组数据是否有代表性的综合指标，比如平均数、中数、众数等。
概述［不背］第二类差异量数：用于表示数据的离散趋势，是说明一组数据分散程度的指标，比如方差、标准差、差异系数等。
第三类地位量数：是反映个体观测数据在团体中所处位置的量数，比如百分位数、百分等级和标准分数等。
第四类相关量数：用于表示数据间的相互关系，是说明数据间关联程度的指标，比如积差相关、肯德尔和谐系数、①相关等。
第五类：是反映数据的分布形状，比如偏态量和峰度等（不作介绍I第一节集中量数（一）集中量数的定义（种类、作用）［湖南12名］描述数据集中趋势的统计量数称为集中量数。
集中量数能反映大量数据向某一点集中的情况。
常用的集中量数包括算术平均数、加权平均数、几何平均数、中数、众数等等，它们的作用都是用于度量次数分布的集中趋势。
（二）算术平均数（平均数、均数）（一级）简述算术平均数的定义和优缺点。
（1）平均数的含义算术平均数可简称为平均数或均数，符号可记为M。
算术平均数即数据总和除以数据个数，即所有观察值的总和与总频数之比。
只有在为了与其他几种集中.数洞区别时,如几何平均数、调和平均数、加权平均数，才全称为算术平均数。
如果平均数是由变量计算的,就用相应的变量表示，如又匕算术平均数是用以度量连续变量次数分布集中趋势及位置的最常用的集中量数，在一组数据中如果没有极端值, 平均数就是集中趋势中最有代表性的数字指标，是真值的最佳估计值。
（2）平均数的优缺点简述算术平均数的使用特点［含优缺点］算术平均数优点①反应灵敏。
观测数据中任1可一个数值或大或小的变化，甚至细微的变化，在计算平均数时，都能反映出来。
4.统计量的评选标准
第二节 估计量的评选标准
对于一个未知参数, 用不同的方法得到的估计量 可能不同, 哪一种估计量更好呢? 用什么样的标准来评价一个估计量的好坏呢?
常用 标准
无偏性 (Unbiased Estimator) 有效性 (Efficiency Estimator) 相合性 (consistency Estimator)
例 1 设总体 X 的 k 阶原点矩 k E(Xk ) 存在，
2
是
X
的方差，(X1
,
X 2
,
,Xn )是总体 X 的样本 ,
证明:
(1) 不论 X 服从什么分布,
Ak
1 n
n
Xik
i 1
是 k 的无偏估计量;
(2)
S2
1 n 1
n i 1
(Xi
X )2
是
2 的无偏估计量 .
证明: 由第五章定理的结论可知
n1 n X(n)
都是
的无偏估计
哪个“更好”呢？
显然，方差小的无偏估计比较好, 这就引进了 有效性这一标准.
2．有效性
设 ˆ1 和 ˆ2 都是参数 的无偏估计量， 若 D(ˆ1 ) D(ˆ2 ) ,则称ˆ1 较 ˆ2 有效. .
例如 X ~ N( 0 ,1 ) , ( X 1 , X 2 ) 是 X 的样本.
i
i 1
n i1
n i1
n
D(X * )= 2 n a 2 2 D(X )
i
i 1
n
因此, 样本均值 X 是 总体期望 的所有线性 无偏估计量中最有效的，我们把它称之为 的
第二章 点估计(2)
第二章 点估计上一章，我们介绍了统计结构的概念，并指出，与概率论相比，统计的重要特点在于分布的不确定性.实际中，在得到样本后，我们最关心的问题之一便是想知道分布族中的哪个分布产生出此样本，即要从样本推断总体分布或各种特征数.英国著名统计学家R.A.Fisher 把统计推断归纳为三个方面:抽样分布,参数估计与假设检验.其中参数估计又分为点估计和区间估计.本章主要讨论点估计,后二章分别讨论假设检验和区间估计. §2.1 估计与优良性 §2.1.1 参数及其估计在讲述参数估计之前,首先要清楚什么是参数.如果参数统计结构的分布族由}:{Θ∈=θθp P 给出,其中的参数θ本身及分布的均值、方差等特征数都是θ的实值函数,一般地,任何定义在Θ上的实值函数都可以称为参数,但参数的概念并不局限于参数统计结构,在非参数统计结构中也有参数,譬如,若总体X的分布族为}{p P =,则均值、方差等分布的特征数也是参数.由此我们可以给出如下定义.定义2.1 定义在分布族为}{p P =上的一个实值泛函)(p g 称为参数,而},,(P B χ上用来估计)(p g 的实值统计量称为)(p g 的点估计量,简称为估计.简单起见,常以θ表示参数,以)(ˆˆX θθ=表示其点估计.由定义可看出,估计的概念相当广泛,如果不对估计的好坏加以明确,估计是没有意义的.评价估计量的优劣并不简单，这首先需要明确衡量优良性的标准.当然这种标准不是唯一的，也不是绝对的.从不同角度出发可提出不同的标准.下面我们讨论估计优劣的一些标准.§2.1.2 均方误差同一参数的估计有多种，那么什么样的估计算是好的甚至是最好的？这就涉及优良性标准.从直观上看，估计量与被估计量越接近越好.当我们用)(ˆX θ估计θ时,评价该估计好坏的一个自然的度量是|)(ˆ|θθ-X ,但由于θ是未知的,样本X又具有随机性,因而这种自然度量在实际中是不可行的,为了消除随机性的影响,可以对它求平均|)(ˆ|θθ-X E ,出于数学处理上的方便,最常用的标准是由下式给出的均方误差. 2))(ˆ()ˆ(θθθθ-=X E MSE例2.1 设n X X ,,1 为来自正态总体),(2σμN 的样本，(I)若μ已知,考虑2σ的两个估计量:∑=---=n i i X n 1221)(11ˆμσ,∑=-=n i i X n 1220)(1ˆμσ, 求这两个估计量的均方误差,并比较它们的大小;(II)若μ未知,考虑2σ的两个估计量:∑=---=n i i X X n 1221)(11ˆσ,∑=-=n i i X X n 1220)(1ˆσ, 求这两个估计量的均方误差, 并比较它们的大小.解:(I)先求20ˆσ的均方误差,由于22)ˆ(σσ=E ,所以])([1)ˆ()ˆ(12220202∑=-==ni i X D n D MSE μσσσ,又∑=-ni i X122)(1μσ～)(2n χ,故n XD ni i 2])(1[122=-∑=μσ,即得4122])([σμn X D ni i=-∑=,从而知nMSE 4202)ˆ(2σσσ=,或])([1)ˆ()ˆ(1222022∑=-==ni i X D n D MSE μσσσn X D nni i 41222)(1σμ=-=∑=,(这里用到了:若X ～),(2σμN ,则⎩⎨⎧-=-为奇数，为偶数，k k k X E kk0,!)!1()(σμ从而422)(σμ=-XD )再求21ˆ-σ的均方误差, }])({)1(1)ˆ(212222212∑=-+---=ni i n X E n MSE σσμσσ 424122)1(12}])([{)1(1σσμ-+=+--=∑=n n X D n ni i , 易见对任意的02>σ,总有>-)ˆ(212σσMSE )ˆ(202σσMSE , 思考题：考虑∑=-+=ni i kX k n 122)(1ˆμσ（k 为整数），计算)ˆ(22k MSEσσ并找出k 为何值时均方误差最小.（II ）先求21ˆ-σ的均方误差,由于221)ˆ(σσ=-E ,所以 ])([)1(1)ˆ()ˆ(12221212∑=----==ni i X X D n D MSE σσσ 又∑=-ni iX X122)(1σ～)1(2-n χ,故)1(2])(1[122-=-∑=n X XD ni iσ,即得412)1(2])([σ-=-∑=n X XD ni i,从而知12)ˆ(4212-=-n MSE σσσ, 再求20ˆσ的均方误差, }])1()({1)ˆ(21222222∑=----=ni i n X X E n MSE σσσσ42412212}])([{1σσn n X X D n ni i -=+-=∑=, 易见对任意的02>σ,总有>-)ˆ(212σσMSE )ˆ(202σσMSE . 思考题：考虑∑=-+=n i i kX X k n 122)(1ˆσ（k 为整数），计算)ˆ(22k MSE σσ并找出k 为何值时均方误差最小.自然，我们希望估计量的均方误差越小越好.如果1ˆθ，2ˆθ为θ的两个估计量，若)ˆ(1θθM S E )ˆ(2θθM S E ≤对任意Θ∈θ成立，且至少有一个θ成立严格不等式，我们就说在均方误差意义下1ˆθ优于2ˆθ.一般来说均方误差2))(ˆ()ˆ(θθθθ-=X E MSE 是一个定义在Θ上以θ为自变量的函数（与样本容量n 也有关系），要对多个估计在均方误差意义下进行比较并非总可行.在数学上很自然地会提出这样一个问题：能否找到在均方误差意义下最好的估计？即是否存在一个估计*ˆθ，使得对任一估计θˆ都有)ˆ(*θθMSE )ˆ(θθMSE ≤，Θ∈∀θ. 遗憾的是，这样的估计*ˆθ是不存在的，因为若样的估计*ˆθ存在，对任一Θ∈0θ，取估计0ˆθθ≡，从而0)ˆ(*0=θθMSE ，这表明0..ˆ0*θθθP s a ，=，由0θ的任意性可知这样的*ˆθ是不存在的. 由此可见，在所有的估计中，按均方误差准则我们找不到一致最优估计，这是由于寻找的范围太大.如果把寻找的范围缩小，对估计量先进行资格预审也就是说先对估计量提出一些合理性要求，然后在满足这种合理性要求的估计类中寻找最好的估计，这是有可能办得到.无偏性便是一种常用的合理性要求. §2.1.3 无偏性 定义2.2 设}):{,Θ∈θχθp B ，（为可控参数统计结构，)(θg 是未知参数，),,(1n X X X =是来自该统计结构的样本，)(ˆX g是)(θg 的估计量，若 )())(ˆ(θθg X gE =，Θ∈∀θ则称)(ˆX g是)(θg 的无偏估计量，简称无偏估计；若)())(ˆ(lim θθg X gE n =∞→，Θ∈∀θ则称)(ˆX g是)(θg 的渐近无偏估计. 例2.2 设n X X ,,1 是来自总体),(2σμN 的样本，求解下面问题(i)验证样本均值X 是μ的无偏估计;(ii)2σ的两个常用估计量∑=-=n i i nX X n S 122)(1,∑=--=n i i X X n S 122)(11中哪个是无偏估计? (iii) 若22bS X a T+=为2μ的无偏估计,确定b a ,;(iv)确定a ,使得∑=-ni iX Xa 1||为σ的无偏估计; 确定b ,使得bS 为σ的无偏估计.解:(i),(ii)略 (iii)2222222)()1()()()(σμσσμnab a b n a S bE X aE T E ++=++=+=，由无编性定义知 对+⨯∈∀R R ),(2σμ，有222)(μσμ=++nab a从而得nb a 1,1-==；（iv ）先证明结论:若X ～),(2σμN ,则σπμ2||=-X E ,事实上 dx e x X E x 222)(21||||σμσπμμ--∞+∞-⎰-=-,令σμ-=x t ,并结合奇偶性得σππσμ222||022==-⎰∞+-dt teX E t .由0)(=-X X E i ,21),(2)()()(σnn X X Cov X D X D X X D i i i -=-+=-以及正态分布的性质知XX i -～)1,0(2σn n N -,从而σπn n X X E i )1(2||-=-,故σπσπ)1(2)1(2)||(1-=-=-∑=n n a n n anX X aE ni i , 由无编性得 0 ,)1(2>∀=-σσσπn n a,所以)1(2-=n n aπ;由22)1(σS n -～)1(2-n χ,得dz e z n zS n E zn n 2121210)21(21)1(----∞+-Γ=-⎰σdz e z nnzn n 21202)2(21)2()2(2--∞+⎰ΓΓΓ=)21()2(2-ΓΓ=n n , 故σ)21(1)2(2(-Γ-Γ=n n n b bS E ）,由无偏性可得 )2(2)21(1n n n b Γ-Γ-=.注.1.对估计而言，无偏性的要求是否一定要遵守以及无偏性的实际价值如何，这还必须结合具体问题的情况去考察.无偏性体现了一种频率思想，只有在大量重复使用时，无偏性才会体现其价值.例如，要估计某批产品的合格品率θ，从中抽取n 件产品进行检验，其中合格品件数为X ，那么n X /是θ的无偏估计.然而对一次具体的观察值x 而言，n x /要么等于θ要么不等，且其接近程度无法知晓，此时无偏性显得没有意义，如果问题改为某一工厂每天都对其生产的产品进行抽检，若假定生产过程是稳定的，那估计的无偏性要求便是合理的，比如每天都用n X /估计θ，对一天而言，该估计可能偏大也可能偏小，但在一段较长时期内，把各天的估计再进行平均，那么正负偏差就会在很大程度上得以抵消，其平均会在θ周围作微小波动.总之我们不要把无偏性要求看得过重，无偏性是大量重复使用同一估计量时应尽量满足的要求，但根据现有数据进行一次性估计时不必要求什么无偏性.2.对于无偏性我们作三点说明：（i ）无偏估计并不总存在,例如总体X～),1(θb ,参数θθθ-=1)(g 的无偏估不存在(该结论留给同学们去完成). 在统计中,将存在无偏估计的参数称为可估参数,否则称为不可估参数(不可估参数并不是不能对其进行估计).(ii)对于可估参数,无编估计一般不唯一.例如若总体X 的均值为μ,n X X ,,1 为来自该总体的样本,则对于满足11=∑=n i i a 的任一组实数n a a ,,1 ,统计量∑=ni ii X a 1都是μ的无偏估计. (iii)无偏估计不一定是好估计,无偏性要求有时会导致很不合理的结果.3.当用统计量)(ˆX g去估计参数)(θg 时,其均方误差可分解为两部分:22])(ˆ)(ˆ)(ˆ[)]()(ˆ[))(ˆ(θθθ-+-=-=X g E X g E X gE g X g E X g MSE 222)]([)](ˆ[)]()(ˆ[)](ˆ)(ˆ[θθb X g D g X gE X g E X gE +=-+-= 其中)()(ˆ)(θθg X gE b -=,称)(θb 为(系统)偏差.当)(ˆX g 为)(θg 的无偏估计时,其偏差为零,此时均方误差就是其方差.§2.1.3 相合性估计量是与相本容量有关的,假设用),,(ˆˆ1nnX X θθ=估计θ，其接近程度（当然这里首先要明确接近程度的衡量标准，比如均方误差）一般来说与n 与θ都有关系.对某个固定的n ，接近程度只与θ有关且不可能对所有的Θ∈θ都任意小，但当∞→n 时，通常可以做到这一点.为此就需要考察当∞→n 时统计量的性质，在统计中把这方面的性质叫做大样本性质.下面介绍的相合性就是大样本性质.定义2.4 设),,(ˆˆ1nnX X θθ=是θ的估计，如果当∞→n 时，有 θθPn→ˆ， 则称n θ为θ的（弱）相合估计.进一步，如果..,ˆs a nθθ→则称n θ为θ的强相合估计.显然，强相合性可推出弱相合性.在统计研究中，弱相合性便已足够了，在以后的讨论中相合性均指弱相合性.与无偏性要求不一样，相合性的要求一般要遵守，相合性被认为是对估计的基本要求，如果一个估计量不具备相合性，那无论做多少次观察或有多少个数据，它都不能把要估计的参数估计到指定的精度，这样的估计很值得怀疑，一般不予考虑.相合性讨论会涉及概率论中极限定理的内容，这部分的知识我们学得很少，这里就不详细讨论了，只给出几个结论：1. ),,(ˆˆ1n n X X θθ=是θ的估计，其均方误差为2))(ˆ()ˆ(θθθθ-=X E MSE ，若当∞→n 时，Θ∈∀→θθθ，0)ˆ(MSE ，则),,(ˆˆ1nn X X θθ=是θ的相合估计. 2.设总体X 的k 阶矩k kX E μ=)(存在，n X X ,,1 是来自该总体的样本，则样本的k 阶矩∑=n i kiX n 11是总体的k 阶矩k μ的相合估计. 3.设),,(1n jn jnX X T T =是)(θj g 的相合估计，k j ,,1 =，函数)(⋅h 在))(,),((1θθk g g 处连续，则),,(1kn n T T h 是))(,),((1θθk g g h 的相合估计.证明：因函数)(⋅h 在))(,),((1θθk g g 处连续，故对任意0>ε，>∃η，使得当k j g t j j ,,1,|)(| =<-ηθ时，有εθθ<-|))(,),((),,(|11k k g g h t t h ， 又由于),,(1n jn jn X X T T =是)(θj g 的相合估计，对任意的0>δ，j N ，当j N n >时，有kg T P j jn δηθ<≥-)|)((|，记事件)|)((|ηθ<-=j jn jng T A ，并取),,max(1k N N N =，则当N n >时，有kA P jn δ<)(，k j ,,2,1 =记事件)|)(,),((),,((|11εθθ<-=k kn n ng g h T T h B ，那么jn kj n A B 1=⊃ ，故当Nn >时，有)()(1jn k j n A P B P =≥ δ->-≥-=∑==1)(1)(111kj jk jn kj A P A P ，即对任意的0>ε，0>δ，存在N ，使当Nn >时，有δεθθ-><-1)|)(,),((),,((|11k kn n g g h T T h P ， 所以),,(1kn n T T h 是))(,),((1θθk g g h 的相合估计.例2.3 设总体X ～),1(θb ,n X X ,,1 是来自该总体的样本，那么XX -1是θθθ-=1)(g 的相合估计.例2.4设n X X ,,1 是来自该总体X的样本，(I)若μ=)(X E 存在,则样本均值X是μ的相合估计;(II) 若0)(2>=σX D 存在, 则∑=--=n i i X X n S 122)(11与∑=-=n i i n X X n S 122)(1都是2σ的相合估计;S 与n S 都是σ的相合估计.例2.5 设总体),(Y X 的相关系数为ρ,),(,),,(11n n Y X Y X 为来自总体),(Y X 的样本,则样本的相关系数∑∑∑===----ni ini ini i iY Y X XY Y X X12121)()())((是ρ的相合估计.注.相合性只是反映了当∞→n 时估计量的性质,或者说n 很大时估计量的渐近性质,而对任意有限的n ,相合性是没有意义的.相合性本身不能说明为使nθˆ达到一定精度所需的样本容量,一般说来不具备相合性的估计量不可取,但具备相合性的估计量也未必可取.事实上,相合估计可以不止一个,它们之间是有差异的,而这种差异往往可由估计量的渐近分布的渐近方差反映出来.最常用的渐近分布是正态分布. §2.1.4 渐近正态性渐近正态性是估计量的比相合性要求更高的大样本性质.定义 2.5 设),,(ˆˆ1nn X X θθ=是θ的估计,如果存在 ,2,1),(2=n n θσ,满足 )1,0()(/)ˆ(N Lnn →-θσθθ (2.7) 则称n θˆ为θ的渐近正态估计, )(2θσn 称为n θˆ的渐近方差.记nθˆ～))(,(2θσθn AN .显然,如果满足(2.7)的)(2θσn 存在，则它是不唯一的，若)(~2θσn 满足∞→→n nn ,1)(/)(~22θσθσ，则)1,0()(~/)ˆ(N Ln n →-θσθθ.一般)(2θσn 可取为nθˆ的方差. 例如，若总体X 的期望与方差分别为2,σμ，n X X ,,1 是来自该总体X 的样本，则由中心极限定理知)1,0(/N nX L →-σμ由此可见，X 是μ的渐近正态估计，X～),(2nAN σμ，并且n /2σ为X的渐近方差，此渐近方差趋于零且具有n1的阶，一般情况下渐近方差都具有n1的阶，即)()(22θσθσ→n n所以也有用下面式子来定义渐近正态性，)1,0()(/)ˆ(N n Ln→-θσθθ （2.8） 由上一章知)1,0(/N nS X L→-μ，此式中的分母与θ无关是统计量，这种形式的渐近正态性在统计推断（比如区间估计，假设检验）中用处更大.例2.4 设n X X ,,1 是来自),1(θb 的一个样本，θ的一个估计是X ，那么X ～))1(,(nAN θθθ-，即))1(,0()(θθθ-→-N X n L.对任一参数)(θg ，若)(θg '存在，则由定理1.7有))1()]([,0())()((2θθθθ-'→-g N g X g n L从而知)(X g 是)(θg 的渐近正态估计.譬如，取)1/()(θθθ-=g ，则2)1(1)(θθ-='g ，那么)1/(X X -是)1/()(θθθ-=g 的渐近正态估计，其渐近方差为3)1(θθ-n .例2.6 设nθˆ是θ的渐近正态估计，且渐近方差为n n /)()(22θσθσ=，证明nθˆ是θ的相合估计.证明：对任意0>ε，))()(/|ˆ|()|ˆ(|εθσθσθθεθθnn P P nn ≥-=≥- 给定Θ∈θ，对于任意的K ，存在,N 使当Nn >时，K n>εθσ)(， 由渐近正态性知 ))(1(2))(/|ˆ|(K K n P nΦ-→≥-θσθθ，从而有 ))()(/|ˆ|()|ˆ(|εθσθσθθεθθnn P P nn ≥-=≥- ))(1(2))(/|ˆ|(K K n P nΦ-→≥-≤θσθθ， 则 再令+∞→K ，则0))(1(2))(/|ˆ|(→Φ-→≥-K K n P nθσθθ 从而0))()(/|ˆ|()|ˆ(|→≥-=≥-εθσθσθθεθθnn P P nn ， 即nθˆ是θ的相合估计，证毕. 渐近正态性是估计的优良性质，但我们必须注意到，渐近正态性只是反映了当∞→n 时估计量的性质，它也不能说明达到所需精度时样本容量至少要多大.同一参数的渐近正态估计可以有许多，它们之间也存在优劣的比较，它们的优劣关系可通过渐近方差来比较.直观上看，渐近方差越小，在n 充分大时，估计量nθˆ落在θ的任一个给定的邻域内的概率越大.因此说“渐近方差小者为优”.下面先讨论一个例子，再给出相对渐近效的概念. 例2.7 设n X X ,,1 是来自)1,(θN 的一个样本，可用样本均值n X 估计θ，则)1,0()(N X n Ln →-θ（此处)1,0(N 实际上是)(θ-n X n 的精确分布）.另外由于θ是)1,(θN 的中位数，我们也可用样本中位数5.0m 来估计θ，且)2,0()(5.0πθN m n L→-可见n X 和5.0m 都是θ的渐近正态估计，渐近方差分别为n1和n 2π.由于n 1n2π<，故前者优于后者，对同样的n ，后者的渐近方差与前者的渐近方差之比为57.12≈π.换句话说，要达到相同的精度，用5.0m 所需的样本容量是用n X 所需的样本容量的7.51倍.定义 2.6 设n θˆ 和nθ~是θ的两个渐近正态估计，其渐近方差分别为21n σ和22n σ，则称 2122lim )~,ˆ,(nn n n n e σσθθθ∞→=为n θˆ对nθ~的相对渐近效率. §2.2 一致最小方差无偏估计前面已经介绍过，当)(ˆX g为参数)(θg 的无偏估计时，其均方误差便是它的方差，这样用均方误差准则去评价无偏估计的优劣时就等同于用方差去评判.方差越小越优（越有效）.至此我们自然会想到这样两个问题：在参数)(θg 的所有无偏估计组成的估计类（记为g U ）中是否存在一个最优的估计，即是否存在这样的一个无偏估计，其方差在g U 中对Θ中所有θ一致地达到最小？如果这样的无偏估计存在，又该怎样把它找出来？下面就这两个问题进行讨论.§2.2.1 一致最小方差无偏估计定义：设)(θg 是可估参数，如果)(X T 是)(θg 的无偏估计，且对g U 中任一个估计)(X ϕ，有 Θ∈∀≤θϕθθ)),(())((X Var X T Var则称)(X T 为)(θg 的一致最小方差无偏估计，简记为UMVUE(Uniformly Minimum Variance Unbiased Estimate). 为进一步研究UMVUE,我们应想到充分统计量的一个重要作用:降低无偏估计的方差. 引理 2.2 设)(X S 是分布族}:{Θ∈θθp 的充分统计量, )(X ϕ是)(θg 的无偏估计,令))(|)(()(X S X E X T ϕ=,则)(X T 也是)(θg 的无偏估计,且Θ∈∀≤θϕθθ)),(())((X Var X T Var . 证明:因为)(X S 是充分统计量,故))(|)(()(X S X E X T ϕ=与θ无关,即)(X T 是统计量.易见))(())}(|)(({))((X E X S X E E X T E ϕϕ==)(θg =即)(X T 是)(θg 的无偏估计.又22))()()()(())()(())((θϕθϕϕg X T X T X E g X E X Var -+-=-=注意到))}()())(()({(θϕg X T X T X E --)}(|))]()())(()([({X S g X T X T X E E θϕ--= 0))}(|))()(())()({(=--=X S X T X E g X T E ϕθ,于是))(())()(())()(())((22X T Var g X T E X T X E X Var ≥-+-=θϕϕ.引理得证.由此引理可知,对于)(θg 的任一无偏估计量)(X ϕ,总可通过充分统计量)(X S 找到一个不次于它的无偏估计))(|)(()(X S X E X T ϕ=,而且从证明过程中可以看出除非..),()(s a X X T ϕ=,否则)(X T 比)(X ϕ更有效.但这样得到的无偏估计)(X T 是否是UMVUE 呢?进一步分析可以看出,如果通过)(θg 的任意无偏估计)(X ϕ得到的))(|)(()(X S X E X T ϕ=是唯一的,那这个唯一的)(X T 就是UMVUE.于是有下面定理.定理2.3设)(X S 是分布族}:{Θ∈θθp 的完备充分统计量, )(θg 为可估参数,则)(θg 的UMVUE 存在.又设)(X ϕ是)(θg 的无偏估计,令))(|)(()(X S X E X T ϕ=,则)(X T 是)(θg 的UMVUE,且在几乎处处意义下是唯一的.证明:对于任意的g U X g X g∈)(ˆ),(ˆ21,令2,1)),(|)(ˆ()(==i X S X g E X T i i ,那么2,1),(=i X T i 都是)(X S 的函数,并且 0)()())()((21=-=-θθg g X T X T E由)(X S 的完备性知, ..),()(21s a X T X T =即从g U 中任一估计均可得到一个相同的)(X T ,该)(X T 就是)(θg 的UMVUE,且它是)(X S 的函数,在几乎处处意义下是唯一的.证毕.该定理告诉我们,只要充分完备统计量存在,可估参数的UMVUE 一定存在.并且还提供了找UMVUE 的两种方法. 方法1:先找到充分完备统计量)(X S ,再设法构造一个)(X S 的函数))((X S g ,使得)())](([θg X S g E =,那么))((X S g 是)(θg 的UMVUE.方法2: 先找到充分完备统计量)(X S 并找一个)(θg 的无偏估计)(X ϕ,再求条件期望))(|)(()(X S X E X T ϕ=,那么)(X T 是)(θg 的UMVUE.我们很容易得到下面结果:设n X X ,,1 是来自总体X的样本,(I) 若X ～),0(θU ,则)(1n X nn +是θ的UMVUE;(II) 若X ～),1(θb ,则X 是θ的UMVUE; (III) 若X ～),(2σμN ,则2,S X 分别是2,σμ的UMVUE.(若μ已知,那2σ的UMVUE 是什么?)例2.8 设总体X ～),(2σμN ,n X X ,,1 是来自总体X的样本,(I)求2μ的UMVUE; (II)求4σ的UMVUE.解(I)),(2SX 是),(2σμ的充分完备统计量,且222)1(μ=-S n X E ,故221S nX -是2μ的UMVUE;(II)由于44422241112)]([)()(σσσ-+=+-=+=n n n S E S D S E , 从而44)11(σ=+-S n n E ,故411S n n +-是4σ的UMVUE. 例2.9 设总体X ～),1(θb ,n X X ,,1 是来自总体X的样本,（I ）求总体的方差)1(θθ-的UMVUE; (II)求k n kg --+=)1()(θθθ的UMVUE.k (为正整数)解:(I)X 为充分完备统计量,由于)1(1))1(()()())1((22θθθθθθ--=-+-=-=-nn nX E X E X X E , 故 )1())1(1(θθ-=--X X n nE , 所以)1(1X X n n--为)1(θθ-的UMVUE; (III)要找出充分完备统计量∑==ni i X X S 1)(的函数))((X S g ,使之为k n k g --+=)1()(θθθ的无偏估计在这里是困难的,但我们可以方便地找出)(θg 的一个无偏估计,令⎪⎩⎪⎨⎧==∑=其他 ,0,,1)(11k X X k i i ϕ ⎪⎩⎪⎨⎧==∑+=其他 ,0,0,1)(12n k i i X X ϕ)()()(21X X X ϕϕϕ+=,则)(X ϕ为k n k g --+=)1()(θθθ的无偏估计.由定理2.3,))(|)((X S X E ϕ是)(θg 的UMVUE,下面来求))(|)((X S X E ϕ,))(|)((X S X E ϕ))(|)(())(|)((21X S X E X S X E ϕϕ+=在),,0()(n s s X S ==条件下,⎩⎨⎧>≤=====--==∑∑s k s k C C s X k X P s X S X E sn s k k nki ni i i ,0,,/)|())(|)((111ϕ⎩⎨⎧<≥=====∑∑+==sk s k C C s X X P s X S X E sn s k nk i ni i i ,0,,/)|0())(|)((112ϕ 因此)(θg 的UMVUE 为⎪⎩⎪⎨⎧=<>=--k X S C k X S C C k X S C C X T X S n X S n X S k X S n k X S k n )(,/2)(,/)(,/)()()()()()(例2.10 某厂生产的产品其废品率为θ，现将该产品包装成盒，每盒抽n 个产品逐个检验，得废品数X（假设盒中产品数远远大于n ，可认为X ～),(θn b .当2≤X 时，商店接收该盒产品，3≥X 时，商店拒收该盒产品.那一盒产品被接收的概率为221)1(2)1()1()1()(----+-+-=n n n n n n g θθθθθθ， 现设抽检了r 盒这种产品，设第i 盒的废品数为i X ，r i ,,1 =，求)(θg 的UMVUE.解：充分完备统计量为∑==ri i X X S 1)(，且)(X S ～),(θrn b ，令⎩⎨⎧≥≤=3,0,2,1)(11X X X ϕ则)())((θϕg X E =，即)(X ϕ为)(θg 的无偏估计，下面求))(|)((X S X E ϕ，))(|)((X S X E ϕ=))(|0(1X S X P =))(|1(1X S X P =+))(|2(1X S X P =+,s rns n r C C s X S X P /))(|0()1(1-===,srn s n r C nC s X S X P /))(|1(1)1(1--===,srn s n r C C n n s X S X P /2)1())(|2(2)1(1---===, 因此)(θg 的UMVUE 为)(}2)()1(1)()1()()1(/2)1({)(X S rn X S n r X S n r X S n r C C n n nC C X T ------++=. 例2.11 假设某种产品的寿命X 服从参数为λ的指数分布,对某给定的时间0t ,我们要估计产品在0t 前失效的概率)(1)(00λλg et XP t ∆-=-=≥.为此我们取n 个这样的产品进行试验,记录它们的寿命分别为i X (n i ,,1 =),试求)(λg 的UMVUE.解: 充分完备统计量为∑==ri i X X S 1)(,且)(X S ～),(λn Ga ，令⎩⎨⎧>≤=0101,0,,1)(t X t X X ϕ则)())((λϕg X E =，即)(X ϕ为)(λg 的无偏估计，下面求))(|)((X S X E ϕ，由Gamma 分布的性质知,)(1X S X 与)(X S 独立,且)(1X S X ～)1,1(-n Be ,故当0t s≥时))(|)((s X S X E =ϕ))(|)(())(|(0101s X S st X S X P s X S t X P =≤==≤=1002)/1(1)1)(1(0----=--=⎰n s t n s t du u n ,当0t s<时, 1))(|)((==s X S X E ϕ,由此得)(λg 的UMVUE 为⎪⎩⎪⎨⎧>≥--=-0010)(,1,)(,))(1(1)(tX S t X S X S t X T n注. UMVUE 是在无偏估计类中找出的均方误差最小的估计，但如果不限于无偏估计，经常会出现这样的有偏估计，其均方误差一致地小于UMVUE 的均方误差.比如，n X X ,,1 为来自总体),(2σμN 的样本，2S 是2σ的UMVUE ，2n S 是2σ的有偏估计，但2n S 的均方误差一致地小于2S 的均方误差.§2.2.2 U 统计量上述讨论是在参数统计结构下进行的，事实上上面的讨论同样适用于非参数统计结构.在非参数统计结构中寻找UMVUE ，定理2.3也是适合的，此处，U 统计量扮演了重要角色.设参数统计为),P B ，（χ，我们要估计参数)(P g .我们把使)(P g 能估计出来的最小样本容量称为参数)(P g 的阶，记为m .譬如，若)()(X E P g p =，则1=m ；若)()(X Var P g p =，则2=m .由样本容量为m 的样本可结出)(P g 的无偏估计，该无偏估计称为核，若无偏估计是样本的对称函数，则称之为对称核.比如，若)()(X E P g p =，则1X 是)(P g 的对称核；若)()(X Var P g p =，2121X X X -是)(P g 的核，但不是)(P g 的对称核.然而我们可以由核构造对称核：只要把!m 个可能不同的核加以平均即可.比如2121X X X -不是)()(X Var P g p =的对称核，我们把2个不同的核2121X X X -，2122X X X -加以平均得+-)[(212121X X X )](2121X X X -221)(21X X -=，此核便是对称核.我们用),,(1m m X X f 表示对称核.现设我们有)(m n n ≥个样品组成的样本n X X ,,1 ，那么任意m 个样品都可以结出一个对称核，我们把所有mn C 个对称核的平均称为U 统计量，记为n U ，即 ∑≤<<≤-=ni i i i mm n nm m X X fC U 1111),,()(显然n U 是)(P g 的无偏估计，而且由于n U 是样本的对称函数，因而n U 是次序统计量）（)()1(,,n X X 的函数.对于常见的非参数统计结构，次序统计量）（)()1(,,n X X 大多是充分完备统计量，因而n U 是)(P g 的UMVUE.例2.14（1）设{=P 所有一阶矩存在的一维分布}，令)(P g 为总体均值，111)(X X f =为对称核，U统计量为∑==ni i n X n U 11，故总体均值的UMVUE 为X . （2）设{=P所有二阶矩存在的一维分布}，令)(P g 为总体方差，221212)(21)(X X X X f -=，为对称核，U 统计量为 ∑<--=j i j i nX X n n U 2)(21)1(2∑∑<---=ji j i i X X X n n n ]2)1[()1(12∑∑∑=--=--=n i i i i X X n X X n n n 1222)(11])([)1(1 故总体方差的UMVUE 为2S .U 统计量具有很好的大样本性质，比如强相合性、渐近正态性，这使得U 统计量在非参数统计推断中起着很大的作用，在下一章中我们将作进一步的讨论. 补充.条件期望及其性质设Y X ,是概率空间),,(P F Ω上的两个随机变量，且)(X E 存在（不必要求有限），X在Y 之下的条件期望记为)|(Y X E ，它是Y的函数（因而是随机变量）且满足)(,)|(Y A XdP dP Y X E AAY σ∈∀=⎰⎰，其中)(Y σ是Y 所生成的σ代数，它是F 的子σ代数，而Y P 是P 在)(Y σ的限制.以上说法是建立在测度论基础上的，较理论，我们不必太在意.我们在意的应该是：（1）如何求条件期望；（2）条件期望有哪些性质以及这些性质的应用.先来说说如何求条件期望，对于我们来讲求条件期望还是要回到我们以前学过的概率论中的条件分布上去：由),(Y X 的联合分布确定y Y =条件下X 的条件分布，然后按此条件分布求出X 的期望，此期望会依赖于y ，即是y 的函数，记为)(y g ，则)(Y g 便是)|(Y X E .比如，若),(Y X 是连续随机向量且具有联合密度),(y x p ，先求出Y的边际密度⎰+∞∞-=dx y x p p Y ),(再求y Y =条件下X的条件密度)(),()|(|y p y x p y x p Y Y X =按此条件密度求出X 的期望)()(),()|(y g dx y p y x p x y Y X E Y ∆+∞∞-=⋅==⎰， 那么)()|(Y g Y X E =.若),(Y X 是离散随机向量，也是类似地去求)|(Y XE .例 设),(Y X ～),,,,(222121ρσσμμN ，由于y Y X =|～))1(),((2212211ρσμσσρμ--+y N ， 从而知)()|(2211μσρσμ-+==y y Y XE ，故)()|(2211μσρσμ-+=Y Y X E . 再来说说条件期望性质，下面我们不加证明地列举条件期望的一些性质.,)|(c Y c E = ),()|)((Y h Y Y h E =)|()()|)((Y X E Y h Y Y Xh E =，)|()|()|(2121Y X bE Y X aE Y bX aX E +=+，若Y X ,相互独立，则)()|(X E Y X E =，)()}|({X E Y X E E =.严格地讲，以上式子都是在几乎处处的意义下成立. 下面举一例子来说明条件期望的应用. 证明：22))|(())((Y X E X E Y h X E -≥-，其)(Y h 为Y的任意函数，且等号成立当且仅当..),|()(s a Y X E Y h =证明：22))()|()|(())((Y h Y X E Y X E X E Y h XE -+-=-))}()|())(|({(2))|()(())|((22Y h Y X E Y X E X E Y X E Y h E Y X E X E --+-+-=而}|))]()|())(|([({))]()|())(|([(Y Y h Y X E Y X E X E E Y h Y X E Y X E XE --=--]}|))|(()][()|({[Y Y X E X E Y h Y X E E --=0=所以=-2))((Y h XE 22))|()(())|((Y X E Y h E Y X E X E -+-2))|((Y X E X E -≥.并且等号成立当且仅当0))|)((2=-Y EXY h E ，即..),|()(s a Y X E Y h =证毕.上面不等式的统计意义是：如果我们用Y 的函数)(Y h 去预测X ，那么=)(Y h )|(Y X E 时，预测的均方误差达到最小.若用均方误差作为预测效果好坏的评判标准，那么最佳预测就是)|(Y XE .当),(Y X 服从二维正态分布时，由于)|(Y X E 是Y的线性函数，因此对于二维正态分布，最佳预测等同于最佳线性预测，这也是正态分布的一个性质. §2.3 信息不等式 §2.3.1 Fisher 信息量Fisher 信息量与信息不等式是统计学中两个重要结果，这里先介绍Fisher 信息量的概念及性质. 定义2.8 设统计结构}):{,,(Θ∈θχθp B 可控，Θ为k R 的子集，假如定义在),(θχB 上取值于kR的随机向量))(ln ,,)(ln ,)(ln ()(21'∂∂∂∂∂∂=kX p X p X p X S θθθθθθθ满足；（1）)(X S θ对一切Θ∈θ有定义；（2）Θ∈∀=θθθ,0))((X S E ； （3）+∞<2||)(||X S E θθ；则把)(X S θ的协方差矩阵])()([))(()('==X S X S E X S Var I θθθθθθ称为该统计结构的Fisher 信息矩阵，简称Fisher 信息，1=k时)(θI 常称为Fisher 信息量.关于Fisher 信息，首先有一个存在性问题，对此有个结论：Cramer-Rao 正则族中Fisher 信息存在. 定义2.9 分布族}:)({Θ∈θθx p 称为Cramer-Rao 正则族，如果 (1)Θ为kR 上的开矩形;(2)ix p θθ∂∂)(ln ,k i ,,1 =对所有Θ∈θ存在;(3)支撑}0)(:{>=x p x A θ与θ无关; (4)对)(x p θ,积分与微分可交换;(5)对一切k j i ≤≤,1,Θ∈∀θ,+∞<∂∂⋅∂∂|)(ln )(ln |ji x p x p E θθθθθ.定义2.9中的(2),(5)分别与定义2.8中的(1),(3)等价,而2.9中的(3),(4)可推出定义2.8中的(2),因此Cramer-Rao 正则族存在Fisher 信息.一般而言,指数型分布族是因此Cramer-Rao 正则族,因而存在Fisher 信息.下面看一下如何由2.9中的(3),(4)推出定义2.8中的(2),⎰⎰⎰=∂∂=∂∂=∂∂0);();();();(ln dx x p dx x p dx x p x p iii θθθθθθθ例2.15 求Poisson 分布族}0:)({>λλP 的Fisher 信息量.解：Poisson 分布族是Cramer-Rao 正则族，因而Fisher 信息存在，其密度函数为λλλ-=e x x p x!)(，1)(ln )(-=∂∂=λλλλXX p X S ，λλλλλ1)(1)1()(222=-=-=X E X E I .若n X X ,,1 为来自)(λP 的样本，那么样本),,(1n X X 的密度函数为)()(),,(11n n x p x p x x p λλλ =，统计结构为重复抽样结构，其分布族为)},,({1n x x p λ，那么该统计结构（或该分布族）的Fisher信息为 λλλnX E I ini =-=∑=21)1(()(，这个信息量也称为样本n X X ,,1 的信息量.例2.16 求正态分布族}),(:),({22+⨯∈R R N σμσμ的Fisher 信息量矩阵.解：正态分布),(2σμN 的密度函数为22)(2122)21(),;(σμπσσμ---=x e x p)212)(,()(2422σσμσμ---=X X X S ,1)(22211σσμ=-=X E I0]}212)([{242212=---=σσμσμX X E I ,4244222422221)(41)2)((]212)([σσμσσμσσμ=-=-=--=X D X D X E I ,因此信息矩阵为⎪⎪⎪⎪⎭⎫ ⎝⎛=4221001σσI 若n X X ,,1 为来自),(2σμN 的样本，那么样本),,(1n X X 的Fisher 信息量矩阵为⎪⎪⎪⎪⎭⎫ ⎝⎛=4221001σσn I 对于重复抽样结构,其 Fisher 信息是总体分布族的Fisher 信息的n 倍,即若n X X ,,1 为来自X的样本,则n X X ,,1 的Fisher 信息是总体分布族的n 倍,更一般地,若n X X ,,1 相互独立,不论它们是否同分布,n X X ,,1 的Fisher 信息等于各分量的Fisher 信息之和.计算信息矩阵时，有一种更方便的方法：假设)(ln x p θ对θ有二阶连续偏导，且积分与微分可交换（多次场合下是成立的，比如指数族），则Fisher 信息的计算有如下公式,))(ln ()(2ji ij x p E I θθθθθ∂∂∂-=,事实上,记ii x p S θθθ∂∂=)(ln )(,则)()()(j i ijS S E I θθ=,由0)()(=i S E θθ,以及积分与微分可交换性得⎰∂∂=∂∂=dx x p S S E i jj i )()]([0)()(θθθθθθ ⎰∂∂=dx x p S j i θθθ)(()(⎰⎰∂∂+∂∂=dx x p S dx x p S j i j i θθθθθθ)()()()()( ⎰⎰∂∂+∂∂∂=dx x p x p S dx x p x p j i j i )()(ln )())((ln )(2θθθθθθθθ)(])(ln [)()(2j i j i S S E X p E θθθθθ+∂∂∂=ij j i I X p E +∂∂∂=])(ln [2θθθ,所以))(ln ()(2ji ij x p E I θθθθθ∂∂∂-=.用此公式再重新计算一下例2.15及例2.16,可以发现用后面的公式更简便些. §2.3.2 Fisher 信息与统分统计量对绝统计量,我们可用其诱导的统计结构的Fisher 信息定义该统计量的Fisher 信息. 定义 2.10 设)(X T 是统计结构}):{,(Θ∈θχθp B ，上的统计量,}):{,,(Θ∈ΩθθTp F 为)(X T 的诱导统计结构,如果}):{,,(Θ∈ΩθθTp F 的Fisher 信息存在,则称其为统计量)(X T 的Fisher 信息,记为)(θT I .在计算统计量的Fisher 信息时,还是要先把统计量)(X T 的分布族求出来,再按前面的方法去求,其难度一般比较大,原因在于求统计量)(X T 的分布族并不容易,这里不作太高的要求,下面举二个例子.例 2.17 设n X X ,,1 为来自)(λP 的样本,取统计量∑==ni i X X T 1)(,求统计量)(X T 的Fisher信息.解: 统计量∑==ni i X X T 1)(～)(λn P ,其密度函数为λλλn x e x n x p -=!)()(， n X X p X S -=∂∂=λλλλ)(ln )(， 222)(ln λλλXX p -=∂∂λλλnXE I T =--=)()(2.易见统计量)(X T 的Fisher 信息与样本的Fisher 信息相等. 例2.17 设n X X ,,1 为来自),(2σμN 的样本,记),(2σμθ=,定义统计量）21,()(T T X T =,其中X T =1,22S T =,求统计量)(X T 的Fisher 信息矩阵.解:由于1T 与2T 相互独立,故）21,()(T T X T =的信息矩阵为1T 的信息矩阵与2T 的信息矩阵的和,因此为求）21,()(T T X T =的信息矩阵,只需分别求1T 的信息矩阵与2T 的信息矩阵. 因为1T ～)/,(2n N σμ,仿例2.16的计算,可得1T 的Fisher 信息矩阵为⎪⎪⎪⎪⎭⎫ ⎝⎛=4221001σσn I T 由于Z22)1(σS n -=～)1(2-n χ,可得Z n S 122-=σ的密度函数为0,1)1(2)21(1)(2211212212>-⋅--Γ=-----x n e x n n x p x n n n σσσ 那么0(ln =∂∂μ）x p ,x n n x p 642221121)((ln σσσ--⋅-=∂∂）,又46422221]1121[])((ln [σσσσ--=--⋅-=∂∂n x n n E x p E ）, 所以2T 的Fisher 信息矩阵为⎪⎪⎭⎫ ⎝⎛-=4210002σn I T ,所以）21,()(T T X T =的信息矩阵为 ⎪⎪⎪⎪⎭⎫ ⎝⎛=+=422100121σσn I I I T T T 在以上两个例子中,统计量的Fisher 信息量或信息矩阵与样本的Fisher 信息量或信息矩阵相同,这是必然还是偶然?统计量的信息与样本的Fisher 信息有何关系呢?下面两个定理来回答这两个问题., 定理2.4 设}:{Θ∈θθp 为Cramer-Rao 正则族,其Fisher 信息记为)(θI ,又设)(X T 是该统计结构上的统计量, 其Fisher 信息记为)(θT I ,则 ≤)(θT I )(θI该定理的证明超出了我们的知识范围,这里就不给出证明.该定理结论的统计意义是明显的,因为统计量是对样本的加工,它不可能比样本自身提供更多的信息. 定理2.5 在定理2.4的条件下, =)(θT I )(θI ,Θ∈∀θ成立的充要条件是)(X T 是充分统计量.该定理表明,当且仅当)(X T 是充分统计量时, )(X T 所含θ的信息与样本一致,这说明, Fisher 将)(θI 称为信息量确有一下定的根据.例2.16,2.17中的统计量都是充分统计量,因而出现统计量的Fisher信息量或信息矩阵与样本的Fisher 信息量或信息矩阵相同就属正常了.这个定理的证明超出了我们的知识范围.§2.3.3 信息不等式对于无偏估计,我们自然希望其方差越小越好,但其方差不可能任意小,那么无偏估计量的方差是否有下界以及下界是什么?这是值得讨论的问题.下面介绍的信息不等式就是围绕此问题展开讨论的,信息不等式又称为Cramer-Rao 不等式. 定理2.6 设}:{Θ∈θθp 为Cramer-Rao 正则族,k R ⊂Θ,其Fisher 信息)(θI 是非奇异矩阵(即是正定矩阵),并设参数ks g g g s ≤=)),(,),(()(1θθθ ,且),,1,,,1()(k j s i g ji ==∂∂θθ存在.)(X T 为)(θg 的模平方可积的无偏估计,记)()(θθθg d dS T E ='=∆,则有 Θ∈∀∆'∆≥-θθθ,)())((1I X T Var .。
估计量的 评价标准
估计量的评价标准
1.1 无偏性
（2）由于
D( X i
)
2
，
D( X
)
2 n
，所以
因此
E(
X
2 i
)
D( Xi
)
[E( X i
)]2
2
2
，
E(X
2
)
D( X
)
[E( X
)]2
2
2
．
n
E(ˆ 2 )
E(S 2 )
1 n 1
E
n i 1
X
2 i
nX
2
1 n 1
n i 1
E(
X
2 i
)
nE ( X
2
)
n
1
1
n(
2
2
)
n
2 n
2
n
1 1
n
2
2 n
n
2 ．
由无偏估计量的定义可知， ˆ 2 S 2 是 2 的无偏估计量．
参数估计
估计量的评价标准
1.2 有效性
ˆ 围绕 的真值波动幅度越小越好．下面我们将会看到，同一个参数满足无偏性要求的
估计值往往也不止一个．无偏性只对估计量波动的平均值提出了要求，但是对波动的“振
概率论与数理统计
参数估计
估计量的评价标准
由上节可知，对于总体 X 的同一参数，用不同的估计方法求出的估计量可 能不相同，而且即使用相同的方法也可能得到不同的估计量．也就是说，同一 参数可能有多种不同的估计量．原则上来说，任何统计量都可以作为未知参数 的估计量．确定估计量好坏必须在大量观察的基础上从统计的意义来评价，即 估计量的好坏取决于估计量的统计性质．
二章节参数估计-精选
n1
E[C (Xi1Xi)2]
i1 n 1
C{D (X i 1X i) [E (X i 1X i)]2}
i 1
n1
C 2D(X) C 2 (n 1 )D (X )
i 1
n1
依题意，要求： E[C (Xi1Xi)2]D(X)
i1
D ( X i 1 即 X i C ) 2 D ( n ( X i 1 ) 1 D ) ( X D ) ( X D i ) ( X 2 ) D ( X )
点估计问题就一 是个 要适 构当 造的统计
ˆ(X1,X2,,Xn),用它的观ˆ(察 x1,x值 2,,xn) 来估计未知 . 参数
ˆ(X 1,X 2,,X n)称的 为估 .通计 称估量 计, ˆ(x1,x2,,xn)称为 的估 . 计 简记值 为ˆ.
例2 在某纺织厂细纱断机头上次的 X数 是一个
无偏估计的实际意义: 无系统误差.
若 l i m E ) , 则 称 ) 是 的 渐 近 无 偏 估 计 . n
例3 设总体X的X1, X2,L , Xn是X的一个样本，试证明不论
总体服从什么分布, k阶样本矩Ak
1 n ni1
Xik
是
k阶总体矩k的无偏估计.
E D ( (X X i )1 0X i ) E C( X 2i (1 n1) 1E ).( (X ii ) 1 ,2 0 , ,n )
注 一般地，一个参数 的无偏估计量不唯一.
如：设样本(X1, X2 , ···, Xn ) 来自总体X，E(X)=,
则X是 的无偏 . 此 估外 计，
随机变,假 量设它服从以 0为参数的泊松 , 分 参数 为未,知 现检查1了 5只 0 纱锭在某一时间 内断头的,次 数数 据如,试 下估计参 .数
《应用数理统计》吴翊李永乐第二章 参数估计课后习题参考答案
第二章 参数估计课后习题参考答案2.1 设总体X 服从二项分布()n X X X p p N B ,,,,11,,21 <<为其子样，求N 及p 的矩法估计。
解：()()()p Np X D Np X E -==1,令()⎪⎩⎪⎨⎧-==p Np S Np X 12解上述关于N 、p 的方程得：2.2 对容量为n 的子样，对密度函数22(),0(;)0,0x x f x x x ααααα⎧-⎪=⎨⎪≤≥⎩其中参数α的矩法估计。
解：122()()a E x xx dx ααα==-⎰22022()x x dx ααα=-⎰2321221333ααααααα=-=-= 所以 133a x α∧== 其中121,21(),,,n n x x x x x x x n=+++为n 个样本的观察值。
2.3 使用一测量仪器对同一值进行了12次独立测量，其结果为(单位：mm) 232.50，232.48，232.15，232.52，232.53，232.30 232.48，232.05，232.45，232.60，232.47，232.30 试用矩法估计测量的真值和方差(设仪器无系统差)。
⎪⎪⎩⎪⎪⎨⎧-=-==X S p S X X p X N 2221ˆˆˆ解：()()()∑∑====-====ni i ni i S X X n X D X X n X E 12210255.014025.23212.4 设子样1.3，0.6，1.7，2.2，0.3，1.1是来自具有密度函数()10,1,<<=βββx f 的总体，试用矩法估计总体均值、总体方差及参数β。
解：()()()()4.22ˆ2,1,407.012.1101221========-===⎰⎰∑∑==X Xdx xdx x xf X E x f XX n S X n X ni i ni i ββββββββ参数：总体方差：总体均值：2.5 设n X X X ,,,21 为()1N ，μ的一个字样，求参数μ的MLE ；又若总体为()21N σ，的MLE 。
第二章 参数估计汇总
第二章 参数估计一、填空题1、总体X 的分布函数为);(θx F ，其中θ为未知参数，则对θ常用的点估计方法有 ， 。
2、设总体X 的概率密度为(),(;)0,x e x f x x θθθθ--⎧≥=⎨<⎩而12,,,n X X X 是来自总体X 的简单随机样本，则未知参数θ的矩估计量为_______3、设321,,X X X 是来自总体X 的简单随机样本，且μ=)(X E ，记3211313131X X X ++=μ，3212214141X X X ++=μ 2132121X X +=μ， 3214414141X X X ++=μ则哪个是μ的有偏估计 ，哪个是μ的较有效估计 。
4、随机变量X 的分布函数);(θx F 中未知参数θ的有效估计量和极大似然估计量的关系为 。
5、随机变量X 的分布函数);(θx F 中未知参数θ的有效估计量和最优无偏估计量的关系为 。
6、称统计量),,,(21n X X X T T =为可估函数)(θg 的（弱）一致估计量是指 。
7、判断对错：设总体),(~2σμN X ，且μ与2σ都未知，设n X X X ,...,,21是来自该总体的一个样本，设用矩法求得μ的估计量为1ˆμ、用极大似然法求得μ的估计量为2ˆμ，则1ˆμ=2ˆμ。
_________________8、ˆnθ是总体未知参数θ的相合估计量的一个充分条件是_______ . 解：ˆˆlim (), lim Var()0n nn n E θθθ→∞→∞==． 9、已知1021,,x x x 是来自总体X 的简单随机样本，μ=EX 。
令∑∑==+=1076181ˆi i i i x A x μ，则当=A 时，μˆ为总体均值μ的无偏估计。
10、 设总体()θ,0~U X ，现从该总体中抽取容量为10的样本，样本值为0.51.30.61.7 2.21.20.81.5 2.01.6， ， ， ， ， ， ， ， ，则参数θ的矩估计为 。