第一节--点估计和估计量的求法
合集下载
点-估-计
1 2 2
(x
)2
．
n
L( ， 2 )
i 1
1 2π
exp
1 2
2
( xi
)2
(2π)
n 2
(
2
)
n 2
exp
1 2
2
n
( xi
i 1
)2
，
对似然函数取对数得
ln L( ， 2 ) n ln(2π) 2
n ln 2 2
1 2 2
n
( xi
i 1
)2 ，
参数估计
点估计
1.2 极大似然估计法
参数估计
点估计
1.1 矩估计法
取样本的 i 阶原点矩 Ai 作为总体 i 阶原点矩 i 的
估计量，即
ˆi
Ai
1 n
n j 1
X
i j
，
（6-1）
得方程组
解得
i (1 ，2 ， ，k ) ˆi ，
ˆi ˆi ( X1 ，X 2 ， ，X n ) ， 称ˆi 为i 的矩法估计量，简称矩估计．
参数估计
点估计
1.1 矩估计法
例1
设总体
X 具有概率密度
f
(x)Biblioteka 2 2(x) ，0
x
，参
数
未
知
，
0 ，
其他 ，
X1 ，X2 ， ，Xn 是来自 X 的样本，求 的矩法估计量．
解 总体 X 的数学期望为
E(X )
0
2x
2
(
x)dx
3
．
由式（6-1），令
E(X )
1 n
n i 1
Xi
第一节--点估计和估计量的求法
稍事休息
2. 最大似然估计法
它是在总体类型已知条件下使用的一种参数估 计方法 .
它首先是由德国数学家高斯在 1821年提出的 . 然而,这个方法常 归功于英国统计学家费歇 .
Gauss
Fisher
费歇在1922年重新发现了这 一方法，并首先研究了这种方法 的一些性质 .
最大似然法的基本思想
先看一个简单例子： 某位同学与一位猎人一起外 出打猎 . 一只野兔从前方窜过 . 只听一声枪响，野兔应声倒下 . 如果要你推测，是谁打中的呢？ 你会如何想呢?
0
1
令E X X
X 1
2
ˆ X
1 X
矩法的优点是简单易行,并不需要事先知道总体 是什么分布 .
缺点是，当总体类型已知时，没有充分利用分 布提供的信息 . 一般场合下,矩估计量不具有唯一性 .
其主要原因在于建立矩法方程时，选取那些总体 矩用相应样本矩代替带有一定的随意性 .
F( x, ) ，其中 为未知参数 ( 可以是向量) .
现从该总体抽样，得样本
X1,X2,…,Xn
要依据该样本对参数 作出估计, 或估计 的某个已知函数 g( ).
这类问题称为参数估计.
点估计
参数估计
区间估计
例如我们要估计某队男生的平均身高.
（假定身高服从正态分布 N (,0.12 )）
解得
a μ1 3( μ2 μ12 ) b μ1 3( μ2 μ12 )
于是 a , b 的矩估计量为
总体矩
a X
样本矩
3
n
n
(Xi
i 1
X )2
,
b X
3
概率论与数理统计-点估计-矩法估计
x
dx
2
2
0
故令
1
n
n
i2
i 1
2ˆ2
n
于是解得 的矩估计量为
ˆ
1 2n
i2
i 1
估计量的评价 标准
点估计有多种方法，同一个未知参数用不同的方法可得 到不同的估计量，那一个估计量好呢？必须有个评价标准。 评价标准有多种，用不同方法评价，得到的结论也不一样。
因此，说一个估计量的好坏，必须说明是用那一个评价标准 评价的。否则，是没有意义的。
点估计的求法: (两种) 矩估计法和极大似然估计法.
一、 矩估计法 它是基于一种简单的“替换” 思想建立起来的一种估计方法 . 是英国统计学家K.皮尔逊最早提出的 . 其基本思想是用样本矩估计总体矩 .
理论依据: 大数定律
由辛钦大数定理知，
可以用
X
1 n
n i 1
Xi去估计EX,
如.求一个战士的射击命中率?
估计量,这个估计量称为矩估计量.
例2.设 : （， 2），求， 2的矩法估计量。
解：p( ,, 2 )
1
e
(
x )2 2 2
2
E x
1
(x )2
e 2 2 dx
2
xR
E 2 x2
1
(x )2
e 2 2 dx 2 2
2
列方程组：
2
1 n
n i1
2 1
n
i
n i 1
点估计问题就是要构造一个适当的统计量
ˆ(1,2 ,L ,n ),用它的观察值ˆ(x1, x2 ,L , xn ) 来估计未知参数 .
ˆ(1,2,L ,n )称为 的估计量. 通称估计,
统计基础课程标准
《统计基础》课程标准1.概述1.1课程的性质统计基础是专业基础课，是概率论的后续课程，在现实中的应用性很强，是各种统计理论的数学基础分析理论，先期完成的课程必须有高等代数、数学分析和概率论。
统计是数学的一个有特色且又十分活跃的分支，一方面，它有别开生面的研究课题，有自己独特的概念和方法，内容丰富，结果深刻;另一方面，它与其他学科又有紧密的联系，是近代数学的重要组成部分。
由于它近年来突飞猛进的发展与应用的广泛性，目前已发展成为一门独立的一级学科。
统计的理论与方法已广泛应用于工业、农业、军事和科学技术中，如预测和滤波应用于空间技术和自动控制、时间序列分析应用于石油勘测和经济管理、马尔科夫过程与点过程统计分析应用于地震预测等，同时他又向基础学科、工科学科渗透，与其他学科相结合发展成为边缘学科，这是统计发展的一个新趋势。
通过对统计基础的学习，使学生掌握统计基础的基本概念、基本理论及基本思想和方法，而且能够熟练地应用这些方法解决科学研究和实际工作中实际问题，并为今后学习后续课程打下必需的基础。
1.2课程设计理念●着重基础、着重标准，在我国迄今为止，有关统计理论的教材不少，这些教材和理论参考文献各自保持了自己的特色，只有着重基础、着重标准，才能与国际先进的理论研究趋势保持一致；●力求在简洁的基础上使学生能从总体上了解和掌握该课程的内容体系，使学生能够在实际工作中、其它学科的学习中能灵活、自如的应用这些理论。
1.3课程开发思路●以《概率论与数理统计》（第三版）浙江大学盛骤谢式千编，高等教育出版社,2001为蓝本，极力用较为通俗的语言阐释统计基础的思想和方法；●紧密结合实际应用与计算机应用加以阐述和学习；●理论和方法相结合，以强调统计基础理论的应用价值，总之，强调理论与实际生活应用相结合的特点，力求在实际应用方面做些有益的探索，也为其它学科的学习打下良好的基础；●针对课程特点，形成了新的教学指导思想，即以学生为本，注重学生基础数学理论培养，使学生掌握“统计”的基本概念和方法，培养学生解决相关实际问题的能力。
概率统计简明教程(同济)Chapter10
第二节 估计方法
方法1: 矩估计法(K. 方法1: 矩估计法(K. Pearson). X : X1, X2, …, Xn.
µk = E( X k ), k =1,2,3,L
1 k k k Ak = X1 + X2 +L+ Xn , k =1,2,3,L n
(
)
Clearly,
1 A = ( X1 + X2 +L+ Xn ) = X 1 n
ˆ = 1 = 1 = 1 ≈ 0.0077 λ m x 130.55 1
例6(P114) X ~ N(µ, σ2): -1.20, 0.82, 0.12, N( 0.45, -0.85, -0.30. Solution 两个参数待估计. 两个参数待估计.
µ1 = E( X ) = µ
µ2 = E( X 2 ) = D( X ) + (E( X ))2 = σ 2 + µ2
1 k k k mk = x1 + x2 +L+ xn , k =1,2,3,L n 1 m = ( x1 + x2 +L+ xn ) = x 1 n
(
)
1 k P k k X1 + X2 +L+ Xn →µk , k =1,2,3,L n
(
)
(θ1,θ2,...,θk )?
假定总体X的前k 假定总体X的前k阶矩 µ1, µ2 ,L, µk已知(?): 已知(
例2(P112) X ~ E(λ), λ(?) : X1, X2, …, Xn.
例3(P113) X ~ N(µ, σ2)(?) : X1, X2, …, Xn. N(
统计学 第七章 参数估计
[
]
2 χα (n) （n）的α 分位数，记为k≜ n k≜
抽样分布
（3）性质 • 若X服从χ2 （n），则均值E（X）=n ，方差 D（X） =2n 。 • χ2分布具有可加性。若 X1，X2相互独立，
X1～ χ2（n1） ，X2～χ２（n2）
则（X1＋X2）～χ２（ｎ１＋n２） • 当ｎ→∞时，χ２分布渐进于正态分布
σ
2
~ χ (n −1)
2
第三节两个总体参数的区 间估计（112页）
• • • • • • • 一、两个总体均值之差的区间估计 （一）两个总体均值之差的估计：独立样本 大样本：近似于正态分布 小样本： （1）两个总体的方差均已知，近似于正态分布 （2）两个总体的方差均未知但相等，近似于ｔ分布 （3）两个服从正态分布的总体的方差均未知且不等， 但样本容量相等，近似于ｔ分布 • （4）两个总体的方差均未知且不等，样本容量也不 等，近似于ｔ分布，自由度为V
• 解：求（3）的计算步骤： • ①求样本指标：
x ＝1000小时
σ＝50 （小时）
µ x＝
σ
n
＝
50 100
＝（小时） 5
• ②根据给定的F（t）＝95%，查概率表得t＝1.96。 • ③根据∆x＝t×µx＝1.96×5＝9.8，计算总体平均耐 用时间的上、下限： x − ∆ x＝1000－9.8＝990.（小时） 2 • 下限 x ＋∆ x＝1000＋9.8＝1009 .（小时） 8 • 上限 • 所以，以95%的概率保证程度估计该批产品的平均耐 用时间在990.2～1009.8小时之间。
f (x;θ ) 其中 θ
或概率密度为
是未知参数。 是未知参数。
如何求极大似然估 计量呢？ 计量呢？
求最大似然估计量的一般步骤为
n
个样本,求 p的最大似然估计量.
一个样本值,
似然函数 L( p) p xi (1 p)1 xi
i 1
n
p i 1 (1 p)
xi
n
xi
i 1
n
,
n n ln L( p) xi ln p n xi ln(1 p), i 1 i 1
似然估计值。
ˆ 需要注意的是，最大似然估计值 i
ˆ ˆ x , x ,...,x 依赖于样本值，即 i i 1 2 n
i 1,2...,m 若将上式中样本值 x1 , x2 ,...,xn
替换成样本
1,
2
,..., n
则所得的
ˆ ˆ , ..., i i 1 2, n
例2 设总体 ~ N ( , 2 ), , 2为未知参数,
x1 , x2 , , xn 是来自 的一个样本值, 求 和 2 的最大似然估计量.
解
的概率密度为
1 p( x; , 2 ) e 2π
( x )2 2 2
,
似然函数为
L( , )
例 ~ N (, ), , 未知, 即得, 的矩估计量
2 2 2
ˆ ,
ˆ2
一般地: 1 n 用样本均值 i作为总体的均值的矩估计, n i 1 1 n 用样本二阶中心矩 m2 (i )2 作为总体的 n i 1
1 n (i )2 . n i 1
这是一个包含 k 个未知参数 1 , 2 ,, k 的方程组 .
(3).解出其中 1 , 2 ,, k ,
ˆ , ˆ ,, ˆ 表示. 用 1 2 k ˆ , ˆ ,, ˆ 分别作为 (4).用方程组的解 1 , 2 ,, k的 1 2 k
个样本,求 p的最大似然估计量.
一个样本值,
似然函数 L( p) p xi (1 p)1 xi
i 1
n
p i 1 (1 p)
xi
n
xi
i 1
n
,
n n ln L( p) xi ln p n xi ln(1 p), i 1 i 1
似然估计值。
ˆ 需要注意的是，最大似然估计值 i
ˆ ˆ x , x ,...,x 依赖于样本值，即 i i 1 2 n
i 1,2...,m 若将上式中样本值 x1 , x2 ,...,xn
替换成样本
1,
2
,..., n
则所得的
ˆ ˆ , ..., i i 1 2, n
例2 设总体 ~ N ( , 2 ), , 2为未知参数,
x1 , x2 , , xn 是来自 的一个样本值, 求 和 2 的最大似然估计量.
解
的概率密度为
1 p( x; , 2 ) e 2π
( x )2 2 2
,
似然函数为
L( , )
例 ~ N (, ), , 未知, 即得, 的矩估计量
2 2 2
ˆ ,
ˆ2
一般地: 1 n 用样本均值 i作为总体的均值的矩估计, n i 1 1 n 用样本二阶中心矩 m2 (i )2 作为总体的 n i 1
1 n (i )2 . n i 1
这是一个包含 k 个未知参数 1 , 2 ,, k 的方程组 .
(3).解出其中 1 , 2 ,, k ,
ˆ , ˆ ,, ˆ 表示. 用 1 2 k ˆ , ˆ ,, ˆ 分别作为 (4).用方程组的解 1 , 2 ,, k的 1 2 k
点估计
参数的估计量 ˆ，使得样本（X1,X2,…,Xn）落在观测
值 (x1, x2 , , xn ) 的邻域内的概率L()达到最大，即
L(x1, x2, , xn,ˆ) max L(x1, x2, , xn,)
则称 ˆ 为参数的极大似然估计值。
似然函数:
定义:设总体 X 的分布类型已知,但含有未知参数θ. (1)设离散型总体 X 的概率分布律为 p(x; ) ，则样本 ( X1, X 2,, X n ) 的联合分布律
2.估计量不必唯一,同一参数可以构造不同的统计量用以估计.
因此有一个估计量好环的比较——评价估计量好环的准则.
第二节 估计方法
两种常用的构造估计量的方法： 矩估计法 极大似然估计法
一.矩估计法 • 定义：用样本矩来代替总体矩,从而得到总体分布 中参数的一种估计.这种估计方法称为矩估计法. 它的思想实质是用样本的经验分布和样本矩去替
了了解该地区中学生的平均身高.今从中抽取n个人。
测得其身高 X1, X 2 ,, X n ，由此估计平均身高μ,该
问题的模型是:
1
2
n
exp
1
2
2
n Xi 2 ,
i 1
其中参数θ(μ,σ2),参数空间 , 2 R, 20，估
数
估
计
区间估计
估计未知参数的取值范围， 并使此范围包含未知参数的
真值的概率为给定的值
第一节 点估计问题
设总体X的分布函数 F（x，θ）是已知的 ，θ是未知的分布
参数，参数θ的所有可能取值组成的集合称为参数空间，常用Θ 表示，参数估计问题就是根据样本对上述未知参数做出估计。
当X为离散时，F（x，θ）为分布律；当X为连续时，F（x，θ）
值 (x1, x2 , , xn ) 的邻域内的概率L()达到最大，即
L(x1, x2, , xn,ˆ) max L(x1, x2, , xn,)
则称 ˆ 为参数的极大似然估计值。
似然函数:
定义:设总体 X 的分布类型已知,但含有未知参数θ. (1)设离散型总体 X 的概率分布律为 p(x; ) ，则样本 ( X1, X 2,, X n ) 的联合分布律
2.估计量不必唯一,同一参数可以构造不同的统计量用以估计.
因此有一个估计量好环的比较——评价估计量好环的准则.
第二节 估计方法
两种常用的构造估计量的方法： 矩估计法 极大似然估计法
一.矩估计法 • 定义：用样本矩来代替总体矩,从而得到总体分布 中参数的一种估计.这种估计方法称为矩估计法. 它的思想实质是用样本的经验分布和样本矩去替
了了解该地区中学生的平均身高.今从中抽取n个人。
测得其身高 X1, X 2 ,, X n ，由此估计平均身高μ,该
问题的模型是:
1
2
n
exp
1
2
2
n Xi 2 ,
i 1
其中参数θ(μ,σ2),参数空间 , 2 R, 20，估
数
估
计
区间估计
估计未知参数的取值范围， 并使此范围包含未知参数的
真值的概率为给定的值
第一节 点估计问题
设总体X的分布函数 F（x，θ）是已知的 ，θ是未知的分布
参数，参数θ的所有可能取值组成的集合称为参数空间，常用Θ 表示，参数估计问题就是根据样本对上述未知参数做出估计。
当X为离散时，F（x，θ）为分布律；当X为连续时，F（x，θ）
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
参数估计
区间估计
数理统计
数理统计
例如我们要估计某队男生的平均身高.
（假定身高服从正态分布 N(,0.12)）
现从该总体选取容量为5的样本，我们的任
务是要根据选出的样本（5个数）求出总体均值
的估计. 而全部信息就由这5个数组成 . 设这5个数是:
1.65 1.67 1.68 1.78 1.69
估计 为1.68， 这是点估计. 估计在区间 [1.57, 1.84] 内，这是区间估计.
作为 的估计值 . T(X1,X2,…Xn) 称为参数 的点估计量， 把样本值代入T(X1,X2,…Xn) 中，得到 的一个点
估计值 .
数理统计
我们知道,若 X~Nμ,σ2 ,则 E(X)μ.
由大数定律,
样本体重的平均值
ln i m P{n 1| i n1Xi |}1
自然想到把样本体重的平均值作为总体平均体重的
… 知的仅仅是一个 … 或几个参数.
参数估计问题的一般提法
数理统计
设有一个统计总体 , 总体的分布函数为
F( x, ) ，其中为未知参数 ( 可以是向量) .
现从该总体抽样，得样本
X1,X2,…,Xn
要依据该样本对参数 作出估计, 或估计
的某个已知函数 g( ).
这类问题称为参数估计.
点估计
最大似然法的基本思想
先看一个简单例子： 某位同学与一位猎人一起外 出打猎 . 一只野兔从前方窜过 . 只听一声枪响，野兔应声倒下 . 如果要你推测，是谁打中的呢？ 你会如何想呢?
数理统计
数理统计
你就会想，只发一枪便打中, 猎人命中的概率 一般大于这位同学命中的概率 . 看来这一枪是猎人 射中的 .
作出推断
统计量
研究统计量的性质和评价一个统计推断的 优良性，完全取决于其抽样分布的性质.
参数估计
数理统计
现在我们来介绍一类重要的统计推断问题
参数估计问题是利用从总体抽样得到的信息来估 计总体的某些参数或者参数的某些函数.
估计新生儿的体重
估计废品率 估计湖中鱼数
在参数估计问题
估计降雨量 中，假定总体分 布形式已知，未
(1) 由总体分布导出样本的联合分布率(或联 合密度);
(2) 把样本联合分布率 ( 或联合密度 ) 中自变
量看成已知常数,而把参数 看作自变量,得到似然 函数L();
(3) 求似然函数L() 的最大值点(常常转化为 求ln L()的最大值点) ，即 的MLE;
(4) 在最大值点的表达式中, 用样本值代入就 得参数的最大似然估计值 .
其他
X1,X2， L,Xn为取自X的样本，求的矩估计。
解 ： EXxfxdx 1 x dx
0
1
令EXX X ˆ X 2
1
1X
数理统计
矩法的优点是简单易行,并不需要事先知道总体 是什么分布 .
缺点是，当总体类型已知时，没有充分利用分 布提供的信息 . 一般场合下,矩估计量不具有唯一性 .
求解方程：
dlnL() 0 d
可以得到 的MLE .
若是向量，上述方程必须用方程组代替 .
2、用上述求导方法求参数的MLE有时行不
通，这时要用最大似然原则来求 .
数理统计
下面举例说明如何求最大似然估计
例5 设X1,X2,…Xn是取自总体 X~B(1, p) 的一个 样本，求参数p的最大似然估计量.
其主要原因在于建立矩法方程时，选取那些总体 矩用相应样本矩代替带有一定的随意性 .
数理统计
稍事休息
数理统计
2. 最大似然估计法
它是在总体类型已知条件下使用的一种参数估 计方法 .
它首先是由德国数学家高斯在 1821年提出的 . 然而,这个方法常 归功于英国统计学家费歇 .
Gauss
Fisher
费歇在1922年重新发现了这 一方法，并首先研究了这种方法 的一些性质 .
解：似然函数为:
L(p)= f (x1, x2,…, xn; p )
n
pxi (1p)1xi
i1
0 1 Xi ~ 1 p i1
n
n
xi
n xi
L(p)pi1 (1p) i1
数理统计
对数似然函数为：
n
n
ln L (p ) x iln p )( (n x i)ln 1 (p )
数理统计
第一节 参数的点估计
点估计概念 求估计量的方法 课堂练习 小结 布置作业
数理统计
引言 上一讲，我们介绍了总体、样本、简
单随机样本、统计量和抽样分布的概念， 介绍了统计中常用的三大分布，给出了几 个重要的抽样分布定理 . 它们是进一步学 习统计推断的基础 .
总体
随机抽样
样 本 描述
数理统计
若总体 X 的数学期望 EXμ有限, 则有
X
1 n
n i 1
Xi
P E(X)μ
Ak
1 n
n i1
Xik
P E ( X k ) μ k ( k 1 ,2 ,L )
g(A 1,A 2,L,A k) P g (μ 1 ,μ 2 ,L ,μ k) 其中 g 为连续函数 .
数理统计
最大似然估计法就是用使 L( ) 达到最大值的 ˆ 去估计.
L(ˆ)maLx()
称 ˆ为 的最大似然估计值 . 而相应的统计量
θ$(X1,K,Xn)称为 θ 的最大似然估计量 .
两点说明：
数理统计
1、求似然函数L() 的最大值点，可以应用 微积分中的技巧。由于ln(x)是 x 的增函数, lnL() 与L( )在 的同一值处达到它的最大值，假定 是一实数，且lnL( )是的一个可微函数。通过
i 1
i 1
对p求导并令其为0，
数理统计
dld n L (p p)1 pi n 1xi1 1p(ni n 1xi)=0
得
pˆ
1 n
n i1
xi
x
即为 p 的最大似然估计值 .
从而 p 的最大似然估计量为
p ˆ(X 1,K,Xn)n 1i n1Xi X
数理统计
求最大似然估计(MLE)的一般步骤是：
一个估计.
用样本体重的均值 X 估计 μ .
类似地，用样本体重的方差 S2 估计σ2.
X
1 n
n i1
Xi ,
S2 n11in1(Xi X)2
数理统计
问题是:
使用什么样的统计量去估计 ？
可以用样本均值; 也可以用样本中位数; 还可以用别的统计量 .
二、寻求估计量的方法 1. 矩估计法 2. 极大似然法 3. 最小二乘法 4. 贝叶斯方法 ……
若取n=3，如何通过x来估计p值
先计算抽样的可能结果x在这两种p值之下的概
率：
x 0 1 23
P
x,
3 4
1
64
9 64
27 64 27 64
P
x,
1 4
27
64
27 64
9 64
1 64
从上表看到：
数理统计
x
0,P
0,1 4
27 64
P
0
,
3 4
1 64
,取
µp
1 4
更
合
理
；
x 1 类似；
都是这 k 个参数的函数,记为：
数理统计
μ i μ i(θ 1 ,θ 2 ,L ,θ k ) i=1,2, … ,k
从这 k 个方程中解出
θjθj(μ 1,μ 2,L,μ k) j=1,2,…,k
那么用诸 μ i 的估计量 Ai 分别代替上式中的诸 μ i ,
即可得诸 θ
的矩估计量 ：
j
θ ˆjθj(A 1,A 2,L,A k) j=1,2,…,k
(x1,x2,… ,xn ; ) .
当给定样本X1,X2,…Xn时，定义似然函数为：
L() f (x1, x2 ,…, xn; )
这里 x1, x2 ,…, xn 是样本的观察值 .
似然函数：
数理统计
L() f (x1,x2,…, xn; )
L( )看作参数的函数，它可作为 将以多大可
能产生样本值 x1, x2,… ,xn 的一种度量 .
x
2,P
2
,
1 4
9 64
P
2
,
3 4
27 ,取 64
µp
3更合 4
理；
x 3类 似 ；
于
是
有
：
ˆp
x
1 4
x 0 ,1
3 4
x 2,3
数理统计
最大似然原理：
对每个x,取µpx,使P x;µpx Px;p',
P'是不同于ˆpx的另一值；
数理统计
最大似然估计原理：
设X1,X2,…Xn是取自总体X的一个样本，样本 的联合密度(连续型）或联合分布律 (离散型)为 f
ba
12(μ2 μ12)
解得
aμ1 3(μ2μ12) bμ1 3(μ2μ12)
于是 a , b 的矩估计量为
数理统计
总体矩
a$X
3n ni1(Xi
X)2
,
样本矩
b$X
3n ni1(Xi
X)2
数理统计
例3 设总体 X 的均值 μ 和方差σ 2 ( 0) 都存 在 , μ , σ 2 未知 . X1,K,Xn 是来自 X 的样本 , 试 求 μ , σ 2 的矩估计量 .
解 μ1EX μ
μ2EX2 D (X)[E(X)]2σ2 μ2
解得
μ μ1 σ2μ2μ12
于是 μ , σ 2 的矩估计量为
区间估计
数理统计
数理统计
例如我们要估计某队男生的平均身高.
（假定身高服从正态分布 N(,0.12)）
现从该总体选取容量为5的样本，我们的任
务是要根据选出的样本（5个数）求出总体均值
的估计. 而全部信息就由这5个数组成 . 设这5个数是:
1.65 1.67 1.68 1.78 1.69
估计 为1.68， 这是点估计. 估计在区间 [1.57, 1.84] 内，这是区间估计.
作为 的估计值 . T(X1,X2,…Xn) 称为参数 的点估计量， 把样本值代入T(X1,X2,…Xn) 中，得到 的一个点
估计值 .
数理统计
我们知道,若 X~Nμ,σ2 ,则 E(X)μ.
由大数定律,
样本体重的平均值
ln i m P{n 1| i n1Xi |}1
自然想到把样本体重的平均值作为总体平均体重的
… 知的仅仅是一个 … 或几个参数.
参数估计问题的一般提法
数理统计
设有一个统计总体 , 总体的分布函数为
F( x, ) ，其中为未知参数 ( 可以是向量) .
现从该总体抽样，得样本
X1,X2,…,Xn
要依据该样本对参数 作出估计, 或估计
的某个已知函数 g( ).
这类问题称为参数估计.
点估计
最大似然法的基本思想
先看一个简单例子： 某位同学与一位猎人一起外 出打猎 . 一只野兔从前方窜过 . 只听一声枪响，野兔应声倒下 . 如果要你推测，是谁打中的呢？ 你会如何想呢?
数理统计
数理统计
你就会想，只发一枪便打中, 猎人命中的概率 一般大于这位同学命中的概率 . 看来这一枪是猎人 射中的 .
作出推断
统计量
研究统计量的性质和评价一个统计推断的 优良性，完全取决于其抽样分布的性质.
参数估计
数理统计
现在我们来介绍一类重要的统计推断问题
参数估计问题是利用从总体抽样得到的信息来估 计总体的某些参数或者参数的某些函数.
估计新生儿的体重
估计废品率 估计湖中鱼数
在参数估计问题
估计降雨量 中，假定总体分 布形式已知，未
(1) 由总体分布导出样本的联合分布率(或联 合密度);
(2) 把样本联合分布率 ( 或联合密度 ) 中自变
量看成已知常数,而把参数 看作自变量,得到似然 函数L();
(3) 求似然函数L() 的最大值点(常常转化为 求ln L()的最大值点) ，即 的MLE;
(4) 在最大值点的表达式中, 用样本值代入就 得参数的最大似然估计值 .
其他
X1,X2， L,Xn为取自X的样本，求的矩估计。
解 ： EXxfxdx 1 x dx
0
1
令EXX X ˆ X 2
1
1X
数理统计
矩法的优点是简单易行,并不需要事先知道总体 是什么分布 .
缺点是，当总体类型已知时，没有充分利用分 布提供的信息 . 一般场合下,矩估计量不具有唯一性 .
求解方程：
dlnL() 0 d
可以得到 的MLE .
若是向量，上述方程必须用方程组代替 .
2、用上述求导方法求参数的MLE有时行不
通，这时要用最大似然原则来求 .
数理统计
下面举例说明如何求最大似然估计
例5 设X1,X2,…Xn是取自总体 X~B(1, p) 的一个 样本，求参数p的最大似然估计量.
其主要原因在于建立矩法方程时，选取那些总体 矩用相应样本矩代替带有一定的随意性 .
数理统计
稍事休息
数理统计
2. 最大似然估计法
它是在总体类型已知条件下使用的一种参数估 计方法 .
它首先是由德国数学家高斯在 1821年提出的 . 然而,这个方法常 归功于英国统计学家费歇 .
Gauss
Fisher
费歇在1922年重新发现了这 一方法，并首先研究了这种方法 的一些性质 .
解：似然函数为:
L(p)= f (x1, x2,…, xn; p )
n
pxi (1p)1xi
i1
0 1 Xi ~ 1 p i1
n
n
xi
n xi
L(p)pi1 (1p) i1
数理统计
对数似然函数为：
n
n
ln L (p ) x iln p )( (n x i)ln 1 (p )
数理统计
第一节 参数的点估计
点估计概念 求估计量的方法 课堂练习 小结 布置作业
数理统计
引言 上一讲，我们介绍了总体、样本、简
单随机样本、统计量和抽样分布的概念， 介绍了统计中常用的三大分布，给出了几 个重要的抽样分布定理 . 它们是进一步学 习统计推断的基础 .
总体
随机抽样
样 本 描述
数理统计
若总体 X 的数学期望 EXμ有限, 则有
X
1 n
n i 1
Xi
P E(X)μ
Ak
1 n
n i1
Xik
P E ( X k ) μ k ( k 1 ,2 ,L )
g(A 1,A 2,L,A k) P g (μ 1 ,μ 2 ,L ,μ k) 其中 g 为连续函数 .
数理统计
最大似然估计法就是用使 L( ) 达到最大值的 ˆ 去估计.
L(ˆ)maLx()
称 ˆ为 的最大似然估计值 . 而相应的统计量
θ$(X1,K,Xn)称为 θ 的最大似然估计量 .
两点说明：
数理统计
1、求似然函数L() 的最大值点，可以应用 微积分中的技巧。由于ln(x)是 x 的增函数, lnL() 与L( )在 的同一值处达到它的最大值，假定 是一实数，且lnL( )是的一个可微函数。通过
i 1
i 1
对p求导并令其为0，
数理统计
dld n L (p p)1 pi n 1xi1 1p(ni n 1xi)=0
得
pˆ
1 n
n i1
xi
x
即为 p 的最大似然估计值 .
从而 p 的最大似然估计量为
p ˆ(X 1,K,Xn)n 1i n1Xi X
数理统计
求最大似然估计(MLE)的一般步骤是：
一个估计.
用样本体重的均值 X 估计 μ .
类似地，用样本体重的方差 S2 估计σ2.
X
1 n
n i1
Xi ,
S2 n11in1(Xi X)2
数理统计
问题是:
使用什么样的统计量去估计 ？
可以用样本均值; 也可以用样本中位数; 还可以用别的统计量 .
二、寻求估计量的方法 1. 矩估计法 2. 极大似然法 3. 最小二乘法 4. 贝叶斯方法 ……
若取n=3，如何通过x来估计p值
先计算抽样的可能结果x在这两种p值之下的概
率：
x 0 1 23
P
x,
3 4
1
64
9 64
27 64 27 64
P
x,
1 4
27
64
27 64
9 64
1 64
从上表看到：
数理统计
x
0,P
0,1 4
27 64
P
0
,
3 4
1 64
,取
µp
1 4
更
合
理
；
x 1 类似；
都是这 k 个参数的函数,记为：
数理统计
μ i μ i(θ 1 ,θ 2 ,L ,θ k ) i=1,2, … ,k
从这 k 个方程中解出
θjθj(μ 1,μ 2,L,μ k) j=1,2,…,k
那么用诸 μ i 的估计量 Ai 分别代替上式中的诸 μ i ,
即可得诸 θ
的矩估计量 ：
j
θ ˆjθj(A 1,A 2,L,A k) j=1,2,…,k
(x1,x2,… ,xn ; ) .
当给定样本X1,X2,…Xn时，定义似然函数为：
L() f (x1, x2 ,…, xn; )
这里 x1, x2 ,…, xn 是样本的观察值 .
似然函数：
数理统计
L() f (x1,x2,…, xn; )
L( )看作参数的函数，它可作为 将以多大可
能产生样本值 x1, x2,… ,xn 的一种度量 .
x
2,P
2
,
1 4
9 64
P
2
,
3 4
27 ,取 64
µp
3更合 4
理；
x 3类 似 ；
于
是
有
：
ˆp
x
1 4
x 0 ,1
3 4
x 2,3
数理统计
最大似然原理：
对每个x,取µpx,使P x;µpx Px;p',
P'是不同于ˆpx的另一值；
数理统计
最大似然估计原理：
设X1,X2,…Xn是取自总体X的一个样本，样本 的联合密度(连续型）或联合分布律 (离散型)为 f
ba
12(μ2 μ12)
解得
aμ1 3(μ2μ12) bμ1 3(μ2μ12)
于是 a , b 的矩估计量为
数理统计
总体矩
a$X
3n ni1(Xi
X)2
,
样本矩
b$X
3n ni1(Xi
X)2
数理统计
例3 设总体 X 的均值 μ 和方差σ 2 ( 0) 都存 在 , μ , σ 2 未知 . X1,K,Xn 是来自 X 的样本 , 试 求 μ , σ 2 的矩估计量 .
解 μ1EX μ
μ2EX2 D (X)[E(X)]2σ2 μ2
解得
μ μ1 σ2μ2μ12
于是 μ , σ 2 的矩估计量为