概率论与数理统计第七章-1矩估计法和极大似然估计法
合集下载
概率论与数理统计第7章
x 0 , x 0 ,x 1 ,x 2 ,
,x n 为 总 体 X
的 一 个 样 本 ,则 未 知 参 数 的 矩 估 计 ˆ _ _ _ _ _ _ _ _ _ _ _ .
这个例子所作的推断已经体现了极大似然法 的基本思想 .
最大似然估计原理：
设X1,X2,…Xn是取自总体X的一个样本，样 本的联合密度(连续型）或联合分布律 (离散型)为
f (x1,x2,… ,xn ; ) .
当给定样本X1,X2,…Xn时，定义似然函数为：
L() f (x1, x2 ,…, xn; )
得
pˆ1Βιβλιοθήκη nn i 1xix
即为 p 的最大似然估计值 .
从而 p 的最大似然估计量为
p ˆ(X1,
1n ,Xn)ni1Xi X
求最大似然估计(MLE)的一般步骤是：
(1) 由总体分布导出样本的联合分布率(或联 合密度);
(2) 把样本联合分布率 ( 或联合密度 ) 中自变
量看成已知常数,而把参数 看作自变量,得到似然 函数L();
要求：领会
2.2 估计量的有效性、相合性， 要求：领会
3.区间估计
3.1 置信区间的概念，
要求：领会
3.2 求单个正态总体均值和方差的置信区间，要求：简单应用
参数估计
现在我们来介绍一类重要的统计推断问题
参数估计问题是利用从总体抽样得到的信息来估计总体 的某些参数或者参数的某些函数.
估计新生儿的体重
1 p
n
pxi (1p)1xi
i1
n
n
xi
n xi
pi1 (1p) i1
n
n
xi
n xi
L(p)pi1 (1p) i1
概率论与数理统计复习7章
( n − 1) S 2 ( n − 1) S 2 = 1 − α 即P 2 <σ2 < 2 χα 2 ( n − 1) χ1−α 2 ( n − 1) ( n − 1) S 2 ( n − 1) S 2 置信区间为： 2 , χα 2 ( n − 1) χ12−α 2 ( n − 1)
则有：E ( X v ) = µv (θ1 , θ 2 ,⋯ , θ k ) 其v阶样本矩是：Av = 1 ∑ X iv n i =1
n
估计的未知参数，假定总体X 的k阶原点矩E ( X k ) 存在，
µ θ , θ ,⋯ , θ = A k 1 1 1 2 µ2 θ1, θ 2 ,⋯ , θ k = A2 用样本矩作为总体矩的估计，即令： ⋮ µ θ , θ ,⋯ , θ = A k k k 1 2 ɵ ɵ ˆ 解此方程即得 (θ1 , θ 2 ,⋯ , θ k )的一个矩估计量 θ 1 , θ 2 ,⋯ , θ k
+∞
−∞
xf ( x ) dx = ∫ θ x θ dx =
1 0
令E ( X ) = X ⇒
θ +1
θ
ˆ = X ⇒θ =
( )
X 1− X
θ +1
2
θ
7.2极大似然估计法
极大似然估计法： 设总体X 的概率密度为f ( x,θ ) (或分布率p( x,θ )),θ = (θ1 ,θ 2 ,⋯ ,θ k ) 为 未知参数，θ ∈ Θ, Θ为参数空间，即θ的取值范围。设 ( x1 , x2 ,⋯ , xn ) 是 样本 ( X 1 , X 2 ,⋯ , X n )的一个观察值：
i =1 n
数理统计7：矩法估计（MM）、极大似然估计（MLE），定时截尾实验
数理统计7：矩法估计（MM）、极⼤似然估计（MLE），定时截尾实验在上⼀篇⽂章的最后，我们指出，参数估计是不可能穷尽讨论的，要想对各种各样的参数作出估计，就需要⼀定的参数估计⽅法。
今天我们将讨论常⽤的点估计⽅法：矩估计、极⼤似然估计，它们各有优劣，但都很重要。
由于本系列为我独⾃完成的，缺少审阅，如果有任何错误，欢迎在评论区中指出，谢谢！⽬录Part 1：矩法估计矩法估计的重点就在于“矩”字，我们知道矩是概率分布的⼀种数字特征，可以分为原点矩和中⼼矩两种。
对于随机变量X⽽⾔，其k阶原点矩和k阶中⼼矩为a_k=\mathbb{E}(X^k),\quad m_k=\mathbb{E}[X-\mathbb{E}(X)]^k,特别地，⼀阶原点矩就是随机变量的期望，⼆阶中⼼矩就是随机变量的⽅差，由于\mathbb{E}(X-\mathbb{E}(X))=0，所以我们不定义⼀阶中⼼矩。
实际⽣活中，我们不可能了解X的全貌，也就不可能通过积分来求X的矩，因⽽需要通过样本(X_1,\cdots,X_n)来估计总体矩。
⼀般地，由n个样本计算出的样本k阶原点矩和样本k阶中⼼矩分别是a_{n,k}=\frac{1}{n}\sum_{j=1}^{n}X_j^k,\quad m_{n,k}=\frac{1}{n}\sum_{j=1}^{n}(X_j-\bar X)^k.显然，它们都是统计量，因为给出样本之后它们都是可计算的。
形式上，样本矩是对总体矩中元素的直接替换后求平均，因此总是⽐较容易计算的。
容易验证，a_{n,k}是a_k的⽆偏估计，但m_{n,k}则不是。
特别地，a_{n,1}=\bar X，m_{n,2}=\frac{1}{n}\sum_{j=1}^{n}(X_j-\bar X)^2=\frac{n-1}{n}S^2\xlongequal{def}S_n^2,⼀阶样本原点矩就是样本均值，⼆阶样本中⼼矩却不是样本⽅差，⽽需要经过⼀定的调整，这点务必注意。
《概率论与数理统计》7
未知参数 , ,, 的函数.分别令
12
k
L(1,,k ) 0,(i 1,2,...,k)
或令
i
ln L(1,,k ) 0,(i 1,2,...,k)
i
由此方程组可解得参数 i 的极大似然估计值 ˆi.
例5 设X~b(1,p), X1, X2 , …,Xn是来自X的一个样本,
求参数 p 的最大似然估计量.
解 E( X ) ，E( X 2 ) D( X ) [E( X )]2 2 2
由矩估计法,
【注】
X
1
n
n i 1
X
2 i
2
2
ˆ X ,
ˆ
2
1 n
n i 1
(Xi
X )2
对任何总体,总体均值与方差的矩估计量都不变．
➢常见分布的参数矩估计量
(1)若总体X~b(1, p), 则未知参数 p 的矩估计量为
7-1
第七章
参数估计
统计 推断
的 基本 问题
7-2
参数估 计问题
(第七章）
点估计 区间估 计
假设检 验问题 (第八章）
什么是参数估计？
参数是刻画总体某方面概率特性的数量.
当此数量未知时,从总体抽出一个样本， 用某种方法对这个未知参数进行估计就 是参数估计.
例如，X ~N ( , 2),
若, 2未知, 通过构造样本的函数, 给出
k = k(A1, A2 , …, A k)
用i 作为i的估计量------矩估计量.
例1 设总体X服从[a，b]上的均匀分布，a，b未知，
X1, X2 , …,Xn为来自总体X的样本,试求a，b的 矩估计量．
解 E(X ) a b , D(X ) (b a)2
《概率论与数理统计》第七章
i 1
n
n
ln xi
（4）的极大似然估计量为：ˆ
n
n2 i1
lnX
i
2
i1
第七章 参数估计 ‹#›
例 9 设X~b(1,p), X1,X2,…,Xn是来自X的一个样本， 试求参数p的最大似然估计量
解: 设x1, x2,, xn,是相应于样本X1,X2,…,Xn 的一个样本值，X
的分布律为：
(3)以样本各阶矩A1, ,Ak代替总体各阶矩1,
得各参数的矩估计
ˆi gi(A1, ,Ak )， i 1, , k
, k，
第七章 参数估计 ‹#›
注意：
在实际应用时，为求解方便，也可以用
中心矩 i 代替原点矩i，相应地以样本中心矩Bi 估计 i.
（二）最大似然估计法
最（极）大似然估计的原理介绍
第七章
参数估计
目录/Contents
第1章 随机事件与 2 概率
§ 1 点估计
§3
估计量的评选标准
第七章 参数估计 ‹#›
问题的提出:
在实际进行统计时，有不少总体的（我们关心的某 确定指标）概率分布是已知的。比如
例 1 产品寿命服从的分布
X~
f
(
x)
1
x
e
x0
0
其他
但其中有参数是未知的: θ
n
似然函数 L f xi , 。 i 1
, xn ，
极大似然原理：L(ˆ( x1 ,
,
xn
))
max
L(
).
计算简化方法：
在求L 的最大值时，通常转换为求：lnL 的最大值，
lnL 称为对数似然函数.
利用
n
n
ln xi
（4）的极大似然估计量为：ˆ
n
n2 i1
lnX
i
2
i1
第七章 参数估计 ‹#›
例 9 设X~b(1,p), X1,X2,…,Xn是来自X的一个样本， 试求参数p的最大似然估计量
解: 设x1, x2,, xn,是相应于样本X1,X2,…,Xn 的一个样本值，X
的分布律为：
(3)以样本各阶矩A1, ,Ak代替总体各阶矩1,
得各参数的矩估计
ˆi gi(A1, ,Ak )， i 1, , k
, k，
第七章 参数估计 ‹#›
注意：
在实际应用时，为求解方便，也可以用
中心矩 i 代替原点矩i，相应地以样本中心矩Bi 估计 i.
（二）最大似然估计法
最（极）大似然估计的原理介绍
第七章
参数估计
目录/Contents
第1章 随机事件与 2 概率
§ 1 点估计
§3
估计量的评选标准
第七章 参数估计 ‹#›
问题的提出:
在实际进行统计时，有不少总体的（我们关心的某 确定指标）概率分布是已知的。比如
例 1 产品寿命服从的分布
X~
f
(
x)
1
x
e
x0
0
其他
但其中有参数是未知的: θ
n
似然函数 L f xi , 。 i 1
, xn ，
极大似然原理：L(ˆ( x1 ,
,
xn
))
max
L(
).
计算简化方法：
在求L 的最大值时，通常转换为求：lnL 的最大值，
lnL 称为对数似然函数.
利用
概率论与数理统计课后习题答案 第七章
习题 7.2 1. 证明样本均值 是总体均值
证:
的相合估计
由定理
知 是 的相合估计
2. 证明样本的 k 阶矩
是总体 阶矩
证:
的相合估计量
3. 设总体 (1)
(2)
是
的相合估计
为其样品 试证下述三个估计量
(3)
都是 的无偏估计,并求出每一估计量的方差,问哪个方差最小? 证:
都是 的无偏估计
故 的方差最小.
大?(附
)
解: (1) 的置信度为 的置信区间为
(2) 的置信度为 故区间长度为
的置信区间为
解得
四、某大学从来自 A,B 两市的新生中分别随机抽取 5 名与 6 名新生,测其身高(单位:厘米)后,算的
.假设两市新生身高分别服从正态分布:
,
其中 未知 试求
的置信度为 0.95 的置信区间.(附:
解:
.从该车床加工的零件中随机抽取
4 个,测得长度分别为:12.6,13.4,12.8,13.2.
试求: (1)样本方差 ;(2)总体方差 的置信度为 95%的置信区间.
(附:
解: (1)
(2) 置信度 的置信区间为
三、设总体
抽取样本
为样本均值
(1) 已知
求 的置信度为 的置信区间
(2) 已知
问 要使 的置信度为 的置信区间长度不超过 ,样本容量 n 至少应取多
施磷肥的
620 570 650 600 630 580 570 600 600 580
设不施磷肥亩产和施磷肥亩产均服从正态分布,其方差相同.试对施磷肥平均亩产与不施磷肥平均
亩产之差作区间估计(
).
解:
查表知
概率论与数理统计 71 点估计与最大似然估计 优质课件
10
解方程组即得
1 = 1 ( X1 , X2 ,
k = k ( X1 , X2 ,
, Xn), , Xn),
这就是1 ,2 , ,k 的矩估计量 .
11
例1： 设总体 X 在[a , b]上服从均匀分布, a , b 未知 . X1 , X2 , … , Xn 是来自 X 的样本, 求a , b的矩估计量.
5
一、点估计的概念:
1、定义7.1:
设总体 X 的分布函数为 F( x , θ ), 其中θ 为 未知参数 . 从总体 X 中抽取样本 X1 , X2 ,
… , Xn , 其观测值为 x1 , x2 , … , xn .
构造一个统计量 ( X1 , X2 , , Xn ), 用它的 观测值 ( x1 , x2 , , xn ) 来估计参数 , 称
设总体分布已知, 但含有k个未知数1,2 , ,k ,
若总体 X 的前 k 阶矩均存在 , 则可令
E( X rX
r i
,r =1,2,
,k ,
再利用总体 X 分布已知, 具体求出 E( X r ),
当然它是未知参数 1 ,2 , ,k 的函数, 这样
就得到含 k 个未知数和 k 个方程的方程组 ,
1 n
n i 1
Xi =A1称为一阶样本原点矩，
4
，1 n
n i 1
Xik =Ak称为k阶样本原点矩，
样本k阶中心矩：
Sn2 =
1 n
n
(Xi -X )2=B2称为样本二阶中心矩，
i 1
Snk =
1 n
n i 1
(Xi -X )k =
Bk 称为样本k阶中心矩，
概率论与数理统计第七章
第七章
参数估计
湖南商学院信息系 数学教研室
第七章
第一节
第二节
参数估计
矩估计
极大似然估计
第三节
第四节
估计量的优良性准则
正态总体的区间估计（一）
第五节
正态总体的区间估计（二）
总体是由总体分布来刻画的.
总体分布类型的判断──在实际问题中, 我们根据问题本身的专业知识或以往的经验 或适当的统计方法,有时可以判断总体分布 的类型.
本章讨论:
参数估计的常用方法.
估计的优良性准则. 若干重要总体的参数估计问题.
参数估计问题的一般提法 设有一个统计总体，总体的分布函数 为 F(x, )，其中 为未知参数 ( 可以是 向量) . 现从该总体抽样，得样本 X1, X2 , … , Xn
要依据该样本对参数 作出估计，或估计
(m=1,2, ,k)
步骤二、 算出m阶样本原点矩:
1 n m Am X i m 1,2, , k n i 1 步骤三、令 am (1,2,,k) = Am
(m=1,2, ,k)得关于 1,2,,k的 方程组 步骤四、解这个方程组,其解记为
ˆ ( X , X ,, X ) i 1 2 n ，i 1,2, , k
n
1 2 ˆ : ˆ 其中 （X i X ) n i 1
矩法的优点是简单易行,并不需要 事先知道总体是什么分布 . 缺点是，当总体类型已知时，没有 充分利用分布提供的信息 . 一般场合下, 矩估计量不具有唯一性 .
其主要原因在于建立矩法方程时， 选取那些总体矩用相应样本矩代替带 有一定的随意性 .
数和2的矩估计为
例如 求正态总体 N(,2)两个未知参
参数估计
湖南商学院信息系 数学教研室
第七章
第一节
第二节
参数估计
矩估计
极大似然估计
第三节
第四节
估计量的优良性准则
正态总体的区间估计（一）
第五节
正态总体的区间估计（二）
总体是由总体分布来刻画的.
总体分布类型的判断──在实际问题中, 我们根据问题本身的专业知识或以往的经验 或适当的统计方法,有时可以判断总体分布 的类型.
本章讨论:
参数估计的常用方法.
估计的优良性准则. 若干重要总体的参数估计问题.
参数估计问题的一般提法 设有一个统计总体，总体的分布函数 为 F(x, )，其中 为未知参数 ( 可以是 向量) . 现从该总体抽样，得样本 X1, X2 , … , Xn
要依据该样本对参数 作出估计，或估计
(m=1,2, ,k)
步骤二、 算出m阶样本原点矩:
1 n m Am X i m 1,2, , k n i 1 步骤三、令 am (1,2,,k) = Am
(m=1,2, ,k)得关于 1,2,,k的 方程组 步骤四、解这个方程组,其解记为
ˆ ( X , X ,, X ) i 1 2 n ，i 1,2, , k
n
1 2 ˆ : ˆ 其中 （X i X ) n i 1
矩法的优点是简单易行,并不需要 事先知道总体是什么分布 . 缺点是，当总体类型已知时，没有 充分利用分布提供的信息 . 一般场合下, 矩估计量不具有唯一性 .
其主要原因在于建立矩法方程时， 选取那些总体矩用相应样本矩代替带 有一定的随意性 .
数和2的矩估计为
例如 求正态总体 N(,2)两个未知参
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
μ1 h1 (θ1 , θ2 , μ j h j (θ1 , θ2 , μk hk (θ1 , θ2 ,
, θk ) , θk ) , θk )
, μk ) , μk ) , μk )
数理统计
从这 k 个方程中解出
θ1 g1 ( μ1 , μ2 , θ j g j ( μ1 , μ2 , θk gk ( μ1 , μ2 ,
数理统计
定义 用样本原点矩估计相应的总体原点矩 ,
用样本原点矩的连续函数估计相应的总体原点矩的 连续函数, 这种参数点估计法称为矩估计法 . 矩估计法的具体做法如下 设总体的分布函数中含有k个未知参数 θ1 , θ2 , 那么它的前k阶矩 μ1 , μ2 ,
, θk ,
, μk , 一般
l xi P{ X xi ;1 , 2 , , k } l E ( X l ) l 1 hl (1 , 2 , , k ) x l p ( x; , , , )dx 1 2 k
2 1
b μ1 3( μ2 μ12 )
于是 a , b 的矩估计量为
总体矩
a A1 3( A2 A12 ) 3 n 2 X ( X X ) , i n i 1
3 n 2 b X ( X X ) n i 1 i
样本矩
数理统计
例2 设总体 X 的均值 μ和方差 σ 2 ( 0) 都存
数理统计
点估计问题的一般提法 设总体 X 的分布函数 F ( x; )的形式为已
知, 是待估参数 . X 1 , X 2 ,, X n 是 X 的一个样 本, x1 , x2 ,, xn 为相应的一个样本值 .
点估计问题就是要构造 一个适当的统计量 ˆ ( X 1 , X 2 ,, X n ), 用它的观察值 ˆ ( x1 , x2 ,, xn ) 来估计未知参数 . ˆ ( X 1 , X 2 ,, X n )称为 的估计量. 通称估计, ˆ. ˆ ( x1 , x2 ,, xn )称为 的估计值. 简记为
1 n P X X i E( X ) μ n i 1
1 n Al X il n i 1
P E ( X l ) μl ( l 1, 2,
)
P g ( A1 , A2 , , Ak ) g( μ1 , μ2 , , μk )
其中 g 为连续函数
在某炸药制造厂, 一天中发生着火现象的
次数 X 是一个随机变量 , 假设它服从以 0 为参 数的泊松分布, 参数 为未知, 设有以下的样本值 , 试估计参数 .
数理统计
着火次数 k 发生 k 次着 火的天数nk
解
0
1
2
3
4 5 6
75 90 54 22 6 2 1 250
所以 E ( X ).
因为 X ~ π( ),
knk k 0
6
用样本均值来估计总体的均值 E(X).
1 x 6 (0 75 1 90 2 54 3 22 250 n k 4 6 5 2 6 1) 1.22. k 0
故 E ( X ) 的估计为1.22 .
2 μ , σ 于是 的矩估计量为
ˆ A1 X
n n 1 1 2 2 2 2 2 ( X X ) ˆ A2 A1 X i X i n i 1 n i 1
样本矩
数理统计
例3
设总体 X服从参数为 的指数分布，求 的矩估计 .
解：
1 E ( X )
在 , μ , σ 2 未知 . X 1 , 求 μ , σ 2 的矩估计量 .
解
, X n 是来自 X 的样本 , 试
μ1 E X μ
μ2 E X 2 D( X ) [ E ( X )]2 σ 2 μ 2
数理统计
总体矩
解得
μ μ1
σ 2 μ2 μ12
ab μ1 E X 2
μ2 E X
D( X ) [ E ( X )]
2
2
( b a )2 ( a b )2 12 4
数理统计
即
a b 2 μ1 2 bຫໍສະໝຸດ a 12( μ μ 2 1)
解得
a μ1 3( μ2 μ )
数理统计
二、估计量的求法
由于估计量是样本的函数, 是随机变量, 故 对不同的样本值, 得到的参数值往往不同, 如何 求估计量是关键问题.
常用构造估计量的方法: (两种) 矩估计法和最大似然估计法.
1、 矩估计法
矩估计法是英国统计学家K.皮尔逊 19世纪末20世纪初提出来的 . 理论依据
数理统计
由辛钦定理 , 若总体 X 的数学期望 E X μ 存在,
1
1
1
1 1 ˆ A1 X
数理统计
矩法的优点是简单易行,并不需要事先知道总体 是什么分布 . 缺点是，当总体类型已知时，没有充分利用分 布提供的信息 . 一般场合下,矩估计量不具有唯一性 .
数理统计
§7.1 矩估计法和极大似然估计法
点估计的概念
矩估计法
极大似然估计法
数理统计
第一节
点估计
一、点估计问题的提法
二、估计量的求法 三、小结
数理统计
一、点估计问题的提法
设总体 X 的分布函数形式已知, 但它的一个 或多个参数为未知, 借助于总体 X 的一个样本来 估计总体未知参数的值的问题称为点估计问题. 例1
那么用诸 μi 的估计量 Ai 分别代替上式中的诸 μi , ˆ g (A , A , , A ) j=1,2,…,k θ
j j 1 2 k
数理统计
例1
设总体 X 在 [ a , b ] 上服从均匀分布 ,
a , b 未知 . X 1 , 的矩估计量 . 解
, X n是来自 X 的样本 , 试求 a , b