两种矩估计法和最大似然估计法一.pptx
合集下载
矩法估计PPT课件
设总体的分布函数形式已知, 但它的一个或 多个参数为未知, 借助于总体的一个样本来估计总 体未知参数称为点估计问题.
点 估 计 问 题 就 是 要 构 造 一 个 适 当 的 统 计 量
ˆ(1,2,L,n),用 它 的 观 察 值 ˆ(x1,x2,L,xn) 来 估 计 未 知 参 数 .
ˆ(1 ,2 ,L ,n )称 为 的 估 计 量 . 通 称 估 计 ,
ˆ ( x 1 ,x 2 ,L ,x n ) 称 为 的 估 计 值 . 简 记 为 ˆ.
.
5
二、估计量的求法
由于估计量是样本的函数, 是随机变量, 故 对不同的样本值, 得到的参数值往往不同, 求估 计量的问题是关键问题.
点估计的求法: (两种) 矩估计法和极大似然估计法.
.
6
一、 矩估计法 它是基于一种简单的“替换” 思想建立起来的一种估计方法 . 是英国统计学家K.皮尔逊最早提出的 . 其基本思想是用样本矩估计总体矩 .
.
19
例 6 .设 X 在 [ 0 ， ] 上 均 匀 分 布 ， 求 的 矩 法 估 计 量 并 确 定
是 否 为 无 偏 估 计 量 ？
1
解 ： f(x,)
0x, 0
（ 列 1） 方矩 程法 ：２ 估 ＝0计 X ： E X 0 x 1 其 dx 它 2 解 方 程 ： ˆ ＝ ２ X 即 为 的 矩 法 估 计 量 。
112X312X7
2 13X232X5
都是EX的无偏估计，并问哪一个比较有效？
解 E 1 E （ 1 2 X 3 1 2 X 7 ） 1 2 E X 3 1 2 E X 7 E X
E 2 E （ 1 3 X 2 2 3 X 5 ） 1 3 E X 3 2 3 E X 5 E X
点 估 计 问 题 就 是 要 构 造 一 个 适 当 的 统 计 量
ˆ(1,2,L,n),用 它 的 观 察 值 ˆ(x1,x2,L,xn) 来 估 计 未 知 参 数 .
ˆ(1 ,2 ,L ,n )称 为 的 估 计 量 . 通 称 估 计 ,
ˆ ( x 1 ,x 2 ,L ,x n ) 称 为 的 估 计 值 . 简 记 为 ˆ.
.
5
二、估计量的求法
由于估计量是样本的函数, 是随机变量, 故 对不同的样本值, 得到的参数值往往不同, 求估 计量的问题是关键问题.
点估计的求法: (两种) 矩估计法和极大似然估计法.
.
6
一、 矩估计法 它是基于一种简单的“替换” 思想建立起来的一种估计方法 . 是英国统计学家K.皮尔逊最早提出的 . 其基本思想是用样本矩估计总体矩 .
.
19
例 6 .设 X 在 [ 0 ， ] 上 均 匀 分 布 ， 求 的 矩 法 估 计 量 并 确 定
是 否 为 无 偏 估 计 量 ？
1
解 ： f(x,)
0x, 0
（ 列 1） 方矩 程法 ：２ 估 ＝0计 X ： E X 0 x 1 其 dx 它 2 解 方 程 ： ˆ ＝ ２ X 即 为 的 矩 法 估 计 量 。
112X312X7
2 13X232X5
都是EX的无偏估计，并问哪一个比较有效？
解 E 1 E （ 1 2 X 3 1 2 X 7 ） 1 2 E X 3 1 2 E X 7 E X
E 2 E （ 1 3 X 2 2 3 X 5 ） 1 3 E X 3 2 3 E X 5 E X
参数的矩估计及评价标准PPT课件
2.有效性（不作要求）
设 ˆ1 ˆ1( X1, X与2,, X n ) ˆ2 都ˆ2是( X1, X 2,, X n ) 参数 的无偏估计量,如果
D(ˆ1) D(ˆ2), 则称 ˆ1 比 ˆ2 有效.
如果对于给定的样本容量 , 的方差 n 最小ˆ , 称 是ˆ 的有效估计量.
D(ˆ)
则
第15页/共25页
3.一致性（不作要求）
如果 n 时, 按概率收ˆn敛于 , 的正数 ,有
即对于任意给定
lim
n
P(
ˆn
) 1,
则称 是ˆn 的一致估计量.
n 第16页/共25页
小结
未知参数的估计量的三个评选标准:无偏性,有效性
和一致性. 评价估计量,不能从一个估计量的某次具体表现上
去衡量好坏,而应看其整体性质.
i
X )2
,
则
（A）
S 是 的无偏估计量.
（B） （C） （D）
S 是 的最大似然估计. S 是 的相合估计量（即一致估计量）. S 与 相X互独立.
[1992 数学四]
第18页/共25页
分析:
对于任何总体，
虽然有 E(S 2 ) 2 , 即 S是2 2
的无偏估计量，
但是未必有 E(S) , 即 S未必是
Xi)
1 n
n i1
E(
X
i
)
1 n
n
.
X 是 的无偏估计量:
ˆ X .
第12页/共25页
（2）
S2
1 n 1
n i1
(Xi
X
)2
1
n
(
n 1 i1
X
2 i
2.2 矩估计和最大似然估计
地会想到用子样矩来代替总体矩，从而得到总体分布中参数 的一种估计。这种估计方法称为矩法。它的思想实质是采用 样本的经验分布和样本矩去替换总体的分布和总体矩的原 则。今后称之为替换原则。 设 X 1 , X 2 , , X n 是总体 X 的一个样本。 若 E Xk 存 在，则称之为 X 的k 阶 原 点 矩 。 记 作 k ， 称
求未知参数 ( , 2 ) 的矩估计量． 解 分别用样本均值 X 和二阶中心矩（未修正样本方
差） M 2* 估计 EX 和 DX ，得 和 2 的联立方程组：
1 2 X exp ， 2 M * (e 1) exp2 2 ． 2
于是，得 和 2 的矩估计量：
* 2 X M 2 2 ， ˆ ln ˆ ． ln 1 2 M* X 2 X 2
* 2 2
1 2
．
二、最大似然估计法
1、最大似然原理 一个试验有若干个可能的结果 A，B，C， ，若在一次 试验中结果 A 出现， 则一般认为试验条件对结果 A 出现有利， 也即 A 出现的概率最大。
2
关于 和 2 解方程组：
1 ln X 2， ln X 2 2 2 , 2
* ln M 2 ln(e 1) 2 2 ln(e 1) ln X 2；
2 2
ln(e
2
* * M2 M2 2 1) ln 2 ， e 1 2 ， X X * M2 2 ˆ ln 1 2 ； X
第 3 页 共 13 页
2.2 矩估计和最大似然估计
* ˆ X 3M2 a 所以 a , b 的矩估计为 * ˆ b X 3M 2
求未知参数 ( , 2 ) 的矩估计量． 解 分别用样本均值 X 和二阶中心矩（未修正样本方
差） M 2* 估计 EX 和 DX ，得 和 2 的联立方程组：
1 2 X exp ， 2 M * (e 1) exp2 2 ． 2
于是，得 和 2 的矩估计量：
* 2 X M 2 2 ， ˆ ln ˆ ． ln 1 2 M* X 2 X 2
* 2 2
1 2
．
二、最大似然估计法
1、最大似然原理 一个试验有若干个可能的结果 A，B，C， ，若在一次 试验中结果 A 出现， 则一般认为试验条件对结果 A 出现有利， 也即 A 出现的概率最大。
2
关于 和 2 解方程组：
1 ln X 2， ln X 2 2 2 , 2
* ln M 2 ln(e 1) 2 2 ln(e 1) ln X 2；
2 2
ln(e
2
* * M2 M2 2 1) ln 2 ， e 1 2 ， X X * M2 2 ˆ ln 1 2 ； X
第 3 页 共 13 页
2.2 矩估计和最大似然估计
* ˆ X 3M2 a 所以 a , b 的矩估计为 * ˆ b X 3M 2
概率论与数理统计课件 L5.2参数的最大似然估计与矩估计
§52 参数的最大似然估计与矩估计
一、最大似然估计 二、矩估计
1
一、最大似然估计
1 最大似然法的基本思想 在已经得到试验结果的情况下 我们应该寻找使这个
结果出现的可能性最大的那个作为真的估计
2
一、最大似然估计
1 最大似然法的基本思想
设(X1 Xn)为来自总体X的样本 X的分布类型已知
但参数未知Θ
解 先求平均寿命EX即的最大似然估计量
似然函数为
ln
L(
)
nln
1
n
i1
xi
求得似然函数的驻点为0 x 故ˆ X 是的最大似然估计量
从而平均寿命的最大似然估计值为 x 172.7
11
例5.8 设某种型号的电子元件的寿命X(以小时计)的密
度函数为
f
(x, )
1
x
e
(x
0)
，θ未知且θ>0，现得样本值为
解 EX 2DX 故
xi
x
2 0
1 n
n
(xi
i1
x)2
可以断定0,
2 0
是最大值点
从而ˆ X
与ˆ
2
1 n
n
(
i1
X
i
X
)2
分别为与 2 的最大似然估计量
ˆ
x
与ˆ
2
1 n
n
(xi
i1
x)2
分
别为与2的最大似然估计值
8
最大似然估计的不变性 如果ˆ 是的最大似然估计 ug()是的函数且存在单值
反函数h(u) 那么g(ˆ) 是 g()的最大似然估计
20 (X1 Xn)为来自X的样本 (x1 xn)为样本值 试求 与 2的最大似然估计
一、最大似然估计 二、矩估计
1
一、最大似然估计
1 最大似然法的基本思想 在已经得到试验结果的情况下 我们应该寻找使这个
结果出现的可能性最大的那个作为真的估计
2
一、最大似然估计
1 最大似然法的基本思想
设(X1 Xn)为来自总体X的样本 X的分布类型已知
但参数未知Θ
解 先求平均寿命EX即的最大似然估计量
似然函数为
ln
L(
)
nln
1
n
i1
xi
求得似然函数的驻点为0 x 故ˆ X 是的最大似然估计量
从而平均寿命的最大似然估计值为 x 172.7
11
例5.8 设某种型号的电子元件的寿命X(以小时计)的密
度函数为
f
(x, )
1
x
e
(x
0)
，θ未知且θ>0，现得样本值为
解 EX 2DX 故
xi
x
2 0
1 n
n
(xi
i1
x)2
可以断定0,
2 0
是最大值点
从而ˆ X
与ˆ
2
1 n
n
(
i1
X
i
X
)2
分别为与 2 的最大似然估计量
ˆ
x
与ˆ
2
1 n
n
(xi
i1
x)2
分
别为与2的最大似然估计值
8
最大似然估计的不变性 如果ˆ 是的最大似然估计 ug()是的函数且存在单值
反函数h(u) 那么g(ˆ) 是 g()的最大似然估计
20 (X1 Xn)为来自X的样本 (x1 xn)为样本值 试求 与 2的最大似然估计
《矩估计的基本步骤》PPT课件
ˆ ( x1 , x2 ,, xn ), 参数 的最大似然估计值 ,
ˆ ( X 1 , X 2 ,, X n ) 参数 的最大似然估计量 .
(2) 连续型总体参数的最大似然估计 似然函数的定义
设概率密度为 f ( x; ), 为待估参数, , ( 其中 是 可能的取值范围 )
1 2 k
(3) 解方程组, 得到k个参数的矩估计量
ˆ (X , X , 1 1 2 ˆ (X , X , k 1 2
, Xn ) , Xn )
未知参数 1, ,k 的矩估计量
代入一组样本值得 k 个数:
ˆ1 ˆ1 ( x1 , x2 , , xn ) ˆk ˆk ( x1 , x2 , , xn )
max f ( xi ; ).
i 1
ˆ ( x1 , x2 ,, xn ) 参数 的最大似然估计值 , ˆ ( X 1 , X 2 ,, X n ) 参数 的最大似然估计量 .
【注】最大似然估计法是在总体分布类型已知条件下 使用的一种参数估计方法 .
例6
设 X 服从参数为 ( 0) 的泊松分布,
n
故 和 2 的最大似然估计量分别 为 1 n 2 ˆ X, ˆ ( X i X )2 . n i 1
【结论】正态总体的两个参数的最大似然估计与相 应的矩估计相同.
【注】若L不是 , , 的可微函数或者似然方程无解, 1 k 则遵循最大似然估计的思想用其它方法求估计值.
未知参数 1, ,k 的矩估计值
矩估计法的理论依据: 大数定律
∵ X1, X2 , , Xn 是独立同分布的, ∴ X1k, X2k, , Xnk 也是独立同分布的. 于是有 E(X1k)=E(X2k)==E(Xnk)= E(Xk)=μk . 根据辛钦大数定律, 样本k阶矩Ak依概率收敛于总体k 阶矩μk ,即 1 n P k k
ˆ ( X 1 , X 2 ,, X n ) 参数 的最大似然估计量 .
(2) 连续型总体参数的最大似然估计 似然函数的定义
设概率密度为 f ( x; ), 为待估参数, , ( 其中 是 可能的取值范围 )
1 2 k
(3) 解方程组, 得到k个参数的矩估计量
ˆ (X , X , 1 1 2 ˆ (X , X , k 1 2
, Xn ) , Xn )
未知参数 1, ,k 的矩估计量
代入一组样本值得 k 个数:
ˆ1 ˆ1 ( x1 , x2 , , xn ) ˆk ˆk ( x1 , x2 , , xn )
max f ( xi ; ).
i 1
ˆ ( x1 , x2 ,, xn ) 参数 的最大似然估计值 , ˆ ( X 1 , X 2 ,, X n ) 参数 的最大似然估计量 .
【注】最大似然估计法是在总体分布类型已知条件下 使用的一种参数估计方法 .
例6
设 X 服从参数为 ( 0) 的泊松分布,
n
故 和 2 的最大似然估计量分别 为 1 n 2 ˆ X, ˆ ( X i X )2 . n i 1
【结论】正态总体的两个参数的最大似然估计与相 应的矩估计相同.
【注】若L不是 , , 的可微函数或者似然方程无解, 1 k 则遵循最大似然估计的思想用其它方法求估计值.
未知参数 1, ,k 的矩估计值
矩估计法的理论依据: 大数定律
∵ X1, X2 , , Xn 是独立同分布的, ∴ X1k, X2k, , Xnk 也是独立同分布的. 于是有 E(X1k)=E(X2k)==E(Xnk)= E(Xk)=μk . 根据辛钦大数定律, 样本k阶矩Ak依概率收敛于总体k 阶矩μk ,即 1 n P k k
第二章1-矩估计和极大似然估计
0
解法二
E
X
x
1
x
e dx
1
x
x e dx (2)
2
0
即 E|X|
1 n
用 n i1 X i
替换
EX
即得的另一矩估计量为
ˆ 1
n
n i 1
Xi
16
• 矩估计的优点 – 不依赖总体的分布，简便易行 – 只要n充分大，精确度也很高。
• 矩估计的缺点 – 矩估计的精度较差； – 要求总体的某个k阶矩存在； – 要求未知参数能写为总体的原点矩的函数形 式
得和2的估计值分别为13(mm)和 0.133(mm)2
12
例2 设总体X的概率密度为
f
( x;
)
x 1 ,
0,
0 x 1 其它
X1,X2,,Xn为来自于总体X的样本,x1,x2, ,xn 为样本值,求参数的矩估计。
解： 先求总体矩
1
1
E( X ) x x 1dx x dx
x 1 1
ˆ2 (x1, x2 ,, xn )
数值
ˆk (x1, x2 ,, xn )
称数ˆ1,ˆ2 ,,ˆk 为未知参数1,2 ,,k 的估计值 对应的统计量为未知参数1,2 ,,k 的估计量
问题 如何构造统计量？
6
二.点估计的方法
1、矩方法；（矩估计） 2、极大似然函数法（极大似然估计）.
1. 矩方法
• 极大似然估计的缺点 要求必须知道总体的 分布函数形式
29
多参数情形的极大似然估计
若总体X的概率密度为：f (x;1,2 , ,k )
其中
1
,
2
,,
矩估计和极大似然估计 58页PPT文档共60页
矩估计和极大似ቤተ መጻሕፍቲ ባይዱ估计 58页 PPT文档
31、别人笑我太疯癫，我笑他人看不 穿。(名 言网) 32、我不想听失意者的哭泣，抱怨者 的牢骚 ，这是 羊群中 的瘟疫 ，我不 能被它 传染。 我要尽 量避免 绝望， 辛勤耕 耘，忍 受苦楚 。我一 试再试 ，争取 每天的 成功， 避免以 失败收 常在别 人停滞 不前时 ，我继 续拼搏 。
谢谢你的阅读
❖ 知识就是财富 ❖ 丰富你的人生
71、既然我已经踏上这条道路，那么，任何东西都不应妨碍我沿着这条路走下去。——康德 72、家庭成为快乐的种子在外也不致成为障碍物但在旅行之际却是夜间的伴侣。——西塞罗 73、坚持意志伟大的事业需要始终不渝的精神。——伏尔泰 74、路漫漫其修道远，吾将上下而求索。——屈原 75、内外相应，言行相称。——韩非
33、如果惧怕前面跌宕的山岩，生命 就永远 只能是 死水一 潭。 34、当你眼泪忍不住要流出来的时候 ，睁大 眼睛， 千万别 眨眼!你会看到 世界由 清晰变 模糊的 全过程 ，心会 在你泪 水落下 的那一 刻变得 清澈明 晰。盐 。注定 要融化 的，也 许是用 眼泪的 方式。
35、不要以为自己成功一次就可以了 ，也不 要以为 过去的 光荣可 以被永 远肯定 。
31、别人笑我太疯癫，我笑他人看不 穿。(名 言网) 32、我不想听失意者的哭泣，抱怨者 的牢骚 ，这是 羊群中 的瘟疫 ，我不 能被它 传染。 我要尽 量避免 绝望， 辛勤耕 耘，忍 受苦楚 。我一 试再试 ，争取 每天的 成功， 避免以 失败收 常在别 人停滞 不前时 ，我继 续拼搏 。
谢谢你的阅读
❖ 知识就是财富 ❖ 丰富你的人生
71、既然我已经踏上这条道路，那么，任何东西都不应妨碍我沿着这条路走下去。——康德 72、家庭成为快乐的种子在外也不致成为障碍物但在旅行之际却是夜间的伴侣。——西塞罗 73、坚持意志伟大的事业需要始终不渝的精神。——伏尔泰 74、路漫漫其修道远，吾将上下而求索。——屈原 75、内外相应，言行相称。——韩非
33、如果惧怕前面跌宕的山岩，生命 就永远 只能是 死水一 潭。 34、当你眼泪忍不住要流出来的时候 ，睁大 眼睛， 千万别 眨眼!你会看到 世界由 清晰变 模糊的 全过程 ，心会 在你泪 水落下 的那一 刻变得 清澈明 晰。盐 。注定 要融化 的，也 许是用 眼泪的 方式。
35、不要以为自己成功一次就可以了 ，也不 要以为 过去的 光荣可 以被永 远肯定 。
矩估计和极大似然估计PPT课件
(2). 把样本的联合概率函数中的自变量看成
已知常数, 参数θ 看成自变量, 得到似然 函数 L(θ )；
(3). 求似然函数 L(θ) 的最大值点 (常常转化 为求ln L(θ)的最大值点) ，即θ的MLE;
(4). 在最大值点的表达式中，代入样本值， 就得参数 θ 的极大似然估计。
第30页/共45页
i1
i
X )2
即
n 1S2. n
第13页/共45页
如：正态总体N(, 2) 中和2的矩估计为
ˆ X ,
ˆ 2
1 n
n
（X i
i 1
X )2.
第14页/共45页
设总体 X 的分布函数中含 k 个未知参数
1,2 ,k .
步骤一：记总体X的m阶原点矩 E(Xm)为am ,
m =1,2,…,k. 一般地, am (m=1, 2,…, K) 是总体分布
Xn，要去估计未知参数θ 。
一种直观的想法是：哪个参数(多个参数 时是哪组参数) 使得现在的出现的可能性 (概 率) 最大，哪个参数(或哪组参数)就作为参数 的估计。这就是 极大似然估计原理。 如果
L(ˆ) max L( ).
θ 可能变化空间,
称为参数空间。
称 ˆ为θ 的极大似然估计 (MLE)。
若θ 是向量，上述似然方程需用似然方程组
代替 。
ln ln
L(1,2
1 L(1,2
,,k ,,k
) )
0, 0,
2
ln
L(1,2
,,k
)
0
k
● 用上述方法求参数的极大似然估计有时行不
通，这时要用极大似然原理来求 。
第32页/共45页
例2：某机器生产的金属杆用于汽车刹车系统，
已知常数, 参数θ 看成自变量, 得到似然 函数 L(θ )；
(3). 求似然函数 L(θ) 的最大值点 (常常转化 为求ln L(θ)的最大值点) ，即θ的MLE;
(4). 在最大值点的表达式中，代入样本值， 就得参数 θ 的极大似然估计。
第30页/共45页
i1
i
X )2
即
n 1S2. n
第13页/共45页
如：正态总体N(, 2) 中和2的矩估计为
ˆ X ,
ˆ 2
1 n
n
（X i
i 1
X )2.
第14页/共45页
设总体 X 的分布函数中含 k 个未知参数
1,2 ,k .
步骤一：记总体X的m阶原点矩 E(Xm)为am ,
m =1,2,…,k. 一般地, am (m=1, 2,…, K) 是总体分布
Xn，要去估计未知参数θ 。
一种直观的想法是：哪个参数(多个参数 时是哪组参数) 使得现在的出现的可能性 (概 率) 最大，哪个参数(或哪组参数)就作为参数 的估计。这就是 极大似然估计原理。 如果
L(ˆ) max L( ).
θ 可能变化空间,
称为参数空间。
称 ˆ为θ 的极大似然估计 (MLE)。
若θ 是向量，上述似然方程需用似然方程组
代替 。
ln ln
L(1,2
1 L(1,2
,,k ,,k
) )
0, 0,
2
ln
L(1,2
,,k
)
0
k
● 用上述方法求参数的极大似然估计有时行不
通，这时要用极大似然原理来求 。
第32页/共45页
例2：某机器生产的金属杆用于汽车刹车系统，