参数的矩法估计17页PPT
合集下载
矩法估计PPT课件
设总体的分布函数形式已知, 但它的一个或 多个参数为未知, 借助于总体的一个样本来估计总 体未知参数称为点估计问题.
点 估 计 问 题 就 是 要 构 造 一 个 适 当 的 统 计 量
ˆ(1,2,L,n),用 它 的 观 察 值 ˆ(x1,x2,L,xn) 来 估 计 未 知 参 数 .
ˆ(1 ,2 ,L ,n )称 为 的 估 计 量 . 通 称 估 计 ,
ˆ ( x 1 ,x 2 ,L ,x n ) 称 为 的 估 计 值 . 简 记 为 ˆ.
.
5
二、估计量的求法
由于估计量是样本的函数, 是随机变量, 故 对不同的样本值, 得到的参数值往往不同, 求估 计量的问题是关键问题.
点估计的求法: (两种) 矩估计法和极大似然估计法.
.
6
一、 矩估计法 它是基于一种简单的“替换” 思想建立起来的一种估计方法 . 是英国统计学家K.皮尔逊最早提出的 . 其基本思想是用样本矩估计总体矩 .
.
19
例 6 .设 X 在 [ 0 ， ] 上 均 匀 分 布 ， 求 的 矩 法 估 计 量 并 确 定
是 否 为 无 偏 估 计 量 ？
1
解 ： f(x,)
0x, 0
（ 列 1） 方矩 程法 ：２ 估 ＝0计 X ： E X 0 x 1 其 dx 它 2 解 方 程 ： ˆ ＝ ２ X 即 为 的 矩 法 估 计 量 。
112X312X7
2 13X232X5
都是EX的无偏估计，并问哪一个比较有效？
解 E 1 E （ 1 2 X 3 1 2 X 7 ） 1 2 E X 3 1 2 E X 7 E X
E 2 E （ 1 3 X 2 2 3 X 5 ） 1 3 E X 3 2 3 E X 5 E X
点 估 计 问 题 就 是 要 构 造 一 个 适 当 的 统 计 量
ˆ(1,2,L,n),用 它 的 观 察 值 ˆ(x1,x2,L,xn) 来 估 计 未 知 参 数 .
ˆ(1 ,2 ,L ,n )称 为 的 估 计 量 . 通 称 估 计 ,
ˆ ( x 1 ,x 2 ,L ,x n ) 称 为 的 估 计 值 . 简 记 为 ˆ.
.
5
二、估计量的求法
由于估计量是样本的函数, 是随机变量, 故 对不同的样本值, 得到的参数值往往不同, 求估 计量的问题是关键问题.
点估计的求法: (两种) 矩估计法和极大似然估计法.
.
6
一、 矩估计法 它是基于一种简单的“替换” 思想建立起来的一种估计方法 . 是英国统计学家K.皮尔逊最早提出的 . 其基本思想是用样本矩估计总体矩 .
.
19
例 6 .设 X 在 [ 0 ， ] 上 均 匀 分 布 ， 求 的 矩 法 估 计 量 并 确 定
是 否 为 无 偏 估 计 量 ？
1
解 ： f(x,)
0x, 0
（ 列 1） 方矩 程法 ：２ 估 ＝0计 X ： E X 0 x 1 其 dx 它 2 解 方 程 ： ˆ ＝ ２ X 即 为 的 矩 法 估 计 量 。
112X312X7
2 13X232X5
都是EX的无偏估计，并问哪一个比较有效？
解 E 1 E （ 1 2 X 3 1 2 X 7 ） 1 2 E X 3 1 2 E X 7 E X
E 2 E （ 1 3 X 2 2 3 X 5 ） 1 3 E X 3 2 3 E X 5 E X
参数的矩估计及评价标准PPT课件
2.有效性（不作要求）
设 ˆ1 ˆ1( X1, X与2,, X n ) ˆ2 都ˆ2是( X1, X 2,, X n ) 参数 的无偏估计量,如果
D(ˆ1) D(ˆ2), 则称 ˆ1 比 ˆ2 有效.
如果对于给定的样本容量 , 的方差 n 最小ˆ , 称 是ˆ 的有效估计量.
D(ˆ)
则
第15页/共25页
3.一致性（不作要求）
如果 n 时, 按概率收ˆn敛于 , 的正数 ,有
即对于任意给定
lim
n
P(
ˆn
) 1,
则称 是ˆn 的一致估计量.
n 第16页/共25页
小结
未知参数的估计量的三个评选标准:无偏性,有效性
和一致性. 评价估计量,不能从一个估计量的某次具体表现上
去衡量好坏,而应看其整体性质.
i
X )2
,
则
（A）
S 是 的无偏估计量.
（B） （C） （D）
S 是 的最大似然估计. S 是 的相合估计量（即一致估计量）. S 与 相X互独立.
[1992 数学四]
第18页/共25页
分析:
对于任何总体，
虽然有 E(S 2 ) 2 , 即 S是2 2
的无偏估计量，
但是未必有 E(S) , 即 S未必是
Xi)
1 n
n i1
E(
X
i
)
1 n
n
.
X 是 的无偏估计量:
ˆ X .
第12页/共25页
（2）
S2
1 n 1
n i1
(Xi
X
)2
1
n
(
n 1 i1
X
2 i
第7章 参数估计—概率课件PPT
X的密度为：
f
x
x 1
0
0 x 1 其他
lnL
n 2
ln
令
dlnL
d
n 2
1
2
1
1
n
ln xi
ni 1
ln xi
i 1
0
即：
n
n
ln xi
i 1
的极大似然估计量为：ˆ
n
n2
2
lnX
i
10
i1
例4：设总体X的概率密度为：f x 1 ex
x
,
0
其它
其中 0, , 是未知常量, X1, , X n 为X的样本，
故 X1 min X1, X 2 ,
, Xn,
又lnL nln
1
n
Xi
i 1
ˆ
令 dlnL d
n
1
2
n i 1
X i X 1
0
ˆ X X1
12
例5：设总体X 服从0, 上的均匀分布， 0未知，
试由样本 x1, x2, , xn求出的极大似然估计和矩估计。
解：1 极大似然估计
5
例2：设总体X的密度为：
f
x
x 1
0
0 x 1 0为未知参数，
其他
X1,
X
，
2
,
X n 为取自X的样本，求的矩估计。
解：E X xf x dx 1 x dx
0
1
令E X X
X 1
2
ˆ X
1 X
6
二．极大似然估计法
极大似然估计的原理介绍
X1, X 2, , X n 是取自X的一个样本，试求, 2的矩估计。
概率论与数理统计课件：7-1 参数估计矩估计
1 X
例7.1.2 设X1,X2,…Xn是取自总体X的一个样本，
求总体均值 与方差 2的矩估计。
解： 1 E(X )
2 E(X 2 ) D(X ) (E(X ))2 2 u 2
解方程组得
1
2 2 12
用样本矩代替相应的总体矩得矩估计量为
A1 X
2
A2
A12
1 n
替换原理是指用样本矩及其函数去替换相应的总 体矩及其函数，譬如：
• 用样本均值估计总体均值E(X)，即 Eˆ (X )； x • 用样本方差估计总体方差Var(X)，即 Vˆ ar( X ) sn2 • 用样本的 p 分位数估计总体的 p 分位数，
• 用样本中位数估计总体中位数。
设总体的k阶原点矩为k，它们一般均 为参数 的函数，记为 k（ ）。
由辛钦大数定律
lim
n
Pi
k
| } 1
即
1
n
n i 1
X
k i
P
k ,
当n较大时用样本k阶原点矩近似总体k阶原点矩.即
1
n
n i 1
X
k i
k ( ),
由此估计未知参数，这就是矩估计法
矩估计法是英国统计学家K.皮
尔逊(1857-1936)最早提出的.
其基本思想是用样本矩估计总体矩.
m m (1, 2 ,, m )
（3）用Ai代替上述方程组中的 i，i=1,2,…m
得到 ˆi i (A1, A2 ,, Am ) i=1,2,…m
作为 i i=1,2的,…矩m估计量
（4）若估计的是参数的函数 g(1,2 ,m )
则用 ˆi 代替 i 得到 g(ˆ1,ˆ2 ,ˆm ) 作为 g(1,2 ,m ) 的矩估计量
例7.1.2 设X1,X2,…Xn是取自总体X的一个样本，
求总体均值 与方差 2的矩估计。
解： 1 E(X )
2 E(X 2 ) D(X ) (E(X ))2 2 u 2
解方程组得
1
2 2 12
用样本矩代替相应的总体矩得矩估计量为
A1 X
2
A2
A12
1 n
替换原理是指用样本矩及其函数去替换相应的总 体矩及其函数，譬如：
• 用样本均值估计总体均值E(X)，即 Eˆ (X )； x • 用样本方差估计总体方差Var(X)，即 Vˆ ar( X ) sn2 • 用样本的 p 分位数估计总体的 p 分位数，
• 用样本中位数估计总体中位数。
设总体的k阶原点矩为k，它们一般均 为参数 的函数，记为 k（ ）。
由辛钦大数定律
lim
n
Pi
k
| } 1
即
1
n
n i 1
X
k i
P
k ,
当n较大时用样本k阶原点矩近似总体k阶原点矩.即
1
n
n i 1
X
k i
k ( ),
由此估计未知参数，这就是矩估计法
矩估计法是英国统计学家K.皮
尔逊(1857-1936)最早提出的.
其基本思想是用样本矩估计总体矩.
m m (1, 2 ,, m )
（3）用Ai代替上述方程组中的 i，i=1,2,…m
得到 ˆi i (A1, A2 ,, Am ) i=1,2,…m
作为 i i=1,2的,…矩m估计量
（4）若估计的是参数的函数 g(1,2 ,m )
则用 ˆi 代替 i 得到 g(ˆ1,ˆ2 ,ˆm ) 作为 g(1,2 ,m ) 的矩估计量
《矩估计的基本步骤》PPT课件
ˆ ( x1 , x2 ,, xn ), 参数 的最大似然估计值 ,
ˆ ( X 1 , X 2 ,, X n ) 参数 的最大似然估计量 .
(2) 连续型总体参数的最大似然估计 似然函数的定义
设概率密度为 f ( x; ), 为待估参数, , ( 其中 是 可能的取值范围 )
1 2 k
(3) 解方程组, 得到k个参数的矩估计量
ˆ (X , X , 1 1 2 ˆ (X , X , k 1 2
, Xn ) , Xn )
未知参数 1, ,k 的矩估计量
代入一组样本值得 k 个数:
ˆ1 ˆ1 ( x1 , x2 , , xn ) ˆk ˆk ( x1 , x2 , , xn )
max f ( xi ; ).
i 1
ˆ ( x1 , x2 ,, xn ) 参数 的最大似然估计值 , ˆ ( X 1 , X 2 ,, X n ) 参数 的最大似然估计量 .
【注】最大似然估计法是在总体分布类型已知条件下 使用的一种参数估计方法 .
例6
设 X 服从参数为 ( 0) 的泊松分布,
n
故 和 2 的最大似然估计量分别 为 1 n 2 ˆ X, ˆ ( X i X )2 . n i 1
【结论】正态总体的两个参数的最大似然估计与相 应的矩估计相同.
【注】若L不是 , , 的可微函数或者似然方程无解, 1 k 则遵循最大似然估计的思想用其它方法求估计值.
未知参数 1, ,k 的矩估计值
矩估计法的理论依据: 大数定律
∵ X1, X2 , , Xn 是独立同分布的, ∴ X1k, X2k, , Xnk 也是独立同分布的. 于是有 E(X1k)=E(X2k)==E(Xnk)= E(Xk)=μk . 根据辛钦大数定律, 样本k阶矩Ak依概率收敛于总体k 阶矩μk ,即 1 n P k k
ˆ ( X 1 , X 2 ,, X n ) 参数 的最大似然估计量 .
(2) 连续型总体参数的最大似然估计 似然函数的定义
设概率密度为 f ( x; ), 为待估参数, , ( 其中 是 可能的取值范围 )
1 2 k
(3) 解方程组, 得到k个参数的矩估计量
ˆ (X , X , 1 1 2 ˆ (X , X , k 1 2
, Xn ) , Xn )
未知参数 1, ,k 的矩估计量
代入一组样本值得 k 个数:
ˆ1 ˆ1 ( x1 , x2 , , xn ) ˆk ˆk ( x1 , x2 , , xn )
max f ( xi ; ).
i 1
ˆ ( x1 , x2 ,, xn ) 参数 的最大似然估计值 , ˆ ( X 1 , X 2 ,, X n ) 参数 的最大似然估计量 .
【注】最大似然估计法是在总体分布类型已知条件下 使用的一种参数估计方法 .
例6
设 X 服从参数为 ( 0) 的泊松分布,
n
故 和 2 的最大似然估计量分别 为 1 n 2 ˆ X, ˆ ( X i X )2 . n i 1
【结论】正态总体的两个参数的最大似然估计与相 应的矩估计相同.
【注】若L不是 , , 的可微函数或者似然方程无解, 1 k 则遵循最大似然估计的思想用其它方法求估计值.
未知参数 1, ,k 的矩估计值
矩估计法的理论依据: 大数定律
∵ X1, X2 , , Xn 是独立同分布的, ∴ X1k, X2k, , Xnk 也是独立同分布的. 于是有 E(X1k)=E(X2k)==E(Xnk)= E(Xk)=μk . 根据辛钦大数定律, 样本k阶矩Ak依概率收敛于总体k 阶矩μk ,即 1 n P k k
矩估计和极大似然估计PPT课件
(2). 把样本的联合概率函数中的自变量看成
已知常数, 参数θ 看成自变量, 得到似然 函数 L(θ )；
(3). 求似然函数 L(θ) 的最大值点 (常常转化 为求ln L(θ)的最大值点) ，即θ的MLE;
(4). 在最大值点的表达式中，代入样本值， 就得参数 θ 的极大似然估计。
第30页/共45页
i1
i
X )2
即
n 1S2. n
第13页/共45页
如：正态总体N(, 2) 中和2的矩估计为
ˆ X ,
ˆ 2
1 n
n
（X i
i 1
X )2.
第14页/共45页
设总体 X 的分布函数中含 k 个未知参数
1,2 ,k .
步骤一：记总体X的m阶原点矩 E(Xm)为am ,
m =1,2,…,k. 一般地, am (m=1, 2,…, K) 是总体分布
Xn，要去估计未知参数θ 。
一种直观的想法是：哪个参数(多个参数 时是哪组参数) 使得现在的出现的可能性 (概 率) 最大，哪个参数(或哪组参数)就作为参数 的估计。这就是 极大似然估计原理。 如果
L(ˆ) max L( ).
θ 可能变化空间,
称为参数空间。
称 ˆ为θ 的极大似然估计 (MLE)。
若θ 是向量，上述似然方程需用似然方程组
代替 。
ln ln
L(1,2
1 L(1,2
,,k ,,k
) )
0, 0,
2
ln
L(1,2
,,k
)
0
k
● 用上述方法求参数的极大似然估计有时行不
通，这时要用极大似然原理来求 。
第32页/共45页
例2：某机器生产的金属杆用于汽车刹车系统，
已知常数, 参数θ 看成自变量, 得到似然 函数 L(θ )；
(3). 求似然函数 L(θ) 的最大值点 (常常转化 为求ln L(θ)的最大值点) ，即θ的MLE;
(4). 在最大值点的表达式中，代入样本值， 就得参数 θ 的极大似然估计。
第30页/共45页
i1
i
X )2
即
n 1S2. n
第13页/共45页
如：正态总体N(, 2) 中和2的矩估计为
ˆ X ,
ˆ 2
1 n
n
（X i
i 1
X )2.
第14页/共45页
设总体 X 的分布函数中含 k 个未知参数
1,2 ,k .
步骤一：记总体X的m阶原点矩 E(Xm)为am ,
m =1,2,…,k. 一般地, am (m=1, 2,…, K) 是总体分布
Xn，要去估计未知参数θ 。
一种直观的想法是：哪个参数(多个参数 时是哪组参数) 使得现在的出现的可能性 (概 率) 最大，哪个参数(或哪组参数)就作为参数 的估计。这就是 极大似然估计原理。 如果
L(ˆ) max L( ).
θ 可能变化空间,
称为参数空间。
称 ˆ为θ 的极大似然估计 (MLE)。
若θ 是向量，上述似然方程需用似然方程组
代替 。
ln ln
L(1,2
1 L(1,2
,,k ,,k
) )
0, 0,
2
ln
L(1,2
,,k
)
0
k
● 用上述方法求参数的极大似然估计有时行不
通，这时要用极大似然原理来求 。
第32页/共45页
例2：某机器生产的金属杆用于汽车刹车系统，
第7章 参数估计PPT课件
pˆ Z 2
pˆ(1 pˆ ) n
0.217 1.645 0.217(1 0.217) 995
0.217 0.0215
结论：我们有90％的把握认为悉尼青少年中每 天都抽烟的青少年比例在19.55%~23.85%之间。
SPSS的计算结果
均值
在SPSS中将 “是否吸烟”
均值的 90% 置信区间
1. 两个总体均值的置信区间是由两个样本均值之差 加减估计误差得到的
2. 估计误差由两部分组成：一是点估计量的标准误 差，它取决于样本统计量的抽样分布。二是估计 时所要的求置信水平为时，统计量分布两侧面积 为的分位数值，它取决于事先所要求的可靠程度
3. 两个总体均值之差(1-2)在置信水平下的置信区
9.5 50.3
标准 误
.8373
（二）总体比例的区间估计
1. 假定条件 总体服从二项分布 可以由正态分布来近似 np(成功次数)和n(1-p)(失败次数)均应该大于5
2. 使用正态分布统计量 z
z p π ~ N(0,1) π(1 π) n
3. 总体比例在1-置信水平下的置信区间为
p(1- p)
学习目标
1、掌握参数估计的基本方法和原理。 2、理解并掌握置信区间和置信水平的
含义。 3、理解并掌握评价估计量的标准。 4、掌握一个总体参数的区间估计方法，
了解两个总体参数区间估计的基本 方法。 5、掌握估计一个总体均值和总体比例 时样本量的确定方法。
一、 参数估计的一般问题
1.参数估计：总体分布类型已知，仅需对分布 的未知参数进行的估计
置信度1 - 的含义是：在同样的方法得到 的所有置信区间中，有100(1- )% 的区间 包含总体参数。
抽样分布是区间估计的理论基础。
矩法估计
§6.1 矩 法 估 计那么，怎样构造估计量呢？在第五章中由大数定律我们知道子样矩依概率收敛于母体矩，又在许多分布中它们所含的参数都是矩的函数，例如正态分布N （2,σμ）中的参数μ和2σ就是这个分布的一阶原点矩和二阶中心矩。
因此很自然地会想到用子样矩来代替母体矩，从而得到母体分布中参数的一种估计。
这种估计方法称为矩法。
它的思想实质是采用子样的经验分布和子样矩去替换母体的分布和母体矩的原则。
今后称之为替换原则。
设母体ξ具有已知类型的概率函数),,,;(21n x f θθθ ， (1θ，2θ，…，nθ)∈Θ是k 个未知参数。
2ξ，…，n ξ是取自母体ξ的一个子样，假设ξ的k 阶矩k υ=E ξk存在，显然j υ，j <k 都存在，并且是1θ，2θ，…，k θ的函数j υ(1θ，2θ，…，n θ)。
子样1ξ，2ξ，…，n ξ的j 阶矩为jξ=∑=n i ji n 11ξ。
我们设j υ(1θ，2θ，…，n θ)=j ξ，j=1,2, …，k （6.1）得到含k 个未知数1θ，2θ，…，k θ的k 个方程式，解这k 个联列方程组就可以得到1θ，2θ，…，kθ的一组解：i θ =i θ（1ξ，2ξ，…，n ξ），i=1,2, …，k （6.2） 用（6.1）中的解i θ 估计参数i θ就是矩法估计。
由于i θ是1ξ，2ξ，…，n ξ子样的函数，所以i θ是统计量。
顺便提一下，在数理统计学业中我们一般在被估计的参数θ加一个符号如尖顶i θ或其他符号用以表示θ的估计值，下面我们举个矩法估计的例子。
例6.1 母体均值E ξ与方差D ξ为矩法估计。
解 设是1ξ，2ξ，…，n ξ母体的子样。
母体具有均值E ξ和方差D ξ=E ξ2-（E ξ2)按照（6.1）式得方程式组1υ= E ξ=ξ2υ= E ξ2=（E ξ2)+ D ξ=2ξ解这一方程组得E ξ和D ξ矩法估计=ξE =ξ∑=ni i n11ξ=ξD22)(ξξ- （6.3）=21)(1∑=-ni i n ξξ=2n S那么用矩法得到的估计是否好呢？下面我们讨论体现估计好坏标准的两个性质。