矩估计和极大似然估计分析解析共59页文档
矩估计法最大似然估计法
n 3 2 2 ˆ (Xi X ) . b A1 3( A2 A1 ) X n i 1
2018/10/9
14
例4
设总体 X 的均值 和方差 2 都存在, 且有
2 0, 但 和 2 均为未知, 又设 X 1 , X 2 ,, X n 是
一个样本, 求 和 2 的矩估计量. 解 1 E ( X ) , 2 E ( X 2 ) D( X ) [ E ( X )]2 2 2 , A1 , 令 2 2 A2 . ˆ A1 X , 解方程组得到矩估计量分别为
2018/10/9 2
参数估计的类型
点估计 — 估计未知参数的值. 区间估计 — 估计未知参数的取值范围，
使得这个范围包含未知参数
真值的概率为给定的值.
2018/10/9
3
§7.1 点估计
矩估计法
最大似然估计法
小结
练习
2018/10/9
4
设总体 X 的分布函数形式已知, 但 它的一个或多个参数为未知, 借助于总 体 X 的一个样本来估计总体未知参数的 值的问题称为点估计问题.
n 1 2 2 ˆ X, ˆ (Xi X ) . n i 1 注：若总体的各阶矩不存在，则不能用矩估计法来 估计未知参数。另外，尽管矩估计法简便易行，且 只要 n 充分大，估计的精确度也很高，但它只用到 总体的数字特征的形式，而未用到总体的具体形式， 损失了一部分很有用的信息，因此，在很多场合下 显得粗糙和过于一般。
断头次数 k 断头 k 次的纱锭数 nk
0
1
2
3 4 5 6
45 60 32 9 2 1 1 150
概率论与数理统计第七章-1矩估计法和极大似然估计法
μ1 h1 (θ1 , θ2 , μ j h j (θ1 , θ2 , μk hk (θ1 , θ2 ,
, θk ) , θk ) , θk )
, μk ) , μk ) , μk )
数理统计
从这 k 个方程中解出
θ1 g1 ( μ1 , μ2 , θ j g j ( μ1 , μ2 , θk gk ( μ1 , μ2 ,
数理统计
定义 用样本原点矩估计相应的总体原点矩 ,
用样本原点矩的连续函数估计相应的总体原点矩的 连续函数, 这种参数点估计法称为矩估计法 . 矩估计法的具体做法如下 设总体的分布函数中含有k个未知参数 θ1 , θ2 , 那么它的前k阶矩 μ1 , μ2 ,
, θk ,
, μk , 一般
l xi P{ X xi ;1 , 2 , , k } l E ( X l ) l 1 hl (1 , 2 , , k ) x l p ( x; , , , )dx 1 2 k
2 1
b μ1 3( μ2 μ12 )
于是 a , b 的矩估计量为
总体矩
a A1 3( A2 A12 ) 3 n 2 X ( X X ) , i n i 1
3 n 2 b X ( X X ) n i 1 i
样本矩
数理统计
例2 设总体 X 的均值 μ和方差 σ 2 ( 0) 都存
数理统计
点估计问题的一般提法 设总体 X 的分布函数 F ( x; )的形式为已
知, 是待估参数 . X 1 , X 2 ,, X n 是 X 的一个样 本, x1 , x2 ,, xn 为相应的一个样本值 .
矩估计和极大似然估计
^ 2
1 n
n i1
Xi2
2
X .
14/22
即
ˆ X ,
ˆ 2
1 n
n i 1
(Xi
X )2.
故，均值,方差2的矩估计为
ˆ ˆ
X, 2 1
n
n
（X
i1
i
X )2
即
n 1S2. n
15/22
如：正态总体N(, 2) 中和2的矩估计为
)2
i1 2
(2 ) e , 2
n 2
1
2
2
n i1
( xi )2
对数似然函数为
ln
L(,
2
)
n 2
ln( 2
)
n 2
ln
2
1
2
2
n
( xi
i1
)2,
35/22
似然方程组为
ln L(, 2 ) 1 2
ln L(, 2 )
X1, X2 , … , Xn . 依样本对参数θ 做出估计，或估计参数θ 的 某个已知函数 g(θ ) 。 这类问题称为参数估计。
参数估计包括：点估计和区间估计。
4/22
为估计参数 µ，需要构造适当的统计量 T( X1, X2 , … , Xn )，
一旦当有了样本，就将样本值代入到该统计 量中，算出一个值作为µ的估计， 称该计算 值为 µ的一个点估计。
7/22
总体 k 阶原点矩 ak E(X k ),
样本 k 阶原点距
Ak
1 n
最新矩估计和极大似然估计
22
基本思想:
若一试验有n个可能结果
现做一试验,
若事件Ai 发生了, 则认为事件Ai在这n个可能结果
中出现的概率最大。
极大似然估计就是在一次抽样中,若得到观测值
则选取 使得当
作为θ的估计值。
时,样本出现的概率最大。
23
极大似然估计法:
定义7.1 设
是
矩估计和极大似然估计
1
参数估计要解决问题:
总体分布函数的形式为已知, 但其中参数θ 未知时，需要确定未知参数。只有当参数θ 确定后，
才能通过率密度函数计算概率。
对于未知参数，如何应用样本 X1,X2,,Xn
所提供的信息去对其一个或多个未知参数进行估计。 这类问题称为参数估计问题。
2
参数估计是对已知分布类型的总体，
所以参数 p 的矩估计量为 10
例1 设某炸药厂一天中发生着火现象的次数X
服从 参数为 的泊松分布， 未知，有以下样本值；
试估计参数 （用矩法）。
着火 k 的 0次 12 3 数 456
发 k 次 生 着 n k 7 火 9 55 0 天 2 46 2数 21 25
解： 1EX A 11 ni n1XiX
故用样本矩来估计总体矩
由英国统计学家K.皮尔逊最早提出的。
7
设总体X的分布函数为
其中
是待估参数.
为来自
的样本, 设总体的k阶矩 存在, 则样本的k阶矩
(由大数定理)
令
k个方程组
从中解得
即为矩估计量。
矩估计量的观察值称为矩估计值。
8
矩估计步骤：
离散型 连续型
9
例： 总体 X 的分布列为 ：
矩估计与最大似然估计
矩估计与最大似然估计
矩估计是基于样本矩与总体矩之间的对应关系来估计总体参数
的方法。
在确定矩估计量时，首先需要确定估计量所对应的矩的阶数，并且需要保证样本矩与总体矩之间存在一一对应关系。
矩估计方法具有简单、易于计算和解释的优点，但是在样本容量较小时可能存在较大的估计误差。
最大似然估计是基于样本数据在不同总体参数下出现的概率大
小来估计总体参数的方法。
最大似然估计量是使得样本数据出现的概率最大的总体参数取值。
最大似然估计方法具有渐进无偏性、有效性和一致性等优点，但是在计算过程中需要确定似然函数，并且需要对极值进行求解。
总之，矩估计和最大似然估计方法各有优缺点，在具体应用中需要根据实际情况进行选择。
- 1 -。
矩估计和极大似然估计分析解析
14
注:
总体均值方差的矩估计量与总体分布无关。
做矩估计时,也可用中心矩建立关于未知参数的 方程组， 因而矩估计不唯一。
例3
解：
λ未知，求参数λ的矩估计。
15
例4 不合格品率 p 的矩法估计 设某车间生产一批产品，为估计该批产品不合格品 率，抽取了n 件产品进行检查. 分析 设总体X 为抽的不合格产品数，相当于抽取了 一组样本X1，X2，… ，Xn , 且
中出现的概率最大。 极大似然估计就是在一次抽样中,若得到观测值
则选取
使得当
作为θ的估计值。 时,样本出现的概率最大。
24
极大似然估计法:
定义7.1 设 是
的一个样本值
形式已知
(如离散型) X的分布列为 的联合分布列为：
事件 为
发生的概率为 的函数，
25
为样本的似然函数。
样本的似然函数
现从中挑选使概率
θ
1 0 ( y )2 e θ dy 2θ 2 2 2
x μ 2 x θ e dx μ θ y
=θ2+(θ+μ)2
注意到 令 θ μ X , 2 θ M 2 . DX = E ( X2 )－( EX )2=θ2
2 1 ˆ M2 (Xi X ) , n i 1 ˆ X M . μ n
(b a ) ( a b) 1 A2 12 4 n
2 2
i 1
n
2 Xi
2 1
即 a b 2 A1 , b a 12( A2 A )
n 3 2 2 ˆ 解得： a A2 3( A2 A1 ) X ( X i X ) 17 n i 1
矩估计法和最大似然估计法
)]2
a
b2
12
a
b2
4
,
令
a
2
b
A1
1 n
n i 1
Xi,
(a b)2 12
(a
b)2 4
A2
1 n
n i 1
Xi2,
即
a b 2 A1, b a 12( A2
A12 ).
解方程组得到a, b的矩估计量分别为
aˆ A1
3( A2 A12 ) X
3 n
n i 1
若
L(
x1
,
x2
,,
xn
;ˆ
)
max
L(
x1
,
x2
,,
xn
;
).
ˆ( x1, x2,, xn ) 参数 的最大似然估计值,
ˆ( X1, X2,, Xn ) 参数 的最大似然估计量.
最大似然估计法是由费舍尔引进的. 求最大似然估计量的步骤:
费舍尔
(一) 写出似然函数
n
L( ) L( x1, x2 ,, xn; ) p( xi; )
.
解 总体X 的一阶矩为
1 E( X )
1 x( 1)x dx 1
0
2
以一阶样本矩 A1 X 代替上式中的一阶总体矩 1 ，
有
A1
1 2
,
从中解出
，得到
的矩估计量为
ˆ 1 2A1 1 2X .
A1 1 X 1
，
例3 设总体X的概率密度为
f
( x; , )
1
e ( x) /
本, x1, x2 ,, xn 为相应的一个样本值.
点估计问题就是要构造一个适当的统计量
分别用矩估计和极大似然比估计法求 的估计量
分别用矩估计和极大似然比估计法求的估计量分别用矩估计和极大似然比估计法求估计量一、引言估计量是统计学中常用的概念，用于估计总体参数。
其中，矩估计和极大似然估计是两种常见的估计方法。
本文将以“分别用矩估计和极大似然比估计法求估计量”为中心，详细阐述这两种方法的原理、步骤和应用。
二、矩估计法矩估计法是由卡尔·皮尔逊于1894年提出的。
它是一种基于样本矩的方法，通过样本矩与总体矩的对应关系来估计总体参数。
具体步骤如下：1.确定总体分布类型：首先，根据问题的背景和数据的特征，确定总体的分布类型，如正态分布、均匀分布等。
2.确定矩条件：根据总体分布类型的特点，确定需要估计的总体参数的矩条件。
例如，对于正态分布，需要估计均值和方差，因此需要确定一阶矩和二阶矩条件。
3.计算样本矩：从样本中计算出与所确定的矩条件对应的样本矩。
4.建立矩方程组：利用样本矩与总体矩的对应关系，建立矩方程组。
5.求解矩方程组：解矩方程组，得到参数的估计值。
矩估计法的优点是计算简单、易于理解，但其估计结果可能存在偏差。
同时，矩估计法对分布类型的选择比较敏感，如果选取的分布类型不准确，估计结果可能会失真。
三、极大似然估计法极大似然估计法是由拉夫·费歇尔于1922年提出的。
它是一种基于样本似然函数的方法，通过寻找使样本观测值出现的概率最大的参数值来估计总体参数。
具体步骤如下：1.建立似然函数：根据总体分布类型的假设，建立样本的似然函数。
似然函数是参数的函数，表示给定参数值时样本观测值出现的概率。
2.构造对数似然函数：为了方便计算，通常将似然函数取对数，得到对数似然函数。
3.求解极大化问题：将对数似然函数最大化，得到参数的极大似然估计值。
极大似然估计法的优点是估计结果具有一致性、渐进正态性和最大效率性等良好的性质。
但在实际应用中，由于似然函数的复杂性和求解问题的难度，常常需要使用数值优化方法进行求解。
四、应用示例为了更好地理解矩估计和极大似然估计的应用，下面以正态分布为例进行说明。