概率论与数理统计-第6章-第2讲-最大似然估计法
合集下载
第六章-最大似然估计
(6-3)
第 2 页 共 27 页
第六章 最大似然估计
与非线性回归的情况一样，在 ML 估计中也需要假定参数的可识别性，具体如下：
假定（可识别假定）：对参数空间 的任意
，有
其中， 为参数 的真值。
这里需要说明一下，与 LS 估计不同，在 ML 估计的框架中，用于保证估计量性质的约 束条件无法很清晰的划分为几类简单的假定。因此，更常用的做法是直接给出这些约束条件 （正则条件），而不是作为假定提出。我们之所以单独列出可识别假定，是因为它是整个极 值估计的核心假定，且在性质证明中能直接看出。
CRLB 是指任意无偏估计量的方差所能达到的最低水平，计算如下：
(6-8)
以下简单证明 CRLB 的性质。
证明： 已知密度函数
，满足
，其得分函数为 ，则有
。记
的估计量
其中，
注意到，对任意矩阵 得
所以有 当估计量为无偏估计时，即
，存在满秩矩阵 ，则有
，上式可化简为：
。 。
，使
其中，
为
。
证明完毕。
称为
的估计量的 CRLB。当
第六章 最大似然估计
，对应的检验统计量计算如下：
(6-23)
LR 检验统计量： LM 检验统计量：
(6-24)
(6-25)
其中， 和 分别表示无约束和有约束下的 ML 估计， 和 似然函数的估计。
在零假设下，上述的 Wald 检验、LR 检验和 LM 检验都收敛于
个数。
分别表示对应的 ，其中 J 为约束的
考虑线性约束
，Wald 检验统计量可计算如下：
(6-27)
其中，
，
；
残差。
又，有约束的对数似然函数可计算如下：
第 2 页 共 27 页
第六章 最大似然估计
与非线性回归的情况一样，在 ML 估计中也需要假定参数的可识别性，具体如下：
假定（可识别假定）：对参数空间 的任意
，有
其中， 为参数 的真值。
这里需要说明一下，与 LS 估计不同，在 ML 估计的框架中，用于保证估计量性质的约 束条件无法很清晰的划分为几类简单的假定。因此，更常用的做法是直接给出这些约束条件 （正则条件），而不是作为假定提出。我们之所以单独列出可识别假定，是因为它是整个极 值估计的核心假定，且在性质证明中能直接看出。
CRLB 是指任意无偏估计量的方差所能达到的最低水平，计算如下：
(6-8)
以下简单证明 CRLB 的性质。
证明： 已知密度函数
，满足
，其得分函数为 ，则有
。记
的估计量
其中，
注意到，对任意矩阵 得
所以有 当估计量为无偏估计时，即
，存在满秩矩阵 ，则有
，上式可化简为：
。 。
，使
其中，
为
。
证明完毕。
称为
的估计量的 CRLB。当
第六章 最大似然估计
，对应的检验统计量计算如下：
(6-23)
LR 检验统计量： LM 检验统计量：
(6-24)
(6-25)
其中， 和 分别表示无约束和有约束下的 ML 估计， 和 似然函数的估计。
在零假设下，上述的 Wald 检验、LR 检验和 LM 检验都收敛于
个数。
分别表示对应的 ，其中 J 为约束的
考虑线性约束
，Wald 检验统计量可计算如下：
(6-27)
其中，
，
；
残差。
又，有约束的对数似然函数可计算如下：
第6章-最大似然估计
为参数空间，即参数 所有可能取值所构成的集合。
通过抽取随机样本 y1 , , yn 来估计 。 假 设 y1 , , yn 为 iid ， 则 样 本 数 据 的 联 合 密 度 函 数 为
f ( y1; ) f ( y2 ; ) f ( yn ; ) 。
在抽样前， y1 , , yn 为随机向量。 抽样后， y1 , , yn 有了特定的样本值，可将样本联合密度 函数视为在 y1 , , yn 给定情况下，未知参数 的函数。
0 0
最后一步用到了信息矩阵等式。
25
假设ˆ 是对真实参数 0 的任意无偏估计，则在一定的正则 条件(regularity conditions)下，ˆ 的方差不会小于[ I ( 0 )]1，即 ˆ) [ I ( )]1。 Var( 0 称[ I ( 0 )]1为 “克莱默-劳下限” (Cramer-Rao Lower Bound)。 无偏估计所能达到的最小方差与信息矩阵有关。曲率 I ( 0 ) 越大，则[ I ( 0 )]1越小，无偏估计可能达到的最小方差越小。 在古典线性回归模型中，可证明(参见附录)
5
一阶条件要求，对数似然函数的梯度向量(gradient，偏导 数、斜率) s( ; y ) 为 0 ，实际上是 K 个未知参数 (1 2 K ) ，K 个方程的方程组。 该 向 量 也 称 “ 得 分 函 数 ”(score function) 或 “ 得 分 向 量”(score vector)。 得分函数 s( ; y ) 是 y 的函数，也是随机向量。 在下面，记真实参数为 θ0 ，而 θ 为该参数的任何可能取值。
ln L( ; y1 , , yn ) i 1 ln f ( yi ; )
n
通过抽取随机样本 y1 , , yn 来估计 。 假 设 y1 , , yn 为 iid ， 则 样 本 数 据 的 联 合 密 度 函 数 为
f ( y1; ) f ( y2 ; ) f ( yn ; ) 。
在抽样前， y1 , , yn 为随机向量。 抽样后， y1 , , yn 有了特定的样本值，可将样本联合密度 函数视为在 y1 , , yn 给定情况下，未知参数 的函数。
0 0
最后一步用到了信息矩阵等式。
25
假设ˆ 是对真实参数 0 的任意无偏估计，则在一定的正则 条件(regularity conditions)下，ˆ 的方差不会小于[ I ( 0 )]1，即 ˆ) [ I ( )]1。 Var( 0 称[ I ( 0 )]1为 “克莱默-劳下限” (Cramer-Rao Lower Bound)。 无偏估计所能达到的最小方差与信息矩阵有关。曲率 I ( 0 ) 越大，则[ I ( 0 )]1越小，无偏估计可能达到的最小方差越小。 在古典线性回归模型中，可证明(参见附录)
5
一阶条件要求，对数似然函数的梯度向量(gradient，偏导 数、斜率) s( ; y ) 为 0 ，实际上是 K 个未知参数 (1 2 K ) ，K 个方程的方程组。 该 向 量 也 称 “ 得 分 函 数 ”(score function) 或 “ 得 分 向 量”(score vector)。 得分函数 s( ; y ) 是 y 的函数，也是随机向量。 在下面，记真实参数为 θ0 ，而 θ 为该参数的任何可能取值。
ln L( ; y1 , , yn ) i 1 ln f ( yi ; )
n
概率论与数理统计教材第六章习题
X σ0 n
~ N(0,1)
对于置信水平1- ，总体均值的置信区间为 对于置信水平 -α，总体均值 的置信区间为
X
σ0
n
uα < < X +
2
σ0
n
uα
2
(2)设总体 ～ N(,σ 2 ), 未知 ，求的置信区间。 设总体X～ 未知σ， 的置信区间。 设总体 的置信区间
σ 0 ，则样本函数 t = X ~ t(n 1) 用 S 代替 S n
i =1
n1
n1
F
1
α ∑ Yj 2
2 j =1
n2
(
)
2
n2
10
2 2 及 （1）设两个总体 ～ N(1,σ1 ) 及Y～ N(2 ,σ 2 ), 未知 1 2， ）设两个总体X～ ～
2 σ1 的置信区间。 求 2 的置信区间。 σ2
选取样本函数 选取样本函数
2 2 S1 σ1 F = 2 2 ~ F(n1 1, n2 1) S2 σ2
∑x
i =1
n
i =1
i
n = 0.
1 p
得 p 的极大似然估计值为 p =
n
∑x
i =1
n
1 = x
i
12
1 θ 2. 设总体 服从拉普拉斯分布：f ( x;θ ) = e ,∞< x < +∞, 设总体X 服从拉普拉斯分布： 2θ 求参数 θ 其中 > 0. 如果取得样本观测值为 x1 , x2 ,L, xn , 求参数θ
第六章 参数估计
(一)基本内容
一、参数估计的概念 1 定义：取样本的一个函数θ ( X 1 , X 2 ,L , X n ), 如果以它的观测 定义：
西北工业大学《概率论与数理统计》课件-第六章 参数估计
最大概率的思想就是最大似然法的基本思想 .
(2) 似然函数
定义6.1 设总体X的分布密度(或分布律)为 p(x; ), 其中 (1, 2, ,m )为未知参数. 又设
( x1, x2,, xn ) 为自总体X的样本(X1,X2,…,Xn) 的一 个观察值，则称样本的联合分布
n
L( ) p(x1, x2, … , xn; ) p( xi; )
2º似然估计方程组与最大似然估计之间没有必 然
从中解得 pˆ k n
参数 p的估计值
这时, 对一切 0< p <1, 均有
P{Y k; pˆ } P{Y k; p}
综上所述： 设某试验的可能结果为： A1, A2 , ···, Ai , ···
若在一次试验中，某结果 Ai 出现，则应选择参 数使Ai 出现的概率最大.
以上这种选择一个参数使得实验结果具有
(k 1,2,, m)
(4) 求最大似然估计(MLE)的步骤:
1 写出似然函数
(1, 2 , ,m )
n
L( ) L( x1, x2,, xn; ) p( xi; )
n
i 1
2 取对数 ln L( ) ln p( xi; )
i 1
3 解似然方程(组)
ln L
ln L
2
为来自总体X的简单随机样本. 矩估计法的具体步骤:
1 求出k E( X k ) (1,2,,m )， k 1,2,,m；
2 要求k Ak , k 1,2,, m
这是一个包含 m个未知参数1,2 ,,m的方程组.
3 解出其中1,2,,m , 用ˆ1,ˆ2,,ˆm表示.
4 用方程组的解ˆ1, ˆ2 , ,ˆm 分别作为 1,2 ,,m的估计量,这个估计量称为
(2) 似然函数
定义6.1 设总体X的分布密度(或分布律)为 p(x; ), 其中 (1, 2, ,m )为未知参数. 又设
( x1, x2,, xn ) 为自总体X的样本(X1,X2,…,Xn) 的一 个观察值，则称样本的联合分布
n
L( ) p(x1, x2, … , xn; ) p( xi; )
2º似然估计方程组与最大似然估计之间没有必 然
从中解得 pˆ k n
参数 p的估计值
这时, 对一切 0< p <1, 均有
P{Y k; pˆ } P{Y k; p}
综上所述： 设某试验的可能结果为： A1, A2 , ···, Ai , ···
若在一次试验中，某结果 Ai 出现，则应选择参 数使Ai 出现的概率最大.
以上这种选择一个参数使得实验结果具有
(k 1,2,, m)
(4) 求最大似然估计(MLE)的步骤:
1 写出似然函数
(1, 2 , ,m )
n
L( ) L( x1, x2,, xn; ) p( xi; )
n
i 1
2 取对数 ln L( ) ln p( xi; )
i 1
3 解似然方程(组)
ln L
ln L
2
为来自总体X的简单随机样本. 矩估计法的具体步骤:
1 求出k E( X k ) (1,2,,m )， k 1,2,,m；
2 要求k Ak , k 1,2,, m
这是一个包含 m个未知参数1,2 ,,m的方程组.
3 解出其中1,2,,m , 用ˆ1,ˆ2,,ˆm表示.
4 用方程组的解ˆ1, ˆ2 , ,ˆm 分别作为 1,2 ,,m的估计量,这个估计量称为
概率论与数理统计第6章参数区间估计2,3节
n
E(X
k
)
E(X
k)
i1
i1
二、有效性
未知参数 的无偏估计量不是唯一的.
设 ^1 和 ^2 都是参数 的无偏估计量,
θˆ 1
θˆ 2
集中
分散
蓝色是采用估^ 计量 1 , 用 14 个样本值得到的 14 个估计值. 紫色是采用估^ 计量 2 , 用 14 个样本值得到的 14 个估计值.
若limD(ˆ)0， 则ˆ是的一致估 . 计量 n
回顾例子.设总体X的概率密度为
f(x)6x3 (x),0x;
0, 其他
X1, X2,…, Xn 是取自总体X 的简单随机样本, (1) 求的矩估计量 ˆ；
(2) 求ˆ的方差D(ˆ).
解：矩估计 ˆ量 2X. D(ˆ)4D(X)4D(X)2
若滚珠直径服从正态分布X ~ N( , 2), 并且已知 = 0.16(mm),求滚珠直径均值的置信水平为95%
的置信区间.
解：由上面求解的置信水平为1- 的置信区间
Xσn 0 uα/,2 Xσn 0 uα/2
已 n 知 1,0 0 0 .1,6 0 .0,5 x110i110xi 14.92,
若进行n次独立重复抽样，得到n个样本观测值,
每个样本观测 个值 随确 机(定 ˆ1区 ,ˆ2一 )间 .那么
每个区间的 可真 能 ， 或 值 包不 含包 的含 真 , 值
根据伯努利大数定理, 在这n个随机区间中,
包含 真值1 的 0(1 0 约 )% 占 ,不包含 10 的 % 0. 约
便得 k的 到 最大似 ˆk(X 1,然 X 2, ,估 X n).计
第二节 判别估计量好坏的标准
第6 章 最大似然估计法
y
)
⎤⎥⎥⎥⎦⎫⎪⎪⎬⎪⎪⎭−1
。
第二种方法是，将期望算子忽略掉，即
18
An var(θˆ
ML
)
=
⎡⎢⎢⎢⎣−
∂
2
ln L(θˆ ML ∂θˆ ∂θˆ ′
;
y
)
⎤⎥⎥⎥⎦−1
。此方法被称为“观测信息矩阵”
（Observed Information Matrix，OIM）法。
第三种方法利用信息矩阵等式，用
7
最优 σ2 。
在 第 一 步 ， 选 择 β 使 得 ln L(β, σ2) 最 大 ， 这 等 价 于 让 (y − Xβ)′(y − Xβ) 最小。
βˆ ML = βˆ OLS = (X′X)−1 X′y (6.9)
在第二步，对 σ2 求导，
−
n 2
1 σ2
+
1 2σ 4
e′e
20
其中，K 为约束条件的个数（即为解释变量的个数）。 2．似然比检验（Likelihood Ratio Test，LR）：
H0 Θ
图 6.4、无约束与有约束的参数空间
21
如果 H0 正确，则 ln L(βˆU )−ln L(βˆ R ) 不应该很大。在此例中，
βˆ R = β0 。LR 统计量为，
19
6.7 三类渐近等价的统计检验
对于线性回归模型，检验原假设 H0 : β = β0 ，其中 βK×1 为未 知参数，β0 已知，共有 K 个约束。
1．沃尔德检验（Wald Test）：如果 H0 正确，则 (βˆU −β0) 的绝 对值不应该很大。沃尔德统计量为，
W ≡ (βˆU −β0 )′ ⎡⎢⎣Var(βˆU )⎤⎥⎦−1 (βˆU −β0 ) ⎯d⎯→ χ2 (K ) (6.18)
极大似然估计法的解题步骤
最大似然估计法是一种可以用来估计参数的数学方法，它是统计学中
最常用的估计方法之一。
本文将介绍最大似然估计法解题的步骤。
第一步：确定似然函数。
最大似然估计法是一种在给定数据条件下求
取参数和特征值的估计方法，它将一个参数模型的似然函数定义为样
本数据的概率密度。
要确定这个似然函数，我们必须首先确定模型的
数学表达式，这一步是重要的，它将决定似然函数的形式，因此决定
最大似然估计法的参数模型。
第二步：求取参数的似然估计值。
在确定了似然函数后，我们就可以
计算出参数的似然估计值了。
由于模型中参数之间可能存在相关性，
这时就可以使用最大似然估计法来求解参数估计值。
最大似然估计值
就是求出似然函数概率密度最大值点所代表的参数值。
第三步：解释解决结果。
在获得了参数的似然估计值后，可以对拟合
后的结果进行解释，说明为什么模型准确地估计了参数值。
最后，最大似然估计是一种有效的数学方法，本文介绍了最大似然估
计法解题的步骤，也就是确定似然函数，求取参数的似然估计值，以
及解释解决结果。
并且，本文还强调了最大似然估计法的重要性和有
用性，在实际应用中，最大似然估计法可以给出准确可靠的估计结果。
概率论与数理统计第6章
第六章6.4 在例6.2.3 中, 设每箱装n 瓶洗净剂. 若想要n 瓶灌装量的平均阻值与标定值相差不超 过0.3毫升的概率近似为95%, 请问n 至少应该等于多少？ 解：因为1)3.0(2)/3.0|/(|)3.0|(|-Φ≈<-=<-n nnX P X P σσμμ依题意有,95.01)3.0(2=-Φn ，即)96.1(975.0)3.0(Φ==Φn于是 96.13.0=n ，解之得 7.42=n 所以n 应至少等于43.6.5 假设某种类型的电阻器的阻值服从均值 μ=200 欧姆， 标准差σ=10 欧姆的分布, 在一个电子线路中使用了25个这样的电阻.（1) 求这25个电阻平均阻值落在199 到202 欧姆之间的概率; （2) 求这25个电阻总阻值不超过5100 欧姆的概率. 解:由抽样分布定理，知nX /σμ-近似服从标准正态分布N （0，1)，因此(1) )25/10200199()25/10200202()202199(-Φ--Φ≈≤≤X P)5.0(1)1()5.0()1(Φ+-Φ=-Φ-Φ=5328.06915.018413.0=+-= (2) )204()255100()5100(≤=≤=≤X P X P X n P 9772.0)2()25/10200204(=Φ=-Φ≈6。
8 设总体X ~N （150,252), 现在从中抽取样本大小为25的样本, {140147.5}P X ≤≤。
解： 已知150=μ，25=σ，25=n ，)25/25150140()25/251505.147()5.147140(-Φ--Φ≈≤≤X P)5.0()2()2()5.0(Φ-Φ=-Φ--Φ= 2857.09615.09772.0=-=第六章《样本与统计量》定理、公式、公理小结及补充：。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
P(X1 1)P(X2 0)P(X3 1)
3
本讲内容
01 求最大似然估计的一般步骤 02 典型例题
01 求最大似然估计的一般步骤
(1) 构造似然函数 L(θ)
设X1, , X n是来自X 的样本, x1, , xn是其一组样本值，
若总体X 属离散型,其分布律 P( X x) p(x; ),
概率论与数理统计
第6章 参数估计
第2讲 最大似然估计法
主讲教师 |
第2讲 最大似然估计法
上一讲介绍了矩估计，这一讲介绍点估计的另外一种方法— —最大似然估计法，它是在总体类型已知条件下使用的一种参数 估计方法 .
它首先是由数学家高斯在1821年提出的，费歇在1922年重 新发现了这一方法，并研究了它的一些性质 ，从而得到广泛应 用.
即
L(
x1
,,
xn
;ˆ)
max
L(
x1,,
xn
;
)
ˆ(x1, , xn )称为参数的最大似然估计值.
ˆ( X1, , X n )称为参数的最大似然估计量.
一般， 可由下式求得：
dL( ) 0或 d ln L( ) 0.
d
d
似然方程
6
01 求最大似然估计的一般步骤
注1
未知参数可以不止一个, 如1,…, k
ln
L
n
i1
(xi )2 2 2
n 2
ln(2
)
n 2
ln(
2)
似然 方程 组为
ln
L
1
2
n
(xi
i1
)
0
(
2 ) ln
L
1
2( 2 )2
n
( xi
i1
)2
n
2(
2)
0
ˆ mle
1 n
n
xi
i1
x
2
mle
1 n
n
(xi
i1
x)2
12
概率论与数理统计
学海无涯，祝你成功！
主讲教师 |
1 x
i 1
10
02 典型例题
例 设X ~ G( p), x1, , xn是来自X 的一个样本值， 试求参数p与EX 的最大似然估计.
p的最大似然估计
pˆ
n
n
xi
1 x
i 1
如何求EX 的
最大似然估计？
因为EX 1 ，故EX 的最大似然估计为 EX 1 x
p
pˆ
最大似然估计不变性 若ˆ 是 的最大似然估计，
我们先来看一个实例
2
第2讲 最大似然估计法
例 ——生活经验：
黑球白球9:1，不知哪种多？有放回抽三次，两次白球，一次黑球.
哪种多？
白球多！
原理： 一次试验就出现的事件有较大的概率
这种选择一个参数使得实验结果具有最大概率的思想就是最大似 然法的基本思想 .
方法
0.9? 0.1?
最大
L( ) P(X1 1, X2 0, X3 1)
n
L( ) L(x1,, xn; ) p(xi ; ) i 1
似然函数
若总体X 属连续型, 其概率密度f (x; ),
n
L( ) L(x1,, xn; ) f (xi ; ) i 1
似然函数
5
01 求最大似然估计的一般步骤
(2) 求似然函数 L(θ) 的最大值点
挑选使L( )达到最大的参数ˆ，作为的估计，
大似然原则来求.
L( ) 无驻点
不可导
7
本讲内容
01 求最大似然估计的一般步骤 02 典型例题
02 典型例题
例
设总体
X
的概率密度为f
(x)
x
1
,
x
1,
1 是未知参数,
0, x 1.
X1, X 2, , X n 是总体 X 的一个简单样本,求 的最大似然估计.
解
似然函数
L( )
n i 1
设X 的密度(或分布律)为 f (x,1, ,k )
n
则似然函数为 L(x1, , xn;1, ,k ) f (xi ,1, ,k )
可令 L 0, 或 ln L 0,i 1, , k.
i
i
i 1
似然方程组
注2
解方程组求得1, ,k的最大似然估计.
用上述方法求参数的最大似然估计值有时行不通，这时要用最
解 X 的分布律为： P( X k) p(1 p)k1, k 1,2,
n
故似然函数为 L( p)
n
p(1
p) xi 1
pn (1
xi n p) i1 ,
i 1
n
令
d
ln L( p)
n
xi n
i 1
0.
dp
p 1 p
如何求EX 的
最大似然估计？
解得 p的最大似然估计
pˆ
n
nxiຫໍສະໝຸດ f(xi )( x1 x2
n
xn ) 1
,
xi 1
n
ln L( ) n ln ( 1)ln xi i 1
d
ln L( ) d
n
n i 1
ln
xi
0
解得
n
n
的最大似然估计 ˆ n n .
ln xi
ln X i
i 1
i 1
02 典型例题
例 设X ~ G( p), x1, , xn是来自X 的一个样本值， 试求参数p与EX 的最大似然估计.
则g(ˆ ) 也是 g( ) 的最大似然估计.
11
02 典型例题
例 设总体 X ~ N (, 2), x1, x2 , … , xn 是 X 的样本值, 求 , 2 的最大似然估计.
解
n
L(, 2 )
1 e
(
xi 2 2
)2
1
n
n i1
( xi )2 2 2
en
i1 2
(2 )2 ( 2 )2