第6 章 最大似然估计法

x
图 6.2、牛顿-拉夫森法
递推公式为，
10
xi+1
=
xi −
f (xi ) f ′(xi )
(6.12)
6.4 信息矩阵与无偏估计的最小方差
定义“信息矩阵”为对数似然函数的海赛矩阵之期望值（对
y 求期望）的负数，
I(θ)
≡
−
E
⎡⎢⎢⎣
∂
2
ln L(θ; ∂θ∂θ ′
y)
⎤⎥⎥⎦
(6.13)
11
−
∏n
L(θ; y1, ", yn ) = f (yi ; θ)
i=1
(6.1)
把似然函数取对数，将乘积形式转化为求和形式，
∑ ln L(θ; y1, ", yn ) =
n i=1
ln
f
(yi; θ)
(6.2)
“最大似然估计法”（Maximum Likelihood Estimation，
2
MLE）的思想是，给定样本取值后，该样本最有可能来自 参数 θ 为何值的总体。即寻找 θˆ ML ，使得观测到样本数据的 可能性最大，即最大化“对数似然函数”。
∑
n i=1
sˆisˆi′
来估计
I(θ)
，即
(∑ ) An var(θˆ ML ) =
n i=1
sˆisˆi′
−1
，其中 sˆi
≡
∂ ln
f
(yi ;θˆ ML ) ∂θ
为第
i
个观测值
对得分函数的贡献之估计值。此方法被称为“梯度向量外
积”（Outer Product of Gradients，OPG）或 BHHH 法。
权平均作为检验统计量，
∑ ∑ JB
≡
n 6
⎣⎢⎢⎡⎢⎜⎝⎜⎜⎛
1 nσˆ
3
n i=1
ei3
⎠⎞⎟⎟⎟2
+
1 4
⎝⎛⎜⎜⎜
1 nσˆ
4
e n 4
i=1 i
−
3⎠⎞⎟⎟⎟2
⎦⎥⎥⎤⎥
⎯d⎯→
χ2
(2)
27
LR
≡
−2
ln
⎢⎢⎣⎡⎢
L(βˆ R L(βˆ U
) )
⎥⎥⎦⎤⎥
=2⎢⎣⎡lnFra bibliotekL(βˆ U
)
−
ln
L(βˆ R
)⎥⎦⎤
⎯d⎯→
χ2
(K
)
(6.19)
3．拉格朗日乘子检验（Lagrange Multiplier Test，LM）：
考虑有约束条件的对数似然函数最大化问题，
mβax ln L(β) s.t. β = β0
教学用 PPT，《高级计量经济学及 Stata 应用》，陈强编著，高等教育出版社，© 2010 年
第 6 章 最大似然估计法 6.1 最大似然估计法的定义 假设{y1, ", yn} 为独立同分布，则样本数据的联合密度函数 为 f (y1; θ) f (y2; θ)" f (yn; θ) 。
1
定义“似然函数”为，
=
0
(6.10)
8
求解 σ2 的 MLE 估计量为，
σˆM2 L
=
e′e n
≠ σˆO2LS
=
e′e n−K
≡
s2
(6.11)
6.3 最大似然估计的数值解
如果模型存在非线性，MLE 通常无解析解，而只能寻找数 值解，比如“牛顿-拉夫森法”。
9
f (x)
(x0 , f (x0 ))
x*
0
x2
x1
x0
[I(θ)]−1
=
⎧⎪⎪⎪⎩⎪⎨−
E
⎣⎡⎢⎢
∂
2
ln L(θ; ∂θ ∂θ′
y)
⎤⎥⎥⎦⎫⎪⎪⎪⎭⎪⎬−1
(6.17)
第 一 种 估 计 方 法 是 ， 直 接 以 θˆML 替 代 θ 可 得 ，
An var
(θˆ ML
)
=
⎧⎪⎪⎨⎪⎪⎩−
E
⎡⎢⎢⎢⎣
∂
2
ln L(θˆ ML ∂θˆ ∂θˆ ′
;
(6.20)
22
引入拉格朗日乘子函数，
mβ,aλx ln L(β) − λ′(β −β0 )
(6.21)
LM 统计量为，
LM
≡
⎛⎜⎜⎜⎝⎜
∂
ln L(βˆ R ∂β
)
⎞⎠⎟⎟⎟⎟′
⎡⎢⎣I(βˆ R
)⎤⎥⎦−1
⎛⎝⎜⎜⎜⎜∂
ln L(βˆ R ∂β
)
⎞⎠⎟⎟⎟⎟
⎯d⎯→
χ2
(K
)
(6.22)
2
(X′X)−1 0
0 2σ 4
n⎞⎠⎟⎟⎟⎟
(6.16)
故 βˆ ML = βˆ OLS 均达到了无偏估计的最小方差。
命题：在高斯-马尔可夫定理中，如果加上扰动项为正态 分布的假定，则 OLS 是“最佳无偏估计”（Best Unbiased
15
Estimator，BUE），而不仅仅是 BLUE。
∂
2
ln L(θ; ∂θ∂θ′
y)
表示的是对数似然函数在
θ
空间中的曲率
（curvature），取期望值之后的 I(θ) 即平均曲率。如果曲率
大，对数似然函数很陡峭，则较易根据样本分辨真实θ 的
位置；反之，如果曲率小，对数似然函数很平坦，则不易
根据样本判断真实θ 的位置，参见图 6.3。
12
ln L(θ; y)
20
其中，K 为约束条件的个数（即为解释变量的个数）。 2．似然比检验（Likelihood Ratio Test，LR）：
H0 Θ
图 6.4、无约束与有约束的参数空间
21
如果 H0 正确，则 ln L(βˆU )−ln L(βˆ R ) 不应该很大。在此例中，
βˆ R = β0 。LR 统计量为，
23
ln L(βˆU ) ln L(βˆR )
LR
LM ln L(β)
Wald
0
βˆ = β
βˆ
β
R
0
U
图 6.5、三类渐近等价的统计检验
24
6.8 准最大似然估计法
定 义 使 用 不 正 确 的 似 然 函 数 （ misspecified likelihood function）而得到的最大似然估计，如果仍然是真实参数的 一致估计，则称为“准最大似然估计”（Quasi MLE，QMLE） 或“伪最大似然估计”（Pseudo MLE）。
6.9 对正态分布假设的检验
25
最直观的方法是画图。可以把残差画成直方图，但直方图 不连续。为了得到对密度函数的光滑估计，可以使用“核 密度估计法”。
另一种画图方法是，将正态分布的分位数与残差的分位数 画成散点图，即“分位数-分位数图”（Quantile-Quantile plot，QQ）。如果残差来自与正态分布，则该图上的散点 应该集中在 45 度线附近。
MLE 估计量还具有“不变性”（invariance）的优点。利用 MLE 的不变性，可以大大简化计算。比如，对 (μ2 +σ2) 的 MLE 估计就是 (μˆM2 L + σˆM2 L ) 。
6.6 如何计算 MLE 的渐近协方差矩阵
17
最大似然估计量的渐近协方差矩阵为，
Avar(θˆ ML
)
=
26
严格的统计检验利用了正态分布的偏度与峰度性质。
对于残差{e1, ", en } ，其偏度与超额峰度的样本估计值分别
∑ 为
1 nσˆ 3
e n 3
i=1 i
与
⎛⎜⎜⎜⎝
1 nσˆ
4
∑n i=1
ei4
⎞⎠⎟⎟⎟
−
3
。较常用的“雅克-贝拉检验”
（Jarque and Bera, 1987，简记为 JB）使用它们的平方之加
6.5 最大似然法的大样本性质
在一定正则条件下，MLE 估计量拥有良好的大样本性质。
（1）一致性，即
plim
n→∞
θˆ
ML
=
θ
。
（2）渐近有效性，即渐近协方差矩阵 Avar(θˆ ML ) = n[I(θ)]−1，
在大样本下达到了克莱默-劳下限。
16
( ) （3）渐近正态，即 ( ) n θˆ ML −θ ⎯d⎯→ N 0, n[I(θ)]−1 ，可以近似地 ( ) 认为 θˆ ML ⎯d⎯→ N θ, [I(θ)]−1 。
y = Xβ +ε (6.6)
6
假 设 ε | X ~ N (0, σ2In ) ， 则 被 解 释 变 量 的 条 件 分 布 为
y | X ~ N (Xβ, σ2In ) ，其条件概率密度函数为，
f
(y
|
X)
=
(2πσ 2
)−n
2
exp ⎨⎪⎪⎩⎧⎪−
1 2σ 2
(y
−
Xβ)′(y
−
Xβ )⎬⎪⎪⎭⎫⎪
本 x1 = 2 ， 求 对 μ 的 最 大 似 然 估 计 。 似 然 函 数 为
L(μ) =
1 2πσ 2
exp ⎧⎪⎪⎨⎪⎪⎩−(22−σ 2μ)2
⎫⎪⎪⎬⎪⎪⎭ 。似然函数在
μˆ
=
2
处取最大值。
μ=2
μ =5
5
图 6.1、选择参数使观测到样本的可能性最大
6.2 线性回归模型的最大似然法估计 假设线性回归模型为，
max ln L(θ; y) θ∈Θ
(6.3)