21 最大似然估计(李子奈高级应用计量经济学)

• 以上是一般非线性模型的完整描述。
18
• 模型参数的一种估计方法是最小二乘法，即最小 化
S ( , ) [h( yi , ) g(xi , )]2
i
• 模型参数的另一种估计方法是最大似然法。得 到广泛应用。
19
最大似然估计
yi g(xi , ) ui
• yi的密度函数
(2
)2 1/ 2
X
i
i
结构参数的 ML估计量
8
2
L*
n 2 2
1 2 2
(Yi
ˆ0
ˆ1 X i )2
0
ˆ
2
1 n
(Yi
ˆ0
ˆ1 X i )2
ei2 n
分布参数的 ML估计量
9
• 注意：
– ML估计必须已知Y的分布。 – 只有在正态分布时ML和OLS的结构参数估计结果
相同。 – 如果Y不服从正态分布，不能采用OLS。例如：选
择性样本模型、计数数据模型等。
10
2、多元线性模型的最大似然估计
yi 0 1x1i 2 x2i k xki i i=1,2,…,n
Yi ~ N(Xiβ, 2 ) i ~ N (0, 2 )
L(βˆ , 2 ) P(Y1 ,Y2 ,,Yn )
1
e
1 2
2
(Yi
(
ˆ0
ˆ1
X
1i
ˆ2
23
3、说明
Yi ~ N( f (Xi ,β), 2 ) i ~ N (0, 2 )
L(βˆ, 2 ) P(Y1,Y2 ,,Yn )
1
1
2
2
(Yi
f
(
X
i
,ˆ
))2
e n
(2 ) 2
n
16
MaxL* Ln(L)
nLn( 2 ) 1
2 2
(Yi f ( X i , ˆ))2
Min (Yi f (X i , ˆ))2
Yi ~ N(ˆ0 ˆ1 X i , 2 )
Yi的分布
P(Yi )
1
e
1
2
2
(Yi
ˆ0
ˆ1Βιβλιοθήκη Xi)2
2
Yi的概率函数
L(ˆ0 , ˆ1, 2 ) P(Y1,Y2 , ,Yn )
1
e
1
2
2
(Yi
ˆ0
ˆ1
X
i
)
2
(2
)
n 2
n
Y的所有样 本观测值的 联合概率— 似然函数
7
L* ln(L)
n ln(
2 )
1
2
2
(Yi
ˆ0
ˆ1 X i
)2
对数似然 函数
ˆ
0
ˆ1
(Yi (Yi
ˆ0 ˆ0
ˆ1 X i )2 ˆ1 X i )2
0 0
对数似然函 数极大化的 一阶条件
ˆ
0
ˆ1
X
2 i
Yi
X i Yi
nX
2 i
(X i ) 2
nYi X i Yi X
nX
2 i
(X i ) 2
exp
yi
g(xi , )]2 2 2
ui yi
(2
)2 1/ 2
exp
[h( yi , ) g(xi , )]2 2 2
J ( yi , )
ui yi
h( yi , )
yi
Ji
雅可比行列式×正态分布密度函数
雅可比行列式
20
• 因变量样本的对数似然函数为：
ln L n ln 2 n ln 2
2
§2.1 最大似然估计
一、最大似然原理 二、线性模型的最大似然估计 三、非线性模型的最大似然估计 四、异方差和序列相关的最大似然估计 五、最大似然估计下的Wald、LM和LR检验
3
一、最大似然原理
4
• 最大似然方法(Maximum Likelihood，ML)
– 当从模型总体随机抽取n组样本观测值后，最合理的参 数估计量应该使得从模型中抽取该n组样本观测值的概 率最大。
X
2
i
ˆk
X
k
i
))2
(2
)
n 2
n
1
1 (YXβˆ )(YXβˆ )
e 2 2
(2
)
n 2
n
11
Max L* Ln(L)
nLn(
2
)
1
2
2
(Y
Xβˆ
)
(Y
Xβˆ
)
Min (Y Xβˆ )(Y Xβˆ )
βˆ (XX)1 XY
• 结构参数估计结果与OLS估计相同
12
• 分布参数估计结果与OLS不同
第2章 非经典计量经济学模型估计方法
• 最大似然估计 • 广义矩估计 • 贝叶斯估计 • 分位数回归估计
1
关于估计方法的说明
• 计量经济学模型(参数模型、均值回归模型、基于 样本信息）的3类估计方法
– LS、ML、MM – 经典模型的估计—LS – 非经典模型的估计—ML、GMM
• 综合样本信息和先验信息的贝叶斯估计 • 分位数回归模型，Quantile Regression ,QREG • 非参数模型的权函数估计、级数估计等
0
ln L
i
1 Ji
Ji
1
2
i
ui
h( yi , )
0
ln L n 1
2
2 2 2 4
ui2 0
i
22
• 一般是得到中心化对数似然函数，然后最大化
2 1
n
i
ui2
ln Lc
i
ln
J
(
yi
,
)
n 2
[1
ln(2
)]
n 2
ln
1 n
i
ui2
• 如果变换的雅可比行列式是1，则不存在因变量 的参数变换；如果变换的雅可比行列式包含θ，则 称为因变量的参数变换模型。
ˆ
2 ML
(Y
Xβˆ )(Y n
Xβˆ )
ei2 n
ˆO2LS
ei2 n k 1
ee n k 1
13
3、最大似然估计量的性质
• 一致性 • 渐近正态性 • 渐近有效性 • 不变性
14
三、非线性模型的最大似然估计
15
1、简单非线性模型的最大似然估计
yi f (xi , ) i i=1,2,…,n
• 将样本观测值联合概率函数称为样本观测值的似然函数。 • 在已经取得样本观测值的情况下，使似然函数取最大值的总体
分布参数所代表的总体具有最大的概率取得这些样本观测值， 该总体参数即是所要求的参数。
– 通过似然函数极大化以求得总体参数估计量的方法被 称为极大似然法。
5
二、线性模型的最大似然估计
6
1、一元线性模型的最大似然估计
• 面临NLS同样的过程，得到相同的估计结果。
17
2. 一般非线性模型的ML估计
h( yi , ) g(xi , ) ui i 1,, n
(u1,, un ) ~ N (0, 2 I )
xi x1i x2i xki
随机项满足 经典假设
其中 h() 和 g() 是非线性函数， 和 是参数。
2
2
i
ln J ( yi , )
1
2 2
[h( yi , ) g(xi , )]2
i
• 很明显若没有雅可比行列式项，参数的非线性最 小二乘估计将是最大似然估计；但是，如果雅可比 行列式包括θ，最小二乘法不是最大似然法。
21
• 最大化对数似然函数的一阶条件为：
ln L 1
2
i
ui
g(xi , )