4 极大似然估计和广义矩估计

OLS
ˆ x ˆ ML y ˆOLS ML
MLE的线性回归模型的残 差平方和等于OLS的残差 平方和
2 的极大似然估计
2 ˆ ML
1 n 2 ˆ x )2 RSS n 2 ˆ ML ˆ ( yi ML i OLS n i 1 n n
i 1 n i 1
更方便、更容易
极大似然估计的思想： θ 的极大似然估计是使得产生样 本 y1, y2 ,, yn 的最高概率的那个 θ 值，(使得观测到该样本 可能性最大的那个 θ )；即 θ 的极大似然估计是使似然函数 ˆ L(θ) 达到最大的值。记为 θ 似然方程
ML
ˆ ) max L(θ; y), L(θ ML
L(θ) ln L(θ) 0, or 0 θ θ
总体有离散型和连续型两种，离散型总体通过分布列来构 造似然函数，而连续型总体通过密度函数来构造似然函数.
2014-6-4 S( θ)
ln L(θ) Score向量，梯度向量 θ
离散型随机变量极大似然原理
若总体为离散型分布，分布列 P{ X x} f ( x; θ)
n
n
i 1
似然函数 L(θ) f ( xi ; θ), 对数似然 ln L(θ) ln f ( xi ; θ) i 1 i 1 ˆ 极大似然估计就是使得下式成立的 θ
ML
n
ˆ ) max L(θ) L(θ ML
具体求法：由 L(θ) / θ 0 解出极大值点，因函数ln单增,故
上式达到极大的一阶条件是
d ln L( p) N1 N N1 0 dp p 1 p
解之得到p的极大似然估计量
ˆ N1 / N p
2014-6-4
二、极大似然原理
未知
观测值 y1, y2 ,, yn
n
随机变量Y的概率密度函数 f ( y; θ)，随机样本 Y1,Y2 ,,Yn 似然函数 f ( y1,, yn ; θ) f ( y1; θ) f ( yn ; θ) f ( yi ; θ) L(θ; y ) 对数似然函数 ln L(θ) ln L(θ; y ) ln f ( yi ; θ)
1 n L( ) f ( yi ) (2 ) exp 2 2 ( yi xi )2 i 1 i 1
n
n 2 2
2014-6-4
极大似然估计
ˆ
ML
( x x )( y y ) ˆ (x x)
i i 2 i
ln L( , , ) 1 2 ( yi xi ) 0 i 1 ln L( , , 2 ) 1 n 2 xi ( yi xi ) 0 i 1 n ln L( , , 2 ) n 1 2 ( y x ) 0 i i 2 2 2 2 2 2( ) i 1
估计与普通最小二乘估计相同， 2 的ML估计与OLS估计则不同。
2 2 ˆOLS 是无偏的，而 是有偏的，但渐近无偏。 ˆ ML
非线性模型的极大似然估计，将在第五章中介绍。
注意: 比较线性回归模型回归系数的OLS和MLE的区别。
2014-6-4
一元线性回归模型的极大似然估计
一元线性回归模型：yi xi ui ; i 1,, n 假设随机扰动项 u1,, un i.i.d .; ui ~ N (0, 2 ) 即随机扰动项具有0均值、同方差、不相关和服从正态分布
即近似服从正态分布，其中V是渐近方差—协方差矩阵
(3) 渐近有效性：是渐近有效的且达到所பைடு நூலகம்一致渐近正态估计量
的Cramè r-Rao下界，即在所有一致渐近正态估计量中具有最小方差。
(4) 不变性：设 g (θ) 是任一连续可微的函数，则 g (θ) 的极 ˆ ) 大似然估计为 g (θ ML
2014-6-4
极大似然估计量的渐近协方差矩阵
极大似然估计的渐近方差—协方差矩阵由对数似然函数决定. 信息矩阵(Information Matrix) Fisher
2 ln L(θ) I ( θ) E θ θ
可以证明：在适当的正则条件下，极大似然估计量的渐近方 差—协方差矩阵等于Fisher信息矩阵的逆矩阵，即
也可通过迭代法来求 θ ˆ ，具体的计算方法根据随机变量的 分布来确定。 2014-6-4
连续型随机变量极大似然原理
若总体为连续型分布，密度函数为 f ( x; θ)，形式已知，其中 待估参数向量为 θ (1,,k )。
样本的联合概率密度为 f ( x1,, xn ; θ) f ( xi ; θ),
yi ~ N ( xi , 2 ) ，密度函数
1 2 2
2 1 f ( yi ) ( 2 ) exp 2 2 ( yi xi )


似然函数
对数似然函数 ln L( ) n ln(2 ) n ln( 2 ) 1 n ( y x )2 i i 2 2 2 2 i 1 似然方程 2 n
第四讲 极大似然估计 和广义矩估计
Maximum Likelihood estimate and Generalized Method of Moments
第一节 极大似然估计法
第二节 似然比检验、沃尔德检验 和拉格朗日乘数检验 第三节 广义矩(GMM)估计
2014-6-4
普通最小二乘法(OLS)是计量经济学中使用频率最高的估 计方法。 建模者越来越多使用广义矩估计和极大似然估计、贝叶 斯估计等。 极大似然估计(MLE)和广义矩估计(GMM)已成为计量经 济学中重要的估计方法，其中极大似然估计的使用频率 仅次于LS。
似然函数为：
2
( Y Xβ )( Y Xβ ) exp 2 2
对数似然函数为：
( Y Xβ )( Y Xβ ) L( β , ) (2 ) exp 2 2
n 2 2
n ( Y Xβ )( Y Xβ ) ln L( β , 2 ) ln( 2 2 ) 2 2 2
极大似然估计法和广义矩估计法适用于大样本条件下参 数的估计，在大样本条件下它们具有优良的性质。
2014-6-4
第一节 极大似然估计法
极大似然估计(MLE)的应用虽然没有OLS广泛，但它是一个 具有更强理论性质的点估计方法，它以极大似然原理为基础 ，通过(对数)似然函数估计总体参数。
极大似然估计量是一致的、渐近正态的，而且在所有具有这 些性质的估计量中又是有效的。其缺陷：要假设变量的分布 ，如正态分布。 对一些特殊类型的计量经济模型，如后面将介绍的Logit和 Probit模型，OLS不再适用，常采用极大似然估计。
样本 X1,, X n 取到观察值 x1,, xn 的概率，亦即事件
{X1 x1,, X n xn }发生的概率为： P{ X 1 x1 ,, X n xn } f ( xi ; θ)
n
其中 θ (1,,k )是待估参数向量；似然函数为
L(θ) f ( xi ; θ)
ˆ ; 参数向量的真值 θ0 参数向量 θ 的极大似然估计量 θ ML
如果极大似然函数被正确设定，可以证明，在较弱的正则 条件下，极大似然估计量具有以下渐近性质： P ˆ 是 θ 的一致估计量，即 θ ˆ (1) 一致性： θ θ ML
ML 0
a ˆ (2) 渐近正态性： θ N (θ0 , V(θ0 )) ML
n2 2 2 2 ˆ E( OLS ) (1 ) 2 n n
是一个有偏估计；但它是渐近无偏的。
2 ˆ ML E( )
2014-6-4
多元线性回归模型的极大似然估计
一般多元线性回归模型矩阵形式：Y Xβ u
对随机扰动项作出如下假设： u ~ N (0, 2In ); ui ~ N (0, 2 ); i 1,, n
则 Y ~ N (Xβ, 2In );
2 yi ~ N (x β , ); i 1,, n i
yi
2 ( yi x 1 i β) 的密度函数为：f ( yi ) exp ; i 1,, n 2 2 2
n 2
Y的密度函数为 f ( y) (2 2 )
ˆ ) V(θ ) [I(θ )]1 I1(θ ) Var (θ ML 0 0 0
上式很少用！因信息阵为复杂的非线性函数，期望总是未知 的。实际中用渐近方差—协方差的估计
2 ln L(θ) 1 ˆ )V ˆ ) ˆ ar(θ ˆ I ˆ (θ V ML ML θθ θ θ ˆ ML
2014-6-4
一、极大似然法的思路
极大似然估计的出发点是已知被观测现象的分布，但不 知道其参数。极大似然法用使得观测值(样本)最高概率的 那些参数的值来估计该分布的参数，从而提供一种用于 估计一个分布的参数的方法。
例4.1 设有一枚不均衡的硬币，我们关心的是在每次抛掷 该硬币出现正面的概率p。抛掷该硬币N次，假设得到 N1 次正面，N－ N1 次反面。由于每次抛硬币都是相互独立 的，根据二项分布，得到这样一个样本的概率为：
N1 N1 P( N1次正面 ) CN p (1 p)N N1
2014-6-4
上式可看作是未知参数p的函数，被称为似然函数。对p的 极大似然估计意味着选择使似然函数达到最大的p值，从 而得到p的极大似然估计量。
实际计算中，极大化似然函数的对数往往比较方便，这给 出对数似然函数
N1 ln L( p) lnCN N1 ln( p) ( N - N1 )ln(1 - p)
解得: ˆ ˆ ; βML (XX)1 XY β OLS