5-最大似然估计

最大似然估计
对应的对数似然函数为：
， ，，。
一阶条件可计算如下：
(5-16)
显然，由上述的一阶条件无法解出参数的解析解。因此，我们必须使用迭代 的方法来获得参数的数值解。
记
，则 Newton-Raphson 迭代的迭代公式为：
(5-17)
其中，下标“(j)”表示迭代的步数；迭代公式的协方差阵也可使用其它两种 计算方法。
又可得到参数 的最优解。 此处，有必要介绍一下中心化的概念。
假定待估参数可划分为
，其中，给定参数 ，参数 的 ML
估计可表示为
，将
代入原来的对数似然函数
可以得到
，则称 称中心化对数似然函数。
为对参数 中心化的对数似然函数，简
5.2 三大检验
5.2.1 定义与性质
第 11 页 共 30 页
最大似然估计
最大似然估计
最大化函数
的结果是等价的。因此，在估计过程中通常只关注条件似
然函数。在不引起误解的情况下，我们仍然使用符号
的似然函数。 参数 的 ML 估计
定义如下：
表示
(5-2)
其中，参数空间 为参数 的定义域。 由于上式中存在连乘的形式，不方便于求解估计量，因此，大多数情况下， 都先对上式进行对数变换再进行最优化。
(5-15) 其中， 的累计分布函数为：
即 收敛于某个取 的概率为 1 的分布。
所以有，
。
同样的， 的累计分布函数为：
其中， 则由上式可知有 或者，也可由
。
为有限分布，所以有
。
直接得到一致的结论。
3．Weibull 分布的 ML 估计
已知
为 Weibull 分布生成的随机样本，其密度函数为：
第 9 页 共 30 页
假定如下的正则条件成立：
R1. 对几乎所有的 和任意的 ，
的 1 至 3 阶导数存在且连续。
R2.
的 1 阶与 2 阶导数的期望存在。
R3. 对于任意的 ，
小于某个具有有限期望的函数。
记
，
，则由以上正则条件有：
D1.
，其中
表示基于真实分布的期望。
D2.
。
证明： 由定义有，
，则有
证明完毕。
第 3 页 共 30 页
最大似然估计
上述定义的向量
也称为梯度向量（Gradient Vector），
在 的基础上可定义如下得分向量（Score Vector）：
同样的，在 的基础上也可定义如下 Hessian 矩阵：
则由上述的性质 D1 和 D2 有
(5-4)
式（5-5）也称为信息矩阵等价方程式。
(5-5)
2．一致性
ML 估计
(5-3)
与非线性回归的情况一样，在 ML 估计中也需要假定参数的可识别性与渐近 可识别性，具体如下：
假定 5-1（可识别假定）：对参数空间 的任意
，有
其中， 为参数 的真值。
这里需要说明一下，与 LS 估计不同，在 ML 估计的框架中，用于保证估计 量性质的约束条件无法很清晰的划分为几类简单的假定。因此，更常用的做法是 直接给出这些约束条件（正则条件），而不是作为假定提出。我们之所以单独列 出可识别假定，是因为它是整个极值估计（非线性估计，ML 估计，GMM 估计） 的核心假定，且在性质证明中能直接看出。
5.1.2 性质
1．正则条件
在相当弱的正则条件（Regularity Conditions）下，ML 估计量是一致的，在
第 2 页 共 30 页
最大似然估计
稍强一些的假设下是渐近正态的。因此，如果一个 ML 估计量满足已知的正则条 件，则不必要证明其一致性（直接证明某个 ML 估计量的一致性通常比较困难）， 也不必要推导其渐近分布。
CRLB 是指任意无偏估计量的方差所能达到的最低水平，计算如下：
(5-8)
以下简单的证明 CRLB 的性质。
证明： 已知密度函数
，其得分函数为
估计量
，满足
，则有
。记 的
其中，
注意到，对任意矩阵
，满秩矩阵
，
第 6 页 共 30 页
最大似然估计
有
，则有
所以有
当估计量为无偏估计时，即
，上式可化简为：
。 。
其中，
CRLB 为
。
证明完毕。
称为 的估计量的 CRLB。当
时，
ML 估计的渐近协方差阵达到 Cramer-Rao 下界（CRLB），因此它是渐近有 效的。这里需要说明一点，通常，水平参数的 ML 估计是无偏估计，但方差参数 的 ML 估计不是无偏估计，只是渐近无偏。
实际计算 ML 估计的渐近协方差时，可以有如下三种算法： 方法 1：计算对数似然函数在 处的 2 阶导的期望，再以 代入。
是真实参数 的一致估计量：
(5-6) 一个简单但不严格的证明（严格的证明还需要讨论积分的某些设定条件，但 忽略这种讨论对于我们理解估计量一致性并无伤害）如下。
证明：
假定
存在，其中 为与 n 无关的常数向量。
因为对数函数为严格凸函数，根据 Gensen 不等式与可识别的假定，对任意
的
有，
。
又因为
，
所以有
证明完毕。
具体的，给定参数的某个初始值 ，EM 算法可分解为如下两步： E-步：计算条件期望
不是一一对应的关系时，可通过人
为设定将其限定为一一对应的关系，因此，也可利用 ML 估计的不变性。 ML 估计的不变性是一个有限样本性质，在实际应用中非常有用。一个常用
的例子是，在估计正态分布的方差时，我们直接估计 而不是 。
5.1.3 例子
1．指数分布的 ML 估计
已知
为指数分布
密度函数为： 对应的对数似然函数为：
。
第 4 页 共 30 页
由大数定律有，
最大似然估计
注意到上式中极限的不等式不一定是严格的。 又由 ML 估计的定义有，
。
所以有， 由渐近可识别的假定可知， 证明完毕。
。 ，即式（5-6）成立。
3．渐近正态性
ML 估计
渐近服从正态分布：
其中，
证明： 对数似然函数的一阶条件为：
称为信息矩阵。
(5-7)
对于这种似然函数的一阶条件没有解析解的情形，有时候也可以使用 EM 算 法来计算参数的数值解。
4．非线性回归的 ML 估计
设定如下广义模型：
(5-18)
通过最小化目标函数
可获得参数的 NLS 估
计。但是，由于此时因变量中含有待估参数，NLS 估计忽略了 Jacoby 行列式， 它不再是一致估计。
由式（5-18）的设定有，
则参数 的中心化对数似然函数可表示为： LR 检验统计量可计算如下：
其中， 和 为有约束下的 ML 估计，
。
LM 检验统计量可计算如下：
(5-28)
(5-29)
其中，此处的 R2 为 又，
对 X 回归到非中心化 R2。 ，所以式（5-29）的 LM 检验统计
量可转换为：
(5-30)
虽然，上述介绍的 Wald 统计量、LR 统计量和 LM 统计量在大样本下是渐
，
，所以。又因为 来自以有证明完毕。记 为有约束对数似然函数的梯度向量，则有
其中，
。
使用 BHHH 方法估计 Hessian 矩阵，
计量又可计算如下：
此处的 R2 表示 对 回归的非中心化 R2。
第 14 页 共 30 页
。 ，则 LM 检验统
(5-26)
最大似然估计
5.2.2 例子
考虑简单的线性回归模型：
令
和
。 分别为 和 处进行 Taylor 一阶展开，可得
其中，
，
。
由 ML 估计的渐近正态性，可有
其中，
，
。
由定义可知有， 所以有
，
。
其中，矩阵 阵，且有
；
第 13 页 共 30 页
为对称幂等矩 。
最大似然估计
（3）LM 检验
定义
，则由 Lagrange 中值定理有，
其中，
。
由 ML 估计的一致性可知有
在 ML 估计框架下存在 3 类渐近等价检验：Wald 检验、LR 检验和 LM 检验； 几乎所有的参数检验都可归并为其中的一种。
给定检验假说
，对应的检验统计量计算如下：
Wald 检验统计量：
(5-23)
LR 检验统计量： LM 检验统计量：
(5-24) (5-25)
其中， 和 分别表示无约束和有约束下的 ML 估计， 和 分别
则样本观测值 对应的概率为：
第 10 页 共 30 页
最大似然估计
其中， 对应的对数似然函数为：
为 Jacoby 行列式。
(5-19) (5-20)
同样的，即使上式的一阶条件通常也无法获得参数的解析解，因此，我们需 要使用 Newton-Raphson 或 Gauss-Newton 迭代来获得参数的数值解。
近等价的，但是，它们在有限样本下却存在确定的大小排序：
(5-31)
证明：
所以，
。
第 16 页 共 30 页
最大似然估计
所以，
。
证明完毕。
5.3 EM 算法
5.3.1 定义与性质
实际应用中，ML 估计通常没有解析解，而需要借鉴数值方法来获得参数的 数值解；其中，最常用的数值方法如 Newton-Raphson 迭代和 Gauss-Newton 迭代。 此处介绍一种新的迭代方法——期望最大化算法（Expectation-Maximization）， 简称 EM 算法。EM 算法的基本思路是将一个复杂的似然函数的最大化问题转化 为某些简单的似然函数的条件期望的最大化问题，它主要用于数据缺失或混合模 型估计等领域。