最大似然估计及三大检验(Wald LM LR)

第二章 线性回归模型回顾与拓展 （12-15学时）

第四节 三大检验（LR Wald LM ） 一、极大似然估计法（ML ）

（一）极大似然原理

假设对于给定样本{},Y X ,其联合概率分布存在，(),;f Y X ξ。将该联合概率密度函数视为未知参数ξ的函数，则(),;f Y X ξ称为似然函数（Likelihood Function ）。极大似然原理就是寻找未知参数ξ的估计?ξ，使得似然函数达到最大，或者说寻找使得样本{},Y X 出现的概率最大?ξ。

（二）条件似然函数VS 无条件似然函数

()()(),;;;f Y X f Y X f X ξθ?=

若θ与?没有关系，则最大化无条件似然函数(),;f Y X ξ等价于分别最大化条件似然函数();f Y X θ和边际似然函数();f X ?，从而θ的最大似然估计就是最大化条件似然函数();f Y X θ。

（三）线性回归模型最大似然估计

Y X u β=+，2(0,)u N I σ→

22

2

2

()()

(,;,)(2)exp{}2n

Y X Y X L Y X βββσπσσ-'--=-

对数似然函数：

22

()()

2222n n Y X Y X l LnL Ln Ln ββπσσ'--==---

于是 22241?(22)0??21??()()0

???22l X Y X X l n Y X Y X βσβββσ

σσ??''=--+=?

???

??'=-+--=???

得到 12?()1

?ML

ML X X X Y e e n βσ

-?''=??'=??

（三）得分（Score ）和信息矩阵（Information Matrix ）

(;,)l

f Y X θθ

?=?称为得分； 12...k l l l l θθθθ?????????????

??

?

???=???

??????????????得分向量；

（Gradient ） 海瑟矩阵（Hessian Matrix ）:2l H θθ?='

??

信息矩阵：

三*、带约束条件的最小二乘估计（拉格朗日估计）

在计量经济分析中，通常是通过样本信息对未知参数进行估计。但有些时候可能会遇到非样本信息——对未知参数的约束限制（如生产函数中的规模报酬不变等）。在这种情况下，我们就可以采用拉格朗日估计法。 对于线性模型（1），若其参数β具有某种线性等式约束： 0H β= （6）

其中H 是m k ?矩阵（m k <，()rank H m =）。β可视为除分量0β以外的1k ?矩阵。上式表明未知参数12,,,k βββ 之间的某些线性关系的信息。

现在的问题是寻求满足上式又使()()Y X Y X ββ'--达到最小的估计量0

?H β。

为此，构造拉格朗日函数。（λ是1m ?的向量）

()()L Y X Y X H ββλβ''=--+ （7）

于是

??220?H H

H

L X Y X X H βλβ?'''=-++=? （8）

?0?H H

L H βλ?==? （9） 由（8）可得11???()2

H H

X X H ββλ-''=- （10） （10）式的?β

是OLS 的估计量。两边再左乘H ，并结合（9）式有 11???0()2

H H

H H H X X H ββλ-''==- 所以，11??2[()]H H X X H H λβ--''= 代入（10）式，我们便得到估计量：

111???()[()]H

X X H H X X H H βββ---''''=- （11） 这就是拉格朗日估计，或称为带约束的最小二乘估计。它既利用了样本信息，

也利用了非样本信息。另外，?H

β也是带约束的极大似然估计量（证明从略）。

四、广义最小二乘估计（GLS ） 1、数理过程

在实际经济问题的分析过程中，常常遇到古典假定中2的不满足，即随机扰动项存在异方差或自相关。比如利用截面数据进行分析时，随机因素的方差会随着解释变量的增大而增大（即所谓的递增异方差——如在研究消费收入的关系时，随着收入的增加，随机因素的变化会增大）。而利用时间序列数据进行分析时，由于经济变量的惯性作用，随机扰动项之间也会有联系，较为普遍的现象是

扰动项的一阶自相关。（即1t t t u u ρε-=+）

当存在异方差或自相关的情况下，传统的OLS 不再是有效估计，这时，我们应采用广义最小二乘法来解决这类问题。具体地，

2'Euu σ=Ω （12）

其中212

1

22n n w w σσσσ??

???

? ?Ω==

?

? ? ??

? ?

?

? 时t u 存在异方差， 12212

1

1111n n n n ρ

ρρ

ρρρρ----??

?

?

Ω=

?

- ?

??

?

时t u 存在一阶自相关。

需要说明的是，无论是异方差还是自相关，矩阵Ω是正定矩阵。于是，存在非奇异矩阵P ，使得

PP 'Ω= 或 1()P P I -''Ω=

在模型 Y X u β=+ 两边同时左乘1P -，得 111P Y P X P u β---=+

或写成***Y X u β=+ （13） 此时，**111212'['()]()Eu u E P uu P P P I σσ----''==Ω= 即*u 已无异方差和自相关。 那么，对（13）式运用OLS 可以得到

**1**11111111?()(())()()X X X Y X P P X X P P Y X X X Y β

'---------''''''===ΩΩ （14）

这就是未知参数β的广义最小二乘估计量GLS 。它同样具有良好的统计性质。

即它是无偏的、一致的、渐近正态211??(,())E Var X X β

ββσ--'==Ω的估计量。换句话说，GLS 估计量是广义模型中的最小方差线性无偏估计。这就是所谓的

Aitken 定理，当I Ω=时高斯—马尔科夫定理为其特例。

2、WLS 和广义差分法

广义最小二乘法是处理异方差和自相关问题的一般良好估计方法。

当Ω已知时，比如异方差时，各个2

2

i i w σσ=

已知，此时，矩阵P

P ??= ? ?

，1

P -?

??=

?

*1Y P Y -? == ?

，*1X P X -?? ? ?== ? ?

，*1

u P u -? == ? 。

这时由（13）式估计出来的β，其实同加权最小二乘估计（WLS ）是相同的。换句话说，加权最小二乘实际上是广义最小二乘的特例。再比如随机扰动项

有一阶自相关且ρ已知，此时12212

1

1111n n n n PP ρ

ρρ

ρρρρ----??

?

?

'Ω=

= ?- ?

??

?

，可以算得

100001

000

1000001P ρρρ-?

?

- ?

?=-

?

?

?

-??

那么（13）式中的

1*1211n n Y Y Y P Y Y Y ρρ--?? ?- ?== ? ? ?-??

，1

*1211n

n X X X P X X X ρρ--??

?- ?

== ? ? ?

-??

此时估计（13）式得出的?β

，其实就是所谓的广义差分法。也就是说广义差分法也是GLS 的特例。所以，GLS 是一个普遍适用的方法。 3、Ω未知时的GLS

当然，上述情形只是Ω已知的情况。而在现实应用时，Ω往往是未知的。于是我们面临一个问题——Ω如何确定？回答当然是对Ω中的未知量进行估计（比如自相关中的ρ，异方差中的i W ）。那么又该如何估计呢？在回答这个问题之前，我们先考察一下GLS 与最大似然估计的关系（可对照OLS 与ML 的关系）

一般来说，当2(0,)N μσΩ 或2(,)Y N X βσΩ 时，Y 的对数似然函数为

22111

2()()()222

n InL In In Y X Y X πσβσβ-'=--Ω--Ω-

或者考虑到PP 'Ω=，而1*P Y Y -=、1*P X X -=，又有（经过适当的运算）

2****21

ln ln 2ln ln ||()()222n n L P Y X Y X πσββσ

=--+---

最大化上式，对β求导令其为0，可得到β的极大似然估计量（它其实就是

GLS ）。对Ω或P 中的未知量求导令其为0，可得到Ω中未知量（比如ρ）的估

计。这是一种理论上可行的方法，但实际操作可能会遇到障碍，尤其是在有异方差存在时。为此，我们介绍另一种方法——可行广义最小二乘法FGLS 4、可行广义最小二乘法（FGLS ）

异方差的具体形式是复杂多样的，但总的来说都是与解释变量有关的,随解释变量的变化而变化。以下三种假设情况基本上涵盖了文献中讨论过的大多数情形。

（i ）2011i i p ip Z Z σααα=+++ （ii ）011i i p ip Z Z σααα=+++

（iii ）2011i i p ip ln Z Z σααα=+++ （或2011exp()i i p ip Z Z σααα=+++ ） 我们称这些方程为扰动项方差的辅助方程。式中的Z 是原模型中部分或全部的X 或X 的函数（比如21121312Z =X ,Z =X ,Z X X =等等）。可行广义最小二乘法的

基本思想就是，先利用辅助函数求得参数估计值?i α

，然后得出估计值?i σ从而得到?Ω

及最终的GLS 结果。FGLS 的步骤如下： （1）Y 对常数项和12,,,K X X X 回归，求得β的OLS 估计值；

（2）计算残差011???i i i k ki e Y X X βββ=---- （3）选择上述方程的适当形式

（3i ）2i e 对常数项及1,,P Z Z 回归，求得α的估计值。这是针对上述（i ）的情况。式中的Z 为原来X 的平方或交叉乘积。然后把这些α的估计值代回（i ）

便得到2i σ的估计值2?i σ

。再使用GLS 或WLS 得出最终结果。需要指出的是，这种方式并不能保证所有的2?i σ都为正，如果其中出现了0或负数，那么我们就只能使用原来的2i e 代替2?i σ

了。 （3ii ）对应于上述方程（ii ），让i e 对常数项及1,,P Z Z 回归，求得α的OLS

估计值，代入（ii ）得到?i σ，然后使用GLS 或WLS （此时选择权数为1?i σ，如?i σ为负，那么权数为1

i

e ）。

（3iii ）对应于方程（iii ），让2i lne 对常数项及1,,P Z Z 回归，求出α的

OLS 估计值，再代回（iii ）求得2?i ln σ

或2?i σ。然后利用GLS 或WLS 得出结果。这里值得一提的是，此时的2?i σ

只会产生正值，不存在0或负的情况，这也是此种

方法很有吸引力的地方。

以上便是可行广义最小二乘法的一般步骤。由此得到的FGLS 估计量是一致估计量。而且他们的方差和协方差也是一致的。同时渐近地（大样本场合）比OLS 估计更有效。

五、矩估计 及GMM 简介

事实上就参数估计方法来说，矩估计是最简便直观的方法。即用样本矩作为总体矩的估计。

矩估计 广义矩估计

综上所述，我们将传统的单一方程的估计方法总结如下：

OLS(BLUE) ML (OLS )LM(WLS(GLS(()FGLS()ρ??

???????

????Ω???

普通最小二乘法，满足古典假定时的极大的似然估计，另一种优良的估计法，结果与相同估拉格朗朗日乘数，或带约束最小二乘估计）计方加权最小二乘，异方差存在且已知

法广义最小二乘）广义差分存在自相关且可估计量可行广义最小二乘，未知，需要对其中参数进行估计回归的其他形式（标准化，与量纲回归，过原点回归等）；

第三节 线性回归模型的检验方法及拓展

有个对检验的总体说明

作为统计推断的核心内容，除了估计未知参数以外，对参数的假设检验是实证分析中的一个重要方面。对模型进行各种检验的目的是，改善模型的设定以确保基本假设和估计方法比较适合于数据，同时也是有关理论有效性的验证。

正态性JB 检验、峰度、偏度检验

一、假设检验的基本理论及准则

假设检验的理论依据是“小概率事件原理”，它的一般步骤是：（1）建立两个相对的假设（零假设和备择假设）（2）在零假设条件下，寻求用于检验的统计量及其分布（3）得出拒绝或接受零假设的判别规则。另一方面，对于任何的检验过程，都有可能犯错误，即所谓的第一类错误（拒真）和第二类错误（采伪）。而犯这两类错误的概率（分别记为α和β）是一种此消彼长的情况，于是如何控制这两个概率，使他们尽可能的小以满足要求，就成了寻找优良的检验方法的关键。下面先就假设检验的有关基本理论做一简要介绍。

参数显著性检验的具体步骤是：已知总体的分布(,)F x θ，其中θ是未知参数。总体真实分布完全由未知参数θ的取值所决定。对θ提出某种假设

001000:(:,)H H θθθθθθθθ=≠<或>等，从总体中抽取一个容量为n 的样本，确定一个统计量及其分布，决定一个拒绝域W ，使得0P θα（W ）=，或者对样本观测数据X ，0

P θα∈≤（X W ）。α即是显著性水平，也是犯第一类错误的概率。 既然犯两类错误的概率不能同时被控制，所以通常的做法是限制犯第一类错误的概率，使犯第二类错误的概率尽可能的小，即在

P θα∈≤（X W ） 0θ∈Θ 的条件下，使得

P θ∈（X W ）

，0θ∈Θ-Θ 达到最大。其中P θ∈（X W ）

表示总体分布为(,)F x θ时，事件∈{X W}的概率，0Θ为

零假设集合（0Θ只含一个点时成为简单原假设，否则称为复杂原假设）。0Θ-Θ则表示备择假设集合，为了方便描述，我们定义 P θβθ∈（）=（X W ）

称βθ（）为该检验的势函数。当0θ∈Θ时，βθ（）是犯第一类错误的概率；而当0θ∈Θ-Θ时，1β

θ-（）是犯第二类错误的概率。 于是一个好的检验方程是：

0max (),..

(),s t βθθβθαθ∈Θ-Θ??

≤∈Θ? 为了理论上的深入研究和表达方便，我们常用函数来表示检验法。定义函数

1,()0,x W

x x W

?∈?=?

??

它是拒绝域W 的示性函数，仅取0、1两个值。反之如果一个函数中()x φ只取0或1，则{|()1}W x x φ==可作为一个拒绝域。也就是说，W 和φ之间建立了一种对立关系，给出一个φ就等价于给出了一个检验法，（我们称φ为检验函数）。那么，对于检验法φ的势函数为

()()()(,)E X x dF x θβθ?θΦ=Φ=? 于是，一个好的检验法又可写为

00max (),..x ,s t E θβθθφαθΦ∈Θ-Θ??≤∈Θ?

（）

我们称满足上式的检验法为最优势检验(MPT)（如果是对于复杂原假设和备择假设，则称为一致最优势检验（UMPT ）。

奈曼—皮尔逊基本引理给出于()x φ是MPT 的充要条件。

[定理] 设1,,n X X 是来自总体分布密度为(,)p x θ的样本，θ为未知参数，对于简单假设检验问题0011:,:H H θθθθ==，检验函数()x φ是显著性水平为α的最优势检验MPT 的充要条件是，存在常数0K ≥，使得()x φ满足：

0()E X θ?α=

10101,(,)(,)

()0,(,)(,)p x Kp x x p x Kp x θθ?θθ>?=?

当当 这就是著名的奈曼—皮尔逊基本引理，需要指出的是，上述定理中的检验函数

()x φ通常也称为似然比检验函数，若记

10(,)()(,)

p x x p x θλθ=

称为似然比统计量。如果()x λ较大，意味着1(,)p x θ较大，所以在0H 为真时观测到样本点x 的可能性比1H 为真时观察到样本点x 的可能性小，因而应拒绝原假设0H ；反之，如果()x λ较小则应接受0H 。此外，利用()x λ，上述定理中的()x φ可写为

1,()()0,()x K

x x K λ?λ>?=?

这说明对于简单假设检验问题，似然比检验是最优的，反之最优势检验法也一定

是似然比检验法。而大量的文献都已证明了传统假设检验中的Z 检验，t 检验，2

χ检验，F 检验都是最优势检验。

于是，我们可以放心地回到这部份的主题——计量经济模型的检验方法。

二、一般线性框架下的假设检验

多元回归模型011u k k Y X X βββ=++++ 的统计检验通常包括以下三种情

况：（1）单个系数的显著性检验；（2）若干个回归系数的联合检验；（3）回归系数线性组合的检验。例如：考虑下面这些典型假设的例子。

01、0:0i H β=。即回归元i X 对Y 没有影响，这是最常见的参数显著性检验。 02、00:i i H ββ= 。0i β是某一具体值。例如i β表示价格弹性，我们也许希望它是-1。

03、012:1H ββ+=。这里的β表示生产函数中资本和劳动的弹性，此时检验是否规模报酬不变。

04、023:H ββ=或230ββ-=。即检验2X 和3X 的系数是否相同。 05、012:0k H βββ=== 。即检验全部回归元都对Y 没有影响。 06、0:0II H β=。 这里的含义是把β向量分为两个子向量I β和II β，分别含有1k 和2k 个元素。检验0:0II H β=就是检验某一些回归元II X （X 的一部分）对Y 没有影响。

诸如以上的情形都可归于一般的线性框架： R r β= （注意：这里1(,)k βββ'= ）

其中R 是由已知常数构成的q k ?矩阵（q k ≤），r 是各元素为常数（一般是0或1）的1q ?矩阵。于是，对于上述情形，具体的我们有： （i ）(010),0.(1)R r q === （ii ）0(010),.(1)i R r q β=== （iii ）(1,1,00), 1.(1)R r q === （iv ）(0,1,1,0),0.(1)R r q =-==

（v ）,0.()k R I r q k ===

（vi ）2200,0.()0k R r q k I ??

=== ???

所以，上述问题的统一假设是：

0:0H R r β-=

为了检验这个假设，应先估计出?β，计算?R r β-，若其值较“小”，（接近于0），

则不应否定原假设；而如果其值较大，那么应对0H 提出怀疑。为此我们先考察?R β的分布。

对于OLS 的?β，我们知道21?(,())N X X ββσ-' 。（注意：这里的X 是所有解释变量观测值组成的n k ?矩阵不含全是1的第一列）而

?()E R R β

β= 21????()[()()]()Var R E R R RVar R R X X R ββββββσ-'''''=--== 所以，21?(,())R N R R X X R ββσ-'' 于是，在0:0H R r β-=成立的条件下，

21?(0,())R r N R X X R βσ-''- 那么，由有关的数理统计知识可知：

2112??()[()]()()R r R X X R R r q βσβχ--'''-- （1） 此外，我们还可以证明

22

(1)e e

n k χσ'-- （残差平方和的分布）。

因此，由上述两式，得到在0H 下的检验统计量：

11??()[()]()~(,1)(1)

R r R X X R R r q F F q n k e e n k ββ--'''--=--'-- （2）

（注意：2?(1)e e n k σ

'--=） 于是，检验的程序是，如果算出的F 值大于某个事先选定的临界值，则拒绝0H 。具体描述如下：

01、0:0i H β=

此时?R β为?i

β。1()R X X R -''为ii c 。即1()X X -'主对角线上的第i 个元素（注：（1()X X -'是一K 阶对称方阵）。因此：

222??~(1,1)??i i

ii i F F n k c Var ββσ

β==--

取平方根 2?(1)?i i t t n k se β

β=-- ，这就是传统的关于回归参数显著性的t 检验法。

02、00:i i H ββ=

类似0

1，这里0

?(1)?i i i

t t n k se βββ-=--

此时也可以计算，比如i β的95%置信区间，而不用检验关于i β的具体假设，这个

置信区间是0.025??i i

t Se ββ±。 03、012:1H ββ+=

?R β给出了两个估计系数的和12??ββ+，而此时1111222

()2R X X R c c c -''=++（注：1()()ij X X c -'=，R=(1,1,,0) ）

。那么 112111111222112212

2[()]???????[(2)][2(,)][()]?R X X R c c c Var Cov Var Var σββββββσ

-----''=++=++=+

于是检验统计量为：

??(1)t t n k =

--

或者，也可以计算12ββ+的95%置信区间120.02512????()()t Var ββββ+±+

04、023:H ββ=

类似03，可推得此时的检验统计量为

??(1)t t n k =--

05、012:0k H βββ===

此时 k R I =，r=0，q=k ，那么

??(,1)(1)

1

X X k ESS k

F F k n k e e n k RSS n k ββ''=

=

--'----

这就是我们熟悉的关于回归方程显著性的F 检验。

06、0:0II H β=

这里对应于I II βββ??= ???

。把X 分块为()I

II X X X =，可以证明（过程略）

此时 1

122()(,1)(1)

e e e e k F F k n k e e n k ''-=

--'-- （3）

其中1

1e e '是Y 对I X 做线性回归的残差平方和。e e '是Y 对所有X 回归的RSS 。 通过上述示例，我们看到一般线性框架下的假设检验，它涵盖了传统计量经济分析中的统计检验方法。有了它，我们可以方便地实现许多实证问题中线性意义下的统计检验。其重要性是显而易见的。

三、一般线性假设检验的另一种形式

上面第06情况出现的统计量就是这里所说的另一种形式。显然05是06的特殊情况，而事实上我们还将看到其它的情况也可归于06。另外，这里还有一个问题，即类似于第03种情况的检验与上一章所讲的带约束的最小二乘估计的关系是什么？也就是说，对未知参数有约束限制的模型进行回归后的结果，与对没有约束限制的模型回归后的参数检验的结果是否一致？下面的具体分析就回答了这一问题。

事实上，无论05还是06都可以认为用了两种不同回归的结果。第一种回归可看作有约束的回归，或者说0H 中的约束条件实际上是估计方程施加的。即05中有约束回归是将12,,,K X X X 从回归式中省略掉，或等价地说，令12,,,k βββ 为零；在06中，有约束的回归只用了前面一部分变量I X （21K K +-个）。而05、06两种情况的第二种回归是无约束回归，它们都用了所有的变量X 。由于无约束模

型的残差平方和RSS 是e e '，有约束模型的残差平方和RSS 记为*

*e e '，因此对某些i β的显著性检验也就是问，对应的i X 加入模型后，残差平方和RSS 是否显著减少。

具体到第3 种情形，考虑离差形式的回归方程 1122y x x e ββ=++ 对其施加约束121ββ+=，代入回归方程 1112(1)y x x e ββ=+-+ 或2112()()y x x x e β-=-+

由变量2()y x -对12()x x -的回归便可得到1β的受约束估计值，而这个回归的

RSS 就是有约束的RSS ，即*

*e e '。 实际上这就是我们前面讲到的带约束条件的最小二乘估计。

一般地，在约束条件*R r β=下，求使RSS 达到最小的*

?β，构造拉格朗日函数

***()()()L Y X Y X R r ββλβ''=--+-，运用前面所讲的方法可得到（过程略）

111???()[()]()X X R R X X R R r βββ---*''''=-- （4） 其中?β

是无约束的OLS 估计量，而受约束回归的残差为 ??????()()e Y X Y X X e X ββββββ****=-=---=-- 将其转置，再与其自身相乘，有

????()()e e e e X X ββββ****''''=+-- 再把（4）式的??ββ*

-代入并化简可得 11??()[()]()e e e e R r R X X R R r ββ

--**'''''-=-- （5） 这与（2）式中除q 外的分子完全相同，也就得到了检验假设0?:H R r β=的统计量的另一种形式为 ()(,1)(1)

e e e e q F F q n k e e n k *

*''-=

--'-- （6）

这也恰好说明前面所述的6种检验的情形都可以用上述方式进行，即拟合一个受约束的回归，用受约束模型的残差平方和与无约束模型的残差平方和之差

e e e e *

*''-的大小（或记为R U RSS RSS -）来推断原假设是否成立。这也就是说一般的线性假设情形都是06的特例，或者（6）式的F 统计量是普遍适应于一般线性假设的一种重要检验方法。即

()(,1)(1)

R U U RSS RSS q

F F q n k RSS n k -=

----

其中R RSS 和U RSS 分别是受约束模型和无约束模型的残差平方和,q 是约束条件个数。同时，这也就回答了本段开始的问题，即，对于未知参数有约束限制的模

型进行回归后的结果，与对没有约束限制的模型回归后的参数检验的结果应该是一致的。

四、似然比检验（LR ）

如本节开头所述，在统计推断中，古典检验方法是建立在似然比的基础之上的。由此可见似然比检验的重要性（当然它的实用性也会在应用中显现出来）。一般而言，似然比被定义为原假设下似然函数的最大值与无约束条件下似然函数的最大值的比率。上一节我们得到了线性回归模型参数的极大似然估计量（上一节（4）式和（5）式）

1?()ML

X X X Y β-''= 21

???()()ML ML ML

Y X Y X n

σββ'=-- 它们在无约束条件下，使似然函数最大化。把它们代入似然函数可得无约束的最大似然值（推导过程略）

2??(,)L βσ'=?-n

2常数（e e ） （7）

（式中的常数与模型中的任何参数无关，'e e 是残差平方和）

另一方面，如果在约束条件R r β=下使似然函数最大化，令β

和2σ 表示所导致的估计值，那么2(,)L β

σ 便是约束条件下的最大似然值，有约束的最大值当然不会超过无约束的最大值，但如果约束条件“有效”，有约束的最大值应当“逼近”无约束的最大值，这正是似然比检验的基本思路。似然比定义为

22(,)??(,)

L L β

σλβσ= 显然，01λ≤≤。如果原假设为真，我们会认为λ的值接近1。或者说，如果

λ太小，我们则应该拒绝原假设。似然比检验的建立就是要使得当k λ≤时，拒绝原假设。即0(0)P k H λα≤≤=（α为显著性水平）。在某些情况下，拒绝域

{}k λ≤可以转化为含有我们熟知的t 统计量或F 统计量的形式。不过，普遍适用

的是大样本检验。可以证明，对大样本来说，统计量

222??2ln 2ln (,)ln (,)~()LR L L q λβσβσχ??=-=-??

（8） 具体地，如果LR 很大，则应拒绝原假设，或者说似然比检验的拒绝域为

{}2

1()LR q α

χ

-≥，其中21()q αχ-为卡方分布的1α-下侧分位数。

前面已得到无约束的最大似然值2??(,)L β

σ，为了保证LR 的计算，我们还需要得出约束条件下的最大似然值2(,)L β

σ 。为此，最大化 ln ()L R r μβ'--（式中的μ是1q ?的拉格朗日乘数向量，ln L 就是无约束的

对数似然函数），可得约束条件下的β 。由于参数的极大似然估计量与最小二乘估计量实际上是相同的，那么此处得到的β 就与上一小节所得到*

?β即（4）式相同。与前面一样，此时的残差为**?Y X Y X e ββ-=-= ，而2σ的带约束的极大似然估计为2*

*e e n

σ

'= ，因此，（类似于（7）式）

2(,)n L βσ-'=? **常数（e e ） （9）

（式中常数与（7）式相同）将（7）式和（9）式代入（8）式，就得到了似然比检验统计量的另一种形式，

'

**(ln ln )LR n e e e e '=- （10）

由此可见，计算LR 统计需要拟合无约束模型和有约束模型。而事实上，前面讲的各种检验（t 检验，F 检验，（6）式）都可以根据似然比原理推导出来。这就再次说明似然比检验是统计检验的理论基础。

五、沃尔德检验（Wald ）

在前面一般线性框架的假设检验的讨论中，由OLS 估计量?β服从正态分布推出了（1）式。这里如果我们考虑MLE ?β的渐近正态性，也能得到前面的（1）式，即

1212??()()()~()R r R X X R R r q βσβ

χ--''''??--?? （11） 这里q 是R 中约束条件个数，用2σ的一致估计量2?e e n

σ'=代替式中的2σ，渐近分布成立，或者说大样本情形的沃尔德统计量为

11a

22

??()()()~()?R r R X X R R r W q ββχσ

--'''??--??

= （12）

类似于前面的（6）式，上式的分子也可写为（e e e e **''-），于是Wald 检验的统计量具有另一种形式，

'

2**()~()n e e e e W q e e

χ'-=' （13）

与LR 检验的情况一样，W 呈大样本卡方分布。如果W 的值大于卡方分布的

α上侧分位数2

α

χ，则拒绝原假设。而前面的（6）式也可归为Wald 检验类。 Wald 检验的一般公式：

(

)

(

)()a

1

2

()()()~()T

W c Var c c q βββχ-??=??

六*、拉格朗日乘数检验（LM ）

上述的LR 检验，Wald 检验都涉及到了对数似然函数ln L 。Wald 检验是由?β渐近服从均值为β，方差协方差阵为1()I β-的正态分布，而导出在0H 下，

1?(0,())R r N RI R ββ-'- 。其中121()()I X X βσ--'=。从而得出Wald 统计量的分布。 一般地，如果?θ是θ的极大似然估计量，由其大样本性或渐近性知，