线性回归模型检验方法拓展三大检验

第四章 线性回归模型检验方法拓展——三大检验 作为统计推断的核心内容，除了估计未知参数以外，对参数的假设检验是实证分析中的一个重要方面。对模型进行各种检验的目的是，改善模型的设定以确保基本假设和估计方法比较适合于数据，同时也是对有关理论有效性的验证。

一、假设检验的基本理论及准则

假设检验的理论依据是“小概率事件原理”，它的一般步骤是

（1）建立两个相对（互相排斥）的假设（零假设和备择假设）。

（2）在零假设条件下，寻求用于检验的统计量及其分布。

（3）得出拒绝或接受零假设的判别规则。

另一方面，对于任何的检验过程，都有可能犯错误，即所谓的第一类错误

P （拒绝H 0|H 0为真）=α

和第二类错误

P （接受H 0|H 0不真）=β

在下图，粉红色部分表示P （拒绝H 0|H 0为真）=α。黄色部分表示P （接受H 0|H 0不真）=β。

而犯这两类错误的概率是一种此消彼长的情况，于是如何控制这两个概率，使它们尽可能的都小，就成了寻找优良的检验方法的关键。

下面简要介绍假设检验的有关基本理论。

参数显着性检验的思路是，已知总体的分布(,)F X θ，其中θ是未知参数。总体真实分布完全由未知参数θ的取值所决定。对θ提出某种假设001000:(:,)H H θθθθθθθθ=≠><或，从总体中抽取一个容量为n 的样本，确定一个统计量及其分布，决定一个拒绝域W ，使得0()P W θα=，或者对样本观测数

据X ，0()P X W θα∈≤。α是显着性水平，即犯第一类错误的概率。

既然犯两类错误的概率不能同时被控制，所以通常的做法是，限制犯第一类错误的概率，使犯第二类错误的概率尽可能的小，即在

的条件下，使得

()P X W θ∈，0θ∈Θ-Θ

达到最大，或

1()P X W θ-∈，0θ∈Θ-Θ

达到最小。其中()P X W θ∈表示总体分布为(,)F X θ时，事件W ∈{X }的概率，0

Θ为零假设集合（0Θ只含一个点时成为简单原假设，否则称为复杂原假设）。

0Θ-Θ为备择假设集合，并且0Θ与0Θ-Θ不能相交。由前述可知，当1H 为真时，它被拒绝（亦即H 0不真时，接受H 0）的概率为β，也就是被接受（亦即H 0不真时，拒绝H 0）的概率是1β-（功效），我们把这个接受1H 的概率称为该检验的势。在对未知参数θ作假设检验时，在固定α下，对θ的每一个值，相应地可求得1β-的值，则定义

称1βθ-（）

为该检验的势函数。统计检验的势（函数）主要用于比较假设检验的优劣。于是一个好的检验方程是

00max (),..(),s t βθθβθαθ∈Θ-Θ??≤∈Θ? 或 00min(1()),..(),s t βθθβθαθ-∈Θ-Θ??≤∈Θ?

为了理论上的深入研究和表达方便，我们常用函数来表示检验法。定义函数 它是拒绝域W 的线性函数，仅取值0或1。反之，如果一个函数中()X ?只取0或1，则{|()1}W X X ?==可作为一个拒绝域。也就是说，W 和?之间建立了一种对立关系，给出一个?就等价于给出了一个检验法，（我们称?为检验函数）。那么，对于检验法?的势函数为

于是，一个好的检验法又可写为

称满足上式的检验法为最优势检验(MPT)。如果对于复杂原假设和备择假设，则称为一致最优势检验(UMPT )。

奈曼—皮尔逊（Neyman Pearson -）基本引理给出于()X ?是MPT 的充要条件。

定理 设1,,n X X L 是来自总体分布密度为(,)p X θ的样本，θ为未知参数，对于简单假设检验问题0011:,:H H θθθθ==，检验函数()X ?是显着性水平为α的最优势检验(MPT)的充要条件是，存在常数0K ≥，使得()X ?满足

这就是着名的奈曼—皮尔逊基本引理，需要指出的是，上述定理中的检验函数()X ?通常称为似然比检验函数，若记

称()X λ为似然比统计量。如果()X λ较大，意味着1(,)p X θ较大。所以在0H 为真时观测到样本点X 的可能性比1H 为真时观察到样本点X 的可能性小，因而应拒绝原假设0H ；反之，如果()X λ较小则应接受0H 。此外，利用()X λ，上述定理中的()X ?可写为

这说明对于简单假设检验问题，似然比检验是最优的，反之最优势检验法也一定是似然比检验法。而大量的文献都已证明了传统假设检验中的Z 检验、t 检验、2χ检验和F 检验都是最优势检验。

于是，我们可以放心地回到这部份的主题——计量经济模型的（假设）检验方法。

二、一般线性框架下的假设检验

设多元回归模型为

122k k Y X X u βββ=++++L （2-43）

式（2-43）的统计检验通常包括以下三种情况

1、单个系数的显着性检验。

2、若干个回归系数的联合检验。

3、回归系数线性组合的检验。

从检验的方面看，考虑以下典型假设

01、0:0j H β=。即解释变量j X 对Y 没有影响，这是最常见的参数显着性检验。

02、00:j j H ββ= 。0i β是某一具体值。例如j β表示价格弹性，我们也许希望它是-1。

03、012:1H ββ+=。这里的β可以看成生产函数中资本和劳动的弹性，此时检验是否规模报酬不变。

04、023:H ββ=或230ββ-=。即检验2X 和3X 的系数是否相同。 05、012:0k H βββ===L 。即检验全部解释变量都对Y 没有影响。 06、0:0II H β=。 这里的含义是把β向量分为两个子向量I β和II β，分别含有1k 和2k 个元素。检验0:0II H β=就是检验某一些解释变量II X （X 的一部分）对Y 没有影响。

诸如以上的情形都可归于一般的线性框架

RB r = （2-44）

注意：这里1(,)k B ββ'=L 。其中R 是由已知常数构成的q k ?矩阵（q k ≤），r 是各元素为常数（一般是0或1）的1q ?矩阵。于是，对于上述情形，R 的具体表示为

（i ）(010),0.(1)R r q ===L L

（ii ）0(010),.(1)i R r q β===L L

（iii ）(1,1,00), 1.(1)R r q ===L

（iv ）(0,1,1,0),0.(1)R r q =-==L

（v ）,0.()k R I r q k ===

（vi ）2200,0.()0k R r q k I ??=== ??

? 将上述假设问题一般化，则

为了检验这个假设，应先估计出?B ，计算?RB r -，若其值较“小”，（接近于0），

则不应否定原假设；而如果其值较大，那么应对0H 提出怀疑。为此我们先考察?RB

的分布。

对于OLS 的?B

，我们知道21?~(,())B N B X X σ-'。这里的X 是所有解释变量观测值组成的n k ?矩阵，其中不含全是1的第一列，?RB

的数学期望和方差分别是 所以

于是，在0:0H RB r -=成立的条件下

那么，由有关的数理统计知识可知，其中的方差经过构造，服从自由度为q 的卡方分布，q 为参数中非零的个数，即

2112??()[()]()~()RB

r R X X R RB r q σχ--'''-- （2-45） 此外，我们还可以证明

22'~()E E

n k χσ- （残差平方和的分布）。

因此，由上述两式，可构造在0H 下的F 检验统计量

11??()[()]()~(,)'()

RB r R X X R RB r q F F q n k E E n k --'''--=-- （2-46） 注意，2?'()E E n k σ-=（亦即2

2?i e n k σ=-∑）。于是，检验的程序是，如果计算出

的F 值大于某个事先选定的临界值，则拒绝0H 。具体描述如下

01、0:0j H β=

此时?RB 为?j

β。1()R X X R -''为jj c ,即1()X X -'主对角线上的第j 个元素，1()X X -'是一K 阶对称方阵。因此

222??~(1,)???()

j j jj j F F n k c Var ββσβ==- （2-47） 取平方根 ?~()??()j

j t t n k se ββ=-，

这就是传统的关于回归参数显着性的t 检验法。 02、00:j j H ββ=

类似01，这里

?~()??()j j j t t n k se βββ-=- （2-48）

此时也可以计算，比如j β的95%置信区间，而不用检验关于j β的具体假设，这

个置信区间是0.025???()j j

t se ββ±。 03、012:1H ββ+=

?RB 给出了两个估计系数的和12

??ββ+，而此时1111222()2R X X R c c c -''=++，式中1()ij X X c -'=，R=(1,1,,0)L 。那么

1121111112221122122[()]???????[(2)][2(,)][()]?R X X R c c c Var Cov Var Var σββββββσ

-----''=++=++=+于是检验统计量为

??~()t t n k =- （2-49）

或者，也可以计算12ββ+的95%

置信区间12??()t ββ+±04、023:H ββ=

类似03，可推得此时的检验统计量为

??~()t t n k =- （2-50）

05、023:0k H βββ===L

此时 k R I =，0r =，q k =，那么

??'~(,)'()()

B X XB k ESS k F F k n k E E n k RSS n k '==--- （2-51） 这就是我们熟悉的关于回归方程显着性的F 检验。

06、0:0II H β=

这里对应于I II βββ??= ???

。把X 分块为()I II X X X =，可以证明（过程略） 此时

1122('')/~(,)'/()

E E E E k

F F k n k E E n k -=-- （2-52） 其中，11'E E 是Y 对I X 做线性回归的残差平方和。'E E 是Y 对所有X 回归的RSS 。

通过上述示例，我们看到在一般线性框架下的假设检验，它涵盖了经典计量经济分析中的所有统计检验方法。有了它，我们可以方便地实现许多实证问题中线性意义下的统计检验。

三、一般线性假设检验的另一种形式

1、“有约束”与“无约束”检验。上面第06种情况出现的统计量就是这里所说的另一种形式。显然05是06的特殊情况，而事实上我们还将看到其它的情况也可归于06。另外，还有一个问题，即类似于第03种情况的检验与通常带约束的最小二乘估计的关系是什么？也就是说，对未知参数有约束限制的模型进行回归后的结果，与对没有约束限制的模型回归后的参数检验的结果是否一致？下面的具体分析回答了这一问题。

事实上，无论05还是06都可以认为用了两种不同回归的结果。第一种回归可看作有约束的回归，或者说0H 中的约束条件实际上是对估计方程施加的。即05中有约束回归是将23,,,k X X X L 从回归式中省略掉，或等价地说，令23,,,k βββL 为零；在06中，有约束的回归只用了前面一部分变量I X （2k k -）。而05、06两种情况的第二种回归是无约束回归，它们都用了所有的变量j X 。

记无约束模型的残差平方和RSS 是'E E ，有约束模型的残差平方和RSS 是**'E E ，现在的问题是对某些j β的显着性检验也就是对应的j X 加入模型后，残差平方和RSS 是否显着减少。

2、带约束条件的最小二乘估计。根据上述第3o 种情形，考虑离差形式的回归方程

对其施加约束231ββ+=，代入回归方程

或

由变量3()y x -对23()x x -的回归便可得到2β的受约束估计值，而这个回归的

RSS 就是有约束的RSS ，即**'E E 。实际上，这就是所谓带约束条件的最小二乘估计。而有约束的RSS 与无约束的RSS 之间有什么样的差异？

3、“另一种形式”的得到。一般地，在约束条件*RB r =下，求使RSS 达到

最小的*

?B ，构造拉格朗日函数 ***()()()L Y XB Y XB RB r λ''=--+- （2-53）

运用约束条件下的OLS 方法可得到（过程略）

111???()[()]()B B X X R R X X R RB r ---*

''''=-- （2-54） 其中，?B

是无约束的OLS 估计量，有约束回归的残差为 将其转置，再与其自身相乘，有

再把式（2-54）的??B B *

-代入并化简得 11??''()[()]()E E E E RB r R X X R RB

r --**'''-=-- （2-55） 与式（2-46）相比，即

11??()[()]()~(,)'()

RB r R X X R RB r q F F q n k E E n k --'''--=-- （2-46） 中除q 外的分子完全相同，这就得到了检验假设0?:H RB

r =的统计量的“另一种形式”为

('')~(,)'()

E E E E q

F F q n k E E n k **-=-- （2-56） 这也恰好说明前面所述的6种检验的情形都可以用上述方式进行，即拟合一个有约束的回归，用有约束模型的残差平方和与无约束模型的残差平方和之差''E E E E **-的大小（或记为R U RSS RSS -）来推断原假设是否成立。就是说一般的线性假设情形都是06的特例，或者式（2-56）所示的F 统计量是普遍适应于一

般线性假设的一种重要检验方法。即

()~(,)()

R U U RSS RSS q F F q n k RSS n k -=-- （2-57） 其中，R RSS 和U RSS 分别是有约束模型和无约束模型的残差平方和,q 是约束条件个数。同时，这也回答了本小节开始的问题，即对于未知参数有约束限制的模型进行回归后的结果，与对无约束限制的模型回归后的参数检验的结果应该是一致的。

四、似然比检验（LR ）

由前述可知，在统计推断中，古典检验方法是建立在似然比的基础之上。由此可见似然比检验（LR ）的重要性（当然它的实用性也会在应用中显现出来）。奈曼认为（Neyman Pearson -，1928）LR 检验只适用于对线性约束的检验（在张晓峒教授的教科书里如此说，但这个说法可能存在偏颇。在Green 的第五版教科书里，描述LR 方法是可以用于非线性约束检验的）。该检验的基本思路是如果约束条件成立，则相应的约束模型与非约束模型的极大似然函数值应该是近似相等（以下简称似然函数）。

先看一个二元函数的简单例子，设

12233Y X X u βββ=+++ （1）

其对数似然函数为

22122331ln ln(2)()222

n n LF Y X X σπβββ=------∑ （2） 假设03:0H β=，则上式为

221221ln ln(2)()222

n n LF Y X σπββ=-----∑ （3） 式（3）是在线性约束（先验）下估计的，故称有约束对数似然函数（RLLF ），而式（2）称为无约束对数似然函数（ULLF ）。为了检验先验约束30β=的真实性，LR 检验使用如下统计量

2(1)22()2()~RLF LR L L RLLF ULLF ULF

λχ=-=-=-- （4）

式中，RLF ULF

λ=，ULF 为无约束似然函数，RLF 为有约束似然函数。可以证明，在大样本下，由式（4）给出的统计量LR 服从自由度为假设中约束条件个数的卡方分布。本例中线性约束只有一个，所以自由度为1。

LR 检验的基本思想是，如果先验约束是真实的，则有约束与无约束的对数似然函数不应有差异。这时，式（4）中的λ将为0。但如果先验约束不真，则两个对数似然函数必定相异。根据统计知识，在大样本下，LR 服从2χ分布，于是能找出这个差异在0.01α=或0.05α=上是否在统计上显着，同时根据p 值原理，还能计算出相应的p 值。

一般而言，似然比被定义为原假设下似然函数的最大值与无约束条件下似然函数的最大值的比率。前面我们得到了线性回归模型参数的极大似然估计量 它们在无约束条件下，使似然函数值最大化。把它们代入似然函数可得无约束的最大似然值（推导过程略）

22

??(,)(')n

L B E E σγ-= （2-58） 式中γ为一常数，γ与模型中的任何参数无关，'E E 是残差平方和。

另一方面，如果在约束条件RB r =下，使似然函数值最大化，令B %和2σ%为

有约束的参数估计值，2(,)L B σ%%是约束条件下的最大似然值；令?B

和2?σ是无约束的参数估计值，无约束的最大值为2??(,)L B

σ，则2(,)L B σ%%当然不会超过2??(,)L B σ，但如果约束条件“有效”，2(,)L B

σ%%应当“逼近”2??(,)L B σ，这就是似然比检验的基本思路（在有约束条件下，即模型中有没有出现的变量，其拟合效果与无约束条件下的模型拟合效果一样，只能说明有约束条件的模型好）。因此，定义似然比为

22(,)??(,)L B L B

σλσ=%% （2-59） 显然，01λ≤≤。如果原假设为真，我们认为λ的值会接近1。或者说，如果λ太

小，我们则应该拒绝原假设。似然比检验的建立就是要使得当k λ≤时，拒绝原假设。即0(0)P k H λα≤≤=（α为显着性水平）。在某些情况下，拒绝域{}k λ≤可以转化为含有我们熟知的t 统计量或F 统计量的形式。不过，普遍适用的是大样本检验。可以证明，对大样本来说，统计量

222??2ln 2ln (,)ln (,)()a

LR L B L B q λσσχ??=-=-??%%: （2-60） 具体地，如果LR 很大，则应拒绝原假设。即似然比检验的拒绝域为 {}2

1()LR q αχ-≥，其中21()q αχ-为卡方分布1α-下的临界值。

前面已得到无约束的最大似然值2??(,)L B

σ，为了保证LR 的计算，我们还需要计算出约束条件下的最大似然值2(,)L B

σ%%。为此，构建拉格朗日函数，使其最大化

式中的μ是1q ?的拉格朗日乘数向量，ln L 就是无约束的对数似然函数，可得约

束条件下的B %。由于，在正态性假定下，参数的极大似然估计量与最小二乘估计

量实际上是相同的，此时得到的B %就与上一小节所得到*

?B ，即与式（2-54）相同。残差为**?Y XB Y XB E -=-=%，而2σ的带约束的极大似然估计为2**'E E n

σ=%，因此

22**(,)(')n

L B E E σλ-=%% （2-61） 式中λ为常数。将式（2-58）和式（2-61）代入式（2-60），就得到了似然比检验统计量的另一种形式

**(ln 'ln ')LR n E E E E =- （2-62）

由此可见，计算LR 统计量需要分别拟合无约束模型和有约束模型。

事实上，前面讲的各种检验,如t 检验、F 检验，式（2-56）等都可以根据似然比原理推导出来。这说明似然比检验是统计检验的理论基础。

五、沃尔德检验（Wald ）

W 检验（Wald ，1943）适用于线性或非线性约束条件的检验，其优点是只需要估计出无约束模型，当约束模型的估计很困难时，该方法尤其适用。W 检验的原理是通过测量无约束估计量与约束估计量之间的距离来实现对约束条件的检验。

先看一个简单的例子，设模型为

检验线性约束条件23ββ=是否成立？W 检验只需对上述无约束模型进行估计，

因为对于约束估计量2β%和3

β%来说，必然有230ββ-=%%。如果约束条件成立，则无约束估计量23??ββ-应该近似为0。如果约束条件不成立，则无约束估计量23

??ββ-应该显着地不为0。

可以证明，在经典假定下，（23

??ββ-）渐进服从均值为23ββ-，方差为23??()Var ββ-的正态分布（注意这里数学上的表达习惯）。但通常23

??()Var ββ-里含有总体未知方差，故用23??()Var ββ-的样本估计量23

???()Var ββ-（此记号表明含有总体未知方差的估计），因此，定义W 统计量为

在线性约束条件成立的情况下，可以得到W 渐进服从(0,1)N 分布（注意这里是线性约束）。

更一般的情况（既包括线性，也包括非线性），由前述所知，OLS 估计量?B

服从正态分布推出了式（2-45）。这里，我们考虑MLE ?B

的渐近正态性，也能得到类似式（2-45）的结果，即

1212??()()()~()RB r R X X R RB r q σχ--''''??--??

（2-63） 其中，2σ是总体未知方差，q 是R 中约束条件个数。

用2σ的一致估计量2?'()E E n k σ

-=代替式中的2σ，渐近分布成立，或者说

大样本情形的W 统计量为

1122??()()()~()?a RB r R X X R RB r W q χσ--'''??--??

= （2-64）

类似于前面的式（2-56），上式的分子也可写为''E E E E **-。于是，W 统计量具有另一种形式，

2**('')~()'n E E E E W q E E

χ-= （2-65） 与LR 检验的情况一样，W 呈大样本卡方分布。如果W 的值大于卡方分布的α上

侧临界值2αχ，则拒绝原假设。而前面的式（2-56）也可归为Wald 检验类。

六、拉格朗日乘数检验（LM ）

LM 检验是由Aitchison Silvey -于1960年和Rao 于1948年分别提出来的。不同的是LM 检验只需估计有约束模型，当施加约束条件后的模型形式变得简单时，通常使用该检验。

设无约束模型的对数似然函数为

对于无约束模型的极大似然估计值?j

β有 若约束条件成立，则有约束条件下j β的极大似然估计值j

β%应与j β的无约束模型的极大似然估计值?j β非常接近，即ln 0j L β?=?%成立。LM 检验的原理是，如果ln j

L β??%显着的不为零，则约束条件不成立。LM 统计量定义为 其中，ln j L β??%是以ln j

L β??为元素组成的列向量，同时用j β%替换了j β，()I β%称为信息矩阵，其逆矩阵是j

β%的方差-协方差矩阵。在约束条件成立下，可以证明 其中，q 为约束条件个数。

●有关信息矩阵的定义。如果?θ

是θ的极大似然估计量，由大样本性或渐近

性，1?~(,())N I θ

θθ-，其中，()I θ信息矩阵（它表示了参数估计?θ的方差与协方差矩阵）的定义如下

在线性模型的极大似然估计中，可知信息矩阵为

它的逆矩阵为

在信息矩阵里，非对角线上为0的项表明?B

与2?σ是彼此独立分布的。这里应注意比较Wald 检验中的121()()I B X X σ--'=。

LM 检验主要依赖于对数似然函数及信息矩阵。记ln ()L S θθ

?=?，称()S θ为ln L 在θ处的得分向量（即在θ处的一阶偏导数）

。无约束估计量?θ的得分为?()0S θ=，而有约束估计量θ%的得分为()S θ

%，在约束条件有效的情况下，有()0S θ≈%。可以证明，得分向量()S θ的均值为零，方差－协方差矩阵为信息矩阵()I θ，于是二次型1()()()S I S θθθ-'服从自由度为q 的2χ分布。 所以，当大样本

时，在00:H θθ=下，利用有约束估计θ%可得统计量

a

12()()()~()LM S I S q θθθχ-'=%%% （2-66） 这时

用*E Y XB =-%和2**'E E n

σ=%代替上式的u 和2σ，以及RB r =%，可得*21()0X E S θσ??' ?= ? ???

%% 并考虑信息矩阵

将()S θ%和1()I θ-%代入式（2-66），得如下结果

'12****

'()'=()'~a nE X X X X E LM q E E χ- （2-67）

此时，我们只需计算有约束的估计量θ%，比较Wald 计算的是无约束的估计

量，在许多情况下计算有约束估计量比计算无约束估计量容易，所以LM 检验比较流行。

恩格尔(Engle ，1982)证明了对于大样本来说，LM 检验可分两步完成。第

一步，计算有约束的估计量B %，从而得到残差向量*E 。第二步，让*E 对所有的

变量X 回归，可得回归的可决系数2R 。式（2-67）的统计量就是如下结果

22~()LM nR q χ= （2-68）

给定显着性水平α，得临界值2αχ，当22nR αχ>时(n 为样本容量)，则拒绝原假设。

LM 检验方法实际上是从一个较简单的模型开始，检验是否可以增加新变量。首先，对简单模型(变量较少)回归，得到残差*E 。如果“真实”模型变量很多，则这些变量加入模型应对*E 有影响。其次，*E 对所有变量回归而得到的2R 的大小就将直接决定是否应该增加新变量，即约束RB r =是否成立。如果2R 很

大(22nR αχ>)，则说明新增变量对*E 有显着影响，即真实模型应含较多变量，或

者说对参数约束(比如某些j β=0)不成立。如果2R 较小(22nR αχ<)，则说明新增

变量对*E 没有显着影响，真实模型就应是变量较少的简单模型，即约束条件成立。这就是通常所说的“从一般到简单”的模型“约化”方法。

LM 检验的具体步骤如下：

1、用OLS 估计约束模型，计算残差序列i e 。

2、建立LM 辅助回归式

其中，v 为随机误差项，

3、用OLS 估计上式并计算可决系数2R 。

4、得到LM 统计量

5、给定显着性水平α，查卡方分布表，得临界值2()()q αχ，若LM >2()()q αχ， 则拒绝原假设，说明无约束模型成立。

七、LR 、Wald 和LM 的比较

（一）三种检验方法一致之处

1、三种检验方法都由极大似然估计而来。

2、三种检验方法都用到了对数似然函数。

3、三种检验方法都是针对模型约束条件进行检验。

（二）三种检验方法不一致之处

1、LR 检验只适用于线性约束的检验，LR 检验需要计算带约束和无约束的对数似然函数值。

2、Wald 检验和LM 检验既适用于线性约束也适用于非线性约束的检验。

3、Wald 检验只需要估计无约束的模型，而LM 检验只需要估计约束模型，所以，当施加约束条件后模型形式变得简单时，使用LM 检验更方便。

（三）三种检验方法的关系

对于LR 、Wald 和LM 三个检验方法的选择应以实际计算难易程度而定，一般来说，Wald 和LM 检验优于LR 检验，因为Wald 和LM 检验只需估计一个模型即可，而LR 检验需要估计有约束和无约束两种模型。并且，在小样本条件有 说明只有当LM 检验的结果为拒绝原假设（约束条件不成立），或者Wald 检验的结果为接受原假设（约束条件成立）时，三种检验结果才是一致的。所以，三种检验方法有可能得出相互不一致的结论。

总之，当LM 检验拒绝原假设时，其他检验也一样。当Wald 检验没有拒绝原假设时，其他检验也不会拒绝原假设。尽管在小样本时三个值可能有所不同，但在大样本情形，这三个检验近似相等。就计算而言，LR 检验最麻烦，其他两种还算简单。另外，在小样本情况下，并且约束条件为线性时，用F 检验比用这

三个检验更可靠。

（四）下面简要推导一下这三个检验统计量之间的着名不等式，即在线性回归模型时，对于小样本条件有如下关系成立

首先，表达式

可写为

**''ln(1)'E E E E LR n E E

-=+ （2-69） 将其按级数21ln(1)2

z z z +=-+L 的形式展开，便可得到LR W ≤。 其次，说明表达式

可写为

****

('')'n E E E E LM E E -= (2-70) 事实上，对于回归模型?Y XB

E =+的残差可表为 其中1()M I X X X X -''=-是一对称等幂矩阵，它具有性质0MX =，ME E =。而

对于满足约束条件*RB r =的有约束估计量*

?B 同样有**?E Y XB =-，从而*ME MY E ==(因为0MX =)，于是有

即1****'()''E X X X X E E E E E -''=-，这就得到了LM 的另一种表达式，即式（2-67）。

再次，LR 还可写为

****

''ln(1)'E E E E LR n E E -=-- （2-71） 同样按级数21ln(1)2

z z z -=---L 的形式展开，便可得到LR LM ≥，即最终，我们有W LR LM ≥≥。

参见（美）Jack Johnston & John Di Naido ，《计量经济学方法》，中国经济出版社，2002年，第146页-第149页。

下面给出的是一元线性回归离差形式i i i y x u β=+的三种检验的具体形式(0:0H β=)(推导过程要用到对数似然函数，但并不复杂，这里从略)。

上述三个式子对于大样本来说都服从自由度为1的卡方分布。就几何上而言，对

于一元回归的原假设00:H ββ=，LR 检验是基于?β和0

β之间的垂直距离 Wald 检验是基于?β和0

β之间的水平距离 式中，()I β是信息矩阵，此处为211?()(ar )ii c V σβ

--=)。 LM 检验则是基于对数似然函数在0β处的斜率，得分函数是对数似然的导

数，2100()()LM s I ββ-=

0()s β为在0β处的得分，而每一个检验都很好地度量了原假设与备择假设之间的“距离”。

现将三种检验方法的要点内容列表如下：