多元线性回归模型的各种检验方法

对多元线性回归模型的各种检验方法

对于形如

u X X X Y k k +++++=ββββ 22110 （1） 的回归模型，我们可能需要对其实施如下的检验中的一种或几种检验：

一、 对单个总体参数的假设检验：t 检验

在这种检验中，我们需要对模型中的某个（总体）参数是否满足虚拟假设0

H ：j j a =β，做出具有统计意义（即带有一定的置信度）的检验，其中j a 为某个给定的已知数。特别是，当j a =0时，称为参数的（狭义意义上的）显著性检验。如果拒绝0H ，说明解释变量j X 对

被解释变量Y 具有显著的线性影响，估计值j β?才敢使

用；反之，说明解释变量j X 对被解释变量Y 不具有显

著的线性影响，估计值j β?对我们就没有意义。具体检验

方法如下：

（1） 给定虚拟假设 0H ：j j a =β；

（2） 计算统计量 )?(?)?()(?j

j j j j j Se a Se E t βββββ-=-= 的数值； 11?)?(++-==j j jj jj j C C Se 1T X)(X ，其中σβ

（3） 在给定的显著水平α下（α不能大于1.0即 10%，也即我们不能在置信度小于90%以下的前提下做结论），查出双尾t （1--k n ）分布的临界值2/αt ；

（4） 如果出现 2/αt t >的情况，检验结论为拒绝

0H ；反之，无法拒绝0H 。

t 检验方法的关键是统计量 )?(?j j

j Se t βββ-=必须服从已

知的t 分布函数。什么情况或条件下才会这样呢？这需要我们建立的模型满足如下的条件（或假定）：

（1） 随机抽样性。我们有一个含n 次观测的随机样(){}n i Y X X X i ik i i ,,2,1:,,,,21 =。这保证了误差u 自身的随机性，即无自相关性，

0))())(((=--j j i i u E u u E u Cov 。

（2） 条件期望值为0。给定解释变量的任何值，误

差

u 的期望值为零。即有

0),,,(21=k X X X u E

这也保证了误差u 独立于解释变量X X X ,,,21 ，即模型中的解释变量是外生性的，也使得0)(=u E 。

(3） 不存在完全共线性。在样本因而在总体中，没有一个解释变量是常数，解释变量之间也不存在严格的线性关系。

（4） 同方差性。常数==2

21),,,(σk X X X u Var 。

（5） 正态性。误差u 满足 ),0(~2σNormal u 。 在以上5个前提下，才可以推导出：

1

~)?(/)?()1,0(~)?(/)?()]?(,[~?----k n j j j j

j j j

j j t Se N Sd Var N βββββββββ

由此可见，t 检验方法所要求的条件是极为苛刻的。

二、 对参数的一个线性组合的假设的检验

需要检验的虚拟假设为 0H ：2

1j j ββ=。比如21ββ=无 法直接检验。设立新参数211ββθ-=。 原虚拟假设等价于0H ：01=θ。将211βθβ+=代入原模型后

得出新模型：

u X X X X Y k k ++++++=ββθβ )(212110 （2）

在模型（2）中再利用t 检验方法检验虚拟假设0

H ：01=θ。 我们甚至还可以检验这样一个更一般的假设 C H k k =+++=βλβλβλ 11000:λβ t 统计量为 )1(~?2---=

-k n t Se t T λX)λ(X λββλ1T

三、 对参数多个线性约束的假设检验：F 检验

需要检验的虚拟假设为 0H ：

0,,,021==+-+-k q k q k βββ 。

该假设对模型（1）施加了q 个排除性约束。模型（1）在该约束下转变为如下的新模型：

u X X X Y q k q k +++++=--ββββ 22110 （3） 模型（1）称为不受约束（ur ）的模型，而模型（3）称为受约束（r ）的模型。模型（3）也称为模型（1）的嵌套模型，或子模型。分别用OLS 方法估计模型（1）和（2）后，可以计算出如下的统计量：

())1/(/---=k n RSS q RSS RSS F ur ur r

关键在于，不需要满足t 检验所需要的假定（3），统计量F 就满足：1,~--k n q F F 。利用已知的F 分布函数，

我们就可以拒绝或接受虚拟假设 0H ：

0,,,021==+-+-k

q k q k βββ 了。所以，一般来讲，F 检验比t 检验更先使用，用的

更普遍，可信度更高。利用关系式)1(2r r R TSS RSS -=，

)1(2ur ur R TSS RSS -=，F 统计量还可以写成：

())1/()1(/222----=k n R q R R F ur r ur

四、 对回归模型整体显著性的检验：F 检验

需要检验的虚拟假设为 0H ：0,,,021==k βββ 。相当于前一个检验问题的特例，k q =。嵌套模型变为 u Y +=0β。02

=r R ，TSS RSS r =，22R R ur =。F 统计量变为： )

1/(/)

1/()1(/22--=---=k n RSS k ESS k n R k R F 五、 检验一般的线性约束

需要检验的虚拟假设比如为 0H ：

0,,,121==k βββ 。受约束模型变为：

u X Y ++=10β

再变形为：u X Y +=-01β。F 统计量只可用：

())1/(/---=k n RSS q RSS RSS F ur ur r 其中，

[][]∑∑---=---==-211211)()()()(1X X Y Y X Y X Y TSS RSS i i i i X Y r 。

六、 检验两个数据集的回归参数是否相等：皱（至庄）检验

虚拟假定是总体回归系数的真值相等。步骤如下：

（1） 基于两组样本数据，进行相同设定的回归，将二

者的RSS 分别记为1RSS 和2RSS 。

（2） 将两组样本数据合并，基于合并的样本数据，进行相同设定的回归，将回归的RSS 记为T RSS 。

（3） 计算下面的F 统计量：

)22/()()1/()(212121--+++--=k n n RSS RSS k RSS RSS RSS F T （4） 如果αF F ≥，拒绝原假定。

七、 非正态假定下多个线性约束的大样本假设检验：LM （拉格郎日乘数）检验

F 检验方法需要模型（1）中的u 满足正态性假定。 在不满足正态性假定时，在大样本条件下，可以使用LM 统计量。虚拟假设依然是0H ：0,,,021==+-+-k q k q k βββ 。LM 统计量仅要求对受约束模型的估计。具体步骤如下：

（ⅰ）将Y 对施加限制后的解释变量进行回归，并保留残差u ~。即我们要进行了如下的回归估计

u X X X Y q k q k ~~~~~22110+++++=--ββββ （ⅱ）将u ~对所有解释变量进行辅助回归，即进行如下回归估计 εαααα?????~22110+++++=k k X X X u

并得到R-平方，记为

2u R 。 （ⅲ）计算统计量 2u nR LM =。 （ⅳ）将LM 与2

q χ分布中适当的临界值c 比较。如

果c LM >，就拒绝虚拟假设0H ；否则，就不能拒绝虚拟

假设0H 。

八、 对模型函数形式误设问题的一般检验：RESET

如果一个多元回归模型没有正确地解释被解释变量与所观察到的解释变量之间的关系，那它就存在函数形式误设的问题。误设可以表现为两种形式：模型中遗漏了对被解释变量有系统性影响的解释变量；错误地设定了一个模型的函数形式。在侦察一般的函数形式误设方面，拉姆齐（Ramsey ，1969）的回归设定误差检验（regression specilfication error test , RESET ）是一种常用的方法。RESET 背后的思想相当简单。如果原模型（1）满足经典假定（3），那么在模型（1）中添加解释变量的非线性关系应该是不显著的。尽管这样做通常能侦察出函数形式误设，但如果原模型中有许多解

释变量，它又有使用掉大量自由度的缺陷。另外，非线性关系的形式也是多种多样的。RESET 则是在模型（1）中添加模型（1）的OLS 拟合值的多项式，以侦察函数形式误设的一般形式。

为了实施RESET ，我们必须决定在一个扩大的回归模型中包括多少个拟合值的函数。虽然对这个问题没有正确的答案，但在大多数应用研究中，都表明平方项和三次项很有用。令Y ?表示从模型（1）所得到的OLS 估计值。考虑扩大的模型

εδδββββ+++++++=322122110??Y Y X X X Y k k （4）

这个模型看起来有些奇怪，因为原估计的拟合值的函数现在却出作为解释变量出现。实际上，我们对模型（4）的参数估计并不感兴趣，我们只是利用这个模型来检验模型（1）是否遗漏掉了重要的非线性关系。记住，2?Y 和3?Y

都只是j X 的非线性函数。 对模型（4），我们检验虚拟假设0,0:210==δδH 。这时，

模型（4）是无约束模型，模型（1）是受约束模型。计算F 统计量。需要查3,2--k n F 分布表。拒绝0

H ，模型（1）

存在误设，否则，不存在误设。

九、利用非嵌套模型检验函数形式误设

寻求对函数形式误设的其他类型（比如，试图决定某一解释变量究竟应以水平值形式还是对数形式出现）作出检验，需要离开经典假设检验的辖域。有可能要相对模型

εββββ+++++=)log()log()log(22110k k X X X Y （5） 检验模型（1），或者把两个模型反过来。然而，它们是非嵌套的，所以我们不能仅使用标准的F 检验。有两种不同的方法。

一种方法由Mizon and Richard (1986)提出，构造一个综合模型，将每个模型作为一个特殊情形而包含其中，然后检验导致每个模型的约束。对于模型（1）和模型（5）而言，综合模型就是

++++=k k X X Y γγγ 110μγγ++++++)log()log(11k k k k X X （6）

可以先检验0,,0:10==++k k k H δγ ，作为对模型（1）的检验。也

可以通过对检验0,,0:10==k

H δγ ，作为对模型（5）的检验。

另一种方法由Davison and MacKinnon (1981)提出。认为，如果模型（1）是正确的，那么从模型（5）得到的拟合值在模型（1）中应该是不显著的。因此，为了检验模型（1）的正确性，首先用OLS 估计模型（5）以得到拟合值，并记为Y ??。在新模型

μθββββ++++++=Y X X X Y k k ??122110 （7） 中计算Y ??的t 统计量，利用t 检验拒绝或接受假定0:10=θH 。显著的t 统计量就是拒绝模型（1）的证据。类似的，为了检验模型（5）的正确性，首先用OLS 估计模型（1）以得到拟合值，并记为Y ??。在新模型

μθββββ++++++=Y X X X Y k k ??)log()log()log(122110 （8） 中计算Y ??的t 统计量，利用t 检验拒绝或接受假定0:10=θH 。 以上两种检验方法可以用于检验任意两个具有相同的被解释变量的非嵌套模型。

非嵌套检验存在一些问题。首先，不一定会出现一个明显好的模型。两个模型可能都被拒绝，也可能没有一个被拒绝。在后一种情形中，我们可以使用调整的R-平方进行选择。如果两个模型都被拒绝，则有更多的工

作要做。不过，重要的是知道使用这种或那种函数形式的后果，如果关键性解释变量对被解释变量的影响没有多大差异，那么使用那个模型实际上并不要紧。

第二个问题是，比如说使用Davison and MacKinnon 检验拒绝了模型（5），这并不意味着模型（1）就是正确的模型。模型（5）可能会因为多种误设的函数形式而被拒绝。

一个更为可能的问题是，在解释变量不同的模型之间进行比较时，如何实施非嵌套检验。一个典型的情况是，一个解释变量是Y，一个解释变量是)

log(Y。使用调整的R-平方进行比较，需要小心从事。