异方差与自相关

七、 异方差与自相关

一、背景

我们讨论如果古典假定中的同方差和无自相关假定不能得到满足，会引起什么样的估计问题呢？另一方面，如何发现问题，也就是发现和检验异方差以及自相关的存在性也是一个重要的方面，这个部分就是就这个问题进行讨论。

二、知识要点

1、引起异方差的原因及其对参数估计的影响

2、异方差的检验（发现异方差）

3、异方差问题的解决办法

4、引起自相关的原因及其对参数估计的影响

5、自相关的检验（发现自相关）

6、自相关问题的解决办法 （时间序列部分讲解） 三、要点细纲

1、引起异方差的原因及其对参数估计的影响

原因：引起异方差的众多原因中，我们讨论两个主要的原因，一是模型的设定偏误，主要指的是遗漏变量的影响。这样，遗漏的变量就进入了模型的残差项中。当省略的变量与回归方程中的变量有相关关系的时候，不仅会引起内生性问题，还会引起异方差。二是截面数据中总体各单位的差异。

后果：异方差对参数估计的影响主要是对参数估计有效性的影响。在存在异方差的情况下，OLS 方法得到的参数估计仍然是无偏的，但是已经不具备最小方差性质。一般而言，异方差会引起真实方差的低估，从而夸大参数估计的显著性，即是参数估计的t 统计量偏大，使得本应该被接受的原假设被错误的拒绝。

2、异方差的检验 （1）图示检验法

由于异方差通常被认为是由于残差的大小随自变量的大小而变化，因此，可以通过散点图的方式来简单的判断是否存在异方差。具体的做法是，以回归的残差的平方2i e 为纵坐标，回归式中的某个解释变量i x 为横坐标，画散点图。如果散点图表现出一定的趋势，则可以判断存在异方差。

（2）Goldfeld-Quandt 检验

Goldfeld-Quandt 检验又称为样本分段法、集团法，由Goldfeld 和Quandt 1965年提出。这种检验的思想是以引起异方差的解释变量的大小为顺序，去掉中间若干个值，从而把整个样本分为两个子样本。用两个子样本分别进行回归，并计算残差平方和。用两个残差平方和构造检验异方差的统计量。

Goldfeld-Quandt 检验有两个前提条件，一是该检验只应用于大样本（n>30），并且要求满足条件：观测值的数目至少是参数的二倍； 二是除了同方差假定不成立以外，要求其他假设都成立，随机项没有自相关并且服从正态分布。Goldfeld-Quandt 检验假设检验设定为：H 0:具有同方差， H 1:具有递增型异方差。具体实施步骤为：

①将观测值按照解释变量x 的大小顺序排列。

②将排在中间部分的c 个（约n/4）观测值删去，再将剩余的观测值分成两个部分，每个部分的个数分别为n 1、n 2。

③分别对上述两个部分的观测值进行回归，得到两个部分的回归残差平方和。 ④构造F 统计量2

22111()()

e e n k F e e n k '-=

'-，其中 k 为模型中被估参数个数。在H 0成立条

件下，21(,)F F n k n k -- ⑤判别规则如下，

若 F ≤ F α (n 2 - k , n 1 - k ), 接受H 0（具有同方差） 若 F > F α(n 2 - k , n 1 - k ), 拒绝H 0（递增型异方差）

注意：

① 当摸型含有多个解释变量时，应以每一个解释变量为基准检验异方差。 ② 此法只适用于递增型异方差。

（3）Breusch －Pagan/Godfrey LM 检验

该方法的基本思想是构造残差平方序列与解释变量之间的辅助函数，得到回归平方和ESS ，从而判断异方差性存在的显著性。该检验假设异方差的形式为：220()i f σσα'=+i αz 其中i z 是解释变量构成的向量，当=α0时，模型是同方差的。 具体设模型为：

表示是某个解释变量或全部。

同样，该检验也可以通过一个简单的回归来实现。提出原假设

为 ， 具体步骤如下：

012345670

50

100

150

200

X Y Y

12233i i i k ik i Y u ββββ=+X +X +???+X +201122var()i i i i p ip i u v σαααα==+Z +Z +???+Z +12,,p Z Z ??????Z 012:0p αααH ==???==

①构造变量2

()

i e n 'e e ：用OLS 方法估计方程中的未知参数，得

和 （n 为样本容量） ②以2()i e n 'e e 为被解释变量，i z 为解释变量进行回归，并计算回归平方和ESS 。

构造辅助回归函数

③构造LM 统计量为：LM ＝1

2

ESS

当有同方差性，且n 无限增大时有 ④对于给定显著性水平 ，如果2

()2

ESS p αχ>，则拒绝原假设，表明模型中存在异方差。

为了计算的简便，LM 统计量的构造也可以采取如下形式：

1

[]2

LM '''=-1g Z(Z Z)Z g

其中，Z 是关于(1,)i z 的n P ?观测值矩阵, g 是观测值2

1()i i e g n =-'e e 排成的列向

量。由于上述统计量的构造过分依赖于残差的正态性假定，因此，Koenker 和Bassett 对该统计量进行了修正，令

2

2

1

1()n i i V e n n ='??=-??∑e e u ()n '=e e 则1()LM V ??

'''=????

-1u -u)Z(Z Z)Z (u -u

（4）White 检验

White 检验由H. White 1980年提出。和Goldfeld-Quandt 检验相比，White 检验不需要对观测值排序，也不依赖于随机误差项服从正态分布，它是通过一个辅助回归式构造 χ2 统计量进行异方差检验。White 检验的提出避免了Breusch-Pagan 检验一定要已知随机误差的方差产生的原因且要求随机误差服从

122???i i i k ik e Y βββ=--X -???-X 2

2?i e n

σ

∑=2

011222?i i i p ip i

e v αααασ=+Z +Z +???+Z +2

~2p ESS χα

正态分布。White 检验与Breusch-Pagan 检验很相似，但它不需要关于异方差的任何先验知识，只要求在大样本的情况下。

White 的检验的思想直接来源于其异方差一致估计。当存在异方差时，传统的方差估计式21(|)()Var b X X X σ-'=不再是估计量方差的一致估计，而应该使用White 一致性估计：21()n

i i i i e =''∑-1-1(X X)(X X)x 'x 。通过检验21()X X σ-'是不是参数估计方差的一致估计，可以检验是否存在异方差。在实际的应用过程中，可以通过回归的步骤来简单的实现上述思想。以二元回归模型y i = β0 +β1 x i 1 +β2 x i 2 + u i 为例，White 检验的具体步骤如下： ①首先对上式进行OLS 回归，求残差平方2i e 。 ②做如下辅助回归式，

2i e = α0 +α1 x i 1 +α2 x i 2 + α3 x i 12 +α4 x i 22 + α5 x i 1 x i 2 + v i 即用残差平方2i e 对原回归式中的各解释变量、解释变量的平方项、交叉乘积项进行OLS 回归。注意，上式中要保留常数项。求辅助回归式的可决系数R 2。 ③White 检验的原假设和备择假设是

H 0：u i 不存在异方差， H 1：u i 存在异方差

④利用回归②得到的2R ，计算统计量2nR 。在同方差假设条件下，统计量 nR 2 ~ χ 2(5)

其中n 表示样本容量，R 2是辅助回归式的OLS 估计的可决系数。自由度5表示辅助回归式中解释变量项数（注意，不计算常数项）。n R 2属于LM 统计量。统计量2nR 渐进服从自由度为1k -的卡方分布，其中k 是辅助回归中参数的个数（包括常数项）。 ⑤判别规则是

若 n R 2 ≤ χ2α (5), 接受H 0（u i 具有同方差） 若 n R 2 > χ2α (5), 拒绝H 0（u i 具有异方差）

（5）ARCH 检验

自回归条件异方差（ARCH ）检验主要用于检验时间序列中存在的异方差。ARCH 检验的思想是，在时间序列数据中，可认为存在的异方差性为ARCH 过程，并通过检验这一过程是否成立来判断时间序列是否存在异方差。 ARCH 过程可以表述为：

222011t t p t p t v σαασασ--=++++

其中p 是ARCH 过程的阶数，并且00α>，0,(1,2,)i i p α≥= ；t v 为随机误差。 ARCH 检验的基本步骤如下： ①提出假设：

012:0;p H ααα=== 1:(1,2,)j H j p α= 中至少一个不为零。

②对原模型做OLS 估计，求出残差t e ，并计算残差平方序列2(1,2,)t e t T = ，分别作为对2t σ的估计。 ③作辅助回归

222011???t t p t p e e e α

αα--=+++ 并计算上式的可决系数2R ，可以证明，在原假设成立的情况下，基于大样本，有2()T p R -近似服从自由度为p 的卡方分布。如果22()()T p R p αχ->，则拒绝原假设，表明原模型的误差项存在异方差。

（6）Park 检验法

Park 检验法就是将残差图法公式化，提出 是解释变量 的某个函数，然后通过检验这个函数形式是否显著，来判定是否具有异方差性及其异方差性的函数结构。

（7）Glejser 检验法

这种方法类似于Park 检验。首先从OLS 回归取得残差 i e 之后，用 i e 的绝对值对被认为与方差密切相关的X 变量作回归。

3、异方差的解决办法 （详细见板书）

对异方差的传统解决办法是通过加权最小二乘WLS 将残差向同方差转换。一般认为，异方差的产生是由于残差项中包含了解释变量的相关信息，也就是说，可以将残差项e 表达成解释变量x 的函数：

2

i σi x

()e g x =

其中x 是1k ?的向量，()g

可以是关于x 的线性函数，也可以是非线性的。如果知道()g x 的函数形式，那么可以通过加权最小二乘的方法对模型进行修正，在

不存在自相关的假定下，在回归方程()y f x ε=+两边同乘以可以对残

差进行修正，从而消除残差的异方差性使得OLS 估计量仍然具有有效性。但是，

这样的方法却有两个方面的问题——首先，是()g

的形式难以确定（为了简便，我们往往假设()g

是关于x 的线性函数，但实际上真实的函数形式很可能是非线性的），从而相应的WLS 的权重设定也就往往是不正确的了；其次，即使知道()g x 的真实函数形式，通过加权得出的参数估计也已经不是原来的关注参数了；最后，在强外生性条件(|)0E x ε=不满足的条件下，WLS 估计量也往往是不一致的。 因此，从现代的观点来看，从模型设定的角度对异方差进行修正才是可行的方法。

4、引起自相关的原因及其对参数估计的影响 引起自相关的原因主要可以归纳为三点：

①经济数据的固有的惯性（inertia ）带来的相关，比如经济系统自身的惯性，经济活动的滞后效应。这主要出现在时间序列数据当中，经济变量在时间上的惯性往往是造成自相关的主要原因。滞后效应指的是某一经济变量对另一经济变量的影响不仅影响于当期，而是延续若干期，由此带来变量的自相关。

②模型的设定误差，主要仍然是遗漏变量的影响，将遗漏的变量归入了残差项，由于遗漏的变量在不同时间点上是相关的，这就造成了残差项的自相关。 ③对数据的处理造成了数据的内在联系，从而引起自相关现象。

自相关对参数估计的影响仍然是影响参数估计的有效性，自相关的存在使得OLS 得到的参数估计不再具有最小方差性质。一般而言，在存在自相关的情况下，如果仍然用满足古典假定的OLS 去估计参数及其方差，会低估真实的2σ，更会低估参数估计的方差，从而是t 统计量被高估，致使原来不显著的解释变量变得显著，夸大的参数的显著水平。

5、自相关的检验

（1）图示检验

图示检验是一种直观的检验自相关的方法。与上述检验异方差的方法略有不同的是，该方法是通过做残差的当期值与其滞后期的值的散点图来判断是否存在自相关。具体做法是，以OLS回归的残差当期值为纵坐标，以其滞后值为横坐标（可以是滞后一期，也可以是滞后一期以上）画散点图。如果该图形有明显的趋势，则可以认为残差存在自相关。

（2）相关系数检验法

相关系数的方法是检验自相关的一个简单方法。其基本思想就是通过计算OLS 回归得到的残差之间的一阶自相关系数，来确认是否存在自相关的现象。具体表示如下：

t t e y '=-t x b 做辅助回归

1t t t e re v -=+

2

11

21

T T

t t t t t r e e e

--==??= ???

∑∑

显然，r 是对相关系数的一个估计。但是这个方法的问题是：没有一个确定的标准来判断究竟多大的相关悉数才能认为存在自相关。

（3）Breusch －Godfrey LM 检验

Breusch －Godfrey LM

检验的原假设是不存在自相关，备择假设是存在自相

关1:()t H AR p ε=。 基本步骤如下： ①提出假设：

012:0;p H ρρρ=== 1:(1,2,)j H j p ρ= 中至少一个不为零。 其中p 是阶数。

②对原模型做OLS 估计，求出残差t e (1,2,)t T = 。 ③作辅助回归

011t t p t p t e e e v ρρρ--=++++

并得到上面回归的可决系数2R ，可以证明，在原假设成立的情况下，基于大样本，有2()T p R -近似服从自由度为p 的卡方分布。拒绝原假设，则表明原模型的误差项存在自相关。

（4）Pierce —Box 检验和Ljung-Box 检验

Q 统计量最早由Box 和Pierce 于1970年提出，其计算表达式为：

21P

j j Q T r ==∑

其中，1

21

T

t t j

t j j T

t

t e e r e

-=+==

∑∑。Q 统计量服从自由度为P 的卡方分布。为了使该统计量具

有更加优良的小样本性质，Ljung 和Box 于1979年对其进行了改进。改进后的统计量其表达形式为：

21

(2)P

j j r Q T T T j

==+-∑

（5）Durbin －Watson 检验

DW 统计量是用OLS 回归的残差来构造检验自相关的统计量的。可以表述如下：

2

22

1

2

1221

1

()2(1)T

t

t t T

T

T

t

T

t t e e

e e d r e

e

-===-+=

=--

∑∑∑

其中，r 是一阶自相关系数。当样本量很大的时候，上式中的第二项可以忽略，此时统计量变成2(1)d r ≈-。DW 检验有两个临界值U d 和L d ()U L d d >，当统计量的值落在两个临界值中间时，接受原假设，认为不存在自相关。当统计量的值临界值大于U d 或者小于L d 时，均认为存在自相关。

使用DW 统计量对自相关进行检验需要注意该统计量的使用条件。一是该统计量只能检验一阶自相关，不能检验高阶的自相关；二是该检验要求回归式中不能包含有解释变量的滞后值，否则计算得到的统计量总是倾向于得出没有自相关的结论。

（6）Durbin H 检验

Durbin H 检验克服了DW 检验要求回归式中不含有被解释变量的滞后项的缺点，其构造的统计量可以表示如下：

h =其中2

c s 是OLS 回归中1t y -回归系数的方差。h 的值越大，越倾向于拒绝原假

设，即认为存在自相关。当21c s T >时，该统计量无法计算，此时可以使用辅助

回归的做法进行检验。具体步骤如下：

①t e 对11,,t t y e --t x 进行回归，解释变量可以包括t e 更多的滞后期值。 ②利用F 检验检验该回归方程的显著性。 ③若F 统计量显著，则认为存在自相关。

四、思考题

1、由最小二乘回归得到如下回归结果：

11.30.97 2.31, 1.21t t t y y x DW -=++= （0.3）（0.18）（1.04） 检验残差序列是否存在自相关。

2、阐述异方差检验的White 检验和Goldfeld －Quandt 检验的思想和具体操作。

小结：

Goldfeld-Quandt 方法检验异方差性的基本思路。

若已知：前一段回归得到1RSS ，后一段回归得到的2RSS ，()

()

2211RSS n k F RSS n k -=

-。它服从自

由度为()21,n k n k --的F 分布，若大于临界值，拒绝原假设，认为模型存在异方差。