多重共线性

计量经济学 Econometrics
主讲人：刘芳
liufang@
线性回归模型的基本假设
（ 1）解释变量 X是确定性变量，不是随机变量； （ 2）随机误差项具有０均值和同方差正态分布: E( i)=0 i=1,2, …,n Var ( i)=2 i=1,2, …,n

中，至少有一列向量可由其他列向量（不包 括第一列）线性表出。
例如，X2=X1，这时X1与X2的相关系数 为1，解释变量X2对因变量的作用完全可由 X1代替。 注意： 完全共线性的情况并不多见，一般出现的 是在一定程度上的共线性，即近似共线性。
2、产生多重共线性的主要原因
（ 1 ）经济变量相关的共同趋势
I~N(0, 2 ) i=1,2, …,n （ 3）随机误差项在不同样本点之间是独立的， 不存在序列相关： Cov( i, j)=0 i ≠j i,j= 1,2, …,n
（ 4）随机误差项与解释变量之间不相关：
Cov(Xi, i)=0 i=1,2, … ,n (5) 各解释变量之间互不相关
基本假定违背
不满足基本假定的情况，称为基本假 定违背。主要包括：
(1)序列相关性 随机项序列不是同方差的 (2)自相关性 随机项序列存在序列相关性 (3)多重共线性 解释变量之间存在线性相关性 (4)随机解释变量 解释变量不是固定性变量，而是随机性变量
计量经济检验
在进行计量经济的回归分析时， 必须对所研究对象是否满足OLS下 的基本假定进行检验，即检验是否 存在一种或多种违背基本假定的情 况，这种检验称为计量经济检验。
二、多重共线性的后果
1 、完全共线性下参数估计量不存在 2 、近似共线性下普通最小二乘法参数估 计量非有效
3 、参数估计量经济含义不合理
4 、变量的显著性检验失去意义 5 、模型的预测功能失效
计量经济学模型一旦出现多重共线性， 如果仍采用OLS法估计模型参数，会产生 下列不良后果： 1、完全共线性下参数估计量不存在
ˆ ) 当完全共线时， r 2 =1， var( 1
3、参数估计量经济含义不合理
如果模型中两个解释变量具有线性相关 性，例如 X1 和 X2 ，那么它们中的一个变量 可以由另一个变量表征。 这时，X1 和X2前的参数并不反映各自与 被解释变量之间的结构关系，而是反映它们 对被解释变量的共同影响。 所以各自的参数已经失去了应有的经济 含义，于是经常表现出似乎反常的现象，例 如本来应该是正的，结果恰是负的。
（2）滞后变量的引入
在经济计量模型中，往往需要引入滞 后经济变量来反映真实的经济关系。 例如，消费=f(当期收入, 前期收入） 显然，两期收入间有较强的线性相关性。
（3）样本资料的限制
由于完全符合理论模型所要求的样本数 据较难收集，在现有数据条件下，特定样本 可能存在某种程度的多重共线性。 一般经验告诉我们： 对于采用时间序列数据作样本、以简单 线性形式建立的计量经济学模型，往往存在 多重共线性。 以截面数据作样本时，问题不那么严重， 但多重共线性仍然可能是存在的。
四、克服多重共线性的方法
如果模型被检验证明存在多重共线性，则 需要发展新的方法估计模型，最常用的方法有 三类。 1 、第一类方法：排除引起共线性的变量 找出引起多重共线性的解释变量，将它排除 出去，是最为有效的克服多重共线性问题的 方法。以逐步回归法得到最广泛的应用。
注意：
剩余解释变量参数的经济含义和数值都发生了变化。
(2) 对多个解释变量的模型，采用综合统计检验法
若 在OLS 法下，模型的R2与F值较大，但各参数估 计值的t 检验值较小，说明各解释变量对Y的联合 线性作用显著，但各解释变量间存在共线性而使得 它们对Y的独立作用不能分辨，故t检验不显著。
2、判明存在多重共线性的范围
如果存在多重共线性，需进一步确定究 竟由哪些变量引起。 (1) 判定系数检验法
如果存在 c1X1i+c2X2i+…+ckXki+vi=0 i=1,2,…,n (2.6.3) 其中 ci 不全为0 ， vi 为随机误差项，则称为一般 共线性(近似共线性)
在矩阵表示的线性回归模型 Y=XB+N 中，完全共线性指：秩(X)<k+1，即矩阵
1 X 11 1 X 12 X 1 X 1n X 21 X k1 X 22 X k 2 X 2 n X kn
ˆ ) 2 ( XX) 1 Cov(
可见，由于此时|X’X|0，引起(X’X) -1主 对角线元素较大，从而使参数估计值的方 差增大，OLS参数估计量非有效。
ˆ 为例， ˆ 的方差为 仍以一元模型中 1 1
ˆ ) 2 ( X X ) 1 var( 1 11
多重共线性
Multi-Collinearity
多重共线性---Multi-Collinearity
一、多重共线性的概念 二、多重共线性的后果 三、多重共线性的检验 四、克服多重共线性的方法 五、案例 六、分部回归与多重共线性

一、多重共线性的概念
1. 多重共线性
2 、产生多重共线性的主要原因
2 2 2 x x ( x x ) 1i 2i 1i 2i 2 2 x2 i
1 ( x1i x 2i ) 2
2 / x12i
2 2 x x 1i 2i
x 恰为 1 与 x 2 的线性相 关系数 的平 x x
2 1i 2 2i
( x1i x 2i ) 2
另一等价的检验是: 在模型中排除某一个解释变量Xj， 估计模型，如果拟合优度与包含Xj时 十分接近，则说明Xj与其它解释变量 之间存在共线性。
(2)逐步回归法 以Y为被解释变量，逐个引入解释变量， 构成回归模型，进行模型估计。 根据拟合优度的变化决定新引入的变量 是否可以用其它变量的线性组合代替，而 不作为独立的解释变量。 如果拟合优度变化显著，则说明新引入 的变量是一个独立解释变量； 如果拟合优度变化很不显著，则说明新 引入的变量不是一个独立解释变量，它可 以用其它变量的线性组合代替，也就是说 它与其它变量之间存在共线性关系。
1 2 2 r r 方 ，由于 1，故 1 r 2
1
。
ˆ ) 2 / x2 当完全不共线时，r =0， var( 1i 1
2
当不完全共线（近似共线）时，0 r
2 1 ˆ ) var( 1 2 2 2 x 1 r x 1i 1i
2
1
，
2
1i i 1i 2i i 2 2i 2 1i 1i 2 i 1i
2i

2i
2 2i
x y x y x x
1i i 1i 2 1i 2 1i
i
x12i 2 x12i
x12i 2 x12i

0 0
ˆ 为不定式； 1
ˆ 也为不定式，其值无法确定。 同理， 2
多元线性模型
Y X
的普通最小二乘参数估计量为：
( X X ) 1 X Y
(2.6.4)
如果存在完全共线性，则(X’X) -1不存在，无法得 到参数的估计量。
例如：对一个离差形式的二元回归模型
y 1 x1 2 x 2
如果两个解释变量完全相关，如 x 2 x1 ，则有
使模型中每一个解释变量分别以其余解释变 量为解释变量进行回归计算，并计算相应的拟合 优度，也称为判定系数。如果在某一种形式 Xji=1X1i+2X2i+LXLi
中判定系数较大，则说明在该形式中作为被解释 变量的 Xj可以用其他 X 的线性组合代替，即 Xj 与 其他X之间存在共线性。
等价的检验是对上述回归方程作F检验。
该回归模型的正规方程为 ˆ X Y ( X X)B 或
2 ˆ ˆ x 1 1i 2 x1i x 2 i x1i y i
2 ˆ ˆ x x x 1 2 i 1i 2 2i x 2i y i
解该 x x x y x x x x x x x
1、多重共线性
对于模型 Yi= 0+ 1X1i+2X2i++kXki+i i=1,2,…,n (2.6.1) 其基本假设之一是解释变量x1,x2,---xk 是互相独立的。
如果某两个或多个解释变量之间出现了相 关性，则称为多重共线性(Multicollinearity)。
如果存在 c1X1i+c2X2i+…+ckXki=0 i=1,2,…,n (2.6.2) 其中: ci不全为0，即某一个解释变量可以用 其它解释变量的线性组合表示，则称为解释变 量间存在完全共线性。
即：多重共线性使参数估计值的方差增 大，方差扩大因子(Variance Inflation Factor) 为1/(1-r2)，其增大趋势见下表：
相关系 数平方 方差扩 大因子 0 1 0.5 2 0.8 5 0.9 10 0.95 0.96 0.97 0.98 0.99 0.999 20 25 33 50 100 1000
由于多重共线性表现为解释变量之间具 有相关关系，所以用于多重共线性的检验 方法主要是统计方法：如判定系数检验法、 逐步回归检验法等。 多重共线性检验的任务是： （1）检验多重共线性是否存在； （2）估计多重共线性的范围，即判断哪 些变量之间存在共线性。
1、检验多重共线性是否存在
(1) 对两个解释变量的模型，采用简单相关系数法 求出X1与X2的简单相关系数r，若|r|接近1，则 说明两变量存在较强的多重共线性。
事实上，当 x 2 x1 时，原二元回归模型退 化为一元回归模型：
y ( 1 2 ) x1
只能确定综合参数 1 2 的估计值：
ˆ ˆ x1i yi 1 2