第4章 多重共线性

2014年1月16日
山东财经大学统计学院计量经济教研室
第11页
机动 目录 上页 下页 返回 结束
3.模型中包含滞后变量。 在经济计量模型中，往往需要引入滞后经济 变量来反映真实的经济关系。 例如，消费= f (当期收入, 前期收入） 由于变量与其滞后期变量常常呈现高度相关 性，于是导致出现多重共线性。
第四章
多重共线性
多重共线性（Multicollinearity）一词由弗里希 （Ragnar Frisch，1895—1973）于1934年引入。 原意是指回归模型中的部分或全部解释变量 之间存在完全的线性关系，是对假定MLR.3的违 背，后来人们将这个概念扩展到近似的线性关系。 多重共线性是多元回归建模过程中最常遇到 的问题。本章中我们首先分析与界定完全多重共 线性与多重共线性，探讨多重共线性可能引起的 后果，然后介绍多重共线性的诊断与缓解多重共 线性的补救措施。
2014年1月16日 山东财经大学统计学院计量经济教研室 第 1页
机动 目录 上页 下页 返回 结束
学习目标： 1、了解多重共线性的概念、能区分完全的多重 共线性与多重共线性； 2、了解多重共线性产生的原因； 3、理解多重共线性引起的后果； 4、理解并掌握多重共线性的诊断； 5、掌握缓解多重共线性问题的处理方法。 重点与难点： 理解多重共线性是一种样本现象； 深刻理解多重共线性的理论后果与实际后果； 掌握多重共线性的诊断及多重共线性问题的 处理方法。
理想地，为了分别评价收入和财富对消费支出的影 响，我们需要对财富多而收入低以及财富少而收入高的 人们进行足够多的样本观测。虽然在横截面研究中（通 过增加样本的方法）有可能做到这一点，但考虑到研究 者一般都是被动的采用第二手资料（指由他人收集的数 据或由统计年鉴得来的数据），对样本数据的多少似乎 无能为力。
果无法得到合理解释。
（二）参数估计值的方差增大 第三章我们已经推断出，对于多元线性回归模型
yi 0 1 x1i 2 x2i ki xk ui
在古典假设成立条件下，参数的OLSE 的方差 2 u 1 2 ˆ var( j ) ( X'X ) jj u 2 2 ( x x ) (1 R ji j j)
2 ( x x ) 1 1 2 ˆ 2
(x
1 2
x1 ) 2
2 ˆ 2
ˆ ) 同理，可以证明 var( 2
2014年1月16日 山东财经大学统计学院计量经济教研室 第 7页
机动 目录 上页 下页 返回 结束
用矩阵代数的术语来讲，由于参数的OLSE为
1 ˆ ( X'X ) X'Y
2 （1）误差方差 u ： 2 从方程（4.5）容易看到， u 越大意味着OLS估计 2 量的方差就越大。由于 u 是总体的一个特征，所以它 与样本容量无关。它是（4.5）中未知因素的一个组成 部分。
2014年1月16日 山东财经大学统计学院计量经济教研室 第 3页
机动 目录 上页 下页 返回 结束
时就称解释变量 x j ( j 1, 2,..., k ) 之间不存在
完全的多重共线性。
对于模型
yi=0+1x1i+2x2i++kxki+ui
i=1,2,…,n
如果存在某解释变量是其他解释变量的线 性组合，则称为存在完全多重共线性（Complete Multicollinearity， Exact Multicollinearity） 即：若存在一组不全为零的常数 0 , 1 , 2 ,, k
2 2 x ( x x ) R 其中 ji 为变量 j 样本变异（方差），而 j j 则是将 x j 对所有其他解释变量（并包括截距项）进行回 2 ˆ 的方差取决于三 R 归所得到的 。方程（4.5）表明， j 2 个因素：误差方差 u 、变量 x j 样本变异（方差） 2 2 ( x x ) R ji j 和自变量之间的线性关系 j 。
2014年1月16日 山东财经大学统计学院计量经济教研室 第10页
机动 目录 上页 下页 返回 结束
2.模型或从中取样的总体受到约束。
（1）对于截面数据，许多变量变化与发展规模相关， 会呈现出共同增长的趋势，例如资本、劳动力、科技、能 源等投入与产出的规模相关，这时容易出现多重共线性。 （2）有时如果出现部分因素的变化与另一部分因素 的变化相关程度较高时，也容易出现共线性。如用粮食产 量对化肥用量、水浇地面积、农业投入资金进行回归，发 现回归效果较差，原因是农业资金的影响已经通过化肥用 量、水浇地面积两个因素体现出来。
2014年1月16日
山东财经大学统计学院计量经济教研室
第12页
机动 目录 上页 下页 返回 结束
4.样本资料的限制 例如，抽样仅仅限于总体中解释变量取值的一个 有限范围，使得变量变异不大；或由于总体受限， 多个解释变量的样本数据之间存在相关，这时都可 能出现多重共线性。
5.过度决定的模型。 这种情况出现在解释变量个数大于观测次数时。例 如，在医药研究中可能只有少数病人，但却要在他们身 上收集大量的变量信息。
2014年1月16日 山东财经大学统计学院计量经济教研室 第15页
机动 目录 上页 下页 返回 结束
三、多重共线性引起的后果
近似多重共线性并不违反回归假定。无偏的、有 效的、一致的参数估计量仍可以得出，其标准误也仍 将被正确估计。理论上，多重共线性的唯一影响是难 以得到标准误较小的系数估计值。由于观测次数过少、 自变量的方差过小时也会产生这种影响。所以，从理 论的高度看，近似多重共线性、过少的观测次数以及 过小的自变量方差，实质上是同一问题。尽管近似多 重共线性不影响OLS估计量的BLUE性质，但在任给 一个样本中，可能会出现如下后果：
2014年1月16日
山东财经大学统计学院计量经济教研室
第13页
机动 目录 上页 下页 返回 结束
需要强调的是，多重共线性本质上是一种样本现 象。意思是说，即使在总体中解释变量之间没有线性 关系，但在具体获得的样本中仍可能存在线性关系： 当我们设想一个理论或总体回归函数时，我们相信， 我们选择的变量x对y都有各自的独立的影响 。但有可 能在任给的一个用以检验总体回归函数的样本中，一 些或全部x变量之间共线性却是如此之高，以致我们无 法区分它们对y的各自影响。尽管理论告诉我们，所有 的x变量都重要，但我们的样本还是没有“富裕”到足以 在分析中容纳全部的变量的境况。 考虑消费函数的例子。经济学家从理论上推知除 收入（x1）外，消费者的财富（x2）也是消费支出（y） 的重要决定因素。于是消费者的消费函数可以写成：
2014年1月16日 山东财经大学统计学院计量经济教研室 第 2页
机动 目录 上页 下页 返回 结束
第一节 多重共线性问题及其对建模的影响
一、多重共线性的含义
广义的多重共线性包括完全多重共线性和近似 多重共线性。狭义的的多重共线性指的是近似多 重共线性。如果不特加说明，本章使用的是狭义 的多重共线性。 （一）完全多重共线性 多元线性回归模型的古典假定MLR.3是，模型 中解释变量之间不存在完全的线性相关关系，此
机动 目录
(4.2)
如果有 x2i 2 x1i ，则（4.2）式可写为：
上页
下页
返回
结束
我们只能估计出系数的线性组合 ( 1 2 2 ) 的样本
估计值，而无法得到1和 2 的具体估计。且可以证明 参数估计量的方差为无穷大。
ˆ) var( 1
2 ( x x ) 1i 1
多元线性回归模型中如果存在完全多重共线性， 则参数的最小二乘估计量是不确定的（即无法估计）。 例如二元线性回归模型
yi 0 1 x1i 2 x2i ui
yi 0 ( 1 2 2 ) x1i ui
2014年1月16日 山东财经大学统计学院计量经济教研室 第 6页
(x
2 2 x ) ( x x ) [ ( x1i x1 )( x2i x2 )] 1i 1 2i 2
2 ˆ 2
4 ( x1i x1 ) 2 ( x1i x1 ) 4[ ( x1i x1 )( x1i x1 )] 4[ ( x1i x1 ) 2 ]2 4[ ( x1i x1 ) 2 ]
2014年1月16日 山东财经大学统计学院计量经济教研室 第17页
机动 目录
( j 0,1, 2,, k )
上页
下页
返回
结束
ˆ ) ( X'X ) 1 2 var( j jj u
2 2 ( x x ) (1 R ji j j)
u2
( j 0,1, 2,, k )
使得：
2014年1月16日
0 1 x1 2 x2 k xk 0
第 4页
机动 目录 上页 下页
0
山东财经大学统计学院计量经济教研室
返回
结束
则称模型存在完全多重共线性。
用矩阵表示，解释变量的观测值矩阵为
1 x11 1 x 12 X 1 x1n x21 xk1 x22 xk1 x2 n xkn(X)<k+1，即
在数据矩阵X中，至少有一列向量可由其他 列向量线性表示。
2014年1月16日 山东财经大学统计学院计量经济教研室 第 5页
机动 目录 上页 下页 返回 结束
需要强调的是模型中存在完全的多重共线性非 常罕见，一般来讲，通常发生在确定回归变量出错 的时候，即模型中变量选择出现逻辑错误。
（一）估计结果不好解释 存在多重共线性时，尽管可以得到参数的估计值，
2014年1月16日 山东财经大学统计学院计量经济教研室 第16页
机动 目录 上页 下页 返回 结束