第七章 多重共线性
第七章 多重共线性
基本概念
(1)多重共线性； (2)完全多重共线性；
(3)不完全多重共线性；
练习题
1、什么是变量之间的多重共线性？举例说明。
3、完全多重共线性和不完全多重共线性之间的区别是什么？
4、产生多重共线性的经济背景是什么?
5、多重共线性的危害是什么?为什么会造成这些危害?检验多重共线性的方法思路是什么?有哪些克服方法?
6、考虑下列一组数据
Y
-10 -8 -6 -4 -2 0 2 4 6 8 10 2X 1 2 3 4 5 6 7 8 9 10 11 3X
1
3
5
7
9
11
13
15
17
19
21
现在我们进行如下的回归分析：
12233i i Y X X u βββ=+++
请回答如下问题：
（1）你能估计出该模型的参数吗？为什么？ （2）如果不能，你能估计哪一参数或参数组合？ 7、将下列函数用适当的方法消除多重共线性： （1）消费函数为
012C W P u βββ=+++
其中C 、W 、P 分别表示消费、工资收入和非工资收入，W 和P 可能高度相关，但研究表明
1
22ββ=。
（2）需求函数为
0123s Q Y P P u ββββ=++++
其中Q 、Y 、P 和s P 分别为需求量、收入水平、该商品价格水平及其替代品价格水平，P 和s P
可能高度相关。
基本概念解释
(1)多重共线性指两个或两个以上解释变量之间存在某种线性相关关系。
(2)完全多重共线性指，在有多个解释变量模型中，解释变量之间的线性关系是准确的。
在此情况下，不能估计解释变量各自对被解释变量的影响。
(3)不完全多重共线性指，在实际经济活动中，多个解释变量之间存在多重共线性问题，但解释变量之间的线性关系是近似的，而不是完全的。
练习题答案
1、如果在经典回归模型Y X U β=+中，如果基本假定6遭到破坏，则有()1k r x k <+，此时称解释变量之间存在完全多重共线性。
解释变量之间的完全多重共线性也就是，解释变量之间存在严格的线性关系。
在实际中还有另外一种情况，即解释变量之间虽然不存在严格的线性关系，却有近似的线性关系，即指解释变量之间高度相关，这种解释变量之间高度相关称之为不完全多重共线性。
完全多重共线性和不完全重共线性，统称为多重共线性。
3、完全多重共线性指的是变量之间的线性关系是准确的，而不完全多重共线性指的是变量之间的线性关系是近似的。
4、在现实经济运行中，许多经济变量在随时间的变化过程中往往存在共同的变化趋势，使之产生多重共现性；使用截面数据建立回归模型时，根据研究的具体问题选择的解释变量常常从经济意义上存在着密切的关联度；在建模过程中由于认识上的局限造成变量选择不当，从而引起变量之间的多重共线性；在模型中大量采用滞后变量也容易产生多重共线性。
5、对于模型01122i i i k ki i Y X X X ββββμ=+++++()1,2,,i n =，如果某两个或多个解释变量之间出现了相关性，则称为模型存在多重共线性。
多重共线性的危害有几个方面：一是在完全共线性下参数估计量不存在，理由是()
1
'X X -不存在；二是近似共线性下OLS 参数估计量非有效，理由是参数估计量的方差将可能变得很大；三是参数估计量经济意义不合理，如当2X 与3X 存在线性关系时，2X 与3X 前的参数并不能反映各自与被解释变量之间的结构关系：四是变量的显著性检验失去意义，因为无论是t 检验还是F 检验，都与参数估计量的方差有关；五是模型的预测功能失效。
检验多重共线性的方法思路：用统计上求相关系数的原理，如果变量之间的相关系数较大则认为它们之间存在多重共线性。
克服多重共线性的方法主要有：排除引起共线性的变量，差分法，减少参数估计量的方差，利用先验信息改变参数的约束形式，增加样本容量，岭回归法等。
6、（1）不能，因为模型存在多重共线性的问题，即3X =22X -1，所以不能得到参数的唯一估计值。
（2）我们可以估计出来（31ββ-）和(322ββ+)。
7、（1）将先验信息1
22ββ=代入到模型中，然后估计（W+P/2）对消费的影响。
（2）可以考虑对模型中的变量取对数，然后进行回归。
7.1多重共线性的概念及产生原因
第七章 多重共线性
• 本章主要内容： 本章主要内容： 第一节 多重共线性的概念及产生原因 第二节 多重共线性的后果 第三节 多重共线性的检验 第四节 多重共线性的修正方法 第五节 案例分析
多重共线性有两种情况： 多重共线性有两种情况：完全多重共线性和 近似多重共线性。 近似多重共线性。
如果存在一组不全为零的数λ0 , λ1 , λ2 ,⋯ , λk，使得
λ0 + λ1 X 1i + λ2 X 2i + ⋯ + λk X ki = 0
则称模型存在完全多重共线性。 则称模型存在完全多重共线性。 完全多重共线性
（2）解释变量中含有滞后变量 ） 在计量经济学模型中， 在计量经济学模型中，往往需要引入滞后经济 变量来反映真实的经济关系。例如，以相对收入 变量来反映真实的经济关系。例如， 假说为理论假设，则居民消费C 假说为理论假设，则居民消费 t的变动不仅受当 期收入Y 的影响， 的影响， 期收入 t的影响，还受前期收入 Yt-1的影响，于 是建立以下模型： 是建立以下模型：
Ct = β 0 + β1Yt + β 2Yt −1 + ut
显然， 显然，当期收入和前期收入之间存在着较强的线 性相关性。 性相关性。
3.利用截面数据建立模型也可能出现多重共线性 利用截面数据建立模型也可能出现多重共线性 多重共线性一般与时间序列有关， 多重共线性一般与时间序列有关，但在截面 一般与时间序列有关 数据中也经常出现。例如，在生产函数中， 数据中也经常出现。例如，在生产函数中，大企 业拥有大量的劳动力和资本，小企业只有较少的 业拥有大量的劳动力和资本， 劳动力和资本， 劳动力和资本，投入的劳动量和资本量通常是高 度相关的。 度相关的。 在多元线性回归模型中， 在多元线性回归模型中，我们关心的并不是 多重共线性的有无，而是多重共线性的程度。当 多重共线性的有无，而是多重共线性的程度。 有无 程度 多重共线性程度过高时， 多重共线性程度过高时，将给最小二乘估计带来 严重的后果。 严重的后果。
多重共线性
第二章知多元线性回归模型参数向量的最小二乘估计量为: 1 X X X Y 这一表达式成立的前提条件是解释变量X 1 , X 2 , X k 之间没有多重共线性. 如果矩阵X 不是满秩的,则X X 也不是满秩的.必有: X X 0, 从而 X X 不存在, OLS失效, 此时称该模型存在完全的多重共线性.
解释变量的精确线性组合表示,它们的相关系数的绝对值为1.
X s ,h =
Var X is Var X ih ch cs
n
Cov( X is , X ih )
n
n i 1
( X is X is )( X ih X ih )
2
i1 ( X is X is )
则:
x y x
i1 i 2 i1
, 而1与 2却无法估计.
2 在近似共线性下OLS参数估计量的方差变大
我们前面已论述, 在近似共线性下,虽然可以得到OLS估计量: ) X X 1 2 Var (
由于此时 X X 0, 引起 X X 主对角线元素较大, 即 i的方差较大.
1
对此, 如果我们合并两个(或多个)高度线性相关的变量, 可以使用OLS , 但两个(或多个)变量前的参数将无法估计. 例如,对于回归模型:Yi 0 1 X i1 2 X i 2 i i 1, 2 , n 如果有:X i 2 X i1 , 合并两变量 : Yi 0 1 2 X i1 i , 令 1 2 ,
n
( X ih X ih ) i1
n 2
2
1 X s , h 1 在近似的多重共线性下则得不到这样的精确线性组合, 它们的相关系数的绝对值近似为1.
多重共线性考试考试与答案
第七章 多重共线性习题与答案1、多重共线性产生的原因是什么？2、检验多重共线性的方法思路是什么?有哪些克服方法?3、考虑一下模型：Y t ＝β1＋β2X t ＋β3X 1-t ＋4βX 2-t ＋5βX 3-t ＋6βX 4-t ＋u t其中Y ＝消费，X ＝收入，t ＝时间。
上述模型假定了时间t 的消费支出不仅是时间t 的收入，而且是以前多期的收入的函数。
例如，1976年第一季度的消费支出是同季度收入合1975年的四个季度收入的函数。
这类模型叫做分布滞后模型（distributed lag models ）。
我们将在以后的一掌中加以讨论。
（1） 你预期在这类模型中有多重共线性吗？为什么？(2)如果预期有多重共线性，你会怎么样解决这个问题？4、已知回归模型μβα++=N E ，式中E 为某类公司一名新员工的起始薪金（元），N 为所受教育水平（年）。
随机扰动项μ的分布未知，其他所有假设都满足。
（1）从直观及经济角度解释α和β。
（2）OLS 估计量αˆ和βˆ满足线性性、无偏性及有效性吗？简单陈述理由。
（3）对参数的假设检验还能进行吗？简单陈述理由。
5、根据1899—1922年在美国制造业部门的年度数据，多尔蒂（Dougherty ）获得如下回归结果：LogY=2.81 － 0.53logK+ 0.91logL + 0.047tSe ＝（1.38）（0.34） （0.14） （0.021）R 2＝0.97 F=189.8其中Y ＝实际产生指数,K=实际资本投入指数，L=实际劳力投入指数，t ＝时间或趋势。
利用同样数据，他又获得一下回归：（1）回归中有没有多重共线性？你怎么知道？（2）在回归（1）中，logK 的先验符号是什么？结果是否与预期的一致？为什么或为什么不？（3）你怎样替回归的函数形式（1）做辩护：（提示：柯柏—道格拉斯生产函数。
）（4）解释回归（1）在此回归中趋势变量的作用为何？（5）估计回归（2）的道理何在？（6）如果原先的回归（1）有多重共线性，是否已被回归（2）减弱？你怎样知道？（7）如果回归（2）被别看作回归（1）的一个受约束形式，作者施加的约束是什么呢？（提示：规模报酬）你怎样知道这个约束是否正确？你在哪一种检验？说明你的计算。
第七章 多重共线性
2
X 1i 1 r 2
2
ˆ 同理:Var b2
2
X 2i 1 r 2
2
第二节
多重共线性的影响后果
2
ˆ 当完全不共线时，r=0, Var b1
X
2 1i
当不完全共线时，r越接近1,相关程度越高， bi Var ˆ 越大，参数估计值越不准确。
第四节
多重共线性的解决方法
三、逐步回归法 (1)计算因变量对每一个解释变量的回归方程,并分别 进行统计检验,从中选取最合适的基本回归方程。 (2)逐一引入其他解释变量,重新进行回归，在模型中 每个解释变量均显著,参数符号正确, R 2 值有所提高的前 提下,从中再选取最合适的二元回归方程。 (3)在选取的二元回归方程的基础上以同样的方式引 入第三解释变量;如此引入,直至无法引入新变量为止。
第四节
多重共线性的解决方法
（2）如果历年的平均收入弹性与近期的收入弹性 近似相等，就可以用 a2代替原模型中的 b2 。将原模 ln y a2 ln I b0 b1 ln P 型变为 y1 ln y a2 ln I 令：
p1 ln P 再利用时间序列数据求出价格弹性 b1 以及 b0即可。
第四节
多重共线性的解决方法
二、间接剔除重要的解释变量 1、利用已知信息 所谓已知信息，就是在建立模型之前，根据经 济理论、统计资料或经验分析，已知的解释变量之 间存在某种关系。为了克服模型的多重共线性，可 以将解释变量按已知关系加以处理。
第四节
多重共线性的解决方法
例如：柯布－道格拉斯生产函数
y aL K e
ln y / K ln a ln L / K
第七章多重共线性精品课件
2i
bk xki ui
进行估计时，将 Xj从模型中排除，并不引起拟合优度 减少许多，那么，这个被排除在模型之外的解释变量 与留在模型中的解释变量多重共线，排除是应当的。
第三节、 多重共线性的的处理
一、剔除引起共线性的解释变量（这是最重要的方法， 保留在模型中变量的经济意义不再仅仅是自身的作用， 也包含了与其共线并被排除变量的作用。）
2
I n）
二、多重共线性的概念
考虑模型中只有两个解释变量的情况，此时 模型可以表示为：
Y b0 b1 X1 b2 X 2 u
若存在不全为0的常数 1 , 2 ，使下列关 系式成立：
1 X1 2 X 2 0
则称自变量 X 1 , X 2 存在完全的线性关系。
此时两者之间的相关系数为1。实际中完全多 重共线的情况并不多见，一般出现不同程度的 近似多重共线，即有以下关系成立：
第七章、多重共线性
本章内容
第一节、 多重共线性的概 念、产生的原因及其后果 第二节 、多重共线性的检 验 第三节、 多重共线性的的 处理 约瑟夫· 斯蒂格利茨 第四节 多重共线性的案例 2001年诺贝尔奖 分析
获得者
第一节、 多重共线性的概念、产生的原因 及其后果 一、单方程计量经济模型回顾 1、模型形式：
ji 0 1
1i
ˆ j 1 x j 1i ˆ j 1 x j 1i ˆ k xki
如果判定系数很大，F检验显著，则Xj可用其他解释变 量的线性组合表出，即 Xj 与其他解释变量多重共线。 应将Xj从解释变量中排除。 （2）或者，在对原模型
y b b x b x
四、多重共线性的影响
1、对于完全共线，由于矩阵逆不存在，所以参数的 OLS估计失效。
多重共线性讲义
9
3.参数估计量经济含义不合理 如果模型中两个解释变量具有线性相关性，例如 X2= X1 ，这时，X1和
X2前的参数1、2并不反映各自与被解释变量之间的结构关系，而是反映它 们对被解释变量的共同影响。1、2已经失去了应有的经济含义，于是经常 表现出似乎反常的现象：例如1本来应该是正的，结果恰是负的。
如果存在 c1X1i+c2X2i+…+ckXki+vi=0 i=1,2,…,n
其中ci不全为0，vi为随机误差项，则称为 不完全多重共线性或欠完 全多重共线性（approximate multicollinearity）。
4
7.2.产生多重共线性的原因
一般地，产生多重共线性的主要原因有以下四个方面： （1）经济变量相关的共同趋势 时间序列样本：经济繁荣时期，各基本经济变量（收入、消费、 投资、价格）都趋于增长；衰退时期，又同时趋于下降。 横截面数据：生产函数中，资本投入与劳动力投入往往出现高度 相关情况，大企业二者都大，小企业都小。 （2）滞后变量的引入 在经济计量模型中，往往需要引入滞后经济变量来反映真实的经济 关系。 例如，消费=f(当期收入, 前期收入），显然，两期收入间有较强的 线性相关性。
14
15
2、辅助回归法
利用模型中每一个解释变量分别以其余解释变量为解释变量进行回归， 并计算相应的拟合优度。
如果某一种回归 X j c 1X1 2 X 2 ... j1X j1 j1X j1 ... k X k
的判定系数较大，说明Xj与其他X间存在共线性。 判别的标准是回归模型是否通过F检验。
多重共线性
我们可以分别作y对x1和y对x2的回归，以便弄清 x1和x2单独对y的影响如何：
yˆi 9.4092 1.6449 x1i (0.0704)
线性。
如果存在不为零的常数 1, 2 ，使得下式成立
1 x1i 2 x2i vi 0 其中vi是随机项，这表示解释变量x1和x2之间存在近 似的线性关系，则说x1和x2之间高度相关，即存在不 完全多重共线性。 完全多重共线性和不完全多重共线性，统称为多重 共线性。因此，所谓多重共线性是指解释变量之间 存在完全的线性关系或近似的线性关系。
§7.2 多重共线性的后果
一般模型
Y X U
(7.2.11)
完全多重共线，即解释变量中存在
0 1 x1i k xki 0 （7.2.12)
其中λi不全为零。于是
rk(X) < k +1
(7.2.13)
便有
| X′X |＝0
(7.2.14)
从而使得参数估计量
ˆ ( X X )1 X Y
i＝1，2，…，k，皆有R2i=0。
多重共线性基本上是一种样本现象。因为人们在制 定模型时，总是尽量避免将理论上具有严格线性关 系的变量作为自变量收集在一起，因此，实际问题 中的多重共线性并不是自变量之间存在理论上或实 际上的线性关系造成的，而是由于所收集的数据(自 变量观察值)之间存在近似的线性关系所致。
例7.2.1 设因变量y和自变量x1、x2具有表7.2.1所示的 观察值，我们用模型
yi 0 1 x1i 2 x2i ui
拟合表7.2.1中的数据。
表7.2.1
y、x1和x2的观察值
yi 30 35 40 45 50 60 68 80 92 104 x1i 10 15 18 22 28 32 38 42 50 55 x2i 9.8 14.9 17.6 21.6 27.6 31 37.2 42.3 50.2 54.6
第七章多重共线性
X i fi ( X1, X 2 , , X i1, X i1, , X k )
X k fk ( X1, X 2 , , X k1)
对应的判定系数 R12, R22, , R2j , , Rk2
即
R2j
对应为以 X j 为被解释变量的回归方程。
显然，这些判定系数中最大且接近于1的那 一个R2i所对应的变量Xi，是与其他解释 变量发生多重共线性最严重的一个
（2）估计多重共线性的范围，即判断哪些 变量之间存在共线性。
有几点我们要明白：
(1) 多重共线性是一个程度问题而不是存在与否 的问题。
(2) 由于多重共线性是在假定解释变量是非随机 的条件下出现的问题，因而它是样本的特征，而 不是总体的特征。
因此，我们不仅可以“检测多重共线性”，而且 可以测度任何给定样本的多重共线性程度。
X1 9
X2i、2, 25, 48 X 2 25
X3i、1, 23, 24
X 3 16
view correlations
它们两两简单相关系数不大，但是严格共线性
所以，用简单相关系数判断模型是否存在多重共线性，只 适用于两个解释变量的情况
（二）估计多重共线性的范围
如果存在多重共线性，需进一步确定究竟由哪些变 量引起。
多重共线性是一个程度问题
若解释变量两两之间完全不相关，则不存在 该问题；
若其中部分解释变量之间完全相关，则根本 不能用OLS进行回归；
若解释变量之间存在一定程度的线性关系， 则是本章所要解决的多重共线性的问题。
2.参数的方差 因为估计值的方差为：
Var(1)
2 x22i
x12i x22i ( x1i x2i )2
注意： 完全共线性的情况并不多见，一般出现的
第七章多重共线性
第七章多重共线性第七章多重共线性若线性模型不满⾜假定6，就称模型有多重共线性。
§7.1 多重共线性的概念⼀. 基本概念：假定6 ()1k r X k n =+<，是指模型中所有⾃变量12,,,,k x x x 1线性⽆关，也可理解为矩阵X 的列向量线性⽆关。
若不满⾜该假定，即 ()1k r X k <+，则称12,,,,k x x x 1存在完全多重共线性，12,,,,k x x x 1存在严格的线性关系，这是⼀种极端情况；若12,,,,k x x x 1之间的线性关系不是严格的，⽽是⼀种近似的线性关系，则称⾼度相关或存在不完全多重共线性。
如，01122i i i i y x x u βββ=+++ 若12,λλ?不全为零，使11220i i x x λλ+=，完全多重共线性11220i i i x x v λλ++= 不完全多重共线性完全多重共线性和不完全多重共线性统称为多重共线性。
解释变量（⾃变量）之间的线性关系可⽤拟合优度2i R 描述，2i R 表⽰i x 对其它解释变量的拟合优度，21i R = 完全 21i R ≈⾼度 20i R = ⽆⼆. 产⽣的原因：在实际经济问题中主要是不完全多重共线性。
其产⽣的主要原因是：1. 两个解释变量具有相同或相反的变化趋势；（家庭能耗与住房⾯积、⼈⼝）⽣产、需求.......2. 数据收集的范围过窄，造成解释变量之间有相同或相反变化的假象；3. 某些解释变量之间存在某种近似的线性关系；（各解释变量有相同的时间趋势）4. ⼀个变量是另⼀个变量的滞后值；供给5. 解释变量的选择不当也可能引起变量间的多重共线性。
6. 过度决定模型。
(观测值个数少于参数个数)对于正确设置的模型，多重共线性基本上是⼀种样本现象。
§7.2 多重共线性的后果⼀. 完全多重共线性当模型具有完全多重共线性时，⽆法进⾏参数的OLS 估计；设模型 Y XB U =+，若有完全多重共线性，即()1k r X k <+，则()1T r X X k <+ 1()T X X -?不存在1()T TB X X X Y ∧-?=不存在，同样 21()()Tj u jj V X X βσ∧-=也不存在，显著性检验和预测都⽆法进⾏。
第七章 多重共线性及其处理
第七章 多重共线性及其处理第一部分 学习辅导一、本章学习目的与要求1．理解多重共线性的概念；2．掌握多重共线性存在的主要原因；3．理解多重共线性可能造成的后果；4．掌握多重共线性的检验与修正的方法。
二、本章内容提要本章主要介绍计量经济模型的计量经济检验。
即多重共线性问题。
多重共线性是多元回归模型可能存在的一类现象，分为完全共线与近似共线两类。
模型的多个解释变量间出现完全共线性时，模型的参数无法估计。
更多的情况则是近似共线性，这时，由于并不违背所有的基本假定，模型参数的估计仍是无偏、一致且有效的，但估计的参数的标准差往往较大，从而使得t 统计值减小，参数的显著性下降，导致某些本应存在于模型中的变量被排除，甚至出现参数正负号方面的一些混乱。
显然，近似多重共线性使得模型偏回归系数的特征不再明显，从而很难对单个系数的经济含义进行解释。
多重共线性的检验包括检验多重共线性是否存在以及估计多重共线性的范围两层递进的检验。
而解决多重共线性的办法通常有逐步回归法、差分法以及使用额外信息、增大样本容量等方法。
（一）多重共线性及其产生的原因当我们利用统计数据进行分析时，解释变量之间经常会出现高度多重共线性的情况。
1．多重共线性的基本概念多重共线性(Multicollinearity )一词由弗里希（Frish ）于1934年在其撰写的《借助于完全回归系统的统计合流分析》中首次提出。
它的原义是指一个回归模型中的一些或全部解释变量之间存在有一种“完全”或准确的线性关系。
如果在经典回归模型Y X βε=+中，经典假定（5）遭到破坏，则有()1R X k <+，此时称解释变量k X X X ,,,21 间存在完全多重共线性。
解释变量的完全多重共线性，也就是解释变量之间存在严格的线性关系，即数据矩阵X 的列向量线性相关。
因此，必有一个列向量可由其余列向量线性表示。
同时还有另外一种情况，即解释变量之间虽然不存在严格的线性关系，但是却有近似的线性关系，即解释变量之间高度相关。