第七章 多重共线
合集下载
07-多重共线性
大，说明解释变量间存在严重的多重共线 性。举例说明如下。
例 7- 1 关于家庭人均消费 yt，家庭人均收入xt1 和家庭人均储蓄 xt2 的二元线性回归
方程 OLS 估计结果如下
yˆ t = 24.7747 + 0.9415 xt1 - 0.0424 xt2 （1.14） （-0.53） R2 = 0.96，F = 92.4，T =10
程如下
yˆt = 14.6119 - 5.8515 xt1 + 3.9752 xt2 +5.3225 xt3
(-2.20)
( 2.46) ( 1.98) R2 = 0.87, F= 17.9, T=12, (1975-1986)
三个解释变量 xt1，xt2，xt3 的简单相关系数如下：
rxt1xt2 = 0.984， rxt1xt3 = 0.994， rxt2xt3 = 0.975
5.2 利用已知信息合并解释变量
通过经济理论及对实际问题的深刻理解，对发生多重共线性的解释变量引入附加条 件从而减弱或消除多重共线性。
比如有二元回归模型 yt = b0+ b1 xt1 + b2 xt2 + ut
x1与x2间存在多重共线性。如果能给出b1与b2的某种关系，b2 = lb1其中 l 为常数。5Fra bibliotekB1F1
B1F2
5
B2F1
B2F2
4
4
3
3
2
2
1
1
0
-2
-1
0
1
2
3
真值b1 = 1.2
0
4
-4 -3 -2 -1 0 1 2 3 4 5 6
真值b2 = 0.8
例 7- 1 关于家庭人均消费 yt，家庭人均收入xt1 和家庭人均储蓄 xt2 的二元线性回归
方程 OLS 估计结果如下
yˆ t = 24.7747 + 0.9415 xt1 - 0.0424 xt2 （1.14） （-0.53） R2 = 0.96，F = 92.4，T =10
程如下
yˆt = 14.6119 - 5.8515 xt1 + 3.9752 xt2 +5.3225 xt3
(-2.20)
( 2.46) ( 1.98) R2 = 0.87, F= 17.9, T=12, (1975-1986)
三个解释变量 xt1，xt2，xt3 的简单相关系数如下：
rxt1xt2 = 0.984， rxt1xt3 = 0.994， rxt2xt3 = 0.975
5.2 利用已知信息合并解释变量
通过经济理论及对实际问题的深刻理解，对发生多重共线性的解释变量引入附加条 件从而减弱或消除多重共线性。
比如有二元回归模型 yt = b0+ b1 xt1 + b2 xt2 + ut
x1与x2间存在多重共线性。如果能给出b1与b2的某种关系，b2 = lb1其中 l 为常数。5Fra bibliotekB1F1
B1F2
5
B2F1
B2F2
4
4
3
3
2
2
1
1
0
-2
-1
0
1
2
3
真值b1 = 1.2
0
4
-4 -3 -2 -1 0 1 2 3 4 5 6
真值b2 = 0.8
§74消除多重共线性的方法
二、对如下一些情况，多重共线性可不作处理
1、当所有参数估计量皆显著或者t值皆远大于2时。
2、当因变量对所有自变量回归的拟合优度值大于缺
任何一个自变量对其余自变量回归的拟合优度
R
2 j
时，可对多重共线性不作处理。
3、如果样本回归方程仅用于预测的目的，那么只要 存在于给定样本中的共线现象在预测期保持不变 ，多重共线性不会影响预测结果。
九、逐步回归法（Frisch综合分析法）
步骤如下： 第一步 用被解释变量对每一个所考虑的解释变量做
简单回归。然后，根据统计检验的结果，选出最优 简单回归方程，称为基本回归方程。 第二步 将其余的解释变量逐步加入到基本回归方程 中，建立一系列回归方程，然后按下列标准来判断 加入的变量。
（1）若新加入的变量提高了可决系数，且回归参 数在经济理论上和统计检验上也合理，便认为此 变量是有利变量，予以接纳。
4、如果多重共线性并不严重影响参数估计值，以至 于我们不需要改进它时。
三. 利用非样本先验信息
通过经济理论分析能够得到某些参数之间 的关系，可以将这种关系作为约束条件， 将此约束条件和样本信息结合起来进行约 束最小二乘估计。
例如：生产函数中劳力和资本的弹性系数之 和为1.
四、 变换模型形式
有些经济模型并不要分析每个解释变量对 被解释变量的影响，因此可根据经济理论 或实际经验将原模型作某些变换会改变定 量形式，从而避免或减少共线性。
来估计β，这种估计参数的方法，称为岭回
归估计法，为岭回归系数。
• 在岭回归分析中关键问题是如何选择λ值, 迄今为止,已有十余种选择λ值的方法，但 没有一种方法被证明显著地优于其它方法。
• 岭回归方法是70年代以后发展起来的，在计 量经济学中还是新方法，无论方法本身还是 实际应用都还很不完善。
§多重共线性解读
Q f K , L u
i i i
i
K , L 成比例
i i
（2）滞后变量的引入
在经济计量模型中，往往需要引入滞后经济变 量来反映真实的经济关系。 例如，根据相对收入假设，时间序列数据建立消
费函数（当期收入与前期消费相关）
c I c
t 0 1 t 2
t 1
ut
（3）样本资料的限制
（3）参数约束修正方法
例1:Y=ALαKβ →lnY=lnA+αlnL+βlnK+μ 由α+β=1→β=1-α →lnY=lnA+αlnL+(1-α)lnK+μ →lnY/K=lnA+αlnL/K+μ,OLS 估 计 α, 从 而 得 出 β的估计。 例2:消费函数Y=β1+β2X2+β3X3+μ 经验分析β2=2/3β3 →Y=β1+β3(X3+2/3X2)+μ 先用OLS估计β3,从而得出β2的估计.
四、多重共线性的检验
多重共线性表现为解释变量之间具有相关关系，
所以用于多重共线性的检验方法主要是统计方法：
如判定系数检验法、逐步回归检验法等。
多重共线性检验的任务是： （1）检验多重共线性是否存在； （2）估计多重共线性的范围，即判断哪些变量之间存 在共线性。
1、检验多重共线性是否存在
(1)对两个解释变量的模型，采用简单相关系数法 求出X1与X2的简单相关系数r，若|r|接近1，则 说明两变量存在较强的多重共线性。 (2)对多个解释变量的模型，采用综合统计检验法 若 在OLS法下：R2与F值较大，但t检验值较小， 说明各解释变量对Y的联合线性作用显著，但各解 释变量间存在共线性而使得它们对Y的独立作用不
第7章共线性(计量经济学-中南财经政法大学,向书坚)
3.如果 vi 充分的小,(7.3.2)就回到(7.2.2).
2013-8-25 CopyRight By Shujian Xiang 12
§7.4 多重共线性的理论后果
（1）对于近似多重共线性而言，OLS估计良仍
然是无偏的。但无偏性是重复抽样的性质。即固 定X变量反复抽取样本，并对每一个样本计算 OLS估计量，随着样本个数的增加，估计量的样 本值的均值收敛于真实总体值。 （2）虽然说共线性并不破坏最小方差性质，但 并不意味着在任一给定的样本中，一个OLS估计 量的方差一定是最小的。 （3）虽然多重共线性是一种样本现象，即总体 中各X变量没有线性关系，但具体获得的样本有 可能存在线性关系。此时，利用样本回归估计总 体回归时，难以区分各X变量对Y的影响。
应用回归分析例3.3
2013-8-25 CopyRight By Shujian Xiang 9
3.产生多重共线的原因: (1) 数据采集所用的方法。如抽样限于总体中各 自变量所取值的一个有限范围内; (2) 模型或从中取样的总体受到约束。如电力消 费对收入和住房面积的回归时，总体中的有形 约束是：收入较高的家庭通常比收入较低的家 庭有较大的的住房 (3) 模型设定。如在回归模型中添加多项式 (4) 一个过度决定的模型.即模型中的自变量个 数大于观测次数，即k>n.
ˆ 2
(7.3.1)
其中vi是具有性质 x2i vi 0随机误差项
( yi x2i )(2 x2i vi ) ( yi x2i yi vi )( x2i )
2 2
x
2 2i
(
2
x
2 2i
vi ) ( x2i )
2 2
多重共线性的处理
14
主成分数学模型以及几何意义
假设我们所讨论的实际问题中，有p个指标，我们把这p个指 标看作p个随机变量，记为X1，X2，…，Xp，主成分分析就 是要把这p个指标的问题，转变为讨论p个指标的线性组合的 问题，而这些新的指标F1，F2，…，Fk(k≤p），按照保留 主要信息量的原则充分反映原指标的信息，并且相互独立。
这样反复进行，直到再无新变量可以引入，旧变量无法提出 位置。最终建立回归方程
在变量引入后，如果有的变量不显著，则说明新引入的变量 与其他变量存在多重共线性。此时我们将最显著程度达不到 标准的变量剔除。在这个过程中，我们达到了消除多重共线 性的效果。
第二种方法：主成分分析法
主成分分析法是利用降维的思想，在保留原始变量尽可能多 的信息的前提下把多个指标转化为几个综合指标的方法。 通常把转化生成的综合指标称为主成分，每一个主成分都是 原始变量的线性组合，但是各个主成分之间没有相关性，这 就解决的多重共线性的问题。
如果第一主成分不足以代替原来的几个变量的信息，再考虑 选取第二个主成分F2。为了消除多重共线性，要求协方差 cov(F1,F2)=0 以此类推可以选取第三主成分，第四主成分…这些主成分之 间不仅互不相关，而且它们的方差依次递减。 一般来说，选取多少个主成分能够反映原始变量方差的85% 时的个数就足够了。
满足如下的条件：
主成分之间相互独立，即无重叠的信息。即
Cov（Fi，Fj） 0，i j，i，j 1， 2， ，p
主成分的方差依次递减，重要性依次递减，即
Var（F1） Var ( F2 ) Var ( Fp )
10
平移、旋转坐标轴
x2 F2 F1
•• • • • • • • • • • • •• • •• • 成分分析的几何解释 •• • • • •• • • • • •• • • • • • •
经济计量学第七讲多重共线性PPT资料(正式版)
第四节 多重共线性的侦察（2）
二、侦察多重共线性的规则
（一）R2值高而显著的t比率少
（二）回归元之间有高度的两两相关 Ø它只是充分条件而不是必要条件
（三）检查偏相关 Ø偏相关系数不能保证对多重共线性提供 一 个准确的指南。
第四节 多重共线性的侦察（3）
二、侦察多重共线性的规则 （四）辅助回归 做每个解释变量对其他剩余变量 的回归并计算相应的R2值。其中的每 一个回归都被称为是从属或者辅助回 归。
2
j
j
第五节 多重共线性的补救措施
如果存在不完全的多重共线性,
TOj L(1R2 j)1/VIjF
第五节 多重共线性的补救措施
一、先验信息 二、横截面与时间序列数据并用 三、剔除变量与设定偏误 四、变量代换 五、补充新数据 六、在多项式回归中降低共线性 七、拯救多重共线性的其他方法
谢谢观看
（一）完全多重共线性情形
Y = ^1 + ^2X2 + ^3X3 + ^u
^2
(yx2)(x32) - (yx3)(x2x3)
= (x22)(x32) - (x2x3)2
如果 x3 = x2,
^2
=
(yx2)(2x22) - (yx2)(x2x2) (x22)(2 x22) - 2(x2x2)2
=
0 0
经济计量学第七讲多重 共线性
第七讲 多重共线性
第一节 多重共线性的性质 第二节 出现多重共线性时的估计问题 第三节 多重共线性的后果 第四节 多重共线性的侦察 第五节 多重共线性的补救措施
第一节 多重共线性的性质
一、多重共线性的概念 二、多重共线性的来源
一、多重共线性的概念
Y i 1 2 X 2 i 3 X 3 i k X k i u i
§2.8多重共线解析
i3
0
这里， 0 xi1 2 xi 2 xi 3 0
X X 0
2018/10/9
重庆商学院经济系
5
多重共线
完全多重共线的情况不多，一般出现不同程度的多重
共线 多重共线性:∣X‘X∣≈01 X 1 1
(1) (2) (3) (4) 经济发展 政治事件 偶然事件 时间趋势
i 2i
x f y ， x f y x 与 y 相关， x 与 y 相关 x 2、解释变量中含有当期和滞后变量
1i i 1i i 2i i
1i
与 x2i 相关
例如，投资模型
It=β 1+β 2rt+β 3Yt+β 4Yt-1+μ
§2.8 多重共线
模型中解释变量违反了基本假定4—解 释变量与随机扰动项相互独立的假定，导 致解释变量之间线性相关，称为多重共线。
多重共线的重点
1、多重共线乃是解释变量相关，即解释
变量成比例 2、失去BLUE性，在于参数估计量的方 差变大，估计、检验、预测都不等 3、诊断：解释变量做因变量，拟合优度 大于0.8 4、克服：剔除共线变量、
2018/10/9 重庆商学院经济系 2
教学内容
一、多重共线 二、实际经济问题中的多重共线 三、多重共线的后果 四、多重共线的检验 五、克服多重共线的办法 六、克服多重共线应用实例
2018/10/9 重庆商学院经济系 3
一、多重共线
对于模型
y x x
2018/10/9 重庆商学院经济系 17
（2）差分法
一般说来，增量间的线性关系弱于总量间的线
7.4多重共线性的修正方法
第四节 多重共线性的修正方法
• 增大样本容量 • 剔除变量法 • 利用附加信息 • 变换变量形式. 增大样本容量
如果样本容量增加，会减小回归参数的方差， 标准误差也同样会减小。因此尽可能地收集 足够多的样本数据可以改进模型参数的估计。
问题：增加样本数据在实际计量分析中常面 临许多困难。
5. 横截面数据与时序数据并用
首先利用横截面数据估计出部分参数，再利 用时序数据估计出另外的部分参数，最后得 到整个方程参数的估计。
注意：这里包含着假设，即参数的横截面估 计和从纯粹时间序列分析中得到的估计是一 样的。
6.逐步回归法
（1）用被解释变量对每一个解释变量做简单线 性回归，从中选择一个最合适的回归方程作为基 本回归方程，通常选取拟合优度R2最大的回归 方程。
（3）再继续引入第三个解释变量，如此下去，直 到无法引入新的解释变量为止。
例如，如果将需求函数设成：
Q 0 1Y 2P0 3P1 u
其中Y表示收入，P0 表示商品自身价格，P1 表示 相关商品价格。
商品自身价格P0与相关商品价格P1之间往往是高 度相关的，此时可以用相对价格P0/P1 综合反映 价格因素的影响，从而需求函数可设成：
Q 0 1Y 2 (P0 / P1) u
（2）在基本回归方程中分别引入第二个解释变 量，重新进行线性回归。
若新变量的引入改进了R2和F检验，且回归参数 的t检验在统计上也是显著的，则在模型中保留 该变量。
若新变量的引入未能改进R2和F检验，且对 其他回归参数估计值的t检验也未带来什么 影响，则认为该变量是多余变量。
若新变量的引入未能改进R2和F检验，且显 著地影响了其他回归参数估计值的数值或符 号，同时本身的回归参数也通不过t检验，说 明出现了严重的多重共线性。
• 增大样本容量 • 剔除变量法 • 利用附加信息 • 变换变量形式. 增大样本容量
如果样本容量增加，会减小回归参数的方差， 标准误差也同样会减小。因此尽可能地收集 足够多的样本数据可以改进模型参数的估计。
问题：增加样本数据在实际计量分析中常面 临许多困难。
5. 横截面数据与时序数据并用
首先利用横截面数据估计出部分参数，再利 用时序数据估计出另外的部分参数，最后得 到整个方程参数的估计。
注意：这里包含着假设，即参数的横截面估 计和从纯粹时间序列分析中得到的估计是一 样的。
6.逐步回归法
（1）用被解释变量对每一个解释变量做简单线 性回归，从中选择一个最合适的回归方程作为基 本回归方程，通常选取拟合优度R2最大的回归 方程。
（3）再继续引入第三个解释变量，如此下去，直 到无法引入新的解释变量为止。
例如，如果将需求函数设成：
Q 0 1Y 2P0 3P1 u
其中Y表示收入，P0 表示商品自身价格，P1 表示 相关商品价格。
商品自身价格P0与相关商品价格P1之间往往是高 度相关的，此时可以用相对价格P0/P1 综合反映 价格因素的影响，从而需求函数可设成：
Q 0 1Y 2 (P0 / P1) u
（2）在基本回归方程中分别引入第二个解释变 量，重新进行线性回归。
若新变量的引入改进了R2和F检验，且回归参数 的t检验在统计上也是显著的，则在模型中保留 该变量。
若新变量的引入未能改进R2和F检验，且对 其他回归参数估计值的t检验也未带来什么 影响，则认为该变量是多余变量。
若新变量的引入未能改进R2和F检验，且显 著地影响了其他回归参数估计值的数值或符 号，同时本身的回归参数也通不过t检验，说 明出现了严重的多重共线性。
多重共线性的判别与解决
多重共线性的判别与解决在进行多元回归分析时，当回归模型中使用两个或以上的自变量彼此相关时，则称回归模型中存在多重共线性（multicollinearity）。
严重的多重共线性可能会使回归分析的结果混乱，甚至会把分析引入歧途。
那怎样才能判断是否具有多重共线性问题呢？1、最简单的一种方法是计算模型中各对自变量之间的相关系数，如果一个或多个相关系数是显著的，就表示存在多重共线性问题。
2、当模型的线性关系检验（F检验）显著时，几乎所有回归系数β的t检验却不显著。
3、回归系数的正负号与预期的相反。
4、容忍度（tolerance）与方差扩大因子（VIF）。
某个自变量的容忍度等于1减去该自变量为因变量而其他自变量为预测变量时所得到的线性回归模型的判定系数。
容忍度越小，多重共线性越严重。
通常认为容忍度小于0.1时，存在严重的多重共线性。
方差扩大因子等于容忍度的倒数。
显然，VIF越大，多重共线性越严重。
一般认为VIF大于10时，存在严重的多重共线性。
一旦发现模型中存在多重共线性问题，就应采取解决措施。
至于采取什么样的方法来解决，要看多重共线性的严重程度。
下面给出几种常用的解决方法：（1）将一个或多个相关的自变量从模型中剔除。
实际操作中常用逐步法作为自变量筛选方法。
（2）如果要在模型中保留所有的自变量，那就应该：避免根据t统计量对单个参数β进行检验；对因变量y值得推断限定在自变量样本值的范围内。
（3）主成分分析法。
（4）偏最小二乘法。
偏最小二乘回归≈多元线性回归分析+典型相关分析+主成分分析（5）岭回归法。
岭回归法是通过最小二乘法的改进允许回归系数的有偏估计量存在而补救多重共线性的方法。
（6）增加样本容量。
多重共线性问题的实质是样本信息的不充分而导致模型参数的不能精确估计，因此追加样本信息是解决该问题的一条有效途径。
松哥：在进行多元回归时，多重共线性问题是大家容易忽视的地方。
充分考虑该问题，才可以让多元回归的分析方向正确，得出正确结果。
多重共线性的克服和处理
14
如果第k个解释变量与其余 K 1个解释变量完 2 2 σ R 0 全没有相关性，那么 k ， 。 Var (bk ) SSTk 当第k 个解释变量与其他解释变量之间有相关 2 0 R 性时， 。 k 1 当第k 个解释变量与其他解释变量之间有很强 的相关性，也就是模型存在很强的近似多重共 线性时，Rk2 接近1，此时 bk 的方差 Var(bk ) 会变 得非常大。
7
此时 x2 2 x1 也成立。把该关系式代入上 述正规方程组中的第二式可得：
b1 x1 (2 x1 ) b2 x2 (2 x1 ) y(2 x1 )
b1 x12 b2 x2 x1 yx1 得到： i i i 很显然，这个方程与上述正规方程组的 第一个方程是完全相同的。
8
i
i
i
这意味着我们得到了包含两个未知参数估计量 的两个相同的方程，这时该方程组有无穷组解 而不是有唯一一组解。 这实际上意味着被解释变量究竟受哪些变量的 影响变得很不清楚，变量关系是无法识别的。 有完全多重共线性的多元线性回归模型都无法 顺利进行参数估计，会使多元线性回归模型参 数估计失败，回归分析无法进行。
10
完全多重共线性问题的处理也比较简单， 只需要针对性地修改模型，放弃、调整 相互之间形成线性关系，导致完全多重 共线性的部分解释变量。 注意一般不需要也不应该放弃存在线性 关系的全部变量，否则容易使模型失去 意义。
11
三、近似多重共线形的原因及其影响
近似多重共线性既与变量选择有关，也 与数据有关。 虽然解释变量的选择不当，把内在相关 性较强的变量引进同一个模型，是导致 近似多重共线性的重要原因，但近似多 重共线性更经常的原因是经济数据的共 同趋势。
如果第k个解释变量与其余 K 1个解释变量完 2 2 σ R 0 全没有相关性，那么 k ， 。 Var (bk ) SSTk 当第k 个解释变量与其他解释变量之间有相关 2 0 R 性时， 。 k 1 当第k 个解释变量与其他解释变量之间有很强 的相关性，也就是模型存在很强的近似多重共 线性时，Rk2 接近1，此时 bk 的方差 Var(bk ) 会变 得非常大。
7
此时 x2 2 x1 也成立。把该关系式代入上 述正规方程组中的第二式可得：
b1 x1 (2 x1 ) b2 x2 (2 x1 ) y(2 x1 )
b1 x12 b2 x2 x1 yx1 得到： i i i 很显然，这个方程与上述正规方程组的 第一个方程是完全相同的。
8
i
i
i
这意味着我们得到了包含两个未知参数估计量 的两个相同的方程，这时该方程组有无穷组解 而不是有唯一一组解。 这实际上意味着被解释变量究竟受哪些变量的 影响变得很不清楚，变量关系是无法识别的。 有完全多重共线性的多元线性回归模型都无法 顺利进行参数估计，会使多元线性回归模型参 数估计失败，回归分析无法进行。
10
完全多重共线性问题的处理也比较简单， 只需要针对性地修改模型，放弃、调整 相互之间形成线性关系，导致完全多重 共线性的部分解释变量。 注意一般不需要也不应该放弃存在线性 关系的全部变量，否则容易使模型失去 意义。
11
三、近似多重共线形的原因及其影响
近似多重共线性既与变量选择有关，也 与数据有关。 虽然解释变量的选择不当，把内在相关 性较强的变量引进同一个模型，是导致 近似多重共线性的重要原因，但近似多 重共线性更经常的原因是经济数据的共 同趋势。