第四章 多重共线性
第四章 多重共线性
2
( x2 i x3 i ) 2 x [1 2 x3 i
2 2i
2
2 2 x2 i (1 r23 )
ˆ Var( 3 ) 同样可得
2
2 2 x3 i (1 r23 )
ˆ ˆ Cov( 2 , 3 )
r23 2
2 2 2 (1 r23 ) x2 i x3 i
1 X X 21 X 31
1 X 22 X 32
1 X 2n X 3n
nX 3 X 2 i X 3 i 2 X 3 i
X 2 i
2 X 2 i X 2 i X 3 i
X 3 i n nX 2 2 X 2 i X 3 i nX 2 X 2 i 2 X 3 i nX 3 X 2 i X 3 i
其中vi为随机变量，则称解释变量X2、X3、 …、 Xk 之间存在着不完全的多重共线性。 注意：解释变量之间不存在线性关系，并非不存在 非线性关系，当解释变量之间存在非线性关 系时，并不违反古典假定。
5
二、产生多重共线性的背景
多重共线性产生的经济背景主要有几种情形：
1.经济变量之间具有相同的变化趋势。
10
n X X nX 2 nX 3 n 0
nX 2 X
2 2i
nX 3 X 2 i X 3 i
2 X 3 i
X 2 i X 3 i nX 2
2 2 X 2 i nX 2
X 2 i x2 i X 2 X 3 i x3 i X 3
nX 3
X 2 i X 3 i nX 2 X 3
这里r23是X2，X3的相关系数。
16
计量经济学第四章多重共线性
R-squared
0.989654
Adjusted R-squared 0.986955 S.E. of regression 1437.448 Sum squared resid 47523916 Log likelihood -256.7013 Durbin-Watson stat 1.654140
4
（二）不完全的多重共线性
实际中，常见的情形是解释变量之间存在不 完全的多重共线性。
对于解释变量 X 2 , X 3, X k，存在不全为0的数
1
,
2
,
，使得
k
1 2X2 3X3 ...k Xk u 0
5
（三）解释变量的关系小节
可能表现为三种情形： r为相关系数 (1) rxixj 0 ，解释变量间毫无线性关系。这时多元
Var(ˆ2 )
9
二、不完全多重共线性产生的后果
1、参数估计值的方差增大
Var( βˆ 2 ) = σ 2
1 x22i (1-
r223 )
=
σ2
1
x22i (1 - r223 )
当 r23增大时,
^
Var( 2)
也增大
10
方差膨胀因子 (Variance Inflation Factor)
17 17
2、交叉相关系数（Cross correlation）
相关系数计算的是两组样本的同期相关程 度，交叉相关则可以表示不同期之间的相关 程度。
Eviews操作： Group窗口的view/cross correlation/输入 滞后期设定/ 输出结果阅读：看是否超出2倍标准差线
18
2倍 标准 差线
1、参数估计值有很大的偶然性。 2、参数显著性检验未通过。 3、经济意义检验未通过。 4、相关系数大。
第四章多重共线性
2
x2j VIFj
注意：R2j 是多个解释变量辅助回归的多重可决系数，
而相关系数 r223只是说明两个变量的线性关系 。
（一元回归中可决系数的数值等于相关系数的平方）
17
方差扩大因子的作用
由
R2j 越大
VIFJ 1 (1 R2j ) 多重共线性越严重
VIFj越大
VIFj的大小可以反映解释变量之间存在多重共线性的严重
1 x22i (1
r223 )
2
x22i
1 (1 r223)
2
x22i
VIF2
当 r23 增大时，VIF2 增大， Var(ˆ2 ) 也会增大 ，
思考: 当 r23 0 时 Var(ˆ2) 2
x22i
(与一元回归比较)
当 r23 1 时 Var(ˆ2 )
（见前页结论） 8
三、当多重共线性严重时，甚至可能使估计
在总体中部分或全部解释变量可能没有线性关系，但是 在具体获得的样本中仍可能有共线性关系，因此多重共线 性问题本质上是一种样本现象。
正因为如此，我们无法对多重共线性问题进行统计假设 检验，只能设法评价解释变量之间多重共线性的严重程度。
5
第二节 多重共线性产生的后果
从参数估计看，在完全无多重共线性时，各解释变量都独
Kt
Kt
ln Qt ln A ln Lt ln Kt ln u
（ln Lt 与 ln Kt 有多重共线性） ln Qt ln A ln Lt ln u
Kt
Kt 22
三、截面数据与时间序列数据的结合
有时在时间序列数据中多重共线性严重的变量，在截 面数据中不一定有严重的共线性
假定前提：截面数据估计出的参数在时间序列中变化不大
计量经济学课件：第四章多重共线性
计量经济学课件：第四章多重共线性第四章多重共线性第⼀节违背基本假定的⼀般描述⼀、基本假定的回顾1、零均值假定。
2、同⽅差假定。
3、⽆⾃相关假定。
4、解释变量与随机误差项不相关。
5、⽆多重共线性假定。
6、正态性假定。
除此之外，还有⼀些需要注意的地⽅，回归模型关于参数线性；在重复抽样中X 值是固定的（或X 是⾮随机的）；X 的值要有变异；模型设定是正确的。
⼆、假定1和假定6违背的讨论1、违背假定1的情况。
（1）正确理解零均值假定是掌握所有假定的关键（参见Wooldridge ，计量经济学导轮现代观点，pp.23-25）。
（2）假定1不满⾜的数学描述。
设⼀元线性回归模型为121212'1212,1,2,,()0,i i i i i i i i i iY X u i nE u k E Y X E u X k k X X ββββββββββ=++==≠=++=++=++=+如果有则有（）（）（）由上式表明，这时在0≠）（i u E 下，改变的只是截距项，⽽对模型的线性结构并不影响。
（3）对假定1被破坏的解释。
通常在这种情况下，我们认为是变量所取的数据可能出现了异常表现，即有异常值。
因为按照零均值的意义，要求各个散点是均匀地分布在回归线的周围。
修正的⽅法将在后⾯虚拟变量部分介绍。
例如，我们分析江苏省社会商品消费品零售总额与江苏省城乡居民可⽀配收⼊之间的关系，发现在1991年该省的社会消费品零售总额存在异常值，表现为样本回归模型的残差在1991年有估计值与实际值存在明显的差异。
见下图和下表Dependent Variable: JSSHEHSPMethod: Least SquaresDate: 10/16/04 Time: 09:38Sample: 1980 1998Included observations: 19Variable Coefficient Std. Error t-Statistic Prob.R-squared 0.990391 Mean dependent var 751.2384Adjusted R-squared 0.989826 S.D. dependent var 728.4301S.E. of regression 73.47491 Akaike info criterion 11.53107Sum squared resid 91775.55 Schwarz criterion 11.63048Log likelihood -107.5451 F-statistic 1752.172Durbin-Watson stat 1.905133 Prob(F-statistic) 0.000000另⼀⽅⾯，有时通过变量的时序数据的样本折线图也可直接观察到样本是否存在异常表现。
多重共线性
第四章 多重共线性第一节 什么是多重共线性一、多重共线性的含义所谓多重共线性，不仅包括解释变量之间完全（精确）的线性关系，还包括解释变量之间近似的线性关系。
对于解释变量23,,,k X X X ，如果存在不全为零的数123,,,,k λλλλ ，能使得12233i i k ki X X X λλλλ++++ =0 ，（i =1,2,,n ）——即解释变量的数据矩阵的列向量组线性相关。
则称解释变量23,,,k X X X 之间存在着完全的线性关系。
用数据表示，解释变量的数据矩阵为X =213112232223111k k nnkn X X X XX X X X X ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦当()r X <k 时，也说明解释变量23,,,k X X X 之间存在着完全的线性关系。
当存在完全共线性时，至少有一个变量（列向量）可以用其余的变量（列向量）线性表出。
在实际问题中，完全的共线性并不多见。
常见的情形是解释变量23,,,k X X X 之间存在不完全的共线性，这是指存在不全为零是数123,,,,k λλλλ ，使得12233λλλλ+++++ i i k ki i X X X v =0（i =1,2,,n ）其中i v 是随机变量。
这表明此时解释变量之间只是一种近似的线性关系。
二、产生多重共线性的背景1.经济变量之间具有共同的变化趋势2.模型中包含滞后变量3.利用截面数据建立模型也可能出现共线性4. 样本数据自身的原因第二节 多重共线性产生的后果完全共线性时，矩阵X X '不可逆，参数估计式ˆβ=1()X X X Y -''不存在，OLS 无法应用。
不完全的共线性时，1()X X -'也存在，可以得到参数的估计值，但是对计量经济分析可能会产生一系列影响。
一、参数估计量的无偏性依然成立不完全共线性时ˆ()E β=1()E X X X Y -''⎡⎤⎣⎦=1()()E X X X X U β-''⎡⎤+⎣⎦=β+()1()X X X E U -''=β二、参数OLS 估计值方差扩大 如二元回归模型i Y =12233i i i X X u βββ+++中的2X 与3X 为不完全的共线性时，2X 与3X 之间的相关系数23r 可由下式给出223r=2232223()x x x x∑∑∑容易证明2ˆ()Var β=222223(1)i x r σ-∑3ˆ()Var β=222323(1)ixr σ-∑随着共线性的程度增加，23r 的绝对值趋于1，两个参数估计量的方差也增大。
第四章第二节 多重共线性产生的后果
Y E(Y ) 1 2 X2 3 X3
二元线性回归模型 Y 1 2 X 2 3 X3 u
其离差形式为： y 2 x2 3x3 u
y 2 x2 3 x3 e
2和 3 的估计式
ˆ2 (
yx2 )( x32 ) ( yx3 )( x2 x3 ) ( x22 )( x32 ) ( x2 x3 )2
x31x32 x3n xk1xk 2xkn (k1)n
y x e, xy xx xe xx ,即为正规方程组
x21x22 x2n y1 x31x32 x3n y2 xk1xk2 xkn yn
r24 0.9632 r35 0.8435 r46 0.9248
r25 0.4569 r36 0.5494 r56 0.5438
r26 0.8569
表明一些解释变量之间确实存在共线性。
***离差形式的最小二乘估计量
多元线性总体回归模型有：
Yi 1 2 X 2i 3 X 3i k X ki ui Y 1 2 X2 3 X3 k Xk Yi Y 2 ( X 2i X 2 ) 3 ( X 3i X 3 ) k ( X ki X k ) ui yi 2 x2i 3 x3i k xki ui
x22 )2
x22 )
(
yx2
) 2 ( y)( ( x22 )( 2 )
x22 )
通过上式可以看出，随着 X2、X3 共线性程度的越
高，即 愈向零靠近，从而 ˆ2 就会愈趋向于不确定
计量经济学(第四章多重共线性)
06
总结与展望
研究结论总结
多重共线性现象普遍存在于经济数据中，对计量 经济学模型的估计和解释产生了重要影响。
通过使用多种诊断方法，如相关系数矩阵、方差膨 胀因子（VIF）和条件指数（CI），可以有效地识别 多重共线性问题。
在存在多重共线性的情况下，普通最小二乘法 （OLS）估计量虽然仍然是无偏的，但其方差可能 变得很大，导致估计结果不稳定。
主成分分析法的优点
可以消除多重共线性的影响，同 时降低自变量的维度，简化模型。
岭回归法
岭回归法的基本思想
通过在损失函数中加入L2正则化项（即所有自变量的平方和），使得回归系数的估计更加稳定， 从而消除多重共线性的影响。
岭回归法的步骤
首先确定正则化参数λ的值，然后求解包含L2正则化项的损失函数最小化问题，得到岭回归系数的估 计值。
逐步回归法的优点
可以自动选择重要的自变量，同时消除多重共线性的影响。
主成分分析法
主成分分析法的基本思想
通过正交变换将原始自变量转换 为互不相关的主成分，然后选择 少数几个主成分进行回归分析。
主成分分析法的步骤
首先对原始自变量进行标准化处理， 然后计算相关系数矩阵并进行特征值 分解，得到主成分及其对应的特征向 量。最后，选择少数几个主成分作为 新的自变量进行回归分析。
岭回归法的优点
可以有效地处理多重共线性问题，同时避免过拟合现象的发生。此外，岭回归法还可以提供对所 有自变量的系数进行压缩估计的功能，使得模型更加简洁易懂。
05
实证研究与结果分
析
数据来源及预处理
数据来源
本研究采用的数据集来自于公开的统 计数据库，涵盖了多个经济指标和影 响因素的观测值。
数据预处理
计量经济学第四章 多重共线性
x2i
3 2
x3i
x3i
参数的估计值为：
ˆ2
x32i x2i yi x2i x3i x3i yi
(
x22i )(
x32i ) (
x2i
x 3i
)2
x32i
2
x3i yi x32i 2 2
x32i x32i
x2i x3i x22i
x2i x3i
ˆ1 Y ˆ2 X 2 ˆ3 X 3
ˆ2
x32i x2i yi x2i x3i x3i yi ( x22i )( x32i ) ( x2i x3i )2
ˆ3
x22i x3i yi x2i x3i x2i yi •
(
x22i )(
x32i ) (
x2i
x 3i
)
2
x2i yi x3i yi
x2i x3i x32i
4.2多重共线性的后果
如果X1和X2完全线性相关，则存在非0的λ使得：
1 2 X 2i 3 X 3i 0
则有：
1 2 X 2 3 X 3 0
2 X 2i X 2 3 X3i X3 0
X 2i X3i X 2iYi
X
2 3i
X
3iYi
VAR
COV
(βˆ )
2
(XX)1
2
N X 2i
X 3i
X2i
X
2 2i
X 2i X 3i
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
i 1, 2,..., n
其中， u i 为随机变量。这表明解释变量 X 2 , X 3 , X k 只是一种近似的线性关系。
10
无多重共线性
如果解释变量之间不存在上述关系，则称解 释变量之间无多重共线性．此时：
Rank ( X ) k
Rank ( X X ) K
1
X X 0即 X X 存在
1.其中的Ri2 接近 ，Fi 显著的大于临界值 1 则X i 与其余解释变量存在多 重共线性
2 2 2 2.Ri2 Ma x( R1 , R2 , , Rk ), Ri2 越接近R 2，
Fi 显著的大于临界值，则 i 与其余解释 X 变量存在多重共线性。
25
三、方差扩大（膨胀）因子法
ˆ 统计上可以证明，解释变量 X j 的参数估计式 β j 的方差可表示为
▲ 从偏回归系数意义看：在 X 2 和 X 3完全共线性时，无法保
持 X 3 不变，去单独考虑 X 2 对Y 的影响（ X 2 和 X 3 的影响 不可区分）
0 ˆ β2 = ▲ 从OLS估计式看：可以证明此时 0
2.参数估计值的方差无限大
OLS估计式的方差成为无穷大： Var( ) ˆ 2
16
二、不完全多重共线性产生的后果
ˆ （ X X 0则 X X）1 X Y
ˆ 仍满足线性，无偏性和 最小方差性。
ˆ 2 而 X X 0，Var Cov（） （X X）1
中对角线元素值将很大 。 共线变量的参数， OLS估计值方差将很大。
17
如果模型中存在不完全的多重共线性，可以得到参数的估计 值，但是对计量经济分析可能会产生一系列的影响。 1.参数估计值的方差增大
22
X i 与X j 之间的相关系数 rij
( X X )( X X ) (X X ) (X X
i i j j 2 i i j
j)
2
相关系数矩阵ij rji为对称矩阵 r
Klein判别公式:
若r R , 则两变量
2 ij 2
X i与X j 之间的共线性较为严重
23
-3.695704
0.0015
5897.824 5945.854 15.41665 15.75537
Akaike info criterion Schwarz criterion
Log likelihood
Durbin-Watson stat
-193.4165
1.873809
F-statistic
Prob(F-statistic)
24
二、辅助回归检验法
将每个解释变量 i 对其他的解释变量 X 进行回归。得 个回归方程 K
2 X 1 f ( X 2 , X 3 , , X k ) R1 和F 1 2 X 2 f ( X 1 , X 3 , , X k ) R2 和F2 2 X k f ( X 1 , X 2 , , X k 1 ) Rk 和Fk
13
第二节 多重共线性产生的后果
本节基本内容: ●完全多重共线性产生的后果 ●不完全多重共线性产生的后果
14
一、完全多重共线性产生的后果
X X 0即 X X 不存在
1 1 ˆ X X） X Y 而 （ ˆ无法估计 导致
15
1.参数的估计值不确定
当解释变量完全线性相关时 ——OLS 估计式不确定
建筑业增加值JZZ
总人口TPOP 最终消费CUM 受灾面积SZM
-1.527089
0.151160 0.101514 -0.036836
1.206242
0.033759 0.105329 0.018460
-1.265989
4.477646 0.963783 -1.995382
0.2208
0.0003 0.3473 0.0605
X 0即 X 不存在 X X
1
9
不完全的多重共线性 实际中，常见的情形是解释变量之间存在不完 全的多重共线性。 对于解释变量 X 2 , X 3 , X k，存在不全为0的数 1 , 2 ,k，使得
1 2 X 2i 3 X 3i ... k X ki ui 0
采用普通最小二乘法得到以下估计结果
2
财政收入模型的EViews估计结果
Variable 农业增加值NZ 工业增加值GZ Coefficient -1.535090 0.898788 Std. Error 0.129778 0.245466 t-Statistic -11.82861 3.661558 Prob. 0.0000 0.0017
注意：
1.较高的简单相关系数只是多重共线性存在的充分条件，
而不是必要条件。 2.只适用于两个解释变量之间存在线性相关检验,对于三个 或更多的解释变量之间存在的线性相关关系不适用 3.相关系数很大则必存在多重共线性,而相关系数很小却未
必没有多重共线性.特别是在多于两个解释变量的回归模型
中，有时较低的简单相关系数也可能存在多重共线性。因 此并不能简单地依据相关系数进行多重共线性的准确判断。
ˆ Var ( i )
xi2
2
1 . 1 Ri2
1 VIFi 1 Ri2 称为方差膨胀因子．
其中：
当Leabharlann Ri2 X i2 对其他解释变量做辅助回归模型的决定系数 为
X i2 与其他解释变量存在严重的多重共线性时： ˆ Ri2 1 VIF ,Var(i ) , i
(2) rxi x j 1 ，解释变量间完全共线性。此时模型参 数将无法确定。
1 (3) 0＜rxi x j ＜ ，解释变量间存在一定程度的线性关 系。实际中常遇到的情形。
12
二、产生多重共线性的原因
多重共线性产生的经济背景主要有几种情形： 1.经济变量之间往往存在同方向的变化趋势。当他们被引入同一个模型成为 解释变量时，会出现多重共线性． 2.模型中包含滞后变量，变量各期值之间有可能高度相关。 3.利用截面数据建立模型也可能出现多重共线性。
4.经济变量之间往往存在着密切的内在关联度，要素之间互相制约，互相依 存。
5.样本数据自身的原因，数据收集的范围过窄，造成某些解释变量之间似乎 有相同或相反变化趋势的假象。 ６.在建模过程中由于解释变量选择不当，引起变量之间的多重共线性 注：解释变量之间的多重共线性不可避免，只可能使多重共线性的程度尽可 能地减弱．
计量经济学
第四章 多重共线性
1
引子： 发展农业和建筑业会减少财政收入吗？
为了分析各主要因素对财政收入的影响，建立财政收 入模型: CSi 0 1 NZ i 2GZi 3 JZZi
4TPOP 5CUM i 6 SZMi ui i
其中: CS财政收入(亿元) ; NZ农业增加值(亿元); GZ工业增加值(亿元); JZZ建筑业增加值(亿元); TPOP总人口(万人); CUM最终消费(亿元); SZM受灾面积(万公顷) 数据样本时期1978年-2003年（资料来源：《中国统计年鉴 2004》，中国统计出版社2004年版）
σ2 1 σ2 ˆ Var( β j ) = = VIFj 2 2 2 x j 1- Rj x j
其中的 VIFj 是变量 X j 的方差扩大因子 1 (Variance Inflation Factor)，即 VIFj = 1- R2 j 其中 R 2 是多个解释变量辅助回归的可决系数 j
26
经验规则
●方差膨胀因子越大，表明解释变量之间的多重共 性越严重。反过来，方差膨胀因子越接近于1，
多重共线性越弱。
●经验表明，方差膨胀因子≥10时，说明解释变量
与其余解释变量之间有严重的多重共线性，且这
种多重共线性可能会过度地影响最小二乘估计。
27
四、直观判断法
根据回归结果判断也叫不显著系数检验法
20
第三节 多重共线性的检验
本节基本内容：
● 简单相关系数检验法
● 方差扩大（膨胀）因子法 ● 直观判断法 ● 逐步回归法
21
一、简单相关系数检验法
含义：简单相关系数检验法是利用解释变量之间
的线性相关程度去判断是否存在严重多重共线性 的一种简便方法。 判断规则：一般而言，如果每两个解释变量的简 单相关系数(零阶相关系数)比较高，例如大于0.8， 则可认为存在着较严重的多重共线性。
1.从定性分析认为，一些重要的解释变量的回归系数
的标准误差较大，在回归方程中没有通过显著性检 验时，可初步判断可能存在严重的多重共线性。
如果R 2 (或R 2 )很大，一般 2 0.8 R
F检验大于给定显著性水平下的临界值.但模型中的全
部或部分参数估计值却不显著,或系数估计值的符号
18
2.对参数区间估计时，
ˆ Var Cov( ) 2 ( X )1 变大。 X
置信区间趋于变大区间估计失去可靠性；预测区间变
大，降低预测精度． 3.假设检验容易作出错误的判断，检验的可靠性降低，
可能导致在假设检验中舍去重要的解释变量．
ˆ i t ~ t (n k ) ˆ ˆ ( ) SE i ˆ ˆ ˆ Va r ( i )增 大 ，SE ( i )增 大 ，t变 小 而 t t
注意：Ｋ 个解释变量不存在多重共线性 （线性相关）并不能说明它们之间无关，不 存在非线性关系．
11
回归模型中解释变量的关系
可能表现为三种情形： (1) rxi x j 0 ，解释变量间毫无线性关系，变量间相
互正交。这时已不需要作多元回归，每个参数j都可 以通过Y 对 Xj 的一元回归来估计。
截距项
R-squared Adjusted R-squared S.E. of regression Sum squared resid