第四章多重共线性数据集
第四章多重共线性
2
x2j VIFj
注意：R2j 是多个解释变量辅助回归的多重可决系数，
而相关系数 r223只是说明两个变量的线性关系 。
（一元回归中可决系数的数值等于相关系数的平方）
17
方差扩大因子的作用
由
R2j 越大
VIFJ 1 (1 R2j ) 多重共线性越严重
VIFj越大
VIFj的大小可以反映解释变量之间存在多重共线性的严重
1 x22i (1
r223 )
2
x22i
1 (1 r223)
2
x22i
VIF2
当 r23 增大时，VIF2 增大， Var(ˆ2 ) 也会增大 ，
思考: 当 r23 0 时 Var(ˆ2) 2
x22i
(与一元回归比较)
当 r23 1 时 Var(ˆ2 )
（见前页结论） 8
三、当多重共线性严重时，甚至可能使估计
在总体中部分或全部解释变量可能没有线性关系，但是 在具体获得的样本中仍可能有共线性关系，因此多重共线 性问题本质上是一种样本现象。
正因为如此，我们无法对多重共线性问题进行统计假设 检验，只能设法评价解释变量之间多重共线性的严重程度。
5
第二节 多重共线性产生的后果
从参数估计看，在完全无多重共线性时，各解释变量都独
Kt
Kt
ln Qt ln A ln Lt ln Kt ln u
（ln Lt 与 ln Kt 有多重共线性） ln Qt ln A ln Lt ln u
Kt
Kt 22
三、截面数据与时间序列数据的结合
有时在时间序列数据中多重共线性严重的变量，在截 面数据中不一定有严重的共线性
假定前提：截面数据估计出的参数在时间序列中变化不大
多重共线性
第四章 多重共线性第一节 什么是多重共线性一、多重共线性的含义所谓多重共线性，不仅包括解释变量之间完全（精确）的线性关系，还包括解释变量之间近似的线性关系。
对于解释变量23,,,k X X X ，如果存在不全为零的数123,,,,k λλλλ ，能使得12233i i k ki X X X λλλλ++++ =0 ，（i =1,2,,n ）——即解释变量的数据矩阵的列向量组线性相关。
则称解释变量23,,,k X X X 之间存在着完全的线性关系。
用数据表示，解释变量的数据矩阵为X =213112232223111k k nnkn X X X XX X X X X ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦当()r X <k 时，也说明解释变量23,,,k X X X 之间存在着完全的线性关系。
当存在完全共线性时，至少有一个变量（列向量）可以用其余的变量（列向量）线性表出。
在实际问题中，完全的共线性并不多见。
常见的情形是解释变量23,,,k X X X 之间存在不完全的共线性，这是指存在不全为零是数123,,,,k λλλλ ，使得12233λλλλ+++++ i i k ki i X X X v =0（i =1,2,,n ）其中i v 是随机变量。
这表明此时解释变量之间只是一种近似的线性关系。
二、产生多重共线性的背景1.经济变量之间具有共同的变化趋势2.模型中包含滞后变量3.利用截面数据建立模型也可能出现共线性4. 样本数据自身的原因第二节 多重共线性产生的后果完全共线性时，矩阵X X '不可逆，参数估计式ˆβ=1()X X X Y -''不存在，OLS 无法应用。
不完全的共线性时，1()X X -'也存在，可以得到参数的估计值，但是对计量经济分析可能会产生一系列影响。
一、参数估计量的无偏性依然成立不完全共线性时ˆ()E β=1()E X X X Y -''⎡⎤⎣⎦=1()()E X X X X U β-''⎡⎤+⎣⎦=β+()1()X X X E U -''=β二、参数OLS 估计值方差扩大 如二元回归模型i Y =12233i i i X X u βββ+++中的2X 与3X 为不完全的共线性时，2X 与3X 之间的相关系数23r 可由下式给出223r=2232223()x x x x∑∑∑容易证明2ˆ()Var β=222223(1)i x r σ-∑3ˆ()Var β=222323(1)ixr σ-∑随着共线性的程度增加，23r 的绝对值趋于1，两个参数估计量的方差也增大。
计量经济学(第四章多重共线性)
06
总结与展望
研究结论总结
多重共线性现象普遍存在于经济数据中，对计量 经济学模型的估计和解释产生了重要影响。
通过使用多种诊断方法，如相关系数矩阵、方差膨 胀因子（VIF）和条件指数（CI），可以有效地识别 多重共线性问题。
在存在多重共线性的情况下，普通最小二乘法 （OLS）估计量虽然仍然是无偏的，但其方差可能 变得很大，导致估计结果不稳定。
主成分分析法的优点
可以消除多重共线性的影响，同 时降低自变量的维度，简化模型。
岭回归法
岭回归法的基本思想
通过在损失函数中加入L2正则化项（即所有自变量的平方和），使得回归系数的估计更加稳定， 从而消除多重共线性的影响。
岭回归法的步骤
首先确定正则化参数λ的值，然后求解包含L2正则化项的损失函数最小化问题，得到岭回归系数的估 计值。
逐步回归法的优点
可以自动选择重要的自变量，同时消除多重共线性的影响。
主成分分析法
主成分分析法的基本思想
通过正交变换将原始自变量转换 为互不相关的主成分，然后选择 少数几个主成分进行回归分析。
主成分分析法的步骤
首先对原始自变量进行标准化处理， 然后计算相关系数矩阵并进行特征值 分解，得到主成分及其对应的特征向 量。最后，选择少数几个主成分作为 新的自变量进行回归分析。
岭回归法的优点
可以有效地处理多重共线性问题，同时避免过拟合现象的发生。此外，岭回归法还可以提供对所 有自变量的系数进行压缩估计的功能，使得模型更加简洁易懂。
05
实证研究与结果分
析
数据来源及预处理
数据来源
本研究采用的数据集来自于公开的统 计数据库，涵盖了多个经济指标和影 响因素的观测值。
数据预处理
第四章多重共线性
Std. Error t-Statistic
0.129778
-11.82861
0.245466
3.661558
1.206242 -1.265989
0.033759
4.477646
0.105329
0.963783
0.018460
-1.995382
3191.096 -3.695704
Mean dependent var
30
3. 有些解释变量的回归系数所带正负号与定性分 析结果违背时，很可能存在多重共线性。
4.简单相关系数法：解释变量的相关矩阵中，自变 量之间的相关系数较大时，可能会存在多重共线 性问题。判断规则：一般而言，如果每两个解释 变量的简单相关系数比较高，例如大于0.8，则 可认为存在着较严重的多重共线性。
22
仍以二元线性模型 y=1x1+2x2+ 为例:
var(ˆ1)
2
(X
X
) 1 11
2 x22i
2 / x12i
x12i x22i ( x1i x2i )2 1 ( x1i x2i )2
x12i
x22i
2
x12i
1
1 r
2
(
x1i x2i ) 2 x12i x22i
恰为X1与X2的线性相关系数的平方r2
31
注意：
较高的简单相关系数只是多重共线性存在的充分 条件，而不是必要条件。特别是在多于两个解释 变量的回归模型中，有时较低的简单相关系数也 可能存在多重共线性。因此并不能简单地依据相 关系数进行多重共线性的准确判断。
16
（3）样本数据自身的原因。 由于完全符合理论模型所要求的样本数据较 难收集，特定样本可能存在某种程度的多重共线 性。 一般经验： 时间序列数据样本：简单线性模型，往往 存在多重共线性。 截面数据样本：问题不那么严重，但多重 共线性仍然是存在的。
第四章 多重共线性 《计量经济学》PPT课件
SE
(
ˆ
j
)
ˆ
x
2 ji
VIFj
参数估计区间的增大，也会造成预测区间增大，使 得预测不稳定。
3．参数估计量的方差和估计区间增大，使检验容 易出现错误判断。
在不完全多重共线性情况下，参数估计区间增大， 会使得假设检验中参数估计值落入接受区域的概 率增大，也就是说，本来应该拒绝原假设反而不 拒绝。
在对模型参数的 t-检验中，由于参数估计量的标准
| XX | 0
• (XX)1对角线上的元素为无限大，从而 ˆ j 的方差
和标准差也为无限大
• 二元线性回归模型
X 3i X 2i
Var(ˆ3 )
x22i
x22i x32i (
x2i x3i )2
2
x22i
x22i
2 x22i (
x2i x2i )2
2
x22i 0
2
Var(ˆ2 )
差增大而使得值变小，结果造成本应该拒绝原假
设反而不拒绝，即t -检验不能通过。
可决系数 R2会很高，F-检验也显著，但是，对参数
的 t-检验可能不显著，甚至出现偏回归系数的符
号与实际经济现象恰好相反，从而得出错误结论。
§4.3 多重共线性的检验
1．相关系数检验法
两个解释变量的简单相关系数大于0.8的情况下，便认为 存在较严重的多重共线性。当解释变量的个数大于2的时 候，不仅要计算俩俩解释变量的简单相关系数，还要检测 偏相关系数。
x22i
x32i x32i (
x2i x3i )2
2
x22i
2 x22i 2 x22i (
x2i x2i )2
2
2
0
《多重共线性》课件
诊断方法比较
检验统计量
检验统计量提供量化指标，可以 明确指出多重共线性的程度，但 其依赖于样本数据，稳定性相对
较差。
图形化诊断
图形化诊断直观易理解，但可能存 在主观性，并且难以量化多重共线 性的程度。
综合运用
在实际应用中，应综合运用多种方 法进行多重共线性的诊断，以确保 诊断结果的准确性和可靠性。
Condition Index
Condition Index是诊断多重共线性的另一种统计量，当某些Condition Index值特别 大时，可能存在多重共线性问题。
图形化诊断
散点图
通过绘制自变量间的散点图，可以直 观地观察到是否存在线性关系，从而 初步判断是否存在多重共线性问题。
相关系数矩阵
通过绘制相关系数矩阵，可以观察到 自变量间的相关系数，当某两个自变 量的相关系数接近1或-1时，可能存 在多重共线性问题。
多重共线性的影响
参数估计值不稳定
01
模型中的参数估计值会随着样本的微小变化而发生较大的变化
，导致模型预测的不稳定性。
模型预测精度降低
02
由于参数估计值的不准确，会导致模型的预测精度降低，预测
结果的可信度下降。
模型解释性差
03
由于解释变量之间的高度相关关系，使得模型难以解释各个解
释变量对因变量的影响程度，降低了模型的解释性。
多重共线性PPT课件
目 录
• 多重共线性的定义 • 多重共线性的成因 • 多重共线性的诊断 • 多重共线性的处理 • 案例分析
01
多重共线性的定义
什么是多重共线性
1
共线性是指解释变量之间存在高度相关性的现象 。
2
在多元线性回归模型中，如果解释变量之间存在 高度相关关系，会导致模型估计的参数不准确， 甚至出现完全错误的结论。
解决多重共线性的方法
解决多重共线性的方法多重共线性是回归分析中常见的问题之一，指的是自变量之间存在高度相关关系，导致回归分析结果不准确、稳定性差。
解决多重共线性问题的主要方法有以下几种：1. 删除相关性较高的自变量：检查自变量之间的相关性，当相关系数大于0.7或0.8时，考虑删除其中一个自变量。
通常选择与因变量相关性更强的自变量作为模型的预测变量。
2. 增加样本量：多重共线性问题的一个原因是样本量较小，数据集中存在较少的观测点。
增加样本量可以减少误差，增强回归模型的稳定性。
3. 主成分分析（Principal Component Analysis, PCA）：PCA是一种常用的降维方法，可以将高维的自变量空间转化为低维空间，去除自变量之间的相关性。
首先利用相关系数矩阵进行特征值分解，然后根据特征值大小选取主成分，最后通过线性变换将原始自变量转化为主成分。
4. 岭回归（Ridge Regression）：岭回归是一种正则化方法，通过增加一个正则项（L2范数）来限制模型中系数的大小，从而减小共线性的影响。
岭回归可以在一定程度上缓解多重共线性问题，但会引入一定的偏差。
5. 奇异值分解（Singular Value Decomposition, SVD）：奇异值分解是一种常用的矩阵分解方法，可以将自变量矩阵分解为三个矩阵的乘积，其中一个矩阵表示主成分。
通过去除奇异值较小的主成分，可以减少共线性问题。
6. 距离相关系数（Variance Inflation Factor, VIF）：VIF用于度量自变量之间的相关性程度，计算每个自变量的VIF值，若VIF值大于10，则认为存在严重的多重共线性问题。
通过删除VIF值较高的自变量，可以解决多重共线性。
除了以上方法，还需注意以下问题：1. 尽量选择“经济学意义上的变量”作为自变量，避免冗余变量的引入。
2. 如果共线性问题严重，即使通过降维方法或者删除变量，仍然无法解决，可以考虑选择其他回归模型，如岭回归、Lasso回归等，这些模型在设计时已经考虑到了多重共线性问题。
多重共线性问题课件
多重共线性的表现形式
相关性矩阵
通过计算自变量之间的相关性矩阵，可以发现高度相关的自变量 。
特征值
在多重共线性情况下，某些特征值的绝对值会接近于0，这表明自 变量之间存在高度相关。
方差膨胀因子
数据收集阶段预防
总结词
在数据收集阶段，预防多重共线性的关键是保证 数据的准确性和完整性，以及合理的数据样本量 。
总结词
在数据收集阶段，可以通过增加样本量来降低多 重共线性的影响。
详细描述
数据的质量直接关系到模型的准确性和可靠性， 因此需要确保数据的准确性和完整性。此外，合 理的数据样本量可以降低随机误差的影响，提高 模型的稳定性和可靠性。
多重共线性问题的
03
诊断
特征值诊断法
总结词
通过计算模型中自变量的特征值来判断是否存在多重共线性问题。
详细描述
特征值诊断法是通过计算自变量的特征值来判断自变量之间的相关性。如果自变量的特征值接近于零 ，说明该自变量与其他自变量高度相关，存在多重共线性问题。
条件指数法
总结词
通过计算自变量之间的条件指数来判断 是否存在多重共线性问题。
VS
详细描述
条件指数是一种衡量自变量之间相关性的 指标，如果条件指数大于一定阈值，说明 自变量之间存在多重共线性问题。
方差膨胀因子法
总结词
通过计算自变量的方差膨胀因子来判 断是否存在多重共线性问题。
详细描述
方差膨胀因子是衡量自变量对因变量 影响的放大程度，如果方差膨胀因子 大于一定阈值，说明自变量之间存在 多重共线性问题。
Байду номын сангаас