多重共线性
第四章 多重共线性
二、产生多重共线性的背景
多重共线性产生的经济背景主要有几种情形： 1.经济变量之间具有相同的变化趋势。 2.模型中包含滞后变量。 3.利用截面数据建立模型也可能出现多重共线性。 4.样本数据的原因。
6
第二节 多重共线性的后果
一、完全多重共线性产生的后果
1.参数的估计值不确定 2.参数估计值的方差无限大
Cov( ˆ2 ,
ˆ3 )
(1
r223 )
r23 2
x22i
x32i
随着共线性增加，r23趋于1，方差将增大。同样 协方差的绝对值也增大，它们增大的速度决定于
方差扩大（膨胀）因子(variance inflation factor, VIF)
VIF
1
1 r223
这时
Var(ˆ2 )
4.多重共线性严重时，甚至可能使估计的回归系数 符号相反，得出完全错误的结论。（如引例）
18
第三节 多重共线性的检验
本节基本内容： 简单相关系数检验法 方差扩大因子法 直观判断法 病态指数检验法 逐步回归法
19
一、简单相关系数检验法 简单相关系数检验法是利用解释变量之间的线性 相关程度去判断是否存在严重多重共线性的一种 简便方法。适用于只有两个变量的情形。
2
x32i 0
同理
ˆ3
这说明完全多重共线性时，参数估计量的方差将 变成无穷大。
9
关于方差的推导
Var(ˆ2 )
x32i (x22i ) (x32i )
(x2i x3i )2
2
1 X21 X 1 X22
1 X2n
多重共线性
多重共线性多重共线性（multicollinearity ）的特征● 多重共线性是指一个回归模型中的一些或全部解释变量之间存在有一种“完全”或准确的线性关系：0...2211=+++k k X X X λλλ其中k λλλ,...,,21为常数，但不同时为零。
● 0...2211≈+++k k X X X λλλ， 近似的多重共线性● 通过巴伦坦图做简单的描述。
共线性部分可用两圆圈的重叠部分来衡量。
重叠部分越大，共线性程度越高。
● 我们定义的多重共线性仅对X 变量之间的线性关系而言，它们之间的非线性关系并不违反无多重共线性的假设i i i i u X X Y +++=2210βββ多重共线性的后果●如果多重共线性是完全的，诸X变量的回归系数将是不正确的，并且它们的标准误差为无穷大●如果多重共线性是不完全的，那末，虽然回归系数可以确定，却有较大的标准误差，意思是，系数不能以很高的精确或准精确加以估计，这会导致：-参数估计不精确，也不稳定-参数估计量的标准差较大，影响系数的显著性检验●多重共线性产生的后果具有一定的不确定性●在近似的多重共线性的情况下，只要模型满足CLRM 假定，回归系数就为ＢＬＵＥ，但特定的样本估计量并不一定等于真值。
多重共线性的来源（1）许多经济变量在时间上由共同变动的趋势，如：收入，投资，消费（2）把一些经济变量的滞后值也作为解释变量在模型中使用，而解释变量和滞后变量通常相关，如：消费和过去的收入多重共线性一般与时间序列有关，但在横截面数据中也经常出现多重共线性的检验● 多重共线性是普遍存在的，造成的后果也比较复杂，对多重共线性的检验缺少统一的准则－ 对有两个解释变量的模型，作散点图，或相 关系数，或拟和优度Ｒ平方。
－ 对有多个解释变量的模型，分别用一个解释 变量对其它解释变量进行线性回归，计算拟 和优度22221,...,,k R R R－ 考察参数估计值的符号，符不符合理论 － 增加或减少解释变量，考察参数估计值的变 化－ 对比拟和优度和ｔ检验值多重共线性的修正方法● 增加样本观测值，如果多重共线性是由样本引起的，可以通过收集更多的观测值增加样本容量。
计量经济学第四章多重共线性
R-squared
0.989654
Adjusted R-squared 0.986955 S.E. of regression 1437.448 Sum squared resid 47523916 Log likelihood -256.7013 Durbin-Watson stat 1.654140
4
（二）不完全的多重共线性
实际中，常见的情形是解释变量之间存在不 完全的多重共线性。
对于解释变量 X 2 , X 3, X k，存在不全为0的数
1
,
2
,
，使得
k
1 2X2 3X3 ...k Xk u 0
5
（三）解释变量的关系小节
可能表现为三种情形： r为相关系数 (1) rxixj 0 ，解释变量间毫无线性关系。这时多元
Var(ˆ2 )
9
二、不完全多重共线性产生的后果
1、参数估计值的方差增大
Var( βˆ 2 ) = σ 2
1 x22i (1-
r223 )
=
σ2
1
x22i (1 - r223 )
当 r23增大时,
^
Var( 2)
也增大
10
方差膨胀因子 (Variance Inflation Factor)
17 17
2、交叉相关系数（Cross correlation）
相关系数计算的是两组样本的同期相关程 度，交叉相关则可以表示不同期之间的相关 程度。
Eviews操作： Group窗口的view/cross correlation/输入 滞后期设定/ 输出结果阅读：看是否超出2倍标准差线
18
2倍 标准 差线
1、参数估计值有很大的偶然性。 2、参数显著性检验未通过。 3、经济意义检验未通过。 4、相关系数大。
多重共线性
第二章知多元线性回归模型参数向量的最小二乘估计量为: 1 X X X Y 这一表达式成立的前提条件是解释变量X 1 , X 2 , X k 之间没有多重共线性. 如果矩阵X 不是满秩的,则X X 也不是满秩的.必有: X X 0, 从而 X X 不存在, OLS失效, 此时称该模型存在完全的多重共线性.
解释变量的精确线性组合表示,它们的相关系数的绝对值为1.
X s ,h =
Var X is Var X ih ch cs
n
Cov( X is , X ih )
n
n i 1
( X is X is )( X ih X ih )
2
i1 ( X is X is )
则:
x y x
i1 i 2 i1
, 而1与 2却无法估计.
2 在近似共线性下OLS参数估计量的方差变大
我们前面已论述, 在近似共线性下,虽然可以得到OLS估计量: ) X X 1 2 Var (
由于此时 X X 0, 引起 X X 主对角线元素较大, 即 i的方差较大.
1
对此, 如果我们合并两个(或多个)高度线性相关的变量, 可以使用OLS , 但两个(或多个)变量前的参数将无法估计. 例如,对于回归模型:Yi 0 1 X i1 2 X i 2 i i 1, 2 , n 如果有:X i 2 X i1 , 合并两变量 : Yi 0 1 2 X i1 i , 令 1 2 ,
n
( X ih X ih ) i1
n 2
2
1 X s , h 1 在近似的多重共线性下则得不到这样的精确线性组合, 它们的相关系数的绝对值近似为1.
第四章多重共线性
2
x2j VIFj
注意：R2j 是多个解释变量辅助回归的多重可决系数，
而相关系数 r223只是说明两个变量的线性关系 。
（一元回归中可决系数的数值等于相关系数的平方）
17
方差扩大因子的作用
由
R2j 越大
VIFJ 1 (1 R2j ) 多重共线性越严重
VIFj越大
VIFj的大小可以反映解释变量之间存在多重共线性的严重
1 x22i (1
r223 )
2
x22i
1 (1 r223)
2
x22i
VIF2
当 r23 增大时，VIF2 增大， Var(ˆ2 ) 也会增大 ，
思考: 当 r23 0 时 Var(ˆ2) 2
x22i
(与一元回归比较)
当 r23 1 时 Var(ˆ2 )
（见前页结论） 8
三、当多重共线性严重时，甚至可能使估计
在总体中部分或全部解释变量可能没有线性关系，但是 在具体获得的样本中仍可能有共线性关系，因此多重共线 性问题本质上是一种样本现象。
正因为如此，我们无法对多重共线性问题进行统计假设 检验，只能设法评价解释变量之间多重共线性的严重程度。
5
第二节 多重共线性产生的后果
从参数估计看，在完全无多重共线性时，各解释变量都独
Kt
Kt
ln Qt ln A ln Lt ln Kt ln u
（ln Lt 与 ln Kt 有多重共线性） ln Qt ln A ln Lt ln u
Kt
Kt 22
三、截面数据与时间序列数据的结合
有时在时间序列数据中多重共线性严重的变量，在截 面数据中不一定有严重的共线性
假定前提：截面数据估计出的参数在时间序列中变化不大
多重共线性
第四章 多重共线性第一节 什么是多重共线性一、多重共线性的含义所谓多重共线性，不仅包括解释变量之间完全（精确）的线性关系，还包括解释变量之间近似的线性关系。
对于解释变量23,,,k X X X ，如果存在不全为零的数123,,,,k λλλλ ，能使得12233i i k ki X X X λλλλ++++ =0 ，（i =1,2,,n ）——即解释变量的数据矩阵的列向量组线性相关。
则称解释变量23,,,k X X X 之间存在着完全的线性关系。
用数据表示，解释变量的数据矩阵为X =213112232223111k k nnkn X X X XX X X X X ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦当()r X <k 时，也说明解释变量23,,,k X X X 之间存在着完全的线性关系。
当存在完全共线性时，至少有一个变量（列向量）可以用其余的变量（列向量）线性表出。
在实际问题中，完全的共线性并不多见。
常见的情形是解释变量23,,,k X X X 之间存在不完全的共线性，这是指存在不全为零是数123,,,,k λλλλ ，使得12233λλλλ+++++ i i k ki i X X X v =0（i =1,2,,n ）其中i v 是随机变量。
这表明此时解释变量之间只是一种近似的线性关系。
二、产生多重共线性的背景1.经济变量之间具有共同的变化趋势2.模型中包含滞后变量3.利用截面数据建立模型也可能出现共线性4. 样本数据自身的原因第二节 多重共线性产生的后果完全共线性时，矩阵X X '不可逆，参数估计式ˆβ=1()X X X Y -''不存在，OLS 无法应用。
不完全的共线性时，1()X X -'也存在，可以得到参数的估计值，但是对计量经济分析可能会产生一系列影响。
一、参数估计量的无偏性依然成立不完全共线性时ˆ()E β=1()E X X X Y -''⎡⎤⎣⎦=1()()E X X X X U β-''⎡⎤+⎣⎦=β+()1()X X X E U -''=β二、参数OLS 估计值方差扩大 如二元回归模型i Y =12233i i i X X u βββ+++中的2X 与3X 为不完全的共线性时，2X 与3X 之间的相关系数23r 可由下式给出223r=2232223()x x x x∑∑∑容易证明2ˆ()Var β=222223(1)i x r σ-∑3ˆ()Var β=222323(1)ixr σ-∑随着共线性的程度增加，23r 的绝对值趋于1，两个参数估计量的方差也增大。
第七章 多重共线性
2
X 1i 1 r 2
2
ˆ 同理:Var b2
2
X 2i 1 r 2
2
第二节
多重共线性的影响后果
2
ˆ 当完全不共线时，r=0, Var b1
X
2 1i
当不完全共线时，r越接近1,相关程度越高， bi Var ˆ 越大，参数估计值越不准确。
第四节
多重共线性的解决方法
三、逐步回归法 (1)计算因变量对每一个解释变量的回归方程,并分别 进行统计检验,从中选取最合适的基本回归方程。 (2)逐一引入其他解释变量,重新进行回归，在模型中 每个解释变量均显著,参数符号正确, R 2 值有所提高的前 提下,从中再选取最合适的二元回归方程。 (3)在选取的二元回归方程的基础上以同样的方式引 入第三解释变量;如此引入,直至无法引入新变量为止。
第四节
多重共线性的解决方法
（2）如果历年的平均收入弹性与近期的收入弹性 近似相等，就可以用 a2代替原模型中的 b2 。将原模 ln y a2 ln I b0 b1 ln P 型变为 y1 ln y a2 ln I 令：
p1 ln P 再利用时间序列数据求出价格弹性 b1 以及 b0即可。
第四节
多重共线性的解决方法
二、间接剔除重要的解释变量 1、利用已知信息 所谓已知信息，就是在建立模型之前，根据经 济理论、统计资料或经验分析，已知的解释变量之 间存在某种关系。为了克服模型的多重共线性，可 以将解释变量按已知关系加以处理。
第四节
多重共线性的解决方法
例如：柯布－道格拉斯生产函数
y aL K e
ln y / K ln a ln L / K
多重共线性(统计累赘)的概念、特征及其测量方式和处理方式
试述多重共线性（统计累赘）的概念、特征及其测量方式和处理方式。
1、概念多重共线性是指自变量之间存在线性相关关。
倘若其中两个自变项的关系特别强，则在相互控制后就会使每者的效果减弱，而其他的变相的效果就会因此而增大。
2、特征3、产生原因产生多重相关性的原因主要包括四方面。
一是没有足够多的样本数据; 二是选取的自变量之间客观上就有共线性的关系; 还可能由其它因素导致, 如数据采集所用的方法, 模型设定, 一个过度决定的模型等。
但多数研究者认为共线性本质上是由于样本数据不足引起的。
4、测量方式（1）经验式的诊断方法通过观察,得到一些多重相关性严重存在的迹象。
①在自变量的简单相关系数矩阵中,有某些自变量的相关系数值较大。
②回归系数的代数符号与专业知识或一般经验相反;或者该自变量与因变量的简单相关系数符号相反。
③对重要自变量的回归系数进行t 检验,其结果不显著。
特别是当F 检验能在高精度下通过,测定系数R 2的值也很大,但自变量的t 检验却全都不显著,这时多重相关性的可能将会很大。
④如果增加或删除一个变量,或者增加或删除一个观测值,回归系数发生了明显的变化。
⑤重要自变量的回归系数置信区别明显过大。
⑥在自变量中,某一个自变量是另一部分自变量的完全或近似完全的线性组合。
⑦对于一般的观测数据,如果样本点的个数过少,比如接近于变量的个数或者少于变量的个数,样本数据中的多重相关性就会经常存在。
（2）统计检验方法共线性的诊断方法是基于对自变量的观测数据构成的矩阵X ’X 进行分析,使用各种反映自变量间相关性的指标。
共线性诊断常用的统计量有方差膨胀因子VIF 或容限TOL 、条件指数和方差比例等。
方差膨胀因子VIF 是指回归系数的估计量由于自变量的共线性使其方差增加的一个相对度量。
对于第i 个回归系数,它的方差膨胀因子定义为：VIF=1/1-R 2=1/TOL i 其中R2i 是自变量Xi 对模型中其余自变量线性回归模型的R 平方。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
城乡居民消费水平研究—解决多重共线性一、文献综述长期以来，我国处于商品短缺的困扰之中，不得不采用配给制的办法限制居民的消费选择自由；随着供求关系的变化，人们的消费取向正在发生根本改变。
因此,了解目前城乡居民的消费水平以及其影响因素对于把握国内不同群体消费需求的变化,指导生产、引导消费、开拓市场、发展循环经济、建立和谐社会具有重要意义。
影响消费的因素很多，如价格水平、利率水平、收入水平、消费偏好、家庭财产、风俗习惯、制度模式等。
其中，收入是影响消费的最重要因素。
改革开放以来,我国居民的收入水平在不断提高,居民消费情况也有明显变化。
在居民总体收入逐渐增加的同时,居民的收入差距也有所扩大,形成了高、中、低不同阶层的收入与消费群体。
根据国家统计局的调查资料显示,不同消费群体之间的消费与投资倾向已有很大差异,受此影响,社会消费结构也已发生了较大变化。
如今生活宽裕的高收入居民,十分关注生活质量的提高,消费倾向也出现明显变化,投资意识日益高涨。
调查显示,越来越多的高收入居民,在消费时追求精神消费和服务消费,教育、文化、通信、保健、住宅等成为消费热点,追求时尚化与个性化日趋明显。
高收入家庭的投资是社会民间投资中极为重要的部分,在国民经济运行中的作用不可低估. 中等收入群体占到城镇家庭总数的60%以上,收入占到居民收入总数的50%多,是我国消费的主体部分,他们的消费行为对我国整体消费状况的影响是最大的,对这一层次居民消费的启动将直接关系到我国经济启动的成败。
这一消费群体的消费特征表现为对未来收入与支出不良预期的影响.所以基于这个问题的重要性，决定研究城乡居民的消费水平及其影响因素。
二、数据资料初步分析数据的收集来源于2009年中华人民共和国国家统计局公布的年度数据，并选取城乡居民消费水平、城乡居民家庭人均可支配收入、职工平均工资、人均国内生产总值、城乡居民消费价格指数、城乡新建住房面积来研究其对城镇居民消费水平的影响。
通过初步的线性回归发行这些数据都能较好的解释城镇居民消费水平。
由于财富数据较难取得，所以用城乡新建住房面积来表示这一指标，并且取得较好的效果。
所以将以上6个指标定位解释变量。
其中城乡居民家庭人收入为城镇居民家庭人均可支配收入与农村居民家庭人均纯收入之和。
三、模型估计1.建立模型以我国城乡居民消费水平为被解释变量，同时引入的解释变量有城乡居民储蓄水平（X1 ）、城乡居民家庭人收入(X2)、职工平均工资（X3）、人均国内生产总值（X4）、城乡居民消费价格指数（X5）、城乡新建住房面积（X6）。
假定可以建立线性回归模型：0112233445566i Y X X X X X X u βββββββ=+++++++2.参数估计（1）线性回归reg Y X1 X2 X3 X4 X5 X6Source | SS df MS Number of obs = 19 -------------+------------------------------ F( 5, 13) = 944.21 Model | 77476930.1 5 15495386 Prob > F = 0.0000 Residual | 213341.649 13 16410.8961 R-squared = 0.9973 -------------+------------------------------ Adj R-squared = 0.9962 Total | 77690271.8 18 4316126.21 Root MSE = 128.11 ------------------------------------------------------------------------------ Y | Coef. Std. Err. t P>|t| [95% Conf. Interval] -------------+---------------------------------------------------------------- X1 | (dropped)X2 | .0126153 .0076018 1.66 0.121 -.0038074 .0290379 X3 | -.0753099 .0846359 -0.89 0.390 -.2581546 .1075347 X4 | .2648252 .0922938 2.87 0.013 .0654365 .4642138 X5 | 5.839503 6.948697 0.84 0.416 -9.172243 20.85125 X6 | 171.0912 35.59985 4.81 0.000 94.18236 247.9999 _cons | -1529.382 947.0876 -1.61 0.130 -3575.44 516.6768进行线性回归分析发现，变量X1被去掉，变量X3的系数为负，与其经济意义不符，所以模型中可能存在多重共线性。
（2）相关系数检验corr X1 X2 X3 X4 X5 X6(obs=19)| X1 X2 X3 X4 X5 X6-------------+------------------------------------------------------X1 | 1.0000X2 | 1.0000 1.0000X3 | 0.9972 0.9972 1.0000X4 | 0.9942 0.9942 0.9973 1.0000X5 | -0.3218 -0.3218 -0.2860 -0.2773 1.0000X6 | 0.8177 0.8177 0.8110 0.8308 -0.5101 1.0000从相关系数表可以明显看出，所选的变量中X1、X2、X3之间的相关性很大，所以变量间存在多重共线性。
（3）利用差分法，避免多重共线性reg ccY ccX1 ccX2 ccX3 ccX4 ccX5 ccX6Source | SS df MS Number of obs = 18-------------+------------------------------ F( 5, 12) = 63.56Model | 1226305.99 5 245261.198 Prob > F = 0.0000Residual | 46306.008 12 3858.834 R-squared = 0.9636-------------+------------------------------ Adj R-squared = 0.9485Total | 1272612 17 74859.5294 Root MSE = 62.12------------------------------------------------------------------------------ccY | Coef. Std. Err. t P>|t| [95% Conf. Interval]-------------+----------------------------------------------------------------ccX1 | .0043066 .0027184 1.58 0.139 -.0016162 .0102293ccX2 | (dropped)ccX3 | -.1018922 .0538593 -1.89 0.083 -.2192416 .0154571ccX4 | .3640821 .0589574 6.18 0.000 .2356249 .4925393ccX5 | -1.19084 3.612622 -0.33 0.747 -9.062068 6.680388ccX6 | 43.98945 18.90781 2.33 0.038 2.792866 85.18604_cons | 67.7396 24.71365 2.74 0.018 13.89319 121.586 虽然F值有明显的减少，但是拟合优度降低了，而且各解释变量的t值较小，所以采用差分法进行修正的效果不明显。
（4）采用逐步回归法进行多重共线性的检验，并对模型进行修正一元回归结果变量X1 X2 X3 X4 X5 X6参数估计值0.0331314 0.033129 0.258607 0.346456 -99.9857 820.765 t统计量26.7 26.7 26.61 36.58 -1.41 7.6 R-squared 0.9767 0.9767 0.9765 0.9875 0.105 0.7726 Adj R-squared 0.9753 0.9753 0.9752 0.9867 0.0523 0.7592 通过一元回归结果看出，解释变量X4的效果做好，所以在X4的基础上进行逐步回归分析。
第一步：在解释变量X4的基础上分别加入新变量，回归结果如下：加入新变量的回归结果变量R-squared Adj R-squaredY X4 0.9875 0.9867Y X4 X1 0.9875 0.9859Y X4 X2 0.9875 0.9859Y X4 X3 0.9889 0.9875Y X4 X5 0.99 0.9887Y X4 X6 0.9967 0.9962第二步：在解释变量X4与X6的基础上加入新变量，回归结果如下：加入新变量的回归结果变量R-squared Adj R-squaredY X4 X6 0.9967 0.9962Y X4 X6 X1 0.9969 0.9963Y X4 X6 X2 0.9969 0.9963Y X4 X6 X3 0.9967 0.996Y X4 X6 X5 0.9967 0.996从回归结果可以看出，加入解释变量X1或X2时，t值不显著，所以去掉X1和X2，最后只留下解释变量X4和X6。
reg Y X4 X6Source | SS df MS Number of obs = 19-------------+------------------------------ F( 2, 16) = 2387.58Model | 77430826.1 2 38715413 Prob > F = 0.0000Residual | 259445.739 16 16215.3587 R-squared = 0.9967-------------+------------------------------ Adj R-squared = 0.9962Total | 77690271.8 18 4316126.21 Root MSE = 127.34------------------------------------------------------------------------------Y | Coef. Std. Err. t P>|t| [95% Conf. Interval]-------------+----------------------------------------------------------------X4 | .2965213 .0090498 32.77 0.000 .2773365 .3157062X6 | 160.977 24.23799 6.64 0.000 109.5947 212.3592_cons | -906.7129 232.1304 -3.91 0.001 -1398.807 -414.6185------------------------------------------------------------------------------从回归结果在可以看出，经过修正后的模型，F 值显著，各解释变量的t 值显著，拟合优度为0.9967，所以修正多重共线性后的回归结果为：46 -906.7129 0.2965213X + 160.977X Y =+ （-3.91） （32.77） （6.64）2 0.9967R = 20.9962R = 2387.58F =四、结论1.人均国内生产总值与城乡居民消费水平呈线性关系，当人均GDP 增长100元时，城乡居民消费水平增长29.65元。