主成分回归多重共线性
多重共线性的处理(主成分回归方法)-瑟嘉
本文主要是对多重共线性的处理（主成分回归法）的介绍。
1.思路：
A:确定是否存在共线
B:找出多重共线的自变量
C:用主成分回归法。
2：具体操作：
1）一般的书都有共线性的判断指标。
这里就省略了(^_^)
2）找出多多重共线性的自变量：
以下是具体操作：
在spss，regresion―――statistic中有个
Collinearty dagnostics，它就可以判断哪些变量是否存在共线性。
如，给出它的一个实例：
【变异构成（V ariance Proportion）:回归模型中各项（包括常数项）的变异被各主成分所解释的比例，即各主成分对模型中各项的贡献。
如果模型中某个主成分对2个或多个自变量的贡献均较大（大于0.5）,者这几个自变量贡献。
】
上面例子可以看出，x4,x6之间存在共线性。
3）主成分回归。
这个包括3部分:
A:找到主成分：用上面确定了有共线的几个变量拿来做成分分析，保留主成分得分。
（这个在factor中，应该狠容易实现吧，那我就省略了，^_^）
B:回归分析：将A步骤求得的主成分得分，与其他的自变量（没共线性的其他自变量）拿来做回归分析，当然会得到回归模型。
（MODEL，代表）
C:用那些共线性变量，来替换MODEL中的主成分变量.
（因为可以用主成分回归系数，根据主成分的表达式，很容易用自变量代替主成分）。
数据分析技术中常用的多元回归分析方法简介
数据分析技术中常用的多元回归分析方法简介多元回归分析是一种常用的数据分析技术，用于建立解释一个或多个自变量与一个或多个因变量之间关系的数学模型。
在实际应用中，多元回归分析可以帮助我们理解和预测因变量的变化情况，同时揭示自变量对因变量的影响程度和方向。
在多元回归分析中，我们通常会考虑多个自变量对一个因变量的影响。
这些自变量可以是连续变量，也可以是分类变量。
为了进行多元回归分析，我们需要收集包含自变量和因变量数据的样本，并建立一个数学模型来描述它们之间的关系。
常用的多元回归分析方法有以下几种：1. 线性回归分析：线性回归是最基本的多元回归分析方法之一。
它假设自变量和因变量之间的关系是线性的，即可以通过一条直线来描述。
线性回归可以用于预测新的因变量值或者探究自变量对因变量的影响程度和方向。
2. 多项式回归分析：多项式回归是线性回归的扩展形式，它允许通过非线性方程来描述自变量和因变量之间的关系。
多项式回归可以用于处理具有非线性关系的数据，通过增加自变量的幂次项，可以更好地拟合数据。
3. 逐步回归分析：逐步回归是一种渐进式的回归分析方法，它通过不断添加或删除自变量来选择最优的模型。
逐步回归可以帮助我们识别对因变量影响最显著的自变量，并且去除对模型没有贡献的自变量，以减少复杂度和提高预测准确性。
4. 岭回归分析：岭回归是一种用于处理共线性问题的回归方法。
共线性指的是自变量之间存在高度相关性，这会导致模型参数估计不稳定。
岭回归通过添加一个正则化项来缩小模型参数的值，从而减少共线性的影响。
5. 主成分回归分析：主成分回归结合了主成分分析和回归分析的方法，用于处理多重共线性问题。
主成分分析通过将自变量转换为一组无关的主成分来降维，然后进行回归分析。
这样可以减少自变量之间的相关性，并提高模型的解释力。
6. 逻辑回归分析：逻辑回归是一种广义线性回归，常用于处理二分类问题。
它通过对因变量进行逻辑变换，将线性回归的结果映射到一个[0, 1]的区间，表示某事件发生的概率。
多重共线性检验方法
多重共线性检验方法多重共线性是多元回归分析中常见的问题，指的是自变量之间存在高度相关性，导致回归系数估计不准确甚至失真。
在实际应用中，多重共线性可能会对模型的解释能力和预测能力造成严重影响，因此需要采取相应的检验方法来识别和应对多重共线性问题。
一、多重共线性的影响。
多重共线性会导致回归系数估计不准确，增大回归系数的标准误，降低统计推断的准确性。
此外，多重共线性还会使得模型的解释能力下降，使得模型对自变量的解释变得模糊不清，降低模型的预测能力。
因此，识别和解决多重共线性问题对于保证模型的准确性和稳定性至关重要。
二、多重共线性的检验方法。
1. 方差膨胀因子（VIF）。
方差膨胀因子是一种常用的多重共线性检验方法，它通过计算每个自变量的方差膨胀因子来判断自变量之间是否存在多重共线性。
通常情况下，方差膨胀因子大于10时，就表明存在严重的多重共线性问题。
2. 特征值检验。
特征值检验是通过计算自变量矩阵的特征值来判断自变量之间是否存在多重共线性。
当特征值接近0或者为0时，就表明存在多重共线性问题。
3. 条件数（Condition Number）。
条件数是通过计算自变量矩阵的条件数来判断自变量之间是否存在多重共线性。
通常情况下，条件数大于30就表明存在多重共线性问题。
4. 相关系数和散点图。
通过计算自变量之间的相关系数和绘制散点图来初步判断自变量之间是否存在多重共线性。
当自变量之间存在高度相关性时，就可能存在多重共线性问题。
三、处理多重共线性的方法。
1. 剔除相关性较强的自变量。
当自变量之间存在高度相关性时，可以考虑剔除其中一个或者几个相关性较强的自变量，以减轻多重共线性的影响。
2. 主成分回归分析。
主成分回归分析是一种处理多重共线性的方法，它通过将自变量进行主成分变换，从而降低自变量之间的相关性，减轻多重共线性的影响。
3. 岭回归和套索回归。
岭回归和套索回归是一种通过对回归系数进行惩罚来减轻多重共线性影响的方法，通过引入惩罚项，可以有效地缩小回归系数的估计值，减轻多重共线性的影响。
回归分析中的多重共线性问题及解决方法(六)
回归分析中的多重共线性问题及解决方法回归分析是统计学中常用的一种分析方法，用于研究自变量与因变量之间的关系。
然而，在进行回归分析时，常常会遇到多重共线性的问题。
多重共线性指的是自变量之间存在高度相关性，这会导致回归系数估计不准确，模型预测能力下降，甚至使得结果产生误导。
本文将探讨回归分析中的多重共线性问题及解决方法。
多重共线性问题的产生多重共线性问题通常是由于自变量之间存在高度相关性所导致的。
当自变量之间存在线性相关关系时，回归模型的系数估计变得不稳定，可能会产生较大的标准误差，从而影响对因变量的预测能力。
多重共线性问题的影响多重共线性问题会使得回归系数的估计产生偏离，导致模型的稳定性下降。
此外，多重共线性还会对回归模型的解释能力产生影响，使得模型的可信度下降。
解决多重共线性的方法为了解决多重共线性问题，可以采取以下几种方法：1. 增加样本量增加样本量可以减少参数估计的方差，从而提高估计的精确度。
通过增加样本量，可以减轻多重共线性对参数估计的影响。
2. 删除相关自变量当自变量之间存在高度相关性时，可以考虑删除其中一个或多个相关自变量，以减轻多重共线性的影响。
通过删除相关自变量，可以减少模型的复杂性，提高模型的解释能力。
3. 合并相关自变量另一种解决多重共线性问题的方法是合并相关自变量。
通过将相关自变量进行合并或者构建新的自变量，可以降低自变量之间的相关性，从而减轻多重共线性的影响。
4. 使用主成分分析主成分分析是一种常用的多重共线性处理方法。
通过主成分分析，可以将相关自变量进行线性组合，从而得到一组新的无关自变量，使得回归模型的稳定性得到提高。
5. 使用正则化方法正则化方法是另一种处理多重共线性问题的有效手段。
通过对回归系数进行惩罚，可以有效地控制多重共线性对参数估计的影响，从而提高模型的稳定性。
结语多重共线性是回归分析中常见的问题，对回归模型的稳定性和预测能力都会产生负面影响。
因此，处理多重共线性问题是非常重要的。
四个回归的基本内容
四个回归的基本内容一、什么是回归分析回归分析是一种统计学方法，用于研究因变量与一个或多个自变量之间的关系。
它着眼于预测和解释变量之间的关联，通过建立数学模型来描述这种关系。
二、回归分析的应用领域回归分析广泛应用于许多领域，特别是在社会科学、经济学和生物医学等领域。
以下是一些常见的应用领域：1.社会科学•社会学家使用回归分析来研究人类行为和社会关系。
•心理学家可以使用回归来分析人类行为和心理过程的影响因素。
2.经济学•经济学家使用回归分析来研究经济变量之间的关系。
•金融学家可以使用回归来预测股票价格和其他金融指标。
3.生物医学•生物医学研究常常使用回归分析来研究疾病和其他健康相关变量之间的关系。
•医生可以使用回归来预测患者的疾病风险和治疗效果。
三、回归分析的基本步骤进行回归分析时，通常需要完成以下几个基本步骤：1.数据收集•收集相关的自变量和因变量数据。
2.变量选择•选择与因变量最相关的自变量，可以通过相关系数矩阵、散点图等方法来选择。
3.建立回归模型•根据数据和变量选择的结果，建立回归模型。
•常用的回归模型包括线性回归、多项式回归、逻辑回归等。
4.估计模型参数•使用适当的统计方法来估计模型的参数。
•常用的方法包括最小二乘法、最大似然估计等。
5.模型拟合和评估•拟合回归模型，并使用合适的统计指标来评估模型的拟合程度。
•常见的评估指标包括决定系数、均方根误差等。
6.模型应用和预测•使用拟合好的回归模型进行预测和应用。
•通过模型来预测未来的结果或者解释已有数据的关系。
四、回归分析的限制和扩展回归分析虽然是一种强大的分析工具，但也存在一些限制和需要扩展的地方。
1.线性关系假设•回归分析通常假设自变量和因变量之间的关系是线性的，这限制了模型的灵活性。
•当关系并非线性时，可能需要使用非线性回归模型。
2.多重共线性•多重共线性指的是自变量之间高度相关，这可能导致估计的参数不准确。
•当出现多重共线性时，需要采取适当的方法来解决，如主成分回归、岭回归等。
用主成分法解决多重共线性问题
用主成分法解决多重共线性问题一、多重共线性的表现线性回归模型中的解释变量之间由于存在精确相关关系或高度相关关系。
看似相互独立的指标本质上是相同的，是可以相互代替的，但是完全共线性的情况并不多见，一般出现的是在一定程度上的共线性，即近似共线性。
二、多重共线性的后果1.理论后果多重共线性是因为变量之间的相关程度比较高。
按布兰查德认为, 在计量经济学中, 多重共线性实质上是一个“微数缺测性”问题，就是说多重共线性其实是由样本容量太小所造成，当样本容量越小，多重共线性越严重。
多重共线性的理论主要后果：（1）完全共线性下参数估计量不存在；（2）近似共线性下OLS估计量非有效；（3）模型的预测功能失效；（4）参数估计量经济含义不合理2.现实后果（1）各个解释变量对指标最后结论影响很难精确鉴别；（2）置信区间比原本宽，使得接受假设的概率更大；（3）统计量不显著；（4）拟合优度的平方会很大；（5）OLS估计量及其标准误对数据微小的变化也会很敏感。
三、多重共线性产生的原因1.模型参数的选用不当，在我们建立模型时如果变量之间存在着高度的相关性2. 由于研究的经济变量随时间往往有共同的变化趋势,他们之间存在着共性。
例如当经济繁荣时，反映经济情况的指标有可能按着某种比例关系增长3. 滞后变量。
滞后变量的引入也会产生多重共线行，例如本期的消费水平除受本期的收入影响之外，还有可能受前期的收入影响，建立模型时，本期的收入水平就有可能和前期的收入水平存在着共线性。
四、多重共线性的识别1.方差扩大因子法( VIF)一般认为如果最大的VIF超过10，常常表示存在多重共线性。
2.容差容忍定法如果容差（tolerance）<=0.1，常常表示存在多重共线性。
3. 条件索引条件索引(condition index)>10，可以说明存在比较严重的共线性。
五、多重共线性的处理方法处理方法有多重增加样本容量、剔除因子法、PLS(偏最小二乘法)、岭回归法、主成分法。
回归模型中多重共线性的情形及其处理
丫= 1+ 8人-4人+ 3为=1 + 8人-（3X2+ 2）+ 3为=7+ 8人-9%（1.5）在（1.4）中，X2的系数为12,表示丫与为成正比例关系，即正相关；而在（1.5）中,X2的系数为-9,表示丫与X?成负比例关系，即负相关。
如此看来，同一个方程丫= 1+ 4片+ 3X2变换出的两个等价方程，由于不同的因式分解和替换，导致两个方程两种表面上矛盾的结果。
实际上，根据X1 = 3为+ 2式中的X1与为的共线性，X1约相当于3X2, 在（1.4）减少了3人，即需要用9个X2来补偿；而在（1.5）增加了4人, 需要用12个X2来抵消，以便保证两个方程的等价性，这样一来使得（1.5）中为的系数变为了负数。
从上述分析看来，由于X i与勺的共线性，使得同一个方程有不同的表达形式，从而使得丫与为间的关系难以用系数解释。
2•对多重线性关系的初步估计与识别如果在实际应用中产生了如下情况之一，则可能是由于多重共线性的存在而造成的，需作进一步的分析诊断。
①增加（或减去）一个变量或增加（或剔除）一个观察值，回归系数发生了较大变化。
②实际经验中认为重要的自变量的回归系数检验不显著。
③回归系数的正负号与理论研究或经验相反。
④在相关矩阵中，自变量的相关系数较大。
⑤自变量回归系数可信区间范围较广等。
3•对多重共线性本质的认识多重共线性可分为完全多重共线性和近似多重共线性（或称高度相关性），现在我们集中讨论多重共线性的本质问题。
多重共线性普遍被认为是数据问题或者说是一种样本现象。
我们认为，这种普遍认识不够全面，对多重共线性本质的认识，至少可从以下几方面解解。
（3）检验解释变量相互之间的样本相关系数。
假设我们有三个解释变量X i、X2、X3，分别以「12、「13、「23 来表示X i 与X2、X i 与X3、X2与X3之间的两两相关系数。
假设r i2 = 0.90,表明X i与X2之间高度共线性，现在我们来看相关系数「12,3，这样一个系数我们定义为偏相关系数，它是在变量X3为常数的情况下，X i与X2之间的相关系数。
主成分回归多重共线性
实验八：主成分回归实验题目：对例5.5的Hald水泥问题用主成分方法建立模型，并与其他方法的结果进行比较。
例5.5如下：本例为回归经典的Hald水泥问题。
某种水泥在凝固时放出的热量y（卡/克，cal/g）与水泥中的四种化学成分的含量（%）有关，这四种化学成分分别是x1铝酸三钙（3CaO.Al2O3），x2硅酸三钙（3CaO.SiO2），x3铁铝酸四钙（4CaO.Al2O3.Fe2O3），x4硅酸三钙（2CaO.SiO2）。
现观测到13组数据，如表5-3所示。
表5-3实验目的：SPSS输出结果及答案：一、主成分法：多重共线性诊断：a.已提取了 4 个成份。
由解释的总方差表中累计贡献性知，f1和f2的累计贡献性就在85%~95%之间。
所以主成分取f1,f2。
得到因子得分的数值，并对其进行处理：sqrt(2.236)* FAD1_1, sqrt(1.576)* FAD2_1可以得出主成分表（f1 f2）。
对f1 f2进行普通最小二乘线性回归f1=-0.643+0.081x1+0.036x2-0.062x3-0.033x4对f2和x1x2x3x4进行回归模型非标准化系数标准系数t Sig. B标准误差试用版1(常量)-.938.000-1119037.661.000 x1-.087.000-.405-9710099.545.000x2.027.000.3303071727.057.000x3.094.000.48210459854.955.000x4-.027.000-.359-3177724.589.000 a.因变量: f2f2=-0.938-0.087x1+0.027x2+0.094x3-0.027x4所以还原后的主成分回归方程为：^y=88.951624+0.789567x1+0.359127x2-0.600934x3-0.329481x4从主成分法得出的方程中我们可以看出某种水泥在凝固时放出的热量与铝酸三钙，硅酸三钙成正比，与铝酸四钙和硅酸二钙成反比，且当该水泥放出1单位的热量时，需要消耗0.789567g的铝酸三钙和0.359127g的硅酸三钙；当该水泥吸收1单位的热量时，需要消耗0.600934g的铝酸四钙和0.329481g的硅酸二钙。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
实验八:主成分回归
实验题目:对例5、5的Hald水泥问题用主成分方法建立模型,并与其她方法的结果进行比较。
例5、5如下:本例为回归经典的Hald水泥问题。
某种水泥在凝固时放出的热量y(卡/克,cal/g)与水泥中的四种化学成分的含量(%)有关,这四种化学成分分别就是x1铝酸三钙(3CaO、Al2O3),x2硅酸三钙(3CaO、SiO2),x3铁铝酸四钙(4CaO、Al2O3、Fe2O3),x4硅酸三钙(2CaO、SiO2)。
现观测到13组数据,如表5-3所示。
实验目的:
SPSS输出结果及答案:
一、主成分法:
多重共线性诊断:
N 13 13 13 13 13
**、在、01 水平(双侧)上显著相关。
由表可知,x1,x2,x4的相关性都比较大,较接近,所以存在多重共线性
主成分回归:
解释的总方差
成份
初始特征值提取平方与载入
合计方差的 % 累积 % 合计方差的 % 累积 %
1 2、236 55、893 55、893 2、236 55、893 55、893
2 1、576 39、402 95、294 1、576 39、402 95、294
3 、187 4、665 99、959 、187 4、665 99、959
4 、002 、041 100、000 、002 、041 100、000
提取方法:主成份分析。
输出结果显示有四个特征根,最大的就是λ1=2、236,最小的就是λ4=0、002。
方差百分比显示第一个主成分Factor1的方差百分比近56%的信息量;前两个主成
分累计包含近95、3%的信息量。
因此取两个主成分就已经足够。
由于前两个主成分的方差累计已经达到95、3%,故只保留前两个主成分。
成份矩阵a
成份
1 2 3 4
x1 、712 -、639 、292 、010
x2 、843 、520 -、136 、026
x3 -、589 、759 、275 、011
x4 -、819 -、566 -、084 、027
提取方法:主成分
a.已提取了 4 个成份。
由解释的总方差表中累计贡献性知,f1与f2的累计贡献性就在85%~95%之间。
所以主成分取f1,f2。
得到因子得分的数值,并对其进行处理:sqrt(2、236)* FAD1_1, sqrt(1、576)* FAD2_1可以得出主成分表(f1 f2)。
对f1 f2进行普通最小二乘线性回归
f1=-0、643+0、081x1+0、036x2-0、062x3-0、033x4
对f2与x1x2x3x4进行回归
a.因变量: f2
f2=-0、938-0、087x1+0、027x2+0、094x3-0、027x4
所以还原后的主成分回归方程为:
^y=88、951624+0、789567x1+0、359127x2-0、600934x3-0、329481x4
从主成分法得出的方程中我们可以瞧出某种水泥在凝固时放出的热量与铝酸三钙,硅酸三钙成正比,与铝酸四钙与硅酸二钙成反比,且当该水泥放出1单位的热量时,需要消耗0、789567g 的铝酸三钙与0、359127g的硅酸三钙;当该水泥吸收1单位的热量时,需要消耗0、600934g
的铝酸四钙与0、329481g的硅酸二钙。
二.岭回归法
由系数表中的方差扩大因子VIF可以初步瞧出直接建立的线性模型具有严重的共线性,所以我们直接用岭回归方法进行处理,与再与主成分法进行比较。
岭回归
INCLUDE 'C:\Program Files\IBM\SPSS\Statistics\19\Samples\English\RIDGE regression、sps'、RIDGEREG enter x1 x2 x3 x4
/dep=y
R-SQUARE AND BETA COEFFICIENTS FOR ESTIMATED VALUES OF K
K RSQ x1 x2 x3 x4
______ ______ ________ ________ ________ ________
、00000 、98238 、606512 、527706 、043390 -、160287
、05000 、98092 、465987 、298422 -、092800 -、394132
、10000 、97829 、429975 、299810 -、115702 -、382409
、15000 、97492 、403545 、300180 -、129867 -、370747
、20000 、97105 、382726 、299130 -、139136 -、360181
、25000 、96676 、365601 、297070 -、145317 -、350594
、30000 、96212 、351071 、294335 -、149432 -、341806
、35000 、95717 、338452 、291156 -、152107 -、333674
、40000 、95195 、327295 、287687 -、153747 -、326089
、45000 、94649 、317289 、284036 -、154628 -、318970
、50000 、94082 、308211 、280279 -、154942 -、312254
、55000 、93497 、299900 、276467 -、154827 -、305892
、60000 、92897 、292231 、272638 -、154384 -、299846
、65000 、92284 、285109 、268820 -、153688 -、294083
、70000 、91660 、278460 、265032 -、152797 -、288577
、75000 、91027 、272222 、261287 -、151756 -、283306
、80000 、90386 、266349 、257597 -、150598 -、278251
、85000 、89740 、260798 、253968 -、149351 -、273396
、90000 、89089 、255537 、250406 -、148037 -、268726
、95000 、88436 、250537 、246913 -、146671 -、264228
1、0000 、87780 、245775 、243491 -、145269 -、259892
由上述的岭迹图可以瞧出,所有的回归系数的岭迹线的稳定性较强,整个系统呈现比较平稳的现象,所以我们可以对最小二乘有信心,且x1,x2的岭迹线一直在零的上,对y产生正影响,而x3,x4系数的岭迹线一直小于零,所以对y产生负影响。
再做岭回归:
当岭参数k=0、2时,4个自变量的岭回归系数变化幅度较小,此时逐渐稳定,所以我们给定
k=0、2,再做岭回归
Run MATRIX procedure:
****** Ridge Regression with k = 0、2 ******
Mult R 、976585082
RSquare 、953718422
Adj RSqu 、944462107
SE 3、545275735
ANOVA table
df SS MS
Regress 2、000 2590、073 1295、037
Residual 10、000 125、690 12、569
F value Sig F
103、0343460 、0000002
--------------Variables in the Equation----------------
B SE(B) Beta B/SE(B)
x1 1、2516409 、1468176 、4894165 8、5251441
x4 -、5251646 、0515969 -、5843168 -10、1782125
Constant 101、8388483 2、2617303 、0000000 45、0269638
------ END MATRIX -----
由上述输出结果可以得到岭回归建立的方程为:
y=101、8388483+1、2516409x1-0、5251646x4
从岭回归法得出的方程中我们可以瞧出某种水泥在凝固时放出的热量与铝酸三钙,硅酸三钙成正比,与铝酸四钙与硅酸二钙成反比,且当该水泥放出1单位的热量时,需要消耗1、2516409g 的铝酸三钙与0、5251646g的硅酸三钙;当该水泥吸收热量时,需要消耗铝酸四钙与硅酸二钙。
(3)比较:岭回归后建立的方程跟主成分回归法建立的方程保留的系数相同,且得出的系数符号相同,大小相近,即得出的y与x1,x2,x3,x4关系也相同,所以可知主成分法得出的回归方程也解决了共线性问题。