解决多元线性回归中多重共线性问题的方法分析
多元回归分析中的多重共线性及其解决方法
多元回归分析中的多重共线性及其解决方法在多元回归分析中，多重共线性是一个常见的问题，特别是在自变量之间存在高度相关性的情况下。
多重共线性指的是自变量之间存在线性相关性，这会造成回归模型的稳定性和可靠性下降，使得解释变量的效果难以准确估计。
本文将介绍多重共线性的原因及其解决方法。
一、多重共线性的原因多重共线性常常发生在自变量之间存在高度相关性的情况下，其主要原因有以下几点：1. 样本数据的问题：样本数据中可能存在过多的冗余信息，或者样本数据的分布不均匀，导致变量之间的相关性增加。
2. 选择自变量的问题：在构建回归模型时，选择了过多具有相似解释作用的自变量，这会增加自变量之间的相关性。
3. 数据采集的问题：数据采集过程中可能存在误差或者不完整数据，导致变量之间的相关性增加。
二、多重共线性的影响多重共线性会对多元回归模型的解释变量产生不良影响，主要表现在以下几个方面：1. 回归系数的不稳定性：多重共线性使得回归系数的估计不稳定，难以准确反映各个自变量对因变量的影响。
2. 系数估计值的无效性：多重共线性会导致回归系数估计偏离其真实值，使得对因变量的解释变得不可靠。
3. 预测的不准确性：多重共线性使得模型的解释能力下降，导致对未知数据的预测不准确。
三、多重共线性的解决方法针对多重共线性问题，我们可以采取以下几种方法来解决：1. 剔除相关变量：通过计算自变量之间的相关系数，发现高度相关的变量，选择其中一个作为代表，将其他相关变量剔除。
2. 主成分分析：主成分分析是一种降维技术，可以通过线性变换将原始自变量转化为一组互不相关的主成分，从而降低多重共线性造成的影响。
3. 岭回归：岭回归是一种改良的最小二乘法估计方法，通过在回归模型中加入一个惩罚项，使得回归系数的估计更加稳定。
4. 方差膨胀因子（VIF）：VIF可以用来检测自变量之间的相关性程度，若某个自变量的VIF值大于10，则表明该自变量存在较高的共线性，需要进行处理。
多重共线性的解决方法之——岭回归与LASSO
多重共线性的解决⽅法之——岭回归与LASSO 多元线性回归模型的最⼩⼆乘估计结果为如果存在较强的共线性，即中各列向量之间存在较强的相关性，会导致的从⽽引起对⾓线上的值很⼤并且不⼀样的样本也会导致参数估计值变化⾮常⼤。
即参数估计量的⽅差也增⼤，对参数的估计会不准确。
因此，是否可以删除掉⼀些相关性较强的变量呢？如果p个变量之间具有较强的相关性，那么⼜应当删除哪⼏个是⽐较好的呢？本⽂介绍两种⽅法能够判断如何对具有多重共线性的模型进⾏变量剔除。
即岭回归和LASSO(注：LASSO是在岭回归的基础上发展的)思想：既然共线性会导致参数估计值变得⾮常⼤，那么给最⼩⼆乘的⽬标函数加上基础上加上⼀个对的惩罚函数最⼩化新的⽬标函数的时候便也需要同时考虑到值的⼤⼩，不能过⼤。
在惩罚函数上加上系数k随着k增⼤，共线性的影响将越来越⼩。
在不断增⼤惩罚函数系数的过程中，画下估计参数（k）的变化情况，即为岭迹。
通过岭迹的形状来判断我们是否要剔除掉该参数（例如：岭迹波动很⼤，说明该变量参数有共线性）。
步骤：1. 对数据做标准化，从⽽⽅便以后对（k）的岭迹的⽐较，否则不同变量的参数⼤⼩没有⽐较性。
2. 构建惩罚函数，对不同的k，画出岭迹图。
3. 根据岭迹图，选择剔除掉哪些变量。
岭回归的⽬标函数式中，t为的函数。
越⼤，t越⼩（这⾥就是k）如上图中，相切点便是岭回归得出来的解。
是岭回归的⼏何意义。
可以看出，岭回归就是要控制的变化范围，弱化共线性对⼤⼩的影响。
解得的岭回归的估计结果为：岭回归的性质由岭回归的⽬标函数可以看出，惩罚函数的系数 (或者k)越⼤，⽬标函数中惩罚函数所占的重要性越⾼。
从⽽估计参数也就越⼩了。
我们称系数 (或者k)为岭参数。
因为岭参数不是唯⼀的，所以我们得到的岭回归估计实际是回归参数的⼀个估计族。
例如下表中：岭迹图将上表中回归估计参数与岭回归参数k之间的变化关系⽤⼀张图来表⽰，便是岭迹图当不存在奇异性是，岭迹应该是稳定地逐渐趋于0当存在奇异性时，由岭回归的参数估计结果可以看出来，刚开始k不够⼤时，奇异性并没有得到太⼤的改变，所以随着k的变化，回归的估计参数震动很⼤，当k⾜够⼤时，奇异性的影响逐渐减少，从⽽估计参数的值变的逐渐稳定。
多元线性回归模型常见问题及解决方法
上述即为加权最小二乘法，其中权数 为1 。
f ( X ji )
普通最小二乘法只是加权最小二乘法中权数恒 取1的一种特例，加权最小二乘法具有比普通 最小二乘法更普遍的意义。
加权最小二乘法也称为广义最小二乘法 (Generalized Least Squares, GLS)。
加权最小二乘法的关键是寻找适当的权，或者
nR2~χ2
在大样本下，对统计量nR2进行相应的χ2检验。
若存在异方差性，表明 e%i2与解释变量的某种 组合有显著的相关性，这时往往有较大的可决 系数R2，并且某一参数的t检验值较大。
加权最小二乘法(WLS)
加权最小二乘法(Weighted Least Squares, WLS) 是对原模型加权，使之变成一个新的不存在异 方差性的模型，然后采用普通最小二乘法估计 其参数。
2
L k
f
1 (X
ji )
X ki
f
1 (X
ji
)
i
f
1 (X
ji )
X 2i
在新模型中，
2
Var
f
1 (X
ji
)
i
1
f (X ji )
Var(i )
1 f (X ji )
f (X ji ) 2
2
即满足同方差性，可用普通最小二乘法估计其 参数，得到参数β0,β1,…,βk的无偏、有效估计量。
序列相关性产生的原因
经济变量故有的惯性（物价指数，消费） 模型设定的偏误 数据的编造 （由已知数据生成）
(一)经济变量故有的惯性
消费函数模型：
回归分析中的多重共线性问题及解决方法(六)
回归分析中的多重共线性问题及解决方法回归分析是统计学中常用的一种分析方法，用于研究自变量与因变量之间的关系。
然而，在进行回归分析时，常常会遇到多重共线性的问题。
多重共线性指的是自变量之间存在高度相关性，这会导致回归系数估计不准确，模型预测能力下降，甚至使得结果产生误导。
本文将探讨回归分析中的多重共线性问题及解决方法。
多重共线性问题的产生多重共线性问题通常是由于自变量之间存在高度相关性所导致的。
当自变量之间存在线性相关关系时，回归模型的系数估计变得不稳定，可能会产生较大的标准误差，从而影响对因变量的预测能力。
多重共线性问题的影响多重共线性问题会使得回归系数的估计产生偏离，导致模型的稳定性下降。
此外，多重共线性还会对回归模型的解释能力产生影响，使得模型的可信度下降。
解决多重共线性的方法为了解决多重共线性问题，可以采取以下几种方法：1. 增加样本量增加样本量可以减少参数估计的方差，从而提高估计的精确度。
通过增加样本量，可以减轻多重共线性对参数估计的影响。
2. 删除相关自变量当自变量之间存在高度相关性时，可以考虑删除其中一个或多个相关自变量，以减轻多重共线性的影响。
通过删除相关自变量，可以减少模型的复杂性，提高模型的解释能力。
3. 合并相关自变量另一种解决多重共线性问题的方法是合并相关自变量。
通过将相关自变量进行合并或者构建新的自变量，可以降低自变量之间的相关性，从而减轻多重共线性的影响。
4. 使用主成分分析主成分分析是一种常用的多重共线性处理方法。
通过主成分分析，可以将相关自变量进行线性组合，从而得到一组新的无关自变量，使得回归模型的稳定性得到提高。
5. 使用正则化方法正则化方法是另一种处理多重共线性问题的有效手段。
通过对回归系数进行惩罚，可以有效地控制多重共线性对参数估计的影响，从而提高模型的稳定性。
结语多重共线性是回归分析中常见的问题，对回归模型的稳定性和预测能力都会产生负面影响。
因此，处理多重共线性问题是非常重要的。
多元回归公式多重共线性变量选择的计算方法
多元回归公式多重共线性变量选择的计算方法多元回归分析是一种常用的统计分析方法，用于研究多个自变量对因变量的影响关系。
然而，在多元回归分析中，可能会存在多个自变量之间的共线性问题，即自变量之间存在较高的线性相关性。
共线性会导致回归系数估计不准确，难以解释自变量的独立作用。
因此，选择合适的变量和解决多重共线性问题是进行多元回归分析的重要步骤。
为了解决多重共线性问题，研究者可以借助各种方法进行变量选择。
下面将介绍几种常用的计算方法。
1. 方差膨胀因子(VIF)法方差膨胀因子是用于判断多重共线性的常用指标。
它反映了每个自变量与其他自变量的线性关系程度。
计算VIF的方法是，对于第i个自变量，回归模型中除了自己以外的其他自变量作为解释变量进行回归分析，计算对应的R^2值。
然后，使用VIF=1/(1-R^2)计算方差膨胀因子。
通常，如果某个自变量的VIF值大于10，就表明存在高度共线性。
2. 特征值法特征值法是基于自变量矩阵的特征值和特征向量进行计算的方法。
首先，计算自变量矩阵的相关系数矩阵，然后对该矩阵进行特征值分解。
根据特征值的大小，可以判断出存在共线性的自变量。
如果某个特征值远大于其他特征值，就表明对应的自变量存在共线性。
3. 逐步回归法逐步回归法是一种逐步选择自变量的方法。
该方法分为前向选择和后向删除两个阶段。
在前向选择阶段，逐步添加自变量，每次选择与残差最相关的自变量加入模型。
在后向删除阶段，逐步删除对残差影响最小的自变量，直到模型中的自变量都显著。
4. 岭回归法岭回归法是一种通过加入正则化项来解决多重共线性问题的方法。
它通过控制正则化参数的大小，提高对共线性的抵抗能力。
岭回归法的核心是对回归系数进行缩减，使其趋近于零。
使用岭回归可以有效剔除共线性变量，得到更稳定的回归结果。
综上所述，多元回归公式多重共线性变量选择的计算方法有方差膨胀因子法、特征值法、逐步回归法和岭回归法等。
每种方法都有其特点和适用范围，研究者可以根据具体问题选择合适的方法进行变量选择，以获得可靠的回归结果。
回归分析中的多重共线性问题及解决方法(七)
回归分析是统计学中常用的一种方法，它用于研究自变量和因变量之间的关系。
然而，在实际应用中，经常会遇到多重共线性的问题，这给回归分析带来了一定的困难。
本文将讨论回归分析中的多重共线性问题及解决方法。
多重共线性是指独立自变量之间存在高度相关性的情况。
在回归分析中，当自变量之间存在多重共线性时，会导致回归系数估计不准确，标准误差增大，对因变量的预测能力降低，模型的解释能力受到影响。
因此，多重共线性是回归分析中需要重点关注和解决的问题之一。
解决多重共线性问题的方法有很多种，下面将介绍几种常用的方法。
一、增加样本量增加样本量是解决多重共线性问题的一种方法。
当样本量足够大时，即使自变量之间存在一定的相关性，也能够得到较为稳健的回归系数估计。
因此，可以通过增加样本量来减轻多重共线性对回归分析的影响。
二、使用主成分回归分析主成分回归分析是一种常用的处理多重共线性问题的方法。
主成分回归分析通过将原始自变量进行线性变换，得到一组新的主成分变量，这些主成分变量之间不存在相关性，从而避免了多重共线性问题。
然后，利用这些主成分变量进行回归分析，可以得到更为准确稳健的回归系数估计。
三、岭回归岭回归是一种经典的解决多重共线性问题的方法。
岭回归通过对回归系数施加惩罚项，从而减小回归系数的估计值，进而降低多重共线性对回归分析的影响。
岭回归的思想是在最小二乘估计的基础上加上一个惩罚项，通过调节惩罚项的系数来平衡拟合优度和模型的复杂度，从而得到更为稳健的回归系数估计。
四、逐步回归逐步回归是一种逐步选择自变量的方法，可以用来解决多重共线性问题。
逐步回归可以通过逐步引入或剔除自变量的方式，来得到一组最优的自变量组合，从而避免了多重共线性对回归系数估计的影响。
以上所述的方法都可以用来解决回归分析中的多重共线性问题。
在实际应用中，应该根据具体的情况选择合适的方法来处理多重共线性问题，从而得到准确可靠的回归分析结果。
总之，多重共线性是回归分析中需要重点关注的问题，通过合适的方法来处理多重共线性问题，可以得到更为准确稳健的回归系数估计，从而提高回归分析的预测能力和解释能力。
用主成分法解决多重共线性问题
用主成分法解决多重共线性问题一、多重共线性的表现线性回归模型中的解释变量之间由于存在精确相关关系或高度相关关系。
看似相互独立的指标本质上是相同的，是可以相互代替的，但是完全共线性的情况并不多见，一般出现的是在一定程度上的共线性，即近似共线性。
二、多重共线性的后果1.理论后果多重共线性是因为变量之间的相关程度比较高。
按布兰查德认为, 在计量经济学中, 多重共线性实质上是一个“微数缺测性”问题，就是说多重共线性其实是由样本容量太小所造成，当样本容量越小，多重共线性越严重。
多重共线性的理论主要后果：（1）完全共线性下参数估计量不存在；（2）近似共线性下OLS估计量非有效；（3）模型的预测功能失效；（4）参数估计量经济含义不合理2.现实后果（1）各个解释变量对指标最后结论影响很难精确鉴别；（2）置信区间比原本宽，使得接受假设的概率更大；（3）统计量不显著；（4）拟合优度的平方会很大；（5）OLS估计量及其标准误对数据微小的变化也会很敏感。
三、多重共线性产生的原因1.模型参数的选用不当，在我们建立模型时如果变量之间存在着高度的相关性2. 由于研究的经济变量随时间往往有共同的变化趋势,他们之间存在着共性。
例如当经济繁荣时，反映经济情况的指标有可能按着某种比例关系增长3. 滞后变量。
滞后变量的引入也会产生多重共线行，例如本期的消费水平除受本期的收入影响之外，还有可能受前期的收入影响，建立模型时，本期的收入水平就有可能和前期的收入水平存在着共线性。
四、多重共线性的识别1.方差扩大因子法( VIF)一般认为如果最大的VIF超过10，常常表示存在多重共线性。
2.容差容忍定法如果容差（tolerance）<=0.1，常常表示存在多重共线性。
3. 条件索引条件索引(condition index)>10，可以说明存在比较严重的共线性。
五、多重共线性的处理方法处理方法有多重增加样本容量、剔除因子法、PLS(偏最小二乘法)、岭回归法、主成分法。
多重共线性解决方法
多重共线性解决方法
多重共线性是指在回归模型中，自变量之间存在高度相关性的情况，这会导致模型的解释能力下降，系数估计不准确，模型的稳定性受到影响。
以下是一些解决多重共线性问题的方法：
1.增加样本量：通过增加样本量可以减少模型中的抽样误差，从而减轻多重共线性的影响。
2.删除冗余变量：通过剔除高度相关的自变量，可以降低共线性的程度。
可以使用相关性矩阵或者变量膨胀因子（VIF）来判断哪些自变量之间存在高相关性，并选择保留一个或几个相关性较为弱的变量。
3.主成分分析（PCA）：主成分分析可以将高度相关的自变量转换成一组无关的主成分，从而降低共线性的影响。
可以选择保留其中的几个主成分作为新的自变量，代替原始的自变量。
4.岭回归（Ridge Regression）：岭回归是在普通最小二乘法的基础上加入一个正则化项，通过缩小系数估计的幅度，减少共线性对系数估计的影响。
岭回归可以通过交叉验证选择合适的正则化参数。
5.套索回归（Lasso Regression）：套索回归也是在普通最小二乘法的基础上加入一个正则化项，不同的是套索回归使用L1范数作为正则化项，可以将一些系
数估计缩减为零，从而实现变量选择的效果。
6.弹性网回归（Elastic Net Regression）：弹性网回归是岭回归和套索回归的结合，同时使用L1和L2范数作为正则化项，可以在预测准确性和变量选择之间进行权衡。
以上方法可以根据具体问题的特点和需求选择合适的方法来解决多重共线性问题。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
解决多元线性回归中多重共线性问题的方法分析谢小韦，印凡成河海大学理学院，南京 (210098)E-mail ：xiexiaowei@摘 要：为了解决多元线性回归中自变量之间的多重共线性问题，常用的有三种方法: 岭回归、主成分回归和偏最小二乘回归。
本文以考察职工平均货币工资为例，利用三种方法的SAS 程序进行了回归分析，根据分析结果总结出三种方法的优缺点，结果表明如果能够使用定性分析和定量分析结合的方法确定一个合适的k 值，则岭回归可以很好地消除共线性影响；主成分回归和偏最小二乘回归采用成份提取的方法进行回归建模，由于偏最小二乘回归考虑到与因变量的关系，因而比主成分回归更具优越性。
关键词：多重共线性；岭回归；主成分回归；偏最小二乘回归1. 引言现代化的工农业生产、社会经济生活、科学研究等各个领域中，经常要对数据进行分析、拟合及预测，多元线性回归是常用的方法之一。
多元线性回归是研究多个自变量与一个因变量间是否存在线性关系,并用多元线性回归方程来表达这种关系，或者定量地刻画一个因变量与多个自变量间的线性依存关系。
在对实际问题的回归分析中，分析人员为避免遗漏重要的系统特征往往倾向于较周到地选取有关指标，但这些指标之间常有高度相关的现象，这便是多变量系统中的多重共线性现象。
在多元线性回归分析中，这种变量的多重相关性常会严重影响参数估计，扩大模型误差，破坏模型的稳健性，从而导致整体的拟合度很大，但个体参数估计值的t 统计量却很小，并且无法通过检验。
由于它的危害十分严重，存在却又十分的普遍，因此就要设法消除多重线性的不良影响。
常用的解决多元线性回归中多重共线性问题的模型主要有主成分回归、岭回归以及偏最小二乘回归。
三种方法采用不同的方法进行回归建模，决定了它们会产生不同的效果。
本文以统计职工平均货币工资为例，考察一组存在共线性的数据，运用SAS 程序对三种回归进行建模分析，并对结果进行比较，总结出它们的优势与局限，从而更好地指导我们解决实际问题。
2. 共线性诊断拟合多元线性回归时，自变量之间因存在线性关系或近似线性关系，隐蔽变量的显著性，增加参数估计的方差，导致产生一个不稳定的模型，因此共线性诊断的方法是基于自变量的观测数据构成的矩阵T x x 进行分析，使用各种反映自变量间相关性的指标。
共线性诊断常用统计量有方差膨胀因子VIF (或容限TOL )、条件指数和方差比例等。
一般认为：若VIF>10，说明模型中有很强的共线性关系；若条件指数值在10与30间为弱相关，在30与100间为中等相关，大于100为强相关；在大的条件指数中由方差比例超过0.5的自变量构成的变量子集就认为是相关变量集[1]。
3. 三种解决方法岭回归基本思想: 当出现多重共线性时，有0T X X ≈，从而使参数的1ˆ()T T X X X Y β−=很不稳定，出现不符合含义的估计值，给TX X 加上一个正常数矩阵(0)KI K >，则T X X KI +等于0的可能性就比TX X 的可能性要小得多，再用1ˆ()T T X X KI X Y β−=+来估计,ˆβ比用普通最小二乘估计的ˆβ要稳定得多。
主成分回归基本思想：观察n 个样本点，得到因变量y 和p 个自变量12,,,p x x x L 关系，设自变量0x = (12,,,p x x x L ) 间的相关数矩阵记为R 。
主成分回归方法完全撇开因变量y ，单独考虑对自变量集合做主成分提取。
其过程是:1) 求R 的前m 个非零特征值120m λλλ≥≥≥>L ，以及相应的特征向量12,,,m u u u L ；2) 求m 个主成分:0h h F X u = 1,2,,h m =L偏最小二乘回归的基本思想： 首先在自变量集中提取第一潜因子1t （1t 是 1,2,,mx x x L 的线性组合, 且尽可能多地提取原自变量集中的变异信息, 比如第一主成分)；同时在因变量集中也提取第一潜因子1u ,并要求1t 与1u 相关程度达最大。
然后建立因变量Y 与1t 的回归，如果回归方程已达到满意的精度, 则算法终止。
否则继续第二轮潜在因子的提取, 直到能达到满的精度为止。
若最终对自变量集提取l 个潜因子12,,,l t t t L , 偏最小二乘回归将通过建立Y 与12,,,l t t t L 的回归式, 然后表示为Y 与原自变量的回归方程式[2]。
4. 实例分析全国单位大体分成三大类：国有单位，城镇集体单位和其他单位，考虑到职工的平均工资主要和这三类单位的工资有关，为了研究和分析我国职工的平均工资，需建立一个以职工平均工资为因变量，三类单位的工资为自变量的回归方程。
考察职工平均货币工资指数Y 与国有单位货币工资指数x1， 城镇集体单位货币工资指数x2， 其他单位货币工资指数x3等三个自变量有关。
现收集1991年至2005年共15年的数据，如表1所示。
表1 职工货币工资指数Table 1 The index of staff’s monetary wage货 币 工 资 指 数 (上年=100) 年数 国有单位x1 城镇集体单位x2 其他单位x3 平均工资y1991 108.5 111.0 116.1 109.3 1992 116.2 113.0 114.4 115.9 1993 122.7 122.9 125.2 124.3 1994 135.8 125.2 126.9 134.6 1995 117.3 121.1 118.4 121.2 1996 111.6 109.4 110.7 112.9 1997 107.4 104.9 106.4 104.2 1998 106.1 102.5 97.7 106.6 1999 111.4 108.3 109.6 111.62000 111.8 108.5 111.8 112.3 2001 117.0 109.7 110.5 116.0 2002 115.1 111.6 108.8 114.3 2003 113.3 113.2 110.3 113.0 2004 114.8 113.1 111.6 114.1 2005 115.4 115.0 112.2 114.6运用SAS 程序对这组数据进行共线性诊断，输出结果见图1。
图 1 数据共线性诊断的部分结果Fig .1 Collinearity Diagnostics of the data (part)由图1的共线性诊断结果可以知最大条件指数132.46>100，说明4个自变量间有强相关性，与最大条件指数在一行的3个变量中有2个变量的方差比例都大于0.5，可见这4个变量是一个具有强相关的变量集。
由此得到回归方程为：8.3800.74910.34520.0143y x x x =−++−可以看到变量x3的系数为负，这与实际情况不符。
出现此现象的原因是变量x1与x2，x3，x4线性相关(121314(,)0.9756,(,)0.9207,(,)0.9268x x x x x x ρρρ===)，此处也可看出这4个变量是多重相关的变量集。
4.1 运用岭回归SAS 程序进行回归分析为了消除变量之间的多重共线性关系，用岭回归方法来建立回归方程产，并用SAS 程序进行岭回归分析，部分结果见图2、3，从岭迹图中可以看出，当0.02k ≥后，岭迹图趋于稳定。
图2 职工平均工资的岭迹图Fig. 2 Ridge mark chart of staff’s average wagek=的岭回归估计来建立岭回归方程，由图3可以写出岭回归方程式为:取0.02=−+++y x x x7.3120.70910.33820.0243图3 职工平均工资数据输出数据集(部分)Fig. 3 Output of staff’s average wage data (part)可以看出各个回归系数的方差膨胀因子均小于6，岭回归方差的均方根误差为1.37114，虽比普通最小二乘回归方程的均方根误差(1.35714)有所增大，但增加不多。
4.2 运用主成分回归SAS程序进行回归分析运用SAS程序可以得出删去第三个主成分后的主成分回归方程，结果见图4。
主成分回归方程为：=−+++y x x x7.7010.76710.27420.0333Fig. 4 Principal Component Regression’s result of staff’s average wage data可以看出各个回归系数的方差膨胀因子均小于3.5；主成分回归方程的均方根误差为1.30996，比普通最小二乘回归方程的均方根误差(1.35714)有所减小。
4.3 运用偏最小二乘回归SAS 程序进行回归分析最后，使用SAS 软件中得PLS 过程完成偏最小二乘回归分析，输出结果见图5。
图 5 职工平均工资数据偏最小二乘回归的结果Fig.5 Partial Least Square Regression’s result of staff’s average wage data由估计值可以写出标准化回归方程为0.74110.26020.0133yx x x =++%%%%，用原始变量可表示为7.9730.76110.30220.0133y x x x =−+++[3]。
偏最小二乘回归方程中回归系数的符号都是有意义的。
可知偏最小二乘回归方程的均方根误差为1.18075，比普通最小二乘回归方程的均方根误差(1.35714)有所减小，且比主成分回归方程的均方根误差为1.30996也有所减小。
由实例看出，对于这组数据的处理，三种方法中岭回归的效果相对较差，主成分回归次之，偏最小二乘回归的计算结果更为可靠。
5. 结论岭回归估计量的质量取决于k 值的选取，一般认为：在通过岭迹图和方差膨胀因子来选择k 值时，其判断方法是选择一个尽可能小的k 值，在这个较小的k 值上，岭迹图中回归系数已变得比较稳定，并且方差膨胀因子也变得足够小。
从上面的实例中可以看出岭回归的效果相对较差，这是由于k 值的确定存在一定的人为因素，所以在确定k 值的时候要把定性分析和定量分析有机的结合起来。
这样才能充分发挥岭回归的优点。
利用主成分回归的方法使主成分之间不再存在自相关现象，这就对解决多重相关性下的回归建模问题给出了某种希望。
这种成分提取的思路是十分可取的，但利用主成分进行的回归很多时候结果往往不够理想，原因在于，在上述成分提取过程中，完全没有考虑与因变量y 的联系。
这样所得到的第1 (或前几个) 主成分可能会对自变量系统有很强的概括能力，而对y 的解释能力却变得十分微弱。
偏最小二乘回归也采用成份提取的方式进行回归建模，但其思路与主成分回归却有很大的不同。