多重线性回归-SPSS教程

多重线性回归-SPSS教程一、问题与数据最大携氧能力（maximal aerobic capacity，VO2 max）是评价人体健康的关键指标，但测量方法复杂，不易实现。

具体原因在于，它不仅需要昂贵的试验设备，还需要研究对象运动到个人承受能力的极限，无法测量那些没有运动意愿或患有高危疾病无法运动的研究对象。

因此，某研究者拟通过一些方便、易得的指标建立研究对象最大携氧能力的预测模型。

该研究者共招募100位研究对象，分别测量他们的最大携氧能力（VO2 max），并收集年龄（age）、体重（weight）、运动后心率（heart_rate）和性别（gender）等变量信息。

部分数据图1。

图1 部分数据二、对问题分析研究者想根据一些变量（age、weight、heart_rate和gender）预测另一个变量（VO2 max）。

针对这种情况，可以使用多重线性回归分析，但需要先满足以下8项假设：假设1：因变量是连续变量。

假设2：自变量不少于2个（连续变量或分类变量都可以）。

假设3：各观测值之间相互独立，即残差之间不存在自相关。

假设4：因变量和自变量之间存在线性关系。

假设5：残差的方差齐。

假设6：不存在多重共线性。

假设7：没有显著异常值。

假设8：残差近似正态分布。

假设1和假设2与研究设计有关。

本研究数据符合假设1和2。

如何考虑假设3-8呢？三、SPSS操作3.1 多重线性回归SPSS运行多重线性回归后，可以在结果中检验假设3-8。

在主界面点击Analyze→Regression→Linear，在Linear Regression对话框中，将因变量（VO2 max）放入Dependent栏，再将自变量（age，weight，heart_rate和gender）放入Independent栏。

如图2。

图2 Linear Regression由于本研究的目的是通过现有数据建立预测模型预测VO2 max，并非筛选变量，因此Method栏应设置为“Enter”，一般是SPSS自动设置的；如果不是，也应人工设置为“Enter”。

点击Statistics，在Regression Coefficient框内点选Confidence intervals，设置Level（%）为95%。

在Residuals框内点选Durbin-Watson和Casewise diagnosis，并在主对话框内点选Model Fit、Descriptives、Part and partial correlations和Collinearity diagnosis。

如图3。

图3 Linear Regression: Statistics点击Continue，回到主对话框后，点击Plots，在Standardized Residual Plots 中点选Histogram和Normal probability，并点选Produce all partial plots。

如图4。

图4 Linear Regression: Plots点击Continue，回到主对话框后，点击Save，在Predicted Values框内点选Unstandardized，在Distance框内点选Cook’s和Leverage values，在Residuals框内点选Studentized和Studentized deleted，点击Continue→OK。

如图5。

图5 Linear Regression: Save经过上述操作后，Variable View 和Data View对话框中会增加5个变量，如图6。

图6 Data View这5个变量分别是未标化预测值（unstandardized predicted values，PRE_1）、学生化残差（studentized residuals，SRE_1）、学生化删除残差（studentized deleted residuals，SDR_1）、Cook距离（Cook’s Distance values，COO_1）以及杠杆值（leverage values，LEV_1）。

根据这5个新增变量和其它结果，我们将逐一对假设3-8进行检验。

3.2 假设3：各观测值之间相互独立，即残差之间不存在自相关选择图3所述Durbin-Watson选项，SPSS输出Durbin-Watson检验的结果。

Durbin-Watson检验常用来检测残差是否存在自相关。

如图7。

图7 Model Summary一般来说，Durbin-Watson检验值分布在0-4之间，越接近2，观测值相互独立的可能性越大。

本研究Durbin-Watson检验值为2.257，说明观测值具有相互独立性，满足假设3。

但不得不说，Durbin-Watson检验不是万能的。

它仅适用于对邻近观测值相关性的检验（1st-order autocorrelation）。

举例来说，我们一般按照调查顺序录入数据，将第一位研究对象录入到第一行，再将第二位研究对象录入到第二行。

在这种情况下，Durbin-Watson检验可以检测出第一位研究对象和第二位研究对象之间的相关性。

但是如果我们乱序录入数据，将第一位研究对象和可能与他存在自相关的第二位研究对象离得很远，Durbin-Watson检验的结果就不准确了。

因此，我们需要慎重对待Durbin-Watson检验的结果。

其实，观测值是否相互独立与研究设计有关。

如果研究者确信观测值不会相互影响，我们甚至可以不进行Durbin-Watson检验，直接认定研究满足假设3。

3.3 假设4：因变量和自变量之间存在线性关系多重线性回归不仅要求因变量与所有自变量存在线性关系，还要求因变量与每一个自变量之间存在线性关系。

应该如何检验这个假设呢？（1）检验因变量与所有自变量之间是否存在线性关系图5所述中，在Predicted Values框内点选Unstandardized，在Residuals 框内点选Studentized后，可以得到未标化预测值（PRE_1）和学生化残差（SRE_1）两个新增变量（图6）。

为检验因变量与所有自变量之间是否存在线性关系，我们需要绘制这两个变量的散点图。

在主界面点击Graphs→Chart Builder，在Chart Builder对话框下，选择Gallery→Choose from→Scatter/Dot。

选择Scatter/Dot后，在中下部呈现8种图形。

选择“Simple Scatter”，并拖拽到主对话框中。

如图8。

图8 Chart Builder预览区中显示简单散点图，在X和Y轴边还显示“X-Axis”和“Y-Axis”框，Chart Builder对话框右侧出现了新的对话框Element Properties。

从Variables 中，拖拽PRE_1到预览区的X-Axis，拖拽SRE_1到Y-Axis。

点击OK。

如图9。

图9 Chart Builder通过上述步骤，可得到未标化预测值（PRE_1）和学生化残差（SRE_1）的散点图，如图10。

图10 散点图一般来说，如果未标化预测值（PRE_1）和学生化残差（SRE_1）的散点图呈水平带状，就说明多重线性回归中因变量与所有自变量之间存在线性关系。

结果提示，本研究满足因变量与所有自变量之间存在线性关系的假设。

（2）检验因变量与每一个自变量之间是否存在线性关系为检验因变量与每一个自变量之间是否存在线性关系，需要分别绘制每个自变量与因变量的散点图。

当然，这是针对连续型自变量而言的，因此可以忽略分类型自变量（如性别）与因变量之间的线性关系。

图4所述中，点选Plots对话框中的Produce all partial plots，SPSS可以自动输出每个自变量与因变量的散点图，如图11、图12和图13。

图11 VO2 max与年龄的散点图最大携氧能力（VO2 max）与年龄（age）之间存在近似线性关系。

图12 VO2 max与体重的散点图最大携氧能力（VO2 max）与体重（weight）之间存在线性关系。

图13 VO2 max与心率的散点图最大携氧能力（VO2 max）与心率（hear_rate）之间存在近似线性关系。

综上，我们认为本研究满足因变量与每一个自变量之间存在线性关系的假设。

一般认为，因变量和自变量的线性关系是指因变量会随自变量的变化而发生改变。

如果因变量与某一自变量的散点图呈水平分布，即斜率为0，证明其因变量不随自变量变化，则认为该二者之间不存在线性关系。

如图14。

图14 两个变量关系的散点图3.4 假设5：残差的方差齐假设5可以通过学生化残差（SRE_1）与未标化预测值（PRE_1）之间的散点图进行检验，如图10。

如果残差的方差齐，不同预测值对应的残差应大致相同，即图中各点均匀分布，不会出现特殊的分布形状。

如果散点图分布不均匀，形成漏斗或者扇形，则残差的方差不齐。

如图15。

图15 残差方差不齐的散点图本研究中学生化残差与未标化预测值散点图的各点均匀分布，提示满足假设5。

当然，如果不满足方差齐性假设，我们也可以通过一些统计手段进行矫正。

比如，采用加权最小二乘法回归方程，改用更加稳健的分析方法以及转换数据等。

3.5 假设6：不存在多重共线性当2个或多个自变量高度相关时，就会出现多重共线。

它不仅影响自变量对因变量变异的解释能力，还影响整个多重线性回归模型的拟合。

为了检验假设6，我们主要关注相关系数（correlation coefficients）和容忍度/方差膨胀因子（Tolerance/VIF）两类指标。

图3所述中，点击Descriptives，SPSS可以输出Correlations结果，即自变量之间的相关系数矩阵。

如图16。

图16 Correlations一般来说，如果自变量之间的相关系数大于0.7，则可能存在多重共线性。

本研究中，任意两个自变量的相关系数都小于0.7，提示不存在多重共线性。

图3所述中，点击Collinearity diagnosis，SPSS可以输出容忍度（Tolerance）和方差膨胀因子（VIF）。

如图17。

图17 Coefficients实际上，方差膨胀因子是容忍度的倒数（1/容忍度），我们只需要判断其中一个指标即可。

如果容忍度小于0.1（或方差膨胀因子大于10），提示数据存在多重共线性。

在本研究中，所有容忍度值都大于0.1（最小值为0.816），提示数据满足假设6。

3.6 假设7：没有显著异常值多重线性回归异常值主要分为离群值（outliers）、高杠杆点（leverage points）和强影响点（influential points）3类。

异常的观测值可以符合其中一类或几类。