第3讲回归分析-方差分析

^
^
(yi yi )2 ( yi y)2
SSE SSR
其中SSE为回归平方和 SSR为剩余变差
三、回归方程的选择
SPSS中可以提供多元回归分析，当有多 个自变量时，不仅要求与因变量相关， 且要求自变量之间彼此尽可能独立。
SPSS中提供了五种选择：
– 强制进入ENTER: 进入 “Enter”所选择的 自变量将全部进入建立的回归方程中，该项 为默认方式。
• “Histogram”用直方图显示标准化残差。 • “Normal probability plots”比较标准化残差与正态残
差的分布示意图。 “Produce all partial plot”偏残差图。对每一个自变量生
成其残差对因变量残差的散点图。
SAVE按钮 • ①“Predicted Values”预测值栏选项：
“Selection Variable”为控制变量输入栏。 控制变量相当于过滤变量，即必须当该变 量的值满足设置的条件时，观测量才能参 加回归分析。
• Regression Coefficients复选框组：定义回归系 数的输出情况，选中Estimates可输出回归系数B 及其标准误，t值和p值，还有标准化的回归系数 beta；选中Confidence intervals输出每个回归系 数的95%可信区间；选中covariance matrix会输 出各个自变量的相关矩阵和方差、协方差矩阵。
Unstandardized 非标准化预测值。在当前数据 文件中新添加一个以字符“PRE_”开头命名的变 量，存放根据回归模型拟合的预测值。 Standardized 标准化预测值。 Adjusted 调整 后预测值。S.E. of mean predictions 预测值的 标准 Mahalanobis: 距离。 Cook’s”: Cook距离。
– 逐步回归STEPWISE: 逐步进入 “Stepwise” 根据“Options”对话框中的设置，在方程中加入 或剔除单个变量直到所建立的方程中不再含有可 加入或剔除的变量为止。
四、功能菜单
菜单“Analyze->Regression->Linear”
对话框
• 设置因变量： “Dependent”栏 • 设置自变量： “Independent(S)”框
– 强制退出REMOVE: 后进入 “Remove”将 进入方程中的自变量同时剔除。
– 向前选择FORWARD: 条件进入“Forward”根 据“Options”对话框中的设置，在方程中每次加 入一个变量，直至加入所有符合条件的变量为止。
– 向后剔除BACKWARD: 先进入 “Backward”自 变量框中所有的变量同时进入方程中，然后根据 “Options”对话框中的设置，剔除某个变量，直 到所建立的方程中不再含有可剔除的变量为止。
• Descriptives复选框：提供一些变量描述，如有 效例数、均数、标准差等，同时还给出一个自变 量间的相关矩阵。
• Part and partial correlations复选框：显示自 变量间的相关、部分相关和偏相关系数。
• Collinearity diagnostics复选框：给出一些用于 共线性诊断的统计量，如特征根 （Eigenvalues）、方差膨胀因子(VIF)
• ⑤ “Export model information to XML file” 导出 统计过程中的回归模型信息到指定XML文件。
散点图 • “DEPENDNT”因变量。 “ZPRED”标准化预测值。 • “ZRESID”标准化残差。 “DRESID”删除残差。 • “ADJPRED”修正后预测值。 “SRESID”学生氏化残
差。 • “SDRESID”学生氏化删除残差。
“Standardized Residual Plots”设置各变量的标准化残差 图形输出。其中共包含两个选项：
Leverage values: 杠杆值。 • ③“Prediction Intervals”预测区间选项：
Mean: 区间的中心位置。 Individual: 观测量上限和下限的预测区间。
• ④“Save to New File”保存为新文件： 选中“Coefficient statistics”项将回归系数保存到指定 的文件中。
二、回归方程的数学模型 模型求解：
即要使得
f (xi) (yi yi)2
(yi b0 b1x1i b2x2i bnxni)2 min
分别对b0，b1，…，bn求导，并令其一阶导数 为0，可求出各个系数
二、回归方程的数学模型
估计标准误差 是估计y与对应观测值之间的离差平方和
SST Lyy ( yi yi )2
• Residuals复选框组：用于选择输出残差诊断的信 息，可选的有Durbin-Watson残差序列相关性检 验、超出规定的n倍标准误的残差列表。
• Model fit复选框：模型拟合过程中进入、退出的 变量的列表，以及一些有关拟合优度的检验：R， R2和调整的R2, 标准误及方差分析表。
• R squared change复选框：显示模型拟合过程中 R2、F值和p值的改变
为了求回归系数b0，b1令一阶导为0，得
bn0b0xbi1b1xi
xi2
yi
xiyi
从中解出：
b1
(xi x)( yi y) (xi x)2
b0 y b1 x
二、回归方程的数学模型 模型
多元回归：用于分析n个自变量和因变量y 之间的关系
基本形式
^
Yi b0 b1x1i b2x2i bnxni
第3讲回归分析-方差分析
主要内容
• 线性回归 • 曲线回归
线性回归
二、回归方程的数学模型
模型 一元回归:用于分析两个变量之间的关系 基本形式是：
^
Yi b0 b1xi b0,b1分 别 是 回 归 直 线 的 和截 斜距 率
二、回归方程的数学模型 模型求解：最小二乘法
fxi yiy ^ i 2 yi b 0 b 1 xi2m in