回归分析课程设计

课程设计报告

课程名称应用回归分析

实验学期2010 年至2011 年第二学期所在学院理学院年级专业班级

学生姓名学号自评成绩教师评成绩

学生姓名学号自评成绩教师评成绩

学生姓名学号自评成绩教师评成绩

学生姓名学号自评成绩教师评成绩

学生姓名学号自评成绩教师评成绩指导教师

目录

1.前言 (3)

2.问题简述 (3)

3.多元线性回归 (4)

4.违背基本假设情况 (7)

4.1 多元加权最小二乘估计 (7)

4.2 自相关性问题及其处理 (8)

5.自变量选择与逐步回归 (12)

5.1 所有子集回归 (12)

5.1.1 最优R a2法 (12)

5.1.2 最优C p法 (12)

5.2 逐步回归 (13)

5.2.1 前进法 (13)

5.2.2 后退法 (14)

5.2.3 逐步回归法 (17)

6.多重共线性的情形及其处理 (18)

6.1 多重共线性的诊断 (18)

6.1.1 方差扩大因子法 (18)

6.1.2 特征根判定法 (19)

6.2消除多重共线性 (19)

6.3 主成分回归 (23)

7.岭回归 (24)

8．含定性变量的回归模型 (28)

8.1自变量中含有定性变量的回归模型的应用 (28)

8.2 Logistic回归模型 (34)

8.3 Probit回归模型 (35)

9. 总结 (36)

1.前言

本文以“汽车耗油量消耗因素”的数据为载体，在SPSS软件环境下，验证及梳理了《应用回归分析》中的数据分析方法和实验原理。本文主要利用了多元线性回归、最小二乘法估计、逐步回归、多重共线性诊断及消除、岭回归分析、定性变量回归等一系列的方法对数据进行处理，通过在实践中学习、学习中相互促进讨论，达到加深学生对《应用回归分析》的理解，提高学生对相关统计软件的应用能力的效果。

2.问题简述

为研究决定汽车的汽油消耗的因素，收集了30种型号的汽车数据。其中包括每辆汽车的汽油消耗量（Y），以英里/加仑为单位，以及另外11个反映物理、机械特征的变量，如下表中数据的来源是1975年的Motor Trend杂志，变量的定义在表1中给出。

表1 变量定义

变量定义

Y 英里/加仑

X1 排气量（立方英寸）

X2 马力

X3 扭矩（英尺.磅）

X4 压缩比

X5 后轴动力比

X6 化油器（筒形）

X7 变速档数

X8 整体长度（英寸）

X9 宽度（英寸）

X10 重量（磅）

X11 传动类型（1=自动，0=手动）

3.多元线性回归

通过软件运行的增广相关矩阵，如表2：

表2 增广相关矩阵

由相关系数矩阵可以看出，因变量Y（耗油量）与自变量X1（排气量）, X2（马力）, X3（扭矩）, X6（化油器）, X8（整体长度）, X9（宽度）, X10（重量）, X11（传动类型）呈现负相关，与X4（压缩比），X5（后轴动力比），X7（变速档数）呈现正相关。这与实际情况相符。

回归分析结果：

表3 最小二乘回归分析结果

通过回归分析表，我们可以知道回归方程高度显著。但同时发现没有一个数据对因变量Y有显著性影响，故使用后退法逐一剔除变量。

首先剔除X11，用Y与其余10个自变量作回归，输出结果：

表4 剔除x11回归分析表

剔除X11后，其余自变量的显著性都发生了不同程度的变化，但仍然没有自变量通过检验，故继续剔除变量，剔除X6，输出结果：

表5 剔除x6回归分析表

剔除X4：

表6 剔除x6回归分析表

可以发现，此时已有自变量能通过检验，再一次剔除其余变量，最终方程中保留X8，X10，输出结果：

表7 最终回归分析表

得回归方程为：

Y =16.185+0.213X 8?0.01X 10

再根据公式：

{

X ij ?

=

X ?X

?√L jj Y i ?

=Y ?Y ?L YY β?j ?

=√L √L YY ?j

对数据进行处理，回归输出结果：

表8 标准化回归分析表

可得出标准化回归方程：

Y ?=0.714X 8?

?

1.535X 10?

4．违背基本假设情况

4.1 多元加权最小二乘估计

首先得到等级相关系数：

表9 等级相关系数

得等级相关系数r e8=?0.161，r e10=?0.209，因而选X8构造权函数，输出结果：

表10 加权最小二乘分差分析

根据以上结果，在m=-2时，对数拟然函数达到极大，因而幂指数m的最优取值为m=-2。加权最小二乘的R2=0.745，F值=39.383；而普通最小二乘的R2= 0.771，F值=45.525。所以，普通最小二乘法的拟合效果优于加权最小二乘法。最小二乘法回归方程：

Y=15.556+0.201X8?0.009X10

4.2 自相关性问题及其处理

相关性检验：

根据输出结果，DW=1.894，略小于2，故可认为存在相关性。

1)用迭代法消除自相关。

根据公式：

ρ?=1?1

2

DW=0.053

故有：

y t′=y t?0.053y t?1

x t′=x t?0.053x t?1得到数据组：

表11 迭代法数据组

根据以上数据计算作最小二乘，输出结果：

表12 迭代法回归分析

根据输出结果，DW=1.871，相关性依然没有被消除。

2)一阶差分法

计算差分：?y t=y t?y t?1，?x t=x t?x t?1

差分结果：

表13 一阶差分法数据组

根据以上数据计算作最小二乘，输出结果：

表13 一阶差分法回归结果

由输出结果可以看到，一阶差分仍然没有消除自相关性。

3)精确最大似然法

表14 精确最大似然法回归结果

4)科克伦奥克特法

表15 科克伦奥克特法回归结果

5)普莱斯温斯登法

表16 普莱斯温斯登法回归结果

根据上面输出的一系列结果，我们认为普莱斯温斯登法消除差分结果效果最佳。

5.自变量选择与逐步回归

5.1 所有子集回归

5.1.1 最优R a2法

通过SAS输出结果：

由输出结果可知，最优子集为x5，x8，x10，R a2=0.7804。

5.1.2 最优C p法

通过SAS输出结果：

由输出结果可知，最优子集为x5，x8，x10，C p=?0.5769。

5.2 逐步回归

5.2.1 前进法

取显著性水平为：

表17 前进法输出结果

由上面的结果可以得出，前进法引入了最优的回归模型是

复决定系数调整的复决定系数为，而全模型的复决定系数，调整的复决定系数为。

5.2.2 后退法：

取显著性水平

表18 后退法输出结果

由上面的结果可以得出，模型1是全模型，从模型2到模型9依次剔除变量

，故最优的回归模型是

复决定系数，调整的复决定系数为，而全模型的复决定系数，调整的复决定系数为。

5.2.3 逐步回归法：

取显著性水平为：

表19 逐步回归法输出结果

由上面的结果可以得出，逐步回归法的最优回归子集为模型2，回归方程是

逐步回归的选元过程为第一步引入；第二步引入。

复决定系数，调整的复决定系数为，而全模型的复决定系数，调整的复决定系数为。

6.多重共线性的情形及其处理

6.1 多重共线性的诊断

6.1.1 方差扩大因子法

表20 方差扩大因子法方差分析

从输出结果1看到，x1,x2,x3,x7,x8,x10的方差扩大因子均大于10，分别为VIF1=129,VIF2=43.996,VIF3=161.185,VIF7=11.748,VIF8=20.507,VIF10=85.570,说明回归方程存在着严重的多重共线性。

6.1.2 特征根判定法

表21 方差扩大因子法方差分析

特征根分析：从输出结果2可以看到，矩阵X'X有多个特征根接近于零，说明X有多个多重共线性关系。

条件数：从条件数看到，最大的条件数k12=239.640，说明自变量间存在严重的多重共线性，这与方差扩大因子法的结果一致。从Variance Proportions方差比例表可以看到，第11行x4,x8,x10同时较大，为0.68,0.50,0.45，说明x4,x8,x10存在多重共线性。

6.2消除多重共线性

从表20看到，回归系数没能通过显著性检验，应先作自变量的选元，舍去一些变量。依次把P值最大的自变量剔除，再建立回归方程。

表22 消除多重共线性回归分析

根据表22，依次剔除变量x11,x6,x4,x7,x1,x9,x2,x3。

然后得：

剩下变量x5,x8,x10。

表23多重共线性显著性检验表

x5的系数的P值为0.51>0.05，没能通过显著性检验，剔除。剩下x8,x10.