第6章 多元线性回归分析

第六章回归分析目录

回归分析

§6.1 REG过程

§6.2 线性回归

6.2.1线性回归模型的数学表示

6.2.2 回归参数的估计

6.2.3 回归方程的假设检验

6.2.4 自变量的选择

6.2.5 多重共线性识别及处理

6.2.6 回归诊断

—多元线性回归回归分析是研究变量间的依赖关系一种方法

—多元线性回归

提纲REG过程

回归分析的基本内容回归分析实例

?REG 过程的调用格式：

PROC REG DATA=SAS 数据集选项1；MODEL 因变量=自变量名表/选项2；PLOT Y 变量*X 变量/选项3；

OUTPUT OUT=数据集名关键字=变量名….；RUN ；

必选项1 REG 过程

1 REG过程

?选项1中常用选择项有：

GRAPHICS 高分辩率的图形方式

OUTEST=SAS数据集保存回归分析的结果

COVOUT=SAS数据集存入估计的协方差阵

OUTSSCP=SAS数据集保存离差阵

RIDGE=值给出岭回归中的K值，其方式有M、M TO N、M TO N BY I 、M1，M2 TO M3

NOPRINT 不打印输出

1 REG过程

?选项2中常用选择项有：

CLI 每个个体预测值的95%上、下限

CLM 每个观测因变量期望值的95%上、下限R 每个个体的预测值、残差及标准误

P 每个个体的观测值、预测值、残差等（若选择CLI CLM R，则无需选择它）

I 计算(X'X)-1

XPX 计算X'X X'Y

1 REG过程

?选项2中常用选择项有：

VIF 方差膨胀因子,它表示由于共线性的存在而使参数估计值的方差增大的情况.

STB 标准化偏回归系数

CORRB 参数估计的相关阵

COVB 参数估计的协方差阵

COLLIN 要求进行共线性分析

INFLUENCE 要求分析观测值对参数估计和预测值的影响

1 REG过程

?选项2中常用选择项有：

SELECTION=

?BACKWARD 后退法SLSTAY=值（缺省值为0.1）?FORWARD 向前法SLENTRY=值(缺省值为0.5)?STEPWISE 逐步回归法SLSTAY=值SLENTRY=值(缺省值均为

0.15)

?RSQUARE R2选择法

?ADJRSQ 修正.R2选择法

?CP Mallous Cp统计量

?MAXR R2最大增量法

?MINR R2最小增量法

1 REG过程

?选项3中常用选择项有：

OVERLAY多个图在一个图上表示SYMBOL=用某一符号表示图形HPLOTS=N在同一页水平方向作N幅图VPLOTS=N在同一页垂直方向作N幅图

1 REG过程

?常用的统计关键词有：

P（PRIDICTED）预测值

R（RESIDUAL）残差

L95M期望值的95%下限

U95M期望值的95%上限

L95个体预测值的95%下限

U95个体预测值的95%上限

STDP期望值的标准误

1 REG过程

?常用的统计关键词有：

STDI 预测值的标准误

STUDENT 学生化残差

RSTUDENT 去掉某观测后的学生化残差

COOKD COOK D值

H 杠杆值

PRESS 当去掉第I个观测值后拟合模型的第I个观测的残差除以1-H;

DFFITS 预测值的标准影响力.

2 线性回归

2.1 线性回归的数学表示

因变量

y 自变量为p

x

x x ,,,2

1

满足线性关系

e

x x y p

p

++++=βββ 1

10

（I ）

次观测，对进行n 所得的n 组数据为

)

,,2,1(,,,,21n i x x x ip i i =它们均满足（I ）式

p x x x ,,,21 y

2 线性回归

2.1 线性回归的数学表示

因变量

y 自变量为p

x

x x ,,,2

1

满足线性关系

e

x x y p

p

++++=βββ 1

10

（I ）

次观测，对进行n 所得的n 组数据为

)

,,2,1(,,,,21n i x x x ip i i =它们均满足（I ）式

p x x x ,,,21 y

1111101e x x y p p ++++=βββ 2

221102e x x y p p ++++=βββ n

np p n n e x x y ++++=βββ 110)

,,,,(1

112

11

y x x x p

????? ?=y y 21 y ????? ?=ββ 10β??????????=p p x x x x 22111111X ????? ?=e e 21e )

,,,,(2

22221

y x x x p )

,,,,(2

1

n

np

n n y x x x 2 线性回归

2.1 线性回归的数学表示

本章目录

因此（I ）式可写成如下矩阵形式：

e

Xβy +=（II ）

e =)(E n

Cov I e 2)(σ=此为多元线性回归方程。

2 线性回归

2.1 线性回归的数学表示

y

X'X)(X'β1-=?最小二乘法解

2 线性回归 2.2 回归参数的估计

2 线性回归

2.2 回归参数的估计

若对进行标准化，即，其中，

，则得到的回归系数

即标准化回归系数。标准化回归系数表示当其他自变量固定时，每变化一个单位，因变量平均变化个单位。因此反映了自变量对因变量的影响大小。另外的正号反映了与间是正相关关系，负号则为负相关关系

p X X X ,...,,21i

i

i i S

X X x -=p

i ,,1 =∑==n

j ji

i x X 1

∑-=212)(i ji n i x x S 'i βY 'i β'i βi x Y 'i βi x Y i x

2 线性回归

2.3 回归方程的假设检验—模型的检验

对于任一组观测数据，我们都可按上述方法建立回归方程，那么它们是否具备建立线性回归方程的条件呢？这就需要进行回归方程的显著性检验。即检验假设，也就是所有回归系数都等

于零。如果检验的结果是拒绝，即接受其备择假设，说明至少有一个回归系数，从而说明

变量线性依赖于某个变量；若检验的结果是接受，则说明所有变量对变量的线性0β=:0H 0H 0

≠i βY i X 0H p X X X ,...,,21

2 线性回归 2.

3 回归方程的假设检验—模型的检验

方差来源平方和自由度均方F值值

概率p

模型

回归

SS p p

SS

MS

回归

回归

=

E

MS

MS

F

回归

回

=

}

{

1

,回

F

F

P

p

p

n

p

>

=

-

-

误差

剩余

SSE1

-

-p

n1

-

-

=p

n

SSE

MS

E剩余

总和

总

TSS

1

-

n

对回归方程的显著性检验是通过方差分析得到。首先将因变量的离均差平方和分解为由回归和误差引起两部分，然后构造F统计量来进行统计推断的

y

1'y y'y )(1

2

-=-=∑=n

i i y y TSS 总'

)1,...,

1,1(=1其中y 1'y X''β

y SS -=?回归y X''β

y y'?-=剩余SSE 剩余

回归总SSE SS TSS +=总

回归

TSS

SS

R =

2

复决定系数

2 线性回归 2.

3 回归方程的假设检验—模型的检验

其中：