第12章-多重线性回归分析
第12章 自相关
(Yt Yt 1 ) 1 (1 ) 2 X t 2 X t 1 (ut ut 1 ) (12.9.5)
Yt 1 2 X t t
以及 Table12.6
其他方法
• 游程检验（Geary test）：游程个数近似服从 正态分布。 • 布劳殊—格雷塞检验(BG检验，LM检验)，可 以弥补DW检验的不足。允许有滞后项、高阶 自相关、动平均。 做辅助回归得到可绝系数，（n-p）R^2服从 自由度为p的卡方分布。 缺陷：滞后长度不能确定
ˆ 的方差为： 在ui由AR （ 1）模式产生的情形下， 2 n 1 xt xt 1 2 2 2 t 1n var( 2 ) AR1 2 2 2 xt xt xt2 t 1 对照：没有自相关情形： var( 2 )
5 侦察自相关
图解法 经典模型的非自相关假定是对不可直接观测的总体 干扰 u t而言的
ˆ t 做一图象检查，往往可以对 u t 中可能存 但对 u 在的自相关提供一些线索 ˆt ˆ t和标准化残差（ u Fig12-8 是残差 u ˆ ）对时间 描点得到的时间顺序图（time sequence plot） 该图表明，u 也许不是随机的
(12.5.7) (12.5.8)
为样本一阶自相关系数 ，作为的估计量。
ˆ) （ 12.5.7）可变为：d 2(1 因为 1 1 ，故有： 0d 4 这就是d的界限 ˆ 1 ，则d 0, 残差中存在正序列相关 ˆ 0，则d 2, 没有（一阶）序列相关
0 -1 -2 -3 -4 -5 -5 -4 -3 -2 -1 0 1 2 3 4
张厚粲《现代心理与教育统计学》(第3版)配套题库[课后习题](线性回归)
](https://img.taocdn.com/s3/m/3625fe45ad51f01dc281f1e5.png)
dfR 1
MSR
SSR dfR
=118.95
dfE N 2 =8
MSE
SSE dfE
8.08
F MSR =14.72 MSE
查 F 表， F0.01(1,8) 5.32 ， F F0.05(1,8)
5．某研究所 10 名学生研习某教授的高级统计课程，期中与期末考试成绩见下表。请 问该教授是否可以利用期中考试成绩来预测期末考试成绩?
4/6
圣才电子书 十万种考研考证电子书、题库视频学习平台
解：（1）建立回归方程
经计算 X 79.2， Y 84.2， sX 8.75， sY =4.52
dfE N 2 =8
MSE
SSE dfE
230.5
F MSR =9.15 MSE
查 F 表， F0.05(1,8) 5.32 ， F F0.05(1,8)
3/6
圣才电子书
方差分析表如下
十万种考研考证电子书、题库视频学习平台
变异来源
自由度
平方和
均方
F
F0.05(1,8)
bYX
Y Y
2
=0.57
X X
a Y bX 23.13
则回归方程为 Yˆ 23.13 0.57X 。
（2）对回归方程进行检验
SST
Y2
Y 2
N
=3952.5
SSR
b2
X
2
X
N
2
=2108.6
SSE SST SSR =1843.9
dfR 1
MSR
SSR dfR
=2108.6
SST SSR N 2
MSE =15.18
2
12章 多元线性回归
统计学第十二章 多元线性回归一． 选择题1. 在多元线性回归分析中，t 检验是用来检验（ ） A 总体线性关系的显著性 B.各回归系数的显著性 C.样本线性关系的显著性 D ．H 0：β1=β2=…βk =02.在多元线性回归模型中，若自变量x i 对因变量y 的影响不显著，那么它的回归系数 βi 的取值（ ）A.可能为0B.可能为1C.可能小于0 D 可能大于13.在多元线性回归方程 y i ˆ=βˆ0+x 11ˆβ+x 22ˆβ+…+xkkβˆ中，回归系数βˆi表示（ ） A.自变量x i 变动1个单位时，因变量y 的平均变动额为βˆiB.其他变量不变的条件下，自变量x i 变动1个单位时，因变量y的平均变动额为βˆiC.其他变量不变的条件下，自变量x i 变动1个单位时，因变量y的变动总额为βˆiD.因变量y 变动1个单位时，因变量x i 的变动总额为βˆi4.设自变量的个数为5个，样本容量为20。
在多元回归分析中，估计标准误差的自由度为（ ）A.20B.15C.14D.18 5.在多元回归分析中，通常需要计算调整的多重判定系数R a2，这样可以避免的值（）A. 由于模型中自变量个数的增加而越来越接近1B. 由于模型中自变量个数的增加而越来越接近0C. 由于模型中样本容量的增加而越来越接近0D. 由于模型中样本容量的增加而越来越接近16.在多元线性回归分析中，如果F检验表明线性关系显著，则意味着（）A.在多个变量中至少有一个自变量与因变量之间的线性关系显著B.所有的自变量与因变量之间的线性关系都显著C.在多个变量中至少有一个自变量与因变量之间的线性关系不显著D.所有的自变量与因变量之间的线性关系都不显著7.在多元线性回归分析中，如果t检验表明回归系数βi不显著，则意味着（）A.整个回归方程的线性关系不显著B.整个回归方程的线性关系显著C.自变量x i与因变量之间的线性关系不显著D.自变量x i与因变量之间的线性关系显著8.设多元线性回归方程为Yˆ=βˆ0+x11ˆβ+x22ˆβ+…+xkkβˆ，若自变量x i的回归系数βˆi的取值接近0，这表明（）A.因变量y对自变量ix的影响不显著B.因变量y对自变量ix的影响显著C.自变量ix对因变量y的影响不显著D.自变量x对因变量y的影响显著i9.一家出租汽车公司为确定合理的管理费用，需要研究出租车司机每天的收入（元）与他的行驶时间（小时）、行驶的里程（公里）之间的关系，为此随机调查了20位出租车司机，根据每天的收入（y）、行驶时间（x1）和行驶的里程（x2）的有关数据进行回归，得到下面的有关结果（a=0.05）根据上表计算的判定系数为（）A. 0.9229B. 1.1483C. 0.3852D. 0.851610. 一家出租汽车公司为确定合理的管理费用，需要研究出租车四级每天的收入（元）与他的行驶时间（小时）、行驶的里程（公里）之间的关系，为此随机调查了20位出租车司机，根据每天的收入（y）、行驶时间（x1）和行驶的里程（x2）的有关数据进行回归，得到下面的有关结果（α=0.05）根据上表计算的估计标准误差为（）A. 306.18B. 17.50C. 16.13D. 41.9311. 一家出租汽车公司为确定合理的管理费用，需要研究出租车司机每天的收入（元）与他的行驶时间（小时）、行驶的里程（公里）之间的关系，为此随机调查了20位出租车司机，根据每天的收入（y）、行驶时间（x1）和行驶的里程（x2）的有关数据进行回归，得到下面的有关结果（α=0.05）根据上表计算的用于检验线性关系的统计量F=（）A. 306.18B. 48.80C. 5.74D. 41.9312.一家产品销售公司在30个地区设有销售分公司。
第12章简单回归分析2
假设检验
例： 用上例资料检验脐带血TSH水平对母血TSH水 平的直线关系是否成立?
Ho:β＝0 即母血TSH水平与脐带血TSH水平之间 无线性关系
H1:β≠0 即母血TSH水平与脐带血TSH水平之间有 线性关系
α ＝0.05
方差分析表
已知 υ1＝1， υ2＝8，查F界值表，得P<0.05，按 α＝0.05水准拒绝Ho，接受H1，故可以认为脐带血 TSH水平与母血TSH水平之间有线性关系
残差(residual)或剩余值，即实测值Y与假定回
归线上的估计值 Y ˆ 的纵向距离 Y Yˆ。
求解a、b实际上就是“合理地”找到一条能最好
地代表数据点分布趋势的直线。
原则：最小二乘法(least sum of squares)，即可 保证各实测点至直线的纵向距离的平方和最小。
最小二乘法
两部分构成，即：
(yy)(y ˆy)+(yy ˆ)
上式两端平方，然后对所有的n点求和，则有
(yy)2 [(y ˆy)+(yy ˆ)2 ]
离差平方和的分解
（三个平方和的关系）
1. 从图上看有
y y y y ˆ+ y ˆ y
2. 两端平方后求和有
n
求X，Y，l XX，lYY，l XY X 15.79 8 2.00，Y 249.01 8 31.13
lXX 47.0315.972 8 15.15 lYY 8468.78 249.012 8 718.03
lXY 594.4815.97249.01 8 97.39
另一次抽样研究 50岁年龄组舒张压得总体均数估
h第十二章简单回归分析
b 的统计学意义是：X 每增加(减)一 个单位，Y 平均改变b个单位
16
回归模型的前提假设
线性回归模型的前提条件是：
18
19
回归参数的估计 ——最小二乘原则
➢ 残差(residual)或剩余值，即实测值Y与假定回 归线上的估计值 的Yˆ纵向距离 Y。Yˆ
➢ 求解a、b实际上就是“合理地”找到一条能 最好地代表数据点分布趋势的直线。
原则：最小二乘法(least sum of squares)，即可 保证各实测点至直线的纵向距离的平方和最小
38
式中 F
SS回 SS残
回 残
MS回 MS残
，
回
1，
残
n2
MS回 为回归均方 MS残 为残差均方。 F 服从自由度为回、 残 的F 分布。
SS回
blXY
l
2 XY
lXX b2lXX
39
么么么么方面
Sds绝对是假的
t 检验
对 0 这一假设是否成立还可进行如下 t 检验
tb
b0 Sb
线性(linear) 独立(independent) 正态(normal) 等方差(equal variance)
17
公式（12-2）称为样本回归方程，它 是对两变量总体间线性关系的一个估计。 根据散点图我们可以假定，对于 X 各个取 值，相应Y 的总体均数 Y|X 在一条直线上
（图 12-2），表示为 Y|X X
水准同样得到总体回归系数不为 0 的结论，
第12章_简单线性回归
x-x均值 -12
-8 -6 -6 -2 2 6 6 8 12
y-y 均值
(x-x均值)*(yy均值)
(x-x均 值)^2
-72
-25 -42 -12 -13 7 27 39 19 72
864
200 252 72 26 14 162 234 152 864 SUM 2840 SUM
144
64 36 36 4 4 36 36 64 144
对于考察变量与变量之间关系时，我们 采用回归分析的方法建立模型或方程进 行变量间关系的分析。 因变量：被预测的变量 自变量：进行预测的变量
简单线性回归模型（对总体而言）
Y 0 1 X
1， 2为未知参数， 为随机误差项，反映其 它未列入回归模型的变量对因变量的影响。
-6
-2 2 6 6 8 12 SUM
-12
-13 7 27 39 19 72 SUM 2840
关于简单线性回归模型的标准假设： E(Y ) 0 1 X E ( ) 0 1. ，可推知， 该方程称为回归方程。 2 2. 对于所有的X，误差项 的方差 一样：即同 方差假定。 i j ) 0 3.误差项 独立。其协方差为零，cov( 4.自变量是给定的变量，与误差项线性无关。 5.误差项 服从正态分布，从而说明Y服从正态分 布
1 2 3 4 5 6 7 8 9 10
2
6
8
8
12
16
20
20
22
26
58
105
88
118
117
137
157
169
149
202
序号 1
12章多重线性回归与相关
一、自变量筛选的标准与原则
2.残差均方缩小与调整决定系数增大 MS残=SS残/（n-p-1） MS残缩小的准则可以看做是在SS残缩小准则的基础上 增加了（n-p-1）-1因子，该因子随模型中自变量个数 p的增加而增加，体现了对模型中自变量个数增加而 施加的“惩罚”。 调整决定系数Ra2越大越好，与MS残等价。
包含汽车流量、气温、气湿与风速这四个自变量的回
归方程可解释交通点空气NO浓度变异性的78.74%
2.复相关系数R (multiple correlation coefficient)
定义为确定系数的算术平方根，
R SS回 SS总
表示变量Y与k个自变量的线性相关的密切程度。 对本例R=0.8837，表示交通点空气NO浓度与汽车流量、
表12-5 空气中NO浓度与各自变量的相关系数与偏相关系数
自变量 车流X1 相关系数 0.80800 偏相关系数 0.6920 偏相关系数P值 0.0005
气温X2
气湿X3 风速X4
0.1724
0.2754 -0.67957
0.47670
-0.00218 -0.59275
0.0289
0.9925 0.0046
第十二章
第一节 第二节 第三节 第四节
多重线性回归与相关
多重线性回归的概念与统计描述 多重线性回归的假设检验 复相关系数与偏相关系数 自变量筛选
一、整体回归效应的假设检验(方差分析)
表12-2 检验回归方程整体意义的方差分析表
变异来源 回归模型
残差 总变异
SS
0.0639 6 0.0172 7 0.0812 3
风速
(X4) 2.00 2.40 3.00 1.00 2.80 1.45 1.50 1.50 0.90 0.65 1.83 2.00
多因素线性回归分析
多因素线性回归分析
在多因素线性回归中，有一个因变量（也称为响应变量）和两个或更多的自变量（也称为解释变量），它们是独立的变量。
回归模型基于以下公式：
Y=β0+β1X1+β2X2+.......+βnXn+ε
其中，Y是因变量，X1，X2......Xn是自变量，β0，β1，
β2......βn是回归系数，ε是误差项。
回归系数表示自变量在因变量上的影响。
误差项是不可解释的随机变量，表示未被模型解释的部分。
进行多因素线性回归分析需要注意以下几个步骤：
1.数据收集：收集包括因变量和自变量的数据。
2.数据准备：对数据进行清洗和处理，处理缺失值、异常值等。
3.模型构建：选择合适的自变量，并进行变量转换（如对数变换、归一化等）。
4.模型拟合：使用统计软件进行模型拟合，得到回归系数的估计值。
5.模型诊断：检查模型的拟合程度，判断残差是否符合正态分布，是否存在异方差等。
6.假设检验：对回归系数进行显著性检验，判断自变量对因变量的影响是否统计显著。
7.解释模型：对回归系数进行解释，判断自变量对因变量的影响方向和程度。
然而，多因素线性回归分析也存在一些局限性。
比如，它基于线性关系的假设，无法捕捉非线性的影响关系；另外，如果所选择的自变量存在多重共线性，模型的解释效果可能会受到影响。
因此，在进行多因素线性回归分析时，需要谨慎选择自变量、处理数据，并进行适当的模型诊断和假设检验。
只有在满足前提条件和假设的情况下，才能对回归系数和因变量之间的关系进行合理解释和预测。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
6 因变量总变异的分解
P
(X,Y)
Y
（Y Y） （Y Y）
（Y Y）
Y X
Y
Y
9
Y的总变异分解
Y Y Yˆ Y Y Yˆ
Y Y 2 Yˆ Y 2 Y Yˆ 2
总变异 SS总
回归平方和 剩余平方和
SS回
SS剩
10
Y的总变异分解
病程 (X2)
10.0 3.0 15.0 3.0 4.0 6.0 2.9 9.0 5.0 2.0 8.0 20.0
表 12-1 脂联素水平与相关因素的测量数据
空腹
回归模空型腹 ？
瘦素
脂联 BMI 病程 瘦素
脂联
(X3)
血糖 (X4)
素(Y)
(X1)
(X2)
(X3)
血糖 素(Y) (X4)
5.75 13.6 29.36 21.11 9.0 4.90 6.0 17.28
H 0： 1 2 3 4 0 ，即总体中各偏回归系数均为0； H 1：总体中各偏回归系数不为0或不全为0；
= 0.05。
2 计算检验统计量： 3 确定P值，作出推断结论。
拒绝H0，说明从整体上而言，用这四个自变量构成 的回归方程解释糖尿病患者体内脂联素的变化是有统 计学意义的。
的平方和 (Y Yˆ)2为最小。
只有一个自变量
两个自变量
例12-1 为了研究有关糖尿病患者体内脂联素水平的影响因 素，某医师测定30例患者的BMI、病程、瘦素、空腹血糖， 数据如表12-1所示。
BMI (X1)
24.22 24.22 19.03 23.39 19.49 24.38 19.03 21.11 23.32 24.34 23.82 22.86
X1
1
-1.030
0.530 -1.942 0.064
X2
1
-0.132
0.211 -0.625 0.538
X3
1
-0.811
0.253 -3.209 0.004
X4
1
-0.579
0.447 -1.294 0.208
做出统计推断：这四个变量中，变量X1、X2
和X4的偏回归系数无统计学意义，而X3对脂联 素水平的影响有统计学意义。
37
Fj
SS回(X j )/1 SS残 / (n m 1)
1 1, 2 n m 1
SS回 ( X j ) 表示偏回归平方和，其值愈大说 明相应的自变量愈重要。
一般情况下，m-1 个自变量对 Y 的回归平方 和由重新建立的新方程得到，而不是简单地把 b j X j 从有 m 个自变量的方程中剔出后算得。
3
给定X时，Y是正态分布、等方差示意图
y x
4
2 回归模型的前提假设
线性(linear) 独立(independent) 正态(normal) 等方差(equal variance)
恰好为“LINE”。
5
(1)a 为回归直线在 Y 轴上的截
距。
➢a > 0，表示直线与纵轴的交点在
原点的上方；
➢a < 0，则交点在原点的下方； ➢a = 0，则回归直线通过原点。
1.2 回归模型的前提假设
线性(linear) 独立性(independent) 正态性(normal) 等方差性(equal variance)
恰好为“LINE”。
1.3 估计回归参数，建立回归模型
最小二乘法(least square estimation，LSE)
基本思想：使各实测值Y与对应的估计值 Yˆ 之差
38
2.3.2偏回归系数的假设检验---t检验
检验假设：
H0: βi=0
H1: βi≠0 = 0.05。
检验统计量：
tbi
bi S bi
v n m 1
2.3.2偏回归系数的假设检验---t检验
表 12-3 偏回归系数的 t 检验
变量 自由度 回归系数 标准误
t值
P值
截距
1
58.199 0.11.578 5.027 0.000
第十二章 多重线性回归分析
1
复习
简单线性回归
回归模型的建立 回归系数的假设检验和区间估计
2
1 概述
Y 因变量 (dependent variable, response variable) X 自变量 (independent variable)
简单回归的形式：Yˆ a bX
简单回归是回归分析中最基本、最简单的一种， 又称直线回归。
35
2.3 各自变量的假设检验与评价
方差分析和决定系数检验所有自变量整体对应 变量的相关程度。
未指明方程中的每一个自变量对Y的影响。
而在实际工作中往往会关心的是每个变量的解 释。
36
2.3.1. 偏回归平方和
含义 回归方程中某一自变量 X j 的偏回归 平方和表示模型中含有其它 m-1 个自变量 的条件下该自变量对 Y 的回归贡献，相当于 从回归方程中剔除 X j 后所引起的回归平方 和的减少量，或在 m-1 个自变量的基础上新 增加 X j 引起的回归平方和的增加量。
2.3.2偏回归系数的假设检验---t检验
对同一资料，不同变量的t值间可以相互 比较，t的绝对值越大，说明该变量对回 归所起作用越大。
41
变量
截距 X1 X2 X3 X4
表 12-3 偏回归系数的 t 检验
自由度 回归系数 标准误
t值
1
58.199 0.11.578 5.027
1
-1.030
0.530 -1.942
对于两变量，R2=r2
13
回归系数的 t 检验
tb
b0 sb
，
n2
sb
sY .X l XX
sYX
Y Yˆ 2 n2
14
回归系数与相关系数的假设检验
结果等价:
tb tr
15
直线回归中三种假设检验间的关系
在直线回归中，相关系数的假设检验， 回归系数的假设检验，以及回归方程 的方差分析结果等价。
X2
1
-0.132
0.211 -0.625
X3
1
-0.811
0.253 -3.209
X4
1
-0.579
0.447 -1.294
P值
0.000 0.064 0.538 0.004 0.208
标准化 偏回归系
数
-0.343 -0.067 -0.566 -0.139
44
2.3.4 偏相关系数 partial correlation coefficient
2.1整体回归效应的假设检验---方差分析
Y的总变异分解
总变异SS总： (Y Y )2
剩余平方和SS剩或残差平方和: (Y Y )2
回归的贡献，回归平方和SS回： (Y Y )2
Y的总变异分解
SS总 SS回 SS剩
总 回 剩
总 n 1，回 m， 剩 n m 1
9.32 6.2 14.31 23.32 5.0 3.54 6.7 30.25
2.50 11.1 26.08 24.34 2.0 4.51 7.2 24.28
5.66 9.7 19.62 24.22 3.0 9.32 6.2 14.31
2.83 7.3 42.82 19.03 15.0 2.50 11.1 26.08
b0为截距(intercept),表示各自变量均为0时y的的估计值。 bi称为偏回归系数(partial regression coefficient)，是βi的估 计值，表示当方程中其他自变量保持常量时，自变量Xi变化 一个计量单位,反应变量Y的平均变化量。
Yˆ 称为 X=(X1, X2, , Xk)时,反应变量Y的估计值。
4.51 7.2 24.28 24.38 6.0 6.86 7.3 22.76
8.47 9.1 18.94 23.82 8.0 8.47 9.1 18.94
9.92 8.1 16.08 22.86 20.0 9.92 8.1 16.08
1.3 估计回归参数，建立回归模型
变量 截距
X1 X2 X3 X4
回归方程的方差分析表
表 12-2 检验回归方程整体意义的方差分析表
变异来源
SS
自由度
MS
F
P
回归模型 1773.343
4
443.336
17.000
<.0001
残差
651.958
25
26.078
总变异
2425.301
29
R2 SS回 0.7312 SS总
R SS回 0.8551 SS总
自由度 1 1 1 1 1
回归系数 58.199 -1.030 -0.132 -0.811 -0.579
Yˆ 58.199 1.030X1 0.132X 2 0.811X3 0.579X 4
2.多重线性回归的假设检验
整体回归效应的假设检验---方差分析 偏回归系数的假设检验---t检验
1
-0.132
0.211 -0.625
1
-0.811
0.253 -3.209
1
-0.579
0.447 -1.294
P值
0.000 0.064 0.538 0.004 0.208
2.3.3 标准化偏回归系数
将原始观测数据进行标准化：X
* i
Xi
Si