12章多重线性回归与相关
第12章-多重线性回归分析
6 因变量总变异的分解
P
(X,Y)
Y
（Y Y） （Y Y）
（Y Y）
Y X
Y
Y
9
Y的总变异分解
Y Y Yˆ Y Y Yˆ
Y Y 2 Yˆ Y 2 Y Yˆ 2
总变异 SS总
回归平方和 剩余平方和
SS回
SS剩
10
Y的总变异分解
病程 (X2)
10.0 3.0 15.0 3.0 4.0 6.0 2.9 9.0 5.0 2.0 8.0 20.0
表 12-1 脂联素水平与相关因素的测量数据
空腹
回归模空型腹 ？
瘦素
脂联 BMI 病程 瘦素
脂联
(X3)
血糖 (X4)
素(Y)
(X1)
(X2)
(X3)
血糖 素(Y) (X4)
5.75 13.6 29.36 21.11 9.0 4.90 6.0 17.28
H 0： 1 2 3 4 0 ，即总体中各偏回归系数均为0； H 1：总体中各偏回归系数不为0或不全为0；
= 0.05。
2 计算检验统计量： 3 确定P值，作出推断结论。
拒绝H0，说明从整体上而言，用这四个自变量构成 的回归方程解释糖尿病患者体内脂联素的变化是有统 计学意义的。
的平方和 (Y Yˆ)2为最小。
只有一个自变量
两个自变量
例12-1 为了研究有关糖尿病患者体内脂联素水平的影响因 素，某医师测定30例患者的BMI、病程、瘦素、空腹血糖， 数据如表12-1所示。
BMI (X1)
24.22 24.22 19.03 23.39 19.49 24.38 19.03 21.11 23.32 24.34 23.82 22.86
张厚粲《现代心理与教育统计学》(第3版)配套题库[课后习题](线性回归)
](https://img.taocdn.com/s3/m/3625fe45ad51f01dc281f1e5.png)
dfR 1
MSR
SSR dfR
=118.95
dfE N 2 =8
MSE
SSE dfE
8.08
F MSR =14.72 MSE
查 F 表， F0.01(1,8) 5.32 ， F F0.05(1,8)
5．某研究所 10 名学生研习某教授的高级统计课程，期中与期末考试成绩见下表。请 问该教授是否可以利用期中考试成绩来预测期末考试成绩?
4/6
圣才电子书 十万种考研考证电子书、题库视频学习平台
解：（1）建立回归方程
经计算 X 79.2， Y 84.2， sX 8.75， sY =4.52
dfE N 2 =8
MSE
SSE dfE
230.5
F MSR =9.15 MSE
查 F 表， F0.05(1,8) 5.32 ， F F0.05(1,8)
3/6
圣才电子书
方差分析表如下
十万种考研考证电子书、题库视频学习平台
变异来源
自由度
平方和
均方
F
F0.05(1,8)
bYX
Y Y
2
=0.57
X X
a Y bX 23.13
则回归方程为 Yˆ 23.13 0.57X 。
（2）对回归方程进行检验
SST
Y2
Y 2
N
=3952.5
SSR
b2
X
2
X
N
2
=2108.6
SSE SST SSR =1843.9
dfR 1
MSR
SSR dfR
=2108.6
SST SSR N 2
MSE =15.18
2
12章 多元线性回归
统计学第十二章 多元线性回归一． 选择题1. 在多元线性回归分析中，t 检验是用来检验（ ） A 总体线性关系的显著性 B.各回归系数的显著性 C.样本线性关系的显著性 D ．H 0：β1=β2=…βk =02.在多元线性回归模型中，若自变量x i 对因变量y 的影响不显著，那么它的回归系数 βi 的取值（ ）A.可能为0B.可能为1C.可能小于0 D 可能大于13.在多元线性回归方程 y i ˆ=βˆ0+x 11ˆβ+x 22ˆβ+…+xkkβˆ中，回归系数βˆi表示（ ） A.自变量x i 变动1个单位时，因变量y 的平均变动额为βˆiB.其他变量不变的条件下，自变量x i 变动1个单位时，因变量y的平均变动额为βˆiC.其他变量不变的条件下，自变量x i 变动1个单位时，因变量y的变动总额为βˆiD.因变量y 变动1个单位时，因变量x i 的变动总额为βˆi4.设自变量的个数为5个，样本容量为20。
在多元回归分析中，估计标准误差的自由度为（ ）A.20B.15C.14D.18 5.在多元回归分析中，通常需要计算调整的多重判定系数R a2，这样可以避免的值（）A. 由于模型中自变量个数的增加而越来越接近1B. 由于模型中自变量个数的增加而越来越接近0C. 由于模型中样本容量的增加而越来越接近0D. 由于模型中样本容量的增加而越来越接近16.在多元线性回归分析中，如果F检验表明线性关系显著，则意味着（）A.在多个变量中至少有一个自变量与因变量之间的线性关系显著B.所有的自变量与因变量之间的线性关系都显著C.在多个变量中至少有一个自变量与因变量之间的线性关系不显著D.所有的自变量与因变量之间的线性关系都不显著7.在多元线性回归分析中，如果t检验表明回归系数βi不显著，则意味着（）A.整个回归方程的线性关系不显著B.整个回归方程的线性关系显著C.自变量x i与因变量之间的线性关系不显著D.自变量x i与因变量之间的线性关系显著8.设多元线性回归方程为Yˆ=βˆ0+x11ˆβ+x22ˆβ+…+xkkβˆ，若自变量x i的回归系数βˆi的取值接近0，这表明（）A.因变量y对自变量ix的影响不显著B.因变量y对自变量ix的影响显著C.自变量ix对因变量y的影响不显著D.自变量x对因变量y的影响显著i9.一家出租汽车公司为确定合理的管理费用，需要研究出租车司机每天的收入（元）与他的行驶时间（小时）、行驶的里程（公里）之间的关系，为此随机调查了20位出租车司机，根据每天的收入（y）、行驶时间（x1）和行驶的里程（x2）的有关数据进行回归，得到下面的有关结果（a=0.05）根据上表计算的判定系数为（）A. 0.9229B. 1.1483C. 0.3852D. 0.851610. 一家出租汽车公司为确定合理的管理费用，需要研究出租车四级每天的收入（元）与他的行驶时间（小时）、行驶的里程（公里）之间的关系，为此随机调查了20位出租车司机，根据每天的收入（y）、行驶时间（x1）和行驶的里程（x2）的有关数据进行回归，得到下面的有关结果（α=0.05）根据上表计算的估计标准误差为（）A. 306.18B. 17.50C. 16.13D. 41.9311. 一家出租汽车公司为确定合理的管理费用，需要研究出租车司机每天的收入（元）与他的行驶时间（小时）、行驶的里程（公里）之间的关系，为此随机调查了20位出租车司机，根据每天的收入（y）、行驶时间（x1）和行驶的里程（x2）的有关数据进行回归，得到下面的有关结果（α=0.05）根据上表计算的用于检验线性关系的统计量F=（）A. 306.18B. 48.80C. 5.74D. 41.9312.一家产品销售公司在30个地区设有销售分公司。
第12章简单回归分析2
假设检验
例： 用上例资料检验脐带血TSH水平对母血TSH水 平的直线关系是否成立?
Ho:β＝0 即母血TSH水平与脐带血TSH水平之间 无线性关系
H1:β≠0 即母血TSH水平与脐带血TSH水平之间有 线性关系
α ＝0.05
方差分析表
已知 υ1＝1， υ2＝8，查F界值表，得P<0.05，按 α＝0.05水准拒绝Ho，接受H1，故可以认为脐带血 TSH水平与母血TSH水平之间有线性关系
残差(residual)或剩余值，即实测值Y与假定回
归线上的估计值 Y ˆ 的纵向距离 Y Yˆ。
求解a、b实际上就是“合理地”找到一条能最好
地代表数据点分布趋势的直线。
原则：最小二乘法(least sum of squares)，即可 保证各实测点至直线的纵向距离的平方和最小。
最小二乘法
两部分构成，即：
(yy)(y ˆy)+(yy ˆ)
上式两端平方，然后对所有的n点求和，则有
(yy)2 [(y ˆy)+(yy ˆ)2 ]
离差平方和的分解
（三个平方和的关系）
1. 从图上看有
y y y y ˆ+ y ˆ y
2. 两端平方后求和有
n
求X，Y，l XX，lYY，l XY X 15.79 8 2.00，Y 249.01 8 31.13
lXX 47.0315.972 8 15.15 lYY 8468.78 249.012 8 718.03
lXY 594.4815.97249.01 8 97.39
另一次抽样研究 50岁年龄组舒张压得总体均数估
第12章_简单线性回归
x-x均值 -12
-8 -6 -6 -2 2 6 6 8 12
y-y 均值
(x-x均值)*(yy均值)
(x-x均 值)^2
-72
-25 -42 -12 -13 7 27 39 19 72
864
200 252 72 26 14 162 234 152 864 SUM 2840 SUM
144
64 36 36 4 4 36 36 64 144
对于考察变量与变量之间关系时，我们 采用回归分析的方法建立模型或方程进 行变量间关系的分析。 因变量：被预测的变量 自变量：进行预测的变量
简单线性回归模型（对总体而言）
Y 0 1 X
1， 2为未知参数， 为随机误差项，反映其 它未列入回归模型的变量对因变量的影响。
-6
-2 2 6 6 8 12 SUM
-12
-13 7 27 39 19 72 SUM 2840
关于简单线性回归模型的标准假设： E(Y ) 0 1 X E ( ) 0 1. ，可推知， 该方程称为回归方程。 2 2. 对于所有的X，误差项 的方差 一样：即同 方差假定。 i j ) 0 3.误差项 独立。其协方差为零，cov( 4.自变量是给定的变量，与误差项线性无关。 5.误差项 服从正态分布，从而说明Y服从正态分 布
1 2 3 4 5 6 7 8 9 10
2
6
8
8
12
16
20
20
22
26
58
105
88
118
117
137
157
169
149
202
序号 1
第十二章-matlab--因子分析
第十二章因子分析（大学虎统计）1， 引出因子分析的定义：作个比喻，对面来了一群女生，我们一眼就能够分辨出孰美孰丑，这是判别分析；并且我们的脑海中会迅速的将这群女生分为两类；美的一类，丑的一类，这是聚类分析。
我们之所以认为某个女孩漂亮，是因为她具有漂亮女孩所具有的一些共同点，比如漂亮的脸蛋，高挑的身材，白皙的皮肤，等等。
其实这种从研究对象中寻找公共因子的方法就是因子分析（Factor Analysis ）。
因子分析也是利用降维的思想，把每一个原始变量分解成两部分，一部分是少数几个公共因子的线性组合，另一部分是该变量所独有的特殊因子，其中公共因子和特殊因子都是不可观测的隐变量，我们需要对公共因子作出具有实际意义的合理解释。
因子分析的思想源于1904年查尔斯，斯皮曼（charles spearman ）对学生考试成绩的研究，目前因子分析已经在很多领域得到广泛应用。
本章主要容包括：因子分析的理论简介，因子分析的matlab 实现，因子分析具体案例。
12.1因子分析简介 12.11 基本因子分析模型设P 维总体'(,,...,)p x x x x =的均值为'12(,,...,)p μμμμ=协方差矩阵为()ij p pσ⨯=∑，相关系数矩阵为()ij p pR ρ⨯=。
因子分析的一般模型为111111221122211222221122.........m m m m p p p p pm m p x a f a f a f x a f a f a f x a f a f a f μεμεμε=+++++⎧⎪=+++++⎪⎨⎪⎪=+++++⎩（12.1）其中，12,,...,mf f f 为m 个公共因子，i ε是变量(1,2,...)i x i p =所独有的特殊因子他们都是不可观测的隐变量。
称(1,2,...;1,2,...,)ij a i p j m ==为变量ix 在公共公共因子jf 上的截荷，它反映了公共因子对变量的重要程度，对解释公共因子具有重要的作用。
第十二章直线相关与回归
第十二章直线相关与回归A型选择题〔、若计算得一相关系数r=0.94,则（）A、x与y之间一定存在因果关系B、同一资料作回归分析时，求得回归系数一定为正值C、同一资料作回归分析时，求得回归系数一定为负值D求得回归截距a>0E、求得回归截距a^ 02、对样本相关系数作统计检验（H o =0）,结果r r°.05（v）,统计结论是（）。
A、肯定两变量为直线关系B、认为两变量有线性相关C、两变量不相关B. 两变量无线性相关E、两变量有曲线相关3、若A「0.05（如」2血。
^），则可认为（）。
A. 第一组资料两变量关系密切B. 第二组资料两变量关系密切C. 难说哪一组资料中两变量关系更密切D两组资料中两变量关系密切程度不一样E、以上答案均不对4、相关分析可以用于（）有无关系的研究A、性别与体重B、肺活量与胸围C、职业与血型D国籍与智商E、儿童的性别与体重5、相关系数的假设检验结果，则在〉水平上可认为相应的两个变量间（）A、有直线相关关系B、有曲线相关关系C、有确定的直线函数关系D有确定的曲线函数关系E、不存在相关关系6根据样本算得一相关系数r，经t检验，P v 0.01说明（）A、两变量有高度相关B、r来自高度相关的相关总体C、r来自总体相关系数p的总体D r来自卩工0的总体E、r来自p>0的总体7、相关系数显著检验的无效假设为（）A、r有高度的相关性B、r来自p工0的总体C、r来自p = 0的总体D r与总体相关系数p差数为0E、r来自p>0的总体8、计算线性相关系数要求（）A. 反应变量Y呈正态分布，而自变量X可以不满足正态分布的要求B. 自变量X呈正态分布，而反应变量丫可以不满足正态分布的要求C. 自变量X和反应变量丫都应满足正态分布的要求D. 两变量可以是任何类型的变量E. 反应变量Y要求是定量变量，X可以是任何类型的变量9、对简单相关系数r进行检验，当检验统计量t r>t 0.05（V）时，可以认为两变量x 与丫间（）A. 有一定关系B. 有正相关关系C. 无相关关系D. 有直线关系E. 有负相关关系10、相关系数反映了两变量间的（）A、依存关系B、函数关系C、比例关系D相关关系E、因果关系11、|r| “0.05/2,（2）时，则在G =0.05水准上可认为相应的两变量X、丫间（）。
统计学(贾5)课后练答案(11-14章)之欧阳术创编
第11章 一元线性回归分析11.1（1）散点图（略），产量与生产费用之间正的线性相关关系。
（2）920232.0=r（3） 检验统计量2281.24222.142=>=αt t ，拒绝原假设，相关系数显著。
11.2（1）散点图（略）。
11.3 （1）0ˆβ表示当0=x 时y 的期望值。
（2）1ˆβ表示x 每变动一个单位y 平均下降0.5个单位。
11.4 （1）%902=R（2）1=e s 11.5 一家物流公司的管理人员想研究货物的运输距离和运输时间的关系，为此，他抽出了公司最近10个卡车运货记录的随机样本，得到运送距离(单位：km)和运送时间(单位：天)的数据如下：要求：(1)绘制运送距离和运送时间的散点图，判断二者之间的关系形态：(2)计算线性相关系数，说明两个变量之间的关系强度。
(3)利用最小二乘法求出估计的回归方程，并解释回归系数的实际意义。
解：（1）可能存在线性关系。
（2）x 运送距离（km ）y 运送时间（天）x 运送距离（km ）Pearson 相关性 1.949(**) 显著性（双侧）0.000 N10 10y运送时间（天）Pearson 相关性.949(**) 1显著性（双侧）0.000N**. 在 .01 水平（双侧）上显著相关。
有很强的线性关系。
（3）模型非标准化系数标准化系数t 显著性B 标准误Beta1 （常量）0.118 0.355 0.333 0.748x运送距离0.004 0.000 0.949 8.509 0.000a. 因变量: y运送时间（天）回归系数的含义：每公里增加0.004天。
11.6 下面是7个地区2000年的人均国内生产总值（GDP）和人要求：(1)人均GDP作自变量，人均消费水平作因变量，绘制散点图，并说明二者之间的关系形态。
(2)计算两个变量之间的线性相关系数，说明两个变量之间的关系强度。
(3)利用最小二乘法求出估计的回归方程，并解释回归系数的实际意义。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
一、自变量筛选的标准与原则
2.残差均方缩小与调整决定系数增大 MS残=SS残/（n-p-1） MS残缩小的准则可以看做是在SS残缩小准则的基础上 增加了（n-p-1）-1因子，该因子随模型中自变量个数 p的增加而增加，体现了对模型中自变量个数增加而 施加的“惩罚”。 调整决定系数Ra2越大越好，与MS残等价。
包含汽车流量、气温、气湿与风速这四个自变量的回
归方程可解释交通点空气NO浓度变异性的78.74%
2.复相关系数R (multiple correlation coefficient)
定义为确定系数的算术平方根，
R SS回 SS总
表示变量Y与k个自变量的线性相关的密切程度。 对本例R=0.8837，表示交通点空气NO浓度与汽车流量、
表12-5 空气中NO浓度与各自变量的相关系数与偏相关系数
自变量 车流X1 相关系数 0.80800 偏相关系数 0.6920 偏相关系数P值 0.0005
气温X2
气湿X3 风速X4
0.1724
0.2754 -0.67957
0.47670
-0.00218 -0.59275
0.0289
0.9925 0.0046
第十二章
第一节 第二节 第三节 第四节
多重线性回归与相关
多重线性回归的概念与统计描述 多重线性回归的假设检验 复相关系数与偏相关系数 自变量筛选
一、整体回归效应的假设检验(方差分析)
表12-2 检验回归方程整体意义的方差分析表
变异来源 回归模型
残差 总变异
SS
0.0639 6 0.0172 7 0.0812 3
风速
(X4) 2.00 2.40 3.00 1.00 2.80 1.45 1.50 1.50 0.90 0.65 1.83 2.00
一氧化氮
(Y) 0.005 0.011 0.003 0.140 0.039 0.059 0.087 0.039 0.222 0.145 0.029 0.099
此型资料有一个应变量与多个自变量（k个自
符合准则的程度，从中选择出一个或几个最优的
回归，称为“最优子集回归”。
适合于自变量个数不太多的情况
2.前进法（forward selection）又称为向前选择法
1.假设
H 0 : 0, H1 : 0, 0.05
bi 0 tbi , 1 Sbi
2.检验统计量
利用软件包对例12-1的四个偏回归系数进行t
检验与标准化偏回归系数的结果如表13-3所示。
表12-3
变量
截距 X1 自由 度 1 1
偏回归系数t检验与标准化偏回归系数的结果
df 4
19 23
MS 0.01599 0.000909 03
F
P
<0.00 17.59 1
SS回：在Y的总变异中由于X与Y的直线关系而使Y变异减 少的部分。SS回越大说明回归效果越好。 SS残：X对Y的线性影响之外的一切因素对Y的变异的作
用。SS残越小,说明直线回归的估计误差越小。
二、偏回归系数i的假设检验
200
ÀÀÀÀÀ(À)X1 ú À
3000
ÀÀ(0C)X3
R23=0.97617
2000
P=0.5509
扣除气温
ÓÓÓÓ Ó ÓÓÓÓ(Ó)X2
1000
r23=0.97617
0 28 30 32 34 36 38 40
ÀÀ(0C)X3
其实，冷饮销售量和气温正相关，游泳
人数和气温也正相关，冷饮销售量和游泳人
第十二章 关
第一节 第二节 第三节 第四节
多重线性回归与相
多重线性回归的概念与统计描述 多重线性回归的假设检验 复相关系数与偏相关系数 自变量筛选
一、数据与模型
例12-1 为了研究空气中一氧化氮(NO)的浓度与汽车
流量等因素的关系，有人测定了某城市交通点在单
位时间内过往的汽车数、气温、空气湿度、风速及
车流
(X1) 948 1440 1084 1844 1116 1656 1536 960 1784 1496 1060 1436
气温
(X2) 22.5 21.5 28.5 26.0 35.0 20.0 23.0 24.8 23.3 27.0 26.0 28.0
气湿
(X3) 69 79 59 73 92 83 57 67 83 65 58 687
0.27274
-0.00110 -0.4470
第十二章
第一节 第二节 第三节 第四节
多重线性回归与相关
多重线性回归的概念与统计描述 多重线性回归的假设检验 复相关系数与偏相关系数 自变量筛选
一、决定系数、复相关系数与调整确定系数
1.决定系数R2(coefficient
of determination),或确定系数
气湿
(X3) 80 57 64 84 72 76 69 77 58 65 83 68
风速
(X4) 0.45 0.50 1.50 0.40 0.90 0.80 1.80 0.60 1.70 0.65 0.40 2.00
一氧化氮
(Y) 0.066 0.076 0.001 0.170 0.156 0.120 0.040 0.120 0.100 0.126 0.135 0.099
k 1 R2 2 R R 2 n k 1
对于本例，R2=0.7874，n=23,k=4,则调整R2为：
41 0.7874 R 0.7874 23 4 1 0.7874 0.0445789 0.7426
2
二、偏相关系数 表12-4 冷饮销售量、游泳人数与气温数据
回归平方和在总平方和中所占的百分比 R2=SS回/SS总 用于反映线性回归模型能在多大程度上解释反应变量Y 的变异性。
R2取值范围为0-1之间，越接近1，表示所选用线
性回归模型很好地拟合了样本数据。
R2直接反映了回归方程中所有自变量解释反应变
量Y总变异的百分比，或者说R2可以解释为回归方程使 反应变量Y的总变异减少的百分比。
¨ ÓÓÓÓÓÓY
.02
ÀÀÀÀX1 ÷
ÀÀX2
.10 .08 .06 .04 .02
¨ ÀÀY
.10 .08 .06
¨ ÓÓÓÓÓÓY
ÓÓÓÓ¨Ó ÓÓÓÓÓÓY
.04 .02
0.00 -.02 -.04 -.06 -.08 -1.0
-10
0
10
20
30
-.5
0.0
.5
1.0
1.5
ÀÀX3
À ·ÀX4
异度，所以不能直接用普通偏回归系数的数值大小来反 映各个自变量对反应变量Y的贡献大小。将原始观测数 据进行标准化转换，即： X X *
Xi
i
i
然后用标准化数据进行回归模型拟合，此时所获得的回 归系数，记为P1,P2,P3,…,Pk,标准化偏回归系数 (standardized partial regression coefficient)又 称通径系数(path coefficient)。标准化偏回归系数Pi 较大的自变量在数值上对反应变量Y的贡献较大。
冷饮销 售量X1 267 397 451 528 618 655 游泳人 数X2 722 814 924 1066 1253 1369 气温 (0C) X3 29 30 31 32 33 34 冷饮销 售量X1 690 740 780 889 996 游泳人 数X2 1593 1761 1931 2231 2749 气温 (0C) X3 35 36 37 38 39
一、自变量筛选的标准与原则
3.Cp统计量
MS残p C p (n p 1) 2 1 p 1 若含有p个自变量的模型是合适的，则其残差
均方MS残p接近全部变量的均方，Cp接近p+1
二、自变量筛选的常用的方法
1.所有可能自变量子集选择
根据某种自变量选择准则，通过比较各子集
对总体确定系数R2=0的假设检验完全等价于对回 归方程的整体方差分析，因为
MS回 F MS残 SS残 SS回 k
2
R2
n k 1
1 R
k
n k 1
SS
对例12-1，由方差分析表可得：SS回=0.06396
残=0.01727
SS总=0.08123 R2=0.7874.由此说明，用
气温、气湿与风速等四个变量的复相关系数为0.8837。
3.调整复相关系数(Adjusted R-Square) R2 当回归方程中包含有很多自变量，即使其中有一
些自变量对解释反应变量变异的贡献极小，随回归方
程自变量个数的增加，R2表现只增不减，这是复相关系 数的缺点。
调整复相关系数R2，定义为
.2
.08 .06
.04 .1
0.0
-.1 -600
0.00 -.02 -.04 -.06 -20
图12-3 汽车污染数据的反应变量与四个自变量的偏相关散点图
ÓÓÓÓ¨Ó ÓÓÓÓÓÓY
-400 -200 0 200 400
0.00 -.02
-.04 -.06 -6 -4 -2 0 2 4 6 8
3000
R12=0.97239
1200
R13=0.98909
1000
Ó ú ÓÓÓÓÓ(Ó)X1
ÓÓÓÓ Ó ÓÓÓÓ(Ó)X2
2000
800
600
1000
r12=0.97239
0 200 400 600 800 1000 1200
400
r13=0.9809
28 30 32 34 36 38 40