多重线性回归与相关
第十三章 多重线性回归与相关
应用多元线性回归的目的
✓考察几个地位平等的影响因素对应变量的影响，如上例 ✓根据X前系数考察主要因素扣除其他干扰因素（不易做 到均衡可比）后的效应，如在研究新药作用时，可将一些 干扰因素纳入多元回归方程。
多元线性回归方程的形式及建立过程
多元线性回归方程的形式及建立过程
多元线性回归方程的形式及建立过程
多重线性回归的概念及其统计描述
应用场合：
定量地刻画一个因变量Y与多个自变量X1,X2,……间
的线性依存关系。
资料要求： 因变量一定是随机变量(LINE)； 自变量可以是随机变量，也可以是人为给定的。
多重线性回归的概念及其统计描述
一、数据与模型
表 15-2 27 名糖尿病人的血糖及有关变量的测量结果
Ra2
R2
k(1 R2 ) n k 1
第二节 自变量选择方法
自变量的筛选
选择适当的自变量使得建立的回归模型达到较好的回归 效果。
若将对反映变量无影响或影响很小的自变量引入方程， 会加大计算量并使回归参数的估计和预测精度降低。
若未将对反映变量影响大的自变量包含在模型中，则回 归参数的估计往往是有偏的。
回归模型的正确选择在根本上是依赖与研究问题本身的 专业问题
自变量的筛选
一、自变量筛选的标准与原则 1、残差平方和（SSE）缩小与确定系数（R2）增大
若某一自变量的引入使得SSE缩小很多，说明该变量对Y 的作用大，则引入；否则不被引入。
若某一变量从模型中被剔除后使得SSE增加很多，说明 该变量对Y的作用大，不应剔除；否则剔除。 决定系数R2=1-SSE/SST，它增大与SSE缩小完全等价
方程的评价
1、剩余标准差 反映了回归方程的精度，其值越小说明回归效果越好
13 多重线性回归与相关
第十三章 多重线性回归与相关[教学要求]了解： 多重共线性的概念及其对回归分析结果的影响；通径分析的基本过程及其应用。
熟悉：多重相关与回归分析的基本原理与方法。
掌握：掌握多重相关与回归分析结果的解释；相关、回归、简单相关、偏相关与复相关，简单回归、偏回归与全回归等概念。
[重点难点]第一节 多重线性回归的概念及其统计描述一、变量（Y ）关于k 个自变量()的多重线性回归的数学模型为：k X X X ,...,,21i ki k i i i X X X Y εββββ+++++=...22110。
实质是将每个Y 的观测值用该模型在最小残 差平方和的原则下进行分解。
二、标准回归系数为将各个变量按ii i i S X X X −=*变换后，再进行多重回归计算所得的 回归系数。
因为通过标准化过程消除了各个变量的计量单位不同对回归系数的影响， 所以各个标准回归系数的大小能直接反映该自变量对Y 变量的回归效应的大小。
三、多重回归分析的前提条件完全与简单线性回归相同：线性、独立、正态和等方差，即 LINE 。
第二节 多重线性回归的假设检验一、 整体回归效应的假设检验（方差分析）的原假设为H 0: 0...321=====k ββββ；其过程 是通过对Y 的总变异进行分解，用回归均方与残差均方的比值构造F 检验统计量，然后根 据相应的F 分布决定是否拒绝原假设。
二、偏回归系数的t 检验的的原假设为H 0: βi =0，即第i 个总体偏回归系数为零；其过程是 用第i 个偏回归系数的估计b i 与该偏回归系数的标准误之比值构造t 统计量：bi ibi S b t =然后根据相应的t 分布决定是否拒绝原假设。
第三节 复相关系数与偏相关系数一、 确定系数、复相关系数与调整确定系数1、复相关系数的平方称为确定系数（coefficient of determination）或决定系数，记为R 2，用以反映线性回归模型能在多大程度上解释反应变量Y 的变异性。
多重线性回归相关
Yˆ 0.6815 0.0546 X1 0.1944 X 2
假设检验 Yi 1 1X1i 2 X 2i ...... m X mi i
由样本计算得到得偏回归系数bi是总体偏回归系数βi的估计值， 即使总体偏回归系数等于0，但由于抽样误差，仍可使样本偏回 归系数bi不等于0，因此仍要作假设检验，以判断其是否有统计 学意义。 假设检验包括方程的假设检验和每个偏回归系数的假设检验。
R2称为决定系数，可定量评价y的总变 异能被自变量解释的比重。
偏相关系数
扣除其他变量的影响后，变量y与x的相 关，称为y与x的偏相关系数。 如：r12.3
在一个有统计学意义的方程中，可能某 些自变量对应变量影响较大，而另一些 影响很弱甚至完全没有意义。
为使回归方程中仅包含有意义的自变量， 有必要对偏回归系数作检验和进行自变 量筛选。
1656.0 356.35
l2y 29653.27
20
147.49
l11b1 l12b2 l1mbm l1y l21b1 l22b2 l2mbm l2y lm1b1 lm2b2 lmmbm lmy
b0 y b1 X 1 b2 X 2 bm X m
ν总 = n-1 ν回归=m ν剩余=n-m-1
SS误差 = SS总 - SS回归
F
MS回归 MS误差
SS回归／回归 SS误差／ 误差
n＝20,X1=44.05, X2=82.80,Y=17.82 ∑Y=356.35, ∑X1=881, ∑X2=1656.0, ∑X12=41467, ∑X22=137953.5, ∑Y2=6408.2049, ∑X1Y=15788.50，∑X2Y=29653.27， ∑X1X2=72669.5
12章多重线性回归与相关
一、自变量筛选的标准与原则
2.残差均方缩小与调整决定系数增大 MS残=SS残/（n-p-1） MS残缩小的准则可以看做是在SS残缩小准则的基础上 增加了（n-p-1）-1因子，该因子随模型中自变量个数 p的增加而增加，体现了对模型中自变量个数增加而 施加的“惩罚”。 调整决定系数Ra2越大越好，与MS残等价。
包含汽车流量、气温、气湿与风速这四个自变量的回
归方程可解释交通点空气NO浓度变异性的78.74%
2.复相关系数R (multiple correlation coefficient)
定义为确定系数的算术平方根，
R SS回 SS总
表示变量Y与k个自变量的线性相关的密切程度。 对本例R=0.8837，表示交通点空气NO浓度与汽车流量、
表12-5 空气中NO浓度与各自变量的相关系数与偏相关系数
自变量 车流X1 相关系数 0.80800 偏相关系数 0.6920 偏相关系数P值 0.0005
气温X2
气湿X3 风速X4
0.1724
0.2754 -0.67957
0.47670
-0.00218 -0.59275
0.0289
0.9925 0.0046
第十二章
第一节 第二节 第三节 第四节
多重线性回归与相关
多重线性回归的概念与统计描述 多重线性回归的假设检验 复相关系数与偏相关系数 自变量筛选
一、整体回归效应的假设检验(方差分析)
表12-2 检验回归方程整体意义的方差分析表
变异来源 回归模型
残差 总变异
SS
0.0639 6 0.0172 7 0.0812 3
风速
(X4) 2.00 2.40 3.00 1.00 2.80 1.45 1.50 1.50 0.90 0.65 1.83 2.00
多元线性相关与回归分析
第三节 多元线性相关与回归分析一、标准的多元线性回归模型上一节介绍的一元线性回归分析所反映的是１个因变量与１个自变量之间的关系。
但是，在现实中，某一现象的变动常受多种现象变动的影响。
例如，消费除了受本期收入水平的影响外，还会受以往消费和收入水平的影响；一个工业企业利润额的大小除了与总产值多少有关外，还与成本、价格等有关。
这就是说，影响因变量的自变量通常不是一个，而是多个。
在许多场合，仅仅考虑单个变量是不够的，还需要就一个因变量与多个自变量的联系来进行考察，才能获得比较满意的结果。
这就产生了测定与分析多因素之间相关关系的问题。
研究在线性相关条件下，两个和两个以上自变量对一个因变量的数量变化关系，称为多元线性回归分析，表现这一数量关系的数学公式，称为多元线性回归模型。
多元线性回归模型是一元线性回归模型的扩展，其基本原理与一元线性回归模型相类似，只是在计算上比较麻烦一些而已。
限于本书的篇幅和程度，本节对于多元回归分析中与一元回归分析相类似的内容，仅给出必要的结论，不作进一步的论证。
只对某些多元回归分析所特有的问题作比较详细的说明。
多元线性回归模型总体回归函数的一般形式如下：t kt k t t u X X Y ++⋯++=βββ221 (7.51)上式假定因变量Y 与(k-1)个自变量之间的回归关系可以用线性函数来近似反映.式中，Y t 是变量Y 的第ｔ个观测值；X jt 是第j 个自变量X j 的第ｔ个观测值(j=1,2,……，k)；u t 是随机误差项；β1，β2，… ，βk 是总体回归系数。
βj 表示在其他自变量保持不变的情况下，自变量X j 变动一个单位所引起的因变量Y 平均变动的数额，因而又叫做偏回归系数。
该式中，总体回归系数是未知的，必须利用有关的样本观测值来进行估计。
假设已给出了ｎ个观测值，同时1ˆβ，2ˆβ…，k βˆ为总体回归系数的估计，则多元线性回归模型的样本回归函数如下：t kt k t t e X X Y ++⋯++=βββˆˆˆ221 (7.52) (t ＝1,2,…,n)式中，e t 是Y t 与其估计t Y ˆ之间的离差，即残差。
医学北京大学医学部医学统计学进阶1多重线性回归与相关
相关就是用于研究和解释两个变量之 间相互关系的。
复习： 直线相关
Linear Correlation
一、相关的类型 二、相关系数 三、相关系数的假设检验
为了研究父亲与成年儿子 身高之间的关系，卡尔.皮 尔逊测量了1078对父子的 身高。把1078对数字表示 在坐标上，如图。 它的形状象一块橄榄状的 云，中间的点密集，边沿 的点稀少，其主要部分是 一个椭圆。
产 儿 体重
**. Correlation is significant at the 0.01 level (2-tailed).
另外的例子：
识字数，鞋大小 游泳票与冰激凌销售量
21
24
3.0
2.8
29
30
22
25
4.0
3.9
15
16
15
16
3.2
3.2
31
24
4.3
SPSS计算程序
1.做散点图： GRAPHS-SCATTERT-SIMPLE-DEFINE
2. 相关分析: ANALYZE--CORRELATION – BIVARIATE -VARIABLES
孕妇尿中雌三醇含量与产儿体重之间的关系
一个产科医师发现孕妇尿中雌三醇含量与产儿的 体重有关。 于是设想，通过测量待产妇尿中雌三醇含量，可 以预测产儿体重，以便对低出生体重进行预防。 因此收集了31例待产妇24小时的尿，测量其中的 雌三醇含量，同时记录产儿的体重。
问尿中雌三醇含量与产儿体重之间相关系数是多 少？是正相关还是负相关？
对相关系数的假设检验，常用t检验，选用 统计量t的计算公式如下：
t
r 0
sr
多重线性回归
（2）有序多分类
• 按照有序的顺序，从低到高（或从 小到大）依次赋值：0，1，2，…。
• 如：家庭月收入情况（元）：<50， 50-，500-，2000，≥10000分为5个等级， 可依次赋值为：0，1，2，3，4。
（3）无序多分类
• 如：若设W代表血型变量，则W的状态就有 4种情况，即W=A型、W=B型、W=AB型、 W=O型。此时需引入3个哑变量。现假设以O 型为基准，则3个哑变量X1、X2、X3可按如下 方式来定义：
Rc2
1 (1
R2)
(n
n 1 1)
p
1 SS残 /(n 1 p) ＝1－ MS残
SS总 /(n 1)
MS总
R
2 c
R
2,考虑了自变
量个
数的
影响
Coe fficientsa
Standardi
偏系U回 数nCso归teafnfdica标ierdnizt准sed误
标准zed化偏 回Co归eftfsi系cien数
• 优点：
– 1次能引入多个自变量,若两个变量在一起时效果好 容易被选中。
• 缺点：
– 只出不进。
逐步回归法（stepwise)
• 将前进和后退两种方法结合起来,既考虑引入变 量又考虑剔除变量。
a. Predictors: (Constant), X3, X2, X1
b. Dependent Variable: Y
F
Sig.
5.617
.035a
决定系数 （ determination coefficient）
R2 SS回 1 SS残
SS总
SS总
说明所有自变量能解释Y变化的百分比。 取值（0，1），越接近1模型拟合越好
多元回归和多重相关分析
Residual（SSE）
10
712.55525 71.25552
F = 51.96940 p-value = .0000
逐步回归法
是按一定的统计程序，经过多步拟合和检 验，从一系列的可供建立回归模型的自变 量中，逐步引入回归作用显著的自变量， 并从回归模型中逐步趋逐回归作用变得不 在显著的自变量，以最终求得“最优”回 归模型的技术.
X1（侨胞旅游人数） 4.917499 1.003854 4.899 .0006
X2（外国旅游人数） -15.762767 16.185008 -.974 .3531
(Constant)
6.825275 6.953243 .982 .3495
相关系数
可决系数 经调整的 可决系数 估计标准误差
Multiple R
SSE X1, X 2 , X 3 n 1 k
3962.4 - 3624.2
=
9.51
284.5 16 -1- 3
4. 5.
结F论F: 合 , 所同以批拒数绝对H利0 润额有显著的偏回归.
建立回归模型的步骤
找出被选变量 试建回归模型 评核回归模型 修改回归模型 解释并应用回归模型
第十四章 多元回归和多重相关 分析
研究多个变量之间的关系
多元线性回归方程 一个因变量和多个自变量
总体回归方程
Yi 0 1 X1i 2 X2i k X ki i
y123k 0 1 X1i 2 X2i k Xki
样本回归方程
yi b0 b1 X1i b2 X2i bk X ki ei
1. H0:
F
分子为引入第K个变量后可 解释变差的增加量，或者说 为引入第K个变量后不可解 释变差的减少量
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2
content
第一节 第二节 第三节 第四节 第五节 多重线性回归的概念与统计推断 假设检验及其评价 复相关系数与偏相关系数 自变量筛选 多元线性回归的应用与注意事项
3
目的：作出以多个自变量估计应变量的多元线性回
归方程。
资料：线性回归中应变量为定量指标；自变量全部
0.45 0.50 1.50 0.40 0.90 0.80 1.80
0.066 0.076 0.001 0.170 0.156 0.120 0.040
948 1440 1084 1844 1116 1656 1536
22.5 21.5 28.5 26.0 35.0 20.0 23.0
69 79 59 73 92 83 57
l11b1 l12b2 l b l b 21 1 22 2 lk 1b1 lk 2b2
l1k bk l1Y l2 k bk l2Y lkk bk lkY
bk X k )
i j
b0 Y (b1 X 1 b2 X 2
车流 (X1)
气温 (X2)
气湿 (X3)
风速 (X4)
一氧化氮 (Y)
车流 (X1)
气温 (X2)
气湿 (X3)
风速 (X4)
一氧化氮 (Y)
1300 1444 786 1652 1756 1754 1200
20.0 23.0 26.5 23.0 29.5 30.0 22.5
80 57 64 84 72 76 69
… … … … …
Xk X1k X2k ┇ Xnk
Y Y1 Y2 ┇ Yn
条件
（1） Y 与 X 1 , X 2 , , X k 之间具有线性关系。 （2）各例观测值 Yi (i 1,2 , , n) 相互独立。 并服从正态分布。
7
（3） 残差 e~N （0， 2 ） 且各自变量与应变量 Y 具有相同方差，
23.3 27.0
67
8ቤተ መጻሕፍቲ ባይዱ 65
1.50
0.90 0.65
0.039
0.222 0.145
1820
1436
22.0
28.0
83
68
0.40
2.00
0.135
0.099
1060
1436
26.0
28.0
58
68
1.83
2.00
0.029
0.099
8
(1)求偏回归系数 b0 , b1 , b2 , , bk
coefficient），是βj的估计值，表示当方程中其他自变量
保持常量时，自变量Xj变化一个计量单位,反应变量Y的平 均值变化的单位数。
10
ˆ )2 [Y (b b X b X Q (Y Y 0 1 1 2 2
求偏导数（一阶）
bk X k )]2
原
理
最小二乘法
第二节 假设检验及其评价
（一）对回归方程
1. 方差分析法： H 0 : 1 2 k 0 ，
H1 : 各（j=1,2, ,k) 不全为 0， j
0.05
SS总 SS回 SS残
SS回 / k MS回 F SS残 （ / n k 1) MS残
建立回归方程(样本)
一 般 步 骤
ˆ b b X b X Y 0 1 1 2 2
bk X k
(2)检验并评价回归方程 及各自变量的作用大小
9
二、多元线性回归方程的建立
样本估计而得的多重线性回归方程
ˆ b0 b1x1 b2 x2 ... bk xk y
bj为自变量Xj 的偏回归系数（partial regression
多重线性回归与相关
(multiple linear regression & multiple correlation)
1
实际中一个指标往往受到多个因素的影响，或者与多个因素之 间都有联系 建立糖尿病人空腹血糖的测量值和血清总胆固醇、甘油三酯、 空腹胰岛素、糖化血红蛋白之间的联系
一些疾病的患病率 空气污染物含量 病情的好转过程
5
一、数据与多元线性回归模型
• • • • 变量：应变量 1 个，自变量k 个，共 k+1 个。 样本含量：n 数据格式见表13-1 回归模型一般形式：
Yi 0 1 x1i 2 x2i ... k xki i
上式表示数据中应变量 Y 可以近似地表示为自变量
X1, X 2 , , X k 的线性函数。
lij ( X i X i )( X j X j ) X i X j l jY ( X j X j )(Y Y ) X jY n
X X
j
, i , j=1,2, ,k j 1, 2 ,k
X Y ,
n
统计软件包
ˆ 0.14166 0.00011619 X 0.00449 X 0.00000655X 0.03468X Y 1 2 3 4 11
0 为常数项， 1 , 2 , , k 为偏回归系数，表示在其它自变
量保持不变时， X j 增加或减少一个单位时 Y 的平均变化 量，e 是去除 k 个自变量对 Y 影响后的随机误差（残差） 。
6
多元回归分析数据格式
例号 1 2 ┇ n
X1 X11 X21 ┇ Xn1
X2 X12 X22 ┇ Xn2
或大部分为定量指标，若有少量定性或等级指标需 作转换。
用途：解释和预报。 意义：由于事物间的联系常常是多方面的，一个应
变量的变化可能受到其它多个自变量的影响，如糖 尿病人的血糖变化可能受胰岛素、糖化血红蛋白、 血清总胆固醇、甘油三脂等多种生化指标的影响。
4
第一节
多重线性回归的概念 与统计推断
2.00 2.40 3.00 1.00 2.80 1.45 1.50
0.005 0.011 0.003 0.140 0.039 0.059 0.087
1500
1200 1476
21.8
27.0 27.0
77
58 65
0.60
1.70 0.65
0.120
0.100 0.129
960
1784 1496
24.8
F ~F (k , n k 1)
12
多元线性回归方差分析表 ( 0.05)
变异来源 总变异 回 归 残 差