多元线性回归分析(正式)
合集下载
多元线性回归分析
简介多元线性回归分析是一种统计技术，用于评估两个或多个自变量与因变量之间的关系。
它被用来解释基于自变量变化的因变量的变化。
这种技术被广泛用于许多领域，包括经济学、金融学、市场营销和社会科学。
在这篇文章中，我们将详细讨论多元线性回归分析。
我们将研究多元线性回归分析的假设，它是如何工作的，以及如何用它来进行预测。
最后，我们将讨论多元线性回归分析的一些限制，以及如何解决这些限制。
多元线性回归分析的假设在进行多元线性回归分析之前，有一些假设必须得到满足，才能使结果有效。
这些假设包括。
1）线性。
自变量和因变量之间的关系必须是线性的。
2）无多重共线性。
自变量之间不应高度相关。
3）无自相关性。
数据集内的连续观测值之间不应该有任何相关性。
4）同质性。
残差的方差应该在自变量的所有数值中保持不变。
5）正态性。
残差应遵循正态分布。
6）误差的独立性。
残差不应相互关联，也不应与数据集中的任何其他变量关联。
7）没有异常值。
数据集中不应有任何可能影响分析结果的异常值。
多重线性回归分析如何工作？多元线性回归分析是基于一个简单的数学方程，描述一个或多个自变量的变化如何影响因变量（Y）的变化。
这个方程被称为"回归方程"，可以写成以下形式。
Y = β0 + β1X1 + β2X2 + ... + βnXn + ε 其中Y是因变量；X1到Xn是自变量；β0到βn是系数；ε是代表没有被任何自变量解释的随机变化的误差项（也被称为"噪音"）。
系数（β0到βn）表示当所有其他因素保持不变时（即当所有其他自变量保持其平均值时），每个自变量对Y的变化有多大贡献。
例如，如果X1的系数为0.5，那么这意味着当所有其他因素保持不变时（即当所有其他独立变量保持其平均值时），X1每增加一单位，Y就会增加0.5单位。
同样，如果X2的系数为-0.3，那么这意味着当所有其他因素保持不变时（即所有其他独立变量保持其平均值时），X2每增加一个单位，Y就会减少0.3个单位。
多元线性回归分析
检验统计量构造为 ：F ˆi2 / cii
S /(n k 1) 或 t ˆi / cii
S /(n k 1)
c 式中 ii 是矩阵 (X ' X )1对角线上的第 i 个元素，S 表示残
差平方和 。 当检验统计量的值大于给定显著性下的临界值时，拒绝 原假设，认为回归系数是显著的
（六）利用已通过检验的回归方程进行预测。
市场调查
多元线性回归分析
多元线性回归是在简单线性回归基础上推广而来。是 用来分析多个自变量对多个因变量如何产生影响的，最常见 的是分析多个自变量对一个因变量的影响方向和影响程度。
一、多元线性回归分析在市场调查中的应用
（一）确定市场调查中因变量与自变量之间的关系 是否存在，若存在，还要分析自变量对因变量的影 响程度是多大，影响方向如何。
Yt
因变量
X it (i 1,2,, k)
自变量
i (i 1,2,, k)
总体回归系数
ut
随机误差项
作为总体回归方程的估计，样本回归方程如下：
Yˆt ˆ1 ˆ2 X 2t ˆ3 X3t ˆk X kt et
ˆi (i 1,2,, k)
总体回归系数的估计
t 1,2,, n
样本数
et 是 Yt与其估计 Yˆt之间的离差，即残差
（二）确定因变量和自变量之间的联系形式，关 键是要找出回归系数。
（三）利用已确定的因变量和自变量之间的方程 形式，在已知自变量的情况下，对因变量的取值 进行预测。
（四）在众多影响因变量的因素中，通过评价其 对因变量的贡献，来确定哪些自变量是重要的或 者说是比较重要的，为市场决策行为提供理论依 据。
（五）回归的显著性检验
包括对回归方程的显著性检验和对回归系数的显著性检验。
S /(n k 1) 或 t ˆi / cii
S /(n k 1)
c 式中 ii 是矩阵 (X ' X )1对角线上的第 i 个元素，S 表示残
差平方和 。 当检验统计量的值大于给定显著性下的临界值时，拒绝 原假设，认为回归系数是显著的
（六）利用已通过检验的回归方程进行预测。
市场调查
多元线性回归分析
多元线性回归是在简单线性回归基础上推广而来。是 用来分析多个自变量对多个因变量如何产生影响的，最常见 的是分析多个自变量对一个因变量的影响方向和影响程度。
一、多元线性回归分析在市场调查中的应用
（一）确定市场调查中因变量与自变量之间的关系 是否存在，若存在，还要分析自变量对因变量的影 响程度是多大，影响方向如何。
Yt
因变量
X it (i 1,2,, k)
自变量
i (i 1,2,, k)
总体回归系数
ut
随机误差项
作为总体回归方程的估计，样本回归方程如下：
Yˆt ˆ1 ˆ2 X 2t ˆ3 X3t ˆk X kt et
ˆi (i 1,2,, k)
总体回归系数的估计
t 1,2,, n
样本数
et 是 Yt与其估计 Yˆt之间的离差，即残差
（二）确定因变量和自变量之间的联系形式，关 键是要找出回归系数。
（三）利用已确定的因变量和自变量之间的方程 形式，在已知自变量的情况下，对因变量的取值 进行预测。
（四）在众多影响因变量的因素中，通过评价其 对因变量的贡献，来确定哪些自变量是重要的或 者说是比较重要的，为市场决策行为提供理论依 据。
（五）回归的显著性检验
包括对回归方程的显著性检验和对回归系数的显著性检验。
多元线性回归分析正式
2.对回归方程及各Xj作假设检验。
二、多元线性回归方程的建立
Y
Y ˆ abX
X
Y ˆ b0b1X1
Y ˆ b0b1X1
b(XX)(YY)lXY
(XX)2
lXX
aYbX
b1
l1Y l 11
l1 1 b1 l1Y
b0 Yb1X1
Y
Y ˆb0b1X 1b2X 2
X1
X2
X ˆ2 b0b1X1
Y ˆb0b1X 1b2X 2
1.校正决定系数
R
2 c
选择法
Rc 21（ 1R2 ） nn p 1 11M M总 残 S S
R2可用来评价回归方程优劣。 随着自变量增加，R2不断增大，对两个不
同个数自变量回归方程比较，须考虑方程 包含自变量个数影响，应对R2进行校正。 所谓“最优”回归方程指R c2 最大者。
2. C p 选择法
Sb10.365 Sb260.204 Sb320.121Sb4 4 0.243
0 .1424 t 1 0 .3656 0 .390 P 0.05
0 .3515 t 2 0 .2042 1 .721 P 0.05
0 .2706 t 3 0 .1214 2 .229 P 0.05
l1 b 1 1 l1 b 2 l1 m b m l1 Y l2b 1 1l2b 22 l2 m b m l2 Y lm 1 b 1 lm 2 b 2 lm b m m lmY
b 0 Y （ b 1 X 1 b 2 X 2 b m X m ）
用最小二乘法解正规方程组， 使残差平方和Q最小。
变异来源 自由度 SS
MS
F
总变异 26 222.5519
回 归 4 133.7107 33.4277 8.28
二、多元线性回归方程的建立
Y
Y ˆ abX
X
Y ˆ b0b1X1
Y ˆ b0b1X1
b(XX)(YY)lXY
(XX)2
lXX
aYbX
b1
l1Y l 11
l1 1 b1 l1Y
b0 Yb1X1
Y
Y ˆb0b1X 1b2X 2
X1
X2
X ˆ2 b0b1X1
Y ˆb0b1X 1b2X 2
1.校正决定系数
R
2 c
选择法
Rc 21（ 1R2 ） nn p 1 11M M总 残 S S
R2可用来评价回归方程优劣。 随着自变量增加，R2不断增大，对两个不
同个数自变量回归方程比较，须考虑方程 包含自变量个数影响，应对R2进行校正。 所谓“最优”回归方程指R c2 最大者。
2. C p 选择法
Sb10.365 Sb260.204 Sb320.121Sb4 4 0.243
0 .1424 t 1 0 .3656 0 .390 P 0.05
0 .3515 t 2 0 .2042 1 .721 P 0.05
0 .2706 t 3 0 .1214 2 .229 P 0.05
l1 b 1 1 l1 b 2 l1 m b m l1 Y l2b 1 1l2b 22 l2 m b m l2 Y lm 1 b 1 lm 2 b 2 lm b m m lmY
b 0 Y （ b 1 X 1 b 2 X 2 b m X m ）
用最小二乘法解正规方程组， 使残差平方和Q最小。
变异来源 自由度 SS
MS
F
总变异 26 222.5519
回 归 4 133.7107 33.4277 8.28
第5章多元线性回归分析1
k 个解释变量的多元线性回归模型的 n 个观测
样本，可表示为
Y 1 1 2 X 2 1 3 X 3 1 ... k X k 1 u 1
Y 2 1 2 X 2 2 3 X 3 2 ... k X k 2 u 2
Y n 1 2 X 2 n 3 X 3 n ... k X k n u n
相关系数，即全部自变量参与回归的总体相
关系数，Rmxi 为去掉xi 的复相关系数。可见
部分相关系数的平方是在总体拟合效果中扣 除了其他变量综合拟合效果之后剩余部分。
15
16
多元线性回归模型
●多元线性回归模型及古典假定 ●多元线性回归模型的估计 ●多元线性回归模型的检验
17
§5.1多元线性回归模型及古典假定
j 个解释变量的单位变动对应变量平均值的影响。
20
多元线性回归
指对各个回归系数而言是“线性”的，对变量则 可是线性的，也可是非线性的 例如：生产函数
YALKu
取自然对数
l n Y ln A l n L l n K l n u
21
多元总体回归函数
Y 的总体条件均值表示为多个解释变量的函数
因为 Xe=0 ，则正规方程为：
XXβˆ =XY
32
OLS估计式
由正规方程 多元回归中 二元回归中
XXβˆ =XY ( X X ) k k 是 满 秩 矩 阵 ,其 逆 存 在
βˆ=(XX)-1XY
ˆ1Y-β ˆ2X2-β ˆ3X3
ˆ2(
yix2 i)( x3 2 i)-( yix3 i)( x2 ix3 i) ( x2 2 i)( x3 2 i)-( x2 ix3 i)2
样本，可表示为
Y 1 1 2 X 2 1 3 X 3 1 ... k X k 1 u 1
Y 2 1 2 X 2 2 3 X 3 2 ... k X k 2 u 2
Y n 1 2 X 2 n 3 X 3 n ... k X k n u n
相关系数，即全部自变量参与回归的总体相
关系数，Rmxi 为去掉xi 的复相关系数。可见
部分相关系数的平方是在总体拟合效果中扣 除了其他变量综合拟合效果之后剩余部分。
15
16
多元线性回归模型
●多元线性回归模型及古典假定 ●多元线性回归模型的估计 ●多元线性回归模型的检验
17
§5.1多元线性回归模型及古典假定
j 个解释变量的单位变动对应变量平均值的影响。
20
多元线性回归
指对各个回归系数而言是“线性”的，对变量则 可是线性的，也可是非线性的 例如：生产函数
YALKu
取自然对数
l n Y ln A l n L l n K l n u
21
多元总体回归函数
Y 的总体条件均值表示为多个解释变量的函数
因为 Xe=0 ，则正规方程为：
XXβˆ =XY
32
OLS估计式
由正规方程 多元回归中 二元回归中
XXβˆ =XY ( X X ) k k 是 满 秩 矩 阵 ,其 逆 存 在
βˆ=(XX)-1XY
ˆ1Y-β ˆ2X2-β ˆ3X3
ˆ2(
yix2 i)( x3 2 i)-( yix3 i)( x2 ix3 i) ( x2 2 i)( x3 2 i)-( x2 ix3 i)2
最新文档-第6讲 多元线性回归分析-PPT精品文档
1. 线性关系检验通过后，对各个回归系数有选择地 进行一次或多次检验
2. 究竟要对哪几个回归系数进行检验，通常需要在 建立模型之前作出决定
3. 对回归系数检验的个数进行限制，以避免犯过多 的第一类错误(弃真错误)
4. 对每一个自变量都要单独进行检验
5. 应用 t 检验统计量
模型的统计检验
我们研究的模型是：Y= 0+ 1X1+ 2X2+u 1.参数估计值的分布
（ii）计算 t 统计量
j=0
j=0，1，2
（iii）给定显著性水平 ，查自由度为n-3的t分布表， 得到临界值
t (n3) 2
（iv）判断：
t （a）若 | t | >
(n3)
2
则在1- 水平下拒绝原假设H0 ，即 j对应的变量xj是
显著的；
t （b）若 | t | <
(n3)
系数 。
（3）校正的判定系数即用自由度进行平均，用 “单位”拟合误差进行比较，从而提高了可比性。
（4）虽然非校正的判定系数总为正数，但校正 的判定系数可能为负数。
• 我们很容易可以得到 调整的R2 ，
• (1 – R2)(n – 1) / (n – k – 1), • 大部分的软件会同时给出 R2 和 调整的R2。 • 可以通过比较调整的R2 来比较两个模型（同一个
2 1 i
2 2 i 1 i 2 i2
1
2 ]
V( aˆr ) 1
x 2[
u
2
x x ( xx) 1 i
2
2 i
2 2 i1 i
2] 2 i
V( aˆr ) 2
x 2[
2. 究竟要对哪几个回归系数进行检验，通常需要在 建立模型之前作出决定
3. 对回归系数检验的个数进行限制，以避免犯过多 的第一类错误(弃真错误)
4. 对每一个自变量都要单独进行检验
5. 应用 t 检验统计量
模型的统计检验
我们研究的模型是：Y= 0+ 1X1+ 2X2+u 1.参数估计值的分布
（ii）计算 t 统计量
j=0
j=0，1，2
（iii）给定显著性水平 ，查自由度为n-3的t分布表， 得到临界值
t (n3) 2
（iv）判断：
t （a）若 | t | >
(n3)
2
则在1- 水平下拒绝原假设H0 ，即 j对应的变量xj是
显著的；
t （b）若 | t | <
(n3)
系数 。
（3）校正的判定系数即用自由度进行平均，用 “单位”拟合误差进行比较，从而提高了可比性。
（4）虽然非校正的判定系数总为正数，但校正 的判定系数可能为负数。
• 我们很容易可以得到 调整的R2 ，
• (1 – R2)(n – 1) / (n – k – 1), • 大部分的软件会同时给出 R2 和 调整的R2。 • 可以通过比较调整的R2 来比较两个模型（同一个
2 1 i
2 2 i 1 i 2 i2
1
2 ]
V( aˆr ) 1
x 2[
u
2
x x ( xx) 1 i
2
2 i
2 2 i1 i
2] 2 i
V( aˆr ) 2
x 2[
第15章多元线性回归分析
Sig. .012 .016 .017 .008
y ˆ 6 .5 0 0 .40 X 0 0 .2 2X 8 0 .6 7X 63
2
3
4
对新建立的回归方程进行检验
A N O VbA
Sum of
Model
Squares
1
Regre1s3s3i.o0n98
Residu8a9l.454
Total222.552
多元线性回归分析
温医公卫学院
例15-1 27名糖尿病人的血清总胆固 醇、甘油三脂、空腹胰岛素、糖化血红蛋 白、空腹血糖的测量值列于表15-2中，试 分析哪些指标能影响血糖水平，并血糖建 立与其它几项关系的这些指标的回归关系。
序号 i
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27
27 名 糖 尿 病 人 的 血 糖 及 有 关 变 量 的 测 量 结 果
甘油三脂
胰岛素
糖化血
(m m o l/L )
( U / m l )
红 蛋 白 (% )
X2
X3
X4
1 .9 0
4 .5 3
8 .2
1 .6 4
7 .3 2
6 .9
3 .5 6
6 .9 5
1 0 .8
1 .0 7
5 .8 8
11 .3
6 .2 1
3 .4 7
1 2 .3
7 .9 2
3 .3 7
9 .8
1 0 .8 9
1 .2 0
1 0 .5
0 .9 2
8 .6 1
6 .4
1 .2 0
第4章多元线性回归分析
4.2.1回归系数估计
结论
4.2 多元线性回归模型参数估计
结论1： OLS估计的一致性 ˆj 如果回归模型误差项满足假设1和假设2，OLS估计 为一致估计，即
ˆ , j 0, 1, 2, , k p limn j j
结论2： OLS估计的无偏性 如果回归模型误差项满足假设1和假设2，OLS估计 ˆj 为无偏估计： ˆ ) , j 0, 1, , k E( j j
4.9 自变量共线性 重要概念Biblioteka 4.1 多元线性回归模型设定
模型设定：
假设1（零条件均值:zero conditonal mean）
给定解释变量，误差项条件数学期望为0，即
E(u | X1 , X 2 ,, X k ) 0
Y 0 1 X1 2 X 2 k X k u
4.8 假设条件的放松
4.8.1 假设条件的放松（一）—非正态分 布误差项 4.8.2 假设条件的放松（二）—异方差 4.8.3 假设条件的放松（三）—非随机抽 样和序列相关 4.8.4 假设条件的放松（四）—内生性
4.8 假设条件的放松
4.8.1 假设条件的放松（一）—非正态分 布误差项
• 去掉假设5不影响OLS估计的一致性、无偏性和渐 近正态性。 • 不能采用t-检验来进行参数的显著性检验，也不能 用F检验进行整体模型检验。 • 大样本情况下，t统计量往往服从标准正态分布 （在原假设下）。
…
xk ( X k1 , X k 2 ,, X kn )
假设2’（样本无共线性:no colinearity）
不存在不全为零的一组数 c0 , c1,, ck使得
c0 c1x1 xk 0
4.2 多元线性回归模型参数估计
多元线性回归分析简介
ˆ j 表示 j , j 0,1, , p 的估计值。
称
y ˆ0 ˆ1x1 ˆp xp
为 y 关于 x 的多元线性经验回归方程（函数），它表示 p+1 维空间中的一个超平面（经验回归平面）。
文档仅供参考，如有不当之处，请联系改正。
引进矩阵的形式：
设
y
y1
y2
，
X
1
1
x11 x21
有平方和分解公式 SS=SSR+SSE
文档仅供参考，如有不当之处，请联系改正。
定理 4.5＇在 p 元回归分析问题中， SSR 与 SSE 相互独立，
且1
2
SSE
~
2(n
p
1)
；在原假设 H0 成立时，有
12ຫໍສະໝຸດ SSR~2(p)
。
因此取检验统计量 F=
SSR / p
H0成立时
F(p,n-p-1)
SSE / n p 1
（ xi1, , xip , yi ）（ i 1,2,, n ）到回归平面
y ˆ0 ˆ1x1 ˆp xp 的距离的大小。
文档仅供参考，如有不当之处，请联系改正。
一元回归分析中旳结论全部能够推广到多 元旳情形中来。
文档仅供参考，如有不当之处，请联系改正。
定理 4.2＇ 在 p 元回归分析问题中，（1） ˆ 服从 p+1 维正态分
min
0 ,1 , , p
Q(0,
1,
,p)
文档仅供参考，如有不当之处，请联系改正。
定理 4.1＇在 p 元回归分析问题中， 的最小
二乘估计量为 ˆ X X 1 X Y 。
文档仅供参考，如有不当之处，请联系改正。
误差方差的估计：
称
y ˆ0 ˆ1x1 ˆp xp
为 y 关于 x 的多元线性经验回归方程（函数），它表示 p+1 维空间中的一个超平面（经验回归平面）。
文档仅供参考，如有不当之处，请联系改正。
引进矩阵的形式：
设
y
y1
y2
，
X
1
1
x11 x21
有平方和分解公式 SS=SSR+SSE
文档仅供参考，如有不当之处，请联系改正。
定理 4.5＇在 p 元回归分析问题中， SSR 与 SSE 相互独立，
且1
2
SSE
~
2(n
p
1)
；在原假设 H0 成立时，有
12ຫໍສະໝຸດ SSR~2(p)
。
因此取检验统计量 F=
SSR / p
H0成立时
F(p,n-p-1)
SSE / n p 1
（ xi1, , xip , yi ）（ i 1,2,, n ）到回归平面
y ˆ0 ˆ1x1 ˆp xp 的距离的大小。
文档仅供参考，如有不当之处，请联系改正。
一元回归分析中旳结论全部能够推广到多 元旳情形中来。
文档仅供参考，如有不当之处，请联系改正。
定理 4.2＇ 在 p 元回归分析问题中，（1） ˆ 服从 p+1 维正态分
min
0 ,1 , , p
Q(0,
1,
,p)
文档仅供参考，如有不当之处，请联系改正。
定理 4.1＇在 p 元回归分析问题中， 的最小
二乘估计量为 ˆ X X 1 X Y 。
文档仅供参考，如有不当之处，请联系改正。
误差方差的估计：
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
b0Y （ b1X 1b2X 2 ）
用最小二乘法解正规方程组，使残差平方和Q最小。
Q Y Y ˆ 2 Y b 0 b 1 X 1 b 2 X 2 2
13
Y ˆ b 0 b 1 X 1 b 2 X 2 b m X m
l1 b 1 1 l1 b 2 2 l1 m b m l1 Y l2b 1 1l2b 22 l2 m b m l2Y lm 1 b 1 lm 2 b 2 lm b m m lmY
第15章
多元线性回归分析
Multiple Linear Regression Analysis
华中科技大学同济医学院公共卫生学院 流行病学与卫生统计学系
蒋红卫 Email: jhwccc@1Fra bibliotek讲课内容
第一节 多元线性回归(重点) 第二节 自变量选择方法(重点) 第三节 多元线性回归的应用及注
意事项
2
第一节 多元线性回归
一、多元线性回归模型
3
表 15-2 27 名糖尿病人的血糖及有关变量的测量结果
序号 i
总胆固醇 甘油三酯
(mmol/L) (mmol/L)
X1
X2
胰岛素 糖化血红蛋白 血糖
(U/ml)
(%)
(mmol/L)
X3
X4
Y
1
5.68
1.90
4.53
8.2
11.2
2
3.79
1.64
67.3601872.364-89.492296.728869.8025
lij -53.952-39.4923950.31-5076.38-61342.434
31.368276.728-567.386836.440874.5570
67.696829.802-1542.438447.5572022.551
b 1 0 .14 b 2 2 0 .34 5 b 3 1 0 .2 57 b 4 0 0 .66 3
17
b10.142b2 40.351b3 50.270b4 60.6382 X15.812X262.840X 736.146X 749.1185 Y1.1 9259
b 0 Y （ b 1 X 1 b 2 X 2 b m X m ） 5 .94
Y ˆ 5 . 9 4 0 . 1 3 X 4 1 3 0 . 3 2X 5 4 2 0 . 2 1X 7 5 3 0 . 6 0X 3 6 4
18
三、多元线性回归方程的 假设检验及评价
19
（一）回归方程的假设检验及评价 1.方差分析法
H0 :1 2 m 0 H 1 : j ( j 1,2, , m ) 不全为0。 S S 回 b 1l 1Y b 2 l 2 Y b m l mY SS残 SS总 SS回
b 0 Y （ b 1 X 1 b 2 X 2 b m X m ）
14
用最小二乘法解正规方程组， 使残差平方和Q最小。
Q Y Y ˆ2
Y b0b 1X 1b2X 2bm X m2
15
表 15-2 27 名糖尿病人的血糖及有关变量的测量结果
序号 i
总胆固醇 甘油三酯
(mmol/L) (mmol/L)
66.010b1367.3b620-583.9b532331.3b648677.696 67.3b61 01872.3b26-498.49b32926.7b248869.802 -53.9b51-293.49b229350.3b31-0567.3b846-3142.43 31.3b618276.7b228-567.38b36386.4b440874.557
9
Y
Y ˆ abX
X
Y ˆ b0b1X1
10
Y ˆ b0b1X1
b(XX)(YY)lXY aYbX
(XX)2
lXX
b1
l1Y l 11
l11 b1 l1Y
b0 Yb1X1
11
Y
Y ˆb0b1X 1b2X 2
X1
X2
X ˆ2 b0b1X1
12
Y ˆb0b1X 1b2X 2
l1b 11l1b 22l1Y l2b 11l2b 22l2Y
MS
F
总变异 26 222.5519
回 归 4 133.7107 33.4277 8.28
残 差 22 88.8412 4.0382
P ＜0.01
F0.01(4,22)=4.31
22
2.决定系数R2
R2 SS回13.731070.6008 SS总 22.52519
7.32
6.9
8.8
3
6.02
3.56
6.95
10.8
12.3
27
3.84
1.20
6.45
9.6
10.4
4
例号 1 2 n
表 15-1 多元回归分析数据格式
X1
X2
Xm
X11
X12
X1m
X21
X22
X2m
Xn1
Xn2
Xnm
多元回归：多个Y，多个X 多重回归：一个Y，多个X
Y Y1 Y2 Yn
5
X1
X2
胰岛素 糖化血红蛋白 血糖
(U/ml)
(%)
(mmol/L)
X3
X4
Y
1
5.68
1.90
4.53
8.2
11.2
2
3.79
1.64
7.32
6.9
8.8
3
6.02
3.56
6.95
10.8
12.3
27
3.84
1.20
6.45
9.6
10.4
16
66.010367.360-583.952331.368677.6962
F
SS 残
SS回 /（ n
/m m
1）
MS MS
回 残
20
表 15-3 多元线性回归方差分析表
变异来源 自由度 SS
MS
FP
总变异 n－1 SS 总
回归
m
SS 回
SS 回/m MS 回/MS 残
残 差 n－m－1 SS 残 SS 残/(n-m-1)
21
表 15-4 多元线性回归方差分析表
变异来源 自由度 SS
1.Y与X1，X2， ，Xm之间具有线性关系； 2.各个Yi间相互独立； 3.e服从均数为0、方差为2的正态分布。
7
多元线性回归分析步骤：
1.根据样本数据求得模型参数估计值：
Y ˆ b 0 b 1 X 1 b 2 X 2 b m X m
2.对回归方程及各Xj作假设检验。
8
二、多元线性回归方程的建立
Y 0 1 X 1 2 X 2 m X m e
β0 常数项 βj 偏回归系数(partial regression coefficient)：
在其它自变量保持不变时，Xj增加或减少 一个单位时Y的平均变化量。
e 去除m个自变量对Y影响后的随机误差。
6
多元线性回归模型应用条件：
用最小二乘法解正规方程组，使残差平方和Q最小。
Q Y Y ˆ 2 Y b 0 b 1 X 1 b 2 X 2 2
13
Y ˆ b 0 b 1 X 1 b 2 X 2 b m X m
l1 b 1 1 l1 b 2 2 l1 m b m l1 Y l2b 1 1l2b 22 l2 m b m l2Y lm 1 b 1 lm 2 b 2 lm b m m lmY
第15章
多元线性回归分析
Multiple Linear Regression Analysis
华中科技大学同济医学院公共卫生学院 流行病学与卫生统计学系
蒋红卫 Email: jhwccc@1Fra bibliotek讲课内容
第一节 多元线性回归(重点) 第二节 自变量选择方法(重点) 第三节 多元线性回归的应用及注
意事项
2
第一节 多元线性回归
一、多元线性回归模型
3
表 15-2 27 名糖尿病人的血糖及有关变量的测量结果
序号 i
总胆固醇 甘油三酯
(mmol/L) (mmol/L)
X1
X2
胰岛素 糖化血红蛋白 血糖
(U/ml)
(%)
(mmol/L)
X3
X4
Y
1
5.68
1.90
4.53
8.2
11.2
2
3.79
1.64
67.3601872.364-89.492296.728869.8025
lij -53.952-39.4923950.31-5076.38-61342.434
31.368276.728-567.386836.440874.5570
67.696829.802-1542.438447.5572022.551
b 1 0 .14 b 2 2 0 .34 5 b 3 1 0 .2 57 b 4 0 0 .66 3
17
b10.142b2 40.351b3 50.270b4 60.6382 X15.812X262.840X 736.146X 749.1185 Y1.1 9259
b 0 Y （ b 1 X 1 b 2 X 2 b m X m ） 5 .94
Y ˆ 5 . 9 4 0 . 1 3 X 4 1 3 0 . 3 2X 5 4 2 0 . 2 1X 7 5 3 0 . 6 0X 3 6 4
18
三、多元线性回归方程的 假设检验及评价
19
（一）回归方程的假设检验及评价 1.方差分析法
H0 :1 2 m 0 H 1 : j ( j 1,2, , m ) 不全为0。 S S 回 b 1l 1Y b 2 l 2 Y b m l mY SS残 SS总 SS回
b 0 Y （ b 1 X 1 b 2 X 2 b m X m ）
14
用最小二乘法解正规方程组， 使残差平方和Q最小。
Q Y Y ˆ2
Y b0b 1X 1b2X 2bm X m2
15
表 15-2 27 名糖尿病人的血糖及有关变量的测量结果
序号 i
总胆固醇 甘油三酯
(mmol/L) (mmol/L)
66.010b1367.3b620-583.9b532331.3b648677.696 67.3b61 01872.3b26-498.49b32926.7b248869.802 -53.9b51-293.49b229350.3b31-0567.3b846-3142.43 31.3b618276.7b228-567.38b36386.4b440874.557
9
Y
Y ˆ abX
X
Y ˆ b0b1X1
10
Y ˆ b0b1X1
b(XX)(YY)lXY aYbX
(XX)2
lXX
b1
l1Y l 11
l11 b1 l1Y
b0 Yb1X1
11
Y
Y ˆb0b1X 1b2X 2
X1
X2
X ˆ2 b0b1X1
12
Y ˆb0b1X 1b2X 2
l1b 11l1b 22l1Y l2b 11l2b 22l2Y
MS
F
总变异 26 222.5519
回 归 4 133.7107 33.4277 8.28
残 差 22 88.8412 4.0382
P ＜0.01
F0.01(4,22)=4.31
22
2.决定系数R2
R2 SS回13.731070.6008 SS总 22.52519
7.32
6.9
8.8
3
6.02
3.56
6.95
10.8
12.3
27
3.84
1.20
6.45
9.6
10.4
4
例号 1 2 n
表 15-1 多元回归分析数据格式
X1
X2
Xm
X11
X12
X1m
X21
X22
X2m
Xn1
Xn2
Xnm
多元回归：多个Y，多个X 多重回归：一个Y，多个X
Y Y1 Y2 Yn
5
X1
X2
胰岛素 糖化血红蛋白 血糖
(U/ml)
(%)
(mmol/L)
X3
X4
Y
1
5.68
1.90
4.53
8.2
11.2
2
3.79
1.64
7.32
6.9
8.8
3
6.02
3.56
6.95
10.8
12.3
27
3.84
1.20
6.45
9.6
10.4
16
66.010367.360-583.952331.368677.6962
F
SS 残
SS回 /（ n
/m m
1）
MS MS
回 残
20
表 15-3 多元线性回归方差分析表
变异来源 自由度 SS
MS
FP
总变异 n－1 SS 总
回归
m
SS 回
SS 回/m MS 回/MS 残
残 差 n－m－1 SS 残 SS 残/(n-m-1)
21
表 15-4 多元线性回归方差分析表
变异来源 自由度 SS
1.Y与X1，X2， ，Xm之间具有线性关系； 2.各个Yi间相互独立； 3.e服从均数为0、方差为2的正态分布。
7
多元线性回归分析步骤：
1.根据样本数据求得模型参数估计值：
Y ˆ b 0 b 1 X 1 b 2 X 2 b m X m
2.对回归方程及各Xj作假设检验。
8
二、多元线性回归方程的建立
Y 0 1 X 1 2 X 2 m X m e
β0 常数项 βj 偏回归系数(partial regression coefficient)：
在其它自变量保持不变时，Xj增加或减少 一个单位时Y的平均变化量。
e 去除m个自变量对Y影响后的随机误差。
6
多元线性回归模型应用条件：