第二讲 多元线性回归分析
合集下载
5_多元线性回归分析
……
n xn yn
y
εi 。。
。。。(。x。i, yi)。。。 。。
。
。。
x
0
一元线性回归模型
模型： yi=α+ β xi + εi
(i=1,2…n)
数据的假设条件：
1. 因变量是连续随机变量； 2. 自变量是固定数值型变量，且相互独立； 3. 每一个自变量与因变量呈线性关系； 4. 每一个自变量与随机误差相互独立； 5. 观察个体的随机误差之间相互独立； 6. 随机误差{ei}～N(0,σ)。
• 在模型中添加x变量的方法和向前选择法相同，从模型 中消去x变量的方法和向后消去法相同。
• 添加和消去x变量的顺序原则是，在每添加一个新的x 变量之前，首先用向后消去法原则消去模型内所有超 出停留允许水平的x 变量，然后用向前选择法原则在模 型中添加一个新的x变量。
• 逐步过程法和向前选择法的不同之处是，已经进入模 型的x变量还可以再次从模型中退出；逐步过程法和向 后消去法的不同之处是，已经从模型中消去的x变量还 可以再次进入模型中。
数学模型：
其中：{yi}和{xij}是因变量y和自变量xj 的观察值； β0, β1…βk是待估计的偏回归系数； e i 是yi 的随机误差，且{ei }～N(0,σ)。
一元线性回归分析的数学模型
id x
y
------------------------
1 x1 y1
2 x2 y2
……
i xi yi
data d；
input id x1-x3 y ； cards； 1 1.0 2.3 3.4 10 2 2.1 2.5 3.8 15 3 3.2 3.3 3.8 20 4 4.2 3.9 4.2 22 5 4.8 4.2 5.0 28 run ；
第二章 多元线性回归模型
ˆ ˆ ˆ) ( Y Y 2Y Xβ β X Xβ 0 ˆ β
ˆ X Y X Xβ 0
得到：
ˆ XY XXβ
ˆ β ( X X) 1 X Y
于是：
例3.2.1：在例2.1.1的家庭收入-消费支出例中，
1 ( X ' X) X 1 1 X2 1 X1 1 1 X 2 n X n X i 1 X n
可以证明，随机误差项的方差的无偏估计量为
e e ˆ n k 1 n k 1
2
e i2
二、最大或然估计
对于多元线性回归模型: i N 0, 2 , i 1, 2, , n
易知:
Yi ~ N ( X i β , 2 ) 其中: Xi 1 Xi1 Xi1 Xik
j
一、普通最小二乘估计
对于随机抽取的n组观测值 Yi , X ij , i 1, 2,, n; j 0,1, 2,, k , 其中X i 0 1
k 1个未知参数，如果样本函数的参数估计值已经得到，则有：
Y i 0 1 X i1 2 X i 2 k X ik , i 1, 2,, n
五、多元线性回归模型的参数估计实例
地区城镇居民消费模型
• 被解释变量：该地区城镇居民人均消费Y
• 解释变量：
– 该地区城镇居民人均可支配收入X1 – 前一年该地区城镇居民人均消费X2
• 样本：2006年，31个地区
数据
地区 2006年消费 支出 Y
北 天 河 山 辽 吉 上 江 浙 安 福 江 山 河 京 津 北 西 宁 林 海 苏 江 徽 建 西 东 南 14825.4 10548.1 7343.5 7170.9 7666.6 7987.5 7352.6 6655.4 14761.8 9628.6 13348.5 7294.7 9807.7 6645.5 8468.4 6685.2
心理学研究方法多元回归分析PPT课件
save ——distance –勾上Cook’s和leverage 值
Plots-histogram 和 normal probability plot勾
上-把ZPRED放入Y，把ZRESID放入X轴——
.
12
OK
原始回归方程Y=0.0498X+0.441
标准化回归方程Zy=0.881Zx
β = （δy/ δx）*r =（0.41989/7.426）*0.881=0.04981
.
29
步骤同一元回归
补充步骤 在statistic勾上R square change，part and partial correlation（半偏 相关和偏相关）， conlinerarity diagnostics （共线性判断）
.
30
分层回归方法
Enter：强制进入 Forward：前向选择法 Backward：反向删除法 Stepwise：逐步回归，最常用 把需要控制的变量用这种方法强制enter法
.
39
对强影响点的诊断和处理
同一元线性回归
.
40
多重共线性（conlinerarity diagnostics）
判断方法
✓ 相关系数矩阵：当相关系数>0.8，代表共线性 越大。
✓ 容忍度（tolerance）：最大值为1。当值越小， 代表共线性越大。
✓ 特征值（eigenvalue）：表示该因子所解释变 量的方差。如果很多变量的特征值<1，表示共 线性。
残差是否独立：用durbin-watson进行分析（取值 0<d<4）。如果独立，则d约等于2。如果相邻两点的 残差为正相关，d<2。当相邻两点的残差为负相关时， d>2。
《多元线性回归分析》PPT课件
的线性关系而使因变量Y 变异减小的部分；
SS回归 b1l1Y b2l2Y bmlmY biliy
SS剩余 表示剩余平方和，说明除自变量外，其它随机因素
对 Y 变异的影响。 SS剩余 SS总 SS回归
整理ppt
14
各变量的离差矩阵
b1 0.1424 ， b2 0.3515 ， b3 0.2706 ， b4 0.6382
Y 的误差平方和Q (Y Yˆ)2 为最小值
的一组回归系数b1 ,b2 ,bm 值。
求回归系数 b1 ,b2 ,bm 的方法
是求解正规方程组（normal equations）：
b1l11 b2l12 bml1m l1y
b1l21
b2l22
bml2m
l2y
b1lm1 b2lm2 bmlmm lmy
整理ppt
28
2.决定系数
决定系数（coefficient of determination）表示回归平 方和占总平方和的比例，反映各自变量对因变量回 归贡献的大小，用 R2 表示。 R2 SS回归
SS总
R2 无单位，取值在 0~1 之间。值越大，说明回归平 方和在总平方和中所占的比重越大，剩余平方和所占 比例越小，回归效果越好。
partial
regression
coefficient）。标准偏回归系数
b
' i
与
注 意
偏回归系数之间的关系为：
b
' i
=
bi
lii l yy
= bi
si sy
标准偏回归系数绝对值的大小，可用以衡量自变量对
因变量贡献的大小，即说明各自变量在多元回归方程
中的重要性。
数学建模__多元线性回归分析
0 R 2 1 ， 说 明 自 变 量 X 1 , X 2 , , X
m
能够
解 释Y 变 化 的 百 分 比 ， 其 值 愈 接 近 于 1， 说 明 模型对数据的拟合程度愈好。本例
133 . 7107 R 0 . 6008 222 . 5519
2
表 明 血 糖 含 量 变 异 的 60% 可 由 总 胆 固 醇 、 甘油 三脂、胰岛素和糖化血红蛋白的变化来解释。
Y X X X e 0 1 1 2 2 m m
Éɱ í ÉÉÉÉɱ ÉÉ Y ÉÉÉ ü Éɱ í ÉÉ× É± ÉÉ
X1 , X 2 ,, X m ÉÉÉÉÉÉ
é ÉÉɱ í É É ÉÉ ü × É 0 ÉÉÉÉÉ 1 , 2 ,, m ÉÉÉÉ ± Éɱ ÉÉɱ ÉÉ ±É X j ÉÉÉ ò ÉÉÉÉÉÉÉ ± Y ÉÉÉ ù ± É ÉÉÉ e ÉÉÉ m É× É± ÉÉÉ Y É °É ì É ó ÉÉÉ ú É ó É É ¨ÉÉÉ É
甘油三脂 (mmol/L) X2
1.90 1.64 3.56 1.07 2.32 0.64 8.50 3.00 2.11 0.63 1.97 1.97 1.93 1.18 2.06 1.78 2.40 3.67 1.03 1.71 3.36 1.13 6.21 7.92 10.89 0.92 1.20
糖化血 红蛋白(%) X4
8.2 6.9 10.8 8.3 7.5 13.6 8.5 11.5 7.9 7.1 8.7 7.8 9.9 6.9 10.5 8.0 10.3 7.1 8.9 9.9 8.0 11.3 12.3 9.8 10.5 6.4 9.6
血糖 (mmol/L) Y
m
能够
解 释Y 变 化 的 百 分 比 ， 其 值 愈 接 近 于 1， 说 明 模型对数据的拟合程度愈好。本例
133 . 7107 R 0 . 6008 222 . 5519
2
表 明 血 糖 含 量 变 异 的 60% 可 由 总 胆 固 醇 、 甘油 三脂、胰岛素和糖化血红蛋白的变化来解释。
Y X X X e 0 1 1 2 2 m m
Éɱ í ÉÉÉÉɱ ÉÉ Y ÉÉÉ ü Éɱ í ÉÉ× É± ÉÉ
X1 , X 2 ,, X m ÉÉÉÉÉÉ
é ÉÉɱ í É É ÉÉ ü × É 0 ÉÉÉÉÉ 1 , 2 ,, m ÉÉÉÉ ± Éɱ ÉÉɱ ÉÉ ±É X j ÉÉÉ ò ÉÉÉÉÉÉÉ ± Y ÉÉÉ ù ± É ÉÉÉ e ÉÉÉ m É× É± ÉÉÉ Y É °É ì É ó ÉÉÉ ú É ó É É ¨ÉÉÉ É
甘油三脂 (mmol/L) X2
1.90 1.64 3.56 1.07 2.32 0.64 8.50 3.00 2.11 0.63 1.97 1.97 1.93 1.18 2.06 1.78 2.40 3.67 1.03 1.71 3.36 1.13 6.21 7.92 10.89 0.92 1.20
糖化血 红蛋白(%) X4
8.2 6.9 10.8 8.3 7.5 13.6 8.5 11.5 7.9 7.1 8.7 7.8 9.9 6.9 10.5 8.0 10.3 7.1 8.9 9.9 8.0 11.3 12.3 9.8 10.5 6.4 9.6
血糖 (mmol/L) Y
计量经济学(2012B)(第二章多元线性回归)详解
2 2i
n
n
2 i
i ( yi ˆ1x1i ˆ2 x2i )
i 1
i 1
n
i yi
n
(
y
ˆ x
ˆ x
) y
i1
i
1 1i
2 2i
i
i 1
n
y 2
(ˆ
n
x
y
ˆ
n
x
y )
i1
i
1 i1 1i i
2 i1 2 i i
TSS ESS
2.5 单个回归参数的置信区间 与显著性检验
一、置信区间
H (4)
的拒绝域为：
0
F F (2, n 3)
(5) 推断：若
F F (2, n 3)
，则拒绝 H ， 0
认为回归参数整体显著；
H 若 F F (2, n 3)
，则接受
，
0
认为回归参数整体上不显著。
回归结果的综合表示
yˆi 0.0905 0.426x1i 0.0084x2i
Sˆj : 或 t:
模型的估计效果. (5) 拟合优度与F 检验中的 F 统计量的关系是什么?这两个
量在评价二元线性回归模型的估计效果上有何区别? (6) 试比较一元线性回归与二元线性回归的回归误差,哪
个拟合的效果更好?
应用：
（1）预测当累计饲料投入为 20磅时，鸡的平均
重量是多少？ yˆ 5.2415 f
（磅）
（2）对于二元线性回归方程，求饲料投入的边际生产率？
(0.1527) (0.0439)
(0.5928) (9.6989)
(0.0027) (3.1550)
R2 0.9855, R2 0.9831 ， F 408.9551
第二节多元线性回归
第二节 多元线性回归在许多实际问题中， 常常会遇到要研究一个随机变量与多个变量之间的相关关系，例如，某种产品的销售额不仅受到投入的广告费用的影响，通常还与产品的价格、消费者的收入状况以及其它可替代产品的价格等诸多因素有关系. 研究这种一个随机变量同其他多个变量之间的关系的主要方法是运用多元回归分析. 多元线性回归分析是一元线性回归分析的自然推广形式，两者在参数估计、显著性检验等方面非常相似. 本节只简单介绍多元线性回归的数学模型及其最小二乘估计.一、多元线性回归模型设影响因变量Y 的自变量个数为P ，并分别记为,21,,,p x x x 所谓多元线性模型是指这些自变量对Y 的影响是线性的，即p p x x x Y 22110，),0(~2 N其中p ,,,,210 ，2 是与p x x x ,,,21 无关的未知参数，称Y 为对自变量,21,,,p x x x 的线性回归函数.记n 组样本分别是),,,,(21i ip i i y x x x ),,2,1(n i ，则有n np p n n n p p p p x x x y x x x y x x x y 2211022222211021112211101, 其中n ,,,21 相互独立，且),0(~2 N i ，n i ,,2,1 ，这个模型称为多元线性回归的数学模型. 令Y =n y y y21, X =np n n p p x x x x x x x x x212222*********,p 10,n 21 则上述数学模型可用矩阵形式表示为 X Y其中 是n 维随机向量，它的分量相互独立。
X 称为设计矩阵或资料矩阵。
二、多元线性回归模型的基本假定1.解释变量是确定性的变量，不是随机变量，设计矩阵中要求列向量不能有密切的线性相关性，也称为多重共线性；2. 随机误差项具有0均值和同方差，且随机误差项相互独立，即：j i j i n i E j i i 0),cov(,2,10)(2 3.正态分布条件： 2(0,)N I :，其中I 表示单位矩阵。
多元线性回归模型(2)
方程表示：各变量X值固定时Y的平均响应。
j也被称为偏回归系数，表示在其他解释变量保持不变
的情况下，Xj每变化1个单位时，Y的均值E(Y)的变化;
或者说j给出了Xj的单位变化对Y均值的“直接”或“净”
（不含其他变量）影响。
1、多元线性回归模型
总体回归模型n个随机方程的矩阵表达式为
Y X β μ
其中
解 该 （ k + 1 ） 个 方 程 组 成 的 线 性 代 数 方 程 组 ， 即 可 得 到
( k + 1 ) 个 待 估 参 数 的 估 计 值 j,j 0 ,1 ,2 , ,k。
1、参数的最小二乘估计
正规方程组的矩阵形式
n X 1 i
X k i
X X X kX 1 1 2 i ii1 i X X X 1 iX k k 2ki i i ˆ ˆ ˆk 1 0 X X 1 1 k 11X X 1 1 k 22 X X 1 1 k n n Y Y Y 1 n 2
所谓“最小样本容量”，即从最小二乘原理和 最大或然原理出发，欲得到参数估计量，不管其 质量如何，所要求的样本容量的下限。
样本最小容量必须不少于模型中解释变量的 数目（包括常数项）,即
n k+1 因为，无多重共线性要求：R(X)=k+1
5、样本容量问题
(2)满足基本要求的样本容量
从统计检验的角度： n30 时，Z检验才能应用；
于是得到关于待估参数估计值的正规方程组：
((ˆˆ 00( ˆ0ˆˆ1 1X X1ˆ1i1i X 1ˆiˆ2 2iX X ˆ2 22iiX 2 i ˆˆ kkX X ˆkkkii))XX Xk12i)ii Y Y YiiiX X12ii
(ˆ0ˆ1X1i ˆ2X2i ˆkXki)XkiYiXki
j也被称为偏回归系数，表示在其他解释变量保持不变
的情况下，Xj每变化1个单位时，Y的均值E(Y)的变化;
或者说j给出了Xj的单位变化对Y均值的“直接”或“净”
（不含其他变量）影响。
1、多元线性回归模型
总体回归模型n个随机方程的矩阵表达式为
Y X β μ
其中
解 该 （ k + 1 ） 个 方 程 组 成 的 线 性 代 数 方 程 组 ， 即 可 得 到
( k + 1 ) 个 待 估 参 数 的 估 计 值 j,j 0 ,1 ,2 , ,k。
1、参数的最小二乘估计
正规方程组的矩阵形式
n X 1 i
X k i
X X X kX 1 1 2 i ii1 i X X X 1 iX k k 2ki i i ˆ ˆ ˆk 1 0 X X 1 1 k 11X X 1 1 k 22 X X 1 1 k n n Y Y Y 1 n 2
所谓“最小样本容量”，即从最小二乘原理和 最大或然原理出发，欲得到参数估计量，不管其 质量如何，所要求的样本容量的下限。
样本最小容量必须不少于模型中解释变量的 数目（包括常数项）,即
n k+1 因为，无多重共线性要求：R(X)=k+1
5、样本容量问题
(2)满足基本要求的样本容量
从统计检验的角度： n30 时，Z检验才能应用；
于是得到关于待估参数估计值的正规方程组：
((ˆˆ 00( ˆ0ˆˆ1 1X X1ˆ1i1i X 1ˆiˆ2 2iX X ˆ2 22iiX 2 i ˆˆ kkX X ˆkkkii))XX Xk12i)ii Y Y YiiiX X12ii
(ˆ0ˆ1X1i ˆ2X2i ˆkXki)XkiYiXki
多元线性回归分析课件
注意：似然函数取对数是一个单调变换，不会影响参 数估计值的最优解。
42
极大似然估计的优化一阶条件：
结论： 回归系数的ML估计量与OLS估计量完全等价。 在有限样本下是有偏的，大样本下具有一致性。
43
二、参数约束的似然比检验
例子：柯布－道格拉斯生产函数
无约束方程： 受约束方程：
待检验假设：
无约束方程进行 ML估计，得到极大对数似然函数值：
回忆：P值是检验结论犯第一类“弃真”错误的概率。 P值非常小的含义是什么呢？
17
二、随机误差项方差的估计
的无偏估计量可以表述为：
自由度为什么是N-(K+1)？ 多元回归模型的OLS估计中，我们基于正规方程 组中的K+1个约束估计了K+1个回归系数，所以损失 了K+1个自由度，独立的观测信息只剩下N-(K+1)个。
34
3 ：参数的线性约束检验： F检验一般形式
对于多元线性回归模型：
参数的多个约束：
待检验假设：
原假设中至少有一个约束条件不成立。
35
检验统计量
基于 和 有
，在原假设成立的情况下，
如果原假设为真，我们会倾向于得到较小的F值。
反之，我们会倾向于得到较大的F值。
判定：若F值大于临界值，或p值小于显著性水平， 则拒绝原假设。
36
4 ：经济关系的结构稳定性检验： F检验的一 个例子——邹检验
n 例：中国宏观生产函数在1992年前后是否不同？ 无约束回归：参数可以不同
1978~1992年： 1993~2006年：
受约束回归：参数不变 1978~2006年：
37
待检验假设：
： 原假设中约束条件至少有一个不成立。
42
极大似然估计的优化一阶条件：
结论： 回归系数的ML估计量与OLS估计量完全等价。 在有限样本下是有偏的，大样本下具有一致性。
43
二、参数约束的似然比检验
例子：柯布－道格拉斯生产函数
无约束方程： 受约束方程：
待检验假设：
无约束方程进行 ML估计，得到极大对数似然函数值：
回忆：P值是检验结论犯第一类“弃真”错误的概率。 P值非常小的含义是什么呢？
17
二、随机误差项方差的估计
的无偏估计量可以表述为：
自由度为什么是N-(K+1)？ 多元回归模型的OLS估计中，我们基于正规方程 组中的K+1个约束估计了K+1个回归系数，所以损失 了K+1个自由度，独立的观测信息只剩下N-(K+1)个。
34
3 ：参数的线性约束检验： F检验一般形式
对于多元线性回归模型：
参数的多个约束：
待检验假设：
原假设中至少有一个约束条件不成立。
35
检验统计量
基于 和 有
，在原假设成立的情况下，
如果原假设为真，我们会倾向于得到较小的F值。
反之，我们会倾向于得到较大的F值。
判定：若F值大于临界值，或p值小于显著性水平， 则拒绝原假设。
36
4 ：经济关系的结构稳定性检验： F检验的一 个例子——邹检验
n 例：中国宏观生产函数在1992年前后是否不同？ 无约束回归：参数可以不同
1978~1992年： 1993~2006年：
受约束回归：参数不变 1978~2006年：
37
待检验假设：
： 原假设中约束条件至少有一个不成立。
4第三章多元线性回归模型分析(二)PPT课件
ˆ
2
1 n
n
ei2
i1
这个估计量表面上好象是 2 的一个十分自然的估计量，
但是需要注意到，最小二乘残差并不是母体残差完整的
估计量，这是因为 ei yi xib i xi (b ) ，由于 是未知的，
因此这个估计量可能被扭曲了。
▪ 这说明，所猜想的方差估计量不行，而要寻 找2的无偏估计。
现在假设矩阵 D C (XX)1 X ，则有： Dy b0 b ，因此：
Var[ b0 | X] 2[(D (XX)1 X)][( D (XX)1 X)]
因为 CX I [D (XX)1 X]X ，则有： DX 0 ，因此有：
Var[ b0 | X] 2 (XX) 1 2 DD
其中：
tr(M) tr[In X(XX)1 X] tr(In ) tr[X(XX)1 X] n tr[XX(XX)1] n K
因此，
E[ee | X] (n K) 2
由此可知，上述猜想的方差的“自然估计”ˆ 2 是一个有偏估计，
虽然其偏异随着样本容量增加趋于零。根据上述期望的计算， 可以得到方差参数的无偏估计为：
量未解释的那部分离差的大小。
定理 残差平方和分解定理 对于包含常数项的线性回归模型而言，下述平方和分解公式成立：
SST SSR SSE
这说明整个“离差平方和”等于“回归平方和”加上“残差平方和”。
证明：根据矩阵 M0 的定义，则有： SST (M0y)(M0y) yM0y 其中 y Xb e ，代入得到：
假设X中包含常数项(所有列都是1)和一个回归变量x，
1
则
X
1 1
x1
x2
xn
n2
X X
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
回归方程的方差分析表
MS
F
5
0.21581
7.32
14
0.02950
19
偏回归系数估计结果
3.标准化回归系数
有时需要比较各自变量的相对作用大小，由于回归系数受变量度量衡和各自变异程度 的影响，不能直接比较。为此，可以对回归系数进行标准化处理，消除度量衡和变异 度的影响，计算标准化回归系数(standardized regression coefficient)，反映各自变量对 因变量的影响程度。计算公式为
13 59 25.19 6.0 158 80 7.3
4 66 24.26 4.8 157 87 7.2
14 76 27.26 5.4 124 85 6.9
…
…
医学统计学（第7版）
变异来源 回归 残差 总变异
SS 1.07906 0.41294 1.49200
自变量 常数项
回归系数
3.87598
-0.00153 0.03192 0.10834 0.00850 0.01058
对回归方程的预测或解释能力作出综合评价（决定系数，校正决定系数）；
在此基础上进一步对各个自变量的重要性作出评价（偏回归平方和、t 检验、标准化
回归系数）。
（一）回归方程的假设检验及评价 1.方差分析法
SS总 =
(Y - Y )2
Y 2 ( Y )2 n
SS回归= (Yˆ Y )2 bjl jY SS残差= (Y Yˆ)2 SS总 SS回归
了解 多元线性回归的主要应用及其注意事项。
第一节
多元线性回归
医学统计学（第4版）
问题提出
多元线性回归（multiple linear regression analysis）：研究一个因变量与多个自变量之间 线性依存关系的统计方法。
X1
…
Y
e
例如：
Xm
儿童的身高与年龄、性别；
肺活量与年龄、性别、身高、体重、胸围的呼吸差；
1.64
3 6.02
3.56
4 4.85
1.07
5 4.60
2.32
6 6.05
0.64
7 4.90
8.50
胰岛素 (μU/ml)
X3 4.53 7.32 6.95 5.88 4.05 1.42 12.60
糖化血
血糖
红蛋白(%) (mmol/L)
X4
Y
8.2
11.2
6.9
8.8
10.8
12.3
8.3
偏回归平方和的检验步骤－结论
F0.05,1,22=4.30
F1<F0.05,1,22
P1>0.05
F2<F0.05,1,22
P2>0.05
结论：按
水准，不能拒绝总胆固醇（X1）和甘油三酯（X2）的H0，不能认为
这两个因素与血糖有回归关系。
F3>F0.05,1,22
P3<0.05
表15-6 例15-1的所有回归方程的 和Cp值
方程中的自变 量
X2，X3，X4
X1，X2，X3， X4 X1，X3，X4
X1，X2，X4
X1，X4
X2，X4
X3，X4
X1，X2，X3
0.546 0.528
0.488 0.447 0.441 0.440 0.435 0.408
Cp
方程中的自变 量
Cp
F4<F0.05,1,22
P4<0.05
结论：按
水准，拒绝胰岛素（X3）和糖化血红蛋白（X4）的H0，接受H1，
可以认为两者和血糖有回归关系，糖化血红蛋白的回归贡献更大（偏回归平方和越大，
回归贡献越大）。
t 检验法
tb j
bj Sb j
j 0
xj
t t j
/ 2,(nm1)
SPSS结果显示－方差分析
按 0.05水准, 拒绝H0 , 接受H1,认为应变量Y与4个自变量之间存在线性回归关系。
2. 决定系数R2
R2 SS回归 SS总
0 R2 1
说明自变量能够解释Y变化的百分比。其值越接近于1，说明模型对数据的拟和效果越好。
3. 复相关系数(multiple correlation coefficient)
2. . 逐步选择法—后退法（backward selection）
先建立一个包含所有自变量的回归方程，然后对偏回归平方和最小的变量作 F 检验，如果不显著 则剔除回归方程；重复上述过程直到不能剔除时为止。局限性：自变量高度相关时，可能得不出 正确的结果。
3. 逐步选择法—逐步回归法（stepwise selection）
X2
X3
X4
X5
Y
编号 X1 X2 X3 X4 X5
Y
1 49 32.19 6.0 148 86 7.6
11 53 23.43 7.1 161 86 7.5
2 67 24.77 2.7 151 98 7.4
12 46 30.56 2.9 146 79 7.3
3 64 25.24 7.0 151 80 7.4
全局择优法－ Cp选择法
计算公式：
(SS残差)p是由p(p≤m)个自变量做回归时的误差平方和， (MS残差)m是包含全部m个
自变量的回归模型中得到的残差均方。 选择方程时应选择 Cp值最接近 p+1 的回归方程为最优方程。 注意：当 p=m 时，必有 Cm=m+1，所有这种情况不应在选择的范围内。
0.6129(X1) 11.9627(X2) 20.0635(X3) 27.7939(X4)
x j 的偏回归平方和检验
H0 : j 0 H 1: j 0 0.05
Fj
ss回（X j ) /1 ss残 （/ n m 1)
偏回归平方和的检验步骤－计算检验统计量
F F j ,(m,nm1) ，Y 与x j有线性关系。
例15-1 227名糖尿病人的血清总胆固醇、甘油三脂、空腹胰岛素、糖化血红蛋白、空腹 血糖的测量值列于表15-2中，试建立血糖与其它几项指标关系的多元线性回归方程。
27名糖尿病人的血糖及有关变量的测量结果
序号i
总胆固醇 甘油三脂
（mmol/L） (mmol/L)
X1 1 5.68
X2 1.90
2 3.79
“最优”回归方程
结果表明：血糖的变化与甘油三酯、胰岛素和糖化血红蛋白有线性关系。其中甘 油三酯和糖化血红蛋白的升高可引起血糖升高，而胰岛素升高则引起血糖下降。
从标准化回归系数来看，糖化血红蛋白对血糖的影响最大。
医学统计学（第7版）
补充练习
20例糖尿病患者的数据资料
编号 X1
全局择优法：校正决定系数选择法、Cp选择法 逐步选择法：前进法、后退法、逐步回归法
全局择优法－校正决定系数选择法
自变量个数越多，未校正的决定系数越大。 校正决定系数克服了自变量个数的影响，能更好的比较不同自变量对应变量的作用。 计算公式：
所谓“最优”回归方程是指校正的决定系数最大者。
11.6
7.5
13.4
13.6
18.3
8.5
11.1
例15-1 SPSS演示
选择因变量 选择自变量
选择变量筛选 方法
回归系数95% 可信区间
SPSS结果显示－模型描述
SPSS结果显示－方差分析
SPSS结果显示－回归系数
b1=0.1424, b2=0.3515, b3=-0.2706, b4=0.6382，b0=5.9433
第二节
自变量的选择方法
说明
多元线性回归分析中，当自变量较多时,可能并不是所有自变量都对因变量有显著影响， 同时有些自变量之间可能相关，存在信息重叠和共线的问题。通常情况下，更希望将有 统计学意义的自变量引入回归方程，以使方程更为简单，容易解释。更重要的是，把不 显著的自变量排除后可以使回归方程的残差均方减小，有利于揭示其他自变量的作用
回=m ，残=n m 1
1=1， 2 =5 1=3， 2 =5 1=3， 2 =20
图示 不同自由度的F分布的概率密度曲线
原理：方差分析法可以将回归方程中的所有变量作为一个整体来检验它们和应变量之间是 否具有线性关系。
建立检验假设：
H 0 : j全为0 H 1: j不全为0 0.05
b'j
bj
Sj SY
X' (X X)/ S
数据标准化得到的回归方程成为标准化回归方程，相应的回归系数即为标准化回归系数。 意义：用来比较各自变量对Y的影响强度，通常在有统计学意义前提之下，标准化回归系 数的绝对值越大说明相应自变量对 Y 的作用越大。
结果：对血糖影响大小的顺序依次为血红蛋白（X4）、胰岛素（X3）、甘油三酯 （X2）和总胆固醇（X1）。
R R2
0 R 1
•可以用来度量应变量Y 和多个自变量之间的线性相关程度。如果只有一个自变量时，R r
（二）偏回归系数检验 方差分析-F 检验（偏回归平方和）
Fj
SS回 SS回( j) SS残 (n m 1)
，1 1 ， 2
n m1
表15-5 例15-1数据回归分析的部分中间结果
第二讲
多元线性回归分析
作者 : 丁海龙
单位 : 中国医科大学
目录
第一节 多元线性回归 第二节 自变量选择方法 第三节 多元线性回归的应用及其注意事项
重点难点
掌握 多元线性回归模型的表达以及应用条件，能够对统计软件给 出的结果分析变量的作用。