第十二讲多重线性回归资料

8
七、决定系数
R2＝SS回 /SS总 校正决定系数是衡量方 程好坏的常用指标之一
八、标准化偏回归系数
Ra2d
1
MS剩 MS总
bi bi lii / lYY
9
九、残差分析
残差 ei Yi Yˆi ，标准化残差 ei
ei MS残差
。通常以标准化残差为纵坐标，以Yˆi
为横
坐标作残差图进行分析。残差分析可以用于评价回归模型和验证资料是否满足多重线性
4
三、多重线性回归分析的步骤
1.估计参数，建立多重线性回归模型。 根据样本提供的数据资料，采用最小二乘法原理求得多重线性回归模型参数 0 ，1 ， 2 ，…，m 的估计值，即求得 b0 ，b1 ，b2 ，…，bm ，从而得到Yˆ b0 b1X1 b2X2 .... bmXm 多重线性回归模型。 2.对整个模型进行假设检验，模型有统计学意义的前提下，再对各偏回归系数进行 假设检验。对求得的多重线性回归方程及各自变量进行假设检验，检验自变量 X1， X 2 ，…， X m 与应变量Y 之间是否存在线性关系。 3.计算相应指标，评价回归模型的拟合效果。 4.残差分析。 5.自变量的选择。 6.回归诊断与评价。
14
十二、自变量间交互作用的分析
将自变量的交互项引入方程进行检验分析。
【例17-1】 大白鼠作受试对象，分析乌头碱不 同注射速度x1、常咯啉的不同剂量x2，大鼠体重 x3 与应变量延缓心律失常发生的时间Y的关系。
编号 X1 X2 X3 Y
1
2
3
4
5
6
78Biblioteka 91011
12
13
14
15
4.8
5.6
7.1
中医药统计学与软件应用
曹治清
成都中医药大学管理学院 数学与统计教研室 czq9771@
第10讲 非参数检验
概述 多重线性回归的应用以及注意事项 多重线性回归的电脑实验
2
第11讲 多重线性回归—引言
在医药研究中，应变量的变化往往受到多个因 素的影响，此时就需要用多重线性回归 （Multiple Linear Regression），多重线性回归 是直线回归的扩展。例如，人的体重与身高、 胸围有关；人的心率与年龄、体重、肺活量有 关。因此，采用两个或多个影响因素作为自变 量(Xi)来解释应变量(Y)的变化，建立最优组合模 型来预测或估计因变量，比只用一个自变量进 行预测或估计更有效，更符合实际。
回归条件等。
10
从上到下从左到右依次编号为①-⑧：①散点均匀分布在以 0 为中心，与横轴平行 的带状区域内，可以认为基本满足线性和方差齐性的假定条件；②③散点呈现曲线趋势， 提示资料不满足线性的假设；④⑤⑥散点随预测值的变化而变化，提示资料不满足方差 齐性的假定；⑦⑧散点随预测值的变化而变化且呈曲线趋势，提示资料不满足方差齐性 的假定。
5
四、多重共线性问题
如果一些自变量之间存在较强的线性关系，称 多重共线性。判断多重共线有相关系数、容忍度、 方差膨胀因子等指标。
一般来说，相关系数r>0.8的变量可能存在共线 问题，r>0.9的变量存在共线。
容忍度=1－R2，愈小说明共线问题愈严重，如 果某个自变量的容忍度<0.1，共线问题严重。
4.9
2.6
6.6
5.2
5.5
4.7
6.8
5.4
2.9
4.0
3.1
3.1
0.08 0.07 0.01 0.07 0.11 0.11 0.07 0.11 0.03 0.01 0.02 0.21 0.01 0.11 0.10
方差膨胀因子 = 容忍度的倒数，愈大说明共线 问题愈严重。
消除多重共线性的方法有多种，如岭回归、主 成分回归等。
6
五、多重回归的样本含量
只要例数n多于自变量个数m即可，一般要求n 为m的5倍以上。 六、多重回归的检验
多元线性回归方程的假设检验：①对整个方程 的综合检验，即对回归方程的线性假设检验；②对 每一个自变量的检验，即对每个偏回归系数的假设 检验。
（2）同时调整多个混杂因素的作用（类似多元 协方差分析调整多个混杂因素的作用）。
（3）估计与预测，用较易测量的多个自变量来 估计难以测得应变量总体均数μY或预测个体Y值。
（4）多重回归分析是进一步学习logistic回归、 判别分析、 主成分分析、 因子分析等多元统计分析 方法的基础。
十一、筛选自变量方法
7
⑴ 回归方程的方差分析
F MS回 SS回 / m (n m 1) SS回
MS剩 SS剩 /(n m 1)
m SS剩
剩余标准差
sY 12 m
SS剩 n m 1
剩余标准差的平方是残差的方差，又称均方误 差，记为MSE，其值越小越好
（2） 偏回归系数的假设检验
分别考察每一个自变量 xi 与应变量 Y 是否都有 直线回归关系
11
资料不满足其条件时，常用的处理方法有：修 改模型或者采用曲线拟合；变量变换，常用的 变量变换有对数变换、平方根变换、倒数变换 等。变量变换对自变量或（和）应变量均适宜； 如果方差不齐，可采用加权最小二乘法估计偏 回归系数。
12
十、多元回归分析的应用
（1）分析因素的相对重要性，找出对因变量最 大的关键因素。
13
（1）全局择优法：m 个自变量的不同组合共有 2m-1 种，分别建立回归方程进行比较后择优。择优 的准则有多种，准则不同，筛选的结果可能不同。 如果用最大校正决定系数准则，则挑选校正决定系 数R2a最大者来获得“最优子集”的回归方程。 SPSS为Enter法。
（2）逐步选择法： 备选自变量较多时，全局择 优的计算量非常大， 用逐步回归法选择可减少计算 量。常用逐步（Stepwise）、向前（Forward）、向 后（Backward）法。向后法考虑了自变量的组合作 用，但变量数不能太多。3种逐步回归方法选中的自 变量不一定相同。 逐步回归得到只是局部最优，不 一定是全局最优回归方程。
3
第一节 多重线性回归 一、多重线性回归模型
Y＝β0＋β1X1＋β2X2＋…＋βmXm＋e
Yˆ b0 b1X1 b2 X2 .... bm Xm
二、多重线性回归的基本条件
多重线性回归模型的应用条件同直线回归，即线性 （linearity）、独立性（indepen-dency）、正态性和方差 齐性（normal distribution and equal variance）等条 件，简记LINE。还要注意个自变量间不能存在多重共线性。