21-多重线性回归

(1)回归方程的检验有统计学意义，而各偏回归系数
的检验均无统计学意义。 (2)偏回归系数的估计值大小或其符号与实际情况和
专业知识相违背，难以解释。
45
三、分析步骤
• 2.6 共线性诊断
多重线性回归分析中，可能会出现以下问题：
(3) 某个（些）与因变量关系密切的自变量，因为参
数标准误的估计值较大，相应t值就会变得较小， 造成其偏回归系数无统计学意义。
48
三、分析步骤
• 2.6 共线性诊断
多重共线性的分类：
(1)严重的多重共线性
此时，自变量之间存在着较高甚至完全的线 性相关关系，虽然最小二乘法仍可应用，但由于 观测误差的稳定性变差，所得的估计值可能面目 全非。这类情况较为少见。
49
三、分析步骤
• 2.6 共线性诊断
• 2. 具体步骤
• 2.3 参数检验
第三步，确定P值。
根据自由度和临界水平，查t分布表，可得双 侧界值为ta/2(n-k-1)。
20
三、分析步骤
• 2. 具体步骤
• 2.3 参数检验
若t > ta/2(n-k-1)或t <- ta/2(n-k-1)，则P<a。此
时，拒绝H0，接受H1，认为该回归系数不等于0。 反之，则接受H0，认为该回归系数为0。
选择时， 一要尽可能地不漏掉重要的自变量； 二要尽可能地减少自变量的个数，保持模型 的精简。
23
三、分析步骤
• 2. 具体步骤
• 2.4 变量筛选
常用的变量筛选方法有以下8种：
前进法 逐步回归法 最小R2增量法 修正R2选择法 后退法 最大R2增量法 R2选择法 Mallow’s Cp选择法
24
三、分析步骤
• 2.5.2 校正决定系数(Rc2)
故在评价两个包含不同个数自变量的回归模
型的拟合效果时，不能简单地用决定系数作为评 价标准。 此时，必须考虑回归模型中自变量个数的影 响。
41
三、分析步骤
• 2.5 模型拟合效果评价
• 2.5.2 校正决定系数(Rc2)
构造校正决定系数，其公式为：
MS误差 n 1 2 R =1 1 1 R MS总 n p 1
ˆ Y b0 + b1 X1 + b2 X 2 + + bk X k
ˆ Y 表示Y的估计值
10
三、分析步骤
• 2. 具体步骤
• 2.2 模型检验
根据方差分析的思想，将总的离均差平方和
SS总分解为回归平方和SS回和残差平方和SS残两部 分。 SS总的自由度为n-1， SS回的自由度为k，SS残 的自由度为n-k-1。
为止。
29
三、分析步骤
• 2.4.2 后退法
局限性：
排除标准大时，任何一个自变量都不能被剔
除； 排除标准小时，开始被剔除的自变量后来在 新条件下即使变得对因变量有较大的贡献了，也 不能再次被选入回归方程并参与检验。
30
三、分析步骤
• 2.4.3 逐步回归法(STEPWISE)
此法是前进法和后退法的结合。
义；
其二，回归方程中各回归参数的估计值的假 设检验结果都有统计学意义； 其三，回归方程中各回归参数的估计值的正 负号与其后的变量在专业上的含义相吻合；
36
三、分析步骤
• 2.4.5 变量筛选方法的选择
其四，根据回归方程计算出因变量的所有
预测值在专业上都有意义。
其五，若有多个较好的多重线性回归方程 时，残差平方和较小且多重线性回归方程中所 含的自变量的个数又较少者为最佳。
回归方程中的变量从无到有像前进法那样，
根据F统计量和P值大小按纳入标准水平决定该自 变量是否入选。
31
三、分析步骤
• 2.4.3 逐步回归法(STEPWISE)
当回归方程选入自变量后，又像后退法那样，
根据F统计量和P值按排除标准水平剔除无统计学
意义的各自变量，依次类推。
这样直到没有自变量可入选，也没有自变量
2 C
其中，n为样本含量，p为模型中自变量个数。 决定系数相同时，自变量个数越多， Rc2越小。
42
三、分析步骤
• 2.5 模型拟合效果评价
• 2.5.3 剩余标准差s
即残差之标准差，计算公式为：
SS残 s n k 1
剩余标准差越小，说明回归模型的拟合效果越好。
43
三、分析步骤
• 2.5 模型拟合效果评价
34
三、分析步骤
• 2.4.5 变量筛选方法的选择
究竟哪一种筛选变量的方法最好？这个问题
没有绝对的定论。
一般来说，逐步回归法和最优回归子集法较 好。对于一个给定的资料，可试用多种变量筛选 的方法，结合以下几条判断原则，从中选择最佳
者。
35
三、分析步骤
• 2.4.5 变量筛选方法的选择
其一，拟合的回归方程在整体上有统计学意
11
三、分析步骤
• 2. 具体步骤
• 2.2 模型检验
SS总 y y ˆ SS回 y y
2
2
ˆ SS残 y y
2
12
三、分析步骤
• 2. 具体步骤
• 2.2 模型检验
模型的显著性检验步骤为：
第一步，建立检验假设。 H0：b1=b2= … =bk=0 H1: b1, b2, …, bk不同时为0
8
三、分析步骤
• 1. 基本任务
求出模型中参数的估计值，对模型和参数进
行假设检验；
对自变量进行共线性诊断，对观测值进行异 常点诊断； 结合统计学知识和专业知识，对回归方程进 行合理的解释，并加以应用。
9
三、分析步骤
• 2. 具体步骤
• 2.1 回归参数估计
多重线性回归分析的参数估计，常采用最小
二乘法(OLS)进行。该方法使残差平方和达到最 小，从而得出模型参数估计值
17
三、分析步骤
• 2. 具体步骤
• 2.3 参数检验
对自变量Xi的系数是否为0进行假设检验，
步骤为： 第一步，建立检验假设。 H0：bi=0 H1: bi≠0
18
三、分析步骤
• 2. 具体步骤
• 2.3 参数检验
第二步，计算检验统计量。
bi t S bi
v n k 1
19
三、分析步骤
46
三、分析步骤
• 2.6 共线性诊断
导致这些问题的原因可能有：
(1)研究设计不够合理； (2)资料收集存在问题；
(3)自变量间近似线性； (4)数据中存在异常点；
(5)样本少而自变量多。
47
三、分析步骤
• 2.6 共线性诊断
何谓多重共线性？
自变量间的近似线性关系，即是多重共线性。
由于数据自身的特征，回归模型中的自变量 之间或多或少地存在一些相关性，这违反了自变 量间相互独立的假设条件，称为多重共线性。
37
三、分析步骤
• 2.5 模型拟合效果评价
• 2.5.1 决定系数(R2)
即复相关系数的平方，其值等于因变量观测
值与预测值之间简单相关系数的平方。计算公式 为：
SS残 SS回 R 1 SS总 SS总
2
38
三、分析步骤
• 2.5 模型拟合效果评价
• 2.5.1 决定系数(R2)
R2取值介于0到1之间，其含义为自变量能够
27
三、分析步骤
• 2.4.2 后退法(BACKWARD)
从模型中包含全部自变量开始，计算留在回
归方程中的各个自变量所产生的F统计量和P值，
当P值小于排除标准(规定的从方程中剔除变量的
临界水准)则将此变量保留在方程中。
28
三、分析步骤
• 2.4.2 后退法
否则，从最大的P值所对应的自变量开始逐
一剔除，直到回归方程中没有变量可以被剔除时
21
三、分析步骤
• 2. 具体步骤
• 2.4 变量筛选
由例1的分析结果可知，不是所有的自变量对
因变量的作用都有统计学意义。 故需要找到一个较好的回归方程，使之满足： 方程内的自变量对回归都有统计学意义，方程外 的自变量对回归都无统计学意义。
22
三、分析步骤
• 2. 具体步骤
• 2.4 变量筛选
这就是自变量的选择问题，或称为变量筛选。
表1 进行多重线性回归分析资料的数据结构 编号 1 2 ： X1 X11 X21 ： X2 X12 X22 ： … … … Xk X1k X2k ： Y Y1 Y2 ：
n
Xn1
Xn2
…
Xnk
Yn
3
二、基本原理
• 2.1 原理简介
多重线性回归模型：
Y=b0+b1X1+b2X2+…+bkXk+e
其中，bj (j=0, 1 , 2 … , k)为未知参数，e为随机 误差项。
6
二、基本原理
• 2.2 前提条件
多重线性回归分析要求资料满足线性(Linear)、
独立性(Independence)、正态性(Normality)和方
差齐性(Equal variance) 。
除此之外，还要求多个自变量之间相关性不 要太强。
7
二、基本原理
• 2.2 前提条件
线性——指自变量与因变量之间的关系是线性的 独立性——指各观测值之间是相互独立的 正态性——指自变量取不同值时，因变量服从正 态分布 方差齐性——指自变量取不同值时，因变量的方 差相等
多重线性回归分析
医学统计学教研室
柳伟伟
一、方法简介
• 1.2 概念
用回归方程定量地刻画一个因变量与多个自