十多元线性回归与logistic回归

第十一章 多元线性回归与logistic 回归

一、教学大纲要求

（一）掌握内容

1．多元线性回归分析的概念：多元线性回归、偏回归系数、残差。

2．多元线性回归的分析步骤：多元线性回归中偏回归系数及常数项的求法、多元线性回归的应用。

3．多元线性回归分析中的假设检验：建立假设、计算检验统计量、确定P 值下结论。 4．logistic 回归模型结构：模型结构、发病概率比数、比数比。 5．logistic 回归参数估计方法。

6．logistic 回归筛选自变量：似然比检验统计量的计算公式；筛选自变量的方法。 （二）熟悉内容

常用统计软件（SPSS 及SAS ）多元线性回归分析方法：数据准备、操作步骤与结果输出。

（三）了解内容

标准化偏回归系数的解释意义。

二、教学内容精要

(一) 多元线性回归分析的概念

将直线回归分析方法加以推广，用回归方程定量地刻画一个应变量Y 与多个自变量X 间的线形依存关系，称为多元线形回归（multiple linear regression ），简称多元回归（multiple regression ）

基本形式：

01122?k k

Y b b X b X b X =+++???+ 式中Y ?为各自变量取某定值条件下应变量均数的估计值，1X ，2X ，…，k

X 为自变量，k 为自变量个数，0b 为回归方程常数项，也称为截距，其意义同直线回归，1b ，2b ，…, k b 称为偏回归系数（partial regression coefficient ），j b 表示在除j X 以外的自变量固定条件下，j X 每改变一个单位后Y 的平均改变量。

(二) 多元线性回归的分析步骤

Y ?是与一组自变量1X ，2X ，…，k

X 相对应的变量Y 的平均估计值。 多元回归方程中的回归系数1b ，2b ，…, k b 可用最小二乘法求得，也就是求出能使估计

值Y ?和实际观察值Y 的残差平方和22)?(∑∑-=Y Y e i 为最小值的一组回归系数1b ，2b ，…,

k b 值。根据以上要求，用数学方法可以得出求回归系数1b ，2b ，…, k b 的下列正规方程组

（normal equation ）：

??

?

??

??=+++=+++=+++ky kk k k k y

k k y k k l l b l b l b l l b l b l b l l b l b l b 22112222221111122111

式中

()()

()()i j ij ji i i j j i j X X l l X X X X X X n

==--=-

∑∑∑∑

∑∑∑∑-

=--=

n

Y X Y X Y Y X X

l i i i i

iy )

)(())((

常数项0b 可用下式求出：

k k X b X b X b Y b ----= 22110

（三）多元线性回归分析中的假设检验

在算得各回归系数并建立回归方程后，还应对此多元回归方程作假设检验，判断自变量1X ，2X ，…，k X 是否与Y 真有线性依存关系，也就是检验无效假设0H （1230k ββββ===

==）, 备选假设1H 为各j β值不全等于0或全不等于0。

检验时常用统计量F

)

1(--=

=k n l k

l MS MS F 误差回归误差回归 式中n 为个体数，k 为自变量的个数。

式中 ky k y y l b l b l b l +++= 2211回归

回归总误差l l l -=

()∑=-=yy l Y Y l 2

总

(四) logistic 回归模型结构

设k X X X ,,,21 为一组自变量，Y 为应变量。当Y 是阳性反应时，记为Y =1；当Y 是阴性反应时，记为Y =0。用P 表示发生阳性反应的概率；用Q 表示发生阴性反应的概率，显然P +Q =1。

Logistic 回归模型为：

k

k k

k X X X X X X e e P ββββββββ+++++++++=

22110221101

同时可以写成：

k

k X X X e Q ββββ+++++=

2211011

式中0β是常数项；(12)j j k β=，，，是与研究因素j X 有关的参数，称为偏回归系数。 事件发生的概率P 与x β之间呈曲线关系，当x β在()∞∞-，之间变化时， P 或Q 在（0，1）之间变化。

若有n 例观察对象，第i 名观察对象在自变量ik i i X X X ,,,21 作用下的应变量为i Y ，阳性

反应记为i Y =1，否则i Y =0。相应地用i P 表示其发生阳性反应的概率；用i Q 表示其发生阴性反应的概率，仍然有i P +i Q =1。i P 和i Q 的计算如下：

01122011221i i k ik

i i k ik

X X X X X X P i e e ββββββββ++++++++=+

011221

1i i k ik

i X X X Q e ββββ++++=

+

这样，第i 个观察对象的发病概率比数（odds ）为i i Q P ，第l 个观察对象的发病概率比数为l l Q P ，而这两个观察对象的发病概率比数之比值便称为比数比OR （odds ratio ）。对比数

比取自然对数得到关系式：

ln )()()(222111lk ik k l i l i l l i i X X X X X X Q P Q P -++-+-=?

??

?

??βββ 等式左边是比数比的自然对数，等式右边的()lj

ij X X -()k j ，，， 21=是同一因素i

X

的不同

暴露水平ij X 与lj X 之差。j β的流行病学意义是在其它自变量固定不变的情况下，自变量j X 的暴露水平每改变一个测量单位时所引起的比数比的自然对数改变量。或者说，在其他自变量固定不变的情况下，当自变量j X 的水平每增加一个测量单位时所引起的比数比为增加前的j

e

β倍。同多元线性回归一样，在比较暴露因素对反应变量相对贡献的大小时，由于各自变量的取值单位不同，也不能用偏回归系数的大小作比较，而须用标准化偏回归系数来做比较。标准化偏回归系数值的大小，直接反映了其相应的暴露因素对应变量的相对贡献的大小。标准化偏回归系数的计算，可利用有关统计软件在计算机上解决。

（五）logistic 回归参数估计

由于logistic 回归是一种概率模型，通常用最大似然估计法（maximum likelihood estimate ）求解模型中参数j β的估计值(12)j b j k =，，，。

Y 为在k X X X ,,,21 作用下的阳性事件（或疾病）发生的指示变量。其赋值为：

?

??=应个观察对象出现阴性反，第应个观察对象出现阳性反，第i i Y i 01

第i 个观察对象对似然函数的贡献量为：

1i i

Y Y i i i

l P Q -= 当各事件是独立发生时，则n 个观察对象所构成的似然函数L 是每个观察对象的似然函数贡献

量的乘积，即

∏∏==-==n i n

i Y i Y i i i i Q P l L 1

1

1

式中∏为i 从1到n 的连乘积。

依最大似然估计法的原理，使得L 达到最大时的参数值即为所求的参数估计值，计算时通常是将该似然函数取自然对数（称为对数似然函数）后，用Newton —Raphson 迭代算法求

解参数估计值)21(k j b

j

，，， =。

（六）logistic 回归筛选自变量

在logistic 回归中，筛选自变量的方法有似然比检验（likelihood ratiotest ）、计分检验(score test)、Wald 检验(Wald test)三种。其中似然比检验较为常用，

用Λ表示似然比检验统计量，计算公式为：

()

)ln (ln 2ln 2''L L L L -==Λ

式中ln 为自然对数的符号，L 为方程中包含)(k m m <个自变量的似然函数值，'

L 为在方程中包含原m 个自变量的基础上再加入1个新自变量j X 后的似然函数值。在无效假设0H 条件下，

统计量Λ服从自由度为1的2χ分布。当2

)1(αχ≥Λ时，

则在α水平上拒绝无效假设，即认为j X 对回归方程的贡献具有统计学意义，应将j X 引入到回归方程中；否则，不应加入。逆向进行

即可剔除自变量。

三、典型试题分析

（一）单项选择题

1．多元线性回归分析中，反映回归平方和在应变量Y 的总离均差平方和中所占比重的统计量是（ ）。

A ． 复相关系数

B ． 偏相关系数

C ． 偏回归系数

D ． 确定系数 答案：D

[评析] 本题考点：多元线性回归中的几个概念的理解。

多元线性回归中的偏回归系数（multiple linear regression ）表示在其它自变量固定不变的情况下，自变量j X 每改变一个单位时，单独引起应变量Y 的平均改变量。确定系数（coefficient of determination ）表示回归平方和回归SS 占总离均差平方和总SS 的比例，简记为2

R 。即

总回归SS SS R =2。确定系数的平方根即R 称为复相关系数（multiple correlation coefficient ）,

它表示p 个自变量共同对应变量线性相关的密切程度，它不取负值， 即0≤R ≤1。

2．Logistic 回归分析适用于应变量为（ ）。

A ．分类值的资料

B ．连续型的计量资料

C ．正态分布资料

D ．一般资料

答案：A

[评析] 本题考点：logistic 回归的概念。

logistic 回归属于概率型回归，可用来分析某类事件发生的概率与自变量之间的关系。适用于应变量为分类值的资料，特别适用于应变量为二项分类的情形。模型中的自变量可以是定性离散值，也可以是计量观测值。

（二）计算题

根据表11-2数据，分别用SPSS 统计软件、SAS 统计软件写出多元线性回归的统计分

析步骤及其简要结果。

表11-1 某学校20名一年级女大学生肺活量及有关变量测量结果

编号 体重1X /kg 胸围2X /cm 肩宽3X /cm 肺活量Y /L

1 50.8 73.

2 36.

3 2.96 2 49.0 84.1 34.5 3.13 3 42.8 78.3 31.0 1.91

4 55.0 77.1 31.0 2.63

5 45.3 81.7 30.0 2.8

6 6 45.3 74.8 32.0 1.91

7 51.4 73.7 36.5 2.9

8 8 53.8 79.4 37.0 3.28

9 49.0 72.6 30.1 2.52 10 53.9 79.5 37.1 3.27 11 48.8 83.8 33.9 3.10 12 52.6 88.4 38.0 3.28 13 42.7 78.2 30.9 1.92 14 52.5 88.3 38.1 3.27 15 55.1 77.2 31.1 2.64 16 45.2 81.6 30.2 2.85 17 51.4 78.3 36.5 3.16 18 48.7 72.5 30.0 2.51 19 51.3 78.2 36.4 3.15 20 45.8 75.0 32.5 1.94 答案：

SPSS ：数据文件：“EXAP11—2．sav ”。 数据格式：4列20行。过程： Statistic

Regression Linear ...

Dependent ：Y

Independent(s)：1X ，2X ，3X

Method ： Enter 结果：

Variables Entered/Removed

a All requested variables entered.

b Dependent Variable: Y （肺活量）

Model Summary

a Predictors: (Constant),

3X ,2X ,1X

ANOVA

a Predictors: (Constant), 3X ,2X ,1X

b Dependent Variable: Y

Coefficients

a Dependent Variable: Y

SAS ：

数据步 过程步 DATA EXAP11—2；INPUT x1 x2 x3 y@ @； PROC REG ；

CARDS ； MODEL y=x1 x2 x3； 50.8 73.2 36.3 2.96…45.8 75.0 32.5 1.94； RUN ；

结果：

Analysis of Variance

Sum of Mean

Source DF Squares Square F V alue Pr > F

Model 3 3.36732 1.12244 13.41 0.0001 Error 16 1.33893 0.08368 Corrected Total 19 4.70626

Parameter Estimates Parameter Standard

Variable DF Estimate Error t Value Pr > |t| Intercept 1 -4.67553 1.32051 -3.54 0.0027 X1 1 0.06036 0.02082 2.90 0.0105 X2 1 0.03508 0.01544 2.27 0.0372 X3 1 0.05010 0.02888 1.73 0.1020

[评析] 本题考点：统计软件关于多元线性回归的分析方法及主要输出结果。 根据SPSS 或SAS 的输出结果，可进行以下分析： 1． 检验H 0：1230βββ===的方差分析表。F =13.413，P =0.0001，拒绝H 0，肺活量至少与一个自变量存在线性关系。

2． 估计偏回归系数b 1，b 2，b 3，给出多元线性回归方程

1234.680.060.040.05Y X X X =+++，R 2=0.715，R a 2

=0.662。

3． 偏回归系数检验，见表11-2。

表11-2 偏回归系数估计值及其检验

偏回归系数 估计值

SE t P b 0 -4.675 1.321 -3.54 0.00 b 1 0.060 0.021 2.90 0.01 b 2 0.035 0.015 2.27 0.04 b 3 0.050 0.029 1.73 0.10

四、习 题

（一） 单项选择题 1．

可用来进行多元线性回归方程的配合适度检验是： A ．

2χ检验 B ． F 检验

C ． U 检验

D ． Ridit 检验

2．

在多元回归中，若对某个自变量的值都增加一个常数，则相应的偏回归系数： A ． 不变

B ． 增加相同的常数

C ． 减少相同的常数

D ． 增加但数值不定

3． 在多元回归中，若对某个自变量的值都乘以一个相同的常数k ，则： A ． 该偏回归系数不变

B ． 该偏回归系数变为原来的1/k 倍

C ． 所有偏回归系数均发生改变

D ． 该偏回归系数改变，但数值不定

4．

作多元回归分析时，若降低进入的F 界值，则进入方程的变量一般会： A ． 增多 B ． 减少

C ． 不变

D ． 可增多也可减少

（二） 名词解释

1.多元线性回归

2.偏回归系数

3.复相关系数

4.确定系数

5.比数

6.比数比 （三） 简答题

logistic 回归模型中，偏回归系数i β的解释意义是什么？ （四） 计算题

某学者研究在某种营养缺乏状态下儿童的体重（Y ，kg ）与身高（1X ，cm ）、年龄（2X ，岁）的关系获得了12名观察对象的观测资料，计算得到如下基本数据：

∑=16111

X ，

∑=21963121

X ，∑=1062

X ，∑=97622

X ，∑=341Y ，

∑=98832

Y

，∑=144542

1

X X ，∑=464391

Y X ，∑=30792

Y X 。

（1） 请写出求解2

2110?X b X b b Y ++=二元线性回归方程的正规方程组。 （2） 设方程组的解为114.20=b ，135.01=b ，923.02=b ，请写出回归方程。 （3） 完成下列方差分析表。

表11-3 12名儿童体重与身高、年龄回归分析方差分析表 变异来源 v SS MS F 回归 残差 总和

五、习题答案要点

（一） 单项选择题

1． B 2． A 3． B 4． A

（二） 名词解释

1． 用回归方程定量地刻画一个应变量Y 与多个自变量X 间的线性依存关系，称为多元线性回归（multiple linear regression ），简称多元回归（multiple regression ）。

2． 多元线性回归的基本形式为：01122?k k

Y b b X b X b X =+++???+ 1b ，2b ，…, k b 称为偏回归系数（partial regression coefficient ），j b 表示在除j X 以外的自变量固定条件下，j X 每改变一个单位后Y 的平均改变量。

3． 复相关系数R （coefficient of multiple correlation ）, R 的大小表示所有自变量与应变量之间线性关系的密切程度。

4． 确定系数（coefficient of determination ）简记为2

R ，表示回归平方和回归SS 占总离均差平方和总SS 的比例，即总回归SS SS R /2

=。用2

R 可定量评价在y 的总变异中，由x 变量组建立的线性回归方程所能解释的比例。

5． logistic 回归模型为：

k

k k

k X X X X X X e e P ββββββββ+++++++++=

22110221101

同时可以写成：

k k X X X e

Q ββββ+++++=

2211011

第i 个观察对象的发病概率比数（odds ）为i i Q P ，即同一暴露水平下，阳性概率与阴性概率之比值称为比数（odds ）。

6． logistic 回归模型中，两个观察对象的发病概率比数之比值称为比数比OR （odds

ratio ）。其大小反映了不同暴露水平下，个体发病的相对危险程度。

（三）简答题

答：j β的流行病学意义是在其它自变量固定不变的情况下，自变量j X 的暴露水平每改变一个测量单位时所引起的比数比的自然对数改变量。或者说，在其他自变量固定不变的情况下，当自变量j X 的水平每增加一个测量单位时所引起的比数比为增加前的j e β

倍。

（四） 计算题

1．求解2

2110?X b X b b Y ++=二元线性回归方程的正规方程组为： ????

?=+=+y y

l l b l b l l b l b 222221

11122111 2．当方程组的解为114.20=b ，135.01=b ，923.02=b ，回归方程为：

2

1

923.0135.0114.2?X X Y

++= 3．列方差分析表。

表11-4 12名儿童体重与身高、年龄回归分析方差分析表 变异来源 v SS MS F 回归 2 151.35 75.675 16.380 残差 9 41.57 4.62 总和 11 192.92

（尹平 白玉祥）