多元线性回归与曲线拟合

————————————————————————————————作者: ————————————————————————————————日期：

第十章:多元线性回归与曲线拟合――

Regｒessioｎ菜单详解(上)

回归分析是处理两个及两个以上变量间线性依存关系的统计方法。在医学领域中,此类问题很普遍，如人头发中某种金属元素的含量与血液中该元素的含量有关系,人的体表面积与身高、体重有关系;等等。回归分析就是用于说明这种依存变化的数学关系。

§1０.１Lineaｒ过程

1０．1.1 简单操作入门

调用此过程可完成二元或多元的线性回归分析。在多元线性回归分析中,用户还可根据需要,选用不同筛选自变量的方法(如:逐步法、向前法、向后法,等）。

例１０.１:请分析在数据集Ｆat sｕrｆａctant.sav中变量fａt对变量spovl的大小有无影响?

显然，在这里spovl是连续性变量,而fat是分类变量，我们可用用单因素方差分析来解决这个问题。但此处我们要采用和方差分析等价的分析方法-－回归分析来解决它。

回归分析和方差分析都可以被归入广义线性模型中,因此他们在模型的定义、计算方法等许多方面都非常近似,下面大家很快就会看到。

这里spovl是模型中的因变量，根据回归模型的要求,它必须是正态分布的变量才可以,我们可以用直方图来大致看一下,可以看到基本服从正态,因此不再检验其正态性,继续往下做。

１0．1.1.1 界面详解

在菜单中选择Regｒｅssiｏｎ＝=>liner，系统弹出线性回归对话框如下：

除了大家熟悉的内容以外，里面还出现了一些特色菜，让我们来一一品尝。

【Depｅndenｔ框】

用于选入回归分析的应变量。

【Blocｋ按钮组】

由Prevｉｏus和Ｎexｔ两个按钮组成,用于将下面Ｉnｄependｅnt框中选入的自变量分组。由于多元回归分析中自变量的选入方式有前进、后退、逐步等方法，如果对不同的自变量选入的方法不同，则用该按钮组将自变量分组选入即可。下面的例子会讲解其用法。

【Indepenｄent框】

用于选入回归分析的自变量。

【Method下拉列表】

用于选择对自变量的选入方法,有Enteｒ(强行进入法)、Sｔeｐwisｅ(逐步法）、Reｍovｅ（强制剔除法)、Bacｋwａrd（向后法）、Ｆorwaｒd（向前法）五种。该选项对当前Independenｔ框中的所有变量均有效。

【Seｌection Variａbｌｅ框】

选入一个筛选变量,并利用右侧的Ruleｓ钮建立一个选择条件，这样,只有满足该条件的记录才会进入回归分析。

【ＣａsｅLabｅlｓ框】

选择一个变量，他的取值将作为每条记录的标签。最典型的情况是使用记录ID号的变量。

【WLＳ>>钮】

可利用该按钮进行权重最小二乘法的回归分析。单击该按钮会扩展当前对话框,出现WLS Ｗeiｇｈt框,在该框内选入权重变量即可。

【Sｔatistics钮】

弹出Ｓtａtistics对话框，用于选择所需要的描述统计量。有如下选项：o Regreｓｓioｎ Coeｆｆiｃients复选框组：定义回归系数的输出情况,

选中Estimates可输出回归系数Ｂ及其标准误，ｔ值和p值,还有标准化的回归系数beta；选中Coｎfiｄence inｔeｒｖalｓ则输出每个回归系数的９5％可信区间;选中covariance matrix则会输出各个自变量的相关矩阵和方差、协方差矩阵。以上选项默认只选中Estｉｍａtｅｓ。

o Resｉdｕals复选框组:用于选择输出残差诊断的信息,可选的有Dｕrbｉn－Watson残差序列相关性检验、超出规定的n倍标准误的残差列表。

oＭｏdｅｌｆiｔ复选框：模型拟合过程中进入、退出的变量的列表，以及一些有关拟合优度的检验：,Ｒ，R2和调整的R2，标准误及方差分析表。

o R squared chaｎｇe复选框:显示模型拟合过程中R2、Ｆ值和p值的改变情况。

o Descｒｉpｔｉvｅs复选框：提供一些变量描述，如有效例数、均数、标准差等,同时还给出一个自变量间的相关矩阵。

o Part and paｒtial correlations复选框：显示自变量间的相关、部分相关和偏相关系数。

oＣｏlｌｉｎeaｒity ｄiagnostics复选框:给出一些用于共线性诊断的统计量,如特征根（Eigeｎvａlｕｅs）、方差膨胀因子（VIＦ)等。

以上各项在默认情况下只有Esｔimａtes和Mｏdeｌ fit复选框被选中。【Plｏｔ钮】

弹出Pｌot对话框,用于选择需要绘制的回归分析诊断或预测图。可绘制的有标准化残差的直方图和正态分布图，应变量、预测值和各自变量残差间两两的散点图等。

【Ｓａve钮】

许多时候我们需要将回归分析的结果存储起来,然后用得到的残差、预测值等做进一步的分析,Save钮就是用来存储中间结果的。可以存储的有:预测值系列、残差系列、距离（Distaｎceｓ)系列、预测值可信区间系列、波动统计量系列。下方的按钮可以让我们选择将这些新变量存储到一个新的SＰＳS数据文件或XMＬ中。

【Optｉons钮】

设置回归分析的一些选项,有：

o Steppｉｎg Meｔhod Criteriａ单选钮组：设置纳入和排除标准,可按Ｐ值或F值来设置。

o Incｌudｅｃｏnｓtaｎt in eqｕatioｎ复选框：用于决定是否在模型中包括常数项,默认选中。

oＭisｓiｎg Vａlues单选钮组:用于选择对缺失值的处理方式,可以是不分析任一选入的变量有缺失值的记录（Eｘｃｌuｄe cａｓｅｓ lｉｓｔ

wisｅ）而无论该缺失变量最终是否进入模型；不分析具体进入某变量时

有缺失值的记录(Ｅxcｌudｅcaｓeｓpａｉｒwｉｓｅ)；将缺失值用

该变量的均数代替(Rｅplace ｗitｈｍean）。

10.1.1.2 输出结果解释

根据题目的要求,我们只需要在Dependent框中选入spｏvl，Indｅｐendent 框中选入ｆat即可，其他的选项一律不管。单击OＫ后,系统很快给出如下结果：

Regressioｎ

这里的表格是拟合过程中变量进入／退出模型的情况记录，由于我们只引入了一个自变量,所以只出现了一个模型1(在多元回归中就会依次出现多个回归模型)，该模型中fat为进入的变量，没有移出的变量,具体的进入/退出方法为en ｔｅr。

上表为所拟合模型的情况简报，显示在模型1中相关系数R为0.578，而决定系数R2为0.３3４，校正的决定系数为０.3０7。

这是所用模型的检验结果，可以看到这就是一个标准的方差分析表！有兴趣的读者可以自己用方差分析模型做一下,就会发现出了最左侧的一列名字不太一样外，其他的各个参数值都是相同的。从上表可见所用的回归模型Ｆ值为12.0５9,Ｐ值为0.０0２,因此我们用的这个回归模型是有统计学意义的，可以继续看下面系数分别检验的结果。

由于这里我们所用的回归模型只有一个自变量，因此模型的检验就等价与系数的检验，在多元回归中这两者是不同的。

上表给出了包括常数项在内的所有系数的检验结果,用的是t检验,同时还会给出标化/未标化系数。可见常数项和fat都是有统计学意义的,上表的内容如果翻译成中文则如下所示:

未标准化系数标准化系数

模型系数b系数标准误系数βｔ值P值

1常数5.09７0.42711.923０.000

ｆat0.70００.２０20.578 3.473０．０02

１0.1.２复杂实例操作

1０.１．2.1 分析实例

例10.2:请分析在数据集plasｔic.sav中变量ｅxｔruｓn、additｉve、gloss和opａｃity对变量teaｒ_reｓ的大小有无影响？已知extrusn对tｅar_rｅs的大小有影响。

显然，这里是一个多元回归,由于除了extｒusn确有影响以外，我们不知道另三个变量有无影响，因此这里我们将ｅｘtrusn放在第一个ｂloｃk，进入方法为ｅｎter(我们有把握ｅxtrusｎ一定有统计学意义)；另三个变量放在第二个ｂlｏck，进入方法为ｓｔepｗise（让软件自动选择判断），操作如下：

1.Aｎａlyzｅ==>Ｒｅgression==>Lｉnｅr

2.Deｐendent框:选入teａr_rｅs

3.Ｉndependent框：选入ｅｘtrｕｓn；单击nｅxｔ钮

4.Iｎdｅpｅnｄｅnt框：选入ａddｉtiｖe、gloss和opacity；Mｅthoｄ

列表框：选择stｅpwisｅ

5.单击ＯK钮

1０.１.2.２结果解释

最终的结果如下:

Regresｓiｏｎ

上面的表格依次列出了模型的筛选过程，模型1用进入法引入了eｘtrusｎ，然后模型2用stepwise法引入了additive,另两个变量因没有达到进入标准,最终没有进入。上面的表格翻译出来如下：

模型进入的变量

移出的变

量

变量筛选方法

1ｅxtrｕsｎ进入法

2ａｄｄitｉ

stepｗise法（标准：进入概率小于０.０５，移出概率大于０.1)

上表是两个模型变异系数的改变情况,从调整的Ｒ2可见，从上到下随着新变量的引入,模型可解释的变异占总变异的比例越来越大。

上表是所用两个模型的检验结果,用的方法是方差分析，可见二个模型都有统计学意义。

上表仍然为三个模型中各个系数的检验结果，用的是t检验，可见在模型2中所有的系数都有统计学意义,上表的内容翻译如下:

未标化的系数标化的系数

模型B标准误Beta t值P值

1（常数）５．900.26５２2.27８.０0０

extrusiｏn．５９0.1６７．６3９ 3.５22.0００

2(常数)5．3１5.31416．926.0０0

extｒusion．590．144.639 4.905.００0

additｉｖe.390.144.422 2.707.0０0

这是新出现的一个表格，反映的是没有进入模型的各个变量的检验结果，可见在模型1中,未引入模型的候选变量ａddｉtive还有统计学意义，可能需要引入，而模型2中没有引入的两个变量其Ｐ值均大于0.０5，无需再进行分析了。

１0.2 Curｖe Eｓtiｍatｉoｎ过程

Cuｒve Ｅstimation过程可以用与拟合各种各样的曲线，原则上只要两个变量间存在某种可以被它所描述的数量关系，就可以用该过程来分析。但这里我们要指出，由于曲线拟合非常的复杂，而该模块的功能十分有限，因此最好采用将曲线相关关系通过变量变换的方式转化为直线回归的形式来分析，或者采用其他专用的模块分析。

１0．2．1 界面详解

Curｖe Estｉｍatｉon过程中有特色的对话框界面内容如下:

下面我们分别解释一下它们的具体功能。

【Dｅpendeｎt框】

用于选入曲线拟和中的应变量,可选入多个,如果这样，则对各个应变量分别拟合模型。

【Indｅpendent单选框组】

用于选入曲线拟和中的自变量,有两种选择，可以选入普通的自变量,也可以选择时间作为自变量，如果这样做,则所用的数据应为时间序列数据格式。

【Mｏdels复选框组】

是该对话框的重点,用于选择所用的曲线模型，可用的有：

?Lｉｎeaｒ：拟合直线方程，实际上与Ｌｉnｅar过程的二元直线回归相同；

?Ｑuａｄraｔｉc:拟合二次方程Y = ｂ0+b1X+b２X2；

?Compouｎd：拟合复合曲线模型Y ＝b0×b1Ｘ;

?Ｇｒowｔｈ：拟合等比级数曲线模型Y ＝ e(ｂ0+ｂ1X);

?Ｌogａrithmic：拟合对数方程Y = b０+b1lｎX；

?Cuｂic:拟合三次方程Ｙ = ｂ０+b１X+b2X2+b３Ｘ3;

?S：拟合S形曲线Y ＝e(b0＋b1/X);

?Expoｎential:拟合指数方程Y = b0 ｅb1X;

?Inverse:数据按Y = b0+ｂ1/Ｘ进行变换；

?Ｐoweｒ：拟合乘幂曲线模型Y = b0X b1；

?Logiｓｔｉc:拟合Loｇistｉｃ曲线模型Y = １／(1/u ＋b０×ｂ1X),如选择该线型则要求输入上界。

上面的几种线型和其他的模块有重复,如Ｌogiｓtic、Ｌineｒ等,由于本模块的功能有限,在重复的情况下建议用其它专用模块来分析。

【Ｉｎｃlｕde cｏnstaｎt in equation复选框】

确定是否在方程中包含常数项。

【Ploｔ mｏdeｌs复选框】

要求对模型做图，包括原始数值的连线图和拟合模型的曲线图。

【save钮】

弹出ＳAVE对话框，用于定义想要存储的中间结果,如预测值、预测值可信区间、残差等。

【Diｓplaｙ AＮOVＡ tablｅ复选框】

要求显示模型检验的方差分析表。

1０.2.２实例操作

例１０.３：锡克试验阴性率（％）随着年龄的增长而增高，某地查得儿童年龄(岁)Ｘ与锡克试验阴性率Y的资料如下,试拟合曲线。

年龄(岁） 1 2 3 4 ５６7 锡克试验阴性率(%）５7.1 7６.０90.9 ９3.0 96.7 9５.6 96.２

首先对年龄和阴性率作散点图,发现两者有斜率逐渐放缓的曲线趋势,因此

选择二次曲线模型、三次曲线模型和对数曲线模型，最终取其中结果最优者,做法如下：

1.Analyze＝＝>Ｒegｒｅsｓioｎ==>Curｖｅ estimation

2.Deｐenｄａnt框：选入阴性率

3.Iｎdependant框：选入年龄

4.Modeｌs复选框组：选择Quａdrａｔｉc、Cｕrbe、Ｌogaｒitｈmａtiｃ,

取消对Ｌinｅr的选择。

5.单击ＯK

结果如下：

Cuｒvｅ Fit

ＭODEL：MOＤ_1１.

Ｉｎdｅｐｅn

ｄｅnｔ:

年龄

Ｄｅｐｅnｄent Mth Rsq d．f.F

Ｓｉ

ｇf

b０b1b２b3

阴性率LＯG .9１

5２.3

２

.001

6１.32

５9

２0．6７

０4

阴性率QUＡ.９

４65.20.001

３9.2

７14

21.8250

-2.０

０36

阴性率CUB.9943165.3

７

．001

25.57

１4

37.４278

-６.

５702

.３8

０6

上表给出了所拟合的三个模型的检验报告，包括拟合优度、模型的检验结果和各个系数值，从检验结果看,三个模型均有统计学意义,但从拟合优度看,三次方曲线的拟合优度最高,似乎应选择三次方曲线，但注意三次方曲线多一个参数，要复杂一些,而它的拟合优度和二次方曲线相差不大，因此仅从这里的结果还不好对它们两者作出判断,下面我们还要看看模型曲线的情况。

上图是三个模型曲线和实际值连线的情况，可见在４岁以前,二次方和三次方曲线对模型的拟合相差不大，4岁以后三次方曲线则要明显优于二次方曲线,但我们的观察值只有7例,样本量太少，在曲线回归中，模型的简洁性和拟合优度的高低同样重要，拟合优度太高的模型往往对新样本的拟合度较差,我认为在这种情况下选择参数较少的模型为宜,因此最终选择二次方曲线模型。

其实这里由于观察样本太少,无论选择哪种模型影响都不大，而且各人的意

见不会相同，往往是有多少条曲线，就会有多少种意见,最后还是要结合专业知识来决定，我这样写只是让大家明白，曲线拟和是非常复杂的问题，千万不能轻易下结论。