多元线性回归预测模型论文

多元线性回归统计预测模型

摘要:本文以多元统计分析为理论基础，在对数据进行统计分析的基础上建立多元线性回归模型并对未知量作出预测,为相关决策提供依据和参考。重点介绍了模型中参数的估计和自变量的优化选择及简单应用举例。

关键词：统计学;线性回归;预测模型

一．引言

多元线性回归统计预测模型是以统计学为理论基础建立数学模型，研究一个随机变量Ｙ与两个或两个以上一般变量X 1,X ２，…,Xp 之间相依关系,利用现有数据,统计并分析，研究问题的变化规律，建立多元线性回归的统计预测模型,来预测未来的变化情况。它不仅能解决一些随机的数学问题,而且还可以通过建立适当的随机模型进而解决一些确定的数学问题,为相关决策提供依据和参考。

目前统计学与其他学科的相互渗透为统计学的应用开辟新的领域。并被广泛的应用在各门学科上,从物理和社会科学到人文科学，甚至被用来工业、农业、商业及政府部门。而多元线性回归是多元统计分析中的一个重要方法,被应用于众多自然科学领域的研究中。多元线性回归分析作为一种较为科学的方法,可以在获得影响因素的前提下，将定性问题定量化，确定各因素对主体问题的具体影响程度。

二.多元线性回归的基本理论

多元线性回归是多元统计分析中的一个重要方法，被广泛应用于众多自然科学领域的研究中。多元线性回归分析的基本任务包括:根据因变量与多个自变量的实际观测值建立因变量对多个自变量的多元线性回归方程；检验、分析各个自变量对因自变量的综合线性影响的显著性；检验、分析各个自变量对因变量的单纯线性影响的显著性，选择仅对因变量有显著线性影响的自变量，建立最优多元线性回归方程;评定各个自变量对因变量影响的相对重要性以及测定最优多元线性回归方程的偏离度等。由于多数的多元非线性回归问题都可以化为多元线性回归问题,所以这里仅讨论多元线性回归。许多非线性回归和多项式回归都可以化为多元线性回归来解决,因而多元线性回归分析有着广泛的应用。 2.1 多元线性回归模型的一般形式

设随机变量y 与一般变量12,,

,p x x x 线性回归模型为

01122...p p y x x x ββββε=+++++ （2.1）

模型中Ｙ为被解释变量(因变量）,而12,,,p x x x 是p 个可以精确测量并可控制的一般变

量，称为解释变量（自变量）。p ＝1时，(２.1)式即为一元线性回归模型，p 大于2时，(2.1)

式称为多元线性回归模型。因变量Y 由两部分决定:一部分是误差项随机变量ε，另一部分是p 个自变量的线性函数01122...p p x x x ββββ++++。其中，012,,,,p ββββ是p+１个未知参数,0

β称为回归常数，12,,

,p βββ称为偏回归系数，它们决定了因变量Y 与自变量12,,

,p x x x 的线

性关系的具体形式。ε是随机误差,对随机误差项满足()

20,N ε

σ

对一个实际问题,如果n 组观察数据(12,,,;i i ip i x x x y )，ｉ=１,2,…，n,则线性回归模型

(２．１)式可表示为

011...i i p ip i y x x βββε=++++，ｉ＝１,２，…,ｎ (2.2）

即

1011111

2012122

011.........p p p p n n p np n

y x x y x x y x x βββεβββεβββε=++++??=++++??

??=++++? （2．3) 写成矩阵形式为

y X βε=+ (2.4)

其中

12n y y

y y ??

? ?= ?

???, 1112

12122212

111p p n n np x x x x x x X x

x x ?? ?

?= ? ? ??

?, 001

1,p n βεβεβεβε???? ? ? ? ?== ? ? ? ? ?????

(２.5） 矩阵X 是n ?(p ＋1)矩阵,称X 为回归设计矩阵或资料矩阵。 ２.2 模型的基本假设

为了便于进行模型参数估计,对线性回归方程（2.3）式进行了如下假设。 1．零均值假定。即

()0,1,2,

,i E i n ε==

2．正态性假定。即

()

20,,1,2,

,N i n ε

σ=

３.同方差和无自相关假定。即

()()2,,,1,2,

,0,i j i j

E i j n i j

σεε?=== ≠?

4.无序列相关假定（随机项与解释变量不相关)。即

()ov ,0,1,2,

,ji i C X j p ε==

5.无多重共线性假定。 解释变量

12,,

,p

x x x 是确定性变量，不是随机变量且()rank X 满足()1rank X p n =+<要

求。表明设计矩阵的自变量列之间不相关，样本容量的个数应大于解释变量的个数，X 是一满秩矩阵。

２.3 多元线性回归方程

在多元线性回归模型基本假设的基础上,对（2.2)式两边取数学期望,可得ｙ的期望函数为

()01122...i i i p ip E y x x x ββββ=++++ （i ＝1，２，…，n ) (2.6) 该方程为多元线性方程为理论回归方程。方程中,参数都是未知的,因此就需要利用样本观测值法去估计他们,如果可以得到参数估计值,则得到多元线性样本回归预测方程

02112...,1,2,...,p i i ip i y x x x i n

ββββ∧

∧

∧

∧

∧

=++++= (2．７)

(２.７)式是（2.6）的估计方程，其中j

β∧

是对参数

j

β的估计。有样本回归方程得到的预

测值的估计值

i

y ∧

与实际观测值

i

y 之间通常会存在一定的偏差,这一偏差称为残差,记为

i i i e y y ∧

=-。

三.多元线性回归统计预测模型的建立

多元线性回归分析的基本任务包括：根据因变量与多个自变量的实际观测值建立因变量对多个自变量的多元线性回归方程;检验、分析各个自变量对因自变量的综合线性影响的显著性;检验、分析各个自变量对因变量的单纯线性影响的显著性,选择仅对因变量有显著线性影响的自变量,建立最优多元线性回归方程;评定各个自变量对因变量影响相对重要性以及测定最优多元线性回归方程的偏离度等。

研究在线形相关条件下，两个或两个以上自变量与一个因变量的数量变化关系,称为多元线形回归分析，求得的数学公式称为多元线形回归模型。多元线形回归模型是一元线形回归模型的扩展。

3．1回归建模步骤流程图

3.１ 多元回归的预测模型

设因变量y 与自变量ｘ1，ｘ２,…,ｘm －1共有n 组实际观测数据（见表3.1)。

表3.1观测数据表

变量

ｙ 1x 2x 1m x -

1 y 1

11x 12x 11m x - 2 2y 12x

22x

21m x -

n

n y

1n x

2n x

1nm x -

y 是一个可观测的随机变量，它受到ｍ-1个非随机因素x 1，x 2，…，ｘm-1和ε随机因素的影响。若y 与x １，ｘ2,…，x m-1有如下线性关系

0112211...m m y x x x ββββε--=+++++ (3.1）

其中y 为因变量x 1，x 2,…,x m －1为自变量, 0121,,,...,m ββββ-是ｍ个未知参数;ε是均值为零，方差为20σ>的不可观测的随机变量，称为误差项,并通常假定()20,N εσ。对于ｎ（ｎ≥

ｐ)次独立观测,得到n 组数据(样本)：

101111111201211212

01111.........m m m m n n m nm n

y x x y x x y x x βββεβββεβββε------=++++??=++++??

??=++++? （3.２） 其中 12,,...,n εεε是相互独立的,且服从()20,N ε

σ分布。

令121n n y y Y y ??? ? ?= ? ???， 1112

112122211

2

1111m m n n nm n m x x x x x x X x x x ---??? ?

?= ?

?

?? 0111

m m ββββ-??? ? ?= ? ???， 011n n εεεε???

? ?= ? ???

则 （3.１) 式用矩阵形式表示为:

()21,n Y X N I βε

εσ=+? ?

(３．3)

３．2 模型参数的估计

回归理论模型确定后，利用收集、整理的样本数据对模型的未知参数给出估计。未知参数的估计方法最常用的是普通最小二乘法，它是经典的估计方法。对于不满足模型基本假设的回归问题，人们给出了一些新的方法,如岭回归、主成分回归、偏最小二乘估计等。但是它们都是以普通最小二乘法为基础。但参数变量较多时,计算量很大,一般采用计算机软件,如T ＳP 、S ＰＳS 、S ＡS 等。

设011,,...,m βββ∧∧∧

分别是参数0121,,,...,m ββββ-的最小二乘估计,则y 的观测值可表示为:

01111...m k k km k y x x e βββ∧∧∧

-=++++ （3.4)

k k k e y y ∧

=-

其中ｋ＝1，2，…，N 。k e 是误差k ε的估计值.又令k y ∧

为k y 的估计值，有:

01111...m k km k y x x βββ∧

∧

∧

∧

-=+++ (3.5）

（３.5）式为观测值(1,2,

,)

k y k n =的回归拟合值，简称回归值或拟合值。相应的,称向

量

12,,

,T

n y X y y y β∧

∧∧

∧

??== ?

?

?

为因变量向量()

12,,

,T

n y y y y =的回归值。

根据最小二乘法0121,,,...,m ββββ-应使得全部观测值k y 与回归值k y ∧

的偏差平方和Q 达到最小。Q 是未知参数向量的非负二次函数，Q 反映了在n 次观察中总的误差程度,Ｑ越小越好。即:

2

011111...N

m k

k km k Q y x x βββ∧

∧

∧

--??

??=-+++ ??????

?

∑ （3.6) 有最小值。由于口是0121,,,...,m ββββ-的非负二次式，最小值一定存在。根据数学分析的极值原理0121,,,...,m ββββ-应满足下述方程组:

10111

111202020N k k k N k k k k N k k km k m Q y y Q y y x Q y y x βββ∧=∧=∧-=-????=--= ??????

????

=--=?

???????

????=--= ??????

∑∑

∑ (3．７) 称为正规方程组.将01111...m k km k y x x βββ∧∧∧∧

-=+++式代人(3.７)式整理得:

011111112101112212111111101121

11......N N N

k km m k K K K N N N N N k k k k k k m k k K K K K K N N N km km k km k K K K N x x y x x x x x x x y x x x x x βββββββββ∧∧

--===∧∧∧∧

-=====∧∧===????+++= ? ?????????????++++= ? ? ? ?????????????++ ? ?????∑∑∑∑∑∑∑∑∑∑221111...N N km m km k

K K x x y ββ∧∧

--==??

?

?????

?????++=? ? ??????∑∑∑(3．8）

显然正规方程组的系数矩阵是对称矩阵。令

11111

111N m Nm x x X x x --??

? ?= ?

??? 121m y y Y y -?? ?

?= ? ??? 011m ββββ∧∧∧∧-??

?

? ?= ? ?

???

则(3.8)式可以写为矩阵形式的方程(

)

T

T

X X X Y β∧

=或A B β∧

=假设系数矩阵A 满秩，求解上述矩阵方程得回归系数β的最小二乘法估计为：

()

1

T

T X X

X Y β∧

-= （3.9）

即为回归系数β的最小二乘法估计。 3．3 模型检验

当模型的未知参数估计出来后，初步建立了一个回归模型，但是这个模型是否真正揭示了被解释变量和解释变量之间的关系，在根据因变量与多个自变量的实际观测数据建立多元线性回归方程之前，因变量与多个自变量间的线性关系只是一种假设,尽管这种假设常常不是

没有根据的，但是在建立了多元线性回归方程之后，还必须对因变量与多个自变量间的线性关系的假设进行显著性检验，也就是进行多元线性回归关系的显著性检验，或者说对多元线性回归方程进行显著性检验。 3.3．１ 回归方程的拟合优度检验

拟合优度一般用于检验样本回归直线对观测值得拟合度。在一元线性回归方程中,用判定系数R 2衡量估计方程对样本对观测值的拟合程度；在多元线性回归方程中,同样也可以。即SST=SSR+ＳSE,

其中()

2

1n

i i SST y y

==-∑为总离差平方和，2

1n

i i SSR y y ∧

=??=- ??

?∑为回归平方和，它是反映回

归效果的参数,2

1n

i i i SSE y y ∧

=??=- ??

?∑为残差平方和。式中:i y 为第ｉ个样本点(1 2 p x x x 、……）上的

回归值。式中:y 为y 的样本平均值。

判定系数Ｒ２指因变量y 的总变差中能由自由变量所解释的那部分变差的比重,即数学模型为

21SSE

R EET

=-

(3.１1） 2R 的值越接近于1，表明回归方程对实际观测值的拟合度效果越好，相反2R 越接近0,拟合效果越差。

3.4.2 回归方程的整体显著性检验

在一元线性回归中，回归系数显著性检验ｔ检验与回归方程显著性检验的Ｆ检验是等价的,但是在多元线性回归中,就不等价了。Ｆ检验显著是说明对自变量x 整体的线性回归效果显著的，但不等于y 对于每一个自变量x 的效果都显著;反之也不成立。 3．4.３ 回归系数的显著性检验

在多元线性回归中,回归方程显著并不意味着每个自变量对因变量y 的影响都是显著的，因此需要对每个回归系数进行显著性检验。假设

01:0:0

j j H H ββ=?≠，检验统计量t 为

t ∧

=

j t β∧

=

（３．１2）

在回归效果差的情况下,根据j t 大小采用后退法依次剔除j t 对应的不显著自变量，用剩余的显著因素进行最后一次回归。

３.5 残差分析

一个估计回归方程可能有较高的判定系数,也可能通过显著性检验,但是并不能说就是一个好模型，因为这些都是建立在模型假设基础上的,如果最初模型假设不真实,就要用残差分析验证。

ＤW 检验的基本思想：如果存在正相关,那么残差的相邻值彼此之间应当比较接近，分子项就会较小,进而DW 值也会比较小；如果存在负相关，就相反。检验统计量DW 的表达式为

()

2

12

2

1

n

t t t n

t

t e e DW e

-==-=

∑∑ (3.13）

数学上推导出ＤW 取值[0,４]，其中ｔ代表了时间，残差是按照时间顺序收集的。

四.多元线性回归统计预测模型的应用

4.1 预测模型计算

参数变量较多时，计算量很大，一般采用计算机软件，如TSP 、S ＰS Ｓ、ＳAS 等。其预测模型的计算步骤如下：

第1步 数据输入。在ＳPSS 的数据编辑窗口中输入表1中的数据，如果是已编辑好的数据,可以直接将数据粘贴到ＳPS Ｓ数据编辑窗口。

第2步 确定分析方法。在“A ｎａlyze ”菜单“Re ｇre ｓs ｉon ”(回归分析)中选择“Lin ｅar ”（线性）命令,进入弹出的“L ｉnear R ｅgr ｅs ｓi ｏn ”（线性回归)对话框,从对话框左侧的变量列表中点击标记变量y ，然后,单击“Depend ｅnt ”(因变量)框左边的按钮，将变量y 添加到因变量框中;同样的方法,将自变量添加到“Ind ｅp ｅnd ｅnt ”(自变量）框中。

（1）设定多元线性回归分析自变量的筛选方法。 （２）设置变量筛选的条件。 （3）确定作图的标志变量 (４）加权最小二乘法。 （5)选择输出项。 (６）分析结果的保存设置

（7）自变量筛选参数及剔除变量的处理设定。

第3步 完成回归分析。完成上述过程后，单击“OK ”按钮，即可得到SPSS 的多元回归预测结果。

4．2 案例一

为了预测某油区今后的产量变化，通过结合现场实际情况进行了深入分析研究，选取了7个影响产量变化的因素：总油井数ｘ1、油井开井数x 2、上年产油量ｘ3、上年产水量x 4、上年采油速率ｘ5、上年采出程度x 6作为自变量x i (i=1，2,…,6）,年产油量作为因变量y,见表4.1所示。

表4.1 某油田年产量影响因素基础数据

注:1984年的产油量为４5０.56×１0４t/a

根据图表４.1建立预测模型,即１985~20０６年数据用于确定模型参数，余下3组数据作为检验数据以验证模型的可靠性和实用性。

表 4.２输入移出的变量

从表４.2中我们可以看出,所有７个自变量进入模型，说明我们的解释变量都有显著并且是有解释力的。

表 4.３模型汇总

图4.３给出了模型整体拟合效果的概述,模型的拟合优度系数为0.９９4，反应了因变量与自变量之间具有高度显著的线性关系。

表 4.4 方差分析表

方差分析表,模型的设定检验F统计量的值为16３.４03，显著性水平的值P值几乎为零，说明因变量与自变量的线性关系明显。

表４.5 回归系数表

设多元线性回归方程式

为：

011223344556677

y x x x x x x x ββββββββ=+++++++

求得,其回归系数0~7ββ分别为:-４97．348、０．14、0.8７、28.301、0.85８、-0．49２、-7.1１2、-４3．23０。

其统计量为：ｑ =3５５70、u =2９０６1２8、F =163.４0３、r=0.99４。自变量x １～x 7的t j 计量分别为:0.3２7、1．4３6、２.0１7、7.40７、－２.52９、－０.０４８、-1.88４。

给出了回归系数表和变量显著性检测的T 值,发现变量6x (上年采油速率)的T 值太小,没有达到显著性水平,因此将这个变量剔除。筛选后回归方程为:

0112233445577

y x x x x x x βββββββ=++++++

再次回归计算，得到回归系数0~5,7βββ分别为:-525.169４、0.０14６、０.08６5、28.7433、0.8583、-0．4９56、-4３.31４2。其统计量为：q =3５576、ｕ =29０6100、F =2０4.2１９4、r =0.9９3９。自变量1~5x x ，7x 的j t 值统计量分别为:0.3855、1．４１91、2.2721、３.4601、２.3309、１．7４8４。

根据得到的各个影响因素的ｔ值统计量再次进行筛选，应剔除自变量1x (总油井数)。第二次筛选后回归方程为：

022********y x x x x x ββββββ=+++++ 回归系数0,2~5,7ββββ分别为:-486.85０0、0.１01８、2７.982７、0.8394、-0.4630、-44.0693。其统计量为：ｑ ＝3５932、u =2905800、F ＝258.77９４、r =0.9９39。自变量1~5,7x x x 的j t 值统计量分别为:2.1695、2.32６4、３.6２7９、2.5104、1．8291。

最终得到的显著自变量是油井开井数、上年含水率、上年产油量、上年产水量、上年采出程度。由此建立的预测模型为:

23457486.850.101827.98270.83940.46344.0693y x x x x x =-+++--

式中:y 为产油量;2x 为油井开井数；3x 为上年含水率;4x 为上年产油量;5x 为上年产水量;7

x

为上年采出程度。

。

表 4.６多元回归预测结果

藏工程的要求。

4.3 案例二

我国民航客运量（万人)受到1x国民收入（亿元）、2x消费额（亿元)、3x铁路客运量(万人)、4x民航航线里程(万公里)、5x来华旅游入境人数（万人）这些因素的影响,根据１6年的统计数据(见表４.7）。

表 4.７民航客运量

通过模型汇总,显示了回归方程的拟合情况。

图4.8可见模型的负相关系数为0.９99，判定系数0．９98调整后的判定系数为０.997，模型拟合效果较好;DW值为1.994，接近于2,可认为模型不存在自相关。

给出了参与回归分析的6方差分析结果及检验结果,回归方程的F值为11２8.619，ｐ值为0.0００,可见方程整体而言是显著的。

表4.１0给出了回归方程的非标准化估计系数、标准化估计系数值、系数的统计显著性检验结果以及方差膨胀因子。因为估计方程的常数项和各变量系数对应的p值都小于０.05,因此均具有统计显著性。但是变量ｘ的方差膨胀因子VＩＦ都大于10,因此存在显著的共线性。选取最大的方差膨胀因子的变量为多余变量,依次剔除变量1x和2x,最终将3x、4x和5x纳入回归方程，重复运算方差系数、系数检验表。

最后得出剔除后的残差统计表4.11,可见残差符合基本假设,因此模型设定是有效的。

有以上分析结果可得我国民航客运量的回归模型,根据回归模型可知,客运量的影响因素,固定其他因素，铁路客运量没增加1万人,民航客运量就减少０.01万人；民航历程每增加1万公里,民航客运量增加26.４３4万人；来华游客每增加1万人，民航客运量增加0.3１7万人。

y=592.157-0.01x+26.434x+0.317x

345

2

R=0.994

五．结论

(1）本文具体介绍了多元线性回归模型的建立和应用,并采用SPSS软件对实例进行了分析；

(2）多元线性回归模型能从诸多变量中挑选出显著变量是模型中的可控因素,因此可以通过模型预测达到控制的目的。

(3) 多元线性回归统计预测模型被广泛运用于各学科上。

参考文献

[1] 何晓群等．多元统计分析在考试评价中的应用.国家教育部考试中心重点课程研究报

告,20０1

[2] 王岩,隋思涟,王爱青.数理统计与MATLAB工程数据分析[Ｍ]．北京:清华大学出版社,2００6.

[3] 张恒喜,郭基联，朱家元,虞健飞.小样本多元数据分析方法及应用[Ｍ］.西安：西北工业大学出版社,200２.

[4] 吾今培,孙德山.现代数据分析[M].北京:机械工业出版社,2０06.

［5] 阎长俊. AR 模型的建模与预测[Ｊ]. 沈阳建筑工程学院学报，1９97.

Mｕltｉple linearｒｅgressｉoｎstatｉsｔics fｏrecastｉng ｍｏｄel

ＬianｇFan

(Tｈe Collｅｇｅof Mathematｉcｓand Stａtisｔiｃs，Yｉli Ｎｏrｍal Ｕniversｉ

ty,Yining,Xiｎjianｇ, 83５０00)

Abｓtｒaｃt：baｓed on tｈe ｔｈeｏry of mｕltiｖaｒiate sｔaｔistiｃaｌanaｌｙsis, and ｓｔatisticａl ａnaｌysis of dａta established on ｔhe baｓis of mulｔiple ｌｉneaｒregr ｅssioｎmoｄel and ｔhe unknown quａntｉty make preｄictiｏns, for ｒelａted decision p ｒovides ｔｈe bａｓis and the refｅrｅｎce. Ｆｏｃｕｓｉｎg ｏn the paｒametｅrs in th ｅmodel anｄthe optiｍizatiｏn of tｈe estimates oｆthｅinｄepｅnｄeｎt vａriable ｓｅleｃtiｏn anｄsimple ｅｘamｐｌｅｓof apｐlicaｔion.

Ｋeywords: statistics；Linear regresｓiｏn; Prｅdｉctioｎmodeｌ