多元线性回归预测

多元线性回归预测

在预测中，当预测对象y 受到多个因素m x x x ,,,21 影响时，如果各个影响因素j x （m j ,,2,1 =）与y 的相关关系可以同时近似地线性表示，这时则可以建立多元线性回归模型来进行分析和预测。

假定因变量y 与自变量),,2,1(m j x j =之间的关系可表示为

i mi m i i i x b x b x b b y ε+++++= 22110

（2-22）

n i ,,2,1 =（样本序号）

其中0b 、j b ),,2,1(m j =——模型回归系数；i ε为除自变量j x ),,2,1(m j =的影响之外对i y 产生影响的随机变量，即随机误差。该结论基于以下的假设：

随机误差i ε的期望值为零，),,2,1(0)(n i E i ==ε； 方差的期望值为一常数2σ，),,2,1()(22n i E i ==σε；

各随机误差项是互不相关的，即协方差的数学期望值为零，0),(=j i E εε

),,,2,1,(j i n j i ≠=

当以上假设得到满足时，式（2-22）便称为多元线性回归预测模型，这时可写成

),,2,1(ˆ22110n i x b x b x b b y

mi m i i i =⋅++++=

（2-23）

和一元线性回归预测模型一样，多元线性回归预测模型建立时也采用最小二

二乘法估计模型参数，但具体估计时有二种算法，分述如下。

一、多元线性回归预测模型的一般算法 1．建立模型 改写式（2-22） 得

),,2,1(ˆn i y

y i i i =-=ε

方差和Q 为

2

1

221102212

)()ˆ(mi m n

i i i i n

i i i n

i i x b x b x b b y y

y Q -----=-==∑∑∑=== ε

根据最小二乘法原理，欲估计参数),,2,1(m i b i =，要满足条件：

⎪⎪⎪⎪⎩⎪

⎪⎪⎪⎨⎧=------=∂∂=------=∂∂=------=∂∂0)(Σ20)(Σ20)(Σ2221102211011

221100mi m i i i mi m

mi m i i i i mi m i i i x b x b x b b y x b Q

x b x b x b b y x b Q

x b x b x b b y b Q

整理上式可得到：

⎪⎪

⎩⎪⎪⎨

⎧=++++=++++=++++i mi mi m i mi i

mi mi i

i mi i m i i t i i mi m i i y

x x b x x b x x b x b y x x x b x x b x b x b y x b x b x b nb ΣΣΣΣΣΣΣΣΣΣΣΣΣΣ222110112122

111022,110 而对于各变量的样本平均值，其误差平方和为：

⎪⎪⎪

⎩

⎪

⎪

⎪⎨⎧

-=--==--==∑∑∑===n i i yy n

i i j ji yj jy n

i k ki j ji kj jk y y s y y x x s s x x x x s s 12

11

)

())(()

)((

（2-25）

),,2,1,(k k j =

式中

∑==n

i ji j x n x 1

1

∑==n

i i y n y 1

1

利用（2-24）式，将方程组（2-25）可改写为

⎪⎪⎩

⎪⎪

⎨

⎧=+++=+++=+++my mm m m m y

m m y m m s s b s b s b s s b s b s b s s b s b s b

22112222221211122111 （2-26）

以及 m m x b x b x b y b ----= 22110 （2-17）

方程组（2-26）叫正规方程组或规范方程式，解该方程组，则得到回归系数0b ，

1b ，2b ，…，m b 。即为用最小二乘法原理估计的多元线性预测模型（2-23）的

回归系数。从原理上讲，按上述解法，对任意多个自变量的线性回归模型都可估计参数，但由于变量较多时计算工作量大，当自变量大于3个时，手工计算已很困难，宜用矩阵解法在计算机上计算。

如二元线性回归预测模型。 有正规方程为

⎪⎩⎪⎨

⎧=+=+y y

s b b b s s b s b s 22221

211212111 解该方程组，

有

12

21221112222122

21

12112221211s s s s s s s s s s s s s s s s b y y y y

--=

=

（2-28）

同理

12

2122112111122s s s s s s s s b y y --=

（2-29） 22110x b x b y b --=

（2-30）

式中

⎪⎪⎪⎪

⎪⎪⎪

⎪⎩

⎪⎪⎪

⎪

⎪⎪⎪

⎪⎨

⎧-=--=-=--=-=-=-=--==-=-=)

)(Σ(Σ1Σ))((Σ)

)(Σ(Σ1Σ))((Σ)(Σ1Σ)(Σ))(Σ(Σ1

Σ)()(Σ)(Σ1Σ)(Σ2222211111222222222212122112112212

121111

i i i i i i y i i i i i i y i i

i i i i i i i i i i y x n y x y y x x s y x n

y x y y x x s x n x x x s x x n x x x x x x s s x n

x x x s （2-31）

2．统计检验

（1）剩余标准差计算

1

)ˆ(Σ2---=m n y

y s i i

（2-3

2）

m ——自变量个数

为了方便统计检验，先计算离差计算表。

（2）相关系数检验

2

22

)(Σ)ˆ(Σ1y y y

y R i i i ---=

（2-33）

（3）F 检验

22

)ˆ(s m y y

F i ⋅-∑=

（2-34）

（4）t 检验

t 检验是通过对回归系数),,2,1(m i b i =的逐一检验，以判断),,2,1(m i x i =是否因系数i b 为零而必须予以删除。

i

i

bi s b t =

（2-35）

然后设定显著性水平a ，查t 分布表，取自由度1--=m n v ，得到t 检验值2/a t 。

当2/a bi t t ≥时，检验通过。