2.多元回归分析方法及其程序实现

第二章 多元回归分析方法及其程序实现

在生产过程和科学实验中，我们经常是需要研究变量与变量间的关系。变量间的关系，总的来说可分为两种，即函数关系和相关关系。 当变量间的关系为确定性关系，即对于一个变量的每一个值都有另一个变量的一个或几个完全确定的值与它对应，我们就说变量间存在函数关系，对两个变量的函数关系可表示为，一旦变量间的函数关系建立，事物发展变化的规律就随之确定。由此可以看出，建立变量间的函数关系，研究函数关系在生产实践中就显得特别重要。 然而在许多实际问题中，由于各种关系错综复杂，要精确的建立变量间的数学表达式又特别困难，同时很多工程问题的变量之间还受到其它偶然因素的影响，使它们之间的关系具有不确定性，因此在这种情况下要建立准确的数学关系是不可能的，该如何解决这个问题呢? 回归分析方法就是在大量试验观测数据的基础上，找出这些变量之间的内部规律性，从而定量地建立一个变量和另外多个变量之间的统计关系的数学表达式。因此简单地说，回归分析就是研究一个变量与其它变量间关系的一种统计方法。

回归分析中被回归的变量称为因变量，影响变化的其它变量称为自变量。如果自变量只有一个，称为一元回归；如果自变量是两个或者以上，则称为多元回归；如果与，间的关系是线性的，则称线性回归，否则称非线性回归。

§ 2.1 多元线性回归数学模型建立

§2.1.1 模型的建立

设随机变量与个自变量存在线性关系： （2.1）

（2.1）式称为回归方程，其中称为回归系数。为随机变量，称为随机误差，它可理解为无法用表示的其它各种随机因素造成的误差。我们的问题是要用

来估计随机变量的均值，即

这里假定。

是与无关的待定常数。 设有组样本观测值数据

…………………………

其中表示第次试验或第个样本关于变量的观测值，于是有

……

（2.2）

其中为个待定参数，为个相互独立的且服从同一正态分布的随机变量，（2.2）式称为多元（元）线性回归数学模型。 （2.2）式亦可写成矩阵形式，设

)(x f y =y y m x x x ,,,21 y 1x m x x ,,2 y m m x x x ,,,21 εββββ+++++=m m x x x y 22110m ββββ,,,,210 εy m x x x ,,,21 m m x x x ββββ +++22110y )(y E m m x x x y E ββββ++++= 22110)()),((~),,0(~22σσεy E N y N 210,,,,σβββm m x x x ,,,21 n 2

22221

1112

11y x x x y x x x m

m

n nm n n y x x x 21ij x i i j x 2

2222211021112211101εββββεββββ++++=++++=m m m m x x x y x x x y n nm nm n n n x x x y εββββ++++= 22110m ββββ,,,,210 1+m n εεε,,,21 n ),0(2σN m

则（2.2）式可表为

（2.3）

（2.3）式称为多元线性回归模型的矩阵形式。

§ 2.2 回归模型中参数的确定

在回归模型（2.1）式中，只要确定回归模型实际上就确定，该如何确定呢?

这里我们采用最小二乘法来对回归模型（2.3）式中的作最小二乘估计。

设分别是的最小二乘估计值，于是有

（2.4） （2.4）式中；是y 中的一个最小二乘估计。 对于每一个试验数据。由（2.4）式，可得一个，即这里称为实际值的回归值。 显然，回归值与实际值有误差，即

当然我们希望与值偏离程度越小越好，这样才能使回归值与实际值拟合的最好。这里与偏差越小是指每一个与，于是对全部观察值（试验值）有

为此，我们可以应用微分学中求极值的原理来确定。

（2.5）

整理化简为

⎥

⎥⎥⎥

⎥

⎦

⎤

⎢

⎢⎢

⎢⎢

⎣⎡=nm n n m m x x x x x x x x x X 2122221112111

1

1

T n y y y y ),,,(21 =T m ),,,(10ββββ =T n ),,(21εεεε =εβ+=X y βββm βββ,,,10 m b b b b ,,,,210 m βββ,,,10 m m x b x b x b b y

++++= 22110ˆy

ˆn i x x x im i i ,,2,1),,,,(21 =i y

ˆn i x b b b y

im m x i i ,,2,1,ˆ110 =++=i y ˆi y i y

ˆi y n i x b x b b y y

y im m i i i i ,,2,1)(ˆ110 =+++-=-i y

ˆi y i y ˆi y i y

ˆi y i y ˆi y )

,,,(min )(min )ˆ(min 101

22211012m n

i im m i i i n

i i i b b b Q x b x b x b b y y

y =-----=-∑∑==m b b b ,,,10 ⎪⎪

⎪⎩⎪⎪⎪

⎨

⎧==--=∂∂--=∂∂∑

∑

==n

i ij i i j

n i i i m

j x y y b Q

y y b Q

110

,,2,10)ˆ(2)ˆ(2 ⎪⎪⎪⎪

⎪⎪

⎩⎪⎪⎪⎪

⎪

⎪⎨⎧=⎪⎪⎭⎫

⎝⎛++⎪⎪⎭⎫ ⎝⎛+⎪⎪⎭⎫ ⎝⎛⎪⎪⎭⎫

⎝⎛=⎪⎪⎭

⎫ ⎝⎛++⎪⎪⎭⎫ ⎝⎛+⎪⎪⎭⎫ ⎝⎛+⎪⎪⎭⎫ ⎝⎛=⎪⎪⎭⎫

⎝⎛++⎪⎪⎭⎫ ⎝⎛+⎪⎪⎭⎫ ⎝⎛+∑

∑∑∑∑

∑

∑∑∑∑∑

∑∑∑==============n i i

im m n i im im n i i im n i i im n i im n i i i m n i im i n i i i n i i n

i i n i i m n i im n i i n i i y x b x x b x x b x x b x y x b x x b x x b x b x y b x b x b x nb 1121211101

111121211121011112121110