多元线性回归模型公式

二、多元线性回归模型
在多要素的地理环境系统中,多个(多于两个)要素之间也存在着相互影响、相互关联的情况。

因此,多元地理回归模型更带有普遍性的意义。

（一）多元线性回归模型的建立
假设某一因变量y 受k 个自变量k x x x ,...,,21的影响,其n 组观测值为(ka a a a x x x y ,...,,,21),n a ,...,2,1=。

那么,多元线性回归模型的结构形式为:
a ka k a a a x x x y εββββ+++++=...22110(3、2、11)
式中:
k βββ,...,1,0为待定参数; a ε为随机变量。

如果k b b b ,...,,10分别为k ββββ...,,,210的拟合值,则回归方程为
ŷ=k k x b x b x b b ++++...22110(3、2、12)
式中:
0b 为常数;
k b b b ,...,,21称为偏回归系数。

偏回归系数i b (k i ,...,2,1=)的意义就是,当其她自变量j x (i j ≠)都固定时,自变量i x 每变化一个单位而使因变量y 平均改变的数值。

根据最小二乘法原理,i β(k i ,...,2,1,0=)的估计值i b (k i ,...,2,1,0=)应该使
()[]min (2)
1
2211012
→++++-=⎪⎭⎫
⎝⎛-=∑∑==∧
n a ka k a a a n
a a a x
b x b x b b y y y Q (3、2、13)
有求极值的必要条件得
⎪⎪⎩⎪⎪⎨⎧==⎪⎭⎫ ⎝⎛--=∂∂=⎪⎭⎫
⎝⎛--=∂∂∑∑=∧=∧n a ja a a j
n a a a k j x y y b Q y y b Q 110)
,...,2,1(0202(3、2、14) 将方程组(3、2、14)式展开整理后得:
⎪⎪⎪⎪⎪⎩⎪⎪⎪⎪⎪
⎨⎧
=++++=++++=++++=++++∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑===================n
a a ka k n a ka n a ka a n a ka a n a ka n a a
a k n a ka a n a a n a a a n
a a n
a a
a k n a ka a n a a a n a a n a a n
a a
k n a ka n a a n a a y x b x b x x b x x b x y x b x x b x b x x b x y x b x x b x x b x b x y b x b x b x nb 11221211101
1
212212
2112101
21111212111210111
12121110)(...)()()(...)(...)()()()(...)()()()(...)()( (3、2、15) 方程组(3、2、15)式,被称为正规方程组。

如果引入一下向量与矩阵:
⎪⎪⎪⎪⎪⎪⎭
⎫ ⎝⎛=⎪
⎪⎪⎪
⎪⎭
⎫
⎝⎛=⎪⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=kn n n k k k n k x x x x x x x x x x x x X y y y Y b b b b b ...
1..................1...1...1,...
, (2132313)
222121********* ⎪⎪⎪
⎪⎪⎪
⎭
⎫
⎝⎛⎪⎪⎪⎪⎪⎪⎭⎫ ⎝⎛==kn n n
k k k kn k k k n n T x x x x x x x x x x x x x x x x x x x x x x x x X X A (1)
..................1...1 (1)
...
......
...
............1 (111)
2132313222121211132
1
2232221
1131211
⎪⎪⎪
⎪⎪⎪⎪⎪⎪⎪⎪
⎭
⎫ ⎝⎛=∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑===============n a ka n a ka a n a ka a n a ka n
a ka a n a a
n a a a n
a a n
a ka a n a a a n a a n
a a n
a ka n
a a
n
a a x x x x x x x x x x x x x x x x x x x x x n 12
12111
1
212
2121121
112112
11111211...........................
⎪⎪⎪
⎪⎪⎪
⎪⎪⎪⎪⎪
⎭
⎫
⎝⎛=⎪⎪⎪⎪⎪⎪⎭⎫ ⎝⎛⎪⎪⎪⎪⎪⎪⎭⎫ ⎝⎛==∑∑∑∑====n a a ka n a a a n a a a n a a n kn k k k n n T y x y x y x y y y y y x x x x x x x x x x x x Y X B 11
21
1132132122322211131211..............................1 (111)
则正规方程组(3、2、15)式可以进一步写成矩阵形式
B Ab =(3、2、15’)
求解(3、2、15’)式可得:
Y X X X B A b T T 11)(--==(3、2、16)
如果引入记号:
),...,2,1,())((1
k j i x x x x L L n
a j ja i ia ji ij =--==∑=
),...,2,1())((1
k i y y x x L n
a a i ia iy =--=∑=
则正规方程组也可以写成:
⎪⎪⎪⎩⎪
⎪⎪⎨
⎧----==+++=+++=+++k
k ky
k kk k k y k k y k k x b x b x b y b L
b L b L b L L b L b L b L L b L b L b L ........................2211022112222212111212111(3、2、15’’) （二）多元线性回归模型的显著性检验
与一元线性回归模型一样,当多元线性回归模型建立以后,也需要进行显著性检验。

与前面的一元线性回归分析一样,因变量y 的观测值n y y y ,...,,21之间的波动或差异,就是由两个因素引起的,一就是由于自变量k x x x ,...,,21的取之不同,另一就是受其她随机因素的影响而引起的。

为了从y 的离差平方与中把它们区分开来,就需要对回归模型进行方差分析,也就就是将y 的离差平方与T S 或(L yy )分解成两个部分,即回归平方与U 与剩余平方与Q:
Q U L S yy T +==
在多元线性回归分析中,回归平方与表示的就是所有k 个自变量对y 的变差的总影响,它可以按公式
∑∑==∧
=-=k
i iy i n
a a L
b y y U 1
2
1
)(
计算,而剩余平方与为
U L y y Q yy n
a a a -=-=∑=∧
2
1
)(
以上几个公式与一元线性回归分析中的有关公式完全相似。

它们所代表的意义也相似,即回归平方与越大,则剩余平方与Q 就越小,回归模型的效果就越好。

不过,在多元线性回归分析中,各平方与的自由度略有不同,回归平方与U 的自由度等于自变量的个数k,而剩余平方与的自由度等于1--k n ,所以F 统计量为:
)
1/(/--=
k n Q k
U F
当统计量F 计算出来之后,就可以查F 分布表对模型进行显著性检验。