多元线性回归分析简介

二、参数0 , 1, , p , 2的估计
普通最小二乘估计(OLSE)
定义离差平方和
Q( 0 , 1 , ,p) ˆ ( yi 0 1 xi1
i 1 n
p xip )2
采用最小二乘法估计 0 , 1 ,
, p 的准则是：
ˆ , ˆ, 寻找 0 1
ˆ , ˆ, Q( 0 1
ˆ ，使 , p
ˆ ) min Q ( , , p 0 1
0 , 1 , , p
,p)
定理 4.1＇在 p 元回归分析问题中， 的最小
1 ˆ 二乘估计量为 X X X Y 。
误差方差的估计： 1 2 ˆ , ˆ , , ˆ ˆ Q 0 1 p n
的相关关系为 Y 0 1x
~ N 0, 2 。对自变量作变换 x j x j , j 1,2,
由此即得 Y 0 1 x1 线性回归分析问题。
p xp ，这是一个 p 元
（ xi1 ,
ˆ ) e 2 从整体上刻化了 n 组样本观测值 , i p
i 1
n
, xip , yi ） （ i 1,2, , n ）到回归平面
ˆ x 的距离的大小。 p p
ˆ ˆx y 0 1 1

一元回归分析中的结论全部可以推广到多 元的情形中来。
ˆ 服从 p+1 维正态分 定理 4.2＇ 在 p 元回归分析问题中， （1）
xt
2
xt
3
1 x t x x et x ln t t
2．因变量是一个随机变量，对其作变换可能会 导致它的分布改变，故需要慎重对待。
3．在实际工作中，也常常对回归函数 y f x 中 的自变量和因变量同时作变换，以便使它成为一 个线性函数。常用形式有以下六种：
1 b 1 1 （1）双曲线： a ，作变换 u , v ，得 y x y x
得线性函数 u a bv 。
四、多项式回归问题

上述做法都是把一个非线性回归分析问题 变换成一元线性回归分析问题，有时也可 以把它变成多元线性回归分析问题。最常 见的一种情形是多项式回归问题。
即回归函数 y f x 是一个多项式：
y 0 1x
p x p , p 2 ，自变量与因变量之间 p x p ，其中 ,p
布，它的均值向量为 ，协方差矩阵为 （2）
2
X X

1
，
1

ˆ , ˆ, Q 0 1 2

ˆ , p

ˆ2 n
2
ˆ 2 n p 1 2 ~ n p 1 2

ˆ 与 ˆ 2 ）相互独立。 ˆ 2 （或 （3）
定理 4.3＇ 在 p 元回归分析问题中，最小二乘
p ˆ ˆx y 0 j j j 1 ˆ ˆ , ˆ, l1 y ，且 Q 1 0 1 1 L l ˆ py p

ˆ l , ˆ jl jy p yy
一、多元线性回归的估计和检验
在实际问题中，往往要考虑多个自变量与一个 因变量之间的相关关系．例如，一个人的身高 不仅受到父亲身高的影响，还受到母亲等其他 直系长辈的影响．
一般地，我们需要研究 p 个自变量 x1 ,
, xp 与
因变量 Y 之间相关关系的数量表示。假定自变 量 x1 ,
, x p 与因变量 Y 的均值 E Y
定义：
动情况 回归平方和：SSR=
2 ˆ ( y y )在 SS 中能用自变量解释的部分。 残差平方和： SSE=
2 2 ˆ ( y y ) e i i i ，由自变量之外
未加控制的因素引起的，是 SS 中不能由自变量解释的部分。
p xp ，其中随机误差项
p x p , 2
~ N 0, 2 。于是， Y ~ N 0 1 x1
其中 0 , 1,
, p , 2 均未知， , p , 2 0 。
0 , 1,
一、多元线性回归模型的一般形式
维空间中的一个超平面（经验回归平面） 。
引进矩阵的形式：
1 x11 y1 1 x y 21 2 设 y ， X y n 1 xn1
x1 p 1 x2 p 2 ， ， xnp n
1 作变换 u ln y, v , c ln a 得线性函数 u c bv 。 x
b x
（5）对数函数： y a b ln x ，作变换 v ln x ， 得线性函数 y a bv 。
1 1 x u , v e （6）s 型曲线： y ，作变换 ， x a be y
1 n x j xij , j 1, n i 1
n
1 n , p; y yi n i 1 ,p
l jk ( xij x j )( xik xk ), j, k 1,
i 1 n
l jy ( xij x j )( yi y ), j 1,
n。
回归分析的主要任务是通过 n 组样本观测值
x
i1
,
, xip ; yi , i 1,2, , n ，对 0 , 1 ,
, p 的估计值。
p 进行估计。一般用
ˆ 表示 , j 0,1, j j
称
ˆ ˆx y 0 1 1
ˆ x p p
为 y 关于 x 的多元线性经验回归方程（函数） ，它表示 p+1


ˆ , p
ˆ
2
1 ˆ , ˆ, Q 0 1 n p 1


当 n 较小时
称
ˆ ˆx ˆi y 0 1 i1
ˆ x p ip
ˆ i 为 yi 的残差（ i 1,2, , n ） 为 y i 的回归拟合值， ei y i y ， ˆ , ˆ, Q( 0 1
2 设 1 , 2 , , n 相 互 独 立 ， 且 i ~ N (0, ) ，
（ i 1, , n ） ，由此可得： y1 , y 2 , , y n 相互独立，且
y i ~ N ( 0 1 xi 1
p xip , 2 ) ， （ i 1, , n ）
Y 0 1x1
多元线性回归方程为：
p xp
E ( y ) 0 1 x1
pxp
当对Y与X进行n次独立观测后,可取得n 组观测值
( xi1,
xip , yi ), i 1,2,
,n
于是
有 Yi 0 1xi1
p xip i ， i 1,
0 , 1 ,
p

则多元线性回归模型可表示为：
y X
E ( ) 0 G M 条件 2 Var ( ) In
其中 I n 为 n 阶单位阵。
ˆ , ˆ, 为了得到 0 1
一步的假设（强假设）
ˆ 更好的性质，我们对 给出进 , p
ˆ 是 的无偏估计， j 0,1, 估计量 j j
是 2 的无偏估计。
ˆ 2 , p ；
ˆ j 0,1, 最小二乘估计量 j
, p 都是样本 Y1 ,
, Yn
的线性函数，因此它们都是线性估计。高斯-马尔科夫 证明了最小二乘估计具有下列优良性质。
定理 4.6 在 p 元回归分析问题中，对任意的已知 常数 a0 , a1 ,
j 1

p
三、回归方程的显著性检验---F 检验 在 p 元回归分析问题中，回归系数的显著性检验 问题是要检验 ：
H0 : 1
p 0

F-检验是根据平方和分解公式，直接从 回归效果来检验回归方程的显著性。和 一元情形类似
总（离差）平方和：SS=
2 ( y y ) ,反映了因变量 y 的波 i
有平方和分解公式 SS=SSR+SSE
定理 4.5＇在 p 元回归分析问题中， SSR 与 SSE 相互独立， 且
1
2
SS E ~ 2 (n p 1) ；在原假设 H 0 成立时，有
1
2
SS R ~ 2 ( p ) 。
H 0成立时 SS R / p F(p,n-p-1) SS E / n p 1
i 1 n
,p
l yy ( yi y )2
i 1
l11 记矩阵 L l p1
于是， 0 , 1 ,
l 11 l1 p 1 L p1 l pp l
l 1 p l pp
, p 的最小二乘估计为
因此取检验统计量 F=
给定显著性水平 ，当 F F1 ( p , n p 1) 时，拒绝 H 0 。
p元线性回归方差分析表 方差来源 平方和 自由度 回归系数 残差 总和 SS R SS E SS p 均方和 SS R MS R p F值 MS R MS E
SSe n p 1 MS E n p 1 n 1
ˆ 总是待估函数 a , ap ， a j j j j
j 0 j 0
p
p
的最优线性无偏估计量。 由此可知：
定理 4.4＇ 在 p 元回归分析问题中，最小二乘
ˆ 是 的最优线性无偏估计量， 估计量 j j
j 0,1, ,p。
一些有用的计算公式，类似于一元回归分析问题。 记