多元回归分析

β1
β2 )
T
经计算
156.8 T X Y = 11188.2 , 10058
65 505 10 T X X = 65 505 4355 505 4355 39973
1.33 T 1 T B = ( X X ) X Y = 3.46 0.11
X 0 = (1, x 01 , x02 , L , x0 k ) ,有
y0 = X 0 B + ε 0 记预测误差 e0 = y 0 y 0
y0 = X 0 B
T e0 ~ N 0, σ 2 1 + X 0 ( X T X ) 1 X 0 可以证明
(
(
))
且e0 与 Qe 相互独立.于是
其矩阵形式为 解得
X T XB = X T Y
= ( X T X ) 1 X T Y B
所以多元线性回归方程的矩阵形式为
Y = XB = X ( X T X ) 1 X T Y
2． 的无偏估计 σ
2
和一元线性回归类似有平方和分解
ST = ∑ ( yi y ) = ∑ ( yi yi )
检验假设
H 0 : β1 = β 2 = L = β k = 0 H 1 : β 1 , β 2 , L, β k 不全为零
由平方和分解
S T = ∑ ( y i y ) 2 = ∑ ( y i y i ) 2 + ∑ ( y i y ) 2 = S 残 + S回
i =1 i =1 i =1
所以 y 0 的 1 α 置信区间为
(
T 0 ± σ tα / 2 (n k 1) X 0 ( X T X ) 1 X 0 y
)
可以通过增大样本容量n或增大样本观测值的范围 的办法提高多元线性回归模型的预测精度
例６ 观测落叶松的树龄 x(年)与高度 y(m)有如下资料:
x 2 3 4 5 6 7 8 9 10 11 y 5.6 8 10.4 12.8 15.3 17.8 19.9 21.4 22.4 23.2
n
n
n
构造统计量
F=
S回 / k S 残 /(n k 1)
可以证明, 当 H 0成立时 F ~ F ( k , n k 1)
所以对给定的显著性水平 α (0 < α < 1)
H 0 的拒绝域为 F ≥ Fα (n k 1)
4.多元线性回归系数的显著性检验( 检验 4.多元线性回归系数的显著性检验(t检验) 多元线性回归系数的显著性检验 检验)
n = 10, k = 2
1 1 1 1 1 1 1 1 1 1 X = 2 3 4 5 6 7 8 9 10 11 4 9 16 25 36 49 64 81 100 121
T
Y = (5.6 8 10.4 12.8 15.3 17.8 19.9 21.4 22.4 23.2)
T
B = (β 0
分别求 Qe 关于 β 0 , β 1 , L , β k 的偏导数,并令其为零
Qe β 0
B=B
Qe =L= β k
=0
B=B
整理得正规方程组
n n n nβ 0 + β 1 ∑ xi1 + L + β k ∑ xik = ∑ y i i =1 i =1 i =1 n n n n β 0 ∑ xi1 + β 1 ∑ xi2 + L + β k ∑ xi1 xik = ∑ xi1 y i 1 i =1 i =1 i =1 i =1 LL n n n n 2 β 0 ∑ xik + β 1 ∑ xik xi1 + L + β k ∑ xik = ∑ xik y i i =1 i =1 i =1 i =1
2 i =1 i =1
n
n
2
+ ∑ ( yi y ) = Qe + S回
2 i =1
n
而
σ
Qe
2
~ χ (n k 1)
2
从而
Qe E 2 = n k 1 σ
Qe E =σ 2 n k 1
=> σ 2 的无偏估计为
Qe σ = n k 1 与一元线性回归相比, k 元线性回归的参数估计量也
≥ tα / 2 (n k 1)
5．预测
（1）回归系数的置信区间
βi βi ti = ~ t (n k 1) cii σ
=> β i 的 1 α 置信区间为
(β
i
± σ cii tα / 2 (n k 1)
)
（2）y 0 的置信区间 对于 X = ( x1 , x 2 , L , x k ) T的一个观测值
=>回归方程为
= 1.33 + 3.46 x 0.11x 2 y
(2)检验假设 (2)检验假设
H 0 : β1 = β 2 = 0,
检验统计量 F 的值
H 1 : β 1 , β 2 不全为零
1 10 i y) 2 ∑(y S回 / k 2 i =1 F= = 10 = 997.9 S 残 （n k 1) 1 / ( yi yi ) 2 ∑ 7 i =1 而 Fα (k , n k 1) = F0.05 (2,7) = 4.74
997.9 > 4.74 所以拒绝 H 0 ,即认为 y 对 x 的回归方程是显著的
Thank you
多元回归分析
§3 多元线性回归
设随机变量 y 与 x1 , x 2 , L , x k 之间呈线性相关 关系, 则
其中 机误差. 称方程
是 k + 1 个未知参数, ε 是随
为多元线性回归方程
如果我们获得了n组观察数据 则有
( xi1 , xi 2 , L, xik , y i )(i = 1,2, L, n)
y0 y0
σ X 0 (X X ) X
T 1
T 0
~ N (0,1)
所以
t=
T ( y 0 y 0 ) σ X 0 ( X T X ) 1 X 0
Qe
~ t (n k 1)
σ
2
(n k 1)
即
t=
( y0 y0 ) σ X 0 (X X ) X
T 1 T 0
~ t (n k 1)
(n k 1)
选取检验统计量 其中
t=
βi σ cii
σ=
Qe = n k 1
i )2 ∑ ( yi y
i =1
n
n k 1
则当 H 0 成立时 t ~ t ( n k 1) 故对给定的显著性水平 α (0 < α < 1) , 假设检验问 题的拒绝域为
t =
βi σ cii
2
有类似的性质.例如: β 0 , β 1 ,L, β k 都是 y1 , y 2 , L , y n
的线性组合; β 0 , β 1 ,L, β k 分别是 β 0 , β 1 , L , β k
的无偏估计; B ~ N ( B, σ 2 ( X T X ) 1 ) 等
3.多元线性回归方程的显著性检验( 检验 3.多元线性回归方程的显著性检验(F检验) 多元线性回归方程的显著性检验 检验)
如果 y 与 x 的关系为抛物线
y = β 0 + β 1 x + β 2 x 2 + ε ε ~ N (0, σ 2 ) + β x + β x2 （1）试求回归方程 y = β 0 1 2
（2）检验回归方程的显著性 (α = 0.05)
解
(1) 令
x1 = x,
x2 = x 2 ,
y = β 0 + β1 x1 + β 2 x2 + ε
多元线性回归系数的显著性假设检验,是对每一个变量
xi 在线性回归方程中的作用进行检验,如果 xi 对 y 的作
用不显著,则它的系数 β i 就可以取值为0. 因此检验变量 xi 是否显著等价于检验假设
H0 : βi = 0
H1 : β i ≠ 0
Qe
σ
记 则
2
~ χ (n k 1) ,且 Qe 与 β i 独立. 另一方面
2
~ N ( B , σ 2 ( X T X ) 1 ) B
(X X )
T
1
= (cij ) ( k +1)×( k +1)
β i ~ N ( β i , σ 2 cii )
( β i β i ) σ cii Qe
2
所以
(
) ~ t (n k 1)
即
σ βi βi ~ t (n k 1) σ cii
基本假设 (1) x1 , x 2 , L , x k是确定性变量, 且 rank ( X ) = k + 1 < n (2)ε 1 , ε 2 , L , ε n 相互独立,ε i ~ N (0, σ 2 ) 即
ε ~ N (0, σ 2 I n )
其中 I n 是 n 阶单位方阵
1．最小二乘估计
用最小二乘法估计回归参数 β 0 , β 1 , L , β k 考虑
Qe = Q( β 0 , β1 , L , β k )
= ∑ ( yi β 0 β1 xi1 L β k xik )
使
i= i =1

n
2
Q( β 0 , β 1 , L, β k ) = min Q( β 0 , β 1 , L, β k )
y i = β 0 + β 1 xi1 + β 2 xi 2 + L + β k xik + ε i , i = 1,2, L , n
矩阵形式 其中
Y = XB + ε