多元回归模型与回归方程

1 X11 X k1
1 X12 Xk2
1 Y1
X1n Y2
X kn
Yn
即：
XXˆ XY
（2.3.7）
由于 XX 满秩，故有
( X X ) 1 X Y
（2.3.8）
• 估计过程的矩阵表示：
对于模型(2.3.3)式有：
Y X
被解释变量的观测值与估计值之差的平方和为：
4. 对每一个自变量都要单独进行检验 5. 应用 t 检验统计量
回归系数的检验
(步骤)
1. 提出假设
H0： i = 0 (自变量 xi 与 因变量 y 没有线性关系) H1： i 0 (自变量 xi 与 因变量 y有线性关系)
2. 计算检验的统计量 t
3. 确定显著性水平，并进行决策
▪ t>t2，拒绝H0； t<t2，不拒绝H0
ˆ XXˆ )
0
ˆ
(YY
2(X'Y)'ˆ
ˆ XXˆ )
0
XY XXˆ 0
即得到
X Y X X
于是，参数的最小二乘估计值为：
( X X ) 1 X Y
多元回归方程及偏回归系数的含义
在经典回归模型的诸假定下，式（2.3.1）两边对 Y 求条
件期望得：
E(Yi | X1i , X 2i , , X ki ) 0 1 X 1i 2 X 2i k X ki
N ~ N (0, 2 I )
多元回归方程
(multiple regression equation)
1. 描述因变量 y 的平均值或期望值如何依赖 于自变量 x1， x2 ，…，xp的方程
2. 多元线性回归方程的形式为
3.
E( y ) = 0+ 1 x1 + 2 x2 +…+ p xp
▪ ，2，，p称为偏回归系数 ▪ i 表示假定其他变量不变，当 xi 每变
• 多元线性回归模型的一般形式为：
Yi 0 1 X 1i 2 X 2i k X ki i
i=1,2,…,n
(2.3.1)
其中：k 为解释变量的数目；
习惯上把常数项看成为一个虚变量的系数，在参数 估计过程中该虚变量的样本观测值始终取1。这样：
模型中解释变量的数目为（k+1）。
多元回归模型与回归方程
多元线性回归模型的形式
由于： 在实际经济问题中，一个变量往往受到多个原 因变量的影响；“从一般到简单”的建模思路。
所以： 在线性回归模型中的解释变量有多个，至少开 始是这样。这样的模型被称为多元线性回归模 型。
多元线性回归模型参数估计的原理与一元线性 回归模型相同，只是计算更为复杂。
p-1找出临界值F 4. 作出决策：若F>F ，拒绝H0
回归系数检验和推断
回归系数的检验
1. 线性关系检验通过后，对各个回归系数有选 择地进行一次或多次检验
2. 究竟要对哪几个回归系数进行检验，通常需 要在建立模型之前作出决定
3. 对回归系数检验的个数进行限制，以避免犯 过多的第一类错误(弃真错误)
Y X1 2X2
Model R2=.40 Effect of X1: p-value=.01
ry(1.2)=.25
= Error
= Collinearity between X1 and X2
continued...
பைடு நூலகம்
Collinear Predictors in Multiple Regression
(2.3.6)
解该（k+1）个方程组成的线性代数方程组，即可得 到 (k+1)个待估参数的估计值 j , j 0,1,2, , k 。
（2.3.6）的矩阵形式如下：
n
X1i
X1i
X
2 1i
X ki
X ki X 1i
X ki
X1i X
X
2 ki
ki
ˆ0 ˆ1
ˆk
回归系数的推断
(置信区间)
回归系数在(1-)%置信水平下的置信区
间为
ˆi t 2 (n p 1)sˆi
回归系数的
抽样标准差
建模案例
《全国味精需求量的计量经济模型》
1．依据经济理论选择影响味精需求量变化的因素
依据经济理论一种商品的需求量主要取决于四 个因素，即①商品价格，②代用品价格，③消费者 收入水平，④消费者偏好。模型为：
n
n
Q ei2 ( yi yi ) 2
i 1
i 1
e e (Y X) (Y X)
其中
e1
e
e2
en
根据最小二乘原理，参数估计值应该是下列方程组的解：
(Y
X)
(Y
X)
0
求解过程如下：
ˆ
(Y
ˆ X)(Y
Xˆ )
0
ˆ
(YY
ˆ XY
YXˆ
ˆ XXˆ )
0
ˆ
(YY
2Y'Xˆ
((ˆˆ00(ˆ0ˆˆ11XX1ˆ1i1i X1iˆˆ22i XXˆ222ii
X 2i ˆk ˆk X ki ˆk X ki
X ki ) ) X 1i ) X 2i
Yi Yi X 1i Yi X 2i
(ˆ0 ˆ1 X 1i ˆ2 X 2i ˆk X ki ) X ki Yi X ki
和(MSE)加以比较，应用 F 检验来分析二者 之间的差别是否显著
如果是显著的，因变量与自变量之间存在线性 关系
如果不显著，因变量与自变量之间不存在线性 关系
线性关系检验
1. 提出假设
H0：12p=0 线性关系不显著 H1：1，2， p至少有一个不等于0
2. 计算检验统计量F
3. 确定显著性水平和分子自由度p、分母自由度n-
（2.3.9）
称为多元回归方程（函数）。
多元回归分析（multiple regression analysis）是以 多个解释变量的固定值为条件的回归分析，并且所 获得的是诸变量X值固定时Y的平均值。各个i称为 偏回归系数（partial regression coefficients）。
偏回归系数的含义如下：
商品需求量 = f (商品价格，代用品价格，收入水平，消费者偏好)
动一个单位时，y 的平均变动值
二元回归方程的直观解释
二元线性回归模型
回归面
y
y 0 1x1 2x2
(观察到的y)
} 0
i
x2
(x1,x2)
x1
E( y) 0 1x1 2x2
估计的多元回归方程
估计的多元回归的方程
(estimated multiple regression equation)
i 1,2, , n
矩阵符号
3、 E( X T N ) 0 ，即
i E(i )
E
X 1i i
X
1i E(i
)
0
X Ki i X Ki E(i )
标量符号 4、（为了假设检验），随机扰动项服从正态分布
i ~ N (0, 2 ) i 1,2, , n
矩阵符号 4、向量 N 为一多维正态分布，即
估计标准误差 Sy
1. 对误差项的标准差 的一个估计值 2. 衡量多元回归方程的拟合优度 3. 计算公式为
3 显著性检验
1 线性关系检验 2 回归系数检验和推断
线性关系检验
线性关系检验
1. 检验因变量与所有自变量之间的线性关系是 否显著
2. 也被称为总体的显著性检验 3. 检验方法是将回归均方和(MSR)同离差均方
下，可以采用普通最小二乘法（OLS）估计参数。
关于经典回归模型的假定
标量符号 1、解释变量 X1, X 2 , , X k 是非随机的或固定的；而且各 X 之 间互不相关（无多重共线性(no multicollinearity)）
矩阵符号
1、 n (k 1) 矩阵 X 是非随机的；且 X 的秩 ( X ) k 1 ，此时 X T X 也是满秩的
i j
矩阵符号
2、 E(N ) 0, E(NN T ) 2 I
1 E(1 )
E(N ) E 0
n E(n )
1
E(NN T ) E
1
n
12
n
E
n
1
1 n 2
2 n
0
0
2 I
2
标量符号
3、解释变量与随机项不相关
Cov( X ji , i ) 0
rPerformance,Runtime = -0.98841
= Error = Collinearity
标量符号 2、随机误差项具有零均值、同方差及不序列相关
E(i ) 0
i 1,2, , n
Var ( i
)
E
(
2 i
)
2
i 1,2, , n
Cov(i , j ) E(i j ) 0
i=1,2,…,n
(2.3.3)
根据最小二乘原理，参数估计值应该是下列方程组的解：
其中
0
Q
0
1
Q
0
2
Q
0
k
Q
0
(2.3.4)
n
n
Q ei2 (Yi Yˆi )2
i 1
i 1
n
2
(Yi (ˆ0 ˆ1Y1i ˆ2Y2i ˆkYki ))
i 1
(2.3.5)
于是，得到关于待估参数估计值的正规方程组：
1度量着在X2,X3,…,Xk保持不变的情况下，X1 每变化1个单位时，Y的均值E(Y)的变化，或者说1 给出X1的单位变化对Y均值的“直接”或“净” （不含其 他变量）影响。