3 多元线性回归模型-2

1 Y1 X 1n Y2 Y X kn n
3、参数估计的矩阵表达式
ˆ X Y ○正规方程组的矩阵形式，即： (X X) β ˆ ( X X ) 1 X Y • 由于X'X满秩，故有：β ○将上述过程用矩阵形式表示为：
var( 1 ) cov( , ) n 1
cov( 1 , n ) 2 0 var( n )
0 2I 2
⑶序列不相关性假定：Cov ( i , j ) E ( i j ) 0 ⑷正态分布假定： i ~ N (0, 2 ) μ~ N (0, 2 I) ○向量 有一多维正态分布，即：
11 21 y1 k1 y 2 x x12 x 22 x k 2 y y x1n x 2 n x kn n
1 ˆ ˆ 2 β ˆ k
○样本回归函数（模型）的矩阵表达式:
ˆ Xβ ˆ Y
ˆ e Y Xβ
ˆ 0 ˆ ˆ β 1 ˆ k
1 2 n n 1
e1 e2 e e n
1 E ( 1 ) E (μ) E 0 E ( ) n n
1
12 n E n 1
1 n 2 n
i 1 i 1
n
n
i 1
2、普通最小二乘估计的矩阵表达式
⑴待估参数估计值的正规方程组为： ˆ ˆ X ˆ X ˆ X ) Y ( 0 1 1i 2 2i k ki i ˆ ˆ X ˆ X ˆ X ) X Y X ( 0 1 1 i 2 2 i k ki 1i i 1i ˆ ˆ X ˆ X ˆ X ) X Y X ( 0 1 1i 2i 2i k ki 2i i 2i
○于是得到参数估计值： ˆ 0.7226 0.0003 15674 1 ˆ β 0.0003 1.35 E 07 39648400 ˆ 2
103 .172 0.7770
ˆ ˆ ˆ ˆ ( 0 1 X 1i 2 X 2 i k X ki ) X ki Yi X ki
○解该方程组，即可得到 k+1个待估参数的估计值。 ⑵正规方程组的矩阵形式：
n X 1i X ki
2、矩阵表达式
⑴用来估计总体回归函数的样本回归函数为： ˆ ˆ X ˆ X ˆ X ˆ Y i 0 1 1i 2 2i ki ki ˆ ˆ X ˆ X ˆ X e ○其随机表示式: Yi 0 1 1i 2 2i ki ki i ○ ei称为残差或剩余项(residuals)，可看成是总体回归函数 中随机扰动项i的近似替代。 ⑵总体回归模型n个随机方程的矩阵表达式为: Y X β μ
2、解释变量假定
⑴解释变量是非随机的或固定的，且各X之间互不相关 （无多重共线性）。即：n(k+1)矩阵X是非随机的， 且X的秩=k+1，即X满秩。 ⑵解释变量与随机项不相关 Cov ( X ji , i ) 0 j 1,2, k ○ E(X')=0，即：
i E ( i ) X 1i i X 1i E ( i ) E 0 X X E ( ) Ki i Ki i
*二、最大或然估计（ML）
○对于多元线性回归模型 Yi 0 1 X 1i 2 X 2 i k X ki i ○易知 Yi ~ N (X i β , 2 ) ，Y随机抽取的n组样本观测值的联合概率
○即求解方程组：
ˆ X Y Y Xβ ˆ β ˆ X Xβ ˆ)0 ˆ ˆ (Y Y β ( Y Xβ) ( Y Xβ) 0 ˆ ˆ β β
ˆ β ˆ X Xβ ˆ) 0 ( Y Y 2Y Xβ ˆ β
ˆ 0 XY XXβ ˆ ○得到： X Y X Xβ ˆ ( X X) 1 X Y ○于是有：β
○在离差形式下，参数的最小二乘估计结果为 ˆ Y ˆ X ˆ X ˆ (x x) 1 x Y β 0 1 1 k k
6、随机误差项的方差的无偏估计
○可以证明，随机误差项的方差的无偏估计量为：
e e ˆ n k 1 n k 1
2
e
2 i
4、案例分析
○案例3.2.1：在例2.1.1的家庭收入-消费支出中，
X1 X i 10 X2 n 21500 1 1 ' ( X X) 2 X X X X 21500 53650000 i i 2 1 Xn Y1 1 1 Y2 Yi 15674 1 X Y X 1 X 2 X n X i Yi 39468400 Y n 0.0003 0.7226 1 ○可求得： ( X X) 0.0003 1.35 E 07 1 1 1 Xn 1
1 1 X 1 X 11 X 12 X 1n X 21 X 22 X 2n X k1 X k2 X kn n ( k 1 )
0 1 μ β 2 k ( k 1)1
第三章 经典单方程计量经济学模型： 多元线性回归模型
• • • • • • 多元线性回归模型 多元线性回归模型的参数估计 多元线性回归模型的统计检验 多元线性回归模型的预测 多元回归模型的其他形式 回归模型的参数约束
§3.1 多元线性回归模型
一、多元线性回归模型
二、多元线性回归模型的基本假定
一、多元线性回归模型
5、离差形式的普通最小二乘估计
ˆ ⑴对于正规方程组 XY XXβ
ˆ X e X Xβ ˆ X Xβ
Hale Waihona Puke ○于是有： Xe 0(*) ，或者：
e
i
i
0
ji i
X
e 0
(**)
○(*)或（**）是多元线性回归模型正规方程组的另一种写法 ⑵样本回归模型的离差形式： ˆ x ˆ x ˆ x e i=1,2…n yi 1 1i 2 2i k ki i ˆ e ○其矩阵形式为：y xβ x x x ˆ ○其中 ：
3、其他假定
○同一元回归一样，多元回归还具有如下两个重要假设： ⑴样本容量趋于无穷时，各解释变量的方差趋于有界常数（该 假定是为了避免产生伪回归问题），即n∞时，有： 1 1 1 2 2 x ji ( X ji X j ) Q j xx Q n n n ○其中：Q为一非奇异固定矩阵，矩阵X是由各解释变量的离 差为元素组成的nk阶矩阵：
X X

1i 2 1i

X X X
ki
X
ki
X 1i
ˆ 1 0 ˆ X 11 1i ki 1 2 X ˆ X ki k k1
1 X 12 X k2
–
–
在非经典模型中多应用ML或者MM
在本节中， ML与MM为选学内容
一、普通最小二乘估计
△ △ △ △ △ △ 普通最小二乘估计 普通最小二乘估计的矩阵表达式 参数估计的矩阵表达式 案例分析 离差形式的普通最小二乘估计 随机误差项的方差的无偏估计
1、普通最小二乘估计
○对于随机抽取的n组观测值： (Yi , X ji ), i 1,2, , n, j 0,1,2, k ○如果样本函数的参数估计值已经得到，则有： ˆ ˆ X ˆ X ˆ X ˆ i=1,2…n Y i 0 1 1i 2 2i ki Ki ○根据最小二乘原理，参数估计值应该是一阶条件正规方程组 的解，即： Q0
△ 多元线性回归模型 △ 回归模型的矩阵表达式
1、多元线性回归模型
⑴多元线性回归模型:表现在线性回归模型中的解释变量有多 个。一般表现形式为： Yi 0 1 X 1i 2 X 2 i k X ki i i=1,2…,n ○其中:k为解释变量的数目，i称为回归参数（regression coefficient）。而习惯上：把常数项看成为一虚变量的系 数，该虚变量的样本观测值始终取1。于是：模型中解释变 量的数目为（k+1）。所以，上式也被称为总体回归函数的 随机表达形式。 ⑵它的非随机表达式即：总体回归函数为： E(Yi | X 1i , X 2i , X ki ) 0 1 X 1i 2 X 2i k X ki ○表示：各变量Xi值固定时Y的平均响应。 ○ i也被称为偏回归系数，表示在其他解释变量保持不变的情 况下，Xi每变化1个单位时，Y的均值E(Y)的变化； ○或者说i给出了Xi的单位变化对Y均值的“直接”或“净” （不含其他变量）影响。
x11 x x 1n

x k1 x kn
⑵假定回归模型的设定是正确的。
§3.2 多元线性回归模型的估计
一、普通最小二乘估计
*二、最大或然估计
*三、矩估计 四、参数估计量的性质 五、样本容量问题 六、案例分析
说
明
估计方法主要有三大类方法：OLS、ML或者MM – 在经典模型中多应用OLS
二、多元线性回归模型的基本假定