计量经济学3.1 矩阵基础及多元线性回归模型

27
一、多元线性回归模型
多元线性回归模型: 多元线性回归模型: 有多个解释变量的线性回归模型。 也称为多变量线性回归模型 多变量线性回归模型。 多变量线性回归模型 总体回归函数： 总体回归函数： E (Y | X 1i , X 2i , X ki ) = β 0 + β1 X 1i + β 2 X 2i + + β k X ki 意为：给定X1,X2,…,Xk的值时Y的期望值。 意为：给定 的值时 的期望值。 的期望值 增加随机干扰项的随机表达式： 增加随机干扰项的随机表达式：
20
正定和半正定矩阵
令A为n×n对称矩阵。 (1) 如果对除x=0外的所有n×1向量x，都有x’Ax>0，则 称A为正定 正定的。 正定 (2)如果对除x=0外的所有n×1向量x，都有x’Ax≥0，则 半正定的。 称A为半正定 半正定 正定和半正定矩阵的性质： 正定和半正定矩阵的性质： (1) 正定矩阵的主对角元素都严格为正，半正定矩阵 的主对角元素都非负； (2) A是正定的，则A-1存在并正定； (3) 如果X是一个n×k矩阵，则X’X和XX’都是半正定 的；
则 why?
23
方差-协方差矩阵 方差 协方差矩阵
如果y是一个n×1随机向量，用var(y)（或cov-var(y)）表示的y 的方差 协方差矩阵 方差-协方差矩阵 方差 协方差矩阵定义为：
其中σj2=var(yj), σij=var(yi, yj) 显然， σij=var(yi,yj) =var(yj,yi)=σji，故var(y)对称。
1 2 μ= n n×1
则有，总体回归方程的矩阵表示为： 则有，总体回归方程的矩阵表示为：
Y = X β+ μ
31
样本回归函数
样本回归函数： 样本回归函数：根据样本估计的总体回归函数
Yi = β 0 + β 1 X 1i + β 2 X 2i + + β ki X ki
Step4:
18
向量组的线性相关
(1) 令 x1, x2,…, xr是一组维数相同的向量，若存在不 是一组维数相同的向量， 全为零的实数α 全为零的实数α1, α2, …, αr使得
则称向量组{x 则称向量组 1, x2,…, xr}是线性相关的； 是线性相关的 否则， 否则，称{x1, x2,…, xr}是线性无关的。 是线性无关的
其随机表示式: 随机表示式:
Yi = β 0 + β 1 X 1i + β 2 X 2i + + β ki X ki + ei
ei称为残差或剩余项 称为残差 剩余项(residuals)，可看成是总 残差或 ， 的近似替代。 体回归函数中随机扰动项i的近似替代。
32
样本回归模型的n个随机方程（ 样本回归模型的 个随机方程（1） 个随机方程
，A的行列式，记
12
例：求下列矩阵A的行列式 求下列矩阵 的行列式
解： 根据行列式定义，可得： 根据行列式定义，可得：
因此， 因此， |A|=21-4+16-10+15-42= - 4
13
求方阵的逆矩阵（ ） 求方阵的逆矩阵（1）
余子式： 将n×n的方阵 的第i行和第 列去掉，所剩下 余子式： × 的方阵A的第 行和第j列去掉， 的方阵 的第 行和第 列去掉 的子矩阵的行列式叫做元素a 的余子式，记为|M 的子矩阵的行列式叫做元素 ij的余子式，记为 ij| 例如： 例如：
14
求方阵的逆矩阵（ ） 求方阵的逆矩阵（2）
余因子(代数余子式 ： 将n×n的方阵 的元素aij 余因子 代数余子式)： 的方阵A的元素 代数余子式 的方阵 的元素 的余因子，记为c 的余因子，记为 ij ，定义为 cij =(-1)i+j|Mij| 余因子矩阵： 方阵A的元素 的元素a 余因子矩阵： 将方阵 的元素 ij代之以其余因 则得到A的余因子矩阵 记为cof 。 的余因子矩阵， 子，则得到 的余因子矩阵，记为 A。 伴随矩阵：余因子矩阵的转置矩阵称为 的伴 伴随矩阵：余因子矩阵的转置矩阵称为A的伴 随矩阵，记为adj A 随矩阵，记为 15 adj A=(cof A)’
10
矩阵逆的性质
(1) 如果一个矩阵的逆存在，则它是唯一的 如果一个矩阵的逆存在， (2) 若α≠ 且A可逆，则 α≠0且 可逆 可逆， (3) 如果 和B都是 ×n可逆矩阵，则 如果A和 都是 都是n× 可逆矩阵 可逆矩阵，
(4)
11
矩阵的行列式
给定一个n×n的方阵 为|A|，定义为：
|A|=Σ(-1)ta1p1a2p2…anpn 其中，t为p1p2….pn的逆序数。
α和β是实数，矩阵A、B、C具有运算所需的维数
7
矩阵的转置、 矩阵的转置、对称矩阵
矩阵A的行与列互换 行与列互换称为A的转置矩阵 转置矩阵，用A’表示 行与列互换 转置矩阵 转置矩阵的性质：
x是n×1维向量
一个方阵A是对称矩阵 对称矩阵的充要条件A=A’ 对称矩阵
8
迹
对任意一个n×n的矩阵 ，A的迹 对任意一个 的矩阵A， 的迹tr(A)定义为 定义为 的矩阵 的迹 其主对角线元素之和。 其主对角线元素之和。 迹的性质： 迹的性质：
29
总体回归模型的n个随机方程（ 总体回归模型的 个随机方程（1） 个随机方程
若有n组观测值，则可得n个联立方程：
Y1 = β 0 + β1 X 11 + β 2 X 21 + β1 X k1 + u1
Y2 = β 0 + β1 X 12 + β 2 X 22 + β 1 X k 2 + u 2
21
幂等矩阵 令A为n×n对称矩阵。如果AA=A，则称 幂等矩阵。 A是幂等矩阵 幂等矩阵
幂等矩阵的性质： 幂等矩阵的性质： 令A为n×n幂等矩阵 为 × 幂等矩阵 (1) rank(A)=tr(A) (2) A是半正定的。 是半正定的。 是半正定的
22
矩阵微分
(1) 对于一个给定的n×1向量a，对所有n×1向量x，定义线性函 数 f(x)= a’x，则f 对x的导数是1×n阶偏导数向量a’，即： why? (2) 对一个n×n的对称矩阵A，定义 n n A
…… Yn = β 0 + β1 X 1n + β 2 X 2 n + β1 X kn + un
令
1 1 X = 1 X 11 X 12 X 1n X 21 X 22 X 2n X k1 X k2 X kn n × ( k +1 )
β 0 β 1 β= β 2 β k ( k +1)×1
24
第三章 经典单方程计量经济学模 型：多元回归
多元线性回归模型 多元线性回归模型的参数估计 多元线性回归模型的统计检验 多元线性回归模型的预测 回归模型的其他形式 回归模型的参数约束
25
§3.1 多元线性回归模型
一、多元线性回归模型 二、多元线性回归模型的基本假定
26
多元线性回归模型的引入 多元线性回归模型的引入
3
对角矩阵、 对角矩阵、单位矩阵和零矩阵
零矩阵 对角矩阵 单位矩阵
4
矩阵的运算
加法： 加法：
数乘： 数乘：
两矩阵相乘： 两矩阵相乘：
A为m×n阶矩阵 为 × 阶矩阵 B为n×p阶矩阵 为 × 阶矩阵
5
矩阵运算的性质（ ） 矩阵运算的性质（1）
α和β是实数，矩阵A、B、C具有运算所需的维数
6
矩阵运算的性质（ ） 矩阵运算的性质（2）
19
矩阵的秩
是一个n× 的矩阵 的矩阵， 令A是一个 ×m的矩阵，则A中线性无关的最 是一个 中线性无关的最 向量称为A的 即为rank(A)。 大列向量称为 的秩，即为 。 若rank(A)=m，则称为列满秩 ， 秩的性质： 秩的性质： (1) 行秩＝列秩 行秩＝列秩=rank(A) (即： rank(A’)=rank(A)) 即 (2) 如果 是一个 ×k矩阵，则 如果A是一个 是一个n× 矩阵 矩阵， rank(A)≤min(n,k) ≤
Yi = β 0 + β 1 X 1i + β 2 X 2 i + + β k X ki + i
i=1,2…,n
Y是被解释变量 是被解释变量 Xji为解释变量，i指第 次观测 为解释变量， 指第 指第i次观测
为随机干扰项 βi为偏回归系数
习惯上： 常数项看成为一虚变量的系数， 习惯上：把常数项看成为一虚变量的系数，该虚变量的样本 看成为一虚变量的系数 28 观测值始终取1。这样：型中解释变量的数目为k+1 观测值始终取 。这样：型中解释变量的数目为
截距项和偏回归系数
总体回归函数的随机表达式： 总体回归函数的随机表达式：
Yi = β 0 + β 1 X 1i + β 2 X 2 i + + β k X ki + i
(1) βj (j≥1) 称为 偏回归系数 表示在其他解释变量保持不变的情况下， 每变化1个单 表示在其他解释变量保持不变的情况下，Xj每变化 个单 位时，Y的条件均值 E (Y | X 1 , X 2 , X k ) 的变化; 位时， 的条件均值 的变化 给出了X 的单位变化对Y均值的 直接” 均值的“ 或者说βj给出了 j的单位变化对 均值的“直接” 或“净 ” （不含其他变量）影响。 不含其他变量）影响。 (2) β0 (j≥1) 称为 截距项，它给出了所有未包含到模型中的 截距项， 变量对Y的平均影响。 变量对 的平均影响。 的平均影响
若有n组观测值，则可得n个联立方程：
Y1 = β 0 + β1 X 11 + β 2 X 21 + β1 X k1