第三章 多元线性回归的简化模型
• （2）所有的关于无偏、一致、有效的直观 解释与一元的情形完全相同。
– ③任何一个解释变量均与扰动项不相关。
即：cov(Xji,εj)=0,i=1…k；j=1…n 注意，这里的不相关，指的是样本意义上的。
—④扰动项服从正态分布。
此条在大样本情形下可以不考虑，实际应用中， 大部分情况下不予考虑。
• 2.满足上述条件的结果 • （1）用OLS法估计出的参数是：无偏、一
• 考虑一下，如果要满足最基本的一致性，
这个模型有何缺陷？
• 分析：
• 显然，除受教育水平外，影响工资水平的 还有一个人的工作经历。而工作经历则与 受教育水平又相关。
• 一元线性模型相当于忽视了砖头2 的存在
砖头2 砖头1
如果为了测定砖头1 对桌面的压力，应
如何做呢？
压力仅是砖头1的吗？
• 解决办法：只要在模型（1）中加入新的变 量即可，即模型变成如下形式：
1 k
1
n i 1
(Yi
1 X1i
2 X 2i
k X ki )2
要求：尽可能看懂课本P58-59页的推导过程； 但必须要记住这个结果。
• 这里
X (I, X1, X2, X3
1 X11
X
k
)
1
X12
1 X1n
Xk1
X
k
2
X kn
Y1
Y
Y2
Yn
这里，Y1、X11等是你调查所得的样本，我们 即用它们进行估计。
第三章 经典单方程计量经济学 模型：多元线性回归模型
第一节 为何要用多元模型
• 考虑下面的例子：
• 某人试图解释一个人的工资水平的决定， 为此，他找到的解释变量为受教育水平，
于是他构造了如下的计量模型：
• wagei=α+βedui+εi
（1）
• 这里：wagei-第i个人的工资水平，edui—第 i个人的受教育水平，εi-随机扰动项。
• 3.估计的方法 • ——普通最小二乘法（OLS） • ——最大似然法（ML） • ——广义矩估计（GMM） • 我们只关注OLS法。
• 4.最小二乘估计结果
( , 1, 2 k )T ( X X )1 X Y ,
2
n
1 k
n i 1
ei2
n
1 k
1
n i 1
(Yi
Yi )2
n
• Yi=α+β1X1i+ β2X2i+ β3X3i+…+εi （3）
• 第二，提高预测准确度。
• 如果我们要试图解释被解释变量Y的波动，显然， 引入更多的解释变量可以使解释更准确，即预测 Y更准确。
• 第三，提高假设检验中所用“仪器”的准确度。 比如，有时一个因素虽然与已有的解释变量无关， 但你不将其“揪出来”放到模型中去，而将它看 作随机扰动项的一部分，它就可能造成扰动项的 异方差、自相关等问题。
在统计上，垂直即表 示不相关，或相关系 数为0。
Y
e X1
含义：解释变量x1、x2组成 一个向量空间，OLS法实际 是在寻找被解释变量到这个 空间的最短距离。
• 以二元线性回归模型 为例
X2 Y
Yi 1X1i 2 X 2i i
第三节 估计参数的优劣与推断
• 一.模型估计出来后面临的两个问题 • （1）估计出的参数的“精确度”； • （2）从实际应用来看，某一个或某几个解
个解释变量， εi～N（0，σ2）。 • 2.要估计的参数 • α 、 β1、 β2、 β3 …βk，还有σ2。
• 特别要注意：
• 第一，万不可忘记，我们同时要估计参数 σ2。（回想一下，为什么？）
• 第二，要估计的参数，并不一定是我们实 际应用中所一定关注的参数。
– 比如，实际中，我们可能只关注x1的参数β1， 因而其他参数估计的准确性，我们并不关心。
X中的第一列全为1，记为向量I，它实际上指 的是常数项α后面的变量，显然无论你哪次调 查，它都取1。
• 5.多元线性回归模型的矩阵样本表达式
• Y=Xβ+ε
（5）
• 这里：ε=（ε1， ε2… εn)T • β=(α,β1,β2…βk)
最小二乘法的几何解释
从图上可见，残差项 e与解释变量、被解 释变量的估计值均是 垂直的。
• 例如，为了研究一国的吉尼系数，某人在 两部门经济中建立了如下模型：
• jct=α+β1yt+β2ct+ β3It+ εt • 这里：jc是t时期的吉尼系数，y、c、I分别
为产出、消费与投资。
• 试分析一下，这个模型有何问题？
– ②扰动项无条件均值为0、扰动项同方差、扰 动项序列不相关。
• 即：E(εi)=0，D (εi)=σ2，cov(εi,εj)=0 • （I,j=1,2…n)
• wagei=α+β1edui+β2 experi+εi
（2）
• 这里：experi-第i个人的工作经历。
• 应用多元线性回归模型的几个原因： • 第一，提高参数估计的”准确度“。即使我们
所关注的仅是一个解释变量X1对被解释变 量Y的影响，但如果还存在其它解释变量X2、 X3…等也对Y有影响，且同时与X1相关，那 么此时就应将X2、X3…等一并引入模型， 即建立如下新模型：
致和有效的 • （2）所有的常规假设检验也是有效的。
要求：最好能了解一下课本P63页中关于估计参 数性质的推导；但必须对上述两条记住。
• 三.估计参数的一致性问题
• 1.OLS估计的参数满足一致性的条件
• （1）再重复一次：一致性是对估计参数的 最基本与实际应用中最通常的要求，但样 本必须足够大。
释变量是否真的对被解释变量具有重要影 响，或你对某个或某些解释变量的参数有 某种猜想，等。即统计推断中的假设检验 问题的有效性。
• 二.模型的假设
• 1.一个完美多元模型的条件
• （1）回想一下，一元模型的条件有哪几条 假设？
• （2）多元情形的条件
– ①各个解释变量之间不能完全相关（即不能出 现某一个解释变量是另外其他解释变量线性组 合的情形）
需思考的问题
• 为什么只要加入另外一些与已有解释变量 相关的新解释变量就可保证我们所关注参 数的一致性呢？
• 由于这些新加入的新解释变量与原解释变 量是相关的，这不会对原解释变量的参数 估计形成影响吗？
• 如果直观的理解上述问题，留待后面章节。
第二节 多元线性回模型的参数估计
• 1.基本模型设定 • Yi=α+β1X1i+ β2X2i+ β3X3i+…βkXki+εi （3） • 这里：Yi-被解释变量，Xji-第j(j=1，2 …k）
– ③任何一个解释变量均与扰动项不相关。
即：cov(Xji,εj)=0,i=1…k；j=1…n 注意，这里的不相关，指的是样本意义上的。
—④扰动项服从正态分布。
此条在大样本情形下可以不考虑，实际应用中， 大部分情况下不予考虑。
• 2.满足上述条件的结果 • （1）用OLS法估计出的参数是：无偏、一
• 考虑一下，如果要满足最基本的一致性，
这个模型有何缺陷？
• 分析：
• 显然，除受教育水平外，影响工资水平的 还有一个人的工作经历。而工作经历则与 受教育水平又相关。
• 一元线性模型相当于忽视了砖头2 的存在
砖头2 砖头1
如果为了测定砖头1 对桌面的压力，应
如何做呢？
压力仅是砖头1的吗？
• 解决办法：只要在模型（1）中加入新的变 量即可，即模型变成如下形式：
1 k
1
n i 1
(Yi
1 X1i
2 X 2i
k X ki )2
要求：尽可能看懂课本P58-59页的推导过程； 但必须要记住这个结果。
• 这里
X (I, X1, X2, X3
1 X11
X
k
)
1
X12
1 X1n
Xk1
X
k
2
X kn
Y1
Y
Y2
Yn
这里，Y1、X11等是你调查所得的样本，我们 即用它们进行估计。
第三章 经典单方程计量经济学 模型：多元线性回归模型
第一节 为何要用多元模型
• 考虑下面的例子：
• 某人试图解释一个人的工资水平的决定， 为此，他找到的解释变量为受教育水平，
于是他构造了如下的计量模型：
• wagei=α+βedui+εi
（1）
• 这里：wagei-第i个人的工资水平，edui—第 i个人的受教育水平，εi-随机扰动项。
• 3.估计的方法 • ——普通最小二乘法（OLS） • ——最大似然法（ML） • ——广义矩估计（GMM） • 我们只关注OLS法。
• 4.最小二乘估计结果
( , 1, 2 k )T ( X X )1 X Y ,
2
n
1 k
n i 1
ei2
n
1 k
1
n i 1
(Yi
Yi )2
n
• Yi=α+β1X1i+ β2X2i+ β3X3i+…+εi （3）
• 第二，提高预测准确度。
• 如果我们要试图解释被解释变量Y的波动，显然， 引入更多的解释变量可以使解释更准确，即预测 Y更准确。
• 第三，提高假设检验中所用“仪器”的准确度。 比如，有时一个因素虽然与已有的解释变量无关， 但你不将其“揪出来”放到模型中去，而将它看 作随机扰动项的一部分，它就可能造成扰动项的 异方差、自相关等问题。
在统计上，垂直即表 示不相关，或相关系 数为0。
Y
e X1
含义：解释变量x1、x2组成 一个向量空间，OLS法实际 是在寻找被解释变量到这个 空间的最短距离。
• 以二元线性回归模型 为例
X2 Y
Yi 1X1i 2 X 2i i
第三节 估计参数的优劣与推断
• 一.模型估计出来后面临的两个问题 • （1）估计出的参数的“精确度”； • （2）从实际应用来看，某一个或某几个解
个解释变量， εi～N（0，σ2）。 • 2.要估计的参数 • α 、 β1、 β2、 β3 …βk，还有σ2。
• 特别要注意：
• 第一，万不可忘记，我们同时要估计参数 σ2。（回想一下，为什么？）
• 第二，要估计的参数，并不一定是我们实 际应用中所一定关注的参数。
– 比如，实际中，我们可能只关注x1的参数β1， 因而其他参数估计的准确性，我们并不关心。
X中的第一列全为1，记为向量I，它实际上指 的是常数项α后面的变量，显然无论你哪次调 查，它都取1。
• 5.多元线性回归模型的矩阵样本表达式
• Y=Xβ+ε
（5）
• 这里：ε=（ε1， ε2… εn)T • β=(α,β1,β2…βk)
最小二乘法的几何解释
从图上可见，残差项 e与解释变量、被解 释变量的估计值均是 垂直的。
• 例如，为了研究一国的吉尼系数，某人在 两部门经济中建立了如下模型：
• jct=α+β1yt+β2ct+ β3It+ εt • 这里：jc是t时期的吉尼系数，y、c、I分别
为产出、消费与投资。
• 试分析一下，这个模型有何问题？
– ②扰动项无条件均值为0、扰动项同方差、扰 动项序列不相关。
• 即：E(εi)=0，D (εi)=σ2，cov(εi,εj)=0 • （I,j=1,2…n)
• wagei=α+β1edui+β2 experi+εi
（2）
• 这里：experi-第i个人的工作经历。
• 应用多元线性回归模型的几个原因： • 第一，提高参数估计的”准确度“。即使我们
所关注的仅是一个解释变量X1对被解释变 量Y的影响，但如果还存在其它解释变量X2、 X3…等也对Y有影响，且同时与X1相关，那 么此时就应将X2、X3…等一并引入模型， 即建立如下新模型：
致和有效的 • （2）所有的常规假设检验也是有效的。
要求：最好能了解一下课本P63页中关于估计参 数性质的推导；但必须对上述两条记住。
• 三.估计参数的一致性问题
• 1.OLS估计的参数满足一致性的条件
• （1）再重复一次：一致性是对估计参数的 最基本与实际应用中最通常的要求，但样 本必须足够大。
释变量是否真的对被解释变量具有重要影 响，或你对某个或某些解释变量的参数有 某种猜想，等。即统计推断中的假设检验 问题的有效性。
• 二.模型的假设
• 1.一个完美多元模型的条件
• （1）回想一下，一元模型的条件有哪几条 假设？
• （2）多元情形的条件
– ①各个解释变量之间不能完全相关（即不能出 现某一个解释变量是另外其他解释变量线性组 合的情形）
需思考的问题
• 为什么只要加入另外一些与已有解释变量 相关的新解释变量就可保证我们所关注参 数的一致性呢？
• 由于这些新加入的新解释变量与原解释变 量是相关的，这不会对原解释变量的参数 估计形成影响吗？
• 如果直观的理解上述问题，留待后面章节。
第二节 多元线性回模型的参数估计
• 1.基本模型设定 • Yi=α+β1X1i+ β2X2i+ β3X3i+…βkXki+εi （3） • 这里：Yi-被解释变量，Xji-第j(j=1，2 …k）
合集下载
第三章 多元线性回归模型
即
Y Xb U
X 称为数据矩阵或设计矩阵。
6
二、古典假定
假定1：零均值假定 E(ui ) 0 (i 1,2,...,n)
1 E ( 1 ) E ( ) 2 2 E (μ) E 0 n E ( n )
写成矩阵形式：
Y1 1 X 21 Y 1 X 22 2 Yn 1 X 2 n X 31 X k 1 b 1 u1 X 32 X k 2 b 2 u 2 X 3 n X kn b k un
或
ei 1 X 21 X e 1 X 22 2i i X ki ei 1 X 2 n X 31 X k 1 e1 X 32 X k 2 e2 X e 0 X 3 n X kn en
9
当总体观测值难于得到时，回归系数向 量 b 是未知的，这时可以由样本观测值进行 估计，可表示为
ˆ ˆ Xb Y
但实际观测值与计算值有偏差，记为：
ˆ e Y Y
于是
ˆ e Y Xb
称为多元样本回归函数。
10
ˆ b 1 ˆ b2 ˆ b ˆ b k
同理
ˆ x x b ˆ x 2 x3 i yi b 2 2i 3i 3 3i
x2 i yi x x3 i yi x2 i x3 i ˆ b2 2 2 2 x2 x ( x x ) i 3i 2i 3i
2 3i
x3 i yi x x2 i yi x2 i x3 i ˆ b3 2 2 2 x2 x ( x x ) i 3i 2i 3i
第3章 多元线性回归模型 《计量经济学》PPT课件
于是：
βˆ
ˆ1 ˆ 2
0.7226 0.0003
0.0003 1.35E 07
15674 39648400
01.0737.71072
⃟ 正规方程组 的另一种写法
对于正规方程组 XY XXβˆ
XXβˆ Xe XXβˆ
于是 Xe 0 (*)
或
ei 0
(**)
X jiei 0
i
(*) 或（ ** ）是多元线性回归模型正规方程 组的另一种写法。
第三章 经典单方程计量经济学模型： 多元线性回归模型
• 多元线性回归模型 • 多元线性回归模型的参数估计 • 多元线性回归模型的统计检验 • 多元线性回归模型的预测 • 回归模型的其他形式
§ 3. 1 多元线性回归模型
一、多元线性回归模型 二、多元线性回归模型的基本假定
一、多元线性回归模型
多元线性回归模型 : 表现在线性回归模型 中的解释变量有多个。
的秩 =k+1 ，即 X 满秩。
假设 2. 随机误差项零均值，同方差。
0
0
0
E
(μ
μ
)
E
1
n
1
n
E
12
n 1
1 n
2 n
var(1 ) cov(1, n ) 2 0
2I
cov(
n
,
1
)
var(n )
0
2
i E(i )
βˆ (xx)1 xY
ˆ0 Y ˆ1 X 1 ˆk X k
⃟ 随机误差项的方差的无偏估计
可以证明，随机误差项的方差的无偏 估计量为：
ˆ 2
ei2 n k 1
ee n k 1
第三章 多元线性回归模型
随机变量
18
βˆቤተ መጻሕፍቲ ባይዱ的期望与方差
● βˆ 的期望 E( βˆ) = β
(由无偏性)
● βˆ 的方差和标准误差：
可以证明 βˆ 的方差—协方差矩阵为（见下页）
Var - Cov( βˆ ) 2 ( X X )1
c11
c12 L
c1k
Var(ˆj ) 2cjj
SE(ˆj ) cjj
7
多元样本回归方程
Y 的样本条件均值可表示为多个解释变量的函数 Yˆi ˆ1 ˆ 2 X 2i ˆ 3 X 3i L ˆ k X ki
或回归剩余（残差）： ei Yi Yˆ i
Yi ˆ1 ˆ 2 X 2i ˆ 3 X 3i L ˆ k X ki ei
(i 1, 2,L n) 注意：这时Y总体条件期望的轨迹是K维空间的一条线 个别值表现形式： 引入随机扰动项 ui Yi E(Yi X2i , X3i L Xki )
或表示为 Yi 1 2 X 2i 3 X 3i k X ki ui
(i 1, 2,L n)
例如：生产函数
Y AL K u
取对数
ln Y ln A ln L ln K ln u
这也是多元线性回归模型，只是这时变量为lnY、 lnL、lnK
6
多元总体回归方程
条件期望表现形式：
将Y的总体条件期望表示为多个解释变量的函数，如:
E(Yi X 2i , X 3i , X ki ) 1 2 X 2i 3 X 3i k X ki
计量经济学
第三章 多元线性回归模型
引子:中国已成为世界汽车产销第一大国
18
βˆቤተ መጻሕፍቲ ባይዱ的期望与方差
● βˆ 的期望 E( βˆ) = β
(由无偏性)
● βˆ 的方差和标准误差：
可以证明 βˆ 的方差—协方差矩阵为（见下页）
Var - Cov( βˆ ) 2 ( X X )1
c11
c12 L
c1k
Var(ˆj ) 2cjj
SE(ˆj ) cjj
7
多元样本回归方程
Y 的样本条件均值可表示为多个解释变量的函数 Yˆi ˆ1 ˆ 2 X 2i ˆ 3 X 3i L ˆ k X ki
或回归剩余（残差）： ei Yi Yˆ i
Yi ˆ1 ˆ 2 X 2i ˆ 3 X 3i L ˆ k X ki ei
(i 1, 2,L n) 注意：这时Y总体条件期望的轨迹是K维空间的一条线 个别值表现形式： 引入随机扰动项 ui Yi E(Yi X2i , X3i L Xki )
或表示为 Yi 1 2 X 2i 3 X 3i k X ki ui
(i 1, 2,L n)
例如：生产函数
Y AL K u
取对数
ln Y ln A ln L ln K ln u
这也是多元线性回归模型，只是这时变量为lnY、 lnL、lnK
6
多元总体回归方程
条件期望表现形式：
将Y的总体条件期望表示为多个解释变量的函数，如:
E(Yi X 2i , X 3i , X ki ) 1 2 X 2i 3 X 3i k X ki
计量经济学
第三章 多元线性回归模型
引子:中国已成为世界汽车产销第一大国
第3章多元线性回归
E (β XX1Xε-β)(β XX1Xε-β)
E XX1Xεε XXX1 XX1XE(εε )XXX1
XX1XE( 2In )XXX1 2 XX1
3.3 参数估计量的性质
i 1
i 1
ˆ
2
n
1 p
1
SSE
n
1 p
(ee) 1
n
1 p
1
n i 1
ei2
是σ2的无偏估计
3.2 回归参数的估计
三 、回归参数的最大似然估计
y～N(Xβ ,σ 2In)
似然函数为
L
(2 )n
2
2
n
2
exp(
1
2
2
(y - Xβ)(y - Xβ))
βˆ (XX)-1 Xy
3.2 回归参数的估计
二、回归值与残差
称 yˆi ˆ0 ˆ1xi1 ˆ2xi2 ˆp xip 为回归值
yˆ Xβˆ X(XX)-1 Xy H X(X X)-1X
称为帽子矩阵，其主对角线元素记为hii ，则
3.2 回归参数的估计
二、回归值与残差
n
tr(H ) hii p 1 i 1
此式的证明只需根据迹的性质tr(AB)=tr(BA),因而
tr(H) tr(X(XX)-1X) tr(XX(XX)-1) tr(Ip1) p 1
3.2 回归参数的估计
二、回归值与残差
e y yˆ y Hy (I- H)y
x 2
Lxx
x 2
Lxx
2
L xx
第三章 多元线性回归模型
第一章多元线性回归模型前一章讲的简单线性回归模型，主要讨论的是一个应变量和一个解释变量之间的线性关系。
而在实际的经济问题中，一个经济变量往往同多个经济变量相联系。
比如，我们前面一直在举的例子：说消费支出与收入有关，而在实际生活中，消费支出同时又会与家庭的财富总量有关，还可能会与所处的年龄段、性别、所受教育程度等因素有关。
所以，我们有必要将一个解释变量的情况推广到多个解释变量。
利用多元回归方法进行分析/第一节多元线性回归模型及古典假定一、多元线性回归模型1、多元线性回归模型的一般形式：总体回归方程：E（Y│X1，X2，…Xk）=β0+β1X1+β2X2+β3X3+…+βkXkY=β0+β1X1+β2X2+β3X3+…+βkXk+µ样本回归方程：Y=β0+β1X1+β2X2+β3X3+…+βkXkY=β0+β1X1+β2X2+β3X3+…+βkXk+e2、回归系数的经济意义：简单线性回归中的回归系数的经济意义：如 Y=50.78+0.86X 系数代表每增加一元收入,消费支出要增加0.86元多元线性回归中的回归系数的经济意义:由于多个解释变量会同时对应变量的变动发挥作用,因此,如果我们要考察其中某个解释变量对应变量的影响,就必须使其他解释变量保持不变来进行分析.所以,模型中的单个回归系数βj就表示当控制其他解释变量不变的条件下,第j个解释变量的单位变动对应变量均值的影响.多元线性回归模型中这样的回归系数,称为偏回归系数。
与简单线性回归分析一样，多元线性回归分析要解决的主要问题仍是：根据观测样本估计模型中的各个参数；对估计的参数及回归方程进行统计检验；利用回归模型进行预测和经济分析。
二、模型的古典假定在回归分析中，为了使所作出的估计具有较好的统计性质，我们对模型中的随机扰动项和解释变量作出一些假定。
多元线性回归模型的假定条件有：假定1：零均值假定: 即假定随机扰动项彻底均值为零E（μi）= 0假定2：同方差假定: μi 的方差为某个相同的常数Var（μi）=σ2假定3：无自相关假定: 随机扰动项μi的逐次值互不相关Cov(μi , μj )=0 （i≠j）假定4：随机扰动项μi与解释变量Xi 不相关。
第三章多元线性回归模型
命令或特殊函数命令得到。特殊函数命令：在工作文件窗
口，使用GSexi nr命S令y 生成，x如i 序列y的标准为
），
@ stdev( y)
26
案例2 我国房地产行业资本结构分析
资本结构是指企业各种资本的价值构成及其 比例关系。合理安排资本结构有利于增加公司的市场价 值。本案例运用多元回归分析方法研究了我国房地产上 市公司的资本结构，证实了成长能力、营运效率、内部 流动率、盈利能力等因素对房地产上市公司的资本结构 （以资产负债率为衡量指标）有显著影响。
28
表3.2资本结构的影响因素对应指标和变量
影响因素 对应指标
变量
成长能力 总资产增长率
x1
股东权益周转率 x2
营运效率 总资产周转率
x3
内部流动率 流动比率
x4
盈利能力 销售净利率
x5
29
根据以上的叙述，拟建立如下截面多元线 性回归模型：
yi 0 1x1i 2 x2i 3x3i 4 x4i 5x5i ui
Q
k
2
( yt 0 1x1t 2 x2t
k xkt ) =0 k xkt )x1t =0
k xkt )xkt =0
化简整理得多元线性回归正规方程组：
13
yt = n0 +1 x1t yt 0 x1t 1 x2t yt 0 x2t 1
进一步改写为：
1 1
x11
x12
x21
x22
xk1 xk2
1 1 x11 x21
x1n
3多元线性回归
i
由 βˆ=(XX)-1Xy可得因变量向量
y(y1,y2, ,yn)的回归值
y ˆ= X β ˆ= X ( X X )- 1 X y = H y(3.21)
注意：要求( X X ) 1必须存在，应有np1
20
(3.21)式中的 H=X(XX)-1X称为帽子矩阵， 它是n阶对称阵，同时还是幂等阵，即 H= H2
(Constant) -205.552 116.964
-1.757 0.096
-451.285
40.181
X1
-1.495
22.887
-0.013 -0.065 0.949
-49.578
46.588
X2
2.649
18.592
0.023 0.142 0.888
-36.411
41.709
X3
3.291
2.467
B -0.584 0.032 0.187 -0.026 -0.022
Std. Error 0.957 0.010 0.083 0.084 0.016
Beta
t -0.610 0.722 3.282 0.328 2.258 -0.061 -0.307 -0.149 -1.324
a. Dependent Variable: 不良贷款
12.374
X7
4.162
5.077
0.446 0.820 0.423
-6.504
14.828
X8
-15.436
10.829
-0.521 -1.425 0.171
-38.187
7.315
X9
17.373
8.368
1.040 2.076 0.052
由 βˆ=(XX)-1Xy可得因变量向量
y(y1,y2, ,yn)的回归值
y ˆ= X β ˆ= X ( X X )- 1 X y = H y(3.21)
注意：要求( X X ) 1必须存在，应有np1
20
(3.21)式中的 H=X(XX)-1X称为帽子矩阵， 它是n阶对称阵，同时还是幂等阵，即 H= H2
(Constant) -205.552 116.964
-1.757 0.096
-451.285
40.181
X1
-1.495
22.887
-0.013 -0.065 0.949
-49.578
46.588
X2
2.649
18.592
0.023 0.142 0.888
-36.411
41.709
X3
3.291
2.467
B -0.584 0.032 0.187 -0.026 -0.022
Std. Error 0.957 0.010 0.083 0.084 0.016
Beta
t -0.610 0.722 3.282 0.328 2.258 -0.061 -0.307 -0.149 -1.324
a. Dependent Variable: 不良贷款
12.374
X7
4.162
5.077
0.446 0.820 0.423
-6.504
14.828
X8
-15.436
10.829
-0.521 -1.425 0.171
-38.187
7.315
X9
17.373
8.368
1.040 2.076 0.052
§3.1 多元线性回归模型
其中
Y = Xβ+ μ β
1 X 11 1 X 12 X= M M 1 X 1n X 21 L X k1 X 22 L X k 2 M M X 2 n L X kn n×( k +1)
β0 β 1 β= β 2 M β k ( k +1)×1
1 2 μ= M n n×1
i ~ N (0, σ 2 )
上述假设的矩阵符号表示 上述假设的矩阵符号表示 式： 假设1 +1)矩阵 是非随机的， +1， 假设1，n×(k+1)矩阵 是非随机的，且X的秩ρ=k+1， × +1)矩阵X是非随机的 的秩 +1 满秩。 即X满秩。 满秩 假设2 假设2，
1 E ( 1 ) E (μ = E M = M = 0 ) E ( ) n n
样本回归函数： 样本回归函数：用来估计总体回归函数
Yi = β 0 + β 1 X 1i + β 2 X 2i + L + β ki X ki
其随机表示式: 随机表示式:
Yi = β0 + β1 X1i + β2 X2i +L+ βki Xki + ei
样本回归函数的矩阵表达: 样本回归函数的矩阵表达:
第三章 经典单方程计量经济学模 型：多元回归
多元线性回归模型 多元线性回归模型的参数估计 多元线性回归模型的统计检验 多元线性回归模型的预测 回归模型的其他形式 回归模型的参数约束
§3.1 多元线性回归模型
一、多元线性回归模型 二、多元线性回归模型的基本假定
一、多元线性回归模型
Yi =β0 +β1X1i +β2X2i ++βk Xki +i
Y = Xβ+ μ β
1 X 11 1 X 12 X= M M 1 X 1n X 21 L X k1 X 22 L X k 2 M M X 2 n L X kn n×( k +1)
β0 β 1 β= β 2 M β k ( k +1)×1
1 2 μ= M n n×1
i ~ N (0, σ 2 )
上述假设的矩阵符号表示 上述假设的矩阵符号表示 式： 假设1 +1)矩阵 是非随机的， +1， 假设1，n×(k+1)矩阵 是非随机的，且X的秩ρ=k+1， × +1)矩阵X是非随机的 的秩 +1 满秩。 即X满秩。 满秩 假设2 假设2，
1 E ( 1 ) E (μ = E M = M = 0 ) E ( ) n n
样本回归函数： 样本回归函数：用来估计总体回归函数
Yi = β 0 + β 1 X 1i + β 2 X 2i + L + β ki X ki
其随机表示式: 随机表示式:
Yi = β0 + β1 X1i + β2 X2i +L+ βki Xki + ei
样本回归函数的矩阵表达: 样本回归函数的矩阵表达:
第三章 经典单方程计量经济学模 型：多元回归
多元线性回归模型 多元线性回归模型的参数估计 多元线性回归模型的统计检验 多元线性回归模型的预测 回归模型的其他形式 回归模型的参数约束
§3.1 多元线性回归模型
一、多元线性回归模型 二、多元线性回归模型的基本假定
一、多元线性回归模型
Yi =β0 +β1X1i +β2X2i ++βk Xki +i
三章多元线回归模型
多元模型的矩阵表达式
Y X
1
1
11
Y X
21
12
Y X
n
1
1n
X21 X22
X2n
X X X bbbb uuu kkk12n
k102
1 2 n
YXB U
矩阵形式
Y XB U
Y 1
Y
Y 2
Y n
b 0
B
b b
1 2
b k
X 1
11
X X
（4）应变量估计值 Y i 与残差 ei不相关；
（5）解释变量
X
与残差
i
ei不相关
2.3 随机扰动项方差的估计
2
扰动项的方 2估 差计：
ei2
nk
其中n为样本容量 k为， 待估参数个数。
（比较：一元情 2 形e： i2，待估参数 2个有 ）
n2
注解：k与k+1
凡是按解释变量的个数为k的，那么共有k+1 个参数要估计。而按参数个数为k的，则实 际有k-1个解释变量。总之两者相差1而已！ 要小心所用的k是什么意思！
E(NN)(X X )1 X X ( X X )1
2 ( X X )1
2.2 OLS回归线的性质
完全同一元情形：
（1）回归线过样本均值
Y 1 2 X 2i 3 X 3i ... k X ki
(2)估计值 Y i 的均值等于实际观测值 Yi的均值
(3)剩余项（残差） ei的均值为 0
1
12
X 1
1n
X 21 X 22
X 2n
u 1
U
u2
u n
第三章 多元线性回归的简化模型
小概率事件的判断
y Y=f(x)：密度函数
Coefficient
Std. Error
4546.110 26.29476 -10.05893
7996.183 1.985102 1.422335
0.841177 0.831835 20155.99 1.38E+10 -417.6529 2.089860
Mean dependent var S.D. dependent var Akaike info criterion Schwarz criterion F-statistic Prob(F-statistic)
t-Statistic
0.568535 13.24605 -7.072127
Prob.
0.5734 0.0000 0.0000
-585.8468 49151.45 22.73800 22.86861 90.03768 0.000000
• （4）解释变量联合显著性检验
– H0： α=1=2= =k=0（原假设）
个解释变量， εi～N（0，σ2）。 • 2.要估计的参数 • α 、 β1、 β2、 β3 …βk，还有σ2。
• 特别要注意：
• 第一，万不可忘记，我们同时要估计参数 σ2。（回想一下，为什么？）
• 第二，要估计的参数，并不一定是我们实 际应用中所一定关注的参数。
– 比如，实际中，我们可能只关注x1的参数β1， 因而其他参数估计的准确性，我们并不关心。
• 3.估计的方法 • ——普通最小二乘法（OLS） • ——最大似然法（ML） • ——广义矩估计（GMM） • 我们只关注OLS法。
• 4.最小二乘估计结果
( , 1, 2 k )T ( X X )1 X Y ,