第三章 多元线性回归模型
第三章 多元线性回归模型

即
Y Xb U
X 称为数据矩阵或设计矩阵。
6
二、古典假定
假定1:零均值假定 E(ui ) 0 (i 1,2,...,n)
1 E ( 1 ) E ( ) 2 2 E (μ) E 0 n E ( n )
写成矩阵形式:
Y1 1 X 21 Y 1 X 22 2 Yn 1 X 2 n X 31 X k 1 b 1 u1 X 32 X k 2 b 2 u 2 X 3 n X kn b k un
或
ei 1 X 21 X e 1 X 22 2i i X ki ei 1 X 2 n X 31 X k 1 e1 X 32 X k 2 e2 X e 0 X 3 n X kn en
9
当总体观测值难于得到时,回归系数向 量 b 是未知的,这时可以由样本观测值进行 估计,可表示为
ˆ ˆ Xb Y
但实际观测值与计算值有偏差,记为:
ˆ e Y Y
于是
ˆ e Y Xb
称为多元样本回归函数。
10
ˆ b 1 ˆ b2 ˆ b ˆ b k
同理
ˆ x x b ˆ x 2 x3 i yi b 2 2i 3i 3 3i
x2 i yi x x3 i yi x2 i x3 i ˆ b2 2 2 2 x2 x ( x x ) i 3i 2i 3i
2 3i
x3 i yi x x2 i yi x2 i x3 i ˆ b3 2 2 2 x2 x ( x x ) i 3i 2i 3i
计量经济学第三章多元线性回归模型

⒈零均值假定
E( i) 0 i 1,2,, n
E(U) 0
⒉同方差和无自相关假定
COV (i , j ) E(i E(i ))( j E( j ))
2 i j
E(i
j
)
0
i j
VAR(U ) E(U E(U))(U E(U))
Yˆi ˆ1 ˆ2 X 2i ˆK X Ki
i 1,2,, n
Yi Yˆi ei
Yˆi
ˆ j
E(Y
j
X 2i ,,
X Ki
)
注意:β1一般情况下没有明确的经济含义,但一般 总包含在回归模型中。
3.1多元线性回归模型及古典假定
二、多元线性回归模型的矩阵形式
总体回归函数描述了一个被解释变量与多个解释
变量之间的线性关系,线性是针对参数而言的。
其中, j 为偏回归系数,表示:在控制其他变量 不变的条件下,第j个解释变量的单位变动对被解释 变量平均值的影响。
j
Y X j(保持其他变量不变)
Y X j
3.1多元线性回归模型及古典假定
样本回归函数:
(XX)1 X 2ΙX(XX)1 2 (XX)1 XX(XX)1 2 (XX)1
i 1
ei 0
N
( ei2 )
i 1
ˆ2
N
2
N i 1
(Yi
ˆ1
ˆ2 X 2i
ˆK
X Ki ) X 2i
2
ei X 2i 0
偏 导
第三章多元线性回归模型(计量经济学,南京审计学院)

Yˆ 116.7 0.112X 0.739P
R2 0.99
(9.6) (0.003) (0.114)
Y和X的计量单位为10亿美元 (按1972不变价格计算).
P
食品价格平减指数 总消费支出价格平减指数
100,(1972
100)
3
多元线性回归模型中斜率系数的含义
上例中斜率系数的含义说明如下: 价格不变的情况下,个人可支配收入每上升10
c (X X )1 X D
从而将 的任意线性无偏估计量 * 与OLS估计量 ˆ 联系
起来。
28
cX I
由
可推出:
(X X )1 X X DX I
即 I DX I
因而有 D X 0
cc (X X )1 X D (X X )1 X D ( X X )1 X D X ( X X )1 D
第三章 多元线性回归模型
简单线性回归模型的推广
1
第一节 多元线性回归模型的概念
在许多实际问题中,我们所研究的因变量的变动 可能不仅与一个解释变量有关。因此,有必要考虑线 性模型的更一般形式,即多元线性回归模型:
Yt β0 β1X1t β2 X 2t ... βk X kt ut t=1,2,…,n
Yt
ˆ0
βˆ 1
X
1t
... βˆ K X Kt
2
为最小,则应有:
S
S
S
ˆ0 0, ˆ1 0, ..., ˆ K 0
我们得到如下K+1个方程(即正规方程):
13
β0 n
β1 X1t ...... β K X Kt Yt
β 0 X 1t β1 X 1t 2 ...... β K X 1t X Kt X 1tYt
第三章 多元线性回归模型

ˆ β1 ˆ ˆ = β2 β M ˆ βk
βˆ ——未知参数的 k × 1 阶估计值列向量; 阶估计值列向量; 阶列向量。 e ——残差项的 n × 1 阶列向量。
ˆ Y ——被解释变量样本观测值的 n × 1阶拟合值列向量; 阶拟合值列向量;
总体回归函数 样本回归函数
多元线性样本回归模型矩阵表达式: 多元线性样本回归模型矩阵表达式: 估计的样本回归方程矩阵表达式: 估计的样本回归方程矩阵表达式:
ˆ Y = Xβ + e ˆ ˆ Y = Xβ
e1 e 2 e= M en
其中
ˆ Y 1 ˆ ˆ = Y2 Y M ˆ Yn
Var(U ) = E[(U − EU)(U − EU)′] = E(UU ′)
u1 u12 u 2 u 2 u1 ( u1 , u 2 , L , u n ) = E = E M M u u n u1 n E (u12 ) E ( u 2 u1 ) = M E ( u n u1 ) σ 2 0 = M 0 0 E (u1u 2 )
Yi = β1 + β 2 X 2 i + β 3 X 3i + ... + β k X ki + ui
模型中参数 β j 为 是偏回归系数, ( j = 2,3,L, k)是偏回归系数,样本容量
n
偏回归系数:控制其它解释量不变的条件下, 偏回归系数:控制其它解释量不变的条件下,第 个解释变量的单位变动对应变量平均值的影响。 j 个解释变量的单位变动对应变量平均值的影响。
M
Yn = β1 + β2 X2n + β3 X3n + ... + βk Xkn + un
第三章 多元线性回归模型 知识点

第三章 多元线性回归模型一、知识点列表二、关键词1、多元线性回归模型的代数和矩阵表示形式 关键词: 多元线性总体回归模型多元线性总体回归模型是指被解释变量y 与多个解释变量12,,,n x x x 之间具有线性关系,是解释变量的多元线性函数。
可以表达为:01122(1,2,3,,)i i i k ki iy x x x i n ββββμ=++++=多元线性回归模型相对于一元线性回归模型来说,其解释变量较多,因而计算公式比较复杂。
必要时需要借助计算机来进行。
2、多元线性回归模型的基本假设 关键词: 线性于参数总体回归模型是关于参数是线性的,因此称其为线性于参数。
关键词:完全共线性在样本中,没有一个自变量是常数,自变量之间也不存在严格(完全)的线性关系。
如果方程中有一个自变量是其他自变量的线性组合,那么我们说这个模型遇到了完全共线性问题。
关键词:零条件数学期望给定解释变量的任何值,误差的期望值为零,即:12(|,,,)0n E u x x x =。
关键词:内生解释变量和外生解释变量如果解释变量满足零条件数学期望,则称该自编为内生解释变量;反之,则为外生解释变量。
关键词:同方差对于解释变量的所有观测值,随机误差项有相同的方差,即:22()(),(1,2,3,,)i i Var u E u i n δ===关键词:无序列相关性随机误差项两两不相关。
即(,)(,)0,(,,1,2,3,,)i i i i Cov u u E u u i j i j n ==≠=关键词:最优线性无偏估计量满足以下假设条件的OLS 估计量称为最优线性无偏估计量:(1)线性与参数;(2)X 固定;(3)X 有变异;(4)不存在完全共线性;(5)零条件数学期望;(6)同方差;(7)无序列相关性。
关键词:经典正态线性回归模型如果回归模型的OLS 估计量为最优线性无偏估计量,并且随机误差项u 服从均值为零,方差为2δ的正态分布,则称该线性回归模型为经典正态线性回归模型。
第3章多元线性回归

E (β XX1Xε-β)(β XX1Xε-β)
E XX1Xεε XXX1 XX1XE(εε )XXX1
XX1XE( 2In )XXX1 2 XX1
3.3 参数估计量的性质
i 1
i 1
ˆ
2
n
1 p
1
SSE
n
1 p
(ee) 1
n
1 p
1
n i 1
ei2
是σ2的无偏估计
3.2 回归参数的估计
三 、回归参数的最大似然估计
y~N(Xβ ,σ 2In)
似然函数为
L
(2 )n
2
2
n
2
exp(
1
2
2
(y - Xβ)(y - Xβ))
βˆ (XX)-1 Xy
3.2 回归参数的估计
二、回归值与残差
称 yˆi ˆ0 ˆ1xi1 ˆ2xi2 ˆp xip 为回归值
yˆ Xβˆ X(XX)-1 Xy H X(X X)-1X
称为帽子矩阵,其主对角线元素记为hii ,则
3.2 回归参数的估计
二、回归值与残差
n
tr(H ) hii p 1 i 1
此式的证明只需根据迹的性质tr(AB)=tr(BA),因而
tr(H) tr(X(XX)-1X) tr(XX(XX)-1) tr(Ip1) p 1
3.2 回归参数的估计
二、回归值与残差
e y yˆ y Hy (I- H)y
x 2
Lxx
x 2
Lxx
2
L xx
第三章(1) 多元线性回归模型课件

分离差的大小
解释的那部分离差的大小。也
称剩余平方和。
第三章 多元线性回归模型
§ 3-3 多元线性回归模型的统计检验 一、 拟合优度检验 检验模型对样本观测值的拟合程度。用在总离差分解 基础上确定的可决系数R2 (调整的可决系数 ) 度量。 1、总离差平方和的分解
总离差平方和TSS 回归平方和ESS
3、随机误差项在不同 样本点之间是独立的,
Cov( i,
不存在序列相关
因为 i与 j相互独立,有:
j)=0 i≠j
无自相关假定表明:产生 误差(干扰)的因素是完 全随机的,此次干扰与彼 次干扰互不相关,互相独 立。由此应变量Yi的序列 值之间也互不相关。
第三章 多元线性回归模型
§ 3-1 多元线性回归模型及其基本假定
3、有效性(最小方差性):
指在所有线性、无偏估计量中, OLS参数估计量的 方差最小。
4、 服从正态分布,即:
其中,
, G2是随机误差项的方差,
Cjj是矩阵(X’X)-1 中第j行第j列位置上的元素。
第三章 多元线性回归模型
§ 3-2 多元线性回归模型的参数估计
一、 参数的最小二乘估计
二、 OLS估计量的统计性质及其分布
三、随机误差项方差Q2的估 计
参数估计的另一项任务是: 求随机误差项 i 的分布参数
称作回归标准差 (standard error of regression), 常作为对所估计回归线的拟
合优度的简单度量。
i~N(0, Q2)
随机误差项 i 的 方差的估计量为:
可以
证明:
说明 是QS 的无偏估计量。
t-Statistic 6.411848 22.00035 4.187969
第三章多元线性回归模型

命令或特殊函数命令得到。特殊函数命令:在工作文件窗
口,使用GSexi nr命S令y 生成,x如i 序列y的标准为
),
@ stdev( y)
26
案例2 我国房地产行业资本结构分析
资本结构是指企业各种资本的价值构成及其 比例关系。合理安排资本结构有利于增加公司的市场价 值。本案例运用多元回归分析方法研究了我国房地产上 市公司的资本结构,证实了成长能力、营运效率、内部 流动率、盈利能力等因素对房地产上市公司的资本结构 (以资产负债率为衡量指标)有显著影响。
28
表3.2资本结构的影响因素对应指标和变量
影响因素 对应指标
变量
成长能力 总资产增长率
x1
股东权益周转率 x2
营运效率 总资产周转率
x3
内部流动率 流动比率
x4
盈利能力 销售净利率
x5
29
根据以上的叙述,拟建立如下截面多元线 性回归模型:
yi 0 1x1i 2 x2i 3x3i 4 x4i 5x5i ui
Q
k
2
( yt 0 1x1t 2 x2t
k xkt ) =0 k xkt )x1t =0
k xkt )xkt =0
化简整理得多元线性回归正规方程组:
13
yt = n0 +1 x1t yt 0 x1t 1 x2t yt 0 x2t 1
进一步改写为:
1 1
x11
x12
x21
x22
xk1 xk2
1 1 x11 x21
x1n
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
18
βˆቤተ መጻሕፍቲ ባይዱ的期望与方差
● βˆ 的期望 E( βˆ) = β
(由无偏性)
● βˆ 的方差和标准误差:
可以证明 βˆ 的方差—协方差矩阵为(见下页)
Var - Cov( βˆ ) 2 ( X X )1
c11
c12 L
c1k
Var(ˆj ) 2cjj
SE(ˆj ) cjj
7
多元样本回归方程
Y 的样本条件均值可表示为多个解释变量的函数 Yˆi ˆ1 ˆ 2 X 2i ˆ 3 X 3i L ˆ k X ki
或回归剩余(残差): ei Yi Yˆ i
Yi ˆ1 ˆ 2 X 2i ˆ 3 X 3i L ˆ k X ki ei
(i 1, 2,L n) 注意:这时Y总体条件期望的轨迹是K维空间的一条线 个别值表现形式: 引入随机扰动项 ui Yi E(Yi X2i , X3i L Xki )
或表示为 Yi 1 2 X 2i 3 X 3i k X ki ui
(i 1, 2,L n)
例如:生产函数
Y AL K u
取对数
ln Y ln A ln L ln K ln u
这也是多元线性回归模型,只是这时变量为lnY、 lnL、lnK
6
多元总体回归方程
条件期望表现形式:
将Y的总体条件期望表示为多个解释变量的函数,如:
E(Yi X 2i , X 3i , X ki ) 1 2 X 2i 3 X 3i k X ki
计量经济学
第三章 多元线性回归模型
引子:中国已成为世界汽车产销第一大国
中国社会科学院《中国汽车社会发展报告2012-2013》显示, 中国国内汽车产销量已近2000万辆。从2000年开始,中国 汽车市场进入到黄金10年。汽车保有量从1600万辆攀升到1 亿多辆。2010年成为全球第一大汽车市场,中国的汽车保有 量已经超过日本,成为仅低于美国的世界第二大汽车保有国。 业内预计,2020年我国汽车保有量将突破2亿辆。 是什么因素导致中国汽车数量的增长? 影响中国汽车行业发展的因素并不是单一的,经济增长、消 费趋势、市场行情、业界心态、能源价格、道路发展、内外 环境,都会使中国汽车行业面临机遇和挑战。
( k = 解释变量个数 + 1 )
X 是第一列为1的n×k阶解释变量数据矩阵 ,
(截距项可视为解释变量总是取值为1)
10
三、多元线性回归中的基本假定
假定1:零均值假定
E(ui ) 0 ( i=1,2,---n) 或 E(u)=0
假定2和假定3:同方差和无自相关假定:
2
0 Cov(ui , u j ) E[(ui Eui )(u j Eu j )] E(uiu j )
1 X 21
1 X 22
1 e1
0
X
2n
e2
Xe
0
X kiei
X
k1
Xk2
X
kn
en
0
X
e
因为样本回归函数为 Y = Xβˆ + e
0
两边左乘 X
X Y = X Xβˆ + X e
根据最小二乘原则 则正规方程为
Xe = 0
X Xβˆ = X Y
14
OLS估计式
由正规方程 X Xβˆ = X Y (X X )kk 是满秩矩阵,其逆存在
多元回归的OLS估计量为 βˆ = (X X)-1 X Y
当只有两个解释变量时为:
ˆ1 Y ˆ2 X 2 ˆ3 X 3
其中 i 1, 2,L n
8
二、多元线性回归模型的矩阵表示
多个解释变量的多元线性回归模型的n组样本观测值,可
表示为
Y1 1 2 X 21 3 X 31 k X k1 u1 Y2 1 2 X 22 3 X 32 k X k 2 u2
20 20
四、 随机扰动项方差 2 的估计
2 一般未知,可证明多元回归中 2 的无偏
估计为:(证明见P103附录3.3)
ˆ 2 ei2 nk
或表示为 ˆ 2 ee
nk
ˆ 对比: 一元回归中
2
ei2 (n 2)
将 βˆ 作标准化变换:
zk
ˆk k SE(ˆk )
对比
简单线性回归中
ˆ1 Y ˆ2 X
ˆ2
xi yi xi2
注意: x、 y 为X、Y的离差 15
OLS回归线的数学性质 (与简单线性回归相同)
●回归线通过样本均值 Y ˆ1 ˆ 2 X 2 ˆ3 X 3 L ˆ k X k
●估计值 Yˆ i 的均值等于实际观测值 Yi 的均值 Yˆi n Y
(i 1, 2,L n)
注意:模型中的 j (j=1,2,---k)是偏回归系数
样本容量为n
偏回归系数:
控制其它解释量不变的条件下,第j个解释变量的单 位变动对被解释变量平均值的影响,即对Y平均值“直接”
或“净”的影响。
5
多元线性回归中的“线性”
指对各个回归系数而言是“线性”的,对变量则可 以是线性的,也可以是非线性的
12
第二节 多元线性回归模型的估计
一、普通最小二乘法(OLS)
原则:寻求剩余平方和最小的参数估计式 min : ei2 (Yi Yˆi )2
min : ei2 [Yi (ˆ1 ˆ2 X2i ˆ3 X3i L ˆk Xki )]2
即 min : ei2 min : ee min : (Y - Xβˆ)(Y - Xβˆ)
M E(unu2 )
L E(u1un ) 1 0 L 0
L E(u2un ) 2 0 1 L 0 2I
M M M M M M
L
E
(unun
)
0 0 L 1
11
假定4:随机扰动项与解释变量不相关
Cov( X ji , ui ) 0
( j 2,3,L , k)
Yn 1 2 X 2n 3 X 3n k X kn un
用矩阵表示
Y1 1 X 21
Y2
1
X 22
X k1 1 u1
X
k
2
2
u
2
Yn
求偏导,并令其为0 ( ei2) ˆj 0 其中
即
2
Yi
(ˆ1 ˆ2
X 2i ˆ3 X3i L
ˆki
X ki ) 0
2
X 2i
Yi
(ˆ1
ˆ2
X 2i
ˆ3
X 3i
L
ˆki
X ki )
0
(i 1, 2,L n)
1、 线性特征 βˆ = (X X)-1 X Y
βˆ 是Y的线性函数,因(X X)-1 X 是非随机或取固
定值的矩阵
2、 无偏特性E(ˆK ) K
(证明见教材P101附录3.1)
3、 最小方差特性
在 K 所有的线性无偏估计中,OLS估计ˆK
具有最小方差
(证明见教材P101或附录3.2)
ˆk
或用方差-协方差矩阵表示为:
Cov(ui , u j ) E{[ui E(ui )][u j E(u j )]} E(uu)
(i 1, 2,L n
(i=j)
(i≠j)
j 1, 2,L n)
E(u1u1)
E
(u2u1
)
M
E(unu1
)
E(u1u2 ) E(u2u2 )
2
怎样分析多种因素的影响?
分析中国汽车行业未来的趋势,应具体分析这样一些问题: 中国汽车市场发展的状况如何?(用销售量观测) 影响中国汽车销量的主要因素是什么?
(如收入、价格、费用、道路状况、能源、政策环境等)
各种因素对汽车销量影响的性质怎样?(正、负) 各种因素影响汽车销量的具体数量关系是什么? 所得到的数量结论是否可靠? 中国汽车行业今后的发展前景怎样?应当如何制定汽车的 产业政策? 很明显,只用一个解释变量已很难分析汽车产业的发展, 还需要寻求有更多个解释变量情况的回归分析方法。
结论:在古典假定下,多元线性回归的 OLS估 计式是最佳线性无偏估计式(BLUE)
17
三、 OLS估计的分布性质
基本思想:
● βˆ 是随机变量,必须确定其分布性质才可能进行区
间估计和假设检验
● u i是服从正态分布的随机变量, Y = Xβ + u
决定了Y也是服从正态分布的随机变量
● βˆ是Y的线性函数,决定了 βˆ 也是服从正态分布的
1
这里的 ( X X )
c21
M
c22 M
L c2k M M
ck1 ck 2 L ckk
(其中 c jj 是矩阵( X X )1 中第 j 行第 j 列的元素)
所以 ˆ j ~ N( j , 2c jj ) (j=1,2,---k) 19
βˆ 的方差-协方差
ˆ2 (
yi x2i )( x32i ) ( yi x3i )( x2i x3i ) ( x22i )( x32i ) ( x2i x3i )2