第三章(1)_多元线性回归模型(计量经济学_浙江大学_韩菁)
合集下载
第三章(1)_多元线性回归模型(计量经济学_浙江大学_韩菁)
se (49.4603) (0.0294) (5.2022)
Included observations: 18
t (1.0112) (2.9442) (10.067)
Variable
Coefficient
Std. Error t-Statistic Prob.
C
-50.01638
49.46026 -1.011244 0.3279
§3-2 多元线性回归模型的参数估计 四、样本容量问题
i 1,2, , n
1、最小样本容量 ——从OLS原理出发，欲得到参数估计量，
不管其质量如何，所要求的样本容量的下限。
欲使 ˆ (X' X)1X' Y 存在，必须使得(X’X)-1存在。
欲使(X’X)-1存在，必须满足|X’X|≠0，即(X’X)为 1 X11 X21 Xk1
§3-4 多元线性回归模型的置信区间
一、参数估计量的置信区间 二、应变量预测值的置信区间
第三章 多元线性回归模型
§3-1 多元线性回归模型及其基本假定 一、多元回归模型及其表示
含有两个及以上解释变量的回归模型称为多元回归模型。 多元线性回归模型的一般式为：
Yi 0 1X1i 2X2i kXki i
(X’X)-1存在。
第三章 多元线性回归模型
Yi 0 1X1i 2X2i kXki i
§3-2 多元线性回归模型的参数估计 一、参数的最小二乘估计
i 1,2, , n
Q ei2 (Yi Yˆ i )2 (Yi (ˆ0 ˆ1X1i ˆ2X2i ˆ kXki ))2
ei2 k
) 1
2
称作回归标准差（standard error of regression）， 常作为对所估计回归线的拟 合优度的简单度量。
计量经济学-3章：多元线性回归模型PPT课件
YXβ ˆe
Y ˆ Xβ ˆ
4/5/2021
.
17
2 模型的假定
(1) 零均值假设。随机误差项的条件期望为零，即 E(ui)=0 ( i=1,2,…,n)
其矩阵表达形式为:E(U)=0 (2)同方差假设。随机误差项有相同的方差，即
Var(ui)E(ui2) 2 （i=1,2,…,n）
(3)无自相关假设。随机误差项彼此之间不相关，即
（i=1,2,…,n）
上式为多元样本线性回归函数（方程）,简称样本回归函 数（方程）(SRF, Sample Regression Function).
ˆ j (j=0,1,…,k)为根据样本数据所估计得到的参数估计量。
4/5/2021
.
13
(4)多元样本线性回归模型
对应于其样本回归函数（方程）的样本回归模型:
4/5/2021
.
3
教学内容
一、模型的建立及其假定条件 二、多元线性回归模型的参数估计：OLS 三、最小二乘估计量的统计性质 四、拟合优度检验 五、显著性检验与置信区间 六、预测 七、案例分析
4/5/2021
.
4
回顾: 一元线性回归模型
总体回归函数 E (Y i|X i)01X i
总体回归模型 Y i 01Xiui
0 0
2 0 0 2
0
0
0 0 0 2
2I n
4/5/2021
.
u1un
u2un
un2
20
(4)解释变量X1,X2,…,Xk是确定性变量,不是随机 变量,与随机误差项彼此之间不相关,即
Cov(Xji,ui)0 j=1,2…k , i=1,2,….,n
计量经济学3 多元回归模型hf
ˆ1
x1 y x22 x2 y x1 x2
x12 x22
x1 x2 2
ˆ2
x2 y x12 x1 y x1 x2
x12 x22
x1 x2 2
ˆ0 Y ˆ1 X 1 ˆ2 X 2
23/120
3、随机误差项的方差2的无偏估计
2tr(I X(XX)1 X)
2 (trI tr(X(XX)1 X)) 2 (n (k 1))
tr()为矩阵的迹， 满足交换律
Tr(AB)=tr(BA)
2 E(ee)
nk 1
ˆ 2 ee
nk 1
25/120
二、参数估计量的性质
2/120
§3.1 多元线性回归模型概述 (Regression Analysis)
一、多元线性回归模型 二、多元线性回归模型的基本假设
3/120
一、多元线性回归模型
4/120
总体回归函数(PRF)
• 总体回归函数：描述在给定解释变量Xi条件下 被解释变量Yi的条件均值。
E(Yi Xi1,Xik ) 0 1Xi1 2 Xi2 k Xik
Cov(Xij μi X1,Xk ) 0
E(X'μ X) 0
由确定性假设可以推断。
j 1,, k
15/120
• 假设6：μ服从多维正态分布。The μ’s follow the normal distribution.
μi X1,Xk ~N(0,σ 2 )
μ X ~ N(0, 2I)
第三章 经典单方程计量经济学模型： 多元线性回归模型
The Classical Single Equation Econometric Model: Multiple Linear
计量经济学多元线性回归的简化模型
小概率事件的判断
y Y=f(x)：密度函数
F(k,n-k-1) x
Eviews上的判断，见前页。
想一下，这个小 概率事件的面积 所处位置可以任 意选择吗？为何 选择尾部？
要从两点思考上述问 题：一是直观上“仪 器”的构造；二是 “密度”的含义。
• 3.单个解释变量系数的显著性检验
• （1）检验目的：仍与一元的一样，看一下某一个 解释变量是否对被解释变量真的具有重要影响？
直观解释
——被解释变量的波动（总平方和）=已解释的被解释变量估计值的波动（回 归平方和）+未解释的残差的波动（残差平方和），具体推导过程见课本66页。
——“仪器”的构造思想是这样的：如果这些解释变量联合起来真的对被解释 变量的波动具有显著的解释能力，那么，已解释的波动与未解释的波动之比 应比较大。
——但无论是已解释的波动也好，未解释的波动也罢，这种波动受组成“仪 器”的模块的可自由变动的随机变量个数的影响。显然，自由变动的随机变 量越多，波动就越大，故要去掉这种个数所带来的影响。
需思考的问题
• 为什么只要加入另外一些与已有解释变量 相关的新解释变量就可保证我们所关注参 数的一致性呢？
• 由于这些新加入的新解释变量与原解释变 量是相关的，这不会对原解释变量的参数 估计形成影响吗？
• 如果直观的理解上述问题，留待后面章节。
第二节 多元线性回模型的参数估计
• 1.基本模型设定 • Y=α+β1X1+ β2X2+ β3X3+…βkXk+εi （3） • 这里：Yi-被解释变量，Xji-第j(j=1，2 …k）
– 直观解释：首先，一致性要求的是，随着调查 样本容量的增大，我们的参数估计量具有“越 来越靠近”真实值的特征，或统计意义上说， 具有偏离真实值的可能性越来越小的特征。
计量经济学(第三章多元线性回归)
X
1i
X
2i
...
k
X
ki
( 2 ) 估 计 值 Y i 的 均 值 等 于 实 际 观 测 值 Y i的 均 值 ( 3 ) 剩 余 项 （ 残 差 ） e i的 均 值 为 0
（ 4） 应 变 量 估 计 值 Y i 与 残 差 e i 不 相 关 ； （ 5） 解 释 变 量 X i 与 残 差 e i 不 相 关
第一节 第二节 第三节 第四节 第五节
多元线性回归模型及古典假定 多元线性回归模型的估计 多元线性回归模型的检验 多元线性回归模型的预测 实例
第一节 多元线性回归模型及 古典假定
主要介绍 1.1 多元线性回归模型及其矩阵表示 1.2 模型的古典假定
1.1.1 多元线性回归模型形式
一般形式（随机扰动形式，注意X的下 标）：
j
（ u i 正态 , Y 是 u i的线性函数
Y 正态，又
j
是 Y 的线性函数
j
正态）
2.4 随机扰动项方差的估计
扰动项的方差 估计：
2 2
ei
2
n k 1
其中n为样本容量，k为待估参数个数。 （比较：一元情形：
2
ei
2
n2
，待估参数有2个）
第三节 多元线性回归模型的 检验
Yi 0 1 X 1i 2 X 2 i ...... k X ki u i 模型中， （ j 1, 2, ..., k） 是 偏 回 归 系 数 ： j 控制其他解释变量不变的条件下， 第 j个 解 释 变 量 的 单 位 变 动 对 应 变 量 平 均 值的影响。
多元的线性回归
多元线性回归模型一、多元线性回归模型的一般形式设随机变量y 与一般变量p x x x ,,,21 的线性回归模型为：εββββ+++++=p p x x x y 22110写成矩阵形式为：εβ+=X y 其中：⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=n y y y y 21 ⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡=np n n p p x x x x x x x x x X 212222********* ⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡=p ββββ 10 ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=n εεεε 21 二、多元线性回归模型的基本假定1、解释变量p x x x ,,,21 是确定性变量，不是随机变量，且要求n p X r a n k <+=1)(。
这里的n p X rank <+=1)(表明设计矩阵X 中自变量列之间不相关，样本容量的个数应大于解释变量的个数，X 是一满秩矩阵。
2、随机误差项具有0均值和等方差，即：⎪⎩⎪⎨⎧⎩⎨⎧=≠====),,2,1,(,,0,),cov(,,2,1,0)(2n j i j i j i n i E j i i σεεε 0)(=i E ε，即假设观测值没有系统误差，随机误差i ε的平均值为0，随机误差iε的协方差为0表明随机误差项在不同的样本点之间是不相关的（在正态假定下即为独立），不存在序列相关，并且具有相同的精度。
3、正态分布的假定条件为：⎩⎨⎧=相互独立n i ni N εεεσε ,,,,2,1),,0(~212，矩阵表示：),0(~2n I N σε,由该假定和多元正态分布的性质可知，随机变量y 服从n 维正态分布，回归模型的期望向量为：βX y E =)(；n I y 2)var(σ= 因此有),(~2n I X N y σβ 三、多元线性回归方程的解释对于一般情况含有p 个自变量的回归方程p p x x x y E ββββ++++= 22110)(的解释，每个回归系数i β表示在回归方程中其他自变量保持不变的情况下，自变量i x 每增加一个单位时因变量y 的平均增加程度。
5、计量经济学【多元线性回归模型】
二、多元线性回归模型的参数估计
2、最小二乘估计量的性质 当 ˆ0, ˆ1, ˆ2, , ˆk 为表达式形式时，为随机变量， 这时最小二乘估计量 ˆ0, ˆ1, ˆ2, , ˆk 经过证明同样也 具有线性性、无偏性和最小方差性（有效性）。 也就是说，在模型满足那几条基本假定的前提 下，OLS估计量具有线性性、无偏性和最小方差性 （有效性）这样优良的性质， 即最小二乘估计量
用残差平方和 ei2 最小的准则： i
二、多元线性回归模型的参数估计
1、参数的普通最小二乘估计法（OLS） 即：
min ei2 min (Yi Yˆi )2 min Yi (ˆ0 ˆ1X1i ˆ2 X 2i ˆk X ki )2
同样的道理，根据微积分知识，要使上式最小，只 需求上式分别对 ˆj ( j 0,1, k) 的一阶偏导数，并令 一阶偏导数为 0，就可得到一个包含 k 1 个方程的正 规方程组，这个正规方程组中有 k 1个未知参数 ˆ0, ˆ1, ˆ2, , ˆk ；解这个正规方程组即可得到这 k 1 个参数 ˆ0, ˆ1, ˆ2, , ˆk 的表达式，即得到了参数的最小 二乘估计量；将样本数据代入到这些表达式中，即可 计算出参数的最小二乘估计值。
该样本回归模型与总体回归模型相对应，其中残差 ei Yi Yˆi 可看成是总体回归模型中随机误差项 i 的 估计值。
2、多元线性回归模型的几种形式： 上述几种形式的矩阵表达式： 将多元线性总体回归模型 (3.1) 式表示的 n 个随机方 程写成方程组的形式，有：
Y1 0 1 X11 2 X 21 .Y.2.........0.......1.X...1.2........2.X...2.2. Yn 0 1 X1n 2 X 2n
ˆ0, ˆ1, ˆ2, , ˆk 是总体参数真值的最佳线性无偏估计 量（ BLUE ）；即高斯—马尔可夫定理 (GaussMarkov theorem)。
多元线性回归模型(精)
型通过最小二乘法进行参数估计，以寻求被解释变量与多个解释变量之间的线性关系。在模型中，各个解释变量对被解释变量的影响程度由回归系数表示，这些系数反映了变量之间的边际关系。然而，关于r值，它通常用于衡量回归模型的拟合优度，表示模型中解释变量与被解释变量之间的线性相关程度。在多元线性回归中，r值可以扩展为复相关系数或决定系数，以更全面地评估模型的解释能力。尽管本文档未直接讨论r值，但理解多元线性回归模型的基本框架和参数估计方法，对于深入探究r值在模型中的应用和解释具有重要意义。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
(X’X)-1存在。
第三章 多元线性回归模型
Yi 0 1X1i 2X2i kXki i
§3-2 多元线性回归模型的参数估计 一、参数的最小二乘估计
i 1,2, , n
Q ei2 (Yi Yˆ i )2 (Yi (ˆ0 ˆ1X1i ˆ2X2i ˆ kXki ))2
i 1,2, , n
§3-1 多元线性回归模型及其基本假定
一、多元回归模型及其表示
将n组观测样本值代
多元线性回归模型的矩阵表示形式： 入模型一般式，得：
Y1 0 1X11 2X21 kXk1 1
Y2
0
1X12 2X22
kXk2
2
Yn 0 1X1n 2X2n kXkn n
含有两个及以上解释变量的回归模型称为多元回归模型。 多元线性回归模型的一般式为：
Yi 0 1X1i 2X2i kXki i
i 1,2, , n
E(Y | X1i , X2i , Xki) 0 1X1i 2X2i kXki
多元线性总 体回归方程
Yi E(Y | X1i , X2i , , Xki) i 0 1X1i 2X2i kXki i
i 1,2, , n
§3-1 多元线性回归模型及其基本假定
二、多元回归模型的基本假定
4、随机误差项
与解释变量之 Cov(Xji, i)=0
间不相关
j 1,2, , k
Xji与i相互独立，互不 相关，即随机误差项i
和解释变量Xji是各自独 立对应变量Yi产生影响。 事实上，在回归分析中，
5、随机误差项 服从正态分布
i 1,2, , n
6、各解释变量之间互不相关， 即不存在线性关系
在此条件下，解释变量观测值 矩阵X满秩，Rank(X)=k+1，
1 X11 X21 Xk1
X 1 X12
X22
X
k
2
1 X1n
X2n
X
kn
方阵X’X也满秩，Rank(X’X)=k+1，
行列式|X’X|≠0，方阵X’X可逆，
E(
2 i
)
2
解释变量取不同值时， i相 对各自均值（零均值）的分散
Var (Yi ) EYi E(Yi )2 E0 1Xi i (0 1Xi ) 2
程度是相同的。应变量Yi具有 与i相同的方差。应变量Yi可 能取值的分散程度也是相同的。
E(
2 i
)
2
第三章 多元线性回归模型
Yi 0 1X1i 2X2i kXki i
第三章 多元线性回归模型
§3-1 多元线性回归模型及其基本假定
一、多元回归模型及其表示 二、多元回归模型的基本假定
§3-2 多元线性回归模型的参数估计
一、参数的最小二乘估计 二、OLS估计量的统计性质及其分布 三、随机误差项方差2的估计
§3-3 多元线性回归模型的统计检验
一、拟合优度检验 二、回归参数的显著性检验（t检验） 三、回归方程的显著性检验（F检验）
§3-1 多元线性回归模型及其基本假定 二、多元回归模型的基本假定
i 1,2, , n
3、随机误差项在不同 样本点之间是独立的，
Cov(i,
j)=0
i≠j
i, j 1,2, , n
不存在序列相关
无自相关假定表明：产生
因为i与j相互独立，有： E(i j ) E(i )E( j ) 0 Cov(i , j ) E[i E(i )][ j E( j )]
Yˆ i ˆ 0 ˆ1X1i ˆ 2X2i ˆ kXki
多元线性样 本回归方程
多元线性总 体回归模型
Yi Yˆ i ei ˆ 0 ˆ1X1i ˆ 2X2i ˆ kXki ei
多元线性样 本回归模型
第三章 多元线性回归模型
Yi 0 1X1i 2X2i kXki i
多元线性样本回归 模型的矩阵表示
Y1
Y2
1 X11 X21 Xk1
1 X12
X22
X
k
2
0
1
1
2
Y
Xˆ e
Yn
n1
Y
1 X1n
X2n
X
kn
n(
k1)
X
k
k1
Y X U
n
n1多元线性总体回归
U 模型的矩阵表示
第三章 多元线性回归模型
Yi 0 1X1i 2X2i kXki i
Q
ˆ 0
0
(Yi (ˆ 0 ˆ1X1i ˆ 2X2i ˆ kXki )) 0
i～N(0, 2)
Xji在重复抽样（观测） 中固定取值，是确定性
变量，该假定自动满足。
(结合假定1、2)
随机误差项i正态分布的假定 对模型的统计检验是很重要的。
第三章 多元线性回归模型
Yi 0 1X1i 2X2i kXki i
§3-1 多元线性回归模型及其基本假定 二、多元回归模型的基本假定
§3-4 多元线性回归模型的置信区间
一、参数估计量的置信区间 二、应变量预测值的置信区间
第三章 多元线性回归模型
§3-1 多元线性回归模型及其基本假定 一、多元回归模型及其表示
含有两个及以上解释变量的回归模型称为多元回归模型。 多元线性回归模型的一般式为：
Yi 0 1X1i 2X2i kXki i
§3-1 多元线性回归模型及其基本假定 二、多元回归模型的基本假定
i 1,2, , n
1、随机误差 项具有零均值
E(i)=0
表明：平均地看，随机误 差项有互相抵消的趋势。
2、随机误差 项具有同方差
Var(i)=2
表明：对每个Xi，随机误差项 i的方差等于一个常数2。即
Var (i ) Ei
E(i )2
i 1,2, , n
k为解释变量的个数，如果将常数项看成取值始终为1的虚 变量，则解释变量的数目为(k+1)。
模型中的回归系数j(j=1,2, ,k)表示：当其它解释变量 保持不变时，第j个解释变量变动一个单位对应变量的影
响。多元线性回归模型中的回归系数称为偏回归系数。
第三章 多元线性回归模型
§3-1 多元线性回归模型及其基本假定 一、多元回归模型及其表示
误差（干扰）的因素是完
全随机的，此次干扰与彼
次干扰互不相关，互相独
立。由此应变量Yi的序列 值之间也互不相关。
E(i j ) 0
Cov(Yi , Yj ) E[Yi E(Yi )][ Yj E(Yj )] E(i j ) 0
第三章 多元线性回归模型
Yi 0 1X1i 2X2i kXki i