第3章：双变量回归模型：估计问题
合集下载
第三章多元回归分析：估计
ˆ x ˆ y 1 1
ˆ 为其他因素不变情况下， x1对y的边际影响。 1
多元回归中“保持其他因素不变”的含义
尽管不能在其他条件不变的情况下收集数据，但其提 供的系数可以做其他条件不变的解释。 多元回归分析是我们能在非实验环境中进行自然科学 家在受控实验中所能做的事情：保持其他因素不变。
x1k x2 k xnk n( k 1)
u1 u u 2 u n ( n1 )
ˆ1 u ˆ u2 u ˆn ( n1) u
样本回归模型
ˆ y Xβ u
k+1个方程，求解k+1个未知数？ 存在唯一解的条件是什么？
对OLS回归方程的解释
ˆ ˆ x ˆ x ˆx ˆ y 0 1 1 2 2 k k ˆ x ˆ x ˆ x ˆ y 1 1 2 2 k k
ˆ 、 ˆ、 ˆ 估计值 1 2 、k 具有偏效应或其他情况不变的解释： 例如，保持x2、x3、…、xk 不变的情况下
1
x21 x22 x2 k
1 y1 xn1 y2 xn 2 X' y yn xnk
ˆ X'y X'Xβ
β的最小二乘（OLS）估计量为：
ˆ (X'X)1 X'y β
对于一元回归模型：
y1 y2 y yn ( n1)
第三章 多元回归分析：估计
多元回归分析可以：
更适合于“其他因素不变情况下”的分析 可用于建立更好的因变量预测模型 可用以引入相当一般化的函数关系
ch3 双变量线性回归模型(数学)-1
极大似然法的基本原理：用产生该样本概率最大的原则确 定样本回归函数。
在满足基本假设条件下，对一元线性回归模型： Yi 0 1 X i ui
随机抽取n组样本观测值（Xi, Yi）（i=1,2,…n）。
假如模型的参数估计量已经求得，为 那么Yi服从如下的正态分布：
3、总体回归函数（PRF） 回归分析关心的是根据解释变量的已知或给
定值，考察被解释变量的总体均值，即当解 释变量取某个确定值时，与之统计相关的被 解释变量所有可能出现的对应值的平均值。
E (Y | X i ) f ( X i )
例1 一个假想的社区有100户家庭组成，要研究 该社区每月家庭消费支出Y与每月家庭可支配收 入X的关系。 即如果知道了家庭的月收入，能否 预测该社区家庭的平均月消费支出水平。 为达到此目的，将该100户家庭划分为组内 收入差不多的10组，以分析每一收入组的家庭消 费支出。
注意 ①不线性相关并不意味着不相关。 ②有相关关系并不意味着一定有因果关系。 ③相关分析对称地对待任何（两个）变量，两 个变量都被看作是随机的。回归分析对变量 的处理方法存在不对称性，即区分应变量 （被解释变量）和自变量（解释变量）：前 者是随机变量，后者不是。
回归分析构成计量经济学的方法论基础，其主要内 容包括： （1）根据样本观察值对经济计量模型参数进行估 计，求得回归方程； （2）对回归方程、参数估计值进行显著性检验； （3）利用回归方程进行分析、评价及预测。
第三章 经典单方程计量经济学模型： 双变量线性回归模型
一、回归分析概述 二、双变量线性回归模型的参数估计 三、最小二乘估计量的性质 四、拟合优度的测度 五、双变量回归中的区间估计和假设检验 六、双变量线性回归模型的应用——预测 小结：本章知识结构图
在满足基本假设条件下，对一元线性回归模型： Yi 0 1 X i ui
随机抽取n组样本观测值（Xi, Yi）（i=1,2,…n）。
假如模型的参数估计量已经求得，为 那么Yi服从如下的正态分布：
3、总体回归函数（PRF） 回归分析关心的是根据解释变量的已知或给
定值，考察被解释变量的总体均值，即当解 释变量取某个确定值时，与之统计相关的被 解释变量所有可能出现的对应值的平均值。
E (Y | X i ) f ( X i )
例1 一个假想的社区有100户家庭组成，要研究 该社区每月家庭消费支出Y与每月家庭可支配收 入X的关系。 即如果知道了家庭的月收入，能否 预测该社区家庭的平均月消费支出水平。 为达到此目的，将该100户家庭划分为组内 收入差不多的10组，以分析每一收入组的家庭消 费支出。
注意 ①不线性相关并不意味着不相关。 ②有相关关系并不意味着一定有因果关系。 ③相关分析对称地对待任何（两个）变量，两 个变量都被看作是随机的。回归分析对变量 的处理方法存在不对称性，即区分应变量 （被解释变量）和自变量（解释变量）：前 者是随机变量，后者不是。
回归分析构成计量经济学的方法论基础，其主要内 容包括： （1）根据样本观察值对经济计量模型参数进行估 计，求得回归方程； （2）对回归方程、参数估计值进行显著性检验； （3）利用回归方程进行分析、评价及预测。
第三章 经典单方程计量经济学模型： 双变量线性回归模型
一、回归分析概述 二、双变量线性回归模型的参数估计 三、最小二乘估计量的性质 四、拟合优度的测度 五、双变量回归中的区间估计和假设检验 六、双变量线性回归模型的应用——预测 小结：本章知识结构图
《双变量回归》PPT课件
计量经济学讲义
13
条件期望
▪ 问：给定X，Y可以取不同的值，那么，这些值平 均起来是多少？
▪ 条件期望〔conditional Expectation〕：给定X 的Y的期望值，记为E(Y|Xi)。
▪ 例如，E(Y|X=80)=55×1/5＋60×1/5＋65×1/5 ＋70×1/5＋75×1/5＝65
▪ 或因变量〔Dependent Variable〕，后一个〔些〕变量被称为解
▪ 释变量〔Explanatory Variable〕或自变量〔Independent Variable〕。
2021/5/28
计量经济学讲义
7
2、总体回归函数
▪ 总体回归函数〔PRF: Population Regression Function〕 E(Y|Xi)=f(Xi)
2021/5/28
计量经济学讲义
11
条件分布
▪ 条件分布：以X取定值为条件的Y的条件分 布
▪ 注：给定收入X，支出Y并不确定，而是取 不同的值。
▪ 问：给定收入X，支出Y取什么值？ ▪ 例：给定X=80，Y取5个不同的值：55、
60、65、70、75
2021/5/28
计量经济学讲义
12
条件概率
▪ 条件概率：给定X的Y的概率，记为P(Y|X)。 ▪ 给定X=80，Y取5个不同的值：55、60、65、70、
▪ 总体回归曲线〔Popular Regression Curve〕：Y的条件均值的轨迹。即Y对X的 回归。
▪ 总体回归曲线的几何意义：当解释变量给 定值时因变量的条件期望值的轨迹。
2021/5/28
计量经济学讲义
15
条件均值
条件均值
计量经济学课件 第3章双变量模型 假设检验
2又称为总体方差。
由于随机项i不可观测，只能从i的估计——残
差ei出发，对总体方差进行估计。
16
二、普通最小二乘估计量的方差与标准误
随机误差项的方差2的估计
可以证明，2的最小二乘估计量为
2
是2
的估计量
ˆ 2 ei2 n2
ei 2 是残差平方和，即Y的真
实值与估计值之差的平方和
一是对变量和模型假定;二是对随机误差项的统计分布的假定.
12
二、普通最小二乘估计量的方差与标准误
OLS估计量是随机变量，因为随着样本的不同，OLS 估计量是不同的。
OLS估计量是如何随样本变化而变化的呢，即这些估 计量的抽样变异性是怎样的呢？
这种抽样变异性通常由估计量的方差或其标准误 （方差的平方根）来度量。
即每个Y值以相同的方差分布在其均值周围。
8
假定5：无自相关。即随机误差项之间不相关。 Cov(i, j)=0 i≠j i,j= 1,2, …,n
表明：误差项之间没有系统关系，即误差项是随机的9
假定6：回归模型是正确设定的。即实证分析的 模型不存在设定偏差。
可以计算出OLS的估计量及其标准误、估计量的统计性质
E(ˆ1 ) E(1 ki i ) 1 ki E(i ) 1
E(ˆ0 ) E(0 wi i ) E(0 ) wi E(i ) 0
平均而言，参数估计值与其真值是一致的。
E ˆ 2 2
平均而言，误差方差的估计值收敛于其真值
2 i
2
1 n
2 n
X
ki X 2
xi xi2
2
由于随机项i不可观测，只能从i的估计——残
差ei出发，对总体方差进行估计。
16
二、普通最小二乘估计量的方差与标准误
随机误差项的方差2的估计
可以证明，2的最小二乘估计量为
2
是2
的估计量
ˆ 2 ei2 n2
ei 2 是残差平方和，即Y的真
实值与估计值之差的平方和
一是对变量和模型假定;二是对随机误差项的统计分布的假定.
12
二、普通最小二乘估计量的方差与标准误
OLS估计量是随机变量，因为随着样本的不同，OLS 估计量是不同的。
OLS估计量是如何随样本变化而变化的呢，即这些估 计量的抽样变异性是怎样的呢？
这种抽样变异性通常由估计量的方差或其标准误 （方差的平方根）来度量。
即每个Y值以相同的方差分布在其均值周围。
8
假定5：无自相关。即随机误差项之间不相关。 Cov(i, j)=0 i≠j i,j= 1,2, …,n
表明：误差项之间没有系统关系，即误差项是随机的9
假定6：回归模型是正确设定的。即实证分析的 模型不存在设定偏差。
可以计算出OLS的估计量及其标准误、估计量的统计性质
E(ˆ1 ) E(1 ki i ) 1 ki E(i ) 1
E(ˆ0 ) E(0 wi i ) E(0 ) wi E(i ) 0
平均而言，参数估计值与其真值是一致的。
E ˆ 2 2
平均而言，误差方差的估计值收敛于其真值
2 i
2
1 n
2 n
X
ki X 2
xi xi2
2
计量经济学ch3 双变量回归的估计
标准差定义为
∑ sd (βˆ2 ) = var(βˆ2 ) = σ / xi2
同理，有
（3.12）
∑ ∑ var(βˆ1) = n
X
2 i
xi2
σ
2
⇒
sd (βˆ1 )
=σ
X
2 i
，
n xi2
（3.13）
总体方差σ 2 和标准差σ 是未知的，故需要用样本予以估计：
uˆi = yi − βˆ2 xi = β2 xi + (ui − u ) − βˆ2 xi = (β2 − βˆ2 )xi + (ui − u )
uˆ
2 i
)
/
∂βˆ
2
=
∂(
(Yi − βˆ1 − βˆ2 X i )2 ) / ∂βˆ2 = −2
(Yi − βˆ1 − βˆ2 X i )X i = −2
uˆi X i = 0
由此得到
∑ ∑ (Yi − βˆ1 − βˆ2 Xi ) = uˆi = 0 ∑ ∑ (Yi − βˆ1 − βˆ2 Xi )Xi = uˆi Xi = 0
6
为什么如此要求？
8.X 值要有变异性，即对于一个给定的样本，X 的值不能全部相同， 也就是说，X 的方差必须是一个有限的正数。
为什么如此要求？
9.正确设定了模型，或者说，所用的模型不存在设定误差。 所谓设定问题，在本书中包括： （1）模型应包括哪些变量， （2）模型的函数形式（如线性还是非线性）， （3）对模型的变量和扰动应有哪些假定等。
E(kiui ) = 0)
3. βˆi (i = 1,2) 在所有线性无偏估计量中具有最小方差 (具有最小方差
的估计量称为有效估计量)。
∑ sd (βˆ2 ) = var(βˆ2 ) = σ / xi2
同理，有
（3.12）
∑ ∑ var(βˆ1) = n
X
2 i
xi2
σ
2
⇒
sd (βˆ1 )
=σ
X
2 i
，
n xi2
（3.13）
总体方差σ 2 和标准差σ 是未知的，故需要用样本予以估计：
uˆi = yi − βˆ2 xi = β2 xi + (ui − u ) − βˆ2 xi = (β2 − βˆ2 )xi + (ui − u )
uˆ
2 i
)
/
∂βˆ
2
=
∂(
(Yi − βˆ1 − βˆ2 X i )2 ) / ∂βˆ2 = −2
(Yi − βˆ1 − βˆ2 X i )X i = −2
uˆi X i = 0
由此得到
∑ ∑ (Yi − βˆ1 − βˆ2 Xi ) = uˆi = 0 ∑ ∑ (Yi − βˆ1 − βˆ2 Xi )Xi = uˆi Xi = 0
6
为什么如此要求？
8.X 值要有变异性，即对于一个给定的样本，X 的值不能全部相同， 也就是说，X 的方差必须是一个有限的正数。
为什么如此要求？
9.正确设定了模型，或者说，所用的模型不存在设定误差。 所谓设定问题，在本书中包括： （1）模型应包括哪些变量， （2）模型的函数形式（如线性还是非线性）， （3）对模型的变量和扰动应有哪些假定等。
E(kiui ) = 0)
3. βˆi (i = 1,2) 在所有线性无偏估计量中具有最小方差 (具有最小方差
的估计量称为有效估计量)。
3.2 双变量线性回归模型的参数估计
i
i
i
ˆ
X Y X
2 i
i i
样本回归线的性质
通过Y和X的样本均值点 估计的Yi的均值等于实际观测的Yi的 均值 残差的均值为0 残差与解释变量Xi不相关 残差与估计的Yi值不相关
高斯定理
结论：在古典假定条件下 ,OLS 估计式是最佳线 性无偏估计式（BLUE）
三、最大似然估计法(ML)
2
评价要素（高斯定理前奏）
1.无偏性，方法、样本一定，抽样不同 2.最小方差性，样本一定，方法不同 3.渐进性，大样本时，具有最小渐近方差 （渐近有效）
二、参数的普通最小二乘估计（OLS）
给定一组样本观测值（Xi, Yi）（i=1,2,…n）要 求样本回归函数尽可能好地拟合这组值。
普通最小二乘法（Ordinary least squares, OLS）给出的判断标准是：残差的平方和最小。
基本原理： 对于最大似然法，当从模型总体随机抽 取n组样本观测值后，最合理的参数估计量 应该使得从总体中抽取该n组样本观测值的 概率最大。
双变量线性回归模型： Yi 1 2 X i ui
在满足11条基本假定的条件下
Yi ~ i.i.n.(1 2 X i , )
2
Yi的概率密度函数为 （i=1,2,…n）
将该似然函数极大化，即可求得到模型参 数的最大似然估计量。
对lnLF求极大值:
解得模型的参数估计量为：
2
~ ( X X )(Y Y ) x y x (X X )
i i i 2 i 2 i i
1 Y 2 X
~
~
2 ~2 u ˆ i n
可见，在满足一系列基本假设的情况下， 模型结构参数的最大似然估计量与普通最小 二乘估计量是相同的。
第3章多元回归分析：估计
i 1 n n
ˆ ˆ x ˆ x ... ˆ x )2 0 min xi1 ( yi 0 1 i1 2 i2 k ik
i 1
...... ˆ ˆ x ˆ x ... ˆ x )2 0 min xik ( yi 0 1 i1 2 i2 k ik
例3.2：小时工资方程
• 我们在log(wage)的方程中包括educ(教育 水平)，exper（工作经历）， 和tenure(任现职的任期)，估计的方程：
log （wage） 0.284 0.092educ 0.0041exp er 0.022tenure
系数0.092意味着，在保持tenure和exper不 变的情况下，多受一年教育者的log(wage) 提高0.092即9.2%。
ˆ 1 可以表示为：
n n ˆ ˆi1 yi ) / i 1 r ˆi12 1 ( i 1 r
ˆi1 ？ • r
对多元回归“排除其他变量 影响”的解释
• 首先， 将第一个自变量x1对第二个自变量x2 ˆ0 ˆ1x ˆ1 ˆ 进行回归，得到样本回归函数 x ， 2 ˆi1 xi1 x ˆi1 。 ˆi1 ，得到残差 r • 根据xi和拟合值 x 残差表示剔除了x2的影响之后，x1的其他部 分。它与x2不相关,样本均值为0。
OLS的拟合值和残差
• 直接从单变量模型推广，可得OLS拟合值 和残差的某些重要性质。 1. 残差的样本平均值为零 2. 每个自变量和OLS残差之间的样本协方 差为零，于是OLS拟合值和OLS残差之间 的样本协方差也为零 3. 点 ( x1 , x2 ..., xk , y ) 总位于样本OLS 回归线上。
ˆ 1 。 • 然后，将y对 r1 进行简单回归得到 ˆ • 1 衡量的是，剔除了其他自变量的影响之 后，x1对于y的净影响。
ˆ ˆ x ˆ x ... ˆ x )2 0 min xi1 ( yi 0 1 i1 2 i2 k ik
i 1
...... ˆ ˆ x ˆ x ... ˆ x )2 0 min xik ( yi 0 1 i1 2 i2 k ik
例3.2：小时工资方程
• 我们在log(wage)的方程中包括educ(教育 水平)，exper（工作经历）， 和tenure(任现职的任期)，估计的方程：
log （wage） 0.284 0.092educ 0.0041exp er 0.022tenure
系数0.092意味着，在保持tenure和exper不 变的情况下，多受一年教育者的log(wage) 提高0.092即9.2%。
ˆ 1 可以表示为：
n n ˆ ˆi1 yi ) / i 1 r ˆi12 1 ( i 1 r
ˆi1 ？ • r
对多元回归“排除其他变量 影响”的解释
• 首先， 将第一个自变量x1对第二个自变量x2 ˆ0 ˆ1x ˆ1 ˆ 进行回归，得到样本回归函数 x ， 2 ˆi1 xi1 x ˆi1 。 ˆi1 ，得到残差 r • 根据xi和拟合值 x 残差表示剔除了x2的影响之后，x1的其他部 分。它与x2不相关,样本均值为0。
OLS的拟合值和残差
• 直接从单变量模型推广，可得OLS拟合值 和残差的某些重要性质。 1. 残差的样本平均值为零 2. 每个自变量和OLS残差之间的样本协方 差为零，于是OLS拟合值和OLS残差之间 的样本协方差也为零 3. 点 ( x1 , x2 ..., xk , y ) 总位于样本OLS 回归线上。
ˆ 1 。 • 然后，将y对 r1 进行简单回归得到 ˆ • 1 衡量的是，剔除了其他自变量的影响之 后，x1对于y的净影响。
3 双变量回归模型：模型检验
26
• (2)显著性检验表示法（使用双边、单边检 验） • 具体方法：
• 服从自由度n－2的t分布
27
• 在H0假设成立的条件下：
• 接受域、拒绝域、临界值
28
• 例如：上述收入－消费的例子
• 估计值不在拒绝域中，所以拒绝原假设
29
• 实际中往往比较t的临界值，并用*,**,***表 示显著性
33
3.3 残差正态性检验
• • • • • 对于小样本，并采用最大似然估计法 对残差进行： 直方图 PP图、QQ图 Jarque–Bera (JB) 检验
34
• JB统计量渐近服从自由度为2的卡方分布， 当p值比较大时，则不拒绝正态性的假设。 • 例如：收入-消费的例子
5 Series: RESIDUAL Sample 1 10 Observations 10 Mean Median Maximum Minimum Std. Dev. Skewness Kurtosis Jarque-Bera Probability -15 -10 -5 0 5 10 2.26e-14 1.409091 8.363636 -10.36364 6.121662 -0.398346 1.890997 0.776920 0.678100
11
•
的置信区间：若
未知，
∼ t (n − 2)
12
• 类似的，
13
•
的置信区间
∼ χ ( n − 2)
2
14
15
• 第三章的例子：
• 则95％置信区间为：
16
• 解析：
• The interpretation of this confidence interval is: Given the confidence coefficient of 95%, in the long run, in 95 out of 100 cases intervals like (0.4268, 0.5914) will contain the true β2. • But, as warned earlier, we cannot say that the probability is 95 percent that the specific interval (0.4268 to 0.5914) contains the true β2 because this interval is now fixed and no longer random; therefore, β2 either lies in it or does not: The probability that the specified fixed interval includes the true β2 is therefore 1 or 0.