第三章一元线性回归

第三章 一元线性回归 第一部分 学习指导
一、本章学习目的与要求
1、掌握一元线性回归的经典假设
2、掌握一元线性回归的最小二乘法参数估计的计算公式、性质和应用
3、理解拟合优度指标决定系数R2的含义和作用
4、掌握解释变量X和被解释变量Y之间线性关系检验回归参数0和1
的显著性检验
5、了解利用回归方程进行预测的方法。
二、本章内容提要
一一元线性回归模型的假设条件
1Ei=0 i=12??n即随机误差项分布的均值为零。
2Vari=2 i=1,2, ??n即随机误差项方差恒定称为同方差。
3C o vij= 0任意i≠jij = 1 , 2 , ??n即随机误差项之间互不
相关。
4解释变量X是非随机的换句话说在重复抽样下X的取值是确定不变的。
5iN02即随机误差项服从均值为0,方差为2的正态分布。
前四个假定就是著名的高斯—马尔科夫假定或者称为回归分析的经典假定。
二一元线性回归最小二乘法估计参数的计算公式及性质
1、一元线性回归最小二乘法估计参数的计算公式为  
 
 1
1
2
1
0 1?
? ?n
i i
xy
i
n
xx
i
ix x y y
S
S
x x
y x
 

 


 





 



2、一元线性回归最小二乘法估计参数的性质与估计量的性质
1残差的总和等于0即
n
i
i
1
?=0。
2残差的平方和最小即
n
i
i
1
2?最小。
3被解释变量Y的实际观测值iy之和等于其拟合值?iy之和从而iy的均值y与iy
?的均值y
?也相等。
4残差?i与?iy互不相关即1?
?
0n
i i
iy。
5回归直线通过解释变量X和被解释变量Y的均值点( , )
x y。
3、OLS法得到的估计量的性质
1 线性性即参数估计量是关于被解释变量Y取值的线性函数。
2无偏性即参数估计量的均值等于参数本身也就是E1?=1E0?=0
3方差最小性即在参数的所有线性无偏估计中OLS估计量是方差最小的。该性质也称为方差有效性。
由1、2、3条性质知根据最小二乘法得到的参数估计量是最优线性无偏估计量Best Linear Unbias
Estimator简称BLUE估计量。
三拟合优度指标决定系数R2
1、总离差平方和的分解TSS TSS= ESS+RSS
即
总离差平方和=回归平方和+残差平方和
其中2?
ESS ( )iy y
 称为回归平方和

Explained Sum of Square 2?
RSS ( )i iy y
 称为残差平方和Residual Sum of Square。
2、决定系数R2 2 2
0 1
2
2 2? ?
?
( ) ( )
ESS
TSS ( ) ( )i i
i iy y x y
R
y y y y   
  
  
 =
 
 2
2
2
2 2
1 1
22
2( )
? ?
( )i i
i
i
i in x x
x x
y y
n y y
 



 


 
决定系数2R反映的是回归方程的拟合程度值越大说明拟合优度越好反之越差。
四变量之间线性关系的显著性检验
1、解释变量X和被解释变量Y之间线性关系检验
解释变量X和被解释变量Y之间线性关系检验使用F检验。 2
1


n
RSS
ESS
F)
2,1(nF
如果计算出的F值大于在给定的显著性水平下的临界值(1, 2)
F n则接受备择假设1H说明解释变量X对被解释变量Y有显著影响即两者线性关系显著。如果经计算出的F值小于在给定的显著性水平下的临
界值(1, 2)
F n则接受原假设0H说明解释变量X对被解释变量Y没有显著影响即两者线性关系不显著。
在Eviews软件中通常只要看F值所对应的概率p。在Eviews软件中用ProbF-statistic表示它被定义为
ProbF-statistic=p={ (1, 2) }
P F n F 。由概率统计知识知只要F值所对应的概率p小于给定的显著性水
平就一定有F值大于临界值(1, 2)
F n。也就是说只要比较ProbF-statistic和的大小就可以判断两
变量线性关系是否显著。
2、回归参数0和1的显著性检验
计量经计学中主要是针对回归参数真值是否为零来进行显著性检验的。对回归参数
0和1的显著性
检验使用t检验。
1回归参数1的显著性检验 )
,(~
?2
2
11ix
N
实际应用中总体方差2通常是未知的 2?=RSS
2n=22n
ei。 )
2(~
?
?
?1?
11
22
11



nt
S
x
t
i



检验步骤如下
①对总体参数提出假设
H0 1=0 H110
②以原假设H0构造t统计量并由样本计算其值 1?
1?S
t
③给定显著性水平查t分布表得临界值)
2(2/nt ④比较判断若|t|>)2(2/nt则拒绝H0 接受H1  若|tt|)2(2/nt则拒绝H1 接受H0 。
2回归参数
0的显著性检验
仿照回归参数1的显著性检验方法构造统计量 )
2(~
?
?
?0?
0
222
00


nt
S
xnX
t
ii



具体步骤与回归参数1的显著性检验步骤相同。
五总体均值和个别值的预测
1、总体均值的点估计
在

给定0X x
条件下0( | )E Y x的点估计值或称为预测值为 0 0 1 0? ?
?
y x  。
2、总体均值的区间估计
在给定显著性水平的条件下0( | )
E Y x的置信区间为
0?
y2( 2)
t n0?
( )s y  0?y+2( 2)
t n0?
( )s y
其中0?
( )s y=2
0
( )
1xx
x x
s
n S
 


 
 
3、个别值的区间估计
在给定显著性水平的条件下0?
y2( 2)
t n0( )s
 0?
y+2( 2)
t n0( )s

其中2
0
0( )
1
( ) (1 )xxx xs s
n S

  s一般用?代替。


第二部分 重点、难点解析

一、一元线性回归分析的一般步骤
一元线性回归分析有以下几个主要步骤
第一步根据研究的目的和内容确定被解释变量Y和解释变量X即变量的选择问题。
选择解释变量的一个原则是既要与被解释变量Y有密切的关系又要考虑变量资料的可得性还要兼顾模型简洁。
第二步模型的设定。
模型设定从根本上来说是根据研究的经济现象依据相应的经济理论加以确定的。可以说依据的经济
理论正确与否是模型建立的关键。当然对经济现象历史分析的实践经验也是模型设定的重要依据。实践中当
经济理论和实践经验都较为缺乏时比如研究一个从未研究过的新问题时人们通常的做法是根据所收集
到的资料作散点图再依据散点图的形状来确定模型应采用的形式。
第三步参数估计。
根据设定的模型利用已经收集到的样本数据应用最小二乘法对模型中的参数进行估计。目前关于最小二
乘法估计的软件很多如EviewsSAS等都可以用来对参数进行估计包括回归参数01以及随机误差项的方差2的估计。
第四步模型的检验和修正。
当模型中的参数估计出来以后模型基本上就建立了。但是模型建立的好坏还需对模型本身及其参数作必
要的检验。常用的检验经济检验、统计检验、计量经济检验以及残差图检验。如果模型通过了以上所有检验
则模型拟合较好可以进行实际运用。如果某一种检验没有通过就需要找出其未通过的原因并根据具体情
况对模型、估计方法等进行修正或调整。
第五步模型的运用。
模型的运用是回归分析的目的和问题的出发点。回归模型的一个重要应用是进行预测或者通过预测达到
控制目的。就一元线性回归分析而言就是给定解释变量X的一个特定值来预测对应被解释变量Y的平均值
和个别值。
整个过程以流程图的形式给出如下 变量的选择选元问题

模型设定

参数估计
假设检验
N
Y
模型运用
二、如何根据Eviews软件回归的结果进行模型的检验
一回归直线拟合优度的检验
在Eviews软件运行结果中可以直接得到拟合优度2R的值“R-squared”即是2R统计量“Adjusted
R-squared”即是调整的2R统计量。
二回归系数估计量的显著性检验
在Eviews软件中通常只要看t值所对应的概率p在Eviews软件中用Prob.表示它被定义为Prob.= p={ ( 2) | |}
P t n t 。由概率统计知识知只要t值所对应的概率p小于给定的显著性水平就一定有t值的
绝对值大于临界值2( 2)
t n。也就是说只要比较Prob.和的大小就可以判断0和1与0是否有显著差异。
三回归方程的显著性检验

在Eviews软件中通常只要看F值所对应的概率p。在Eviews软件中用ProbF-statistic表示它被定
义为ProbF-statistic=p={ (1, 2) }
P F n F 。由概率统计知识知只要F值所对应的概率p小于给定的显著
性水平就一定有F值大于临界值(1, 2)
F n。也就是说只要比较ProbF-statistic和的大小就可以判
断两变量线性关系是否显著。
三、残 差 图 分 析 一残差图分析的依据
标准回归模型假定随机误差项满足零均值、同方差、不相关等假定。特别地为了进行统计推断还要求随机误差项服从正态分布即iN02。如果样本回归模型对数据拟合是良好的话那么i的估计?i就应
该反映i的这些分布特性即?i应近似服从N02从而有?i/N01并称?i/为标准化残差。
考虑到一般是未知的用?
RSS/( 2) MSRn   来代替通常用s表示从而有 *?
? ?
?
/
MSRi
i i

   N01
二标准化残差图主要形式
1回归方程拟合较好
如果由ix*?i构成的点绝大多数落在2+2的水平带状区间之中且不带有任何系统趋势、完
全随机地分布在该带状之中则说明采用的回归方程对样本数据的拟合是良好的见下图。 X
*?
O +2

2 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 图 3.6 回归方程拟合较好的残差图
2回归方程具有某种曲线形式
如果总体回归方程本质上是曲线而我们回归时却采用的是直线此时标准化残差图就会表现出某种曲线
形状产生所谓的系统性偏差。图3.7给出了两种可能的形状。
X *? O

+2
2 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · X
*?
O

+2
2 回归方程具有曲线形式的残差图 3样本数据中存

在一个或多个异常点
当样本数据中存在异常点时一个最明显的特征是这些异常点明显地离开大多数数据点见下图。 X
*?
O
+2
2 · · · · · · · · · ·
· · · · · · · · · · · · · · · · · · · 异常点
· 异常点 样本数据中存在异常点时的残差图 4回归方程拟合不充分
当回归方程拟合不充分的时候由ix*?i构成的点许多就会落在2+2
的水平带状区间之外也就是不满足正态性性质。其原因可能是模型遗漏了某些重要的解释变量或模型设定
有误。拟合不充分的残差图见下图。 X
*? O
+2 2
· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 数据拟合不充分时的残差图
5随机误差项存在异方差性
如果Vari=2
i不为常数 i=1,2, ??n即对应于每个ix有一个2i与之对应则称随机误
差项具有异方差性。对于随机误差项具有异方差性的回归模型其标准残差图往往表现出呈现渐增或渐减的形
状如下图所示。 X

*? O

+2 2
· · · · · · · · · · · · · · · · · · · · · · · · X
*?
 O

+2 2
· · · · · · · · · · · · · · · · · · · 随机误差项存在异方差性时的残差图 6随机误差项存在自相关
当随机误差项之间的协方差Covij≠0任意i≠jij =1,2,??n即对于每一个iy所对应
的i误差项之间存在某种相关性可能是正相关也可能是负相关。如下图。 t*?tO
+22· t*?tO
+22 a b
随机误差项存在自相关性时的残差图