内蒙古财经大学计量经济学课件第二章 简单线性回归模型
第二章-简单线性回归模型

1. 被忽略的有关因素
2. 回归函数的设定误差
在实际应用中
,为了避免计算的复杂性,或者由于技术处 理上的局限性,我们在选取总体回归函数时 ,往往是取其近似形式。这时,所选用的回 归函数与本质上存在的回归函数之间有一定 的误差。再则,如前所述,大多数情况下, 总体回归函数的形式是未知的,我们只能根 据样本观察点的分布情况来近似地设定总体 回归函数,这种设定自然会产生一定的误差 ,上述误差也包括在扰动项之中。
令
U = Y – E(Y|X)
(2.3)
即 U 为变量 Y 中不能由变量 X 的线 性关系表示的部分,由于对应 X 的 每一个给定值 X=X0 ,所对应的 Y 为一个随机变量,因此 ,可以将 Y 看成一簇随机变量(即一系列随机 变量组成的集合),从而U 也为一 簇随机变量。将 (2.2) 、(2.3) 结合 可得:
1 100
点击OK即可。
这时进入Workfile 界面。 第二步:输入、保存数据 1、用命令:Data X Y 2、保存数据: File/Save File/Save as 注意:1、Eviews 数据在旧版本下不能保 存在中文路径,只能存在英文路径下。 2、保存数据时要在工作文件为活 动状态下,否则会出错。
1600 X
2000
2400
非线性相关:
80 70 60 50 40 30 20 10 0 0 400 X 800 1200
Y
非线性相关:
80 70 60 50 40 30 20 10 0 0 400 X 800 1200
Y
非线性相关的模拟
正相关:两个量变化的方向相同
二、总体回归模型
假设 X 为一个经济变量,Y 为另一个 经济变量,且变量 X 与 Y 之间存在着非确 定性的因果关系,即当 X 变化时会引起 Y 的变化,但这种变化是随机的。例如,某 种饮料的销售量与气温的关系,销售量受 气温的影响而变化,但其变化又不能由气 温惟一确定;再比如,家庭的周消费额与 周收入之间的关系等等。
计量经济学第二章 简单线性回归模型公式

ˆ 1
x y x
i 2 i
i
E ( k ) k
^
方差
标准误差
Var ( 1 )
SE ( 1 )
^
^
xi
2
2
Var ( 0 ) 2
SE ( 0 )
^
^
n xi
Xi
2 2
2 2
x
2
i
OLS估计式是最佳线性无偏估计式。
X n x
18 16 14 12 10 8 6 4 2 0 50-60 70-80
35% 30% 25% 20%
`
15% 10% 5% 0% 90-100
计量经济学
第 二 章
简单线性回归模型
第二章小结
1、变量间的关系: 函数关系——相关关系。 相关系数——对变量间线性相关程度的度量。 2、现代意义的回归:一个被解释变量对若干个解释变量依存 关系的研究 回归的实质:由固定的解释变量去估计被解释变量的平均 值。 3、总体回归函数(PRF):将总体被解释变量Y的条件均值表 现为解释变量X的某种函数。 E (Yi X i ) 0 1 X i Y X u
i 0 1 i i
样本回归函数(SRF):将被解释变量Y的样本条件均值表 示为解释变量X的某种函数。
ˆ ˆ X e Yi 0 1 i i
ˆ ˆX ˆ Y i 0 1 i
2
总体回归函数与样本回归函数的区别与联系。
4、随机扰动项:被解释变量实际值与条件均值的偏差,代表排
除在模型以外的所有因素对Y的影响。
3
随机扰动与解释变量不相关假定: 正态性假定:
ui ~ N (0, 2 )
计量经济学简单回归模型课件

• 有两个意义:
• (1) E(u) = 0
• (2) E(u|x) = E(u),
• 根据本书附录中条件期望性质5(Property CE.5, p.719),由(2)可得: Cov(u,x)=0
• 因为:Cov(u,x) = E([u-E(u)][x-E(x)])
= E(ux) - E(u)E(x)
(4 ')
b b n
n 1 x i y iˆ0ˆ 1 x i 0
i 1
普通最小二乘法的推导
n
(a )
xi y i y bˆ1 x bˆ1 xi 0
i1
n
(b )
xi ( yi y ) bˆ1 ( xi x ) 0
i1
n
n
(c ) xi yi y bˆ1 xi xi x
• 单纯对u作出零值假定是不够的。 • 我们需要对u和 x之间的关系做一个关键假
定。
• 我们所希望的状况是,u的期望值不依赖于 x的数值,也就是,无论x 的取值是多少,u 的期望值不变。即:
E(u|x) = E(u) • 换句话说,我们需要 u 和 x 完全不相关。
零条件期望假定
• 在前面我们已经假定了E(u) = 0,
E(心理素质|出勤次数 =1) = E(心理素质|出勤次数 =18)
= E(心理素质)
• 即: 对于不同出勤次数的同学,他们的心理素质 的平均值相同。
零条件均值假定:对b1 的另一种解释
• 对于简单二元回归模型: y = b0 + b1x + u
• 对y求关于x的条件期望,则
E(y|x) = E [(b0 + b1x + u)| x ] = b0 + b1x + E(u|x) • [注: E(b1x|x)= b1x ]
计量经济学课件4

方法G有i*良好的统计性质。
2.3 一元线性回归模型的参数估计 2.3.1普通最小二乘法
由(2.3.2)、(2.3.3)式得:
(2.3.4)
(2.3.5)
这样我们就定义了变量x和y之间的一个简单线性回归模型,也称为两变 量或一元线性回归模型。其线性的含义表示无论变量x的取值如何,它 的任何一单位变化都对变量y产生相同的影响。
2.2 一元线性回归模型的基本假设 2.2.1对回归模型设定的假设
假设1:回归模型是正确设定的。 模型的正确设定主要包括两方面的内容:(1)模型选择了正确的变量 ;(2)模型选择了正确的函数形式。 计量经济模型应用于现实经济问题时,因果关系必须有经济理论为其依 据,函数关系也必须要有可靠的依据。 模型选择了正确的变量指既没有遗漏重要的相关变量,也没有多选无关 变量且有经济理论支持该因果关系。当假设1满足时,称模型没有设定 偏误,否则模型存在设定偏误。 假设1‘:线性回归模型 回归模型对变量不一定是线性的,但对参数是线性的。在计量经济学里 说到的线性回归都是指关于参数是线性的。要注意的是回归模型的估计 原理不依赖于y和x的定义,但系数的解释依赖于它们的定义。
xi(yi y ) (xi x )xi
x(y i x(xi
y) x)
(xi x )(yi y ) (xi x )2
2.3 一元线性回归模型的参数估计 2.3.2最小二乘估计量的统计性质
(1)线性性
这里指 ˆ0和 ˆ1分别是 y1, y2 , , yn 的线性函数。
令 ki
(xi x ) ,代入上式得
计量经济学第二篇一元线性回归模型

第二章 一元线性回归模型2.1 一元线性回归模型的基本假定有一元线性回归模型(统计模型)如下, y t = β0 + β1 x t + u t上式表示变量y t 和x t 之间的真实关系。
其中y t 称被解释变量(因变量),x t 称解释变量(自变量),u t 称随机误差项,β0称常数项,β1称回归系数(通常未知)。
上模型可以分为两部分。
(1)回归函数部分,E(y t ) = β0 + β1 x t ,(2)随机部分,u t 。
图2.1 真实的回归直线这种模型可以赋予各种实际意义,居民收入与支出的关系;商品价格与供给量的关系;企业产量与库存的关系;身高与体重的关系等。
以收入与支出的关系为例。
假设固定对一个家庭进行观察,随着收入水平的不同,与支出呈线性函数关系。
但实际上数据来自各个家庭,来自同一收入水平的家庭,受其他条件的影响,如家庭子女的多少、消费习惯等等,其出也不尽相同。
所以由数据得到的散点图不在一条直线上(不呈函数关系),而是散在直线周围,服从统计关系。
“线性”一词在这里有两重含义。
它一方面指被解释变量Y 与解释变量X 之间为线性关系,即另一方面也指被解释变量与参数0β、1β之间的线性关系,即。
1ty x β∂=∂,221ty β∂=∂0 ,1ty β∂=∂,2200ty β∂=∂2.1.2 随机误差项的性质随机误差项u t 中可能包括家庭人口数不同,消费习惯不同,不同地域的消费指数不同,不同家庭的外来收入不同等因素。
所以在经济问题上“控制其他因素不变”是不可能的。
随机误差项u t 正是计量模型与其它模型的区别所在,也是其优势所在,今后咱们的很多内容,都是围绕随机误差项u t 进行了。
回归模型的随机误差项中一般包括如下几项内容: (1)非重要解释变量的省略,(2)数学模型形式欠妥, (3)测量误差等,(4)随机误差(自然灾害、经济危机、人的偶然行为等)。
2.1.3 一元线性回归模型的基本假定通常线性回归函数E(y t ) = β0 + β1 x t 是观察不到的,利用样本得到的只是对E(y t ) =β0 + β1 x t 的估计,即对β0和β1的估计。
第四讲(计量经济学第二章)PPT课件

12
六、参数估计量的概率分布及随机扰 动项方差的估计
13
经典假设下,普通最小二乘估计的分布
^
0 0 wii
ˆ1 1 ki i
^
0~N(0,2
w2) i
^
1~N(1,2
k2) i
14
古典假设下,随机扰动项方差的估计
^
2
1
n2
ei2
^2
(n2)2 ~2(n2) (证明略)
6
2、一元线性回归模型普通最小二乘估 计量的性质
高斯—马尔可夫定理(Gauss-Markov theorem)
在古典回归模型的基本假定下,最小 二乘估计量是具有最小方差的线性 无偏估计量,具有一致性。
7
无偏性:即
^
^
E00,E11
证: ˆ1 1 ki i
E ( ˆ 1 ) E ( 1 k ii ) 1 k i E ( i ) 1
1
x12i x22i(x1ix2i)2
[( x2 2i)x1iyi][( x1ix2i)x2iyi]
[ ]y x1 2i x2 2i(x1ix2i)2
( x2 2i)x1i( x1ix2i)x2i x12i x2 2i(x1ix2i)2 i
^
( x22i)x1i( x1ix2i)x2i
参数β0的区间估计所需要的统计量:
~t(n2) ^
T 00
0
S^
0
设置信水平 1
p{T|0|t}1
2
^
^
得置信区间: ( 0t2S^0, 0t2S^0)
17
二元线性回归模型
二元线性回归模型 Y i01 X 1 i2 X 2 i u i
第二章 简单线性回归模型

Y 的条件均值
E (Y X i )
55
75
95
115
135
155
175
195
215
235
之间的对应关系是: 家庭可支配收入 X 与平均消费支出 E ( Y X i ) 之间的对应关系是:
E ( Y X i ) = 15 + 2 X 3
i
的条件期望表示为解释变量的某种函数称为总体函数。 这种把总体应变量 Y 的条件期望表示为解释变量的某种函数称为总体函数。简记 PRF。 为 PRF。
(三)回归与相关的联系与区别
两者的区别在于: 用途不同—— ——相关分析是用相关系数去度量变量之间线性 (1)用途不同——相关分析是用相关系数去度量变量之间线性 关联的程度,而回归分析却要根据解释变量的确定值, 关联的程度,而回归分析却要根据解释变量的确定值,去估计和预测 被解释变量的平均值; 被解释变量的平均值; 变量性质不同—— ——相关分析中把相互联系的变量都作为随 (2)变量性质不同——相关分析中把相互联系的变量都作为随 机变量, 机变量, 而在回归分析中, 而在回归分析中, 假定解释变量在重复抽样中具有固定数值, 假定解释变量在重复抽样中具有固定数值, 是非随机的,被解释变量才是随机变量。 是非随机的,被解释变量才是随机变量。 对变量的因果关系处理不同—— ——回归分析是在变量因果关 (3)对变量的因果关系处理不同——回归分析是在变量因果关 系确定的基础上研究解释变量对被解释变量的具体影响,对变量的处 系确定的基础上研究解释变量对被解释变量的具体影响, 理是不对称的, 而在相关分析中, 把相互联系的变量都作为随机变量, 理是不对称的, 而在相关分析中, 把相互联系的变量都作为随机变量, 是对称的。 是对称的。
计量经济学(第二章简单线性回归)

X
样本回归线不是总体回归线,只是未知 总体回归线的近似。
1.6.3 残差 ei
定义:ei = Yi −Y i ∧ Y 那么有: i = Yi + ei 对上例,有:
∧
Yi = Yi + ei = β 1 + β 2 X i + ei
∧
∧
∧
回归分析的思路
样本
一定方法得出 近似看成是
零均值:E (Yi / X i ) = f ( X i ) Var (Yi / X i ) = σ 2 同方差: Cov 无自相关: (Yi , Y j ) = 0, i ≠ j 正态性: Yi ~ N ( f ( X i ), σ 2 )
2.2 普通最小二乘法(OLS)
基本思想 数学过程 估计结果
相关系数取值区间[-1,1]。 相关系数具有对称性,即 ρ xy = ρ yx; X,Y都是随机变量,相关系数只说明其 线性相关程度,不说明其非线性关系, 也不反映他们之间的因果关系; 样本相关系数是总体相关系数的样本估 计量; 简单线性相关包含了其他变量的影响。
1.3 回归分析和相关分析
1.3.1 回归分析 古典意义:高尔顿遗传学的回归概念; 现代含义:一个应变量对若干解释变 量依存关系的研究; 回归分析的目的:由固定的解释变量 去估计和预测应变量的平均值;
三种距离
Y A( X i , Yi ) 横向距离 纵 向 距离 距 离
∧
SRF A B
B( X i , Y i )
X
纵向距离 e i = Yi − Yi = Yi − β 过程
详见课本P24 举例:见Eviews练习1
2.2.3 OLS估计结果的离差形式
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
(三)相关程度的度量—相关系数
总体线性相关系数:
Cov( X , Y ) Var( X )Var(Y )
其中: ar( X ) ——X 的方差;V ar (Y ) ——Y的方差 V Cov( X , Y ) ——X和Y的协方差
样本线性相关系数:
XY
(X
__ i
__
X )(Yi Y )
14
二 总体回归函数
1 总体回归函数(PRF)
例:为了研究每周家庭消费支出Y与每周家庭 可支配收入X的关系,现从某居民区随机抽取100 户家庭,并按照每周家庭人均可支配收入的多少 把100户家庭分成10组,如下表所示: 根据下表理解: ①条件分布;②条件均值
15
二 总体回归函数
1 总体回归函数(PRF)
16
二 总体回归函数
1 总体回归函数(PRF)
17
二 总体回归函数
1 总体回归函数(PRF)
18
二 总体回归函数
1 总体回归函数(PRF)
19
二 总体回归函数
总体回归函数(PRF)的概念 (Population Regression Function)
每一个条件均值E(Y/Xi)都是Xi的一个函数
__ 2
(Xi X )
(Yi Y )
__
2
其中: i和 Yi 分别是变量 X 和 Y 的样本观测值 X __ X 和 Y 分别是变量 X 和 Y 样本值的平均值
8
使用相关系数时应注意
● X 和 Y 都是相互对称的随机变量 ● 线性相关系数只反映变量间的线性相关程度,不 能说明非 线性相关关系 ● 样本相关系数是总体相关系数的样本估计值,由 于抽样波动,样本相关系数是个随机变量,其统 计显著性有待检验 ● 相关系数只能反映线性相关程度,不能确定因果 关系,不能说明相关关系具体接近哪条直线 计量经济学关心:变量间的因果关系及隐藏在随 机性后面的统计规律性,这有赖于回归分析方法
计量经济学
第 二 章 简单线性回归模型
引子: 中国旅游业总收入将超过3000 亿美元吗?
从2004中国国际旅游交易会上获悉,到2020年,中国旅 游业总收入将超过3000亿美元,相当于国内生产总值的 8%至11%。(资料来源:国际金融报2004年11月25日 第二版) ◆是什么决定性的因素能使中国旅游业总收入到2020年达到 3000亿美元?
12
(四)回归的含义
2 回归的现代释义
在现代意义上,回归分析是用来研究一个变量(称之为被解释变 量(explained variable)或应变量(dependent variable)与另一个 或多个变量(称为解释变量(explanatory variable) 或自变量 (independent variable)之间的依赖关系。其目的是通过解释变量 的给定值来预测被解释变量的平均值或某个特定值。 这种一个变量依赖于另一个或几个变量并相随变动的例子在社会 生活中有好多。例如支出与收入的关系、失业率与通货膨胀率的关 系(菲利普斯曲线)、广告效果(及广告后的销售量)与广告费用、 广告媒介、广告密度的关系等(见教材P12-13)。回归分析就是研 究这种变量之间相随变动的关系。
13
(四)回归的含义
2 回归的现代释义
回归分析所要解决的问题: 1.确定被解释变量与解释变量之间的回归模型,并根据样本观测值对回 归模型中的参数进行估计,给出回归方程; 2.对回归方程中的参数和方程本身进行显著性检验; 3.评价解释变量对被解释变量的贡献并对其重要性进行识别; 4.利用所求得的回归方程,并根据解释变量的给定值对被解释变量进行 预测,对解释变量进行控制。
i 0 1 i
非线性如: E (Y / X i ) 0
1 X i
本课程研究的“线性”主要针对参数而言,包含两种情 况:①对参数和变量均为线性; ②对参数为线性而对变量X则为非线性
22
二 总体回归函数
3 总体回归模型
总体回归函数说明在给定的收入水平Xi下,该社 区家庭平均的消费支出水平。 但对某一个别的家庭,其消费支出可能与该平均 水平有偏差。 记 i Yi E ( Y / X i ) 称 i 为观察值Yi围绕它的期望值E(Y|Xi)的离差 (deviation),是一个不可观测的随机变量,又称为 随机干扰项(random disturbance)或随机误差项 (random error)。
i
i
i
0
称以上为一元线性回归方程(对元、线性的理解)
21
对“线性”一词的理解
对变量为线性:Y的条件期望值是X的线性函数,如
E (Y / X i ) 0 1 X i
非线性如: E (Y / X i ) 0 1 X i2 对参数为线性:Y的条件期望值是各参数β的线性函数, 如: E (Y / X ) X 2
◆旅游业的发展与这种决定性因素的数量关系究竟是什么?
◆怎样具体测定旅游业发展与这种决定性因素的数量关系?
2
第二章 简单线性回归模型
本章主要讨论:
●回归分析与回归函数 ●简单线性回归模型参数的估计 ●拟合优度的度量 ●回归系数的区间估计和假设检验 ●回归模型预测
3
第一节 回归分析与回归方程
本节基本内容:
0
1
29
三 样本回归函数
1 样本回归函数(SRF)
左图两个样本回归所对应 的回归直线,究竟哪个才能代 表总体回归函数对对应的回归 直线呢,在总体函数未知的情 况下,准确的回答这一问题较 为困难。但是可以得出:
第一,两个样本回归函数 都是总体回归函数的估计;
第二,在实践中,一般总 体回归函数是未知的,Y的观 测值只有一组,这样既不可避 免产生误差。
28
三 样本回归函数
1 样本回归函数(SRF)
表:从表2.4中随机抽取的一个样本观测值
Xi Yi 80 72 100 77 120 88 140 102 160 108 180 120 200 144 220 152 240 175 260 180
根据这组观测值得到另一组不同于 ˆ ˆ 估计量.设由 这两组估计量构成的两个样本回归函数分别是SRF1及 SRF2,见下图:
31
三 样本回归函数
2 总体回归函数与样本回归函数的关系
回归分析的主要目的:根据样本回归函数SRF,估 计总体回归函数PRF,其关系如右图为: 即,根据 Y Yˆ e ˆ ˆ X e 估计 Y E (Y | X ) X
i i i 0 1 i i
11
(四)回归的含义
1
“回归”一词的历史渊源
以每对夫妇的平均身高作为x,而取他们的一个成年儿 子的身高作为y,将结果在平面直角坐标系上绘成散点图, 发现趋势近乎一条直线,这条直线成为回归直线,根据高尔 ˆ 顿的估计,该回归方程为 y 33.73 0.516 x 正是因为子代的身高有回到同龄人平均身高的这种趋势, 才使人类的身高在一定时间相对稳定,没有出现父辈个子高 其子女更高,父辈个子矮其子女更矮的两极分化现象。 正是为了描述这种有趣的现象,高尔顿引进了“回归” 这个名词来描述父辈身高x与子代身高y的关系
Y
X
6
◆相关关系的类型 ● 从涉及的变量数量看
简单相关 多重相关(复相关)
● 从变量相关关系的表现形式看
线性相关——散布图接近一条直线 非线性相关——散布图接近一条曲线
● 从变量相关关系变化的方向看
正相关——变量同方向变化,同增同减 负相关——变量反方向变化,一增一减 不相关
23
二 总体回归函数
3 总体回归模型
个别家庭的消费支出为:
Yi E ( Y / X i ) i f ( X ) i 0 1 X i i
(*)
即,给定收入水平Xi ,个别家庭的支出可表示为两部分之和: (1)该收入水平下所有家庭的平均消费支出E(Y|Xi),称为 系统性(systematic)或确定性(deterministic)部分。 (2)偏离所有家庭平均消费支出E(Y|Xi)的程度 i ,是其他 随机或非确定性(nonsystematic)部分 。
E (Y / X i ) f ( X i )
(1)
其中f(Xi)表示解释变量Xi某个函数
(1)称为双变量总体回归函数.它表明在给定 Xi下的Y分布的条件均值与Xi有函数关系
20
二 总体回归函数
2 总体回归函数的形式
如果X与Y之间存在线性关系,PRF则为
E (Y / X i ) 0 1 X i
26
三 样本回归函数
1 样本回归函数(SRF)
表:从表2.4中随机抽取的一个样本观测值
Xi Yi 80 64 100 83 120 84 140 95 160 107 180 120 200 145 220 152 240 165 260 178
如果根据以上给出的观测值并根据已定的准则估计 出了参数 和 1 ,记作 ˆ ˆ 并记 i 的估计量
●回归与相关 ●总体回归函数 ●随机扰动项 ●样本回归函数
4
一、回归与相关
(对统计学的回顾)
(一). 经济变量间的相互关系
◆确定性的函数关系
Y f (X )
◆不确定性的统计关系—相关关系
Y f (X )
(ε为随机变量)
◆没有关系
5
(二)相关关系
◆ 相关关系的描述 相关关系最直观的描述方式——坐标图(散布图)
24
二 总体回归函数
3 总体回归模型
(*)式称为总体回归函数(方程)PRF的随机设定形式。 表明被解释变量除了受解释变量的系统性影响外,还受其他因 素的随机性影响。由于方程中引入了随机项,成为计量经济学 模型,因此也称为总体回归模型。