第三章 一元线性回归模型
第三章 一元线性回归模型
第三章 一元线性回归模型一、预备知识（一）相关概念对于一个双变量总体,若由基础理论，变量和变量之间存在因果),(i i x y x y 关系，或的变异可用来解释的变异。
为检验两变量间因果关系是否存在、x y 度量自变量对因变量影响的强弱与显著性以及利用解释变量去预测因变量x y x ，引入一元回归分析这一工具。
y 将给定条件下的均值i x i yi i i x x y E 10)|(ββ+=（3.1）定义为总体回归函数（PopulationRegressionFunction,PRF ）。
定义为误差项（errorterm ）,记为，即，这样)|(i i i x y E y -i μ)|(i i i i x y E y -=μ，或i i i i x y E y μ+=)|(i i i x y μββ++=10（3.2）（3.2）式称为总体回归模型或者随机总体回归函数。
其中，称为解释变量x （explanatory variable ）或自变量（independent variable ）；称为被解释y 变量（explained variable ）或因变量（dependent variable ）；误差项解释μ了因变量的变动中不能完全被自变量所解释的部分。
误差项的构成包括以下四个部分：（1）未纳入模型变量的影响（2）数据的测量误差（3）基础理论方程具有与回归方程不同的函数形式，比如自变量与因变量之间可能是非线性关系（4）纯随机和不可预料的事件。
在总体回归模型（3.2）中参数是未知的，是不可观察的，统计计10,ββi μ量分析的目标之一就是估计模型的未知参数。
给定一组随机样本，对（3.1）式进行估计，若的估计量分别记n i y x i i ,,2,1),,( =10,),|(ββi i x y E 为，则定义3.3式为样本回归函数^1^0^,,ββi y （）i i x y ^1^0^ββ+=n i ,,2,1 =（3.3）注意，样本回归函数随着样本的不同而不同，也就是说是随机变量，^1^0,ββ它们的随机性是由于的随机性（同一个可能对应不同的）与的变异共i y i x i y x 同引起的。
一元线性回归模型
一元线性回归模型1．一元线性回归模型有一元线性回归模型（统计模型）如下，y t = β0 + β1 x t + u t上式表示变量y t 和x t之间的真实关系。
其中y t 称被解释变量（因变量），x t称解释变量（自变量），u t称随机误差项，β0称常数项，β1称回归系数（通常未知）。
上模型可以分为两部分。
（1）回归函数部分，E(y t) = β0 + β1 x t,（2）随机部分，u t。
图2.1 真实的回归直线这种模型可以赋予各种实际意义，收入与支出的关系；如脉搏与血压的关系；商品价格与供给量的关系；文件容量与保存时间的关系；林区木材采伐量与木材剩余物的关系；身高与体重的关系等。
以收入与支出的关系为例。
假设固定对一个家庭进行观察，随着收入水平的不同，与支出呈线性函数关系。
但实际上数据来自各个家庭，来自各个不同收入水平，使其他条件不变成为不可能，所以由数据得到的散点图不在一条直线上（不呈函数关系），而是散在直线周围，服从统计关系。
随机误差项u t中可能包括家庭人口数不同，消费习惯不同，不同地域的消费指数不同，不同家庭的外来收入不同等因素。
所以在经济问题上“控制其他因素不变”是不可能的。
回归模型的随机误差项中一般包括如下几项内容，（1）非重要解释变量的省略，（2）人的随机行为，（3）数学模型形式欠妥，（4）归并误差（粮食的归并）（5）测量误差等。
回归模型存在两个特点。
（1）建立在某些假定条件不变前提下抽象出来的回归函数不能百分之百地再现所研究的经济过程。
（2）也正是由于这些假定与抽象，才使我们能够透过复杂的经济现象，深刻认识到该经济过程的本质。
通常线性回归函数E(y t) = β0 + β1 x t是观察不到的，利用样本得到的只是对E(y t) = β0 + β1 x t 的估计，即对β0和β1的估计。
在对回归函数进行估计之前应该对随机误差项u t做出如下假定。
(1) u t 是一个随机变量，u t 的取值服从概率分布。
数学地质第三章 回归分析
yi
n
（3-9）
n 1 1 y yi x xi n i 1 n i 1 则式（3-9）可化为
n
n n 2 na x b xi xi y i i 1 i 1 a bx y
（3-10）
二、参数a,b的最小二乘估计
由式（3-10）中第一个方程得
y x
一、一元线性回归的数学模型
将式（3-2）及式（3-3）两边取对数，则分别为 Lny=lnα+βx （3-4） 及 lny=lnα+βlnx （3-5） 如果在式（3-4）中令Y=lny，则Y与x即成线性 关系；如果在式（3-5）中令Y=lny，X=lnx，则Y与X 就成线性关系。此外，还有一些函数，只要经过简单 变换，也可变为线性关系。这些统称为可化为线性关 系的情况，只要线性情况得到解决，可化为线性的情 况也就不难解决。
一元线性回归分析，主要是处理两个变量
x、y之间的关系。两个变量之间的关系有线性 和非线性两种情况，这里主要讨论线性关系及 可化为线性关系的非线性情况。
一、一元线性回归的数学模型
线性关系数学模型，如 y=a+bx (a,b为常数) （3-1） 非线性的情况，如指数函数 x y e （α，β为常数） （3-2） 幂函数形式 （3-3）
n Q 2 ( yi a bxi ) 0 a i 1 n Q 2 ( yi a bxi ) xi 0 b i 1
（ 3-8）
二、参数a,b的最小二乘估计
即
令
i 1 i 1 n n n a xi b xi2 xi y i i 1 i 1 i 1 na b xi
二、参数a,b的最小二乘估计
一元线性回归的模型
一元线性回归的模型
一元线性回归模型表示如下：
yt = β0 + β1 xt +ut（1）上式表示变量yt 和xt之间的真实关系。
其中yt 称作被解释变量（或相依变量、因变量），xt称作解释变量（或独立变量、自变量），ut称作随机误差项，β0称作常数项（截距项），β1称作回归系数。
在模型(1) 中，xt是影响yt变化的重要解释变量。
β0和β1也称作回归参数。
这两个量通常是未知的，需要估计。
t表示序数。
当t表示时间序数时，xt和yt称为时间序列数据。
当t表示非时间序数时，xt和yt称为截面数据。
ut则包括了除xt以外的影响yt变化的众多微小因素。
ut的变化是不可控的。
上述模型可以分为两部分。
（1）β0 +β1 xt是非随机部分；（2）ut是随机部分。
一元线性回归模型的参数估计
斜率（β1）
表示 x 每变化一个单位，y 平均变化的数量。
一元线性回归模型的假设
线性关系
因变量 y 和自变量 x 之间存在线性关系。
误差项独立
误差项 ε 之间相互独 立，且与 x 独立。
误差项的正态性
误差项 ε 的分布是正 态的。
误差项的无偏性
误差项 ε 的期望值为 0，即 E(ε) = 0。
有限的方差
回归分析的分类
一元回归分析
研究一个自变量和一个因变量之间的关系。
多元回归分析
研究多个自变量和一个因变量之间的关系。
线性回归模型
线性回归模型是一种常用的回归分析方法，它假设自变量和因变量之间存在线性关系，即可以用一条 直线来描述它们之间的关系。
在一元线性回归模型中，自变量和因变量之间的关系可以表示为一条直线，即 y = ax + b，其中 a 是斜 率，b 是截距。
确定样本数据
收集用于估计参数的样本数据。
构建估计量
根据模型和样本数据构建用于估计参数的统计量。
计算估计值
通过计算统计量的值得到参数的估计值。
评估估计质量
通过统计检验和图形方法评估估计的质量和可靠性。
05 模型的评估与检验
模型的拟合度评估
决定系数（R^2）
衡量模型解释变量变异程度的指标，值越接 近1表示模型拟合度越好。
数据整理
将数据整理成适合进行统计分析 的格式，如表格或图形，以便后 续分析。
建立一元线性回归模型
确定自变量和因变量
根据研究问题选择合适的自变量和因变量，确 保它们之间存在一定的关联性。
散点图分析
绘制散点图，观察自变量和因变量之间的关系， 初步判断是否适合建立一元线性回归模型。
一元线性回归模型PPT课件
b1、b2
Yi B1 B2 Xi ui
ei
第18页/共67页
3.3 参数的最小二乘估计
• 参数估计：普通最小二乘法（OLS）
• 普通最小二乘法就是要选择参数 ，使得残差平方和（residual sum of squares, RSS） 最小。
•即
b1、b2
ei2
Q ei2
Yi Yˆi 2
Xi 也称 自变量（independent variable）
称为 参数（parameter）
B , B 1 称2为 随机扰动项（random error term）
ui
第13页/共67页
3.2 随机扰动项的来源
• 上式如何解释？
• 可以认为，在给定家庭收入水平 上，第i个学生的数学分数可以表达为两部分之和：
第14页/共67页
3.2 随机扰动项的来源
•
第15页/共67页
3.2 随机扰动项的来源
• 性质1：扰动项代表了未纳入模型变量的影响。例如个人健康状况、居住区域等等。 • 性质2：反映了人类行为的内在随机性。即使模型中包括了决定数学分数的所有变量，其内在随机性也
不可避免，这是做任何努力都无法解释的。 • 性质3：还代表了度量误差，例如收入的数据可能不等于真实值。 • 性质4：“奥卡姆剃刀原则”——即描述应该尽可能简单，只要不遗漏重要的信息，此时可以把影响Y
第8页/共67页
3.1 回归的涵义
• 样本回归函数（sample regression function, SRF） • 可用样本回归函数（SRF）表示样本回归线：
其中， 总体条件均值
的估计量；
Yˆi b1 b2 Xi
Yˆ E Y X • 并非所有样本数据都准确地i落在样本回归线上，因此建立随机i 样本回归函数：
第三节 一元线性回
1
1、回归系数的显著性检验
• 估计量 S 2 来代替。 ˆ • 但样本为小样本时，回归系数估计量 β1 的标准 化变换值服从t分布，即：
σ 2 是未知的，要用其无偏 一般来说，总体方差
tβˆ =
1
ˆ β1 − β1 Sβˆ
1
~ t (n − 2)
• 式中n为样本容量，n-2为自由度。 •
回归系数显著性检验步骤：
(二)一元线性回归分析的特点 二 一元线性回归分析的特点
• 1、在两个变量之间，必须根据研究目的具体确定哪个 是自变量，哪个是因变量。相关分析不必确定两个变量中 哪个是自变量，哪个是因变量。 2、计算相关系数时，要求相关的两个变量都是随机的； 但是，在回归分析中因变量是随机的，而自变量不是随机 的变量。 3、在没有明显的因果关系的两个变量与y之间，可以 3 y 求得两个回归方程。 4、回归方程的主要作用在于：给出自变量的数值来估 计因变量的可能值。一个回归方程只能做出一种推算，推 算的结果表明变量之间的具体的变动关系。 5、直线回归方程中，自变量的系数称回归系数。回归 系数的符号为正，表示正相关；为负则表示负相关。
ˆ β1 =
n∑ xi yi − ∑ xi ∑ yi n∑ x − (∑ xi )
2 i 2
ˆ ˆ β 0 = yi − β1 xi
（一）参数 β 0 , β 1 的最小二乘估计
第三章一元线性回归分析
第三章 一元线性回归一元线性回归分析的对象是两个变量的单向因果关系，模型的核心是两变量线性函数，分析方法是回归分析。
一元线性回归是经典计量经济分析的基础。
第一节一元线性回归模型一、变量间的统计关系社会经济现象之间的相互联系和制约是社会经济的普遍规律。
在一定的条件下，一些因素推动或制约另外一些与之联系的因素发生变化。
这种状况表明在经济现象的内部和外部联系中存在着一定的因果关系，人们往往利用这种因果关系来制定有关的经济政策，以指导、控制社会经济活动的发展。
而认识和掌握客观经济规律就要探求经济现象间经济变量的变化规律。
互有联系的经济变量之间的紧密程度各不相同，一种极端的情况是一个变量能完全决 定另一个变量的变化。
比如：工业企业的原材料消耗金额用y 表示，生产量用1x 表示，单位产量消耗用2x 表示，原材料价格用3x 表示，则有：123y x x x =。
这里，y 与123,,x x x ，是一种确定的函数关系。
然而，现实世界中，还有不少情况是两个变量之间有着密切的联系，但它们并没有密切到由一个可以完全确定另一个的程度。
例如：某种高档费品的销售量与城镇居民的收入；粮食产量与施肥量之间的关系；储蓄额与居民的收入密切相关。
从图示上可以大致看出这两种关系的区别：一种是对应点完全落到一条函数曲线上；另一种是并不完全落在曲线上，而有的点在曲线上，有的点在曲线的两边。
对于后者这种不能用精确的函数关系来描述的关系正是计量经济学研究的重要内容。
二、一元线性回归模型 1.模型的建立一个例子，见教材66页：总体回归模型：01i i i Y X ββε=++ 理解：（1）误差的随机性使得Y 和X 之间呈现一种随机的因果关系；（2）Y i 的取值由两部分组成，一类是系统内影响，一类是系统外影响。
样本回归直线：01i i Y X ββ=+样本回归模型：01i i i Y X e ββ=++2.模型的假设（1） 误差项i ε的数学期望无论I 取什么值都是零。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第三章 一元线性回归模型一、预备知识 （一）相关概念对于一个双变量总体),(i i x y ,若由基础理论，变量x 和变量y 之间存在因果关系，或x 的变异可用来解释y 的变异。
为检验两变量间因果关系是否存在、度量自变量x 对因变量y 影响的强弱与显著性以及利用解释变量x 去预测因变量y ，引入一元回归分析这一工具。
将给定i x 条件下i y 的均值i i i x x y E 10)|(ββ+= （3.1） 定义为总体回归函数（Population Regression Function,PRF ）。
定义)|(i i i x y E y -为误差项（error term ）,记为i μ，即)|(i i i i x y E y -=μ，这样i i i i x y E y μ+=)|(，或i i i x y μββ++=10 （3.2） （3.2）式称为总体回归模型或者随机总体回归函数。
其中，x 称为解释变量（explanatory variable ）或自变量（independent variable ）；y 称为被解释变量（explained variable ）或因变量（dependent variable ）；误差项μ解释了因变量的变动中不能完全被自变量所解释的部分。
误差项的构成包括以下四个部分：（1）未纳入模型变量的影响 （2）数据的测量误差（3）基础理论方程具有与回归方程不同的函数形式，比如自变量与因变量之间可能是非线性关系（4）纯随机和不可预料的事件。
在总体回归模型（3.2）中参数10,ββ是未知的，i μ是不可观察的，统计计量分析的目标之一就是估计模型的未知参数。
给定一组随机样本n i y x i i ,,2,1),,( =，对（3.1）式进行估计，若10,),|(ββi i x y E 的估计量分别记为^1^0^,,ββi y ，则定义3.3式为样本回归函数i i x y ^1^0^ββ+= （n i ,,2,1 =） （3.3）注意，样本回归函数随着样本的不同而不同，也就是说^1^0,ββ是随机变量，它们的随机性是由于i y 的随机性（同一个i x 可能对应不同的i y ）与x 的变异共同引起的。
定义^i i y y -为残差项（residual term ）,记为i e ，即^i i i y y e -=，这样i i i e y y +=^，或i i i e x y ++=^1^0ββ （n i ,,2,1 =） （3.4）（3.4）式称为样本回归模型或者随机样本回归函数。
样本回归模型中残差项i e 可视为总体回归模型中误差项i μ的估计量。
（二）参数估计：普通最小二乘法如何估计总体参数10,ββ的估计量^1^0,ββ，或如何获得样本回归函数呢？在回归分析中，使用最广泛的方法是最小二乘法，一般称为普通最小二乘法（Ordinary Least Squares,OLS ）1。
OLS 求解未知参数10,ββ的估计量^1^0,ββ，使残差平方和最小。
即∑∑∑===--=-=ni i i ni i i ni ix y y y e Minimize 12^1^012^12)()(ββ （3.5）求解（3.5）式可得∑∑==---=ni ini i ix xy y x x121^1)())((β ，x y ^1^0ββ-= （3.6）其中，∑==n i i x n x 11，∑==ni i y n y 11。
（三）古典线性回归模型统计推断除了包括参数估计外还包括假设检验，在根据样本回归函数检验假设时，需要对误差项i μ的生成过程做一些假定。
假定1 回归模型是参数线性的，但可以不是变量线性的。
假定2 解释变量i x 与随机误差项i μ不相关。
即0),cov(=i i x μ。
如果解释变量i x 是非随机的，则该假设自动满足。
假定3 零均值假定。
即0)(=i E μ假定4 同方差假定。
即2)var(σμ=i假定5 无自相关假定。
即两个误差项之间不相关0),cov(=j i μμ j i ≠假定6 回归模型是正确设定的。
假定7 正态性假定。
即i μ～),0(2σN1之所以称为普通最小二乘法，是因为还有一种方法称为广义最小二乘法，普通最小二乘法是广义最小二乘法的特例。
满足以上假定的回归模型称为古典线性回归模型（Classical Line Regression Model,CLRM ）。
（四）高斯-马尔科夫定理如果古典线性回归模型的基本假定成立，则OLS 估计是最优线性无偏估计量（Best Linear Unbiased Estimators,BLUE ）。
（五）预测原理回归分析的目的之一是利用回归模型预测因变量。
比如，金融决策经常涉及一个长期的资源承诺（a long-term commitment of resources ）, 决策的收益将取决于将来发生的事情。
假设双变量总体的回归模型为（3.2），即i i i x y μββ++=10 （3.2） 在一组随机样本n i x y i i ,,2,1),,( =下，利用OLS 求得样本回归函数为（3.3） i i x y ^1^0^ββ+= （n i ,,2,1 =） （3.3） 给定样本外一点f x ，则因变量f y 的点预测为f f x y ^1^0^ββ+= （3.7） 点预测^f y 的标准误为∑=--++=ni if f x xx x ny se 122^^)()(11)(σ （3.8）因变量f y 的置信度为α-1的区间预测为[)()2(^2^f f y se n t y --α, )()2(^2^f f y se n t y -+α] （3.9）二、案例[案例1] 经济形势对人们工作意愿的影响根据劳动经济学理论，经济形势对人们工作意愿的影响存在两个互相独立的效应：受挫工人效应和增加工人效应。
用失业率度量(UNR)经济形势，用劳动力参与率(LFPR)度量人们的工作意愿。
受挫工人假说认为当经济形势恶化时，许多失业工人就业意愿降低，放弃寻找工作并退出劳动力市场，从而劳动力参与率下降；增加工人假说认为当经济形势恶化时，许多尚未进入劳动力市场的后备工人，比如带孩子的母亲，可能会由于养家的人失去工作而决定进入劳动力市场，即使这些工作的报酬很低，只要可以弥补由于养家的人失去工作而造成的损失即可，从而劳动参与率上升。
劳动参与率的增加或减少取决于增加工人效应和受挫工人效应的强弱对比。
如果增加工人效应占主导，则LFPR将升高；相反，如果受挫工人效应占主导，则LFPR将会下降。
因此，劳动参与率是上升还是下降，是一个实证问题。
表3-1给出了美国1980-2002年城市劳动参与率(CLFPR)和城市失业率(CUNR)数据，城市失业率是指城市失业人口占城市劳动力的百分比。
表3-1 1980-2002美国城市劳动力参与率、城市失业率与实际平均每小时国内工资year CLFPR(%) CUNR(%) AHE82($)1980 63.8 7.1 7.781981 63.9 7.6 7.691982 64.0 9.7 7.681983 64.0 9.6 7.791984 64.4 7.5 7.801985 64.8 7.2 7.771986 65.3 7.0 7.811987 65.6 6.2 7.731988 65.9 5.5 7.691989 66.5 5.3 7.641990 66.5 5.6 7.521991 66.2 6.8 7.451992 66.4 7.5 7.411993 66.3 6.9 7.391994 66.6 6.1 7.401995 66.6 5.6 7.401996 66.8 5.4 7.431997 67.1 4.9 7.551998 67.1 4.5 7.751999 2000 67.167.24.24.07.867.892001 66.9 4.8 7.992002 66.6 5.8 8.14注：AHE82代表以1982年价计算的平均每小时工资。
资料来源：参考文献[1]，3-5。
三、实验目的[案例1] 经济形势对人们工作意愿的影响1、用Eviews软件绘制CUNR与CLFPR之间的散点图，观察两变量之间的线性关系；2、根据劳动经济学理论以及散点图分析，为研究经济形势对人们工作意愿的影响，建立一元线性回归模型；3、根据劳动经济学理论，对回归系数的符号进行预期并加以解释；4、利用表3-1提供的数据，利用OLS法对问题2中建立的回归方程进行估计；5、在Word 文件中报告回归结果并对回归结果进行解释；6、显示因变量的实际值、拟合值，残差表（残差图）；7、绘制回归残差的直方图，并对残差进行正态性检验；8、计算CUNR 的估计系数置信度为0.95的置信区间，该区间包括零吗？ 9、利用1980-1999年的数据为样本，再次估计问题2中建立的回归模型，并利用估计的结果，给出2000-2002年clfpr 的点预测和区间预测（置信度为0.95）。
四、实验步骤[案例1] 经济形势对人们工作意愿的影响1、（1）建立工作文件 workfile clfpr-cunr a 1980 2002 （2）录入数据 data cunr clfpr（3） 绘制散点图 打开包含序列cunr 和clfpr 组对象，点击View/Graph ，在出现的Graph Options 窗口的Specifi 选项中选择Scatter ，在Fit Lines 中选择Regression Line ，点击确定。
图3-1 城市劳动参与率与城市失业率的散点图从图3-1可以观察到城市劳动参与率与城市失业率存在较明显的负相关关系。
另外，也可通过计算两变量之间的简单相关系数，判断两变量之间线性关系的方向和程度。
在命令窗口键入cor cunr clfpr ，在随后出现的相关系数矩阵中显示cunr 与 clfpr 之间的相关系数为-0.843967。
尽管用简单相关系数可以很方便地判断两变量之间线性相关的方向和程度，但散点图依然不可替代。
有时自变量与因变量之间并非线性关系，但通过一定的变量变换可转化为线性关系，而散点图可以为选择何种变换提供直观的帮助。
2、根据劳动经济学理论以及散点图分析，为研究经济形势对人们工作意愿的影响，建立一元线性回归模型如下：t t t cunr clfpr μββ++=10这里，人们的工作意愿是我们的研究对象，经济形势是影响因素。
故clfpr是因变量或被解释变量，cunr 是自变量或解释变量。
3、从理论上分析，回归系数1β表示cunr 对clfpr 的边际影响，其符号取决于增加工人效应和受挫工人效应的强弱对比。