第三章-一元线性回归模型
第三章 一元线性回归模型
第三章 一元线性回归模型一、预备知识（一）相关概念对于一个双变量总体,若由基础理论，变量和变量之间存在因果),(i i x y x y 关系，或的变异可用来解释的变异。
为检验两变量间因果关系是否存在、x y 度量自变量对因变量影响的强弱与显著性以及利用解释变量去预测因变量x y x ，引入一元回归分析这一工具。
y 将给定条件下的均值i x i yi i i x x y E 10)|(ββ+=（3.1）定义为总体回归函数（PopulationRegressionFunction,PRF ）。
定义为误差项（errorterm ）,记为，即，这样)|(i i i x y E y -i μ)|(i i i i x y E y -=μ，或i i i i x y E y μ+=)|(i i i x y μββ++=10（3.2）（3.2）式称为总体回归模型或者随机总体回归函数。
其中，称为解释变量x （explanatory variable ）或自变量（independent variable ）；称为被解释y 变量（explained variable ）或因变量（dependent variable ）；误差项解释μ了因变量的变动中不能完全被自变量所解释的部分。
误差项的构成包括以下四个部分：（1）未纳入模型变量的影响（2）数据的测量误差（3）基础理论方程具有与回归方程不同的函数形式，比如自变量与因变量之间可能是非线性关系（4）纯随机和不可预料的事件。
在总体回归模型（3.2）中参数是未知的，是不可观察的，统计计10,ββi μ量分析的目标之一就是估计模型的未知参数。
给定一组随机样本，对（3.1）式进行估计，若的估计量分别记n i y x i i ,,2,1),,( =10,),|(ββi i x y E 为，则定义3.3式为样本回归函数^1^0^,,ββi y （）i i x y ^1^0^ββ+=n i ,,2,1 =（3.3）注意，样本回归函数随着样本的不同而不同，也就是说是随机变量，^1^0,ββ它们的随机性是由于的随机性（同一个可能对应不同的）与的变异共i y i x i y x 同引起的。
一元线性回归模型课件
设满足一元线性回归模型的两个变量的n对样本数据为x1, y1，，xn , yn
由 yi bxi a ei (i 1,2,..., n), y得i (bxi a) ei ， ei显然
越小，
表示样本数据点离直线y=bx+a的竖直距离越小。
n
yi bxi a2
通常用各散点到直线的竖直距离的平方和Q= i1 画各样本数据与直线y=bx+a的“整体接近程度”。
x
0
1
3
4
y
2
4
6
8
从散点图分析，y与x线性相关，且y 2x a ，则a=
例题2
• 某机构对高二学生的记忆力x和判断力y进行统计分析，得到如
下数据：（已知
4
4
xi yi 158, xi2 344
）
i1
i1
x
6
8
10
12
y
2
3
5
6
（1）求出y关于x的经验回归方程
y bxa
（2）一名学生记忆力为5，试估计他的判断力
残差平方和、决定系数R²
n
• 残差平方和： ( yi yi )2 ，残差平方和越小，模型拟合效果越
Hale Waihona Puke i 1好，残差平方和越大，模型拟合效果越差。
•
决定系数：R2
1
i
n 1
yi
n
yi
2
2
yi yi
i 1
，R²越大，模型拟合效果越好；
R²越小，模型拟合效果越差
归方程的方法叫做最小二乘法，求得的
b，a
叫做b，a的最小二
乘估计。
经验回归方程的性质
一元线性回归模型
一元线性回归模型1．一元线性回归模型有一元线性回归模型（统计模型）如下，y t = β0 + β1 x t + u t上式表示变量y t 和x t之间的真实关系。
其中y t 称被解释变量（因变量），x t称解释变量（自变量），u t称随机误差项，β0称常数项，β1称回归系数（通常未知）。
上模型可以分为两部分。
（1）回归函数部分，E(y t) = β0 + β1 x t,（2）随机部分，u t。
图2.1 真实的回归直线这种模型可以赋予各种实际意义，收入与支出的关系；如脉搏与血压的关系；商品价格与供给量的关系；文件容量与保存时间的关系；林区木材采伐量与木材剩余物的关系；身高与体重的关系等。
以收入与支出的关系为例。
假设固定对一个家庭进行观察，随着收入水平的不同，与支出呈线性函数关系。
但实际上数据来自各个家庭，来自各个不同收入水平，使其他条件不变成为不可能，所以由数据得到的散点图不在一条直线上（不呈函数关系），而是散在直线周围，服从统计关系。
随机误差项u t中可能包括家庭人口数不同，消费习惯不同，不同地域的消费指数不同，不同家庭的外来收入不同等因素。
所以在经济问题上“控制其他因素不变”是不可能的。
回归模型的随机误差项中一般包括如下几项内容，（1）非重要解释变量的省略，（2）人的随机行为，（3）数学模型形式欠妥，（4）归并误差（粮食的归并）（5）测量误差等。
回归模型存在两个特点。
（1）建立在某些假定条件不变前提下抽象出来的回归函数不能百分之百地再现所研究的经济过程。
（2）也正是由于这些假定与抽象，才使我们能够透过复杂的经济现象，深刻认识到该经济过程的本质。
通常线性回归函数E(y t) = β0 + β1 x t是观察不到的，利用样本得到的只是对E(y t) = β0 + β1 x t 的估计，即对β0和β1的估计。
在对回归函数进行估计之前应该对随机误差项u t做出如下假定。
(1) u t 是一个随机变量，u t 的取值服从概率分布。
计量经济学第三章-一元线性回归模型PPT课件
第11页/共79页
四、样本回归函数（SRF）
总体的信息往往无法掌握，现实的情况只能 是在一次观测中得到总体的一个样本。
问题：能否从一次抽样中获得总体的近似的信息 吗？如果可以，如何从抽样中获得总体的近似信息？
式中， ei 称为（样本）残差（或剩余）项（residual），是
实际观测值和拟合值的偏差。可看成是 的估i 计量 ˆi 。
由于方程中引入了随机项，成为计量经济模型， 因此也称为样本回归模型（sample regression model）。
第15页/共79页
• 每次抽样都能获得一组样本，就可以拟合一条样本回归线，因此，样本 回归线是随抽样波动而变化的，可以有许多条，这就决定了SRF不唯一。
1 n
n
Yi ,
i1
得ˆ0 Y X ˆ1
记x i
,
yi
分别为样本值与其均值的离差，即x i
=Xi
X
,
yi
=Yi
Y
,
离差有如下性质：
⑴ xi 0或 (Xi X ) 0
⑵ xi2
(Xi X )2
X
2 i
1 n
(
Xi )2
X
2 i
n
X
2
⑶ xi yi ( Xi X )(Yi Y ) XiYi n X Y
第4页/共79页
二、总体回归函数
由于变量间关系的随机性，回归分析关心的是根据解释变量的已 知或给定值，考察被解释变量的总体均值，即当解释变量取某个确定值时， 与之统计相关的被解释变量所有可能出现的对应值的平均值。这恰好是条件 期望的概念。
数学地质第三章 回归分析
yi
n
（3-9）
n 1 1 y yi x xi n i 1 n i 1 则式（3-9）可化为
n
n n 2 na x b xi xi y i i 1 i 1 a bx y
（3-10）
二、参数a,b的最小二乘估计
由式（3-10）中第一个方程得
y x
一、一元线性回归的数学模型
将式（3-2）及式（3-3）两边取对数，则分别为 Lny=lnα+βx （3-4） 及 lny=lnα+βlnx （3-5） 如果在式（3-4）中令Y=lny，则Y与x即成线性 关系；如果在式（3-5）中令Y=lny，X=lnx，则Y与X 就成线性关系。此外，还有一些函数，只要经过简单 变换，也可变为线性关系。这些统称为可化为线性关 系的情况，只要线性情况得到解决，可化为线性的情 况也就不难解决。
一元线性回归分析，主要是处理两个变量
x、y之间的关系。两个变量之间的关系有线性 和非线性两种情况，这里主要讨论线性关系及 可化为线性关系的非线性情况。
一、一元线性回归的数学模型
线性关系数学模型，如 y=a+bx (a,b为常数) （3-1） 非线性的情况，如指数函数 x y e （α，β为常数） （3-2） 幂函数形式 （3-3）
n Q 2 ( yi a bxi ) 0 a i 1 n Q 2 ( yi a bxi ) xi 0 b i 1
（ 3-8）
二、参数a,b的最小二乘估计
即
令
i 1 i 1 n n n a xi b xi2 xi y i i 1 i 1 i 1 na b xi
二、参数a,b的最小二乘估计
第三章 一元线性回归模型
第三章一元线性回归模型第一节一元线性回归模型及其基本假设一元线性回归模型第二章回归分析的基本思想指出，由于总体实际上是未知的，必须根据样本回归模型估计总体回归模型，回归分析的目的就是尽量使得样本回归模型接近总体回归模型，那么采取什么方法估计样本回归模型才使得估计出的样本回归模型是总体回归模型的一个较好估计值呢？这里包括两个问题：一是采用什么方法估计样本回归模型；二是怎样验证估计出的样本回归模型是总体回归模型的一个较好估计值。
这些将在接下来的内容中讲到。
这一章介绍最简单的一元线性回归模型，下一章再扩展到多元线性回归模型。
一元线性回归模型及其基本假设一、一元线性回归模型的定义一元线性回归模型是最简单的计量经济学模型，在该一元模型中，仅仅只含有一个自变量，其一般形式为：yi = β0 + β1xi + μi（3.1.1）其中yi是因变量，xi是自变量，β0、β1是回归参数，μi是随机项。
由于式（3.1.1）是对总体而言的，也称为总体回归模型。
随机项μ代表未被考虑到模型中而又对被解释变量y有影响的所有因素产生的总效应。
二、一元线性回归模型的基本假设由于模型中随机项的存在使得参数β0和β1的数值不可能严格计算出来，而只能进行估计，在计量经济学中，有很多方法可以估计出这些参数值，但采用什么方法能够尽可能准确地估计出这些参数值，取决于随机项μ和自变量x的性质。
因此，对随机项μ和自变量x的统计假定以及检验这些假定是否满足的方法，在计量经济学中占有重要的地位。
估计方法中用得最多的是普通最小二乘法（Ordinary Least Squares），同样为了保证利用普通最小二乘法估计出的参数估计量具有良好的性质，也需要对模型的随机项μ和自变量x 提出若干种假设。
当模型中的随机项μ和自变量x满足这些假设时，普通最小二乘法就是适合的估计方法；当模型中的随机项μ和自变量x不满足这些假设时，普通最小二乘法就不是适合的方法，这时需要利用其他的方法来估计模型。
回归分析预测方法
,
b0
n
y
b1
n
x
例3-2：已知某种商品旳销售量同居民旳可支配 收入有关，既有如下表旳统计数据，试建立回归 方程，并求出相应参数旳最小二乘估计值。
商品
商品旳
实际可支配 年份 收入 x（单
位：10元）
销售量 （单位
年份
实际可支配 收入x（单 位：10元）
：件）
旳销 售量 （单 位：
件）
1983
522
有关关系旳特点
1．变量间关系不能用函数关系精确体现。 2．一种变量旳取值不能由另一种变量唯一拟定。 3．对于线性有关，各观察点分布在直线周围。
(a)
(b)
y -2 -1 0 1 2
y -2 -1 0 1 2
-3
-2
-1
0
1
2
x
(c)
-2
-1
0
1
2
x
(d)
y 02468
y -2 -1 0 1 2
第二节 一元线性回归预测法
一元线性回归（Linear regression）是指成正确两个
变量数据分布大致上呈直线趋势时，利用合适旳参数估
计措施，求出一元线性回归模型，然后根据自变量与因
变量之间旳关系，预测因变量旳趋势。
现实中，诸多社会经济现象之间都存在有关关系， 所以，一元线性回归预测有很广泛旳应用。进行一元线 性回归预测时，必须选用合适旳统计措施估计模型参数， 并对模型及其参数进行统计检验。
法国数学家勒让德于1823年首次刊登最小二 乘理论。实际上，德国旳高斯于1794年已经 应用这一理论推算了谷神星旳轨道，但迟至 1823年才正式刊登。
最小二乘法也是数理统计中一种常用旳措施 ，在工业技术和其他科学研究中有广泛应用 。
一元线性回归模型的参数估计
斜率（β1）
表示 x 每变化一个单位，y 平均变化的数量。
一元线性回归模型的假设
线性关系
因变量 y 和自变量 x 之间存在线性关系。
误差项独立
误差项 ε 之间相互独 立，且与 x 独立。
误差项的正态性
误差项 ε 的分布是正 态的。
误差项的无偏性
误差项 ε 的期望值为 0，即 E(ε) = 0。
有限的方差
回归分析的分类
一元回归分析
研究一个自变量和一个因变量之间的关系。
多元回归分析
研究多个自变量和一个因变量之间的关系。
线性回归模型
线性回归模型是一种常用的回归分析方法，它假设自变量和因变量之间存在线性关系，即可以用一条 直线来描述它们之间的关系。
在一元线性回归模型中，自变量和因变量之间的关系可以表示为一条直线，即 y = ax + b，其中 a 是斜 率，b 是截距。
确定样本数据
收集用于估计参数的样本数据。
构建估计量
根据模型和样本数据构建用于估计参数的统计量。
计算估计值
通过计算统计量的值得到参数的估计值。
评估估计质量
通过统计检验和图形方法评估估计的质量和可靠性。
05 模型的评估与检验
模型的拟合度评估
决定系数（R^2）
衡量模型解释变量变异程度的指标，值越接 近1表示模型拟合度越好。
数据整理
将数据整理成适合进行统计分析 的格式，如表格或图形，以便后 续分析。
建立一元线性回归模型
确定自变量和因变量
根据研究问题选择合适的自变量和因变量，确 保它们之间存在一定的关联性。
散点图分析
绘制散点图，观察自变量和因变量之间的关系， 初步判断是否适合建立一元线性回归模型。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Econometrics第三章一元线性回归模型（教材第二、三章）第三章一元线性回归模型3.1 回归的涵义3.2 随机扰动项的来源3.3 参数的最小二乘估计3.4 参数估计的性质3.5 显著性检验3.6 拟合优度3.7 预测学习要点回归模型的涵义，参数的OLS估计及其性质，显著性检验3.1 回归的涵义回归分析（regression analysis ）f 用于研究一个变量（称为被解释变量或应变量）与另一个或多个变量（称为解释变量或自变量）之间的关系。
f Y 代表被解释变量，X 代表解释变量；解释变量有多个时，用X1，X 2，X 3等表示。
f 例：商品的需求量与该商品价格、消费者收入以及其他竞争性商品价格之间的关系。
总体回归函数（f 例：学生的家庭收入与数学分数有怎样的关系？3.1 回归的涵义3.1 回归的涵义总体回归函数（population regression function，PRF）f根据上面数据做散点图3.1 回归的涵义总体回归函数（f 上图中，圆圈点称为条件均值；条件均值的连线称为总体回归线。
3.1 回归的涵义样本回归函数（sample regression function, SRF ）f 实际中往往无法获得整个总体的数据，怎么估计总体回归函数？即如何求参数B 1、B 2？f 通常，我们仅仅有来自总体的一个样本。
f 我们的任务就是根据样本信息估计总体回归函数。
f 怎么实现？3.1 回归的涵义样本回归函数（sample regression function, SRF ）f 表2-2、2-3的数据都是从表2-1中随机抽取得到的。
3.1 回归的涵义样本回归函数（sample regression function, SRF）f通过散点得到两条“拟合”样本数据的样本回归线。
3.1 回归的涵义样本回归函数（f 可用样本回归函数（3.1 回归的涵义样本回归函数（sample regression function, SRF）f回归分析：根据样本回归函数估计总体回归函数。
3.1 回归的涵义“线性”回归的特殊含义f 对“线性”有两种解释：变量线性和参数线性。
变量线性：例如前面的总体（或样本）回归函数；下3.2 随机扰动项的来源f 总体回归函数说明在给定的家庭收入下，美国学生平均的数学分数。
f 但对于某一个学生，他的数学分数可能与该平均水平有偏差。
f 可以解释为，个人数学分数等于这一组的平均值加上或减去某个值。
用数学公式表示为：其中，表示随机扰动项，简称扰动项。
扰动项是一个随机变量，通常用概率分布来描述。
12i i iY B B X u =++i u3.2 随机扰动项的来源f 对于回归模型f 称为被解释变量（explained variable ）也称应变量或因变量（dependent variable ）称为解释变量（explanatory variable ）也称自变量（independent variable ）称为参数（parameter ）称为随机扰动项（random error term ）12i i iY B B X u =++i u i Y i X 12,B B3.2 随机扰动项的来源f 上式如何解释？可以认为，在给定家庭收入水平3.2 随机扰动项的来源f3.2 随机扰动项的来源f性质1：扰动项代表了未纳入模型变量的影响。
例如个人健康状况、居住区域等等。
包括了决定数学分数的所有变量，其内在随机性也不可避免，这是做任何努力都无法解释的。
等于真实值。
f性质4：“奥卡姆剃刀原则”——即描述应该尽可能简单，只要不遗漏重要的信息，此时可以把影响Y的次要因素归入随机扰动项。
3.3 参数的最小二乘估计参数估计：普通最小二乘法（OLS ）f 根据样本回归函数估计总体回归函数，要回答两个问题：如何估计PRF ？如何验证估计的PRF 是真实的PRF 的一个“好”的估计值？f 这里先回答第一个问题。
f 回归分析中使用最广泛的是普通最小二乘法（method of ordinary least squares, OLS ）3.3 参数的最小二乘估计参数估计：普通最小二乘法（OLS ）f 最小二乘原理：由于不能直接观察PRF ：所以用SRF来估计它，因而f 最好的估计方法是，选择使得残差尽可能小。
12i i iY B B X u =++12i i i Y b b X e =++12ˆ i i ii ii ie Y Y Y Y Y b b X =−=−=−−实际的估计的12b b 、i e3.3 参数的最小二乘估计参数估计：普通最小二乘法（f 普通最小二乘法就是要选择参数方和3.3 参数的最小二乘估计参数估计：普通最小二乘法（f 如何确定根据微积分，当3.3 参数的最小二乘估计参数估计：普通最小二乘法（f 以上联立方程组称为正规方程组（求解3.3 参数的最小二乘估计参数估计：普通最小二乘法（f OLS例子：数学S.A.T分数3.3 参数的最小二乘估计例子：数学S.A.T 分数f 根据公式可以得到回归结果：ˆ432.41380.0013i iY X =+3.3 参数的最小二乘估计例子：数学S.A.T 分数f 根据公式可以得到回归结果：f对估计结果的解释：斜率系数0.0013表示在其他条件保持不变的情况下，家庭年收入每增加1美元，数学S.A.T.分数平均提高0.0013分截距432.4138表示，当家庭年收入为0时，数学平均分大约为432.4138。
（这样的解释没有什么经济意义）对截距最好的解释是，它代表了回归模型中所有省略变量对Y 的平均影响。
ˆ432.41380.0013i i Y X =+3.3 参数的最小二乘估计例子：受教育年限与平均小时工资f 预期平均工资随受教育年限的增加而增加f 回归结果：ˆ0.01440.7241i iY X =−+3.3 参数的最小二乘估计例子：股票价格与利率f经济理论表明，股票价格和利率之间存在反向关系。
3.3 参数的最小二乘估计例子：股票价格与利率f 看起来两个变量之间的关系不是线性的（即不是直线），因此，假设实际关系如下：3.4 参数估计的性质古典线性回归模型（CLRM）的假定f下面我们要回答“怎样判别它是真实PRF的一个好的f只有假定了随机扰动项u的生成过程，才能判定SRF对PRF拟合得是好是坏。
OLS估计量的推导与随机扰动项的生成过程无关；但根据SRF进行假设检验时，就必须对随机扰动项的生成做f下面仍然沿用一元线性回归模型来讨论。
3.4 参数估计的性质古典线性回归模型（CLRM ）的假定f 假定1. 回归模型是参数线性的，但不一定是变量线性的。
回归模型形式如下（可扩展到多个解释变量）：f 假定2. 解释变量与随机扰动项不相关。
如果X是非随机的，该假定自动满足；即使X 是随机的，如果样本容量足够大，也不会对分析产生严重影响。
12i i iY B B X u =++X u古典线性回归模型（f假定()3.4 参数估计的性质古典线性回归模型（CLRM ）的假定f 假定4. 同方差（homoscedastic ），即i u ()2var i u σ=3.4 参数估计的性质古典线性回归模型（CLRM ）的假定f 假定5. 无自相关（no autocorrelation ），即两个扰动项之间不相关：()cov ,0,i j u u i j=≠3.4 参数估计的性质古典线性回归模型（CLRM）的假定差或设定误差。
f为什么需要以上6个假定？这些假定现实吗？如果不满足这些假定，情况又会怎样？如何得知是否满足所f这些重要的问题暂时没有答案，事实上，教材“第二部分”都是围绕“如果假定不满足时会怎样”而展开的。
3.4 参数估计的性质OLS f 有了上述假定后可以计算出估计量的方差和标准差。
OLS3.4 参数估计的性质OLS f 根据下式估计OLS3.4 参数估计的性质估计结果的报告f 估计的数学SAT函数如下（括号内数字为标准差）：OLS 估计量的性质f 可以概括为高斯-马尔柯夫定理(Gauss-Markov theorem )：如果满足古典线性回归模型的基本假定，则在所有线性估计两种，OLS 估计量具有最小方差性，即OLS 估计是最优线性无偏估计量（BLUE ）。
f 具体见教材PP46。
()()ˆ432.41380.001316.9061 0.000245i iY X se =+=3.5 显著性检验OLS 估计量的抽样分布或概率分布f 知道如何计算OLS 估计量及其标准差仍然不够，必须求出其抽样分布才能进行假设检验。
f 为了推导抽样分布，再增加一条假定。
f 假定7.在总体回归函数中，扰动项服从均值为0，方差为的正态分布。
即f 为什么可以作这样一个假定？12i i i Y B B Xu =++i u 2σ()20,i u N σ3.5 显著性检验OLS 估计量的抽样分布或概率分布ff 可以证明，是的线性函数，根据“正态变量的线性函数仍服从正态分布”，得知服从正态分布。
f 中心极限定理：随着样本量的增加，独立同分布随机变量构造的统计量近似服从正态分布。
i u ()2120,i u N b b σ⇒ 、的概率分布？12b b 、12b b 、3.5 显著性检验OLS 估计量的抽样分布或概率分布f()()12221122,,,b b b N B bN B σσ3.5 显著性检验假设检验f 假定：家庭年收入对学生的数学成绩没有影响3.5 显著性检验假设检验f3.5 显著性检验假设检验：置信区间法f在数学H3.5 显著性检验假设检验：置信区间法f 整理3.5 显著性检验假设检验：置信区间法f图形（教材有误）0.00074 0.001873.5 显著性检验假设检验：置信区间法f 按照上述过程，同样可得截距95%的置信区间：f 如果，则显然拒绝零假设，因为上述95%的置信区间不包括0。
f 如果，则不能拒绝该假设，因为95%的置信区间包括了这个值。
1B 1393.4283471.3993B ≤≤0111:0,:0H B H B =≠0111:400,:400H B H B =≠3.5 显著性检验假设检验：显著性检验法f 核心思想是根据从样本数据求得的检验统计量的值决定接受或拒绝零假设。
3.5 显著性检验假设检验：显著性检验法f 在具体进行t 检验时f （1）对于一元线性回归模型（双变量模型），自由度为（n-2）。
f （2）常用的显著水平有1%、5%或10%。
为了避免选择显著水平的随意性，通常求出p 值（精确的显著水平），如果计算的p 值充分小，则拒绝零假设。
f （3）可用单边或双边检验。
α。