第三章一元线性回归分析
第三章 一元线性回归模型
第三章 一元线性回归模型一、预备知识（一）相关概念对于一个双变量总体,若由基础理论，变量和变量之间存在因果),(i i x y x y 关系，或的变异可用来解释的变异。
为检验两变量间因果关系是否存在、x y 度量自变量对因变量影响的强弱与显著性以及利用解释变量去预测因变量x y x ，引入一元回归分析这一工具。
y 将给定条件下的均值i x i yi i i x x y E 10)|(ββ+=（3.1）定义为总体回归函数（PopulationRegressionFunction,PRF ）。
定义为误差项（errorterm ）,记为，即，这样)|(i i i x y E y -i μ)|(i i i i x y E y -=μ，或i i i i x y E y μ+=)|(i i i x y μββ++=10（3.2）（3.2）式称为总体回归模型或者随机总体回归函数。
其中，称为解释变量x （explanatory variable ）或自变量（independent variable ）；称为被解释y 变量（explained variable ）或因变量（dependent variable ）；误差项解释μ了因变量的变动中不能完全被自变量所解释的部分。
误差项的构成包括以下四个部分：（1）未纳入模型变量的影响（2）数据的测量误差（3）基础理论方程具有与回归方程不同的函数形式，比如自变量与因变量之间可能是非线性关系（4）纯随机和不可预料的事件。
在总体回归模型（3.2）中参数是未知的，是不可观察的，统计计10,ββi μ量分析的目标之一就是估计模型的未知参数。
给定一组随机样本，对（3.1）式进行估计，若的估计量分别记n i y x i i ,,2,1),,( =10,),|(ββi i x y E 为，则定义3.3式为样本回归函数^1^0^,,ββi y （）i i x y ^1^0^ββ+=n i ,,2,1 =（3.3）注意，样本回归函数随着样本的不同而不同，也就是说是随机变量，^1^0,ββ它们的随机性是由于的随机性（同一个可能对应不同的）与的变异共i y i x i y x 同引起的。
第3章 一元线性回归分析
3.7 假设条件的放松
3.7.1 假设条件的放松（一）—非正态 分布误差项
• 放松了假设4后，与之相关的结论10和12 不再成立，t-检验、F-检验不再成立。 • 大样本情况下，t-统计量近似服从标准正态 分布，因此可以用标准正态分布临界值进 行判断。 • 去掉假设4不影响OLS估计的一致性、无偏 性和渐近正态性。
1
s ˆ
1
t-检验的涵义：估计参数的绝对值足够大或者 标准误很小（标准误小则随机性小，估计越精 确） 样本量较大时 （n>35），t分布接近正态分布， 5%置信水平下临界值接近2，因此常用统计量 是否大于2作为判断系数显著与否的标准。
3.5 拟合优度 R 和模型检验（F检验）
检验 X 和 Y 之间是否 具有线性关系：看 Y 的变化能被 X 的变化解释多少。 总平方和（total sum squared）：
一元线性回归分析
3.6 用EViews7.2进行一元线性回归 3.7 假设条件的放松
3.7.1 假设条件的放松（一）—非正态分布误差 项 3.7.2 假设条件的放松（二）—异方差 3.7.3 假设条件的放松（三）—非随机抽样和序 列相关 3.7.4 假设条件的放松（四）—内生性 3.7.5 总结
重要概念
第3章
一元线性回归分析
一元线性回归分析
3.1 一元线性回归模型 3.2 一元线性回归模型参数估计
3.2.1 回归系数估计 3.2.2 误差的估计—残差 ˆ 和 ˆ 的分布 3.2.3 0 1
3.3 更多假设下OLS估计量性质 3.4 回归系数检验（t-检验） 2 R 3.5 拟合优度 和模型检验（F检验）
2
3.5 拟合优度 R 和模型检验（F检验）
不带常数项的模型其相应的TSS和ESS为：
一元线性回归分析
回归分析（一元）一、实验目的掌握回归分析的步骤及操作。
二、相关理论知识1.回归分析的步骤： 首先，进行相关分析。
具体应先从定性角度分析变量之间有无相关关系；若存在相关关系，在借助散点图，相关系数等方式，进一步确定相关关系的类型及相关程度，为建立回归模型提供依据。
接下来，以相关分析为基础，进行回归分析。
2.流程框架3.一元线性回归模型的基本形式为：i i i X Y μββ++=10 n i ,,2,1 =4.参数估计方法：最小二乘法最小二乘法通过使残差项的平方和最小来估计参数0β和1β。
即∑2i e 最小。
求出0β、1β的估计值为：21)())((i i i i i i X X Y Y X X -∑--∑=∧β,i i X Y 10∧∧-=ββ三、实验内容及要求1、实验内容：（1）散点图、相关系数； （2）参数估计及结果解读； 2、实验要求：掌握相关分析及回归分析的操作及结果解读四、操作指导（一）相关分析 1.散点图绘制利用我国1978年——2001年国内生产总值和最终消费支出的数据。
经济学的理论可以证明，国内生产总值和最终消费支出之间存在关联。
在此基础上，绘制散点图。
第一步，同时选中x ，y 两个序列，点击右键，选择open 级联菜单as group 。
（注意：在选中两个序列时，先选择哪个，打开组后哪个就在前面，作图时默认它就是横轴的变量）第二步，在group窗口，点击view下拉菜单，选择graph——scatter，点确定。
见图1图1表明两者具有很强的线性相关关系。
2.简单相关系数的计算在group窗口选择view下拉菜单中的covariance analysis，将correlation选中，同时将covariance复选框中的√去掉。
然后确定，即可得x和y的简单相关系数矩阵，见图2：图2结果显示x和y之间的简单相关系数为0.999373，两者之间存在高度正线性相关关系。
可建立一元线性回归模型。
数学地质第三章 回归分析
yi
n
（3-9）
n 1 1 y yi x xi n i 1 n i 1 则式（3-9）可化为
n
n n 2 na x b xi xi y i i 1 i 1 a bx y
（3-10）
二、参数a,b的最小二乘估计
由式（3-10）中第一个方程得
y x
一、一元线性回归的数学模型
将式（3-2）及式（3-3）两边取对数，则分别为 Lny=lnα+βx （3-4） 及 lny=lnα+βlnx （3-5） 如果在式（3-4）中令Y=lny，则Y与x即成线性 关系；如果在式（3-5）中令Y=lny，X=lnx，则Y与X 就成线性关系。此外，还有一些函数，只要经过简单 变换，也可变为线性关系。这些统称为可化为线性关 系的情况，只要线性情况得到解决，可化为线性的情 况也就不难解决。
一元线性回归分析，主要是处理两个变量
x、y之间的关系。两个变量之间的关系有线性 和非线性两种情况，这里主要讨论线性关系及 可化为线性关系的非线性情况。
一、一元线性回归的数学模型
线性关系数学模型，如 y=a+bx (a,b为常数) （3-1） 非线性的情况，如指数函数 x y e （α，β为常数） （3-2） 幂函数形式 （3-3）
n Q 2 ( yi a bxi ) 0 a i 1 n Q 2 ( yi a bxi ) xi 0 b i 1
（ 3-8）
二、参数a,b的最小二乘估计
即
令
i 1 i 1 n n n a xi b xi2 xi y i i 1 i 1 i 1 na b xi
二、参数a,b的最小二乘估计
一元线性回归分析
模型评估指标
模型评估指标用于衡量回归模型的拟合优度和预测精度。常用的指标包括均 方误差、决定系数和标准化残差等，可以帮助我们评估模型的有效性和适用 性。
参数估计方法
参数估计是确定回归模型中各个参数的取值的过程。常用的参数估计方法包括最小二乘法、最大似然估 计法和贝叶斯估计法等，可以帮助我们找到最优的参数估计结果。
一元线性回归分析
回归分析是一种用于建立变量之间关系的统计方法。本演示将介绍一元线性 回归模型的构建、参数估计、模型假设检验以及模型预测和应用。
回归分析的概述
回归分析是一种通过建立变量之间的关系来描述和预测现象的统计方法。它 可以帮助我们理解变量之间的因果关系，并从中推断出未知的检验
模型假设检验用于验证回归模型的假设是否成立。常见的假设检验包括检验回归系数的显著性、整体模 型的显著性以及模型的线性关系等，可以帮助我们判断模型是否可靠。
回归诊断和残差分析
回归诊断和残差分析通过检查模型的残差来评估模型的拟合优度和假设的满 足程度。常用的诊断方法包括残差图、QQ图和离群值分析等，可以帮助我们 发现模型的不足和改进方向。
模型预测和应用
回归模型可以用于预测未知观测值，并帮助我们做出决策和制定策略。它在经济学、社会科学、医学等 领域具有广泛的应用，可以为决策者提供有力的数据支持。
气象统计方法课件 3回归分析
当b<0，回归直线斜率为负，预报量y随预报因子x增加而减少， 反映预报量与因子是负相关； 当b>0，回归直线斜率为正，预报量y随预报因子x增加而增加， 反映预报量与因子是正相关。
二、回归问题的方差分析
1、意义 评价回归方程的优劣。
2、预报量的方差可以表示成回归估计值的方差 （回归方差）和误差（残差）方差之和。
1
n
n i 1
( yi
y)2
1 n
n i 1
( yˆi
y)2
1 n
n i 1
( yi
yˆ )2
（4）
即： sy2 syˆ2 se2
• 方差分析表明，预报量y的变化可以看成由 前期因子x的变化所引起的，同时加上随机 因素e变化的影响，这种前期因子x的变化影 响可以用回归方差的大小来衡量。如果回 归方差大，表明用线性关系解释y与x的关系 比较符合实际情况，回归模型比较好。
xi
n i 1
yi
n
n
n
b0
i 1
xi
b
i 1xi 2源自i 1xiyi
（3）
（3）式称为求回归系数的标准方程组。
回归系数也可直接表示为：
b0 y bx
n
b
xi yi nxy
i 1
n
xi2 nx 2
i 1
Sxy Sx2
将 b0 =y bx 代入回归方程 yˆi =b0 bxi，得
回归分析与相关分析的区别：
1. 相关分析中，变量x、y处于平等的地位；回归分析中，
变量y称为因变量，处在被解释的地位，x称为自变量， 用于预测因变量的变化。 2. 相关分析中所涉及的变量x和y都是随机变量；回归分 析中，因变量y是随机变量，自变量x可以是随机变量， 也可以是非随机的确定变量。 3. 相关分析主要是描述两个变量之间线性关系的密切程 度；回归分析不仅可以揭示变量x对变量y的影响大小， 还可以由回归方程进行预测和控制。
第三章 一元线性回归模型
第三章一元线性回归模型第一节一元线性回归模型及其基本假设一元线性回归模型第二章回归分析的基本思想指出，由于总体实际上是未知的，必须根据样本回归模型估计总体回归模型，回归分析的目的就是尽量使得样本回归模型接近总体回归模型，那么采取什么方法估计样本回归模型才使得估计出的样本回归模型是总体回归模型的一个较好估计值呢？这里包括两个问题：一是采用什么方法估计样本回归模型；二是怎样验证估计出的样本回归模型是总体回归模型的一个较好估计值。
这些将在接下来的内容中讲到。
这一章介绍最简单的一元线性回归模型，下一章再扩展到多元线性回归模型。
一元线性回归模型及其基本假设一、一元线性回归模型的定义一元线性回归模型是最简单的计量经济学模型，在该一元模型中，仅仅只含有一个自变量，其一般形式为：yi = β0 + β1xi + μi（3.1.1）其中yi是因变量，xi是自变量，β0、β1是回归参数，μi是随机项。
由于式（3.1.1）是对总体而言的，也称为总体回归模型。
随机项μ代表未被考虑到模型中而又对被解释变量y有影响的所有因素产生的总效应。
二、一元线性回归模型的基本假设由于模型中随机项的存在使得参数β0和β1的数值不可能严格计算出来，而只能进行估计，在计量经济学中，有很多方法可以估计出这些参数值，但采用什么方法能够尽可能准确地估计出这些参数值，取决于随机项μ和自变量x的性质。
因此，对随机项μ和自变量x的统计假定以及检验这些假定是否满足的方法，在计量经济学中占有重要的地位。
估计方法中用得最多的是普通最小二乘法（Ordinary Least Squares），同样为了保证利用普通最小二乘法估计出的参数估计量具有良好的性质，也需要对模型的随机项μ和自变量x 提出若干种假设。
当模型中的随机项μ和自变量x满足这些假设时，普通最小二乘法就是适合的估计方法；当模型中的随机项μ和自变量x不满足这些假设时，普通最小二乘法就不是适合的方法，这时需要利用其他的方法来估计模型。
回归分析预测方法
,
b0
n
y
b1
n
x
例3-2：已知某种商品旳销售量同居民旳可支配 收入有关，既有如下表旳统计数据，试建立回归 方程，并求出相应参数旳最小二乘估计值。
商品
商品旳
实际可支配 年份 收入 x（单
位：10元）
销售量 （单位
年份
实际可支配 收入x（单 位：10元）
：件）
旳销 售量 （单 位：
件）
1983
522
有关关系旳特点
1．变量间关系不能用函数关系精确体现。 2．一种变量旳取值不能由另一种变量唯一拟定。 3．对于线性有关，各观察点分布在直线周围。
(a)
(b)
y -2 -1 0 1 2
y -2 -1 0 1 2
-3
-2
-1
0
1
2
x
(c)
-2
-1
0
1
2
x
(d)
y 02468
y -2 -1 0 1 2
第二节 一元线性回归预测法
一元线性回归（Linear regression）是指成正确两个
变量数据分布大致上呈直线趋势时，利用合适旳参数估
计措施，求出一元线性回归模型，然后根据自变量与因
变量之间旳关系，预测因变量旳趋势。
现实中，诸多社会经济现象之间都存在有关关系， 所以，一元线性回归预测有很广泛旳应用。进行一元线 性回归预测时，必须选用合适旳统计措施估计模型参数， 并对模型及其参数进行统计检验。
法国数学家勒让德于1823年首次刊登最小二 乘理论。实际上，德国旳高斯于1794年已经 应用这一理论推算了谷神星旳轨道，但迟至 1823年才正式刊登。
最小二乘法也是数理统计中一种常用旳措施 ，在工业技术和其他科学研究中有广泛应用 。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第三章 一元线性回归
一元线性回归分析的对象是两个变量的单向因果关系，模型的核心是两变量线性函数，分析方法是回归分析。
一元线性回归是经典计量经济分析的基础。
第一节
一元线性回归模型
一、变量间的统计关系
社会经济现象之间的相互联系和制约是社会经济的普遍规律。
在一定的条件下，一些因素推动或制约另外一些与之联系的因素发生变化。
这种状况表明在经济现象的内部和外部联系中存在着一定的因果关系，人们往往利用这种因果关系来制定有关的经济政策，以指导、控制社会经济活动的发展。
而认识和掌握客观经济规律就要探求经济现象间经济变量的变化规律。
互有联系的经济变量之间的紧密程度各不相同，一种极端的情况是一个变量能完全决 定另一个变量的变化。
比如：工业企业的原材料消耗金额用y 表示，生产量用1x 表示，单位产量消耗用2x 表示，原材料价格用3x 表示，则有：123y x x x =。
这里，y 与123,,x x x ，是一种确定的函数关系。
然而，现实世界中，还有不少情况是两个变量之间有着密切的联系，但它们并没有密切到由一个可以完全确定另一个的程度。
例如：某种高档费品的销售量与城镇居民的收入；粮食产量与施肥量之间的关系；储蓄额与居民的收入密切相关。
从图示上可以大致看出这两种关系的区别：一种是对应点完全落到一条函数曲线上；另一种是并不完全落在曲线上，而有的点在曲线上，有的点在曲线的两边。
对于后者这种不能用精确的函数关系来描述的关系正是计量经济学研究的重要内容。
二、一元线性回归模型 1.模型的建立
一个例子，见教材66页：
总体回归模型：01i i i Y X ββε=++ 理解：（1）误差的随机性使得Y 和X 之间呈现一种随机的因果关系；（2）Y i 的取值由两部分组成，一类是系统内影响，一类是系统外影响。
样本回归直线：01i i Y X ββ=+
样本回归模型：01i i i Y X e ββ=++
2.模型的假设
（1） 误差项i ε的数学期望无论I 取什么值都是零。
（2） 误差项i ε的方差为常数2
σ
（3） 误差项i ε对于I 的取值不同，不相关。
（4） 解释变量X 是确定性的变量，而非随机变量。
（5） 误差项i ε服从正态分布。
第二节
参数估计
一、回归参数的最小二乘估计 ？怎么样才算拟合的较好呢
最小二乘法，得到正规方程组的一般形式，解出01,ββ
的值。
写出正规方程组的离差形式。
二、一个实例：
书上76页。
请同学上来做题。
课堂练习：我国税收预测模型。
如下表，列出了我国1985~1998年期间税收收入Y 和国内生产总值（GDP ）X 的统计资料，试利用EVIEWS 软件求出一元线性回归直线的表达式，并对此表达式对以经济说明。
我国税收与GDP 统计资料 年份 税收 GDP 年份 税收 GDP 1985 1986 1987 1988 1989 1990 1991 2 041 2 091 2 140 2 391 2 727 2 822 2 990
8 964 10 201 11 963 14 928 16 909 18 548 21 618
1992 1993 1994 1995 1996 1997 1998
3 297
4 25
5 5 127
6 038 6 910 8 234 9 263
26 638 34 634 46 759 58 478 67 885 74 463 79 396
作业：
1、第103页1——4题。
2、下表列出了我国城镇居民家庭1998年平均每人全年消费性支出与可支配收入X 的统计资料，试利用EVIWES 软件，估计我国的城镇居民消费函数（一元线性）。
我国城镇居民家庭1998年收支状况 收入等级 人均消费支出Y 人均可支配收入X 困难户 最低收入户 低收入户 中等偏下户 中等收入户 中等偏上户 高收入户 最高收入户
2 214.47 2 397.60 2 979.27
3 503.2
4 4 179.64 4 980.88 6 003.21 7 593.95
2 198.88 2 476 375
3 303.17
4 107.26
5 118.99
6 370.59
7 877.69 10 962.16
3、下面给出的是A 企业在10年中总成本和产量水平的中间结果
777X ∑=，Y ∑=1 657，132938XY ∑=，270903X ∑=，2277119Y ∑= （1）试估计其线性成本函数0
1i i Y X ββ''=+（2）试表示平均可变成本、边际成本和平均总成本。
第三节 最小二乘估计量的性质
一、参数估计量的评价标准
1． 无偏性 2． 有效性 3． 一致性
二、高斯——马尔可夫定理及估计量的一致性证明
第四节 回归拟合度评价和决定系数
一、回归拟合度评价的意义
二、离差的分解和可决系数的计算
作业：
1、根据最小二乘原理，所估计的模型已经使得拟合误差达到最小，为什么还要讨论模型的拟合优度问题呢？
2、对于古典回归模型，证明： （1）01()i i E Y X ββ=+ （2）2()i D Y σ=
（3）(,)0()i j Cov Y Y i j =≠ 3、证明高斯-马尔可夫定理。
第五节
统计推断
一、被估参数的分布和标准化
2
112
22002
~[,
]
()~[,
]
()i i
i
i
i i
N X X X N n X X σββσββ--∑∑∑
可以构建标准化的随机变量。
二、被估参数的方差和相应统计量的构建 无偏估计：
222
i
i
e
S n =
-∑
进而对0ˆβ,1
ˆβ 构建自由度为（n-2）的t 统计量。
三、参数的置信区间和假设检验 1.1β的100(1-α)%的置信区间为： （1β -12
()t S αβ ，1β +12
()t S αβ
）
以上面的例子来计算01,ββ的置信区间。
2.模型参数的显著性检验，是检验模型参数是否明显异于0，是其中基本的一种假设检验。
第六节 回归方程的应用——预测和控制 一、点预测
二、点预测的性质
22
2
1()~(,[1])()
i I
X X Y N Y n X X σ***-++-∑ 这是进一步做预测分析的重要基础。
三、区间估计
2
t λ≤
一个实例:
如下表，列出了我国1985~1998年期间税收收入Y 和国内生产总值（GDP ）X 的统计资料。
（单位：亿元人民币）
我国税收与GDP 统计资料 年份 税收 GDP 年份 税收 GDP 1985 1986 1987 1988 1989 1990 1991
2 041 2 091 2 140 2 391 2 727 2 822 2 990
8 964 10 201 11 963 14 928 16 909 18 548 21 618
1992 1993 1994 1995 1996 1997 1998
3 297
4 25
5 5 127
6 038 6 910 8 234 9 263
26 638 34 634 46 759 58 478 67 885 74 463 79 396
（1） 估算出税收收入与国内生产总值的函数表达式。
（2） 构建被估参数
0β，1β置信度为99%的置信区间。
（3） 对模型参数进行显著性检验。
显著性水平为5%。
（4） 假设1999年GDP 为82 310，对1999年税收收入做点预测和区间预测。
（置信度为
95%）
作业：1、第103页5~7题。
2、古典回归模型的基本假定有哪些？违背基本假定的模型是否就不可以估计了呢？
3、为什么要进行解释变量的显著性检验？
4、一元线性回归模型有时采用如下形式：
1i i i Y X βε=+ 模型中的截矩项为零，叫做过原点的回归模型。
试证这种模型中：
（1）12i i i
X Y X
β=
∑∑
（2）2
12
()i Var X σβ=∑。