第3章 一元线性回归分析
第三章 一元线性回归模型
第三章 一元线性回归模型一、预备知识（一）相关概念对于一个双变量总体,若由基础理论，变量和变量之间存在因果),(i i x y x y 关系，或的变异可用来解释的变异。
为检验两变量间因果关系是否存在、x y 度量自变量对因变量影响的强弱与显著性以及利用解释变量去预测因变量x y x ，引入一元回归分析这一工具。
y 将给定条件下的均值i x i yi i i x x y E 10)|(ββ+=（3.1）定义为总体回归函数（PopulationRegressionFunction,PRF ）。
定义为误差项（errorterm ）,记为，即，这样)|(i i i x y E y -i μ)|(i i i i x y E y -=μ，或i i i i x y E y μ+=)|(i i i x y μββ++=10（3.2）（3.2）式称为总体回归模型或者随机总体回归函数。
其中，称为解释变量x （explanatory variable ）或自变量（independent variable ）；称为被解释y 变量（explained variable ）或因变量（dependent variable ）；误差项解释μ了因变量的变动中不能完全被自变量所解释的部分。
误差项的构成包括以下四个部分：（1）未纳入模型变量的影响（2）数据的测量误差（3）基础理论方程具有与回归方程不同的函数形式，比如自变量与因变量之间可能是非线性关系（4）纯随机和不可预料的事件。
在总体回归模型（3.2）中参数是未知的，是不可观察的，统计计10,ββi μ量分析的目标之一就是估计模型的未知参数。
给定一组随机样本，对（3.1）式进行估计，若的估计量分别记n i y x i i ,,2,1),,( =10,),|(ββi i x y E 为，则定义3.3式为样本回归函数^1^0^,,ββi y （）i i x y ^1^0^ββ+=n i ,,2,1 =（3.3）注意，样本回归函数随着样本的不同而不同，也就是说是随机变量，^1^0,ββ它们的随机性是由于的随机性（同一个可能对应不同的）与的变异共i y i x i y x 同引起的。
第3章 一元线性回归分析
3.7 假设条件的放松
3.7.1 假设条件的放松（一）—非正态 分布误差项
• 放松了假设4后，与之相关的结论10和12 不再成立，t-检验、F-检验不再成立。 • 大样本情况下，t-统计量近似服从标准正态 分布，因此可以用标准正态分布临界值进 行判断。 • 去掉假设4不影响OLS估计的一致性、无偏 性和渐近正态性。
1
s ˆ
1
t-检验的涵义：估计参数的绝对值足够大或者 标准误很小（标准误小则随机性小，估计越精 确） 样本量较大时 （n>35），t分布接近正态分布， 5%置信水平下临界值接近2，因此常用统计量 是否大于2作为判断系数显著与否的标准。
3.5 拟合优度 R 和模型检验（F检验）
检验 X 和 Y 之间是否 具有线性关系：看 Y 的变化能被 X 的变化解释多少。 总平方和（total sum squared）：
一元线性回归分析
3.6 用EViews7.2进行一元线性回归 3.7 假设条件的放松
3.7.1 假设条件的放松（一）—非正态分布误差 项 3.7.2 假设条件的放松（二）—异方差 3.7.3 假设条件的放松（三）—非随机抽样和序 列相关 3.7.4 假设条件的放松（四）—内生性 3.7.5 总结
重要概念
第3章
一元线性回归分析
一元线性回归分析
3.1 一元线性回归模型 3.2 一元线性回归模型参数估计
3.2.1 回归系数估计 3.2.2 误差的估计—残差 ˆ 和 ˆ 的分布 3.2.3 0 1
3.3 更多假设下OLS估计量性质 3.4 回归系数检验（t-检验） 2 R 3.5 拟合优度 和模型检验（F检验）
2
3.5 拟合优度 R 和模型检验（F检验）
不带常数项的模型其相应的TSS和ESS为：
一元线性回归分析
回归分析（一元）一、实验目的掌握回归分析的步骤及操作。
二、相关理论知识1.回归分析的步骤： 首先，进行相关分析。
具体应先从定性角度分析变量之间有无相关关系；若存在相关关系，在借助散点图，相关系数等方式，进一步确定相关关系的类型及相关程度，为建立回归模型提供依据。
接下来，以相关分析为基础，进行回归分析。
2.流程框架3.一元线性回归模型的基本形式为：i i i X Y μββ++=10 n i ,,2,1 =4.参数估计方法：最小二乘法最小二乘法通过使残差项的平方和最小来估计参数0β和1β。
即∑2i e 最小。
求出0β、1β的估计值为：21)())((i i i i i i X X Y Y X X -∑--∑=∧β,i i X Y 10∧∧-=ββ三、实验内容及要求1、实验内容：（1）散点图、相关系数； （2）参数估计及结果解读； 2、实验要求：掌握相关分析及回归分析的操作及结果解读四、操作指导（一）相关分析 1.散点图绘制利用我国1978年——2001年国内生产总值和最终消费支出的数据。
经济学的理论可以证明，国内生产总值和最终消费支出之间存在关联。
在此基础上，绘制散点图。
第一步，同时选中x ，y 两个序列，点击右键，选择open 级联菜单as group 。
（注意：在选中两个序列时，先选择哪个，打开组后哪个就在前面，作图时默认它就是横轴的变量）第二步，在group窗口，点击view下拉菜单，选择graph——scatter，点确定。
见图1图1表明两者具有很强的线性相关关系。
2.简单相关系数的计算在group窗口选择view下拉菜单中的covariance analysis，将correlation选中，同时将covariance复选框中的√去掉。
然后确定，即可得x和y的简单相关系数矩阵，见图2：图2结果显示x和y之间的简单相关系数为0.999373，两者之间存在高度正线性相关关系。
可建立一元线性回归模型。
数学地质第三章 回归分析
yi
n
（3-9）
n 1 1 y yi x xi n i 1 n i 1 则式（3-9）可化为
n
n n 2 na x b xi xi y i i 1 i 1 a bx y
（3-10）
二、参数a,b的最小二乘估计
由式（3-10）中第一个方程得
y x
一、一元线性回归的数学模型
将式（3-2）及式（3-3）两边取对数，则分别为 Lny=lnα+βx （3-4） 及 lny=lnα+βlnx （3-5） 如果在式（3-4）中令Y=lny，则Y与x即成线性 关系；如果在式（3-5）中令Y=lny，X=lnx，则Y与X 就成线性关系。此外，还有一些函数，只要经过简单 变换，也可变为线性关系。这些统称为可化为线性关 系的情况，只要线性情况得到解决，可化为线性的情 况也就不难解决。
一元线性回归分析，主要是处理两个变量
x、y之间的关系。两个变量之间的关系有线性 和非线性两种情况，这里主要讨论线性关系及 可化为线性关系的非线性情况。
一、一元线性回归的数学模型
线性关系数学模型，如 y=a+bx (a,b为常数) （3-1） 非线性的情况，如指数函数 x y e （α，β为常数） （3-2） 幂函数形式 （3-3）
n Q 2 ( yi a bxi ) 0 a i 1 n Q 2 ( yi a bxi ) xi 0 b i 1
（ 3-8）
二、参数a,b的最小二乘估计
即
令
i 1 i 1 n n n a xi b xi2 xi y i i 1 i 1 i 1 na b xi
二、参数a,b的最小二乘估计
一元线性回归分析
模型评估指标
模型评估指标用于衡量回归模型的拟合优度和预测精度。常用的指标包括均 方误差、决定系数和标准化残差等，可以帮助我们评估模型的有效性和适用 性。
参数估计方法
参数估计是确定回归模型中各个参数的取值的过程。常用的参数估计方法包括最小二乘法、最大似然估 计法和贝叶斯估计法等，可以帮助我们找到最优的参数估计结果。
一元线性回归分析
回归分析是一种用于建立变量之间关系的统计方法。本演示将介绍一元线性 回归模型的构建、参数估计、模型假设检验以及模型预测和应用。
回归分析的概述
回归分析是一种通过建立变量之间的关系来描述和预测现象的统计方法。它 可以帮助我们理解变量之间的因果关系，并从中推断出未知的检验
模型假设检验用于验证回归模型的假设是否成立。常见的假设检验包括检验回归系数的显著性、整体模 型的显著性以及模型的线性关系等，可以帮助我们判断模型是否可靠。
回归诊断和残差分析
回归诊断和残差分析通过检查模型的残差来评估模型的拟合优度和假设的满 足程度。常用的诊断方法包括残差图、QQ图和离群值分析等，可以帮助我们 发现模型的不足和改进方向。
模型预测和应用
回归模型可以用于预测未知观测值，并帮助我们做出决策和制定策略。它在经济学、社会科学、医学等 领域具有广泛的应用，可以为决策者提供有力的数据支持。
一元线性回归分析
一元线性回归分析摘要：一元线性回归分析是一种常用的预测和建模技术，广泛应用于各个领域，如经济学、统计学、金融学等。
本文将详细介绍一元线性回归分析的基本概念、模型建立、参数估计和模型检验等方面内容，并通过一个具体的案例来说明如何应用一元线性回归分析进行数据分析和预测。
1. 引言1.1 背景一元线性回归分析是通过建立一个线性模型，来描述自变量和因变量之间的关系。
通过分析模型的拟合程度和参数估计值，我们可以了解自变量对因变量的影响，并进行预测和决策。
1.2 目的本文的目的是介绍一元线性回归分析的基本原理、建模过程和应用方法，帮助读者了解和应用这一常用的数据分析技术。
2. 一元线性回归模型2.1 模型表达式一元线性回归模型的基本形式为：Y = β0 + β1X + ε其中，Y是因变量，X是自变量，β0和β1是回归系数，ε是误差项。
2.2 模型假设一元线性回归模型的基本假设包括：- 线性关系假设：自变量X与因变量Y之间存在线性关系。
- 独立性假设：每个观测值之间相互独立。
- 正态性假设：误差项ε服从正态分布。
- 同方差性假设：每个自变量取值下的误差项具有相同的方差。
3. 一元线性回归分析步骤3.1 数据收集和整理在进行一元线性回归分析之前，需要收集相关的自变量和因变量数据，并对数据进行整理和清洗，以保证数据的准确性和可用性。
3.2 模型建立通过将数据代入一元线性回归模型的表达式，可以得到回归方程的具体形式。
根据实际需求和数据特点，选择适当的变量和函数形式，建立最优的回归模型。
3.3 参数估计利用最小二乘法或最大似然法等统计方法，估计回归模型中的参数。
通过最小化观测值与回归模型预测值之间的差异，找到最优的参数估计值。
3.4 模型检验通过对回归模型的拟合程度进行检验，评估模型的准确性和可靠性。
常用的检验方法包括：残差分析、显著性检验、回归系数的显著性检验等。
4. 一元线性回归分析实例为了更好地理解一元线性回归分析的应用，我们以房价和房屋面积之间的关系为例进行分析。
第三节 一元线性回
1
1、回归系数的显著性检验
• 估计量 S 2 来代替。 ˆ • 但样本为小样本时，回归系数估计量 β1 的标准 化变换值服从t分布，即：
σ 2 是未知的，要用其无偏 一般来说，总体方差
tβˆ =
1
ˆ β1 − β1 Sβˆ
1
~ t (n − 2)
• 式中n为样本容量，n-2为自由度。 •
回归系数显著性检验步骤：
(二)一元线性回归分析的特点 二 一元线性回归分析的特点
• 1、在两个变量之间，必须根据研究目的具体确定哪个 是自变量，哪个是因变量。相关分析不必确定两个变量中 哪个是自变量，哪个是因变量。 2、计算相关系数时，要求相关的两个变量都是随机的； 但是，在回归分析中因变量是随机的，而自变量不是随机 的变量。 3、在没有明显的因果关系的两个变量与y之间，可以 3 y 求得两个回归方程。 4、回归方程的主要作用在于：给出自变量的数值来估 计因变量的可能值。一个回归方程只能做出一种推算，推 算的结果表明变量之间的具体的变动关系。 5、直线回归方程中，自变量的系数称回归系数。回归 系数的符号为正，表示正相关；为负则表示负相关。
ˆ β1 =
n∑ xi yi − ∑ xi ∑ yi n∑ x − (∑ xi )
2 i 2
ˆ ˆ β 0 = yi − β1 xi
（一）参数 β 0 , β 1 的最小二乘估计
一元线性回归分析
(2) Cov( ut us ) 0, ( t , s 1,2,3,
, n; t s )
Y
由上知： E (Yt ) 0 1 X t
Yt
E(Yt )＝ 0＋1 X t
。 ut
。 。 。
。 X
参数0和1的点估计
X1 Y1 X 2 …… Y2 …… Xt Yt
…… ……
或控制另一个特定变量的取值，并给出这种预测或控制的 精确程度；
回归分析的分类
回归分析
一个自变量
两个及以上自变量
一元回归
多元回归
线性 回归
非线性 回归
线性 回归
非线性 回归
一元线性回归模型
(一)总体回归函数 Yt＝ 0＋ 1 X t＋ut ut 是随机误差项，又称随机干扰项，它是一个特殊的 随机变量，反映未列入方程式的其他各种因素对Y的 影响。
n n ˆ ˆ n 1 X t Yt 0 t 1 t 1 n n n 2 ˆ ˆ X X 0 t 1 t X tYt t 1 t 1 t 1
ˆ 1
n X tYt X t Yt
t 1 t 1 t 1
Xn Yn
最小二乘法： 通过使得残差平方和 （各样本点与拟合直 线的纵向距离的平方 和）为最小来估计回 归系数的一种方法。
ˆ ˆX ˆ Y t 0 1 t
残差平方和： ˆ ˆ X )2 ˆ )2 (Y Q et2 (Yt Y t 0 1 t t
(二)样本回归函数 ˆ ˆ X (t 1,2,3, , n) ˆ Y t 0 1 t ˆ 称为残差，与总体的误差项u 对应，n为样 e Y Y
t t t t
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
3.3 更多假设下OLS估计量性质
结论10：
如果假设1~假设4满足，则
ˆ ~ N ( , 2 ); ˆ ~ N ( , 2 ) （1） 0 0 1 0 （2） SSR/ 2 ~ 2 (n 2) ˆ , ˆ 独立，由此得出 （3）SSR与 0 1
ˆ 0 ˆ 1
ˆ t 0 0 0 ~ t (n 2), sˆ
0
ˆ t 1 1 1 ~ t (n 2) sˆ
1
sˆ 由课本公式（3.15） sˆ 、 其中， 2ˆ0 、 2ˆ1 、 1 0 给出。
3.4 回归系数检验（t-检验）
估计出参数后需对模型的有效性进行检 验，即检验回归系数是否显著不为零。 例如考虑结论10中统计量（假设1到4全 ˆ 1 部成立） t1 ： t ~ t ( n 2)
2 2 ˆ ˆ ˆ SSR ui (Yi 0 1 X i ) i 1 i 1 n n
3.2 一元线性回归模型参数估计
3.2.3
ˆ 和 ˆ 0 1
的分布
ˆ 和 ˆ 渐近服从正态分布， 由矩估计性质知 0 1 但具体方差依对误差项的假设而定。 结论5： 如果假设1满足，则当样本量 n 较大时，OLS估 ˆ 和 ˆ 近似服从正态分布： 计 0 1
1
s ˆ
1
t-检验的涵义：估计参数的绝对值足够大或者 标准误很小（标准误小则随机性小，估计越精 确） 样本量较大时 （n>35），t分布接近正态分布， 5%置信水平下临界值接近2，因此常用统计量 是否大于2作为判断系数显著与否的标准。
3.5 拟合优度 R 和模型检验（F检验）
检验 X 和 Y 之间是否 具有线性关系：看 Y 的变化能被 X 的变化解释多少。 总平方和（total sum squared）：
3.7 假设条件的放松
3.7.3 假设条件的放松（三）—非随机抽 样和序列相关
• 同异方差一样，序列相关不影响OLS估计的 无偏性、一致性和渐近正态性。 • 影响参数估计的方差和标准误。 • Newey-West方法（HAC：HeteroskedasticityAutocorrelation Consistent） • 用Eviews 进行Newey-West回归
3.5 拟合优度 R 和模型检验（F检验）
结论： 设模型的截距项 0 0 ，模型误差项满足假 设1，则：（结论11） TSS=ESS+SSR 如果假设1~假设4全都满足，则上面定义的F统计量满足：（结论12）
F ~ F (1, n 2)
2
t-检验和F-检验等价
3.6 用EViews7.2进行一元线性回归
3.7 假设条件的放松
3.7.1 假设条件的放松（一）—非正态 分布误差项
• 放松了假设4后，与之相关的结论10和12 不再成立，t-检验、F-检验不再成立。 • 大样本情况下，t-统计量近似服从标准正态 分布，因此可以用标准正态分布临界值进 行判断。 • 去掉假设4不影响OLS估计的一致性、无偏 性和渐近正态性。
假设3（随机抽样: random sample）
样本 (Yi , X i ), i 1,2,, n 是随机抽样产生的，样 本之间相互独立，模型误差项 ui , i 1,2,, n 之 间相互独立。
3.3 更多假设下OLS估计量性质
结论6：
如果假设1~假设3满足，则当样本量 n 较大时， ˆ 和 ˆ 近似服从正态分布，方差计算公 OLS估计 0 1 式为：
3.3 更多假设下OLS估计量性质
结论8：
如果假设1~假设3满足，则当样本量 n 较大时， 如下统计量近似服从正态分布（结论8）
ˆ t 0 0 0 ~ ( a ) N (0,1), sˆ
0
ˆ t 1 1 1 ~ ( a ) N (0,1) sˆ
1
3.3 更多假设下OLS估计量性质
2 ˆ
0
n
1
i1 ( X i X )
n
2 X i1 i n
2 , 2
2 ˆ
1
2
2 ( X X ) i1 i n
3.3 更多假设下OLS估计量性质
结论7：
如果假设1~假设3满足，统计量 n 2 ˆ u SSR 2 i 1 i ˆ n2 n2 是误差项方差 2 的无偏估计和一致估计，即 2 2 2 2 ˆ ˆ E( ) , p limn ˆ 称为回归标准误（standard error of regression）， ˆ。 记为 s
3.6 用EViews7.2进行一元线性回归
• 残差将保存在resid中，另外，在回归结果输出界 面点击菜单Forecast ，在弹出的对话框中Forecast name：后面的条形窗口输入变量名，将可以保存 模型的拟合值。
3.7 假设条件的放松
3.7.1 假设条件的放松（一）—非正态 分布误差项 3.7.2 假设条件的放松（二）—异方差 3.7.3 假设条件的放松（三）—非随机 抽样和序列相关 3.7.4 假设条件的放松（四）—内生性 3.7.5 总结
解释平方和（explained sum squared）：
ˆ Y ˆ )2 ESS i1 (Y i
n
2
TSS i 1 (Yi Y ) 2
n
残差平方和（Sum of Squared Residual）：
SSR
2 ˆ u i i 1 n
ESS SSR R 1 TSS TSS
1 n
2 ( X X ) i
ˆ Y ˆX 0
2 ˆ （ 1 1 ( X i X ) i1
n
(X
i 1
i
X )ui ）
不带计量性质） OLS估计的一致性（结论1） ˆ 如果回归模型误差项满足假设1，上式给出 0 ˆ 分别为 0 和 的一致估计： 和 1 1 ˆ , ˆ p limn p lim 0 0 n 1 1 OLS估计的无偏性（结论2） ˆ 如果回归模型误差项满足假设1，上式给出 0 ˆ 分别为 0 和 的无偏估计： 和 1 1
3.1 一元线性回归模型
计量经济学用回归模型来描述经济变量 之间的随机关系。
Y 0 1 X u
因变量（被解释变量） 自变量（解释变量） 回归模型参数（回归系数） 误差项（扰动项）
3.1 一元线性回归模型
模型首先要保证 X 的变化不会引起 u 的变化，这称为 X 的外生性，否则 X 对 Y 的影响不能正确确定。
3.7 假设条件的放松
3.7.2 假设条件的放松（二）—异方差
• 异方差不影响OLS估计的无偏性、一致性和 渐近正态性。 • 课本（3.15）式参数估计的方差、标准误不 再正确。 • White异方差稳健标准（Heteroskadesticity Robust Standard Errors） • 用Eviews 检验异方差的存在并进行White稳 健标准误回归
一元线性回归分析
3.6 用EViews7.2进行一元线性回归 3.7 假设条件的放松
3.7.1 假设条件的放松（一）—非正态分布误差 项 3.7.2 假设条件的放松（二）—异方差 3.7.3 假设条件的放松（三）—非随机抽样和序 列相关 3.7.4 假设条件的放松（四）—内生性 3.7.5 总结
重要概念
ˆ ~ ( a ) N ( , 2 ˆ ); 0 0
0
ˆ ~ ( a ) N ( , 2 ˆ ) 1 0
1
3.3 更多假设下OLS估计量性质
假设2（同方差：homoskedasticity）
给定解释变量，误差项条件方差为常数，即 Var (ui | X i ) 2
假设1（零条件均值:zero conditional mean） 给定解释变量，误差项条件数学期望 为0，即 E(u | X ) 0
E(u ) 0
3.1 一元线性回归模型
模型设定要以有关的经济学理论为基础。
样本模型：
Yi 0 1 X i ui , i 1,2,, n
样本矩条件：
ˆ ˆ X )0 n 1 (Yi 0 1 i
i 1 n n
n
1
ˆ ˆ X )X 0 ( Y i 0 1 i i
i 1
3.2 一元线性回归模型参数估计
3.2.1 回归系数估计
OLS估计：
ˆ 1
(X
i 1 n i 1
n
i
X )(Yi Y ) ,
步骤：
• 在估计方法设定窗口选择需要用到的估计方法
• 前面的步骤也可以通过主界面的Quick→Estimate Equation到达 • 点击OK，将输出结果：
3.6 用EViews7.2进行一元线性回归
在结果页面点击顶端按钮Resids，将输出残差图
3.6 用EViews7.2进行一元线性回归
结论9：
ˆ 和 ˆ 为最有效 如果假设1~假设3满足，OLS估计 0 1 ˆ , ˆ 的方 估计：在 0 , 1 的所有线性无偏估计中， 0 1 差最小。这称为OLS估计的马尔科夫性。
3.3 更多假设下OLS估计量性质
假设4（正态分布: normal distribution）
步骤：
• 先建立Excel数据文件，再将数据导入EViews，建 立工作文件，在数据表格界面点击菜单： Proc→Make Equation，进入模型估计（Equation Estimation）对话框 • 在specification中依 次填入因变量、自变 量和常数项（如果没 有则不写）