第三章一元线性回归模型
第三章 一元线性回归模型
第三章 一元线性回归模型一、预备知识（一）相关概念对于一个双变量总体,若由基础理论，变量和变量之间存在因果),(i i x y x y 关系，或的变异可用来解释的变异。
为检验两变量间因果关系是否存在、x y 度量自变量对因变量影响的强弱与显著性以及利用解释变量去预测因变量x y x ，引入一元回归分析这一工具。
y 将给定条件下的均值i x i yi i i x x y E 10)|(ββ+=（3.1）定义为总体回归函数（PopulationRegressionFunction,PRF ）。
定义为误差项（errorterm ）,记为，即，这样)|(i i i x y E y -i μ)|(i i i i x y E y -=μ，或i i i i x y E y μ+=)|(i i i x y μββ++=10（3.2）（3.2）式称为总体回归模型或者随机总体回归函数。
其中，称为解释变量x （explanatory variable ）或自变量（independent variable ）；称为被解释y 变量（explained variable ）或因变量（dependent variable ）；误差项解释μ了因变量的变动中不能完全被自变量所解释的部分。
误差项的构成包括以下四个部分：（1）未纳入模型变量的影响（2）数据的测量误差（3）基础理论方程具有与回归方程不同的函数形式，比如自变量与因变量之间可能是非线性关系（4）纯随机和不可预料的事件。
在总体回归模型（3.2）中参数是未知的，是不可观察的，统计计10,ββi μ量分析的目标之一就是估计模型的未知参数。
给定一组随机样本，对（3.1）式进行估计，若的估计量分别记n i y x i i ,,2,1),,( =10,),|(ββi i x y E 为，则定义3.3式为样本回归函数^1^0^,,ββi y （）i i x y ^1^0^ββ+=n i ,,2,1 =（3.3）注意，样本回归函数随着样本的不同而不同，也就是说是随机变量，^1^0,ββ它们的随机性是由于的随机性（同一个可能对应不同的）与的变异共i y i x i y x 同引起的。
计量经济学习题集及答案
第一章导论⒈单项选择题⑴计量经济学是一门（）学科。
A.测量B.经济C.统计D.数学⑵狭义计量经济模型是指（）。
A.投入产出模型B.生产函数模型C.包含随机方程的经济数学模型D.模糊数学模型⑶计量经济模型分为单方程模型和（）。
A.随机方程模型B.行为方程模型C.联立方程模型D.非随机方程模型⑷计量经济研究中的数据主要有两类：一类是时间序列数据，另一类是（）。
A.总量数据B.横截面数据C.平均数据D.相对数据⑸同一统计指标按时间顺序记录的数据列称为（）。
A.横截面数据B.时间序列数据C.虚拟变量数据D.混合数据⑹横截面数据是指（）。
A.同一时点上不同统计的单位、相同统计指标组成的数据B.同一时点上相同统计的单位、相同统计指标组成的数据C.同一时点上相同统计的单位、不同统计指标组成的数据D.同一时点上不同统计的单位、不同统计指标组成的数据⑺样本数据的质量问题，可以概括为完整性、准确性、可比性和（）。
A.时效性B.一致性C.广泛性D.系统性⑻对模型参数估计值的符号和大小合理性进行的检验，属于（）。
A.经济意义检验B.计量经济准则检验C.统计准则检验D.稳定性检验⑼在计量经济学中，通常所说的二级检验指的是（）。
A.经济意义检验B.计量经济准则检验C.统计准则检验D.稳定性检验⑽计量经济模型的应用领域主要有（）。
A.结构分析、经济预测、政策评价、验证和发展经济理论B.弹性分析、乘数分析、政策模拟C.结构分析、生产技术分析、市场均衡分析D.季度分析、年度分析、中长期分析⒉多项选择题⑴使用时间序列数据进行经济计量分析时，要求指标统计（）。
A.对象及范围可比B.时间可比C.口径可比D.计算方法可比E.内容可比⑵一个计量经济模型主要由以下几部分构成（）。
A.变量B.参数C.随机误差项D.方程的形式E.数据⑶计量经济模型成功的三要素包括（）。
A.理论B.应用C.数据D.方法E.检验⑷以下可以作为单方程计量经济模型解释变量的有（）。
第三章 一元线性回归模型
第三章一元线性回归模型第一节一元线性回归模型及其基本假设一元线性回归模型第二章回归分析的基本思想指出，由于总体实际上是未知的，必须根据样本回归模型估计总体回归模型，回归分析的目的就是尽量使得样本回归模型接近总体回归模型，那么采取什么方法估计样本回归模型才使得估计出的样本回归模型是总体回归模型的一个较好估计值呢？这里包括两个问题：一是采用什么方法估计样本回归模型；二是怎样验证估计出的样本回归模型是总体回归模型的一个较好估计值。
这些将在接下来的内容中讲到。
这一章介绍最简单的一元线性回归模型，下一章再扩展到多元线性回归模型。
一元线性回归模型及其基本假设一、一元线性回归模型的定义一元线性回归模型是最简单的计量经济学模型，在该一元模型中，仅仅只含有一个自变量，其一般形式为：yi = β0 + β1xi + μi（3.1.1）其中yi是因变量，xi是自变量，β0、β1是回归参数，μi是随机项。
由于式（3.1.1）是对总体而言的，也称为总体回归模型。
随机项μ代表未被考虑到模型中而又对被解释变量y有影响的所有因素产生的总效应。
二、一元线性回归模型的基本假设由于模型中随机项的存在使得参数β0和β1的数值不可能严格计算出来，而只能进行估计，在计量经济学中，有很多方法可以估计出这些参数值，但采用什么方法能够尽可能准确地估计出这些参数值，取决于随机项μ和自变量x的性质。
因此，对随机项μ和自变量x的统计假定以及检验这些假定是否满足的方法，在计量经济学中占有重要的地位。
估计方法中用得最多的是普通最小二乘法（Ordinary Least Squares），同样为了保证利用普通最小二乘法估计出的参数估计量具有良好的性质，也需要对模型的随机项μ和自变量x 提出若干种假设。
当模型中的随机项μ和自变量x满足这些假设时，普通最小二乘法就是适合的估计方法；当模型中的随机项μ和自变量x不满足这些假设时，普通最小二乘法就不是适合的方法，这时需要利用其他的方法来估计模型。
第三节 一元线性回
1
1、回归系数的显著性检验
• 估计量 S 2 来代替。 ˆ • 但样本为小样本时，回归系数估计量 β1 的标准 化变换值服从t分布，即：
σ 2 是未知的，要用其无偏 一般来说，总体方差
tβˆ =
1
ˆ β1 − β1 Sβˆ
1
~ t (n − 2)
• 式中n为样本容量，n-2为自由度。 •
回归系数显著性检验步骤：
(二)一元线性回归分析的特点 二 一元线性回归分析的特点
• 1、在两个变量之间，必须根据研究目的具体确定哪个 是自变量，哪个是因变量。相关分析不必确定两个变量中 哪个是自变量，哪个是因变量。 2、计算相关系数时，要求相关的两个变量都是随机的； 但是，在回归分析中因变量是随机的，而自变量不是随机 的变量。 3、在没有明显的因果关系的两个变量与y之间，可以 3 y 求得两个回归方程。 4、回归方程的主要作用在于：给出自变量的数值来估 计因变量的可能值。一个回归方程只能做出一种推算，推 算的结果表明变量之间的具体的变动关系。 5、直线回归方程中，自变量的系数称回归系数。回归 系数的符号为正，表示正相关；为负则表示负相关。
ˆ β1 =
n∑ xi yi − ∑ xi ∑ yi n∑ x − (∑ xi )
2 i 2
ˆ ˆ β 0 = yi − β1 xi
（一）参数 β 0 , β 1 的最小二乘估计
一元回归线性模型
一元回归线性模型
一元线性回归模型，又称为简单线性回归模型，是机器学习中常
用的回归模型，它是利用一个自变量X来预测因变量Y的结果。
一元
线性回归模型将样本数据映射为一条直线，如y=ax+b，其中a是斜率，b是截距，也就是说，一元线性回归模型中的参数是斜率和截距，而拟
合的直线就是根据样本数据估计出来的最佳拟合直线。
目标函数是求解参数 a 和 b，使得误差平方和最小，具体来说，
目标函数的表达式为：J（a,b）=Σi(yi-f(xi))^2,其中f（x）=ax+b，yi为观测值，xi为观测值对应的自变量。
对于一元线性回归模型，求解参数 a 和 b 的最优方法要么是直
接用梯度下降法求解，要么是用最小二乘法求解。
梯度下降法求解时，需构造损失函数，使用梯度下降法迭代更新参数，直到获得最优结果；而最小二乘法求解时，通过求解参数关于损失函数的导数，便可解出
模型参数，从而得到最优结果。
一元线性回归模型在实际应用中有很多优点，其中最重要的就是
它易于拟合和解释，它求解简单，可以很大程度上减少了计算复杂度，而且可以很好地预测因变量的值，也可以用来检验变量之间的关系。
第三章 一元线性回归
LOGO
三、一元线性回归模型中随机项的假定
( xi , yi )，i,j=1,2,3,…,n后，为了估计（3.1.5） 在给定样本观测值（样本值） 式的参数 0和 1 ，必须对随机项做出某些合理的假定。这些假定通常称 为古典假设。
假设1、解释变量X是确定性变量，不是随机变量； 假设2、随机误差项具有零均值、同方差和不序列相关性： E(i)=0 Var (i)=2 i=1,2, …,n i=1,2, …,n
ˆ i ) ( y i 0 1 xi ) 2 Q（ 0，1） ( yi y
2 i 1 i 1 n n
（3.2.3）
ˆ ， ˆ ，使式 所谓最小二乘法，就是寻找参数 0,，1 的估计值 0 1 ˆ ， ˆ 满足： （3.2.3）定义的离差平方和最小，即寻找 0 1
y 1 x
2 y 0 2 x
LOGO
二是被解释变量x与参数 之间为线性关系，即参数 仅以一次方的 形式出现在模型之中。用数学语言表示为：
y 1 0
y 0 2 0
2
y x 1
2 y 0 2 1
在经济计量学中，我们更关心被解释变量y与参数
之间的线性关系。因
第三章 一元线性回归
3.1 一元线性回归模型 3.2 回归参数 0，1 的估计 3.3 最小二乘估计的性质 3.4 回归方程的显著性检验
3.5 预测和控制
LOGO
3.1 一元线性回归模型
一、回归模型的一般形式
1、变量间的关系 经济变量之间的关系，大体可分为两类：
（1）确定性关系或函数关系：变量之间有唯一确定性的函数关 系。其一般表现形式为：
对于总体回归模型，
y f ( x1, x2 ,, xk ) u
计量第三章答案
第三章 一元经典线性回归模型的基本假设与检验问题 3.1TSS,RSS,ESS 的自由度如何计算？直观含义是什么？答：对于一元回归模型，残差平方和RSS 的自由度是(2)n -，它表示独立观察值的个数。
对于既定的自变量和估计量1ˆβ和2ˆβ，n 个残差 必须满足正规方程组。
因此，n 个残差中只有(2)n -个可以“自由取值”，其余两个随之确定。
所以RSS 的自由度是(2)n -。
TSS 的自由度是(1)n -：n 个离差之和等于0，这意味着，n 个数受到一个约束。
由于TSS=ESS+RSS ，回归平方和ESS 的自由度是1。
3.2 为什么做单边检验时，犯第一类错误的概率的评估会下调一半？答：选定显著性水平α之后，对应的临界值记为/2t α，则双边检验的拒绝区域为/2||t t α≥。
单边检验时，对参数的符号有先验估计，拒绝区域变为/2t t α≥或/2t t α≤-，故对犯第I 类错误的概率的评估下下降一半。
3.3 常常把高斯-马尔科夫定理简述为：OLS 估计量具有BULE 性质，其含义是什么？ 答：含义是：（1）它是线性的（linear ）：OLS 估计量是因变量的线性函数。
（2）它是无偏的（unbiased ）：估计量的均值或数学期望等于真实的参数。
比如22ˆ()E ββ=。
（3）它是最优的或有效的（Best or efficient ）：如果存在其它线性无偏的估计量，其方差必定大于OLS 估计量的方差。
3.4 做显著性检验时，针对的是总体回归函数（PRF ）的系数还是样本回归函数（SRF ）的系数？为什么？答：做显著性检验时，针对的是总体回归函数（SRF ）的系数。
总体回归函数是未知的，也是研究者所关心的，所以只能利用样本回归函数来推测总体回归函数，后者是利用样本数据计算所得，是已知的，无需检验。
（习题）3.5 以下陈述正确吗？不论正确与否，请说明理由。
（1）X值越接近样本均值，斜率的OLS估计值就越精确。
第3章一元线性回归模型
ui ~N(0,u2)
22
五、样本回归函数（SRF）
23
⒈问题的提出
由于总体的信息往往无法掌握，现实的情况只能是在 一次观测中得到总体的一组样本。
问题是能从一次抽样中获得总体的近似的信息吗？如 果可以，如何从抽样中获得总体的近似信息？
例2：在例1的总体中有如下一个样本，问：能否从该 样本估计总体回归函数PRF？
程/函数/线：
Yˆ βˆ βˆ X
i
0
1
i
Yˆ为EY的估计值
i
i
10
二、回归分析的基本概念和原理
于是 可,建立如 样下本的回归:
YYˆuˆ βˆ βˆXe
i
i
i
0
1
i
i
11
二、回归分析的基本概念和原理
回归分析构成计量经济学的方法论基础，其 主要内容包括：
（1）根据样本观测值对计量经济模型参数进行估计，
3
一、变量间的关系 经济变量之间的关系，大体可分为两类：
确定性关系或函数关系：研究的是确定现象非随 机变量间的关系。 统计依赖或相关关系：研究的是非确定现象随机 变量间的关系。
4
△对变量间统计依赖关系的考察主要是通过相关分析 (correlation analysis)或回归分析(regression analysis)来完成的：
为达到此目的，将该60户家庭划分为组内收入差不多的10 组，以分析每一收入组的家庭消费支出（下表）。
13
14
从散点图发现：随着收入的增加，消费“平均地
说”也在增加，且Y的条件均值均落在一根正斜率的 直线上。这条直线称为总体回归线。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第二节 一元线性回归模型
线性回归模型的形式 随机干扰项u的意义 一元线性回归模型
对ui分布的假定
一、线性回归模型形式
yt b0 b1 x1t b2 x2t bk xkt ut , t 1, 2,..., n
称为K元线性回归模型
如果K=1，一元线性回归模型
PIO USA
中国农村用电量与美国消费者价格指数
中国农村用电量和美 国消费者价格指数 （1980～1996）
NCYDL_CN
2000
1500
1000
500
0 80 100 120 CPI_USA 140 160
五、回归分析与相关分析
回归分析/相关分析研究一个变量对另一个（些） 变量的统计依赖关系，但它们并不意味着一定有 因果关系。 有相关关系并不意味着一定有因果关系。 相关分析对称地对待任何（两个）变量，两个变 量都被看作是随机的。回归分析对变量的处理方 法存在不对称性，即区分应变量（被解释变量） 和自变量（解释变量）：前者是随机变量，后者 不是。
xk 1 b0 u1 b u xk 2 b 1 U 2 bk xkn u n
模型的矩阵形式为
Y Xb U
二、随机干扰项u的意义
随机项又称随机干扰项，是从模型中省略下来 的而又集体的影响着因变量y的全部变量的替 代物。 主要包括： 模型中被省略的变量：理论的含混不清；数 据的不可得性；省略一些次要变量（基于节俭 原则保留主要变量） 一些随机因素：众多微小的随机因素或者偶 然因素。一般，这些因素不可控制、不可预测、 不可测量，但影响是存在的。 测量误差 确定的数学模型形式的误差
多元线性回归模型：多个自变量的线性回
归模型。
一元线性回归模型
总体线性回归模型：y=b0+b1x+u中，x、
y是对总体而言的。 给定x、y的n次观测值（样本值） (x1,y1)、(x2,y2)……(xn,yn) 代入一元线性回归模型
yt b0 b1 xt ut , t 1, 2,, n
多项式函数表示：
c a0 a1Q a2Q ... ak Q u
2 k
例：成本曲线
令： X
j
Q
j
j 1, 2,..., k
成本函数化成线性形式
c a0 a1 X1 a2 X 2 ... ak X k u
模型的矩阵表示
令
y1 1 x11 y 1 x 12 Y 2 X yn 1 x1n
总体线性回归模型
一个假想的社区有100户家庭组成，要研究该 社区每月家庭消费支出Y与每月家庭可支配收 入X的关系。 即如果知道了家庭的月收入，能否预测该 社区家庭的平均月消费支出水平。
为达到此目的，将该100户家庭划分为组内收 入差不多的10组，以分析每一收入组的家庭消 费支出。
表 2.1.1 某社区家庭每月收入与消费支出统计表 每月家庭可支配收入X（元） 800 每 月 家 庭 消 费 支 出 Y （元） 561 594 627 638 1100 638 748 814 847 935 968 1400 869 913 924 979 1012 1045 1078 1122 1155 1188 1210 1700 1023 1100 1144 1155 1210 1243 1254 1298 1331 1364 1408 1430 1485 2000 1254 1309 1364 1397 1408 1474 1496 1496 1562 1573 1606 1650 1716 2300 2600 2900 1969 1991 2046 2068 2101 2189 2233 2244 2299 2310 3200 2090 2134 2178 2266 2354 2486 2552 2585 2640 3500 2299 2321 2530 2629 2860 2871 1408 1650 1452 1738 1551 1749 1595 1804 1650 1848 1672 1881 1683 1925 1716 1969 1749 2013 1771 2035 1804 2101 1870 2112 1947 2200 2002 4950 11495 16445 19305 23870 25025
数线性感兴趣 y a bx u 例：
VL，PL
y a bx u
2
VNL，PL
VNL，PNL
y ax u
b
例：消费函数
一个国家消费支出与可支配收入之间的
关系：
– c=a+by
其中
– c——消费支出 – y——可支配收入 – a,b为参数，b称为边际消费倾向，0<b<1
共计
2420
21450 21285
15510
分析 （1）由于不确定因素的影响，对同一收入 水平X，不同家庭的消费支出不完全相同； （2）但由于调查的完备性，给定收入水平 X的消费支出Y的分布是确定的，即以X 的给定值为条件的Y的条件分布 （Conditional distribution）是已 知的，如： P(Y=561|X=800=1/4。
二、回归分析的用途
通过自变量的值来估计应变量的值。 对独立性进行假设检验——根据经济理论
建立适当的假设。 通过自变量的值对应变量进行预测。 上述多个目标的综合。
三、回归关系与确定性关系
回归关系（统计关系）：研究的是非确定现
象随机变量间的关系。
确定性关系（函数关系）：研究的一个叫做被解释变
量的变量对另一个或多个叫做解释变量 的依赖关系。其用意在于通过后者（在 重复抽样中）的已知或被设定值去估计 和（或）预测前者的（总体）均值。 回归分析构成计量经济学的方法论基础， 主要内容包括：
根据样本观察值对经济计量模型参数进行估计，求得 回归方程 对回归方程、参数估计值进行显著性检验 利用回归方程进行分析、评价及预测。
象非随机变量间的关系。
圆面积 f , 半径 半径2
农作物产量 f 气温, 降雨量, 阳光, 施肥量
四、回归关系与因果关系
回归关系研究一个变量对另一个变量的统
计依赖关系，从逻辑上说，统计关系式本 身并不意味着任何因果关系。 因果关系：理论关系。 “一种统计关系，无论多么的强有力， （其自身）总不能成为因果关系，因果关 系最终来自于理论而不是统计”。 几个荒谬的关系
变量的称谓
y 因变量 Dependent variable 被解释变量Explained variable 内生变量Endogenous variables 回归应变量 Regressand 预测变量Predictand 结果变量Effect variable 目标变量Target variable
例：消费函数
如果我们得到连续n年的数据（即一个样
本）：（ct,yt）,t=1,2,……,n 假定模型可以解释这组数据，则有 ct=a+byt+ ut t=1,2,……,n 其中ut 表示第t年的随机干扰
例：生产函数
研究某行业同类企业产出和投入要素之间的关 系。Y——产出，K——资本，L——劳动。 假设生产函数是科布—道格拉斯型的，则 Y=AKaLbu 其中u为随机干扰项，即系统部分AKaLb不能 解释的部分 特点：
例：消费函数
考虑到影响消费的随机因素，在模型中
加入随机干扰项u，使之成为计量经济模 型 c=a+by+u 模型分成两部分：
–系统部分：a+by,反应自变量—可支配收入 y对因变量—消费支出c的影响，是主要且可 观测到的影响； –随机干扰部分：u，反应随机、不控制和不 可预测因素对消费的影响。
500 0
500 1000 1500 2000 2500 3000 3500 4000 每月可支配收入X（元）
总体回归线
描出散点图发现：随着收入的增加，消费“平 均地说”也在增加，且Y的条件均值均落在一 根正斜率的直线上。这条直线称为总体回归线。 定义：在给定解释变量Xi条件下被解释变量Yi的期望
因此，给定收入X的值Xi，可得消费支出Y的 条件均值（conditional mean）或条件期望 （conditional expectation）： E(Y|X=Xi)
该例中：E(Y | X=800)=605
3500 每 月 消 费 支 出 Y （元）
3000
2500 2000 1500 1000
成本函数：C=a+bQ
收益函数：TR=a+bQ
线性
变量线性 参数线性
变量线性
指模型中的变量之间呈线性关系 例
y a bx u
VL，PL
y a bx u
y ax u
b
VL，PNL
VNL，PNL
参数线性
指模型中的参数之间呈线性关系
一般，从估计的角度看，我们总是对参
– 非线性 – 随机干扰项是乘性的
例：生产函数
得 到 n 个 企 业 的 一 组 数 据 ： （Yi,Ki,Li ）,i=1,2,…..,n，结合到上式中 模型可以写为 Yi=AKiaLibui i=1,2,……,n 其中ui表示对第i个企业的随机干扰。
若
例：生产函数
这个模型是非线性的，取对数
第三章：一元线性回归模型
回归的含义 一元线性回归方程 模型参数的最小二乘估计
样本的决定系数及回归直线拟合优度的检
验 回归系数估计量的显著性检验 方程的显著性检验