一元线性回归模型
第三章 一元线性回归模型
第三章 一元线性回归模型一、预备知识（一）相关概念对于一个双变量总体,若由基础理论，变量和变量之间存在因果),(i i x y x y 关系，或的变异可用来解释的变异。
为检验两变量间因果关系是否存在、x y 度量自变量对因变量影响的强弱与显著性以及利用解释变量去预测因变量x y x ，引入一元回归分析这一工具。
y 将给定条件下的均值i x i yi i i x x y E 10)|(ββ+=（3.1）定义为总体回归函数（PopulationRegressionFunction,PRF ）。
定义为误差项（errorterm ）,记为，即，这样)|(i i i x y E y -i μ)|(i i i i x y E y -=μ，或i i i i x y E y μ+=)|(i i i x y μββ++=10（3.2）（3.2）式称为总体回归模型或者随机总体回归函数。
其中，称为解释变量x （explanatory variable ）或自变量（independent variable ）；称为被解释y 变量（explained variable ）或因变量（dependent variable ）；误差项解释μ了因变量的变动中不能完全被自变量所解释的部分。
误差项的构成包括以下四个部分：（1）未纳入模型变量的影响（2）数据的测量误差（3）基础理论方程具有与回归方程不同的函数形式，比如自变量与因变量之间可能是非线性关系（4）纯随机和不可预料的事件。
在总体回归模型（3.2）中参数是未知的，是不可观察的，统计计10,ββi μ量分析的目标之一就是估计模型的未知参数。
给定一组随机样本，对（3.1）式进行估计，若的估计量分别记n i y x i i ,,2,1),,( =10,),|(ββi i x y E 为，则定义3.3式为样本回归函数^1^0^,,ββi y （）i i x y ^1^0^ββ+=n i ,,2,1 =（3.3）注意，样本回归函数随着样本的不同而不同，也就是说是随机变量，^1^0,ββ它们的随机性是由于的随机性（同一个可能对应不同的）与的变异共i y i x i y x 同引起的。
一元线性回归模型
1 n ˆ xi )2 = 1 ( Lyy − bLxy ). ˆ ˆ 即 σ = ∑ ( yi − a − b ˆ n i =1 n
2
n σ 2. 而σ 的无偏估计是 ˆ n−2
2
∴σ ˆ
*2
n 1 2 ˆ σ = ( Lyy − bLxy ). = ˆ n−2 n−2
ex1. 设有一组观察值如下，求回归方程 设有一组观察值如下，求回归方程.
ˆ ˆ ˆ 对于x0可得 y0 = a + bx0 , 称其为 Y0的点预测.
( 2) Y0的区间估计 : 选取 T =
σ* ˆ
ˆ Y0 − y0 ~ t ( n − 2) 2 1 ( x0 − x ) 1+ + n Lxx
对于任意给定的 0 < α < 1, 有 P { T < tα ( n − 2)} = 1 − α .
研究变量间的相关关系，确定回归函数， 研究变量间的相关关系，确定回归函数，由此预测和控 制变量的变化范围等就是回归分析。 制变量的变化范围等就是回归分析。 研究两个变量间的相关关系，称为一元回归分析； 研究两个变量间的相关关系，称为一元回归分析； 研究多个变量间的相关关系，称为多元回归分析； 研究多个变量间的相关关系，称为多元回归分析； 若回归函数为线性函数，则称为线性回归分析。 若回归函数为线性函数，则称为线性回归分析。
所以y与 之间显著地存在线性关系 之间显著地存在线性关系. 所以 与x之间显著地存在线性关系
四、一元线性回归模型的应用—预测与控制 一元线性回归模型的应用 预测与控制 1. 预测问题
(根据 = a + bx + ε , 研究 = x0时如何估计 0 ) Y x Y
(1) Y0的点估计 :
一元线性回归模型(计量经济学)
总体回归函数说明被解释变量Y的平均状 态（总体条件期望）随解释变量X变化的 规律。至于具体的函数形式，则由所考 察的总体的特征和经济理论来决定。
在例2.1中，将居民消费支出看成是其可 支配收入的线性函数时，该总体回归函
数为: E (Y |X i)01 X i
它是一个线性函数。其中，0，1是未知
第二章 经典单方程计量经济学模型： 一元线性回归模型
§2.1 回归分析概述 §2.2 一元线性回归模型的基本假设 §2.3 一元线性回归模型的参数估计 §2.4 一元线性回归模型的统计检验 §2.5 一元线性回归模型的预测 §2.6 一元线性回归建模实例
§2.1 回归分析概述
一、变量间的关系及回归分析的基本概念 二、总体回归函数 三、随机扰动项 四、样本回归函数
1430 1650 1870 2112
1485 1716 1947 2200
2002
2420 4950 11495 16445 19305 23870 25025 21450 21285 15510
一个抽样
由于调查的完备性，给定收入水平X的消费 支出Y的分布是确定的。即以X的给定值为条 件的Y的分布是已知的，如 P(Y=561 | X = 800) =1/4。 进而，给定某收入Xi，可得消费支出Y的条 件均值，如 E(Y | X = 800) =605。 这样，可依次求出所有不同可支配收入水平 下相应家庭消费支出的条件概率和条件均值 ，见表2.1.2.
相关分析主要研究随机变量间的相关形式 及相关程度。变量间的相关程度可通过计 算相关系数来考察。
具有相关关系的变量有时存在因果关系，
这时，我们可以通过回归分析来研究它们
之间的具体依存关系。
课堂思考题
数据分析知识：数据分析中的一元线性回归模型
数据分析知识：数据分析中的一元线性回归模型一元线性回归模型是一种建立变量之间关系的常见方法，其中一个变量（自变量）被用来预测另一个变量（因变量）。
这种模型可以提供有关两个变量关系的数量量化和可视化信息。
在数据分析中，一元线性回归模型被广泛应用于数据建模、预测、探索因果关系等领域。
一元线性回归模型的基本形式为y = a + bx，其中y是因变量，x 是自变量，a是截距，b是斜率。
这个方程表示了自变量对因变量的影响。
斜率b表示每增加一个单位自变量，因变量y会增加多少，截距a 则是因变量在自变量为零时的取值。
通过收集x和y之间的数据并运行线性回归模型，可以得到最佳拟合线的斜率和截距，从而得到x和y 之间的关系。
线性回归模型的优点在于它非常直观和易于理解，并且可以为数据提供定量的关系描述。
此外，线性回归模型还可以用于预测未来的数据趋势，以及评估不同变量对数据的影响。
例如，一元线性回归模型可以用于预测销售额随着广告投资增加的变化情况，或者研究气温和销售量之间的关系。
该模型基于许多假设，如自变量和因变量之间存在线性关系，数据无误差，误差服从正态分布等。
这些假设条件可能并不总是适用于与数据分析相关的所有情况，因此有时需要使用其他模型，如非线性回归或多元回归模型。
应用一元线性回归模型主要有以下几个步骤：（1）确定自变量和因变量。
根据研究或问题确定需要分析的两个变量。
（2）数据收集。
为了开展一元线性回归模型，必须收集有关自变量和因变量的数据。
实际应用中，数据可以从不同来源获得，如调查、实验或社交媒体。
（3）数据清理和准备。
在应用模型之前，必须对数据进行清理和准备以满足模型假设的条件。
如果数据存在缺失值或异常值，则需要进行处理。
此外，数据需要进一步进行标准化和缩放。
（4）应用模型。
使用适当的统计软件分析数据并应用线性回归模型。
每个软件都有所不同，但通常包括输入自变量和因变量、选择线性回归模型、运行分析和结果呈现等步骤。
21一元线性回归模型.ppt
同理，p(Y= ？ /X=260)=1/7
条件均值(条件期望 ) :
对Y的每一条件概率分布，我们能算出它 的均值 :
记做E(Y/X=Xi)
［简写为E(Y/Xi) ］
并读为“在X取特定Xi值时的Y的期望值”。
计算方法：
将表2.1中的有关列乘以表2.2中的相应列 的条件概率，然后对这些乘积求和便是。
第二章 一元线性回归模型
§2.1 一元线性回归模型概念基础 回归是计量经济学的主要工具 一、“回归”一词的历史渊源
Francis Galton F．加尔顿
回归一词最先由F．加尔顿 (FrancisC,alton)引入
加尔顿的普遍回归定律还被他的朋友 K．皮尔逊(KartPearson)证实
Karl Pearson K．皮尔逊
综合来看，回归分析一般可以用来：
（1） 通过已知变量的值来估计因变量的均值。
（2）对独立性进行假设检验―――根据经济理 论建立适当的假设。
例如，对于需求函数，你可以检验假设：需求的 价格弹性为-1.0；即需求曲线具有单一的价格 弹性。也就是说，在其他影响需求的因素保持 不变的情况下，如果商品的价格上涨1％，平 均而言，商品的需求量将减少1％。
P （
1/7 1/5 1/5 1/6 1/5 1/7 1/5 1/7 1/5
Y/ 1/7 1/5 1/5 1/6 1/5 1/7 1/5 1/7 1/5
Xi ） 1/7
1/6
1/7
1/7
1/7
1/7
1/7
Y的条 48 46 44 42 40 38 36 34 32 30
件均值
E(Y/X=Xi) Y的条件均值
·
·
·
· ·
一元回归线性模型
一元回归线性模型
一元线性回归模型，又称为简单线性回归模型，是机器学习中常
用的回归模型，它是利用一个自变量X来预测因变量Y的结果。
一元
线性回归模型将样本数据映射为一条直线，如y=ax+b，其中a是斜率，b是截距，也就是说，一元线性回归模型中的参数是斜率和截距，而拟
合的直线就是根据样本数据估计出来的最佳拟合直线。
目标函数是求解参数 a 和 b，使得误差平方和最小，具体来说，
目标函数的表达式为：J（a,b）=Σi(yi-f(xi))^2,其中f（x）=ax+b，yi为观测值，xi为观测值对应的自变量。
对于一元线性回归模型，求解参数 a 和 b 的最优方法要么是直
接用梯度下降法求解，要么是用最小二乘法求解。
梯度下降法求解时，需构造损失函数，使用梯度下降法迭代更新参数，直到获得最优结果；而最小二乘法求解时，通过求解参数关于损失函数的导数，便可解出
模型参数，从而得到最优结果。
一元线性回归模型在实际应用中有很多优点，其中最重要的就是
它易于拟合和解释，它求解简单，可以很大程度上减少了计算复杂度，而且可以很好地预测因变量的值，也可以用来检验变量之间的关系。
第三章 一元线性回归
LOGO
三、一元线性回归模型中随机项的假定
( xi , yi )，i,j=1,2,3,…,n后，为了估计（3.1.5） 在给定样本观测值（样本值） 式的参数 0和 1 ，必须对随机项做出某些合理的假定。这些假定通常称 为古典假设。
假设1、解释变量X是确定性变量，不是随机变量； 假设2、随机误差项具有零均值、同方差和不序列相关性： E(i)=0 Var (i)=2 i=1,2, …,n i=1,2, …,n
ˆ i ) ( y i 0 1 xi ) 2 Q（ 0，1） ( yi y
2 i 1 i 1 n n
（3.2.3）
ˆ ， ˆ ，使式 所谓最小二乘法，就是寻找参数 0,，1 的估计值 0 1 ˆ ， ˆ 满足： （3.2.3）定义的离差平方和最小，即寻找 0 1
y 1 x
2 y 0 2 x
LOGO
二是被解释变量x与参数 之间为线性关系，即参数 仅以一次方的 形式出现在模型之中。用数学语言表示为：
y 1 0
y 0 2 0
2
y x 1
2 y 0 2 1
在经济计量学中，我们更关心被解释变量y与参数
之间的线性关系。因
第三章 一元线性回归
3.1 一元线性回归模型 3.2 回归参数 0，1 的估计 3.3 最小二乘估计的性质 3.4 回归方程的显著性检验
3.5 预测和控制
LOGO
3.1 一元线性回归模型
一、回归模型的一般形式
1、变量间的关系 经济变量之间的关系，大体可分为两类：
（1）确定性关系或函数关系：变量之间有唯一确定性的函数关 系。其一般表现形式为：
对于总体回归模型，
y f ( x1, x2 ,, xk ) u
第二章 一元线性回归模型
∂Q ˆ ˆ = −2∑ (Yi − β 0 − β1 X i ) = 0 ∂β ˆ0 ˆ ˆ ∂Q = −2∑ (Y − β − β X )X = 0 i 0 1 i i ˆ ∂β1
化简得： 化简得：
ˆ ˆ ∑ (Yi − β 0 − β1 X i ) = 0 ˆ ˆ ∑ (Yi − β 0 − β1 X i )X i = 0
2.总体回归方程（线）或回归函数 总体回归方程（ 总体回归方程 即对（ ）式两端取数学期望： 即对（2.8）式两端取数学期望：
E y i）= β 0 + β 1 x i （
（2.9）
（2.9）为总体回归方程。由于随机项的影响，所 ）为总体回归方程。由于随机项的影响， 有的点（ ）一般不在一条直线上； 有的点（x,y）一般不在一条直线上；但所有的点 （x,Ey）在一条直线上。总体回归线描述了 与y ）在一条直线上。总体回归线描述了x与 之间近似的线性关系。 之间近似的线性关系。
Yi = β X i + ui
需要估计， 这个模型只有一个参数 需要估计，其最 小二乘估计量的表达式为： 小二乘估计量的表达式为：
∑XY ˆ β= ∑X
i i 2 i
例2.2.1：在上述家庭可支配收入-消费支出例中，对 ：在上述家庭可支配收入-消费支出例中， 于所抽出的一组样本数据， 于所抽出的一组样本数据，参数估计的计算可通过下面 的表2.2.1进行。 进行。 的表 进行
二、一元线性回归模型 上述模型中， 为线性的， 上述模型中， 若f(Xi)为线性的，这时的模型 为线性的 一元线性回归模型： 即为 一元线性回归模型：
yi = β 0 + β1 xi + ui 其中：yi为被解释变量，xi为解释变量，ui为随机误 差项，β 0、β1为回归系数。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
(8) 对于多元线性回归模型，解释变量之间不能完全相关或高度 相关（非多重共线性）。
在假定（1），（2），（6）成立条件下有
E(yt) = E(0 + 1 xt + ut ) = 0 + 1 xt 。
(2) 估计的回归直线 Yˆt = ˆ0 + ˆ1 Xt 过（ X , Y ）点。
正规方程 (Yt - ˆ0 - ˆ1 Xt) = 0 两侧同除样本容量 T，得
Y = ˆ 0 + ˆ1 X
证毕。
(3) yt 的拟合值的平均数等于其样本观测值的平均数， Yˆt = Y 。
Yˆt
=
1 T
Yˆt
=
1 T
以上四个假定可作如下表达。ut N (0, )。
(5) Cov(ui, uj) = E[(ui - E(ui) ) ( uj - E(uj) )] = E(ui, uj) = 0，(i j )。 含义是不同观测值所对应的随机项相互独立。称为 ui 的非自相关性。
(6) xi 是非随机的。 (7) Cov(ui, xi) = E[(ui - E(ui) ) (xi - E(xi) )] = E[ui (xi - E(xi) ]
（第4版第10页）
估计的模型。 Yt = Yˆt + uˆt = ˆ 0 + ˆ1 Xt + uˆt 最小二乘法的原则是以“残差平方和最小”确定直线位置。
设残差平方和用 Q 表示，
T
T
T
Q = uˆt 2 = (Yt Yˆt )2 = (Yt ˆ0 ˆ1X Q 对 ˆ0 和 ˆ1 的偏导数并令其为零，得正规方程
( ˆ0 + ˆ1
Xt) = ˆ 0 + ˆ1
X =Y
证毕。
3. OLS回归函数的性质
（第4版第13页）
(4) Cov( uˆt , Xt) = 0
只需证明 ( Xt - X ) uˆt = Xt uˆt - X uˆt = Xt uˆt
= Xt ( Yˆt - ˆ0 - ˆ1 Xt) = 0。
OLS估计结果：Y ˆi1.7 06 60.0 20X 5 i 1（第4版第15页）
3. OLS回归函数的性质
（第4版第13页）
(1) 残差和等于零， uˆt = 0
由正规方程 2 (Yt - ˆ0 - ˆ1 Xt) (-1) = 0
得 (Yt - ˆ0 - ˆ1 Xt) = (Yt - Yˆt ) = ( uˆt ) = 0
把上式代入（4）式并整理，得，
T
[(Yt Y ) ˆ1(X t X )] Xt = 0
i1
（第4版第13页）
T
T
(Yt Y )X t ˆ1 (X t X )X t = 0
i1
i1
（课本上用英文小写字母表示离差）
ˆ1=
X t (Yt Y ) = (Xt X)Xt
X t (Yt Y ) (Xt X)Xt
X (Yt Y ) = X(Xt X)
( X t X )(Yt Y ) (Xt X)2
谁提出的OLS估计方法？
（C F Gauss, 1777-1855）
C F Gauss 1809年提出OLS估计方法。
例题2.1 人均鲜蛋需求量Y与人均可支配收入X关系
Yt：千克 Xt：元
(file: li-2-1)
在对回归函数进行估计之前应该对模型解释变量和误差项 ut 做出如下假定。 (1) ut 是一个随机变量，ut 的取值服从概率分布。 (2) E(ut) = 0。
(3) D(ut) = E[ut - E(ut) ]2 = E(ut)2 = 2。称 ui 具有同方差性。
(4) ut 为正态分布（根据中心极限定理）。
上式为正规方程之一。 (5) Cov( uˆt , Yˆt ) = 0
只需证明 ( Yˆt - Y ) uˆt = Yˆt uˆt - Y uˆt = Yˆt uˆt = uˆt ( ˆ0 + ˆ1 Xt) = ˆ0 uˆt + ˆ1 uˆt Xt = 0
Q
ˆ 0
T
= 2 (Yt
i1
ˆ0
ˆ1X t ) (-1)
=0
Q
ˆ1
=
2
T
(Yt
i1
ˆ0
ˆ1X t
)
(-
Xt)
=
0
（第4版第11页）
T
(Yt ˆ0 ˆ1X t ) = 0
(3)
i1
T
(Yt ˆ0 ˆ1X t ) Xt = 0
(4)
i1
（3）式两侧用 T 除，并整理得， ˆ0 = Y ˆ1X 。
（第4版教材第9页）
2.2 最小二乘估计（OLS）
通常真实的回归直线是观测不到的。收集样本的目的就是要对这条真实的回归直线 做出估计。
Yˆt = ˆ 0 + ˆ1 Xt
表示。其中 Yˆt 称 Yt 的拟合值（fitted value）， ˆ0 和 ˆ1 分别是0 和1 的估计量。观
测值到这条直线的纵向距离用 uˆt 表示，称为残差。（课本上用 ei 表示。）
第2章 一元线性回归模型
1. 模型的建立及其假定条件
一元线性回归模型
Yt = 0 + 1 Xt + ut
（各部分名称）
（第4版教材第7页）
回归模型的随机误差项中一般包括如下几项内容，（1）非重要解释变量的省略， （2）人的随机行为，（3）数学模型形式欠妥，（4）归并误差（粮食的归并）（5） 测量误差等。
回归模型存在两个特点。（1）建立在某些假定条件不变前提下抽象出来的回归 函数不能百分之百地再现所研究的经济过程。（2）也正是由于这些假定与抽象，才 使我们能够透过复杂的经济现象，深刻认识到该经济过程的本质。
通常线性回归函数 E(yt) = 0 + 1 xt 是观察不到的，利用样本得到的只是对 E(yt) = 0 + 1 xt 的估计，即对0 和1 的估计。
第2章 一元线性回归模型
模型的建立及其假定条件
最小二乘估计（OLS）
OLS回归函数的性质
最小二乘估计量的特性
yt的分布和 ˆ 1 的分布
的估计
拟合优度的测量
回归参数的显著性检验与置信区间
yF 的点预测与区间预测 案例分析
EViews操作
file: li-2-1 file: li-2-3 file: case1 file: 5kepler3 file: food