4.一元线性回归模型1
第三章 一元线性回归模型
第三章 一元线性回归模型一、预备知识（一）相关概念对于一个双变量总体,若由基础理论，变量和变量之间存在因果),(i i x y x y 关系，或的变异可用来解释的变异。
为检验两变量间因果关系是否存在、x y 度量自变量对因变量影响的强弱与显著性以及利用解释变量去预测因变量x y x ，引入一元回归分析这一工具。
y 将给定条件下的均值i x i yi i i x x y E 10)|(ββ+=（3.1）定义为总体回归函数（PopulationRegressionFunction,PRF ）。
定义为误差项（errorterm ）,记为，即，这样)|(i i i x y E y -i μ)|(i i i i x y E y -=μ，或i i i i x y E y μ+=)|(i i i x y μββ++=10（3.2）（3.2）式称为总体回归模型或者随机总体回归函数。
其中，称为解释变量x （explanatory variable ）或自变量（independent variable ）；称为被解释y 变量（explained variable ）或因变量（dependent variable ）；误差项解释μ了因变量的变动中不能完全被自变量所解释的部分。
误差项的构成包括以下四个部分：（1）未纳入模型变量的影响（2）数据的测量误差（3）基础理论方程具有与回归方程不同的函数形式，比如自变量与因变量之间可能是非线性关系（4）纯随机和不可预料的事件。
在总体回归模型（3.2）中参数是未知的，是不可观察的，统计计10,ββi μ量分析的目标之一就是估计模型的未知参数。
给定一组随机样本，对（3.1）式进行估计，若的估计量分别记n i y x i i ,,2,1),,( =10,),|(ββi i x y E 为，则定义3.3式为样本回归函数^1^0^,,ββi y （）i i x y ^1^0^ββ+=n i ,,2,1 =（3.3）注意，样本回归函数随着样本的不同而不同，也就是说是随机变量，^1^0,ββ它们的随机性是由于的随机性（同一个可能对应不同的）与的变异共i y i x i y x 同引起的。
一元线性回归
由此可推测：当火灾发生地离最近的消 防 站 为 10km 时 ， 火 灾 损 失 大 致 在
ˆ y 10.279 49.19 59.369（千元） 当火 ；
灾发生地离最近的消防站为 2km 时，火灾损 失大致在 20.117（千元）
三、0，1的性质
1, 线性
1
(x x ) y
为 y 关于 x 的一元线性经验回归方程 （简称为回归直
ˆ 线方程） 0 为截距， 1 为经验回归直线的斜率。 ， ˆ
引进矩阵的形式：
y1 1 x1 1 0 y2 1 x2 2 设 y ， X ， ， 1 y 1 x n n n
变量之间具有密切关联 而又不能由一个或某一些变 量唯一确定另外一个变量的 关系称为变量之间的相关关 系.
y
y f ( x)
y
Y f (X )
0
(a) 函数关系
x
0
(b) 统计关系
x
种类
正相关 负相关
一元相关 多元相关
线性相关 曲线相关
y
y
y
y
正相关
x
负相关
x
曲线相关
x
不相关
x
例 2 城镇居民的收入与消费支出之间有很大的关 联，居民的收入提高了，消费也随之潇洒，但居民的 收入不能完全确定消费，人们的消费支出受到不同年 龄段的消费习惯的影响，也受到不同消费理念的影响。 因此居民的收入 x 与消费支出 y 就呈现出某种不确定 性。 我们将上海市城镇居民可支配收入与支出的数据 （1985 年~2002 年）用散点图表示，可以发现居民的 收入 x 与消费支出 y 基本上呈现线性关系，但并不完 全在一条直线上。 附数据与图形。
一元线性回归模型及参数估计
但是，随机误差项的方差的估计量是不同的。
解或然方程
sm2
L*
= n
2sm2
+1
2sm4
S(Yi
bˆ0
bˆ1Xi)2
=0
即可得到sm2的最大或然估计量为：
sˆm2
1 =nS(Yi
bˆ0
bˆ1Xi)2
s P (Y i)=
1 e2s 1m 2(Y ibˆ0bˆ1X i)2 2
i= 1,2,… ,n
因为Yi 是相互独立的，所以 Y 的所有样本观测值的联合概率， 也即或然函数(likelihood function)为：
L(bˆ0,bˆ1,sm2) = P(Y1,Y2,,Yn)
=
1
e 1 2sm2
S(Yi
，当
Q对
b$ 、 0
b$ 的一阶偏导数为 1
0 时， Q 达到最小。即
Q
bˆ 0 Q
bˆ1
=0 =0
(
( bˆ
bˆ
0
0 +
+ bˆ1 X bˆ1 X i
i
Yi ) Yi ) X
= i
0 =
0
SYi SYi X i
= nbˆ0 + bˆ1SX i
=
bˆ0 SX i
+
bˆ1S
X
2 i
解得：
bˆ0 = Y bˆ1X
bˆ1
=
nSYi Xi SYiSXi nSXi2 (SXi )2
由于
bˆ 0
、bˆ 的估计结果是从最小二乘原理得到的，故称为 1
第02章-一元线性回归模型
• 随机误差项主要包括下列因素
– – – – – 非重要解释变量的省略 人的随机行为 数学模型形式欠妥 归并误差 测量误差等
• 注意：回顾模型反映的是单向因果关系， 这种因果关系必须来源于经济理论或实际 经验，而不是来自于数据。
• 一元线性回归模型可以分成两个部分
– 非随机部分：0 + 1xt = E(yt|xt) – 随机部分：ut
• 对随机误差项u的假定（高斯假定条件，古典假定 条件）
(1) 零均值：E(ut|xt)= E(ut)= 0 (2) ut 具有同方差性 Var(ut) = E[ut - E(ut) ]2 = E(ut)2 = 2 (3) ut 非自相关（无序列相关） Cov(ui, uj) = E[(ui - E(ui) ) ( uj - E(uj) )] = E(ui, uj) = 0，(i j ) (4) ut 与xt 相互独立。 Cov(ut, xt) = E[(ut - E(ut) ) (xt - E(xt) )] = 0 (5) ut 服从正态分布 ut N(0,)
2. 2的估计
• 可以证明2的无偏估计量为
ˆ
2
ˆt2 u
T 2
即：残差平方和除以其自由度T-2
3. OLS回归线的性质
(1) 残差和等于零： ut 0 ˆ
ˆ (2) 残差与解释变量xt不相关： xt ut 0
(3) 样本回归线经过样本均值点 ( x , y ) (4) 被解释变量的样本均值等于拟合值的平均值： y y ˆ
ˆ ˆ ˆ yt 0 1xt
• 样本回归函数（SRF）表示在图形中即为样本回归线 • 需要注意：
– 每次抽样都能获得一个样本，就可以拟合一条样本回归线，所以 样本回归线随抽样的变化而变化（SRF不惟一）； – 样本回归函数与总体回归函数形式上一致的； – 样本回归线不等于总体回归线，只是总体回归线的近似。
李子奈《计量经济学》课后习题详解(经典单方程计量经济学模型：一元线性回归模型)【圣才出品】
2．下列计量经济学方程哪些是正确的？哪些是错误的？为什么？
（1）Yi＝α＋βXi，i＝1，2，…，n；
（2）Yi＝α＋βXi＋μi，i＝1，2，…，n；
∧∧
（3）Yi＝α＋βXi＋μi，i＝1，2，…，n；
∧
∧∧
（4）Yi＝α＋βXi＋μi，i＝1，2，…，n；
∧∧
（5）Yi＝α＋βXi，i＝1，2，…，n；
2 / 22
圣才电子书 十万种考研考证电子书、题库视频学习平台
www.10Leabharlann
假定随机扰动项满足条件零均值、条件同方差、条件序列丌相关性以及服从正态分布。 （2）违背基本假设的计量经济学仍然可以估计。虽然 OLS 估计值丌再满足有效性，但 仍然可以通过最大似然法等估计方法或修正 OLS 估计量来得到具有良好性质的估计值。
4．线性回归模型 Yi＝α＋βXi＋μi，i＝1，2，…，n 的零均值假设是否可以表示为
1
n
n i 1
i
0 ？为什么？
n
1 0 答：线性回归模型 Yi＝α＋βXi＋μi 的零均值假设丌可以表示为
i
。
n i1
原因：零均值假设 E（μi）＝0 实际上表示的是 E（μi∣Xi）＝0，即当 X 取特定值 Xi 时，
3．一元线性回归模型的基本假设主要有哪些？违背基本假设的计量经济学模型是否就 丌可以估计？
答：（1）针对普通最小二乘法，一元线性回归模型的基本假设主要有以下三大类： ①关于模型设定的基本假设： 假定回归模型的设定是正确的，即模型的变量和函数形式均为正确的。 ②关于自变量的基本假设： 假定自变量具有样本变异性，且在无限样本中的方差趋于一个非零的有限常数。 ③关于随机干扰项的基本假设：
一元线性回归分析
(n
2)
S2 ˆ0
2 ˆ0
:
2(n 2)
S 2 ˆ1
S2
n
（Xt X )2
t 1
(n
2)
S2 ˆ1
2 ˆ1
:
2(n 2)
所以根据t分布的定义，有
ˆ0 0 ~ t(n 2), ˆ1 1 ~ t(n 2)
Sˆ0
Sˆ1
进而得出了0的置信水平为1-区间估计为
et Yt Yˆt称为残差，与总体的误差项ut对应，n为样 本的容量。
样本回归函数与总体回归函数区别
1、总体回归线是未知的，只有一条。样本回归线是根据样本数 据拟合的，每抽取一组样本，便可以拟合一条样本回归线。
2、总体回归函数中的β0和β1是未知的参数，表现为常数。而样
本回归函数中的 ˆ0和是ˆ1 随机变量，其具体数值随所抽取
S 44.0632
Sef S
1 1 n
( X f X )2
n
45.543
( Xt X )2
t 1
所求置信区间为：(188.6565 97.6806)
回归分析的SPSS实现
“Analyze->Regression->Linear”
0
n
2 t1 Xt (Yt ˆ0 ˆ1 Xt ) 0
nˆ0
n
ˆ1
t 1
Xt
n
Yt
t 1
n
n
n
ˆ0
t 1
Xt
ˆ1
t 1
X
2 t
一元线性回归分析
一元线性回归分析摘要：一元线性回归分析是一种常用的预测和建模技术，广泛应用于各个领域，如经济学、统计学、金融学等。
本文将详细介绍一元线性回归分析的基本概念、模型建立、参数估计和模型检验等方面内容，并通过一个具体的案例来说明如何应用一元线性回归分析进行数据分析和预测。
1. 引言1.1 背景一元线性回归分析是通过建立一个线性模型，来描述自变量和因变量之间的关系。
通过分析模型的拟合程度和参数估计值，我们可以了解自变量对因变量的影响，并进行预测和决策。
1.2 目的本文的目的是介绍一元线性回归分析的基本原理、建模过程和应用方法，帮助读者了解和应用这一常用的数据分析技术。
2. 一元线性回归模型2.1 模型表达式一元线性回归模型的基本形式为：Y = β0 + β1X + ε其中，Y是因变量，X是自变量，β0和β1是回归系数，ε是误差项。
2.2 模型假设一元线性回归模型的基本假设包括：- 线性关系假设：自变量X与因变量Y之间存在线性关系。
- 独立性假设：每个观测值之间相互独立。
- 正态性假设：误差项ε服从正态分布。
- 同方差性假设：每个自变量取值下的误差项具有相同的方差。
3. 一元线性回归分析步骤3.1 数据收集和整理在进行一元线性回归分析之前，需要收集相关的自变量和因变量数据，并对数据进行整理和清洗，以保证数据的准确性和可用性。
3.2 模型建立通过将数据代入一元线性回归模型的表达式，可以得到回归方程的具体形式。
根据实际需求和数据特点，选择适当的变量和函数形式，建立最优的回归模型。
3.3 参数估计利用最小二乘法或最大似然法等统计方法，估计回归模型中的参数。
通过最小化观测值与回归模型预测值之间的差异，找到最优的参数估计值。
3.4 模型检验通过对回归模型的拟合程度进行检验，评估模型的准确性和可靠性。
常用的检验方法包括：残差分析、显著性检验、回归系数的显著性检验等。
4. 一元线性回归分析实例为了更好地理解一元线性回归分析的应用，我们以房价和房屋面积之间的关系为例进行分析。
一元线性回归
一元线性回归
一、回归分析的基本思想 二、一元线性回归的数学模型 三、可化为一元线性回归的问题 四、小结
一、回归分析的基本思想
确定性关系 变量之间的关系 相 关 关 系
S πr 2
身高和体重
确定性关系 相关关系
相关关系的特征是:变量之间的关系很难用一 种精确的方法表示出来.
确定性关系和相关关系的联系
n
xi x
2 ( x x ) j j 1 n
var( y ) i
2
2
2 ( x x ) j j 1 n
1 xi x ˆ 0 y 1 x ( x ) yi n lxx
1 xi x ˆ Var ( 0 ) x lxx n
由于存在测量误差等原因,确定性关系在实际 问题中往往通过相关关系表示出来;另一方面,当对 事物内部规律了解得更加深刻时,相关关系也有可 能转化为确定性关系. 回归分析——处理变量之间的相关关系的一 种数学方法,它是最常用的数理统计方法.
回 归 分 析
线性回归分析
非线性回归分析
一元线性回归分析
多元线性回归分析 β1 = Nhomakorabea(x
i=1 n
n
i
x )( yi y ) ,
2 ( x x ) i i=1
β0 = y β1 x,
1 n 1 n 其中 x xi , y yi . n i 1 n i 1
记
l xx = ( xi x )2 ,
i=1
n
l yy = ( yi y )2 ,
2 x x x 2 2 i ˆ ˆ ˆ cov(y , 1 ) x cov(1 , 1 ) x nlxx l xx l xx