一元线性回归模型讲解
第三章 一元线性回归模型
第三章 一元线性回归模型一、预备知识（一）相关概念对于一个双变量总体,若由基础理论，变量和变量之间存在因果),(i i x y x y 关系，或的变异可用来解释的变异。
为检验两变量间因果关系是否存在、x y 度量自变量对因变量影响的强弱与显著性以及利用解释变量去预测因变量x y x ，引入一元回归分析这一工具。
y 将给定条件下的均值i x i yi i i x x y E 10)|(ββ+=（3.1）定义为总体回归函数（PopulationRegressionFunction,PRF ）。
定义为误差项（errorterm ）,记为，即，这样)|(i i i x y E y -i μ)|(i i i i x y E y -=μ，或i i i i x y E y μ+=)|(i i i x y μββ++=10（3.2）（3.2）式称为总体回归模型或者随机总体回归函数。
其中，称为解释变量x （explanatory variable ）或自变量（independent variable ）；称为被解释y 变量（explained variable ）或因变量（dependent variable ）；误差项解释μ了因变量的变动中不能完全被自变量所解释的部分。
误差项的构成包括以下四个部分：（1）未纳入模型变量的影响（2）数据的测量误差（3）基础理论方程具有与回归方程不同的函数形式，比如自变量与因变量之间可能是非线性关系（4）纯随机和不可预料的事件。
在总体回归模型（3.2）中参数是未知的，是不可观察的，统计计10,ββi μ量分析的目标之一就是估计模型的未知参数。
给定一组随机样本，对（3.1）式进行估计，若的估计量分别记n i y x i i ,,2,1),,( =10,),|(ββi i x y E 为，则定义3.3式为样本回归函数^1^0^,,ββi y （）i i x y ^1^0^ββ+=n i ,,2,1 =（3.3）注意，样本回归函数随着样本的不同而不同，也就是说是随机变量，^1^0,ββ它们的随机性是由于的随机性（同一个可能对应不同的）与的变异共i y i x i y x 同引起的。
一元线性回归模型
1 n ˆ xi )2 = 1 ( Lyy − bLxy ). ˆ ˆ 即 σ = ∑ ( yi − a − b ˆ n i =1 n
2
n σ 2. 而σ 的无偏估计是 ˆ n−2
2
∴σ ˆ
*2
n 1 2 ˆ σ = ( Lyy − bLxy ). = ˆ n−2 n−2
ex1. 设有一组观察值如下，求回归方程 设有一组观察值如下，求回归方程.
ˆ ˆ ˆ 对于x0可得 y0 = a + bx0 , 称其为 Y0的点预测.
( 2) Y0的区间估计 : 选取 T =
σ* ˆ
ˆ Y0 − y0 ~ t ( n − 2) 2 1 ( x0 − x ) 1+ + n Lxx
对于任意给定的 0 < α < 1, 有 P { T < tα ( n − 2)} = 1 − α .
研究变量间的相关关系，确定回归函数， 研究变量间的相关关系，确定回归函数，由此预测和控 制变量的变化范围等就是回归分析。 制变量的变化范围等就是回归分析。 研究两个变量间的相关关系，称为一元回归分析； 研究两个变量间的相关关系，称为一元回归分析； 研究多个变量间的相关关系，称为多元回归分析； 研究多个变量间的相关关系，称为多元回归分析； 若回归函数为线性函数，则称为线性回归分析。 若回归函数为线性函数，则称为线性回归分析。
所以y与 之间显著地存在线性关系 之间显著地存在线性关系. 所以 与x之间显著地存在线性关系
四、一元线性回归模型的应用—预测与控制 一元线性回归模型的应用 预测与控制 1. 预测问题
(根据 = a + bx + ε , 研究 = x0时如何估计 0 ) Y x Y
(1) Y0的点估计 :
一元线性回归模型课件
设满足一元线性回归模型的两个变量的n对样本数据为x1, y1，，xn , yn
由 yi bxi a ei (i 1,2,..., n), y得i (bxi a) ei ， ei显然
越小，
表示样本数据点离直线y=bx+a的竖直距离越小。
n
yi bxi a2
通常用各散点到直线的竖直距离的平方和Q= i1 画各样本数据与直线y=bx+a的“整体接近程度”。
x
0
1
3
4
y
2
4
6
8
从散点图分析，y与x线性相关，且y 2x a ，则a=
例题2
• 某机构对高二学生的记忆力x和判断力y进行统计分析，得到如
下数据：（已知
4
4
xi yi 158, xi2 344
）
i1
i1
x
6
8
10
12
y
2
3
5
6
（1）求出y关于x的经验回归方程
y bxa
（2）一名学生记忆力为5，试估计他的判断力
残差平方和、决定系数R²
n
• 残差平方和： ( yi yi )2 ，残差平方和越小，模型拟合效果越
Hale Waihona Puke i 1好，残差平方和越大，模型拟合效果越差。
•
决定系数：R2
1
i
n 1
yi
n
yi
2
2
yi yi
i 1
，R²越大，模型拟合效果越好；
R²越小，模型拟合效果越差
归方程的方法叫做最小二乘法，求得的
b，a
叫做b，a的最小二
乘估计。
经验回归方程的性质
一元线性回归分析
一元线性回归分析摘要：一元线性回归分析是一种常用的预测和建模技术，广泛应用于各个领域，如经济学、统计学、金融学等。
本文将详细介绍一元线性回归分析的基本概念、模型建立、参数估计和模型检验等方面内容，并通过一个具体的案例来说明如何应用一元线性回归分析进行数据分析和预测。
1. 引言1.1 背景一元线性回归分析是通过建立一个线性模型，来描述自变量和因变量之间的关系。
通过分析模型的拟合程度和参数估计值，我们可以了解自变量对因变量的影响，并进行预测和决策。
1.2 目的本文的目的是介绍一元线性回归分析的基本原理、建模过程和应用方法，帮助读者了解和应用这一常用的数据分析技术。
2. 一元线性回归模型2.1 模型表达式一元线性回归模型的基本形式为：Y = β0 + β1X + ε其中，Y是因变量，X是自变量，β0和β1是回归系数，ε是误差项。
2.2 模型假设一元线性回归模型的基本假设包括：- 线性关系假设：自变量X与因变量Y之间存在线性关系。
- 独立性假设：每个观测值之间相互独立。
- 正态性假设：误差项ε服从正态分布。
- 同方差性假设：每个自变量取值下的误差项具有相同的方差。
3. 一元线性回归分析步骤3.1 数据收集和整理在进行一元线性回归分析之前，需要收集相关的自变量和因变量数据，并对数据进行整理和清洗，以保证数据的准确性和可用性。
3.2 模型建立通过将数据代入一元线性回归模型的表达式，可以得到回归方程的具体形式。
根据实际需求和数据特点，选择适当的变量和函数形式，建立最优的回归模型。
3.3 参数估计利用最小二乘法或最大似然法等统计方法，估计回归模型中的参数。
通过最小化观测值与回归模型预测值之间的差异，找到最优的参数估计值。
3.4 模型检验通过对回归模型的拟合程度进行检验，评估模型的准确性和可靠性。
常用的检验方法包括：残差分析、显著性检验、回归系数的显著性检验等。
4. 一元线性回归分析实例为了更好地理解一元线性回归分析的应用，我们以房价和房屋面积之间的关系为例进行分析。
一元回归线性模型
一元回归线性模型
一元线性回归模型，又称为简单线性回归模型，是机器学习中常
用的回归模型，它是利用一个自变量X来预测因变量Y的结果。
一元
线性回归模型将样本数据映射为一条直线，如y=ax+b，其中a是斜率，b是截距，也就是说，一元线性回归模型中的参数是斜率和截距，而拟
合的直线就是根据样本数据估计出来的最佳拟合直线。
目标函数是求解参数 a 和 b，使得误差平方和最小，具体来说，
目标函数的表达式为：J（a,b）=Σi(yi-f(xi))^2,其中f（x）=ax+b，yi为观测值，xi为观测值对应的自变量。
对于一元线性回归模型，求解参数 a 和 b 的最优方法要么是直
接用梯度下降法求解，要么是用最小二乘法求解。
梯度下降法求解时，需构造损失函数，使用梯度下降法迭代更新参数，直到获得最优结果；而最小二乘法求解时，通过求解参数关于损失函数的导数，便可解出
模型参数，从而得到最优结果。
一元线性回归模型在实际应用中有很多优点，其中最重要的就是
它易于拟合和解释，它求解简单，可以很大程度上减少了计算复杂度，而且可以很好地预测因变量的值，也可以用来检验变量之间的关系。
第三章 一元线性回归
LOGO
三、一元线性回归模型中随机项的假定
( xi , yi )，i,j=1,2,3,…,n后，为了估计（3.1.5） 在给定样本观测值（样本值） 式的参数 0和 1 ，必须对随机项做出某些合理的假定。这些假定通常称 为古典假设。
假设1、解释变量X是确定性变量，不是随机变量； 假设2、随机误差项具有零均值、同方差和不序列相关性： E(i)=0 Var (i)=2 i=1,2, …,n i=1,2, …,n
ˆ i ) ( y i 0 1 xi ) 2 Q（ 0，1） ( yi y
2 i 1 i 1 n n
（3.2.3）
ˆ ， ˆ ，使式 所谓最小二乘法，就是寻找参数 0,，1 的估计值 0 1 ˆ ， ˆ 满足： （3.2.3）定义的离差平方和最小，即寻找 0 1
y 1 x
2 y 0 2 x
LOGO
二是被解释变量x与参数 之间为线性关系，即参数 仅以一次方的 形式出现在模型之中。用数学语言表示为：
y 1 0
y 0 2 0
2
y x 1
2 y 0 2 1
在经济计量学中，我们更关心被解释变量y与参数
之间的线性关系。因
第三章 一元线性回归
3.1 一元线性回归模型 3.2 回归参数 0，1 的估计 3.3 最小二乘估计的性质 3.4 回归方程的显著性检验
3.5 预测和控制
LOGO
3.1 一元线性回归模型
一、回归模型的一般形式
1、变量间的关系 经济变量之间的关系，大体可分为两类：
（1）确定性关系或函数关系：变量之间有唯一确定性的函数关 系。其一般表现形式为：
对于总体回归模型，
y f ( x1, x2 ,, xk ) u
一元线性回归
2020/2/1
中山学院经济与管理系
4
2.1 模型的建立及其假定条件
2 回归分析的概念 回归分析研究一个变量关于另一个（些）变量的
具体依赖关系的计算方法和理论。
其用意：在于通过后者的已知或设定值，去估计 （或）预测前者的（总体）均值。
2020/2/1
中山学院经济与管理系
5
2.1 模型的建立及其假定条件
一般来说，回归模型的随机误差项中可能包 括如下几项内容。
（1）未在模型中列出的影响y变化的非重要
解释变量。如消费模型中家庭人口数、消 费习惯、物价水平差异等因素的影响都包 括在随机误差项中。
（2）人的随机行为。经济活动都是人参与 的。人的经济行为的变化也会对随机误差 项产生影响。
2020/2/1
中山学院经济与管理系
squares estimators）。
2020/2/1
中山学院经济与管理系
24
2.2 一元线性回归模型的参数估计
3 最小二乘直线的性质
（1）残n 差ei的均值等于0
因为 ei 0 ，所以 e
n
ei
i1
0
i 1
n
（2）残差ei与解释变量xi不相关
n
即
ei xi 0
（3）i1样本回归直线经过点（ x, y ）
y＝33.73＋0.516 x 这一方程表明：父母平均身高每增减一个单位时，其年 子女的身高仅平增减0.516个单位
2020/2/1
中山学院经济与管理系
6
这项研究结果表明，虽然高个子父辈有生高个子儿子
的趋势，矮个子的父辈有生矮个子儿子的趋势，但父辈
身高增减一个单位，儿子身高仅增减半个单位左右。通
第二章一元线性回归模型
；
（c）比较绝对值 t1 与 tα 2 的大小。若 t1 > tα ，则拒绝原假设，判 定 β1 ≠ 0 ，解释变量 x 解释功效显著；若 t1 < tα ，则接受原假设，
2
判定
， x β1 = 0 不是有效的解释变量。
§2.3 显著性检验
（三）一元线性回归模型示例 例2.1 y=JYL，x=DSCYCZZZL，
ˆ β1 = β1 + ∑
xi − x u 2 i ∑(xi − x)
ˆ Eβ0 = β0
ˆ Eβ1 = β1
OLS估计的统计性质 §2.2 OLS估计的统计性质
在一切线性无偏估计中， ˆ ˆ 3. 在一切线性无偏估计中， β0 , β1独具最小方差
1 x2 ˆ var(β0 ) =σ 2 ( + ) 2 n ∑(xi − x)
0 ≤ R2 ≤ 1
2 R2 = rxy
计算公式
ˆ β12 ∑(xi − x)2 2 R = ∑( yi − y)2
OLS估计的统计性质 §2.2 OLS估计的统计性质
（一）线性回归模型的基本假定：
假定1. 解释变量是确定性变量，不具有随机性 假定2. (零均值假定) 假定3. (同方差假定)
Eui = 0 , i = 1 ,2 ,L, n
y = β0 + β1x + u
yi = β0 + β1xi + ui
{yi , xi }
i =1 ,2 ,L, n
i =1 ,2 ,L, n
§2.1 普通最小平方估计
（一）普通最小平方估计(OLS) 普通最小平方估计 待定回归函数 残差 残差平方和 驻点条件
ˆ ˆ ˆ y = β0 + β1x
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
这个函数称为总体回归函数（PRF）
16
2.总体回归函数的表现形式
（1）条件均值表现形式 假如 Y的条件均值 E(Y是X解i ) 释变量 的X线性函数，可表示为：
E(Yi Xi ) f (Xi ) 1 2 Xi
E (Y X i ) f ( X i )
这个函数称为回归函数。 回归函数分为：总体回归函数和样本回归函数
15
二、总体回归函数（PRF）
1. 总体回归函数的概念
前提：假如已知所研究的经济现象的总体应变
量 Y 和解释变量 X 的每个观测值, 可以计算出总体 应变量 Y 的条件均值 E(Y Xi ) ，并将其表现为解释 变量 X 的某种函数
1874 1906 1068 2066 2185 2210 2289 2313 2398 2423 2453 2487 2586
2110 2225 2319 2321 2365 2398 2487 2513 2538 2567 2610 2710
2388 2426 2488 2587 2650 2789 2853 2934 3110
1650 1900 2150 2400 2650
5000 2464 2589 2790 2856 2900 3021 3064 3142 3274
5500 2824 3038 3150 3201 3288 3399
2900 3150 13
回归线与回归函数
举例：假如已知100个家庭构成的总体。
●回归线:
1000 820 888 932
每 960 月 家 庭 消 费 支 出 2 1024 1121 1210 1259 1324
1150
2000 1108 1201 1264 1310 1340 1400 1448 1489 1538 1600 1702
1400
件分布。
Y
● Y 的条件期望
对于X 的每一个取值， 对Y 所形成的分布确
定其期望或均值，称
为Y 的条件期望或条
件均值 E(Y Xi )
Xi
X
11
相关分析与回归分析的关系
二者之间的联系 相关分析 回归分析
二者之间的区别 从研究目的看，从对变量的处理看
“伪相关” “伪回归”
12
例:100个家庭构成的总体 (单位:元)
线性相关——散布图接近一条直线 非线性相关——散布图接近一条曲线
● 从变量相关关系变化的方向看
正相关——变量同方向变化，同增同减 负相关——变量反方向变化，一增一减 不相关
7
3.相关程度的度量—相关系数
总体线性相关系数：
Cov( X ,Y )
Var( X )Var(Y )
其中：Var(X ) ——X 的方差；Var(Y ) ——Y的方差
每月家庭可支配收入X
2500 3000 1329 1632
3500 1842
4000 2037
4500 2275
1365 1410 1432 1520 1615 1650 1712 1778 1841 1886 1900 2012
1726 1786 1835 1885 1943 2037 2078 2179 2298 2316 2387 2498 2589
◆确定性的函数关系 Y f (X )
◆不确定性的统计关系—相关关系
Y f (X ) (ε为随机变量)
◆没有关系
5
2.相关关系
◆ 相关关系的描述 相关关系最直观的描述方式——坐标图（散布图）
Y
•
••
•
• •
•
• •
•
X
6
◆相关关系的类型 ● 从涉及的变量数量看
简单相关 多重相关（复相关）
● 从变量相关关系的表现形式看
对于每一个 X 的取值， Y
都有 Y 的条件期望 消
E(Y Xi ) 与之对应，
费 支
代表这些 Y 的条件期 出
望的点的轨迹所形成
的直线或曲线，称为 家庭可支配收入Xi
X
回归线。
14
回归线与回归函数
回归函数：应变量 Y 的条件期望 E(Y Xi ) 随解 释变量 X 的的变化而有规律的变化，如果把 Y 的条件期望 E(Y Xi ) 表现为 X 的某种函数
9
4. 回归分析
回归的古典意义： 高尔顿遗传学的回归概念 ( 父母身高与子女身高的关系)
回归的现代意义： 一个应变量对若干解释
变量依存关系 的研究 回归的目的（实质）：
由固定的解释变量去 估计应变量的平均值
10
注意几个概念
● Y 的条件分布
当解释变量 X 取某固定值时（条件），Y 的值不 确定，Y 的不同取值形成一定的分布，即Y 的条
计量经济学
简单线性回归模型
引子: 中国旅游业总收入将超过3000 亿美元吗？
从2004中国国际旅游交易会上获悉，到2020年，中国旅 游业总收入将超过3000亿美元，相当于国内生产总值的 8%至11%。（资料来源：国际金融报2004年11月25日 第二版） ◆是什么决定性的因素能使中国旅游业总收入到2020年达到 3000亿美元？ ◆旅游业的发展与这种决定性因素的数量关系究竟是什么？ ◆怎样具体测定旅游业发展与这种决定性因素的数量关系?
2
简单线性回归模型
主要讨论:
●回归分析与回归函数 ●简单线性回归模型参数的估计 ●拟合优度的度量和假设检验 ●回归模型应用预测
3
第一节 回归分析与回归函数
基本内容:
●回归与相关 ●总体回归函数 ●随机扰动项 ●样本回归函数
●简单线性回归的基本假定
4
一、回归与相关
（对统计学的回顾） 1. 经济变量间的相互关系
Cov( X ,Y ) ——X和Y的协方差
样本线性相关系数：
XY
__
__
( X i X )(Yi Y )
__
__
( X i X )2 (Yi Y )2
其中：Xi和 Y__i分别是变量 X 和 Y 的样本观测值
X 和 Y分别是变量 X 和 Y 样本值的平均值
8
使用相关系数时应注意
● X 和 Y都是相互对称的随机变量
● 线性相关系数只反映变量间的线性相关程度，不 能说明非 线性相关关系
● 样本相关系数是总体相关系数的样本估计值，由 于抽样波动，样本相关系数是个随机变量，其统 计显著性有待检验
● 相关系数只能反映线性相关程度，不能确定因果 关系，不能说明相关关系具体接近哪条直线
计量经济学关心：变量间的因果关系及隐藏在随 机性后面的统计规律性，这有赖于回归分析方法