双变量回归分析：一些基本概念
古扎拉蒂《计量经济学基础》第2章
古扎拉蒂 《计量经济学基础》
第二章 双变量回归分析： 一些基本思想
主讲老师：李庆海
2.1 本章要点
●一些基本概念 ●总体回归函数 ●“线性”函数的定义 ●PRF的随机设定 ●随机干扰项的意义
●样本回归函数
2.2 重难点导学
一、一些基本概念
条件概率：给定X的Y的概率，记为P（Y|X）。
条件均值（如图2-1所示）
Y
条件均值
149 101 65
E（Y|Xi）
80
140 220
X
图2-1 总体回归线
总体回归曲线
思考：给定一个X，就对应一个（惟一 的）E（Y|X）。因此，（X，E（Y|X））可以 表示成平面上的一个点。 总体回归曲线（Popular Regression Curve）：Y的条件均值的轨迹。即Y对X的回 归。 总体回归曲线的几何意义：当解释变量给 定值时因变量的条件期望值的轨迹。
已知给定X=1，Y取5个不同的值：1、2、3、4、
5。 问：Y取每个值的概率有多大？
古典概率模型：取每个值的概率相等。因此有：
P（Y=1|X=1）=1/5； P（Y=2|X=1）=1/5；
P（Y=3|X=1）=1/5；
P（Y=4|X=1）=1/5； P（Y=5|X=1）=1/5；
词总是指对参数为线性的一种回归（即参数
只以它的1次方出现）。
Y= 1+2X+u， lnY= 1+2lnX+u 是线性的！
Y= 1ln（2X+u）不是线性的！
模型对参数为线性？
模型对变量为线性？
是
不是
是
LRM
LRM
不是
NLRM
双变量线性回归分析结果的报告以及案例
数据清洗
处理缺失值、异常值和重复数据，确保数据质 量。
数据探索
初步分析数据，了解变量之间的关系和分布情况。
模型建立
确定变量
选择与响应变量相关的预测变量，并考虑变量的 多重共线性。
建立模型
使用最小二乘法或其他优化算法拟合线性回归模 型。
模型诊断
检查模型的残差图、散点图等，确保模型满足线 性回归的前提假设。
卧室数量与房价之间存 在正相关关系，但影响 较小。
地理位置对房价有显著 影响，靠近市中心的房 屋价格更高。
周边设施对房价有积极 影响，特别是学校和公 园等设施。
05 双变量线性回归分析的未 来研究方向
深度学习与线性回归的结合
01
深度学习技术可以用于特征提 取，将原始数据转化为更高级 别的特征表示，然后利用线性 回归模型进行预测。
双变量线性回归分析结果的报告以 及案例
目录
• 双变量线性回归分析概述 • 线性回归分析的步骤 • 双变量线性回归分析的案例 • 线性回归分析的局限性 • 双变量线性回归分析的未来研究方向
01 双变量线性回归分析概述
定义与原理
双变量线性回归分析是一种统计学方法，用于研究两个变量之间的线性关系。通 过最小二乘法等数学手段，找到一条最佳拟合直线，使得因变量能够根据自变量 进行预测。
线性回归分析假设因变量和自变 量之间存在线性关系，但在实际 应用中，非线性关系可能更为常 见。
独立性假设
自变量之间应相互独立，但在实 际数据中，自变量之间可能存在 多重共线性，影响回归结果的准 确性。
无异常值和缺失值
假设
数据集中不应含有异常值和缺失 值，否则会影响回归模型的稳定 性和准确性。
模型泛化能力
第二讲双变量回归模型及其估计问题
第二讲 双变量回归模型及其估计问题双变量回归分析基本概念四、 正态性假定：经典正态线性回归模型 五、 双变量回归的区间估计七、 回归分析的应用：预测问题 八、 双变量线性回归模型的延伸回归分析的基本性质三、 双变量回归分析估计问题六、 双变量回归的假设检验 4、第一节回归分析的性质•、回归释义回归分析是关于研究一个叫应变量的变量对另一个或几个中解释变量的变量的依赖关系，其目的在于通过后者的已知值或设定值去估计和预测前者的数值。
二、统计关系与确定关系统计关系处理的是随机变量，而确定关系处理的是确定性的变量。
三、回归与因果关系回归分析研究的是一个变量对另一个或几个称为解释变量的依赖关系，却不一定是因果关系。
四、回归与相关相关分析的主要目的在于研究变量之间统计线性关联的程度，将变量均视为随机变量。
回归分析的主要目的在于研究变量之间统计关联的形式，目的在于揭示被解释变量如何依赖解释变量的变化而变化的规律，将解释变量视为确定性的，而将被解释变量视为随机变量。
第二节双变量回归分析的基本概念(1)•、一个人为的例子例：假定一个总体由60户家庭组成。
为了研 究每周家庭消费支出Y 与每周税后可支配收入 X 的关系，将他们划分为10组。
第二节二、总体回归函数(PRF)E(Y\X)=f(X)E(Y\X) = + 卩?X三、线性的含义对变量为线性E(Y\X) = fij + fi2X对参数为线性E(Y\X) = /3j + /32lnX1、总体回归函数的随机设定u = y-E(KIX)Y=E(Y\X)+ u系统变化部分非系统变化部分四、随机干扰项的意义干扰项“是从模型中省略下来的而又集体地影响着F的全部变量的替代物。
1.理论的含糊性 5.糟糕的替代变量2.数据的欠缺 6.节省原则3.核心变量与周边变量7.错误的函数形式4.人为行为的内在随机性五、样本回归函数(SRF)E(YIX)二Q + QX/V /v /VY =氏+卩字Y 仝 +£I =B\+B/+狂i i残差第三节双变量回归模型的估计问题•、普通最小二乘法通过样本数据按照残差平方和最小的原则来估计总体回归模型中的参数的方法叫普通最小二乘法，又称最小平方法。
双变量线性回归
描出散点图发现：随着收入的增加，消费“平 均地说”也在增加，且 Y 的条件均值均落在一 条正斜率的直线上。这条直线称为总体回归线。
中央财经大学统计学院 边雅静
12
3500
每 3000
月 2500 消
2000
费
1500
支 出 1000
Y（元） 500
0
但由于调查的完备性，给定收入水平 X 的消费支 出 Y 的分布是确定的，即以 X 的给定值为条件的 Y 的条件分布（Conditional distribution）是已知 的，例如：P(Y=561|X=800）=1/4。
中央财经大学统计学院 边雅静
11
因此，给定收入 X 的值 Xi ，可以得到消费支出 Y的条件均值（conditional mean）或条件期望 （conditional expectation）：E( Y | X = Xi )。
问题：是否能从一次抽样中获得总体的近似的信息？如果 可以，如何从抽样中获得总体的近似信息？ 例：在上例的总体中有如下一个样本，能否从该样本估计 总体回归函数PRF？
表 2.1.3 家庭消费支出与可支配收入的一个随机样本 Y 800 1100 1400 1700 2000 2300 2600 2900 3200 3500 X 594 638 1122 1155 1408 1595 1969 2078 2585 2530
28
一、 对变量和模型的假定
1）重复抽样中，解释变量
X
是一组固定的值或
i
虽然是随机的，但与干扰项 ui独立；
中央财经大学统计学院 边雅静
3
一、变量间的关系及回归分析的基本概念
第三章 双变量线性回归模型
（3）经济行为是随机的，我们能够用 Y=α+βX 解释“典型”的行为，而用u来表示个体偏差。 （4）总会出现测量误差， 使得任何精确的关系不 可能存在。
二. 普通最小二乘法(OLS法, Ordinary Least squares)
（2）E(uiuj) = 0, i≠j 即各期扰动项互不相关。也就是假定它们之间无
自相关或无序列相关。
实际上该假设等同于：
cov( uI, uj) = 0, i≠j 这是因为：cov(uI, uj) = E{[ui - E(ui)][uj - E(uj)]}
= E(uiuj) ——根据假设（1）
（3）E(ut2)= 2, t=1,2,…,n 即各期扰动项的方差是一常数，也就是假定各
（5）ut ~ N( 0, 2 ) , t= 1, 2, ...,n 即扰动项服从正态分布。
满足条件（1）—（4）的线性回归模型称为古典线 性回归模型（CLR模型）。
2.最小二乘原理
我们的任务是， 在给定X和Y的一组观测值 (X1, Y1), (X2, Y2) , ..., (Xn, Yn) 的情况下,
Yt = + Xt + ut
序号 1
2
3
4
5
Yt 14 18 23 25 30
Xt 10 20 30 40 50
解：我们采用列表法计算。计算过程如下：
Yt
1
14
2
18
3
23
4
25
5
30
Σ
110
Xt
yt Yt Y xt Xt X
xt yt
xt 2
10
第二章：双变量线性回归分析
第⼆章：双变量线性回归分析第三部分初计量经济（13周）经典单⽅程计量经济模型：⼀元线形回归模型经典单⽅程计量经济模型：多元线形回归模型经典单⽅程计量经济模型：放宽基本假定模型第⼀章⼀元线性回归（双变量）（1）回归分析的基本概念（2）前提建设（3）参数估计：OLS的参数估计ML的参数估计（4）统计检验（5）预测（6）时间案例与操作（7）思考与作业§1 经典正态线性回归模型（CNLRM）1、⼀个例⼦注 x 表⽰收⼊，y 表⽰⽀出。
5010015020050100150200250300XYY vs. X5010015020050100150200250300XY 1Y1 vs. X条件分布：以X 取定值为条件的Y 的条件分布条件概率：给定X 的Y 的概率，记为P(Y|X)。
例如，P(Y=55|X=80)=1/5；P （Y=150|X=260）=1/7。
条件期望（conditional Expectation ）：给定X 的Y 的期望值，记为E(Y|X)。
例如，E(Y|X=80)=55×1/5＋60×1/5＋65×1/5＋70×1/5＋75×1/5＝65总体回归曲线（Popular Regression Curve ）（总体回归曲线的⼏何意义）：当解释变量给定值时因变量的条件期望值的轨迹。
总结总体：总体函数：总体⽅程：样本：样本函数：样本⽅程：2、总体回归函数（PRF）E(Y|X i)=f(X i)当PRF的函数形式为线性函数，则有，E(Y|X i)=β1+β2X i其中β1和β2为未知⽽固定的参数，称为回归系数。
β1和β2也分别称为截距和斜率系数。
上述⽅程也称为线性总体回归函数。
3、PRF的随机设定将个别的Y I围绕其期望值的离差(Deviation)表述如下：u i=Y i-E(Y|X i)或Y i=E(Y|X i)+u i其中u i是⼀个不可观测的可正可负的随机变量，称为随机扰动项或随机误差项。
回归分析的性质和基本概念
例如: 居民消费C与可支配收入Y之间的关系，可支配收入的取值确定后， 消费的取值虽不能唯一确定，但有一定的取值范围，0 < C < Y ，遵 循边际消费倾向递减的规律。居民消费C与可支配收入Y之间的关系 可表示为C = + Y， 、为待估参数。
第一节 回归分析释义
一、概述
“回归”的历史溯源：
“回归”一词最先由弗朗西斯•高尔顿（Francis Galton）提 出。 高尔顿发现一个趋势： 父母高，儿女也高；父母矮，儿女也矮。但给定父母的身高， 儿女辈的平均身高却趋向于或者“回归”到全体人口的平均身 高。换言之，尽管父母都异常高或异常矮，但儿女的身高却有 走向人口平均身高的趋势。换句话说，尽管父母都异常矮或异 常高，但儿女的身高却有走向人口总体平均身高的趋势。
精选课件
第三节 符号术语数据
因变量（Dependent variable） 被解释变量(Explained variable) 预测子(Predicted) 回归子(Regressand) 响应（Response） 内生(Endogenous) 结果(outcome) 被控变量(Controlled variable)
特点：可以在有规则的时间间隔收集 Example：每日（股票价格）、每周（联邦储备委员会提供的货币供 给数字）、每月（失业率、消费者价格指数CPI）、每季（如GNP）、 每年（政府预算）、每5年（制造业普查资料）、每10年（人口普查 资料），有些数据每季和每年都有公布，如GDP和消费者支出数据。 极短时间的数据也可以搜集，如股票价格数据，可以得到连续数据 （实时牌价）。
着年龄增加而增加，通过给定年龄平均身高画一条线。
线性回归分析——双变量模型
线性回归分析双变量模型回归分析的含义回归分析是研究一个叫做因变量的变量对另一个或多个叫做解释变量的变量的统计依赖关系。
其用意在于，通过解释变量的已知值或给定值去估计或预测因变量的总体均值。
双变量回归分析：只考虑一个解释变量。
（一元回归分析，简单回归分析）复回归分析：考虑两个以上解释变量。
（多元回归分析）统计关系与确定性关系统计（依赖）关系：非确定性的关系。
在统计依赖关系中，主要处理的是随机变量，也就是有着概率分布的变量。
特别地，因变量的内在随机性是注定存在的。
例如：农作物收成对气温、降雨、阳光以及施肥的依赖关系便是统计性质的。
这些解释变量固然重要，但是并不能使我们准确地预测农作物的收成。
确定性关系：函数关系。
例如物理学中的各种定律。
)/(221r m m k F回归与因果关系❑回归分析研究因变量对于解释变量的统计依赖关系，但并不一定意味着因果关系。
一个统计关系式，不管多强和多么具有启发性，都永远不能确立因果联系。
❑因果关系的确立必须来自于统计关系以外，最终来自于这种或那种理论（先验的或是理论上的）。
回归分析与相关分析（一）❑相关分析：用相关系数测度变量之间的线性关联程度。
例如：测度统计学成绩和高等数学成绩的的相关系数。
假设测得0.90，说明两者存在较强的线性相关。
❑回归分析：感兴趣的是，如何从给定的解释变量去预测因变量的平均取值。
例如：给定一个学生的高数成绩为80分，他的统计学成绩平均来说应该是多少分。
回归分析与相关分析（二）❑在相关分析中，对称地对待任何两个变量，没有因变量和解释变量的区分。
而且，两个变量都被当作随机变量来处理。
❑在回归分析中，因变量和解释变量的处理方法是不对称的。
因变量被当作是统计的，随机的。
而解释变量被当作是（在重复抽样中）取固定的数值，是非随机的。
（把解释变量假定为非随机，主要是为了研究的便利，在高级计量经济学中，一般不需要这个假定。
）双变量回归模型（一元线性回归模型）双变量回归模型（最简单的回归模型）模型特点因变量（Y）仅依赖于唯一的一个解释变量(X)。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
❖一个例子
表2.1
x
y
80
55
每 60
周
家 65
庭
消 70
费
支
75
出—
X：每周家庭收入（$）
100 120 140 160 180 200 220 240 260
65
79
80
102 110 120 135 137 150
70
84
93
107 115 136 137 145 152
74
90
95
110 120 140 140 155 175
它表示消费支出Y线性地依赖于相应的收入X i 和随 机扰动项
由（2.4.1）式： Yi 1 2 X i ui 期望值得：E(Yi | X i ) E[E(Y | X i )] E(ui | X i )
常数的期望是它本身
E(Y | X i ) E(ui | X i )
两边取
而 E(Yi | X i )
入为 X给i的定所收有入家水庭平X的i 平的均个消别家费庭支的出消的周费支围出，，也聚就是集围在绕收 着它的条件均值
个别的Yi围绕它的期望值的离差（deviation）可以
表示如下：
ui Yi E(Y | X i ) （2.4.1）
Yi或 E(Y | X i ) ui
离差ui是一个不可观测的随机变量，称之为随机干扰
值的条件分布（conditional distribution） 因为表2.1代表一个总体，我们可以从表中计算出
给定X的Y的概率，这在统计上叫做什么？
比如：
P(Y 55 | X 80) 1 5
P(Y 150 | X 260) 1 7
对Y的每一个条件概率分布，我们所计算出它的均
值（mean或average value），称为条件均值（condi
第2章 双变量回归分析： 一些基本概念
回归分析是要根据解释变量的已知或给定值， 去估计或预测因变量的总体均值
假如我们要研究每周家庭消费支出Y与每周 可支配的家庭收入X之间的关系
假设这个国家的家体的总体由60户家庭组成。 可以按收入的高低把这60户家庭分组，每一组的 组内收入相差不大。假定我们得到的观察值如表 2.1所示
tional mean）或条件期望（conditional expectatio
n），记做：
E(Y | X Xi )
比如，给定X＝80
E(Y | X 80) 55 1 60 1 65 1 70 1 75 1 65
5
5
5
5
5
可以由表2. 1绘制如右 图的散点图
返回
散点图表明对应于各个X值的Y的条件分布，它表
（stochastic disturbance）或随机误差项（stochasti c error）
从计量经济学上看，对于给定的X水平，个别家庭的支出
可以分解为两个部分：
①表示收入相同的所有家庭的平均消费支出，称为 系统性（systematic）或确定性（deterministic）成分 （component）。
诸如： E(Y | Xi ) 1 2 Xi2 这样的回归函数，就不是线性的。
（2）对参数为线性
即Y的条件期望 E(Y | X i ) 是参数i 的一个线性函 数；它既可以是也可以不是变量X的线性函数
这样以来， E(Y | Xi ) 1 2 Xi2 就是一个线性回归模型，
而
E(Y | Xi ) 1 2 Xi
图2.1可以画成图2.2的形式 可见，对应于每一个Xi都有一个Y值的总体和
一个相应的条件均值。而回归直线（曲线）正好 穿过这些条件均值
❖总体回归函数（PRF，population regression functio
n）
Xi
由图2.1和图2.2可见，每一个条件均值都是 的一个
函数，即： E(Y | X i ) f ( X i )
则不是线性的。
ቤተ መጻሕፍቲ ባይዱ
在今后的课程中，我们讲的“线性”指的是对参数为
线性的情况，对解释变X量i 则可以是也可以不是线性的。
如：
E(Y | Xi ) 1 2 Xi2
是一个LRM（linear regression model）
❖ PRF的随机设定
我们现在再回到表2.1和图2.1，可见，随着家庭 收入↑，家庭消费支出平均地看也会↑；但是对具体的 某一个家庭的消费支出却不一定随收水平↑而↑
80
94
103 116 130 144 152 165 178
85
98
108 118 135 145 157 175 180
88
—
113 125 140
—
160 189 185
—
—
—
115
—
—
—
162
—
191
共计 325
46
445
707
678
750
685
104 3
966
121 1
表2.1的含义：它给出了以X的给定值为条件的Y
（2.2.1）
这个方程就叫做（双变量的）总体回归函数（PRF）
或简称总体回归（population regression, PR），它表
明Y的均值或平均响应（average response）是如何随X
而不f (X同i )
E(Y | X i ) X i
的具体函数形式如何确定是一个经验问题，已
知的经济理论可以给我们一些指导。假如，
是
E(Y | X i ) 1 2 X i
的线性 1 函数： 2
（2.2.2）
在我们的课程中，回归，回归方程和回归模型将 不加以区分，作为同义词使用
❖ “线性”一词的含义
（2.2.2）式被称为“线性”总体回归，其中的“线 性”的含义是什么？
它可以作两种解释：
（1）对变量为线性
义上看即，：这Y样的的条回件归期曲望线值是是一X条i 直的线线。性函数，从几何意
②ui为随机的或非系统性成分（nonsystematic com ponent）。它是代表所有可能影响Y的，但又没有包括
到回归模型中的替代（surrogate）或代理（proxy）变
量
假定E(Y | X i ) X对i 是线性的，（2.4.1）式便可 以写为：
Yi 1 2 X i ui
（2.4.2）
明随着收入的增加，消费支出平均地说也在增加。
Y的条件均值随X增加而增加。图中的粗圆点（大 的黑点）表示Y的各个条件均值
Y的条件均值落在一条正斜率的直线上，这条线叫
总体回归线（population regression line or curv
e），它代表Y对X的回归
从几何意义上讲，总体回归曲线就是，当解释变 量取给定值时，因变量的条件均值或条件期望的轨迹