第三章 回归分析基本方法：最小二乘法

OLS估计值是以使残差和为零的参数估计 值来选择的。
32
我们试图找到这样一条直线，它到每一 实际落点的距离的总和为最小。 • 由于实际落点到直线的距离有正也有 负值，即误差有正值和负值，我们用误差 项的平方值来测定其绝对距离。 • 所以我们可以通过全微分来求极值。 •
2011-6-15
中山大学南方学院经济系
26
例2 简单的工资方程
• 表示一个人的工资水平 工资水平与他的受教育程度 受教育程度及 工资水平 受教育程度 其他非观测因素的关系：
wage = α + β ⋅ educ + ε
Wage:工资水平 Educ:受教育的年数 β:(在其他条件不变的情况下)每增加一年教育所获 得的工资增长。 其他非观测因素ε 线性性显示，不管X的初始值为多少，它的任何一 单位变化对Y的影响都是相同的 相同的。 相同的
α /2
α /2
临界值
H0
临界值
样本统计量
（1）H0：μ=68000 H1；μ≠68000 （2）检验统计量服从Z分布
检验统计量: 检验统计量
Z0 =
x−µ
σx
72000 − 68000 = = 4.8 5000 / 36
（3）α=0.02，查正态分布表得：Z=2.04， 接受域为（－2.04，2.04） 结论：拒绝假定。
中山大学南方学院经济系
30
第三节 最小二乘法
普通最小二乘估计量 • (ordinary least squares) OLS估计量
ˆ ˆ α = Y − βX ˆ = Σ( X − X )(Y − Y ) = Σxy β 2 2 Σ( X − X ) Σx
2011-6-15
中山大学南方学院经济系
31
例 题 2
质检员认为在整个工作流 程中平均装盒量符合标准： 368克。随机抽 没有超过368 368 取25盒为样本，均值X = 盒 ，均值 372.5克，标准差 = 1 克。 克 标准差s 15 。 试在α = 0.05的条件下进行 α 检验。 给出你的结论。 368 克.
接受域与拒绝域
H0: µ ≥ 0 H1: µ < 0
2011-6-15 中山大学南方学院经济系 16
• 其次，按照科学的方法收集相应变 量的实际数据。 • 最后，对所研究的问题作出结论。
2011-6-15
中山大学南方学院经济系
17
第一节 理论模型的建立
• 简单回归模型 • 是指两个变量的线性模型，其中一个是 因变量，一个是自变量。也称为“二元线性 方程”。 • 用数学公式表示就是：
33
• 我们得出： 我们得出：
∑ε
n n
2 i
= ∑ (Yi − α − βX i )
n
2
ε i2 = ∑ (Yi 2 + α 2 + β 2 X i2 − 2αYi − 2 βX iYi + 2αβ X i ) ∑
n
• 设一阶导数为零，可得： 设一阶导数为零，可得
2011-6-15
中山大学南方学院经济系
27
计量经济分析中的因果性效应与 其他条件不变
• 其他条件不变：包含在随机误差项中的其他 所有相关因素均保持固定不变。 • 因果性效应：其他条件不变情况下，一个变 量对另一个变量产生的影响。
28
第二节 实际数据的收集
• 当我们建立了经济理论上的关系式后，接 下来就要从实际中收集数据。 • Y和X是两个变量，我们要收集有关Y和X的 数据，就要对N个研究对象进行观察，从而 收集到N组数据，这每一组数据叫做一个 “样本”，每个样本有一个对应的Y与X的 值。
2011-6-15 中山大学南方学院经济系 37
第四节 最小二乘法实用实例
• 计量经济的回归分析主要是根据经济理论 的数学模型和实际的经济数据来计算出符 合实际的、可应用经济分析的参数方程。 • 例如：我们估算某个地区的消费函数。根 据经济理论，人们的消费额取决于他们的 收入，也就是说消费与收入有线性关系， 消费是因变量，收入是自变量。收入越多 消费也越多，收入越少消费也越少。
原假设 The Null Hypothesis 1. 陈述需要检验的假设 例如: H0: µ = 45 2. 原假设用 H0 表示 3. 总是包含等号“=” （比如=, ≥, ≤) 4. 检验以“假定原假设为真”开始
如何设定假设检验？ 如何设定假设检验？
平均每天上网玩游戏时间不是5小时。
H 0: µ = 5
i
α = Y − β X
2011-6-15 中山大学南方学院经济系 35
• 然后我们再求二阶偏导 然后我们再求二阶偏导：
∂ 2ε =2>0 2 ∂α ∂ 2ε = 2∑ xi2 > 0 ∂β 2 n
•
由于二阶偏导大于零，所以我们确信这 种所求的结果是最小值。这就是最小二乘 法。
2011-6-15中山大源自南方学院经济系24Y = α + βX + ε
• 模型表述了Y和X之间的线性 线性关系。 线性 • 简单线性回归模型（Simple linear regression 简单线性回归模型 model） • 又称做两变量 双变量线性回归模型 两变量或双变量 两变量 双变量线性回归模型 (The two variable regression model) • β：y和x关系式中的斜率参数 斜率参数（slope parameter） 斜率参数 • α：截距参数 ：截距参数（intercept parameter）
实际情况 H0为真 不拒绝 正确 H0为假 错误 决策 不拒绝 H0 拒绝 H0 实际情况 H0 为真 H0为假 置信水平 第二类 错误 β 1-α 第一类 检验能 错误 α 力1 - β
拒绝
错误
正确
第三章 回归分析的基本方法： 最小二乘法
本章重点
• 经济学理论模型 • 最小二乘法 • 实例应用
OLS估计量的代数性质
（1）OLS残差的平方和最小。 ˆ • 数学表述为：残差定义: εi = Yi −Yi ˆ 即OLS的一阶条件
n i =1
ˆ ˆ ˆ m ∑(Yi −Yi ) = m ∑(Yi −α − β ⋅ Xi )2 in in
2 i =1
i =1
n
n
ˆ ˆ 即: −2∑(Yi −α − β ⋅ Xi ) = 0
20
• 在自己建立经济模型的过程中，如何取舍 解释变量，一定要问个为什么。计量经济 学家首先就是要摆事实、讲道理，这是作 为计量经济学家必备的素质。 • 1、消费与收入之间的关系； • 2、产品的销量与产品价格的关系； • 3、GDP与投资、经济运行的关系。
2011-6-15
中山大学南方学院经济系
25
例1 大豆产出和施肥量
假使大豆的产出由以下模型所决定：
yield = α + β ⋅ fertilizer + ε
• 农业研究者对（其他因素不变时）化肥用量 化肥用量 如何影响大豆产出量感兴趣。 如何影响大豆产出量 • 随机误差项ε包括了： 土壤质量、 土壤质量、降雨量等因素 • 影响的效果由β给出 • 系数β度量了在其他条件不变的情况下，施肥 量对产出量的影响： Δyield= βΔfertilizer
34
∂ (∑ ε ∂α ∂ (∑ ε ∂β
n n
2 i
) =
∑
n
(2α − 2Yi + 2 β X (2 β X
2 i
i
) = 0 ) = 0
2 i
) =
∑
n
− 2 X iY i + 2 α X
i
β =
∑
n
( X i − X )( Y i − Y )
∑
n
(X i − X )
=
∑ xy ∑ x
i n 2 i n
2011-6-15
中山大学南方学院经济系
14
本章分析思路
• 建立经济学的理论模型 • 运用最小二乘法进行参数估计 • 实例运用
2011-6-15
中山大学南方学院经济系
15
回归分析
• 研究步骤： 研究步骤： • 首先，要确定所研究的问题（因变量）， 并根据经济理论，找出与该问题相关的、 有影响力的经济因素（自变量），并建 立因变量与自变量的关系式（经济模 型）。
36
一元线性回归模型的假设条件
Yi = α + βXi + ε i
1. X与Y之间的关系是线性的。 之间的关系是线性的。 与 之间的关系是线性的 2. X是非随机的变量，它的值是确定的。 是非随机的变量， 是非随机的变量 它的值是确定的。 3. 误差项的期望为 ：E(εi ) = 0。 误差项的期望为0： 。 4. 对于所有观测值，误差项具有相同的方差， 对于所有观测值，误差项具有相同的方差， 即E(ε2) = σ2——同方差假定 5. 随机变量 i 之间统计上是独立的，因此对所 随机变量ε 之间统计上是独立的， 有的i≠j， 有的 ，E(εi εj) = 0—无序列相关假定 无序列相关假定 6. 误差项服从正态分布。 误差项服从正态分布。 假设1—5：古典线性回归模型的定义 假设 ：
21
一元回归的术语
Y X 因变量 (dependent variable) 被解释变量 (explained variable) 响应变量 (response variable) 被预测变量 (predicted variable) 回归子 (regressand) 自变量 (independent variable) 解释变量 (explanatory variable) 控制变量 (control variable) 预测变量 (predictor variable) 回归元 (regressor)