第2讲 简单线性回归

20
条件期望零值假定
我们需要对u和 x之间的关系做一个关键假定。理 想状况是对x的了解并不增加对u的任何信息。换 句话说，我们需要u和x完全不相关：
E(u|x) = E(u)
21
条件期望零值假定
由于我们已经假定了E(u) = 0，因此有E(u|x) = E(u) = 0。该假定是何含义？
E(u|x) = E(u) = 0.
score =b0 + b1attend +u
那么上述模型中假设（2.6）何时能够成立？
24
OLS斜率估计法总结
斜率估计量等于样本中x 和 y 的协方差除以x的方 差。
若x 和 y 正相关则斜率为正，反之为负。
n
xi x yi y
bˆ1 i1 n
xi x 2
i 1
25
关于OLS的更多信息 OLS法是要找到一条直线，使残差平方和最小。 残差是对误差项的估计，因此，它是拟合直线
b0 , b1被称为回归系数。 b0也被称为常数项或截矩项，或 截矩参数。 b1代表了回归元x的边际效果，也被成为斜率 参数。
u 为误差项或扰动项，它代表了除了x之外可以影响y的
因素。
5
线性的含义： y 和x 之间并不一定存在线性关系， 但是，只要通过转换可以使y的转换形式和x的转 换形式存在相对于参数的线性关系，该模型即称 为线性模型。
3
术语注解
在简单二元回归模型y = b0 + b1x + u中， y通常被称 为因变量，左边变量，被解释变量，或回归子。
x通常被称为自变量，右边变量，解释变量，回归元， 协变量，或控制变量。
4
等式y = b0 + b1x + u只有一个非常数回归元。我们称之为 简单回归模型， 两变量回归模型或双变量回归模型.
uˆi 2
yi bˆ0 bˆ1xi 2
i 1
i 1
10
推导方法（一）
如果直接解上述方程我们得到下面两式：
n
yi bˆ0 bˆ1xi 0
i 1
n xi yi bˆ0 bˆ1xi 0
i 1
11
普通最小二乘法的推导
n
xi yi y bˆ1x bˆ1xi 0
根据样本均值的定义以及加总的性质，可将第一个条件 写为
y bˆ0 bˆ1x,
or
bˆ0 y bˆ1x
14
普通最小二乘法的推导（二）：矩方法
回归的基本思想是从样本去估计总体参数。 我们用{(xi,yi): i=1, …,n} 来表示一个随机样本，
并假定每一观测值满足yi = b0 + b1xi + ui。
y3 y2
u2{.
.} u3
y1
.} u1
x1
x2
x3
x4
x
8
样本回归线，样本数据点和相关的误差估计项
y
y4
.
û4{
yˆ bˆ0 bˆ1x
y3 y2
û2{.
.} û3
y1
.} û1
x1
x2
x3
x4
x
9
推导方法（一）：OLS
正式解一个最小化问题，即通过选取参数而使下列值最 小：
n
n
（样本回归函数）和样本点之间的距离。
26
讲义总结 介绍简单线性回归模型 介绍通过随机样本的数据运用普通最小二乘法估
计斜率和截距的参数值
27
(2) 简单二元回归
y = b0 + b1x + u
28
本章大纲
简单回归模型的定义 推导普通最小二乘法的估计量 OLS的操作技巧 测量单位和回归方程形式 OLS估计量的期望值和方差 过原点的回归
如, y=eb0+b1x+u 。
6
简单二元回归模型例子 如：简单的工资方程
wage= b0 + b1(years of education) + u
上述简单工资函数描述了受教育年限和工资之间的关
系, b1 衡量了多接受一年教育工资可以增加多少。
7
总体回归线y|x) = b0 + b1x
计量经济学
(1) 简单二元回归
y = b0 + b1x + u
1
本章大纲
简单回归模型的定义 普通最小二乘法的推导 OLS的操作技巧
测量单位和函数形式
OLS估计量的期望值和方差 过原点回归
2
讲义大纲
一些术语的注解 一个简单假定 条件期望零值假定 何为普通最小二乘法 普通最小二乘法的推导
(2.6)
22
条件期望零值假定 在教育一例中，假定u 代表内在能力，条件期望
零值假定说明不管解释教育的年限如何，该能力 的平均值相同。
E(ability|edu=6)=E(ability|edu=18)=0.
23
条件期望零值假定 假设期末成绩分数取决于出勤次数和影响学生现
场发挥的因素，如学生个人素质。
这样我们可以得到两个矩条件约束：
E(y – b0 – b1x) = 0 E[x(y – b0 – b1x)] = 0
17
普通最小二乘法的推导（二）
目标是通过选择参数值，使得在样本中矩条件也可以成立。 样本中矩条件可以表示为：
n
n 1
yi bˆ0 bˆ1xi 0
i 1
n
n1 xi yi bˆ0 bˆ1xi 0
i 1
18
关于u的假定
假定总体中误差项u的平均值为零
E(u) = 0
(2.5)
该假定是否具有很大的限制性呢?
19
关于u的假定
比如, E(u)=5. 那么
y = (b0 +5)+ b1x + (u-5),
所以, E(u*)=E(u-5)=0.
上述推导说明我们总可以通过调整常数项来实现 误差项的均值为零, 因此该假定的限制性不大。
29
讲义大纲 OLS的代数特性
i 1
n
n
xi yi y bˆ1 xi xi x
i 1
i 1
n
n
xi x yi y bˆ1 xi x 2
i 1
i 1
12
因此OLS估计出的斜率为
n
xi x yi y
bˆ1 i1 n
xi x 2
i 1 n
给定条件： xi x 2 0 i 1
13
普通最小二乘法的推导
15
普通最小二乘法的推导
首先由E(u|x) = E(u) = 0 可知： Cov(x,u) = E(xu) = 0
为什么?
Cov(x,u) = E(xu) – E(x)E(u)
而由E(u|x) = E(u) = 0 可得Cov(x,u) = E(xu) =0。
16
普通最小二乘法的推导
可将u = y – b0 – b1x代入以得上述两个矩条件。