第4章 双变量回归模型估计问题精品PPT课件

n5
n5
ˆ x y 3 9 0 .3 0 ,ˆ9 Y ˆ* X 2 0 2 .3* 3 9 1 0 .3 0
x 2 1000
二、最小二乘法的基本假定
如果我们的目的仅仅是估计 和 ，则OLS法足够用。但回归分析的
目的不仅仅是获得 和 ，还要对真实的 和 做出推断，即判
断它们离总体值有多接近，或者说 与其期Baidu Nhomakorabea值
最小二乘法以
m i n
uˆ
2 i
表示被解释变量的估计值与实际观察值的偏差总体上最小。
双变量情形下即是求得
min (Yi ˆ1 ˆ2Xi)2
（4-1）
根据微积分中求极限的原理，要使式（4-1）达到最小，式（4-1）对
ˆ 1 、 ˆ 2 的一阶偏导数应等于0，即
2[Yi (ˆ1 ˆ2 Xi )] 0
ˆ
2
n
X iYi
X i Yi
n
X
2 i
(
X i)2
方程组（4-3）称为正规方程组（normal equations）。
（4-4）
记 xi Xi X yi Yi Y（之后都遵循一个惯例，小写字母表示对均值的离差）
xi2 (X iX)2 X i21 n( X i)2
n
2Xi[Yi (ˆ1 ˆ2 Xi )] 0
整理得
（4-2）
nˆ1 ˆ2 Xi Yi 0
ˆ1 Xi ˆ2 Xi2 XiYi 0
（4-3）
解得
X
2 i
Yi
Xi
X iYi
ˆ
1
n
X
2 i
(
X i)2
这就是参数 1 、 2 的普通最小二乘估
计量（ordinary least squares estimators）
普通最小二乘法归功于德国数学家高斯，在回归分析 中得到了广泛运用。它比最大似然法简单的多。
回顾双变量总体回归函数PRF： 该PRF不可直接观测，同过SRF去估计它：
为了考察SRF，把上式化为如下：
（ 是 的估 计量，条件均值）
对于给定的Y和X的n对观测值，我们希望SRF尽可能靠近实际的Y。
规则之一：选择这样的SRF，使得残差和
第四章 经典线性回归模型
华中科技大学武昌分校 王怡
◆ 普通最小二乘法 ◆ 最小二乘法的基本假定
◆ 最小二乘参数估计的精度或标准误差 ◆ 最小二乘估计量的性质：高斯-马尔可夫 定理 ◆ 判定系数r2 ：拟合优度的一个度量
◆ 关于蒙特卡罗实验的一个注记
一、普通最小二乘法
前一章我们提到根据样本回归函数尽可能准确地估计 总体回归函数，通常有两种估计方法：普通最小二乘法 (Ordinary Least Squares, OLS)和最大似然法 (Maximum Likelihood, ML)。
表 1 14
4 －
2
18
1
3 23
4 25
5 30
n=5 110
Xt yt= Yt -Y xt=Xt-X
10
-8
-20
20
-4
-10
30
1
0
40
3
10
50
8
20
150
0
0
xt yt
xt2
160 400
40 100
0
0
30 100
160 400
390 1000
Y X y x xy x2
X X t 15 30 ,Y 0 Y t 11 202
如第3章中的例子，考虑表2.1中各收入水平对应的各个Y总体， 把收入值X固定在80美元的水平上，随机抽取一个家庭，并观测到 它的周家庭消费支出Y为60美元。仍然把X固定在80美元，而随机 的另抽取一个家庭并观测到它的Y值为75美元。在每次抽取即重复 抽样的过程中，X值都固定在80美元。可以对表中的全部X值重复 这一过程。
n
x iy i(X i X )(Y i Y )
i 1
i 1
X iY i 1 n
X i Y i
式（4-4）可改写为
ˆ 1
Y
ˆ 2 X
ˆ 2
xiyi
x
2 i
称为参数 1 、 2 的普通最小二乘估
（4-5） 计量的离差形式（deviation form）
样本回归线通过Y和X的样本均值
一旦从样本数据得到OLS估计值，便容易画出样本回归线，这样得到的
回归线有如下性质：
1. 它通过Y和X的样本均值。这是从（4-5）显见的事实，该式可写成
2. 估计的
均值等于实测的Y均值。因为：
将最后一个等式两边对样本值求和并除以样本大小n，即得：
这里利用了等式
。（Why?）
3. 残差 的均值等于0。由（4-2），第一个方程是：
因为
故上述方程化为 4．残差 和解释变量
。
所以说第1个实验的 更优。
如何知道最优？
E.g. 做许多次实验，每次选择不同的 值，然后比较所得的
，
并从中选择给出最可能小的
值的那组 值。花费大量时间。
最小二乘法给出了简便的运算。
普通最小二乘法（ordinary least squares，OLS）的基本思想 ——使样本回归函数尽可能好地拟合样本数据
尽
可能小。（good or bad?）
图 最小二乘准则
最小二乘准则是要确定SRF使得下式尽可能的小：
可以看出，
给出不同的 和 将会得到不同的
。
现在做两个实验。在实验1中，假设
，
。
在实验2中，假设
，
。
总和：
表3.1 SRF的实验决定法
选择哪一组的 值？
第1个实验的 值比第2个实验的 值给出一个更低的
(Xi X)2
64
因而 ˆ Y ˆX 200.58*236.70
Yˆi 6.700.58Xi
例2 设Y和X的5期观测值如下表所示，试估计方程
Yt = + Xt + ut
序号
1
2
3
4
5
Yt 14 18 23 25 30
Xt 10 20 30 40 50
解：我们采用列表法计算。计算过程如下：
序号 Yt
，从而 不相关，即
5．残差 和预测的 值不相关，即
。
X i uˆ i 0
Yˆi uˆ i 0
（离差形式）
按照离差形式，SRF可写成： 利用离差形式可以推出：
例1 对于消费函数，若已知：
n = 10 , X =23, Y=20
(XX)26 4 , (XX)(YY)3 7
则有 ˆ (Xi X)(Yi Y) 370.58
有多接近。
PRF表明Yi 依赖于Xi 和ui 。因此，我们需明确Xi 和ui 是怎样产 生的，为了回归估计的有效解释，对Xi 变量（一个或多个）和误差项ui 做出假定是极其重要的。
假定1：线性回归模型。回归模型对参数而言是线性的，如
假定2：在重复抽样中X值是固定的。再重复的样本中，回归元所 取的数值被认为是固定的。说的更专业些，假定X是非随机的。