一元线性回归模型及参数估计

bˆ1 X i )2 bˆ1 X i )2
= =
0 0
解得模型的参数估计量为：
bˆ
0
=
SX
2 i
SYi
SX i SYi
nSX
2 i
(SX i )2
bˆ1
=
nSYi X i SYiSX nSYi2 (SX i )2
X
i
i
可见，在满足一系列基本假设的情况下，模型
结构参数的最大或然估计量与普通最小二乘估计 量是相同的。
由于
bˆ 0
、bˆ 的估计结果是从最小二乘原理得到的，故称为 1
最小二乘估计量 (least-squares estimators) 。
最小二乘参数估计量的离差形式
(deviation form)
记
X Y xi
= = =
1 n
X
i
1 n Yi
Xi X
，
yi = Yi Y
则参数估计量可以写成：bˆb0ˆ1==Yxxibiˆ2y1iX
• 样本回归线通过Y和X的样本均值； • Y估计值的均值等于观测值的均值； • 残差的均值为0。
二、最小二乘参数估计量的统计性质 高斯-马尔可夫定理
当模型参数估计完成后，需考虑参数估计值的精
一元线性回归模型及其参数估计
一、一元线性回归模型的参数估计 二、最小二乘参数估计量的统计性质 三、最小二乘参数估计量的概率分布
一、一元线性回归模型的参数估计
一元线性回归模型的一般形式
一元线性回归模型的一般形式 是：
Yi = b 0 + b1 X i + m i
在满足 基本假设：
i=1 ， 2，…， n
给定一组样本观测值（Xi, Yi），i=1,2,…n，假如 模型参数估计量已经求得，并且是最合理的参数估 计量，那么样本回归函数应该能够最好地拟合样本 数据，即样本回归线上的点与真实观测点的“总体 误差”应该尽可能地小。
最小二乘法给出的判断标准是：二者之差的平方 和最小，即
Q
=
n
(Y
i =1 i
Yˆ )2
注：在计量经济学中，往往以大写字母表示原始数据 （观测值），而以小写字母表示对均值的离差 （deviation)。
随机误差项方差的估计量
记 ei = Yi Yˆi 为第i个样本观测点的残差，即被 解释变量的估计值与观测值之差，则随机误差项方
差的估计量为：
sm2
=
Sei2 n2
1.用原始数据（观测值）Xi，Yi计算 ei2 简捷公式为
i=1,2,…n
随机抽取 n 组样本观测值Yi , X i （i=1,2,…n），假如模型的参数
估计量已经求得到，为b0 和b1 ，那么Yi 服从如下的正态分布：
Yi
～ N (bˆ0
+
bˆ1
X
i
,s
2 m
)
于是，Yi 的概率函数为
s P(Yi ) =
1
e
1 2s
2 m
(Yi
bˆ0
bˆ1
X
i
)
2
2
i=1,2,…,n
i
=
n
(Y
i=1 i
(bˆ
0
+
bˆ X ))2
1i
最小
由于
Q
=
n (Yi
Yˆi
)
2
=
n
(Yi
( bˆ0
+
bˆ1 X i )) 2 是
b$ 、 b$ 的二次函
0
1
1
1
数，并且非负，所以其极小值总是存在的。 根据极值存在的
条件
，当
Q对
b$ 、 0
b$ 的一阶偏导数为 1
0 时， Q 达到最小。即
ei2 = Yi2 bˆ0 Yi bˆ1Yi Xi
2.用离差形式的数据xi，yi计算 ei2
简捷公式为
其中
ei2 = yi2 bˆ12 xi2
yi2 = (Yi Y )2 = Yi2 nY 2 xi2 = (Xi X )2 = Xi2 nX 2
2、最大似然法（ Maximum Likelihood, ML）
由于或然函数的极大化与或然函数的对数的极 大化是等价的，所以，取对数或然函数如下：
L* = ln( L)
= n ln(
2 s
m
)
1
2s
2 m
S(Yi
bˆ0
bˆ1 X i )2
对 L* 求极大值，等价于对 S(Yi bˆ0 bˆ1 X i )2 求极小值:
bˆ
0
bˆ1
S(Yi S(Yi
bˆ0 bˆ0
E(mi ) = 0 Var (mi ) = s m2 Cov (mi , m j ) = 0 Cov ( xi , mi ) = 0
i=1,2, … ,n j=1,2,
期望或均方值 同方差 协方差
… ,n i ≠ j
的情况下，随机抽取 n 组样本观测值 Yi , X i （ i=1,2, … n），就 可以估计模型的参数。
• 最大或然法，也称最大似然法，是不同于最小二乘
法的另一种参数估计方法，是从最大或然原理出发发 展起来的其它估计方法的基础。
• 基本原理： 对于最大或然法，当从模型总体随机抽取n组样本
观测值后，最合理的参数估计量应该使得从模型总体 中抽取该n组样本观测值的联合概率最大。
对于一元线性回归模型：
Yi = b 0 + b1 X i + mi
因为Yi 是相互独立的，所以Y 的所有样本观测值的联合概率，
也即或然函数(likelihood function)为：
L ( bˆ 0
,
bˆ1 ,s
2 m
)
=
P(Y1 ,Y2
,
,Yn
)
=
1
e
1 2s
2 m
S
(Yi
bˆ0
bˆ1
X
i
)2
(2
)
n 2
s
n m
将该或然函数极大化，即可求得到模型参数的 极大或然估计量。
模型参数估计的任务
• 模型参数估计的任务为两项：
一是求得反映变量之间数量关系的结构参数的估计量，
在一元线性回归模型即是参数
b 0
和b 1
的估计量；
二是求得随机误差项的分布参数，由于随机误差项
的均值已经被假定为0，所以所要求的分布参数只有
方差
s2 m
。
1、普通最小二乘法 （Ordinary Least Square, OLS）
Q
bˆ 0 Q
bˆ1
=0 =0
(
( bˆ
bˆ
0
0 +
+ bˆ1 X bˆ1 X i
i
Yi ) Yi ) X
= i
0 =
0
SYi SYi X i
= nbˆ0 + bˆ1SX i
=
bˆ0 SX i
+
bˆ1S
X
2 i
解得：
bˆ0 = Y bˆ1X
bˆ1
=
nSYi Xi SYiSXi nSXi2 (SXi )2
但是，随机误差项的方差的估计量是不同的。
解或然方程
s
2 m
L*
=
n
2s
2 m
+
1
2s
4 m
S(Yi
bˆ0
Байду номын сангаас
bˆ1 X i )2
=
0
即可得到sm2 的最大或然估计量为：
sˆ
2 m
=
1 n
S(Yi
bˆ0
bˆ1 X i )2
=
ei2 n
3、样本回归线的数值性质(numerical properties)