计量经济学【一元线性回归模型——参数估计】
合集下载
计量经济学的2.2 一元线性回归模型的参数估计
基于样本数据，所得到的总体回归函数的一个估 计函数称为样本回归函数。
问题：当我们设定总体回归模型的函数形式后， 如何通过样本数据得到总体回归函数的一个估计 （即样本回归函数）？--参数估计问题
E (Y | X i ) 0 1 X i
ˆ ˆ ˆ Yi f ( X i ) 0 1 X i
Xi确定
作此假设的理由：当我们把PRF表述为 时，我们假定了X和u(后者代表所有被省略的变量的影 响)对Y有各自的（并且可加的)影响。但若X和u是相关 25 的，就不可能评估它们各自对Y的影响。
线性回归模型的基本假设（4）
假设4、服从零均值、同方差、零协方差的正态分布 i~N(0, 2 ) i=1,2, …,n 意为：ui服从正态分布且相互独立。因为对两个正态 分布的变量来说，零协方差或零相关意为这两个变量 独立。 作该假设的理由：i代表回归模型中末明显引进的许多解释
Yi 0 1 X i i
i=1,2,…,n
Y为被解释变量，X为解释变量，0与1为待估 参数， 为随机干扰项
3
回归分析的主要目的是要通过样本回归函 数（模型）SRF尽可能准确地估计总体回归函 数（模型）PRF。
ˆ ˆ ˆ Yi 0 1 X i
ˆ ˆ ˆ Yi 0 1 X i ui
同方差假设表明：对应于不同X值的全部Y值具有同 样的重要性。
22
线性回归模型的基本假设（2-3）
假设2、随机误差项具有零均值、同方差和不自相关 性(不序列相关)： (2.3) 不自相关： Cov(i, j|Xi, Xj)=0 i≠j i,j= 1,2, …,n 或记为 Cov(i, j)=0 i≠j i,j= 1,2, …,n 意为：相关系数为0， i, j非线性相关。 几何意义如下
计量经济学课件-第二章
重要提示
• 几乎没有哪个实际问题能够同时满足所有基本假设； • 通过模型理论方法的发展，可以克服违背基本假设 带来的问题； • 违背基本假设问题的处理构成了单方程线性计量经 济学理论方法的主要内容： 异方差问题（违背同方差假设） 序列相关问题（违背序列不相关假设） 共线性问题（违背解释变量不相关假设） 随机解释变量（违背解释变量确定性假设）
Back
第 二 章:一元线性回归模型
§2.2 一元线性回归模型的参数估计
一、古典（基本）假定 二、用普通最小二乘法（OLS）估计模型的参数 三、OLS回归直线的性质(数值性质) 四、最小二乘估计式的统计性质 （前提：满足古典（基本）假定）
一、古典（基本）假定
简单线性回归模型：
(一) 对变量和模型的假定 1）重复抽样中，解释变量 X i 与干扰项 u独立； i 是一组固定的值或虽然是随机的，但
估计总体回归方程（PRF）。
设样本回归方程为:
ˆ ˆ X ˆ Y i 1 2 i
ˆ 实际值与拟合值的离差为： Y Y i i
离差平方和为：
ˆ) Q e (Y Y
2 i i i
2
最小二乘法的基本思想（原则）：寻找实际值与拟合值的离 差平方和为最小的回归直线。
ˆ ˆ X) ˆ ) (Y e (Y Y
ˆ x ˆi y 2 i
ˆ ˆ X ˆ Y i 1 2 i
ˆ ˆ X e Yi 1 2 i i
ˆ e Yi Y i i
ˆ ˆ X） ˆ ˆ X） ˆi y （ （ 1 2 i 1 2 ˆ（X X） ˆ x ˆi y 2 i 2 i
i=1,2,„n (2.1.3)
X X , X , 1 2 其中，Y 称被解释变量， „ k 称解释变量，k 为解
计量经济学第二章--一元线性回归模型
2 、同方差假定：每一个随机误差项的方差为常数，即:
经 济
Var(Yi ) Var(i ) 2 (常数)
学
该假定表明：给定X对应的每个条件
分布都是同方差的，每个Y值以相同
的分布方式在它的期望值E(Y)附近波
动
10
3、无自相关假定：任意两个随机误差项之间不相关，用数学
形式表示为：
Cov(i, j ) E (i E(i ))( j E( j )) 0
)
xiYi Y xi2
xi
xi 0
bˆ1
xiYi xi2
(bˆi
x12
x1Y1 x22
xn2
x12
x2Y2 x22
xn2
...
x12
xnYn x22
xn2
)
19
令
ki
xi xi2
则
bˆi
kiYi
(1) k i
(
xi xi2
)
xi xi2
0
计 量 经 ki的性质 济 学
2 n
2k1k21 2
2kn1kn n1 n
)
量
经
k12
E
(12
)
k22
E
(
2 2
)
kn2
E
(
2 n
)
2k1k2
E
(1
2
)
2kn
1kn
E
(
n1
n
)
济
学 由古典线性回归模型的假定可知，对每一个随机变量，有
E(i2) 2, E(i j ) 0(当i j时)
Var(bˆ1)
k12 E (12
计量经济学第2章 一元线性回归模型
15
~ ~ • 因为 2是β2的线性无偏估计，因此根据线性性， 2 ~ 可以写成下列形式： 2 CiYi
• 其中αi是线性组合的系数，为确定性的数值。则有
E ( 2 ) E[ Ci ( 1 2 X i ui )]
E[ 1 Ci 2 Ci X i Ci ui ]
6
ˆ ˆ X )2 ] ˆ , ˆ ) [ (Yi Q( 1 2 i 1 2 ˆ ˆ X 2 Yi 1 2 i ˆ ˆ 1 1 2 ˆ ˆ ˆ ˆ [ ( Y X ) ] 1 2 i Q( 1 , 2 ) i ˆ ˆ X X 2 Yi 1 2 i i ˆ ˆ 2 2
16
~
i
i
• 因此 ~ 2 CiYi 1 Ci 2 Ci X i Ci ui 2 Ci ui
• 再计算方差Var( ) 2 ，得 ~ ~ ~ 2 ~ Var ( 2 ) E[ 2 E ( 2 )] E ( 2 2 ) 2
C E (ui )
2 i 2 i
i
~
i
i
i
i
E ( 2 Ci ui 2 ) 2 E ( Ci ui ) 2
i
2 u
C
i
2 i
i
~ ˆ)的大小，可以对上述表达式做一 • 为了比较Var( ) 和 Var( 2 2
些处理： ~ 2 2 2 2 Var ( 2 ) u C ( C b b ) i u i i i
8
• 2.几个常用的结果
• （1） • （2） • （3） • （4）
一元线性回归模型及参数估计
可见，在满足一系列根本假设的情况下， 模型构造参数的最大或然估计量与普通最 小二乘估计量是一样的。
但是，随机误差项的方差的估计量是不同的。
解或然方程
sm2
L*
= n
2sm2
+1
2sm4
S(Yi
bˆ0
bˆ1Xi)2
=0
即可得到sm2的最大或然估计量为：
sˆm2
1 =nS(Yi
bˆ0
bˆ1Xi)2
s P (Y i)=
1 e2s 1m 2(Y ibˆ0bˆ1X i)2 2
i= 1,2,… ,n
因为Yi 是相互独立的，所以 Y 的所有样本观测值的联合概率， 也即或然函数(likelihood function)为：
L(bˆ0,bˆ1,sm2) = P(Y1,Y2,,Yn)
=
1
e 1 2sm2
S(Yi
，当
Q对
b$ 、 0
b$ 的一阶偏导数为 1
0 时， Q 达到最小。即
Q
bˆ 0 Q
bˆ1
=0 =0
(
( bˆ
bˆ
0
0 +
+ bˆ1 X bˆ1 X i
i
Yi ) Yi ) X
= i
0 =
0
SYi SYi X i
= nbˆ0 + bˆ1SX i
=
bˆ0 SX i
+
bˆ1S
X
2 i
解得：
bˆ0 = Y bˆ1X
bˆ1
=
nSYi Xi SYiSXi nSXi2 (SXi )2
由于
bˆ 0
、bˆ 的估计结果是从最小二乘原理得到的，故称为 1
但是，随机误差项的方差的估计量是不同的。
解或然方程
sm2
L*
= n
2sm2
+1
2sm4
S(Yi
bˆ0
bˆ1Xi)2
=0
即可得到sm2的最大或然估计量为：
sˆm2
1 =nS(Yi
bˆ0
bˆ1Xi)2
s P (Y i)=
1 e2s 1m 2(Y ibˆ0bˆ1X i)2 2
i= 1,2,… ,n
因为Yi 是相互独立的，所以 Y 的所有样本观测值的联合概率， 也即或然函数(likelihood function)为：
L(bˆ0,bˆ1,sm2) = P(Y1,Y2,,Yn)
=
1
e 1 2sm2
S(Yi
，当
Q对
b$ 、 0
b$ 的一阶偏导数为 1
0 时， Q 达到最小。即
Q
bˆ 0 Q
bˆ1
=0 =0
(
( bˆ
bˆ
0
0 +
+ bˆ1 X bˆ1 X i
i
Yi ) Yi ) X
= i
0 =
0
SYi SYi X i
= nbˆ0 + bˆ1SX i
=
bˆ0 SX i
+
bˆ1S
X
2 i
解得：
bˆ0 = Y bˆ1X
bˆ1
=
nSYi Xi SYiSXi nSXi2 (SXi )2
由于
bˆ 0
、bˆ 的估计结果是从最小二乘原理得到的，故称为 1
2.2 一元线性回归模型的参数估计
于是，Y的概率函数为
P(Yi ) = 1
− 1 2σ
2
ˆ ˆ (Yi − β 0 − β1 X i ) 2
σ 2π
e
（i=1,2,…n）
4/29/2012
14
因为Yi是相互独立的，所以的所有样本观测值的联 合概率，也即或然函数(likelihood function) 或然函数(likelihood function)为： 或然函数
§2.2 一元线性回归模型的参数估计
一、一元线性回归模型的基本假设 二、参数的普通最小二乘估计（OLS） 参数的普通最小二乘估计（OLS） 参数估计的最大或然法(ML) 三、参数估计的最大或然法(ML) * 四、最小二乘估计量的性质 五、参数估计量的概率分布及随机干扰项方差的估计
4/29/2012
1
640000 352836 1210000 407044 1960000 1258884 2890000 1334025 4000000 1982464 5290000 2544025 6760000 3876961 8410000 4318084 10240000 6682225 12250000 6400900 53650000 29157448
4/29/2012
-973 1314090 1822500 947508 -929 975870 1102500 863784 -445 334050 562500 198381 -412 185580 202500 170074 -159 23910 22500 25408 28 4140 22500 762 402 180720 202500 161283 511 382950 562500 260712 1018 1068480 1102500 1035510 963 1299510 1822500 926599 5769300 7425000 4590020
第二章 一元线性回归模型(本科生计量经济学)
即：正规方程组揭示的是残差的性质。
26
普通最小二乘估计有关 的其他性质（课后习题）
Y Y
^
e Y e y
i ^ i
^
i
0 0
27
i
2、由普通最小二乘估计系数的性质可证
得普通最小二乘估计与参数的关系如下：
1 1 k i u i
^
0 0 wi ui
（ 1） （ 2）
（ 1）
0 Y 1 X
^
^
Y
1 n
Y , X X
i 1 i 1 n i 1
n
n
i
18
参数的普通最小二乘估计量
ˆ ˆ X )0 (Yi 0 1 i ˆ ˆ X )X 0 ( Y i 0 1 i i
^
33
三、一元线性回归模型参数的最大似 然法(Maximum Likehood,ML)估计
• 基本原理：似然原理
• 一元线性回归模型ML使用的条件：已知随机扰动 项的分布。
34
Y1 , Y2 ,...,Yn
1 f (Yi ) e 2
1 2
1 2
2
Yi ~ N (0 1 X i , 2 )
w 1
i
22
普通最小二乘估计的例
年份
1991 1992 1993 1994
ED(X)
708 793 958 1278
FI(Y)
3149 3483 4349 5218
ed(x)
-551 -466 -301 19
fi(y)
-2351 -2017 -1151 -282
一元线性回归模型的参数估计
感谢您的观看
斜率（β1）
表示 x 每变化一个单位，y 平均变化的数量。
一元线性回归模型的假设
线性关系
因变量 y 和自变量 x 之间存在线性关系。
误差项独立
误差项 ε 之间相互独 立，且与 x 独立。
误差项的正态性
误差项 ε 的分布是正 态的。
误差项的无偏性
误差项 ε 的期望值为 0，即 E(ε) = 0。
有限的方差
回归分析的分类
一元回归分析
研究一个自变量和一个因变量之间的关系。
多元回归分析
研究多个自变量和一个因变量之间的关系。
线性回归模型
线性回归模型是一种常用的回归分析方法，它假设自变量和因变量之间存在线性关系，即可以用一条 直线来描述它们之间的关系。
在一元线性回归模型中，自变量和因变量之间的关系可以表示为一条直线，即 y = ax + b，其中 a 是斜 率，b 是截距。
确定样本数据
收集用于估计参数的样本数据。
构建估计量
根据模型和样本数据构建用于估计参数的统计量。
计算估计值
通过计算统计量的值得到参数的估计值。
评估估计质量
通过统计检验和图形方法评估估计的质量和可靠性。
05 模型的评估与检验
模型的拟合度评估
决定系数（R^2）
衡量模型解释变量变异程度的指标，值越接 近1表示模型拟合度越好。
数据整理
将数据整理成适合进行统计分析 的格式，如表格或图形，以便后 续分析。
建立一元线性回归模型
确定自变量和因变量
根据研究问题选择合适的自变量和因变量，确 保它们之间存在一定的关联性。
散点图分析
绘制散点图，观察自变量和因变量之间的关系， 初步判断是否适合建立一元线性回归模型。
斜率（β1）
表示 x 每变化一个单位，y 平均变化的数量。
一元线性回归模型的假设
线性关系
因变量 y 和自变量 x 之间存在线性关系。
误差项独立
误差项 ε 之间相互独 立，且与 x 独立。
误差项的正态性
误差项 ε 的分布是正 态的。
误差项的无偏性
误差项 ε 的期望值为 0，即 E(ε) = 0。
有限的方差
回归分析的分类
一元回归分析
研究一个自变量和一个因变量之间的关系。
多元回归分析
研究多个自变量和一个因变量之间的关系。
线性回归模型
线性回归模型是一种常用的回归分析方法，它假设自变量和因变量之间存在线性关系，即可以用一条 直线来描述它们之间的关系。
在一元线性回归模型中，自变量和因变量之间的关系可以表示为一条直线，即 y = ax + b，其中 a 是斜 率，b 是截距。
确定样本数据
收集用于估计参数的样本数据。
构建估计量
根据模型和样本数据构建用于估计参数的统计量。
计算估计值
通过计算统计量的值得到参数的估计值。
评估估计质量
通过统计检验和图形方法评估估计的质量和可靠性。
05 模型的评估与检验
模型的拟合度评估
决定系数（R^2）
衡量模型解释变量变异程度的指标，值越接 近1表示模型拟合度越好。
数据整理
将数据整理成适合进行统计分析 的格式，如表格或图形，以便后 续分析。
建立一元线性回归模型
确定自变量和因变量
根据研究问题选择合适的自变量和因变量，确 保它们之间存在一定的关联性。
散点图分析
绘制散点图，观察自变量和因变量之间的关系， 初步判断是否适合建立一元线性回归模型。
计量经济学第二篇一元线性回归模型
第二章 一元线性回归模型2.1 一元线性回归模型的基本假定有一元线性回归模型（统计模型）如下， y t = β0 + β1 x t + u t上式表示变量y t 和x t 之间的真实关系。
其中y t 称被解释变量（因变量），x t 称解释变量（自变量），u t 称随机误差项，β0称常数项，β1称回归系数（通常未知）。
上模型可以分为两部分。
（1）回归函数部分，E(y t ) = β0 + β1 x t ,（2）随机部分，u t 。
图2.1 真实的回归直线这种模型可以赋予各种实际意义，居民收入与支出的关系；商品价格与供给量的关系；企业产量与库存的关系；身高与体重的关系等。
以收入与支出的关系为例。
假设固定对一个家庭进行观察，随着收入水平的不同，与支出呈线性函数关系。
但实际上数据来自各个家庭，来自同一收入水平的家庭，受其他条件的影响，如家庭子女的多少、消费习惯等等，其出也不尽相同。
所以由数据得到的散点图不在一条直线上（不呈函数关系），而是散在直线周围，服从统计关系。
“线性”一词在这里有两重含义。
它一方面指被解释变量Y 与解释变量X 之间为线性关系，即另一方面也指被解释变量与参数0β、1β之间的线性关系，即。
1ty x β∂=∂，221ty β∂=∂0 ，1ty β∂=∂，2200ty β∂=∂2.1.2 随机误差项的性质随机误差项u t 中可能包括家庭人口数不同，消费习惯不同，不同地域的消费指数不同，不同家庭的外来收入不同等因素。
所以在经济问题上“控制其他因素不变”是不可能的。
随机误差项u t 正是计量模型与其它模型的区别所在，也是其优势所在，今后咱们的很多内容，都是围绕随机误差项u t 进行了。
回归模型的随机误差项中一般包括如下几项内容： （1）非重要解释变量的省略，（2）数学模型形式欠妥， （3）测量误差等，（4）随机误差（自然灾害、经济危机、人的偶然行为等）。
2.1.3 一元线性回归模型的基本假定通常线性回归函数E(y t ) = β0 + β1 x t 是观察不到的，利用样本得到的只是对E(y t ) =β0 + β1 x t 的估计，即对β0和β1的估计。
第二章 一元线性回归模型
0 1
∂Q ˆ ˆ = −2∑ (Yi − β 0 − β1 X i ) = 0 ∂β ˆ0 ˆ ˆ ∂Q = −2∑ (Y − β − β X )X = 0 i 0 1 i i ˆ ∂β1
化简得： 化简得：
ˆ ˆ ∑ (Yi − β 0 − β1 X i ) = 0 ˆ ˆ ∑ (Yi − β 0 − β1 X i )X i = 0
2.总体回归方程（线）或回归函数 总体回归方程（ 总体回归方程 即对（ ）式两端取数学期望： 即对（2.8）式两端取数学期望：
E y i）= β 0 + β 1 x i （
（2.9）
（2.9）为总体回归方程。由于随机项的影响，所 ）为总体回归方程。由于随机项的影响， 有的点（ ）一般不在一条直线上； 有的点（x,y）一般不在一条直线上；但所有的点 （x,Ey）在一条直线上。总体回归线描述了 与y ）在一条直线上。总体回归线描述了x与 之间近似的线性关系。 之间近似的线性关系。
Yi = β X i + ui
需要估计， 这个模型只有一个参数 需要估计，其最 小二乘估计量的表达式为： 小二乘估计量的表达式为：
∑XY ˆ β= ∑X
i i 2 i
例2.2.1：在上述家庭可支配收入-消费支出例中，对 ：在上述家庭可支配收入-消费支出例中， 于所抽出的一组样本数据， 于所抽出的一组样本数据，参数估计的计算可通过下面 的表2.2.1进行。 进行。 的表 进行
二、一元线性回归模型 上述模型中， 为线性的， 上述模型中， 若f(Xi)为线性的，这时的模型 为线性的 一元线性回归模型： 即为 一元线性回归模型：
yi = β 0 + β1 xi + ui 其中：yi为被解释变量，xi为解释变量，ui为随机误 差项，β 0、β1为回归系数。
∂Q ˆ ˆ = −2∑ (Yi − β 0 − β1 X i ) = 0 ∂β ˆ0 ˆ ˆ ∂Q = −2∑ (Y − β − β X )X = 0 i 0 1 i i ˆ ∂β1
化简得： 化简得：
ˆ ˆ ∑ (Yi − β 0 − β1 X i ) = 0 ˆ ˆ ∑ (Yi − β 0 − β1 X i )X i = 0
2.总体回归方程（线）或回归函数 总体回归方程（ 总体回归方程 即对（ ）式两端取数学期望： 即对（2.8）式两端取数学期望：
E y i）= β 0 + β 1 x i （
（2.9）
（2.9）为总体回归方程。由于随机项的影响，所 ）为总体回归方程。由于随机项的影响， 有的点（ ）一般不在一条直线上； 有的点（x,y）一般不在一条直线上；但所有的点 （x,Ey）在一条直线上。总体回归线描述了 与y ）在一条直线上。总体回归线描述了x与 之间近似的线性关系。 之间近似的线性关系。
Yi = β X i + ui
需要估计， 这个模型只有一个参数 需要估计，其最 小二乘估计量的表达式为： 小二乘估计量的表达式为：
∑XY ˆ β= ∑X
i i 2 i
例2.2.1：在上述家庭可支配收入-消费支出例中，对 ：在上述家庭可支配收入-消费支出例中， 于所抽出的一组样本数据， 于所抽出的一组样本数据，参数估计的计算可通过下面 的表2.2.1进行。 进行。 的表 进行
二、一元线性回归模型 上述模型中， 为线性的， 上述模型中， 若f(Xi)为线性的，这时的模型 为线性的 一元线性回归模型： 即为 一元线性回归模型：
yi = β 0 + β1 xi + ui 其中：yi为被解释变量，xi为解释变量，ui为随机误 差项，β 0、β1为回归系数。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Yi Y
(4) -410 -460 -210 -160 -10 40 90 290 440 390
( Xi X )(Yi Y )
(5) = (3) ×(4) 369000 322000 105000 48000 1000 4000 27000 145000 308000 351000
1680000
(单位:元)
Xi
Yi X i X
(1) (2) (3) 800 700 -900 1000 650 -700 1200 900 -500 1400 950 -300 1600 1100 -100 1800 1150 100 2000 1200 300 2200 1400 500 2400 1550 700 2600 1500 900 求 和 17000 11100 平 均 1700 1110
(i
)
2
,
,
,
,
,
,
,
,
i
1,
2,
n
假设3：随机误差项在不同样本点之间是独立的，不存
在序列相关，即：
Cov(i , j ) 0,,,,,,,i j,,,,i, j 1, 2, n
一、一元线性回归模型的基本假设
假设 4：随机误差项与解释变量之间不相关， 即：
Cov( Xi , i ) 0,,,,,,,,,,,i 1, 2, n
ki
(Xi X) (Xi X )2
对于引进的 ki 容易证明有如下的特性：
ki 0 ； ki (Xi X ) ki Xi 1 ； ki2
1 (Xi X )2
•（1）最小二乘估计量的线性性
➢ 证明 ki 0 ；
因为：
ki
(Xi X) (Xi X)
每 月 1500 家 庭 消 1000 费 支 500 出
Y (元) 0
0
SRF
500 1000 1500 2000 2500 3000 每月家庭可支配收入X(元)
二、参数的普通最小二乘估计（OLS）
要求真实观测值 Yi 与样本回归函数 Yˆi ˆ0 ˆ1Xi
的估计值 Yˆi 之间的误差，也就是残差 ei Yi Yˆi
三、最小二乘估计量的性质
（1）最小二乘估计量的线性性：是指参数估计量 ˆ0 和 ˆ1 可以分别表示为被解释变量观测值 Yi 的线 性组合（线性函数）；
证明如下：
ˆ1 ( 其中：
X
i (X
X )(Yi i X )2
Y
)
(Xi (X
X) i X )2
(Yi
Y
)
ki (Yi Y )
单位：元
2400 2600 1550 1500
可将表中的这组样本数据代入到下面公式：
ˆ0
Y
ˆ1 X
ˆ1
( X i X )(Yi Y ) (Xi X )2
进行参数估计计算，具体计算过程见下表(表2.4)：
表2.4 家庭可支配收入 Xi 和消费支出 Yi 的样本数据资料
及参数估计的计算表
(Xi X )2
(6) 810000 490000 250000 90000 10000 10000 90000 250000 490000 810000
3300000
(Yi Y )2
(7) 168100 211600 44100 25600
100 1600 8100 84100 193600 152100
（ordinary least squares estimators）；将样本数据代入这
两个公式，就可以计算出 ˆ0, ˆ1 的具体数值，它们一定是
使残差平方和 ei2 取最小值的参数估计值（最小二乘估
计值）。
i
二、参数的普通最小二乘估计（OLS）
由此可得到拟合最优的样本回归直线（样本回归
函数）：
(Xi X )2
(Xi X )2
Xi nX (Xi X )2
Xi n
Xi n 0
(Xi X )2
➢ 证明 ki ( Xi X ) ki Xi 1 ；
首先： ki ( Xi X ) ki Xi X ki ki Xi
然后： ki Xi
(Xi X) (Xi X )2
Xi
(Xi X) (Xi X )2
(Xi
X
X
)
(Xi
X )2 (Xi (Xi X )2
X)X
10 1
这里： (Xi X)X X (Xi X) 0
•（1）最小二乘估计量的线性性
n n
X i2 Yi X i X iYi n Xi2 ( Xi )2
X iYi X i Yi Xi2 ( Xi )2
ˆ0
ˆ1
Y
ˆ1X
( X i X )(Yi Y ) (Xi X )2
其中 X ,Y 分别代表 X 和 Y 两个变量的样本均值。
上式就称为线性回归模型参数 0, 1 的最小二乘估计量
i
ˆ0
i
ˆ0
2(Yi ˆ0 ˆ1Xi )(1) 2 (Yi ˆ0 ˆ1Xi ) 0
( ei2) ( Yi (ˆ0 ˆ1Xi )2)
i
ˆ1
i
ˆ1
2(Yi ˆ0 ˆ1Xi )(Xi ) 2 (Yi ˆ0 ˆ1Xi )Xi 0
从而得到如下方程组：
(Yi (Yi
在总体上最小，即采用残差平方和 ei2最小的准
则，也就是最小二乘准则：
i
min
ei2 min
(Yi
Yˆi
2
)
min
Yi (ˆ0 ˆ1X i )2
i
i
i
根据微积分中求极值的原理，要使 ei2 达到最小，
待定系数 ˆ0, ˆ1 应满足：
i
二、参数的普通最小二乘估计（OLS）
即：
( ei2 ) ( Yi (ˆ0 ˆ1Xi )2)
地“接近”总体回归函数E(Y | Xi ) 0 1Xi ，就是要样
本
Yˆi
Yi
回归线上的点 与真实观测点Yˆi 在ˆ0总体ˆ1上Xi 尽量接近；Yˆi
这也就是说要求Y样i 本回归函数ei Yi Yˆi 的估计值
与真实观测值 之间的误差
在总体上尽量
小。
每月家庭收入与消费支出散点图（样本）
2000
Yˆi
(8) 651.8181 753.6363 855.4545 957.2727 1059.091 1160.909 1262.727 1364.546 1466.364 1568.182
ei Yi Yˆi
(9)=(2)-(8) 48.18190 -103.6363 44.54550 -7.272700 40.90910 -10.90910 -62.72730 35.45450 83.63630 -68.18190
Eviews软件画出的收入 X 和支出 Y 样本数据的散点图
Y
1600 1400 1200 1000
800 600
400
Y vs. X
800 1200 1600 2000 2400 2800 X
Eviews软件输出的回归结果
Eviews软件输出的被解释变量 Y的实际值Yi 、 拟合值 Yˆi 和回归残差ei Yi Yˆi 的序列图
假设 5：随机误差项服从 0 均值，同方差的正态 分布，即
i
~
N
(0,
2
),
,
,
,
,
,
,
,
,
,
,
,
i
1, 2,
n
以上这些假设称为线性回归模型的经典假 设，满足这些假设的线性回归模型，也称为 经典线性回归模型（classical linear regression model）。在回归分析的参数估计和统计检验 理论中，许多结论都是以这些假定作为基础 的。如果违背其中的某一项假定，模型的参 数估计就会存在问题，也就是说最小二乘法 （OLS）就不再适用，需对模型进行修正或 采用其他的方法来估计模型了。
1600
1400
1200
1000
100
800
50
600
0
-50
-100
-150
1
2
3
4
5
6
7
8
9 10
Residual
Actual
Fitted
三、最小二乘估计量的性质
当采用最小二乘法将模型的参数估计出来以后，需考 虑参数估计值的精度问题；所谓精度问题就是这个参数 估计值是否能代表总体参数的真值。 这就需要考察一下参数估计量的统计性质。参数估计 量是随机变量，其统计性质主要包括线性性、无偏性和 最小方差性，也就是其均值和方差等方面的性质。 事实可以证明：在模型满足那几条基本假定的前提 下，最小二乘估计量的性质是非常理想的，它是具有最 小方差的线性无偏估计量 （best linear unbiased estimator，BLUE）。 我们就要证明一下最小二乘估计量的线性性、无偏性 和最小方差性（有效性）。
一、一元线性回归模型的基本假设
为保证参数估计量具有良好的性质， 通常对模型提出
若干基本假设，这些假设与所采用的估计方法紧密相关。
假设 1：解释变量 Xi 是确定性变量，不是随机变量；
假设 2：随机误差项具有 0 均值和同方差，即 E(i ) 0,,,,,,,,,,,,i 1, 2, n
Var
给出一元线性回归模型的一般形式：
Yi 0 1X i i , , , , , i 1, 2, , n
其中
Yi
：被解释变量，X
：解释变量，
i
0
和
1
：待估参
数； i ：随机误差项；