元线性回归模型的参数估计

§2.2 一元线性回归模型的参数估计

单方程计量经济学模型分为线性模型和非线性模型两大类.在线性模型中，变量之间的关系呈线性关系；在非线性模型中，变量之间的关系呈非线性关系.线性回归模型是线性模型的一种，它的数学基础是回归分析，即用回归分析方法建立的线性模型，用以揭示经济现象中的因果关系.

一元线性回归模型是最简单的计量经济学模型，在模型中只有一个解释变量，其一般形式是：

i i i X Y μββ++=10 i=1,2,…n （2.2.1） 其中，Y 为被解释变量，X 为解释变量，0β与1β为待估参数，μ为随机干扰项. 一、一元线性回归模型的基本假设

回归分析的主要目的是要通过样本回归函数（模型）SRF 尽可能准确地估计总体回归函数（模型）PRF.估计方法有多种，其种最广泛使用的是普通最小二乘法（ordinary least squares, OLS ）.

为保证参数估计量具有良好的性质，通常对模型提出若干基本假设.如果实际模型满足这些基本假设，普通最小二乘法就是一种适用的估计方法；如果实际模型不满足这些基本假设，普通最小二乘法就不再适用，而要发展其它方法来估计模型.所以，严格地说，下面的基本假设并不是针对模型的，而是针对普通最小二乘法的.

对模型（2.2.1），基本假设包括对解释变量X 的假设，以及对随机扰动项μ的假设： 假设1：解释变量X 是确定性变量，不是随机变量，而且在重复抽样中取固定值. 假设2：随机误差项μ具有０均值、同方差及不序列相关性.即 )(i E μ=0 i=1,2,…n )(i Var μ=2

σ i=1,2,…n

),(j i Cov μμ=0 i ≠j i,j=1,2,…n

假设3：随机误差项与解释变量之间不相关.即

),(i i X C o v μ=0 i=1,2,…n

假设4：随机误差项服从０均值、同方差、零协方差的正态分布.即

),0(~2σμN i i=1,2,…n

需注意的是，如果假设1、2成立，则假设3成立，因为这时显然有),(i i X Cov μ= 0)]([)(())]())(([(=--=--i i i i i i i i E E X E X E X E X E μμμμ；

另外，如果假设4成立，则假设2成立，因为对两正态分布变量来说，零协方差就意味着两变量相互独立.

以上假设也称为线性回归模型的经典假设或高斯（Gauss ）假设，满足该假设的线性回归模型，也称为经典线性回归模型（Classical Linear Regression Model, CLRM ）.

另外，在进行模型回归时，还有两个暗含的假设：

假设5：随着样本容量的无限增加，解释变量X 的样本方差趋于一有限常数.即

∞→→-∑n Q n X X

,

/)(2

假设6：回归模型是正确设定的.

假设5旨在排除时间序列数据出现持续上升或下降的变量作为解释变量，因为这类数据不仅使大样本统计推断变得无效，而且往往产生所谓的伪回归问题（spurious regression problem ）.关于伪回归的确切含义将在第九章中讨论.假设6也被称为模型没有设定偏误（specification error ），它的确切含义将在第五章中讨论.

在实际建立模型的过程中，除了随机误差项的正态假设外，对模型是否满足其他假设都要进行检验.这就是“建立计量经济学模型步骤”中“计量经济学检验”的任务.对于随机误差项的正态假设，根据中心极限定理，当样本容量趋于无穷大时，都是满足的. 二、参数的普通最小二乘估计（OLS ）

已知一组样本观测值（i i X Y ,），（i=1,2,…n ），要求样本回归函数尽可能好地拟合这组

值，即样本回归线上的点i

Y ?与真实观测点i Y 的“总体误差”尽可能地小，或者说被解释变量的估计值与观测值应该在总体上最为接近，最小二乘法（Ordinary least squares, OLS ）给出的判断标准是：二者之差的平方和

2

1

)?(i

n

i

Y Y

Q -=

∑=2101

))??((i n

i X Y ββ+-∑ （2.2.2） 最小.即在给定样本观测值之下，选择出0

?β、1?β能使i Y 与i Y ?之差的平方和最小. 为什么用平方和？因为样本回归线上的点i

Y ?与真实观测点i Y 之差可正可负，简单求和可能将很大的误差抵消掉，只有平方和才能反映二者在总体上的接近程度.这就是最小二乘

原理.

根据微积分学的运算，当Q 对 β0、 β1

的一阶偏导数为0时，Q 达到最小.即 ??β??βQ

Q 0

1

00??????

?==

可推得用于估计0

?β、1?β的下列方程组： ?????=--=--∑∑0)??(0)??(1010i i i i

i X X Y X Y ββββ (2.2.3）

或 ???∑+∑=∑∑+=∑21010?

???i

i i i i

i X X X Y X n Y ββββ (2.2.4) 解得：

???

????∑-∑∑∑-∑=∑-∑∑∑-∑∑=2

212220)(?)(?i i i i i i i i i i i i i X X n X Y X Y n X X n X Y X Y X ββ (2.2.5）

方程组（2.2.3）或（2.2.4）称为正规方程组（normal equations ）.记

()22221

)(∑∑∑∑-

=-=i i i i

X n

X X X x

∑∑∑∑∑-=--=i i i i i i i i Y X n

Y X Y Y X X y x 1

))((

(2. 2.5)的参数估计量可以写成：

?????-=∑∑=X

Y x y x i i i 1021

???

βββ (2.2.6)

称为OLS 估计量的离差形式（deviation form ）.在计量经济学中，往往以小写字母表示对均

值的离差.由于0

?β、1?β的估计结果是从最小二乘原理得到的，故称为普通最小二乘估计量（ordinary least squares estimators ）.

顺便指出，记Y Y y i

i -=??，则有 ∑--=++-+=i

n i i i e X X e X X y 111

010)(?)??()??(?βββββ

可得

i

i x y 1??β= （2.2.7） 其中，用到了正规方程组的第一个方程

∑∑=+-=0))??((10

i

i

i

X Y e ββ

.（2.2.7）式也称为样本回归函数的离差形式.

在结束普通最小二乘估计的时候，需要交代一个重要的概念，即“估计量”（estimator ）和“估计值”(estimate)的区别.由（2.2.5）式或（2.2.6）式给出的参数估计结果是由一个具

体样本资料计算出来的，它是一个“估计值”，或者“点估计”，是参数估计量 β0和 β1的一个具体数值；但从另一个角度，仅仅把（2.2.5）或（2.2.6）看成 β0和 β1的一个表达式，那么，则是i Y 的函数，而i Y 是随机变量，所以 β0和 β1也是随机变量，在这个角度上，称之为“估计量”.在本章后续内容中，有时把 β0和 β1作为随机变量，有时又把 β0和 β1

作为确定的数值，道理就在于此.

三、参数估计的最大或然法(ML)

最大或然法(Maximum Likelihood, ML)，也称最大似然法，是不同于最小二乘法的另一种参数估计方法，是从最大或然原理出发发展起来的其它估计方法的基础.虽然其应用没有最小二乘法普遍，但在计量经济学理论上占据很重要的地位，因为最大或然原理比最小二乘原理更本质地揭示了通过样本估计母体参数的内在机理，计量经济学理论的发展，更多地是以最大或然原理为基础的，对于一些特殊的计量经济学模型，只有最大或然方法才是很成功的估计方法.

对于最小二乘法，当从模型总体随机抽取n 组样本观测值后，最合理的参数估计量应

该使得模型能最好地拟合样本数据.而对于最大或然法，当从模型总体随机抽取n 组样本观测值后，最合理的参数估计量应该使得从模型中抽取该n 组样本观测值的概率最大.显然，这是从不同原理出发的两种参数估计方法.

从总体中经过n 次随机抽取得到样本容量为n 的样本观测值，在任一次随机抽取中，样本观测值都以一定的概率出现，如果已经知道总体的参数，当然由变量的频率函数可以计算其概率.如果只知道总体服从某种分布，但不知道其分布参数，通过随机样本可以求出总体的参数估计量.以正态分布的总体为例.每个总体都有自己的分布参数期望和方差，如果已经得到n 组样本观测值，在这些可供选择的总体中，哪个总体最可能产生已经得到的n 组样本观测值呢？显然，要对每个可能的正态总体估计取得n 组样本观测值的联合概率，然后选择其参数能使观测值的联合概率为最大的那个总体.将样本观测值联合概率函数称为变量的或然函数.在已经取得样本观测值的情况下，使或然函数取极大值的总体分布参数所代表的总体具有最大的概率取得这些样本观测值，该总体参数即是所要求的参数.通过或然函数极大化以求得总体参数估计量的方法被称为极大或然法.

在满足基本假设条件下，对一元线性回归模型：

i i i X Y μββ++=10 i=1,2,…n

随机抽取n 组样本观测值i i X Y ,（i=1,2,…n ），假如模型的参数估计量已经求得到，为 β0和 β1

，那么i Y 服从如下的正态分布：

i Y ～),??(210σββi

X N + 于是，i Y 的概率函数为 210)??(2121

)(i

i X Y i e

Y P ββσπ

σ---

=

i=1,2,…,n

因为i Y 是相互独立的，所以Y 的所有样本观测值的联合概率，也即或然函数为：

),,,(),?,?(21210n

Y Y Y P L ???=σββ 2102

2

)??(21)2(1i

i n

X Y n

e

ββσσ

π--∑-=

(2.2.8)

将该或然函数极大化，即可求得模型参数的极大或然估计量.

由于或然函数的极大化与或然函数的对数的极大化是等价的，所以，取对数或然函数如下：

2102

*)??(21)2l n ()

l n (i

i X Y n L L ββσσπ--∑-

-== (2.2.9) 对L *

求极大值，等价于对210)??(i i X Y ββ--∑ 求极小值.210)??(i

i X Y ββ--∑极小值的条件为：

???????=--∑=--∑0)??(?0)??(?2101

2100i i i i X Y X Y βββ??βββ

??

解得模型的参数估计量为：

???

????∑-∑∑∑-∑=∑-∑∑∑-∑∑=2

212

220)(?)(?i i i i i i i i i i i i i X X n X Y X Y n X X n X Y X Y X ββ

可见，在满足一系列基本假设的情况下，模型结构参数的最大或然估计量与普通最小

二乘估计量是相同的.

例2.2.1：在上述家庭可支配收入-消费支出例中，对于所抽出的一组样本数，参数估计的计算可通过下面的表2.2.1进行.

表2.2.1 参数估计的计算表

由（2.2.8）式计算得：

777.07425000

5769300

?21

==

=∑∑i

i

i x

y

x β

172.1032150777.01567??0

0-=?-=-=X Y ββ 因此，由该样本估计的回归方程为：

i

i X Y 777.0172.103?+-= 四、最小二乘估计量的性质

当模型参数估计出后，需考虑参数估计值的精度，即是否能代表总体参数的真值.一般地，由于抽样波动的存在，以及所选估计方法的不同，都会使估计的参数与总体参数的真值有差距，因此考察参数估计量的统计性质就成了衡量该估计量“好坏”的主要准则.

一个用于考察总体的估计量，可从如下几个方面考察其优劣性：（1）线性性，即它是否是另一随机变量的线性函数；（2）无偏性，即它的均值或期望值是否等于总体的真实值；（3）有效性，即它是否在所有线性无偏估计量中具有最小方差.（4）渐近无偏性，即样本

容量趋于无穷大时，它的均值序列趋于总体真值；（5）一致性，即样本容量趋于无穷大时，它是否依概率收敛于总体的真值；（6）渐近有效性，即样本容量趋于无穷大时，它在所有的一致估计量中具有最小的渐近方差.

这里，前三个准则也称作估计量的小样本性质（small-sample properties ），因为一旦某估计量具有该类性质，它是不以样本的大小而改变的.拥有这类性质的估计量称为最佳线性无偏估计量（best liner unbiased estimator, BLUE ）.当然，在小样本情形下，有时很难找到最佳线性无偏估计量，这时就需要考察样本容量增大时估计量的渐近性质.后三个准则称为估计量的大样本或渐近性质（large-sample or asymptotic properties ）.如果小样本情况下不能满足估计的准则，则应扩大样本容量，考察参数估计量的大样本性质. 可以证明，在经典线性回归的假定下，最小二乘估计量是具有最小方差的线性无偏估计量.

1、线性性，即估计量0

?β、1?β是i Y 的线性组合. 由(2.2.6)式知

∑∑∑∑∑∑∑∑∑=+

=-=

=i i i

i

i

i

i i

i i

i

i

i Y k x

x Y x

Y x x Y Y x x

y

x 222

21

)(?β

其中，∑=

2

i

i

i x x k .同样地 ∑∑∑∑=-=-=-=i i i i i i i Y w Y k X n X Y k Y n

X Y )1

(1??1

0ββ 其中，i i k X n

w -=

1

. 2、无偏性，即估计量0

?β、1?β的均值（期望）等于总体回归参数真值0β与1β. 由线性性得

∑∑∑∑∑++=++==i i i i i i i i i i k X k k X k Y k μββμβββ10101

)(? 易知，02==

∑∑∑i

i i

x

x k ，

∑=1i

i

X

k ，故

∑+=i i k μββ11? ∑∑=+=+=1

1

1

1)()()?(β

μβμββi

i

i

i

E k k E E

同样地，容易得出

∑∑=+=+=00

0)()()()?(βμβ

μββi i i

i

E w E w E E

3、有效性（最小方差性），即在所有线性无偏估计量中，最小二乘估计量0

?β、1?β具有最小方差.

首先，由1?β、0

?β是关于i Y 的线性函数可求得它们的方差

∑∑∑=++==)var()var()var()?var(21021i

i i i i i i k X k Y k μμβββ =∑∑∑=???? ?

?2222

2i i i x x x σσ (2.2.10) ∑∑∑-=++==221020)/1()var()var()?var(σμβββi

i i i i i k X n X w Y w 22

22

222221121σσ????

? ?

????

?

??+-=????????+-??? ??=∑∑∑∑i i i i i x x X k X n n k X k X n n 2222

22

222

21σσσ∑∑∑∑∑=

+=???

? ?

?+

=i

i i

i

i x

n X x

n X n x x X

n (2.2.11)

其次，假设*1

?β是其他估计方法得到的关于1β的线性无偏估计量： ∑=i

i Y c *1

?β

其中，i i i d k c +=，i d 为不全为零的常数，则容易证明①

)?var()?var(1

*1ββ≥ 同理，设*0?β是其他估计方法得到的关于0β的线性无偏估计量，则有 )?v a r ()?v a r (0

*0ββ≥ 由以上分析可以看出，普通最小二乘估计量（ordinary least Squares Estimators ）具有线

性性、无偏性、最小方差性等优良性质，称为最佳线性无偏估计量（best linear unbiased estimator, BLUE ），这就是著名的高斯-马尔可夫定理（Gauss-Markov theorem ）.显然这些优良的性质依赖于对模型的基本假设.

由于最小二乘估计量拥有一个“好”的估计量所应具备的小样本特性，它自然也拥有大

样本特性.如对1

?β的一致性来说，易知 ∑∑∑∑∑+

=+=+=)

/lim()/lim()lim()lim()lim()?lim(212

111n x P n x P x x P P k P P i i i i

i i i i μβμβμββ

等式右边第二项分子是X 与μ的样本协方差的概率极限，它等于总体协方差),(μX Cov ，根据基本假设，其值为0；而分母是X 的样本方差的概率极限，由基本假设为一有限常数Q ，

因此

1

110)?lim(βββ=+=Q

P 五、参数估计量的概率分布及随机干扰项方差的估计

1、参数估计量0

?β和1?β的概率分布 为了达到对所估计参数精度测定的目的，还需进一步确定参数估计量的概率分布.由于

普通最小二乘估计量0?β和1?β分别是i Y 的线性组合，因此0?β、1?β的概率分布取决于Y.在μ是正态分布的假设下，Y 是正态分布，则0

?β和1?β也服从正态分布，其分布特征由其均值和方差唯一决定.由此可得

),(~?2

2

1

1∑i

x

N σββ ),

(~?2220

0σββ∑∑i

i x

n X N

于是，0

?β和1?β的标准差分别为： ∑=22?/1

i x σσβ （2.2.12）

∑∑=

2

2

2?0

i i x n X σσβ (2.2.13)

标准差可用来衡量估计量接近其真实

值的程度，进而判断估计量的可靠性（图2.2.1）. 图2.2.1

2、随机误差项μ的方差2

σ的估计

在估计的参数0

?β和1?β的方差表达式中，都含有随机扰动项的方差2

σ.由于2

σ实际上是未知的，因此0

?β和1?β的方差实际上无法计算，这就需要对其进行估计.由于随机项i μ不可观测，只能从i μ的估计——残差i e 出发，对总体方差2σ进行估计.可以证明2

σ的最小二乘估计量为①

2

?22

-=

∑n e

i

σ

(2.2.14)

它是关于2

σ的无偏估计量.在最大或然估计法中，由或然方程

0)??(210212*2

2

2

=--∑+-=i i n X Y L ββ?σ?σσ 也可解得2

σ的如下最大或然估计量：

n

e

X Y n

i

i i ∑=--∑=22102)??(1?ββσ (2.2.15)

对照(2.2.14)知，2

σ的最大或然估计量不具无偏性，但却具有一致性.

在随机误差项μ的方差2

σ估计出后，参数0

?β和1?β的方差和标准差的估计量分别是： 1?β的样本方差： ∑=2

22??1

i

x

S σβ

（2.2.16） 1?β的样本标准差： ∑=2

??1i

x S σβ

（2.2.17）

0?β的样本方差： ∑∑=2222??0

i i x n X S σβ

（2.2.18） 0?β的样本标准差： ∑∑=22

??0

i i

x n X

S σβ

（2.2.19）