应用回归分析第4章课后习题集参考答案

第4章违背基本假设的情况

思考与练习参考答案

4.1 试举例说明产生异方差的原因。

答：例4.1：截面资料下研究居民家庭的储蓄行为

Y i=0+1X i+εi

其中：Y i表示第i个家庭的储蓄额，X i表示第i个家庭的可支配收入。

由于高收入家庭储蓄额的差异较大，低收入家庭的储蓄额则更有规律性，差异较小，所以εi的方差呈现单调递增型变化。

例4.2：以某一行业的企业为样本建立企业生产函数模型

Y i=A i1K i2L i3eεi

被解释变量：产出量Y，解释变量：资本K、劳动L、技术A，那么每个企业所处的外部环境对产出量的影响被包含在随机误差项中。由于每个企业所处的外部环境对产出量的影响程度不同，造成了随机误差项的异方差性。这时，随机误差项ε的方差并不随某一个解释变量观测值的变化而呈规律性变化，呈现复杂型。

4.2 异方差带来的后果有哪些？

答：回归模型一旦出现异方差性，如果仍采用OLS估计模型参数，会产生下列不良后果：

1、参数估计量非有效

2、变量的显著性检验失去意义

3、回归方程的应用效果极不理想

总的来说，当模型出现异方差性时，参数OLS估计值的变异程度增大，从而造成对Y的预测误差变大，降低预测精度，预测功能失效。

4.3 简述用加权最小二乘法消除一元线性回归中异方差性的思想与

方法。

答：普通最小二乘估计就是寻找参数的估计值使离差平方和达极小。其中每个平方项的权数相同，是普通最小二乘回归参数估计方法。在误差项等方差不相关的条件下，普通最小二乘估计是回归参数的最小方差线性无偏估计。然而在异方差的条件下，平方和中的每一项的地位是不相同的，误差项的方差大的项，在残差平方和中的取值就偏大，作用就大，因而普通最小二乘估计的回归线就被拉向方差大的项，方差大的项的拟合程度就好，而方差小的项的拟合程度就差。由OLS 求出的仍然是的无偏估计，但不再是最小方差线性无偏估计。所以就是：对较大的残差平方赋予较小的权数，对较小的残差平方赋予较大的权数。这样对残差所提供信息的重要程度作一番校正，以提高参数估计的精度。

加权最小二乘法的方法：

4.4简述用加权最小二乘法消除多元线性回归中异方差性的思想与方法。

22011

1

ˆˆˆ()()N N

w i i i i i i

i i Q w y y w y x ββ===-=--∑∑22

__

1

_

2

_

_

02

222

()()

ˆ()ˆ1

11

1

,i i N

w i

i

i w i w

i w

w

w w w kx i i

i i

m

i i i m

i

w x

x y y x x y x w kx x kx w x σβββσσ==---=-=

=

===∑∑1N i =1

1表示=或

答：运用加权最小二乘法消除多元线性回归中异方差性的思想与一元线性回归的类似。多元线性回归加权最小二乘法是在平方和中加入一个适当的权数i w ，以调整各项在平方和中的作用，加权最小二乘的离差平方和为：

∑=----=n

i ip p i i i p w x x y w Q 1211010)( ),,,(ββββββΛΛ

（2）

加权最小二乘估计就是寻找参数p βββ,,,10Λ的估计值pw w w βββˆ,,ˆ,ˆ10Λ使式（2）的离差平方和w Q 达极小。所得加权最小二乘经验回归方程记做

p

pw w w w x x y βββˆˆˆˆ110+++=Λ （3） 多元回归模型加权最小二乘法的方法:

首先找到权数i w ，理论上最优的权数i w 为误差项方差2i σ的倒数,即

2

1

i

i w σ

=

（4）

误差项方差大的项接受小的权数，以降低其在式（2）平方和中的作用; 误差项方差小的项接受大的权数，以提高其在平方和中的作用。由（2）式求出的

加权最小二乘估计pw w w βββˆ,,ˆ,ˆ10Λ就是参数p βββ,,,10Λ的最小方差线性无偏估计。

一个需要解决的问题是误差项的方差2i σ是未知的,因此无法真正按照式（4）选取权数。在实际问题中误差项方差2i σ通常与自变量的水平有关(如误差项方差

2i σ随着自变量的增大而增大),可以利用这种关系确定权数。例如2i σ与第j 个自变

量取值的平方成比例时, 即2i σ=k 2

ij x 时,这时取权数为

21

ij

i x w =

（5）

更一般的情况是误差项方差2i σ与某个自变量j x (与|e i |的等级相关系数最大

的自变量)取值的幂函数m ij x 成比例，即2i σ=k m

ij x ,其中m 是待定的未知参数。此时

权数为

m ij

i x w 1

=

（6） 这时确定权数i w 的问题转化为确定幂参数m 的问题，可以借助SPSS 软件解决。

4.5（4.5）式一元加权最小二乘回归系数估计公式。 证明： 由 得：

w

w w

i n i i w i w i

n

i i

x y x x w y y x x

w 102

1

1

1

ˆˆ)()

)((ˆβββ-=---=∑∑==

4.6验证（4.8）式多元加权最小二乘回归系数估计公式。

证明：对于多元线性回归模型 ,y =X β+ε （1）

2()0,cov(,)E σ'∃==εεεW ，即存在异方差。设

,00'=⎫⎪= ⎪

⎝W DD D K

M O

M L

， 用-1D 左乘（1）式两边，得到一个新的的模型：

---111D y =D X β+D ε，即***y =X β+ε。

因为22()()()E E E σσ---''''''====1-11-11-1εεD εεD D εεD D WD I ， 故新的模型具有同方差性，故可以用广义最小二乘法估计该模型，得

111ˆ()()()**-**------''''''''===1111w

βX X X y X D D X X D D y X WX X Wy 22011

1

ˆˆˆ()()N N

w i i i i i i

i i Q w y y w y x ββ===-=--∑∑0

1

00ˆˆQ

Q

β

β

∂∂==∂

∂