应用回归分析 课后答案 浙江万里学院

2.1 一元线性回归有哪些基本假定?

答： 假设1、解释变量X 是确定性变量，Y 是随机变量；

假设2、随机误差项ε具有零均值、同方差和不序列相关性： E(εi )=0 i=1,2, …,n Var (εi )=σ2 i=1,2, …,n Cov(εi, εj )=0 i≠j i,j= 1,2, …,n 假设3、随机误差项ε与解释变量X 之间不相关： Cov(X i , εi )=0 i=1,2, …,n

假设4、ε服从零均值、同方差、零协方差的正态分布 εi ~N(0, σ2 ) i=1,2, …,n 2.2 考虑过原点的线性回归模型 Y i =β1X i +εi i=1,2, …,n

误差εi （i=1,2, …,n ）仍满足基本假定。求β1的最小二乘估计 解： 得：

2.3 证明（2.27式），∑e i =0 ，∑e i X i =0 。

证明：

其中：

即： ∑e i =0 ，∑e i X i =0

2.4回归方程E （Y ）=β0+β1X 的参数β0，β1的最小二乘估计与最大似然估计在什么条件下等价?给出证明。

∑∑+-=-=n

i

i i n i X Y Y Y Q 1

21021

))??(()?(ββ211

1

2

)?()?(i n

i i n i i

i e X Y Y Y Q β∑∑==-=-=

01????i i

i

i i

Y X e Y Y ββ=+=-0

1

00??Q

Q

β

β

??==??

答：由于εi ~N(0, σ2

) i=1,2, …,n

所以Y i =β0 + β1X i + εi ~N （β0+β1X i , σ2

) 最大似然函数：

使得Ln （L ）最大的0

?β，1?β就是β0，β1的最大似然估计值。 同时发现使得Ln （L ）最大就是使得下式最小，

上式恰好就是最小二乘估计的目标函数相同。值得注意的是：最大似然估计是在εi ~N(0, σ2 )的假设下求得，最小二乘估计则不要求分布假设。

所以在εi ~N(0, σ2

) 的条件下， 参数β0，β1的最小二乘估计与最大似然估计等价。

2.5 证明0

?β是β0的无偏估计。 证明：)1[)?()?(111

0∑∑==--=-=n

i i xx

i n i i Y L X X X Y n E X Y E E ββ )] )(1

([])1([1011i i xx i n i i xx i n

i X L X X X n E Y L X X X n E εββ++--=--=∑∑==

1010)()1

(])1([βεβεβ=--+=--+=∑∑==i xx i n

i i xx i n

i E L X X X n

L X X X n E 2.6 证明 证明：

)] ()1([])1([)?(102110i i xx

i n

i i

xx i n

i X Var L X X X n Y L X X X n Var Var εβββ++--=--=∑∑== 2

2221

2]1[])(2)1[(σσxx xx i xx i n

i L X n L X X X nL X X X n +=-+--=∑=

2.7 证明平方和分解公式：SST=SSE+SSR

∑∑+-=-=n

i

i i n i X Y Y Y Q 1

2102

1

))??(()?(ββ()

)

1()1()?(2

2

2

1

2

2

xx n

i i

L X n X X

X n

Var +=-+=∑=σσβ

证明：

2.8 验证三种检验的关系，即验证： （1）2

1)2(r r n t --=

；（2）22

2

1

??)2/(1/t L n SSE SSR F xx ==-=σ

β 证明：（1）

?t ======

（2）

2

2222011111

1

1

1

??????()()(())(())n

n

n

n

i i i

i xx i i i i SSR y y x y y x x y x x L βββββ=====-=+-=+--=-=∑∑∑∑2212?/1

?/(2)xx L SSR F t SSE n βσ

∴===-

2.9 验证（2.63）式：2

211σ)L )x x (n ()e (Var xx

i i ---=

证明：

11

222

2

222

???var()var()var()var()2cov(,)???var()var()2cov(,())()()11[]2[]()1[1]i i i i i i i i

i

i

i

i i xx xx

i xx

e y y

y y y y y x y y x x x x x x n L n L x x n L β

ββσσσσ

=-=+-=++-+---=++-+-=--

其中：2

22221111))(1()(1)

)(,()()1,())(?,(),())(?,(σσσββxx

i xx i n

i i xx

i i i n

i i i i

i i i i L x x n L x x n y L x x y Cov x x y n y Cov x x y Cov y y Cov x x y y Cov -+=-+=--+=-+=-+∑∑==

()()

∑∑==-+-=-=n

i i

i i n i i Y Y Y Y Y Y SST 1

21

2

]?()?[(

)

(

)

()

∑∑∑===-+--+-=n

i i

i n i i i i n i i

Y Y Y Y Y Y Y Y 1

2

112

)??)(?2?(

)()

SSE

SSR )Y ?Y Y Y ?n

1

i 2

i

i n

1

i 2i +=-+-=∑∑

==

2.10 用第9题证明是σ2的无偏估计量

证明：

2

2

211

221122

11??()()()22()111var()[1]221

(2)2

n n i i i i n n i i i i xx E E y y E e n n x x e n n n L n n σσσσ=====-=---==----=

-=-∑∑∑∑ 2.11 验证决定系数与F 值之间的关系式

2

2-+=

n F F

r

证明：

21

1/1

1/(/(2))1221SSR SSR r SST SSR SSE SSE SSR

SSR SSE n F n F n F =

==

++=+

-==

-+-+

2.14 为了调查某广告对销售收入的影响，某商店记录了5个月的销售收入y （万元）和广告费用x （万元），数据见表2.6，要求用手工计算： 表2.6

（1） 画散点图（略）

（2） X 与Y 是否大致呈线性关系？ 答：从散点图看，X 与Y 大致呈线性关系。

（3） 用最小二乘法估计求出回归方程。

计算表

2?2

2-=

∑n e i

σ

（4） 求回归标准误差 先求SSR （Qe ）见计算表。 所以

（5） 由于(1-α)的置信度下， 的置信区间是 查表可得 915.110

667

.36?2?1

==

=

xx

L S σβ 所以 的95%的区间估计为：（7—3.182*1.915，7+3.182*1.915），即（0.906,13.094）。

351.6)10

25

51(667.36)1(?22

?

=+=+=xx L X n S σβ

所以 的95%的区间估计为：（-1-3.182*6.351，-1+3.182*6.351）， 即（-21.211, 19.211）。^

0β的置信区间包含0，表示^

0β不显著。 （6） 计算x 和y 的决定系数

说明回归方程的拟合优度高。 （7） 对回归方程作方差分析

方差分析表

????(,)i

i

i i t s t s ααββ

ββ-?+?i

β?182

.3)3()2(025.02/==-t n t α1?β0?β

F 值=13.364>F 0.05(1,3)=10.13(当n 1=1,n 2=8时，α=0.05查表得对应的值为10.13),所以拒绝原假设，说明回归方程显著。

（8）做回归系数β1的显著性检验H0: β1=0

656.3915.1/7/?1

?1===β

βS t t 值=3.656>t 0.05/2(3)=3.182,所以拒绝原假设，说明x 对Y 有显著的影响。

（8） 做相关系数R 的显著性检验

R 值=0.904>R 0.05(3)=0.878,所以接受原假设，说明x 和Y 有显著的线性关系。

（9） 对回归方程作残差图并作相应的分析

残差图(略) .从残差图上看出，残差是围绕e=0在一个固定的带子里随机波动，基本满足模型的假设e i ~N(0, σ2

), 但由于样本量太少, 所以误差较大.

（10） 求广告费用为4.2万元时,销售收入将达到多少?并给出置信度为95%的置信区间. 解: 当X 0=4.2时,

所以广告费用为4.2万元时, 销售收入将达到28.4万元. 由于置信度为1-α时，Y 0估计值的置信区间为:

)10

44.1511(667.36)(11(?202

?0

++=-++=-xx Y

Y L X X n S σ

所以求得Y 0的95%的置信区间为: [6.05932 ,50.74068] 预测误差较大.

02

2

?000

?0??Y

Y Y Y S t Y Y S t Y --?+<

100=?+-=+=X Y ββ

3.1

y x =β

基本假定：

（1） 诸1234n x ,x x ,x x ……非随机变量，rank （x ）=p+1，X 为满秩矩阵

（2） 误差项()()200i i j E ,i j cov ,,i j

?ε=?

?δ=?εε=??≠??

（3）()2

0i i j ~N ,,?εδ??εε??诸相互独立

3.2

()10111

?X X X X |rank(X X )p rank(X )p n p -'β'≠'=+≥+≥+存在，必须使存在。即|则必有故

3.3

()()()()

()22

11

122

1222211111111

n n

n

i i ii i i i n

ii i n

i i E e D e h n h n p ?E E e n p n p n p =====??==-δ ?????

=-δ=--δ ???

??∴δ==--δ=δ ?

----??∑∑∑∑∑ 3.4

并不能这样武断地下结论。2

R 与回归方程中的自变量数目以及样本量n 有关，当样本量n 与自变量个数接近时，2

R 易接近1，其中隐含着一些虚假成分。因此，并不能仅凭很大的2

R 就模型的优劣程度。 3.5

首先，对回归方程的显著性进行整体上的检验——F 检验

001230p H :β=β=β=β==β=……

接受原假设：在显著水平α下，表示随机变量y 与诸x 之间的关系由线性模型表示不合适 拒绝原假设：认为在显著性水平α下，y 与诸x 之间有显著的线性关系

第二，对单个自变量的回归系数进行显著性检验。

00i H :β=

接受原假设：认为i β=0，自变量i x 对y 的线性效果并不显著

3.6

原始数据由于自变量的单位往往不同，会给分析带来一定的困难；又由于设计的数据量较大，可能会以为舍入误差而使得计算结果并不理想。中心化和标准化回归系数有利于消除由于量纲不同、数量级不同带来的影响，避免不必要的误差。

3.7

11

22

011122201122p

p

p p p p p ?????y x x x ??????y y (x x )(x x )(x x )????y x x )x x )x x )?y =β

+β+β++β-=β+β-+β-++β--ββ=-+-++-=+对最小二乘法求得一般回归方程：

……对方程进行如下运算：

……

……*j

j

?+β=……即

3.8

121321233132212312212331

3123

11232332

13

231313*********

111

r r r r r r r r r

r r r r r r r r r r r r ?? ?= ? ????==-?=

=-?=

=-即证

3.9

()

()()()

()

1211121121211111j j

j j j p j j j p yj j j p SSR /SSE F SSE /n p SSE /n p SSE x ,x ,,x ,x x SSE x ,x ,

,x ,x ,x x r SSE x ,x ,,x ,x x -+-+-+??=

=

-----=

……,

而……,

由上两式可知，其考虑的都是通过j SSE ?在总体中所占比例来衡量第j 个因素的重要程度，因而j F 与2

yj r 是等价的。

4.1 试举例说明产生异方差的原因。

答：例4.1：截面资料下研究居民家庭的储蓄行为 Yi=β0+β1Xi+εi

其中：Yi 表示第i 个家庭的储蓄额，Xi 表示第i 个家庭的可支配收入。

由于高收入家庭储蓄额的差异较大，低收入家庭的储蓄额则更有规律性，差异较小，所以εi 的方差呈现单调递增型变化。

例4.2：以某一行业的企业为样本建立企业生产函数模型 Yi=Ai β1 Ki β2 Li β3e εi

被解释变量：产出量Y ，解释变量：资本K 、劳动L 、技术A ，那么每个企业所处的外部环境对产出量的影响被包含在随机误差项中。由于每个企业所处的外部环境对产出量的影响程度不同，造成了随机误差项的异方差性。这时，随机误差项ε的方差并不随某一个解释变量观测值的变化而呈规律性变化，呈现复杂型。 4.2 异方差带来的后果有哪些？

答：回归模型一旦出现异方差性，如果仍采用OLS 估计模型参数，会产生下列不良后果： 1、参数估计量非有效

2、变量的显著性检验失去意义

3、回归方程的应用效果极不理想

总的来说，当模型出现异方差性时，参数OLS 估计值的变异程度增大，从而造成对Y 的预测误差变大，降低预测精度，预测功能失效。

4.3 简述用加权最小二乘法消除一元线性回归中异方差性的思想与方法。 答：普通最小二乘估计就是寻找参数的估计值使离差平方和达极小。其中每个平方项的权数相同，是普通最小二乘回归参数估计方法。在误差项等方差不相关的条件下，普通最小二乘估计是回归参数的最小方差线性无偏估计。然而在异方差的条件下，平方和中的每一项的地位是不相同的，误差项的方差大的项，在残差平方和中的取值就偏大，作用就大，因而普通最小二乘估计的回归线就被拉向方差大的项，方差大的项的拟合程度就好，而方差小的项的拟合程度就差。由OLS 求出的仍然是的无偏估计，但不再是最小方差线性无偏估计。所以

就是：对较大的残差平方赋予较小的权数，对较小的残差平方赋予较大的权数。这样对残差所提供信息的重要程度作一番校正，以提高参数估计的精度。 加权最小二乘法的方法：

4.4简述用加权最小二乘法消除多元线性回归中异方差性的思想与方法。

答：运用加权最小二乘法消除多元线性回归中异方差性的思想与一元线性回归的类似。多元线性回归加权最小二乘法是在平方和中加入一个适当的权数i w

，以调整各项在平方和中的

作用，加权最小二乘的离差平方和为： ∑=----=n i ip p i i i p w x x y w Q 1

2

11010)( ),,,(ββββββ （2）

加权最小二乘估计就是寻找参数p

βββ,,,10 的估计值

pw

w w βββ?,,?,?10 使式（2）的离差

平方和

w Q 达极小。所得加权最小二乘经验回归方程记做

p

pw w w w x x y βββ????110+++= （3）

多元回归模型加权最小二乘法的方法:

首先找到权数i w ，理论上最优的权数i w 为误差项方差2

i σ的倒数,

21

i i w σ=

（4）

误差项方差大的项接受小的权数，以降低其在式（2）平方和中的作用; 误差项方差小的项

接受大的权数，以提高其在平方和中的作用。由（2）式求出的加权最小二乘估计

pw

w w βββ?,,?,?10 就是参数

p

βββ,,,10 的最小方差线性无偏估计。

一个需要解决的问题是误差项的方差2

i σ是未知的,因此无法真正按照式（4）选取权数。在实际问题中误差项方差2i σ通常与自变量的水平有关(如误差项方差2

i σ随着自变量的增大而增大),可以利用这种关系确定权数。例如2i σ与第j 个自变量取值的平方成比例时, 即

2

i σ=k

2

ij

x 时

,

220111???()()N N w i i i i i i i i Q w y y w y x ββ===-=--∑

∑

22

__

1

_2__02

2

2

2()()?()?111

1

,i i N w i i i w i w i w w

w w w

kx i i

i i m

i i

i m

i w x x y y x x y x w kx x kx w x σβ

ββ

σ

σ==---=-=

=

=

==∑

∑

1N i =11表示=或

21ij

i x w

=

（5）

更一般的情况是误差项方差2

i σ与某个自变量j x (与|e i

|的等级相关系数最大的自变量)取值

的幂函数

m

ij

x 成比例，即2

i σ=k m

ij x ,其中m 是待定的未知参数。此时权数为

m ij

i x w 1

=

（6）

这时确定权数

i w 的问题转化为确定幂参数m 的问题，

可以借助SPSS 软件解决。4.5（4.5）

式一元加权最小二乘回归系数估计公式。

证明： 由 得： w

w w i

n i i

w i w i

n

i i

x y x x

w y y x x

w 102

1

1

1

??)()

)((?βββ-=---=∑∑==

4.6验证（4.8）式多元加权最小二乘回归系数估计公式。 证明：对于多元线性回归模型 ,y =X β+ε （1）

2()0,cov(,)E σ'?==εεεW ，即存在异方差。设

,00

n w '=??=

? ???

W DD D ，

用-1

D 左乘（1）式两边，得到一个新的的模型：

---111D y =D X β+D ε，即***y =X β+ε。

因为

22

()()()E E E σσ---''''''====1-11-11-1εεD εεD D εεD D WD I ， 故新的模型具有同方差性，故可以用广义最小二乘法估计该模型，得

111?()()()**-**------''''''''===1111w

βX X X y X D D X X D D y X WX X Wy

原式得证。

22

0111

???()()N

N

w i i i

i i

i i i Q w y y w y x ββ===-=--

∑

∑01

00??

Q Q ββ??==??

4.7 有同学认为当数据存在异方差时，加权最小二乘回归方程与普通最小二乘回归方程之间必然有很大的差异，异方差越严重，两者之间的差异就越大。你是否同意这位同学的观点？说明原因。

答：不同意。当回归模型存在异方差时，加权最小二乘估计（WLS ）只是普通最小二乘估计（OLS ）的改进，这种改进可能是细微的，不能理解为WLS 一定会得到与OLS 截然不同的方程来，或者大幅度的改进。实际上可以构造这样的数据，回归模型存在很强的异方差，但WLS 与OLS 的结果一样。加权最小二乘法不会消除异方差，只是消除异方差的不良影响，从而对模型进行一点改进。 4.8 对例4.3的数据，用公式

iw

i iw e w e ='

计算出加权变换残差'

iw e ，绘制加权变换残差图，

根据绘制出的图形说明加权最小二乘估计的效果。 解：用公式

iw

i iw e w e ='计算出加权变换残差'

iw e ，分别绘制加权最小二乘估计后的残差图

和加权变换残差图（见下图）。

根据绘制出的两个图形可以发现加权最小二乘估计没有消除异方差，只是对原OLS 的残差有所改善，而经过加权变换后的残差不存在异方差。 5.10

(1)建立y 对2

6x ~x 的线性回归方程

由上可知，线性回归方程是：

23456

59228274864237481790114539846867y ..x .x .x .x .x =++-+-（2）用后退法选择变量

由上三表可知，用后退法选出的变量及其回归方程为：

34614453809482310971882827999232202y ..x .x .x .x =-+--+

（3）用逐步回归法选择自变量

Model Summary

Model R R Square Adjusted R

Square

Std. Error of the

Estimate

1 .498a.248 .194 1092.832

2 .697b.485 .406 937.950

3 .811c.657 .572 796.609

a. Predictors: (Constant), x3

b. Predictors: (Constant), x3, x5

c. Predictors: (Constant), x3, x5, x4

逐步回归法可得：

35414128073440348729415136y ..x .x .x =++-

(4)根据以上计算结果分析后退法与逐步回归法的差异：

两个方法得到的最终模型是不同的。在后退法中首先剔除了5x ，第二步剔除了2x ；而逐步回归法则在第二步引入了5x ，第三步引入了4x 。说明两种方法对自变量重要性的认可是不

同的，这与自比那两之间的相关性有关。相比之下，后退发首先做全模型的回归，每个自变

量都有机会展示自己的作用，所得结果更值得信服。如，在本题中可以看到，5x 是之后六

个月的最惠利率，对因变量的影响似乎并不大。

7

1.岭回归估计是在什么情况下提出的？

答：当解释变量间出现严重的多重共线性时，用普通最小二乘法估计模型参数，往往参数估计方差太大，使普通最小二乘法的效果变得很不理想，为了解决这一问题，统计学家从模型和数据的角度考虑，采用回归诊断和自变量选择来克服多重共线性的影响，这时，岭回归作为一种新的回归方法被提出来了。

2.岭回归估计的定义及其统计思想是什么？

答：一种改进最小二乘估计的方法叫做岭估计。当自变量间存在多重共线性，∣X'X ∣≈0时，我们设想给X'X 加上一个正常数矩阵kI(k>0),那么X'X+kI 接近奇异的程度小得多，考虑到变量的量纲问题，先对数据作标准化，为了计算方便，标准化后的设计阵仍然用X 表

示，定义为

，称为的岭回归估计，其中k 称为岭参数。

3.选择岭参数k 有哪几种主要方法？

答：选择岭参数的几种常用方法有1.岭迹法，2.方差扩大因子法，3.由残差平方和来确定k 值。

4.用岭回归方法选择自变量应遵从哪些基本原则？ 答：用岭回归方法来选择变量应遵从的原则有：

（1）在岭回归的计算中，我们假定设计矩阵X 已经中心化和标准化了，这样可以直接比较标准化岭回归系数的大小，我们可以剔除掉标准化岭回归系数比较稳定且绝对值很小的自变量。

（2） 当k 值较小时标准化岭回归系数的绝对值并不是很小，但是不稳定，随着k 的

增加迅速趋于零。像这样的岭回归系数不稳定,震动趋于零的自变量，我们也可以予以删除。

（3） 去掉标准化岭回归系数很不稳定的自变量，如果有若干个岭回归系数不稳定，

究竟去掉几个，去掉哪几个，这并无一般原则可循，这需根据去掉某个变量后重新进行岭回归分析的效果来确定。

()()1

?''X X I X y β

κκ-=+β