方差分析与回归分析

方差分析与回归分析 Company number：【WTUT-WT88Y-W8BBGB-BWYTT-19998】

第八章 方差分析与回归分析

§1 单因素试验的方差分析

试验指标：研究对象的某种特征。 例 各人的收入。

因素：与试验指标相关的条件。

例 各人的学历，专业，工作经历等与工资有关的特征。

因素水平：因素所在的状态

例 学历是因素，而高中，大学，研究生等，就是学历因素水平；数学，物理等就是专业的水平。

问题：各因素水平对试验指标有无显着的差异 单因素试验方差分析模型 假设

1）影响试验指标的因素只有一个，为A ，其水平有r 个：1,,r A A ；

2）每个水平i A 下，试验指标是一个总体i X 。各个总体的抽样过程是独立的。

3）2~(,)i i i X N μσ，且22i j σσ=。

问题：分析水平对指标的影响是否相同

1）对每个总体抽样得到样本{,1}ij i X j n ≤≤，由其检验假设： 原假设0:i j H μμ=，,i j ?；备选假设：1:i j H μμ≠，,i j ?； 2）如果拒绝原假设，则对未知参数21,,,r μμσ进行参数估计。

注

1）接受假设即认为：各个水平之间没有显着差异，反之则有显着差异。 2）在水平只有两个时，问题就是双正态总体的均值假设检验问题和参数估计问题。

检验方法

数据结构式：ij i ij i ij X μεμδε=+=++，偏差2~(0,)ij N εσ是相互独立的，

11r

i i i n n μμ==∑。不难验证，1

0r

i k δ==∑。

各类样本均值

水平i A 的样本均值：1

1i

n i ij

j i

X X

n ==

∑；

水平总样本均值：11111i n r r

ij i i i j i X X n X n n =====∑∑∑，1

r

i i n n ==∑；

偏差平方和与效应

组间偏差平方和：

2

221

1

()r

r

A i i i i i i S n X X n X nX ===-=-∑∑；（衡量由不同水平产生的差异）

组内偏差平方和：

2

2

211

1

1

()()i

i

n n r

r

E ij i ij i i i j i j S X X X n X =====-=-∑∑∑∑；（衡量由随机因素在同一水平上产生

的差异） 总偏差平方和：

2

2211

1

()i

n r

r

T ij i ij i j i S X X n X nX ====-=-∑∑∑；（综合衡量因素，水平之间，随机因素的

差异）

定理1（总偏差平方和分解定理） T A E S S S =+。

即2

2

211

11

11

()()()i

i

i

n n n r

r

r

ij ij i i i j i j i j X X X X X X ======-=-+-∑∑∑∑∑∑，或直接证明。

注：利用11

()()0i

n r ij i i i j X X X X ==--=∑∑即可证明。

定理2（统计特性）

2

()E ES n r σ=-，2

2

1(1)r

A i i

i ES r n σδ==-+∑，2

21

(1)r

T i i i ES n n σδ==-+∑。

证 2222221

1

1

1

()(())i i

n n r r E ij

i i

i i i i j i j ES EX n EX n σμσμ=====-=+--∑∑∑∑

定理3

1）22/~()E S n r σχ-，且E S 与A S 独立；

2）如果假设0H 成立，那么，22/~(1)T S n σχ-；且如果假设i n m =，

1i r ≤≤，则还有，22/~(1)A S r σχ-。

证 1）由于不同水平的样本间的独立性，E S 较易处理。对固定的i ， 2~(,)ij i i X N μσ，1,

,i j n =，且独立，所以由第五章定理2的结论，

22

2

11()~(1)i

i

n n ij i ij i i i i j j X X X X n μμχσσ==????----=- ? ? ? ??

???∑∑， 利用2

χ可加性，即得2

2

21

/~()()r

E i i S n r n r σχχ=-=-∑，且i X 与E S 独立。

注意到1

1r

i i i X n X n ==∑，因此X 也与E S 独立，从而A S 也与E S 独立。

注 这里只需方差假设相同，不需要假设均值相同。

2）

~(0,1)ij i

X N μσ

-，且独立，同样利用第五章定理2，

22,,1

(

)~(1)ij i

i j i i j

i j X X n n μμχσσ

'''''---

-∑∑。 但在假设成立时，222,,,1

1(

)()ij i

i j i ij i j

i j i j

X X X X n μμσ

σσ'''''---

=-∑∑∑，即得结论。且X 与T S 独立。

同时，2

22

1()()/~(1)r

i A i X X S r μμσχσ=??---=- ???

∑。

注 此处结论证明利用了i n 都相等，即利用：1,11

r k ij k i j

X X r n ==∑∑。但上述结论在

组样本容量不同时，直接利用正交变换仍可类似证明。 从统计角度看，如果假设0H 成立，那么

2111

E A ES ES n r r σ==--，而在假设不成立时，2

1111111r A E i i

E i ES ES n ES r n r r n r δ==+>----∑，即统计量/(1)

/()

A E S r F S n r -=

-将有偏大的趋势。那么，大到何值可以采信为推翻假设的反例，

就回到前面的假设检验问题了。

定理 置信度为α时，假设0H 的检验问题的拒绝域为{(1,)}W F F r n r α=≥--。 参数估计问题

如果各因素有显着差异，即对某些水平i j μμ≠，那么就需要估计这些参数的值和2σ。

1．最大似然估计

总体2

~(,)i i X

N μσ22

()2i x μσ--，所以最大似然函数为

2

2

()221,(,

,,)ij i x r i j

L μσμμσ--=，

一般，我们把i μ分成两部分：i i μμδ=+，其中1

i i

r μμ=∑。 所以i δ即表示了各水平的差异，有0i i i

n δ=∑。

由此最大似然函数可表示为，

2

2

()

22

1

,

(,,,,)

ij i

x

r

i j

L

μδ

σ

μδδσ

--

-

=。

对数最大似然函数：

2

22

12

,

()

ln(,,,,)ln(2)

22

ij i

r

i j

x

n

L

μδ

μδδσπσ

σ

--

=--∑，

约束条件：

i i

i

nδ=

∑。

求其最大值点得：

2

12

,

()

ln(,,,,)20

2

ij i

r

i j

x

L

μδ

μδδσ

μσ

--

?

==

?

∑，

即：

,

ij i i

i j i

x n n

μδ

--=

∑∑；或，0

nx nμ

-=。

2

12

11

()

[ln(,,,,)]20

2

i

r

ij i

r i i i

i j n

i

x

L k n kn

μδ

μδδσδ

δσ

=≤≤

--

?

+=+=?

∑∑，（k是拉格朗日乘子）

即20

i i i i i i

n x n n k n

μδσ

---=；或，20

i i

x k

μδσ

---=；

22

1

224

,

1

ln(,,,,)()0

22

r ij i

i j

n

L x

μδδσμδ

σσσ

?

=-+--=?

∑，

即22

,

1

()

ij i

i j

x

n

σμδ

=--

∑，或，

2222

,

1

{22}

ij i i i i i

i j i i

x nx n x n n

n

σμδμδ

=--++

∑∑∑，

整理结果得：

?x

μ=，2

???

i i

x k

δμσ

=--。

由此利用?0

i i

i

nδ=

∑，解得2??

k x

σμ

=-。因此

i i

x x

δ=-。

所以2222

,

1??

?{2}

ij i i i i i

i j i i

x nx n x n

n

σδδ

=--+

∑∑∑，

同时，2????

2()2

i i i i i i i i i i i

i i i i

n n x n x x n x

δδδδ

-=--

∑∑∑∑

22

?()

i i i i i i i i

i i i

n x n x x x n x nx

δ

=-=--=-+

∑∑∑，

因此

222

,

1

?{}E

ij i i

i j i

S

x n x

n n

σ=-=

∑∑。

2．区间估计

第i 个水平的均值：2~(,/)i i i X N n μσ

~(0,1)X N ；且

22/~()E S n r σχ-与其独立，所以

~()t n r -。

即可得到置信区间：

/2/2(((i i X t n r X t n r αα--+-。

但，必须注意，对整个问题而言，置信水平不再是1α-。记事件

/2/2{(((i i i i E X t n r X t n r ααμ=∈--+-。

则()1i P E α=-。但()1()1i i i

i

P E P E r α=-≥-。

§2 一元线性回归

设有两个总体(,)X Y ，它们之间不是独立的，而是具有某种依赖关系，即对它们抽样，得到的是一对样本和观测值：11(,),,(,)n n X Y X Y ，11(,),

,(,)n n x y x y 。

例 父子的身高；某种动物体重和体积，等等。

现在关心的问题是：从观测的结果，能否找出它们之间的联系即

()()Y f X X ε=+，其中ε是随机变量。

从实际问题出发，也可认为X 是非随机的确定自变量，本来两者之间应该有确定的函数关系，但由于某种干扰，这种关系产生了某种不确定性。如何合理地确定其关系()f x

一元线性回归模型 假设

1）01Y x ββε=++； 2）2~(0,)N εσ。

每次抽样，01i i i Y x ββε=++，其中2~(0,)i N εσ，且相互间是独立。 等价的观点：201~(,)i i Y N x ββσ+。

问题 由样本观测数据11(,),,(,)n n x y x y ，如何合理估计参数01,ββ

方法

1） 确定性观点：最小二乘法

01

201,1

min ()n

i i i y x ββββ=--∑，

使观测得到的ε的样本平方和偏差最小。

解 记11n i i y y n ==∑，11n

i i x x n ==∑，11

()()n n

xy i i i i i i l x x y y x y nxy ===--=-∑∑，

2

2

2

1

1

()n n xx i i

i i l x x x nx ===-=-∑∑，2

221

1

()n n

yy i i i i l y y y ny ===-=-∑∑。

求偏导得011

011()0()0n

i i i n i i i i y x y x x ββββ==?--=????--=??∑∑，解方程组得，

012

011

10

n

n i i i i i ny n n x x y nx x ββββ==--=???--=??∑∑， 即2211

1

()0n

n

i i i i i x y nxy x nx β==---=∑∑，因此解为：

01?

?xy xx xy xx l y x

l l l ββ?=-??

?

?=??

。 2） 随机观点：最大似然估计

最大似然函数2

011

()21101(,,;,

,;,)n

i i i y x n

n n L y y x x e

ββσββ=---

∑

=。

因此，由

01

ln ln 0L L

ββ??==??，即得类似结论。 注 把i x 是确定值，则,,yy xy L L Y 都是关于1,

,n Y Y 的统计量。所以，在不代入观

测值时，01

??,xy xy xx xx L L Y x L L ββ=-=也都是随机变量。 有结论，

定理 （1）22001?~(,())xy

xx xx L x Y x N L n l ββσ=-+，2

1

1?~(,)xy xx xx

L N L l σββ=； （2）201

??cov(,)xx

x l ββσ=-； （3）22

00010010()1???~(,())xx

x x y x N x n l ββββσ-=+++。

证：1

1

1

()()

()

?n

i

i

n

i i i i xx

xx

x x Y Y x x Y L L β==---==∑∑

，显然服从正态分布， 2211

01111111()()()?()()n

n n n

i i i i i i i i i i i xy xx xx xx x x x x x x E EY x x x nx L L L L ββββββ====---==+==-=∑∑∑∑222

2122

11()()?n n i i i i i xx xx xx

x x x x D DY L L L σβσ==--===∑∑。 类似，011()()1?[]n n

i i i i i i xx xx x x x x x x Y Y Y L n

L β==--=-=-∑∑也服从正态分布，且 00111010

1

1

()()11?[][]()()()[1][1]n

n

i i i

i i i xx xx n

n

i i i

i i xx xx x x x x x x E EY x n L n

L x x x x x x x L L ββββββ====--=-=-+--=-+-=∑∑∑

∑，

21()()1[]n

i i i xx xx x x x x x n L L σ=--=-∑222

2

1()n

i i xx xx

x x x x L L σσ=-=-=-∑。 最后，0010

???y x ββ=+是正态分布显然成立，

0010?Ey

x ββ=+， 222222220000100100()121?????2cov(,)[][]xx xx xx xx

x x x x Dy D x D x x x n L L L n L σββββσσσ

-=++=+-+=+该定理表明，上述参数估计都是无偏的，但要提高有效性，即减小其方差，就要n 和xx L 足够大。

回归方程的显着性检验

如果回归方程中10β=，那么即说明Y 和X 不具有线性关系，就称回归方程不显着；否则，就称其是显着的。 显着性检验 0H ：10β=；1H ：10β≠

（我们是准备接受结论1H 的，以进行后面的工作；但是，如果直接把其作为原假设，所谓接受该假设，意思是说，1H 成立时，没有出现小概率事件，就是说对该次抽样，不能否定1H 。所以，对自已的主张一般不作为原假设。我们把其对立面0H 作为原假设，意思是说，如果小概率事件出现，就有理由认为该假设不合理，该次抽样是一个反例。因此，接受其对立面1H ）

抽样后，得到样本i Y ，及其回归值01???i i

Y x ββ=+。 各类偏差平方和

先把记号定义整理一下：i x 或i X 不具有随机性的量。i Y 是样本，满足

01i i i Y x ββε=++，而i y 是其观测值。01,ββ是参数，01??,ββ是其无偏估计量，而01???i i

Y x ββ=+是其函数。,,yy xy L L Y 都是统计量。 总偏差平方和21

()n

T i yy i S Y Y L ==-=∑，

回归偏差平方和 212

2

2222011111?()???()()()n

R i

i n

n

n

xy xy

xy xy i i

i xx xx i i i xx xx xx xx S Y Y L L L L x Y Y x x Y x x L L L L L L βββ=====-????=+-=-+-=-== ? ???

??

∑∑∑∑（由随机因素引起的偏差）

可以直接计算得到：22221111[()]R xx xx xx ES L E L D E L βββσβ==+=+；

残差平方和

21

2

21

1

2

1?()()[()]?2n

E i i

i n

n

xy xy xy i i i i i i xx

xx

xx

xy xy yy xx xy yy xy

xx xx S Y Y L L L Y Y x x Y Y x x L L L L L L L L L L L L β====-=-+

-

=-+

-??=+-=- ???

∑∑∑，

（回归值和观察值的偏差：由随机误差，可能存在的非线性关系，都会引起该偏差）

直接计算得到：2(2)E ES n σ=-。 关于这些偏差有如下结果。

定理 （1）T R E S S S =+；

（利用011

1

???()()0n

n

i i i i

i i Y Y Y x ββ==-=--=∑∑，011

1

?()()0n

n

i i i i i i i i Y Y x Y x x ββ==-=--=∑∑） （2）22/~(2)E S n σχ-；由此，2(2)E ES n σ=-。

（3）在假设0H 成立时（即10β=时），2

2

/~(1)R S σχ；2

1?~(0,)xy xx xx

L N L L σβ=；

（4）R S （或1?β）与,E S Y 独立。 证 （2

）对2

2

2

1

1

()()]

n

n

E i i

i

i i S Y nY x x Y Y ===----∑，做正交变换

12

1

2

n xx n n n nn x x

x L Z Y Y n a a a ααα????

??

==?

??

???

??????????

，1α与2α是单位正交的向量，其余

向量具有一定的任意性，只要使其成为正交阵。这时，

1

0n

ij

j a

==∑，（与2α正交）；1

0n

ij j j a x ==∑，（与1α正交）。

这时，01)0x EZ βββ???+?

=???

????

，2cov(,)z z I σ=。同时，

2

22

22

22

222

1

1

3

/////n

n

E i

i i i S Z Z Z Z σσσσσ===--=∑∑，是2n -个独立标准正态分布

的随机变量的和，所以

22

~(2)E

S n χσ

-。

（3）如果假设0H

成立，000EZ ????

=????????

，即21/~(0,1)Z N σ。但

222

2222

2221

1111/[()]/[()(]///~(1)

n n xy i i i i R i i xx xx xx

L Z x x y x x y y S L L L σσσσσχ===-=--==∑∑即得结论。

1．F 检验：如果假设成立，构造统的计量~(1,2)/(2)

R

E S

F F n S n =--应该是偏

小的，所以拒绝域为{(1,2)}W F F n α=>- 2．t 检验：

构造统计量~(2)t t n =

-，拒绝域/2{||(2)}W t t n α=>-

相关性检验

L r =22//12xy R R E xx xy

T R E L S S S F

r L L S S S F n =

=

==++-

，{W r =≥