第八章方差分析与回归分析

精心整理

第八章方差分析与回归分析

§1单因素试验的方差分析

试验指标：研究对象的某种特征。 例各人的收入。

因素：与试验指标相关的条件。

例各人的学历，专业，工作经历等与工资有关的特征。

因素水平：因素所在的状态

例学历是因素，而高中，大学，研究生等，就是学历因素水平；数学，物理等就是专业的水平。

问题假设

1,,r A ；

2。各个总体的抽样过程是独立的。3）~i X 1原假设22,,,r μσ进行参数估计。注

121

0r

i

k δ

==∑各类样本均值

水平i A 的样本均值：1

1

i

n i ij

j i

X X

n ==

∑；

水平总样本均值：11111i n r r

ij i i i j i X X n X n n =====∑∑∑，1

r

i i n n ==∑；

偏差平方和与效应 组间偏差平方和：

2

221

1

()r

r

A i i i i i i S n X X n X nX ===-=-∑∑；（衡量由不同水平产生的差异）

组内偏差平方和：

2

2

211

1

1

()()i

i

n n r

r

E ij i ij i i i j i j S X X X n X =====-=-∑∑∑∑；

（衡量由随机因素在同一水平上产生的差异） 总偏差平方和：

2

2

211

1

()i

n r

r

T ij i ij i j i S X X n X nX ====-=-∑∑∑；

（综合衡量因素，水平之间，随机因素的差异） 定理1（总偏差平方和分解定理）T A E S S S =+。

即11

11

)()i

n r

i i j i j X X ====+-∑∑∑∑注定理2(E ES n =证1

)E i ES ===∑定理3

1）/E S 2）如还有，

2/~A S σ证1~(ij X N 1,

,i n ，且独立，所以由第五章定理2

1()~(i

n ij ij i i i i j X X X X n μμχσ=⎛⎫⎛⎫----= ⎪ ⎪⎪ ⎪⎭⎝⎭∑∑利用2

χ可加性，即得2

2

21

/~()()E i i S n r n r σχχ=-=-，且i X 与E S 独立。

注意到1

1r

i i i X n X n ==∑，因此X 也与E S 独立，从而A S 也与E S 独立。

注这里只需方差假设相同，不需要假设均值相同。 2）

~(0,1)ij i

X N μσ

-，且独立，同样利用第五章定理2，

22,,1(

)~(1)ij i

i j i i j

i j X X n n μμχσ

σ

'''''----∑∑。

但在假设成立时，222,,,1

1(

)()ij i

i j i ij i j i j i j

X X X X n μμσ

σσ'''''---

=-∑∑∑，即得结论。且X 与T S 独立。 同时，2

22

1()()/~(1)r

i A i X X S r μμσχσ=⎛⎫---=- ⎪⎝⎭

∑。

注此处结论证明利用了i n 都相等，即利用：1,11

r k ij k i j

X X r n ==∑∑。但上述结论在组样本容量不同时，

直接利用正交变换仍可类似证明。

从统计角度看，如果假设0H 成立，那么

211

1

E A ES ES n r r σ==--，而在假设不成立时，11A ES r -定理1总体i X 2,

,,)r μσμδ+，其中所以i δ2

22

12

,()ln (,,

,,)ln(2)22ij i r i j

x n L μδμδδσπσσ--=--∑， 约束条件：

0i i

i

n δ

=∑。

求其最大值点得：

2

12

,()

ln (,,,,)202ij i r i j

x L μδμδδσμ

σ--∂

==∂∑

，

即：,0ij i i i j

i

x n n μδ--=∑∑；或，0nx n μ-=。

2

12

1

1()

[ln (,,,,)]2

02i

r

ij i r i i i i j n i

x L k n kn μδμδδσδδσ

=≤≤--∂

+=+=∂∑∑

，

（k 是拉格朗日乘子）

即20i i i i i i n x n n k n μδσ---=；或，20i i x k μδσ---=；

2212

2

4

,1ln (,,,,)()022r ij

i i j

n L x

μδδσμδσ

σ

σ

∂=-

+

--=∂∑，

即221()ij i

x σμδ=

--∑，或，22

221{22}ij i i i i i

x nx n x

n n σμδμδ=--++∑∑∑， μ--

i x x -。所以2ˆi

σ+∑同时，ˆˆ()2i i i i i i i i

i

x n x x n x δδ=--∑∑ 22()i i i i i

i i i

i

i

n n x x x n x nx =-=--=-+∑∑∑， 因此

}n

=

2第i

即可得到置信区间：

/2/2(((i i X t n r X t n r αα--+-。

但，必须注意，对整个问题而言，置信水平不再是1α-。记事件

/2/2{(((i i i i E X t n r X t n r ααμ=∈--+-。

则()1i P E α=-。但()1()1i i i

i

P E P E r α=-≥-。

§2一元线性回归

设有两个总体(,)X Y ，它们之间不是独立的，而是具有某种依赖关系，即对它们抽样，得到的是一对样本和观测值：11(,),

,(,)n n X Y X Y ，11(,),

,(,)n n x y x y 。

例父子的身高；某种动物体重和体积，等等。

现在关心的问题是：从观测的结果，能否找出它们之间的联系？即

()()Y f X X ε=+，其中ε是随机变量。

从实际问题出发，也可认为X 是非随机的确定自变量，本来两者之间应该有确定的函数关系，但由于某种干扰，这种关系产生了某种不确定性。如何合理地确定其关系()f x ？

一元线性回归模型 假设

1）

Y =2）~ε问题方法

1） 确解记y =1

n xx i l ==∑1

i =012

011

10

n

n i i i i i ny n n x x y nx x ββββ==--=⎧⎪⎨--=⎪⎩∑∑， 即2211

1

()0n

n

i i i i i x y nxy x nx β==---=∑∑，因此解为：

1ˆ

ˆxy xx xy

xx l y x l l l ββ⎧=-⎪⎪

⎨

⎪=⎪⎩

。 2） 随机观点：最大似然估计

最大似然函数2

011

()21101(,,;,

,;,)n

i i i y x n

n n L y y x x e

ββσββ=---∑

=。

因此，由

01

ln ln 0L L

ββ∂∂==∂∂，即得类似结论。 注把i x

值时，

0ˆY β=定理（（2）（3）0ˆy 证：1

ˆβ1ˆn i E β==1ˆn

i D β=类似，00111010

1

1()()11ˆ[][]()

()([1[1]n n

i i i i i i xx xx n

n

i i i

i i xx xx

x x x x x x E EY x n L n

L x x x x x x x L L βββββ====--=-=-+--=-+-=∑∑∑

∑，

21(()1[]n

i i i xx xx x x x x x n L L σ=--=-∑222

2

1

(n

i i xx xx x x x x L L σσ=-=-=-∑。 最后，0010

ˆˆˆy x ββ=+是正态分布显然成立， 0010ˆEy

x ββ=+，

222

2

2

2220000

1001

00()121ˆˆˆˆˆ2cov(,)[][xx xx xx xx

x x x x Dy D x D x x x n L L L n L σββββσσσ-=++=+-+=+该定理表明，上述参数估计都是无偏的，但要提高有效性，即减小其方差，就要n 和xx L 足够大。

回归方程的显着性检验

如果回归方程中10β=，那么即说明Y 和X 不具有线性关系，就称回归方程不显着；否则，就称其是显着的。

显着性检验0H ：10β=；1H ：10β≠

（我们是准备接受结论1H 的，以进行后面的工作；但是，如果直接把其作为原假设，所谓接受该假设，意思是说，

i y 是其

101(ˆ(n

R i n

i S β====∑∑12

21

1

2

1(()[()]ˆ2n

E i n

n

xy xy xy i i i i i i xx

xx

xx

xy xy yy xx xy yy xy

xx xx S L L L Y Y x x Y Y x x L L L L L L L L L L L L β=====-+

-

=-+

-⎛⎫=+-=- ⎪⎝⎭

∑∑∑，

（回归值和观察值的偏差：由随机误差，可能存在的非线性关系，都会引起该偏差） 直接计算得到：2(2)E ES n σ=-。 关于这些偏差有如下结果。

定理（1）T R E S S S =+；

（利用011

1

ˆˆˆ()()0n

n

i i i i

i i Y Y Y x ββ==-=--=∑∑，011

1

ˆ()()0n

n

i i i i i i i i Y Y x Y x x ββ==-=--=∑∑） （2）22/~(2)E S n σχ-；由此，2(2)E ES n σ=-。

（3）在假设0H 成立时（即10β=时），2

2

/~(1)R S σχ；2

1

ˆ~(0,

xy xx

xx

L N L L σβ=；

（4）R S （或1ˆβ）与,E S Y 独立。 证（2

）对2

2

2

1

1

()()]

n

n

E i i

i

i i S Y nY x x Y Y ===----∑，做正交变换

1

2

n n n n nn x x

x L Z Y n α⎥⎥⎦⎦

1α性，只要使其成为正交阵。这时，n

j =⎥

⎦

22

2

/S Z σ--⎢⎥⎣⎦

22

2

2222

2221

1111/[()]/[(///~(1)n n xy i i i i R i i xx xx xx

L Z x x y x x y y S L L L σσσσσχ===-=--==∑∑即得结论。

1．F 检验：如果假设成立，构造统的计量~(1,2)/(2)

R

E S

F F n S n =

--应该是偏小的，所以拒绝域为

{(1,2)}W F F n α=>-

2．t 检验：构造统计量~(2)t t n =-，拒绝域/2{||(2)}W t t n α=>-

相关性检验L r =22//12xy R R E xx xy

T R E L S S S F

r L L S S S F n ==

==

++-

，{W r =≥