实验设计与数据处理：3回归分析

第3章回归分析

3.1 什么叫回归分析

一、问题的提出

回归分析是数理统计中的一种常用方法，是处理变量之间的相关关系的一种数学方法。通常将变量之间的关系分为以下两类：

1.确定性关系——函数关系

例如，在研究自由落体的运动规律中，我们知道物体下落的高度h与所需时间t之间，就有确定的关系h=0.5gt2 (0≤t＜T)

又如正方形的面积S与边长a之间，当边长a确定时，面积S＝a2，也就确定了，这类变量间关系的特点是，当自变量的值确定之后，因变量的值也随之确定，我们称变量间的这种关系为函数关系。

2.非确定性关系——相关关系

例如，人的身高与体重这两个变量间的关系，一般来说，身高者体也重，但是，体重却难以由身高确定。这说明这两个变量之间的不确定性。我们称变量间的这种关系为相关关系。

相关关系虽然不能用精确的函数关系表达，但通过对大量观测数据的分析，可以发现它们之间存在着一定的统计规律。

二、回归分析的内容——研究相关关系

回归分析是研究变量间相关关系的一种数理统计方法，它主要解决以下几个问题：

（1）从一组数据出发，确定相互间是否存在相互关系，如果存在，那么就确定他们之间的数学表达式——经验公式，并对所建立公式的可信程度作统计

检验；

（2）从许多变量中找出主要变量，判断哪些变量的影响是显著的，哪些变量的影响是不显著的。

（3）利用所找到的数学表达式（即经验公式）对变量进行预测或控制

3.2 一元线性回归分析

一、一元线性回归分析的数学模型

研究两个变量之间的相关关系的回归分析，称为一元回归。若其相关关系的统计规律性呈线性关系，则称为一元线性回归分析。

在一元线性回归中，我们要考察随机变量y与普通变量x之间的相互关系，称y为因变量，x为自变量。

例3-1 用银盐法测定食品中的砷时，吸光度y 与砷含量x 之间有一定的相关关系，了解其相关关系的步骤如下：

1.通过试验收集n组y与对应的x值，如表3-1所示。

表3-1 银盐法测定食品中砷的试验数据

2. 画散点图。这是表示两个变量间相关关系的一种直观办法。以x 为横坐标，以y 为纵坐标，每一对数据（x k ，y k ）作为一个点在坐标纸上以“⊙”表示出来，k=1，2，……，n 。

3. 观察散点图。从图中可以看出，6个点分布在一条直线附件。因此可认为y ～x 基本上服从线性关系，而这些点与直线的偏离是由于其它随机因素造成的。

因此，可以假定表3-1中的数据有如下关系：

εββ++=x y 0 （3-1）

ε～N(0,σ2)

其中（β0+βx ）表示y 随x 的变化而线性变化的部分。ε是一切随机因素影响的总和，有时也成为随机误差。它是不可观测其值的随机变量，并假定ε服从正态分布N （0，σ2）。x 是一般变量，即它是可以精确测量或严格控制的，y 是随机变量，但其值是可以观测的，其数学期望是x 的线性函数：

x y E ββ+=0)( （3-2）

这就是y 与x 相关关系的形式。y ～N(β0+βx, σ2) 对表3-1中的几组观测值，由式（3-1）可得：

k k k x y εββ++=0 (3-3)

各εi 相互独立。

E(εk )=0,D(εk )=σ2,k=1,2,3,·····，n. 式（3-3）称为一元线性回归的数学模型。

一元线性回归的首要任务，就是要根据表3-1去求式（3-2）中未知参数

β0和β的估计值b 0和b ，由此可得E(y)的估计值为

bx b y

+=0? (3-4) 式（3-4）称为y 关于x 的一元线性回归方程.其图像如图3-1中的直线所示，该直线称为回归直线，b 0和b 称为回归系数，b 是回归直线的斜率，b 0是截距。

二、参数β0 和β的最小二乘估计

求回归方程(3-4)，就是求β0 和β的估计b 0和b ，使得对一切x k ，观测

值y k 与回归值k bx b y +=0?的偏离达到最小。为此，我们用最小二乘法来求β0 和

β的估计。令

Q(β0,β)=∑=+-n

k k k bx b y 10)]([2 (3-5)

所谓β0和β的最小二乘估计，是指使下式成立的b 0和b ： Q(b 0,b)=β

β,0min Q(β0,β)

的函数。和是为已知，和ββ0∴Q y x k k 下面，求使Q(β0 ，β)取得极小值时的

b 0和b

()()???

??

??

=---=??=---=??∑∑======02021

0,10,0

0000k n

k k k b b n

k k k b

b x bx b y Q

bx b y Q ββββββ （3-6）

整理后，得

??

?

?

?

??=??? ??+??? ??=???

??+∑∑∑∑∑k k k k k k k k k k k y x b x b x y b x nb 200 （3-7）

式（3-7）称为正规方程组，其中∑k

表示∑=n

k 1

。

正规方程组（3-7）可化为另一种形式：

b 0 + b -

x = -

y (3-7a)

∑∑=+-

k

k k

k k y x x b b x n 2

(3-7b)

其中-

-

y x 和分别是样本均值。由式（3-7a ）解得： x b y b -=0 代入（3-7b ）式，得

∑∑--

---=

k

k

k k k

x

n x

y

x n y x

b 2

2 (3-8)

令 =∑--=可证明

))((k

k x xy y y x x l ∑-k

k k y x n y x

∑∑=--=k

k

k

k xx x n x

x x l 2

2

2)

(可证明

其中 ∑=

k k x n x 1 ∑=k

k y n y 1

故最小二乘估计为

???

????

=

-=xx

xy l l b x

b y b 0 (3-9)

于是，所求的回归直线方程为：

bx b y +=∧

显然，),0(0b 和),(y x 都是在回归直线上。

下面，我们来求例3-1的回归直线方程。计算过程通常用表格形式给出，如表3-2和表3-3所示。

表3-2 回归方程计算表（I ）

表3-3 回归方程计算表（II ）

在散点图3-1中，通过),0(0b 和),(y x 两点，即(0,0.001)和(4.167,0.184)两点引一条直线，即为所求的回归直线，其回归方程为

x y 044.0001.0+=∧

在表3-3中 ∑∑-=-=k

k

k k yy y n y y y l 2

2

2)(

附件 -- 标准曲线x b y

s =?的回归分析 因标准曲线受必须过坐标原点（0,0）的约束条件限制，故回归方程的形式简化为

x b y

s =? 用最小二乘法求β的估计，令

Q(β)=∑=-n

k k s k x b y 1][2

所谓β的最小二乘估计，是指使下式成立的s b ： Q(s b )=β

min Q(β)

的函数。是为已知，和βQ y x k k ∴ 下面，求使Q(β)取得极小值时的s b

()021

=--=??∑==k n k k s k b x x b y Q

ββ

整理后，得

∑∑=

k

k k

k

k s

x

y x b 2

求出回归方程后，还必须对回归方程进行显著性检验。检验不显著的回归方程无意义。回归方程的显著性检验方法，通常有方差分析和相关系数分析两种。

三、回归方程的显著性检查（F 检验, 即回归方程的方差分析）

由前面的讨论可知，对任意两个相关变量，即使他们不存在线性关系，也可以通过他们的一组观测值),,3,2,1)(,(n i y x i i =用最小二乘法求得y 对x 的回归直线方程。实际上如果y 与x 没有线性相关关系，那么所求出的线性相关方程是毫无实际意义的。

因此，建立了回归直线方程之后，还需要判断y 与x 之间是否真有线性相关关系，这就是回归效果的检验问题,称为回归方程的显著性检验。只有当“n 个点落在一条直线附近”时，才能认为y 与x 之间可配一元线性回归方程。从统计学观点来看“n 个点落在一条直线附近”就是要求Ｅ（y ）是x 的线性函数｛Ｅ（y ）＝β０+βx ｝，即在式（3-2）中β≠0，所以问题就转化为检验

H 0：β＝0

是否为真。若否定H 0则认为所建立的回归方程式（3-4）有实际意义；若接受H 0，则所建立的回归方程毫无意义。

1、 总的偏差平方和总S 的分解

(

)

2

∑-==k

yy y

y k l S 总

=()()[]2

??∑

-+-k

y y y

y k

k

k

=()()()

()∑

-∑

∑

-+--+k

k

k

k

k

k

y y

y y

y k

y y y k k 2

2

???

?2

由式（3-6）可知

()()

(

)

0??00=???

? ?

?

-

+--=--∑∑-

k

k k k k

k k k y bx b bx b y y y y

y 令

()

()∑

-∑

-==k

k

k k k

y

y s

y

y

s

??2

2

剩

回

则

s s s

剩回总

+= （3-10）

可以证明∑=k

k y n y ?1

，因此()∑-=k

y y

S k

?2

回反映回归值n

y y y ?,,?,?21 的离散程度，故称为S 回回归平方和。而且n y y y

?,,?,?21 的离散程度又是来源于x 1,x 2,···x n 的离散性，实际上

S 回＝2

002)]()[()?(∑∑+-+=-k

k

k x b b bx b y y

＝()()

xx

xy

xy xx k

k

l l bl l b k

k

x x b x x b

222

2

2

2

=

===

∑-∑- (3-11) 这里()∑-=

k

xx x x k

l 2

反映了x 1、x 2、……..x n

离散的程度，从而可知，S 回

实

际上反映了由x 变化所引起y 的波动大小。这是通过x 对y 的线性相关性而引起的。

S 剩＝∑-k

k k y y )?(2 反映了观测值与回归值之间的偏离，且等于Q （β0，

β）的最小值()∑

--k

k k bx b y 02

。反映除了x 对y 的线性影响之外的剩余因

素对y 所引起的波动大小。故

S

剩为剩余平方和（或残差平方和）

。 若回归方程有意义，即引起y 波动主要是由于x 变化而引起的，其他一切因素是次要的。即要求S 回尽可能大，而

S

剩则尽可能小。

2. 回归方程的显著性检验（即回归方程的方差分析）

为了检验H 0，很自然想到用S 回（线性影响）与S

剩（其他影响）进行比

较。在数理统计学中，用统计量F ()

2S -=

n F S

剩回

来体现x 对y 的影响的相对程度。可以证明，在假设H 0:β=0成立的条件下，统计量F 服从第一自由度为1，第二自由度为（n-2）的F 分布 即

()

)

2,

1(2S --=

n F n F S

～剩

回

(3-12)

显然，F 值越大（即S 回相对S 剩越大），y 与x 的线性相关关系越密切。对给定的显著性水平α，若F>F α(1，n-2)则拒绝接受H 0，我们称回归方程是显著的；若F ≤F α(1，n-2)，则接受H 0，回归方程不显著。

回归方程的显著性检验过程，可由一张“方程分析表”来进行，如表3-7所示。

表3-7 方差分析表

例3-1的方差分析表见表3-8。

表3-8 例3-1的方差分析表

注意：本题的S 剩＝0.001太小了，从而导致S 剩微小误差就会引起F 值的很

大波动（因为V 剩很小），因此解的稳定性很差。所以，书上这一题例题出的不好！

四、一元线性回归的相关系数及其显著性检验 1、相关系数

前面所讨论的用F 检验法，对回归方程进行显著性检验的方法称为方差分析，或者称为回归方程的方差分析。

文献中在讨论一元线性回归时,常应用相关系数这一重要指标来衡量两个变量(x,y)之间的线性关系的密切程度。相关系数（r ）定义为：

∑∑??

? ??-??? ??-∑--???

?

??-??? ?

?-=

=

-

-k

k

k k k yy

xx

xy y y x x y y x x l

l l

k k r 2

2

上式中r 的符号与l xy 有关，而且与回归系数b 符号一致。（b=l xy /l xx ） r 的绝对值总小于1，即 0≤|r|≤1

当相关系数r 的值不同时，可以说明不同的情况：

（1）r=0， 此时l xy =0,∴b=0，说明x 与y 无线性关系。即此时y=b 0+bx=b 0，是平行于x 轴的一条直线，说明y 的变化与x 无关。

（2）0＜|r|＜1，这是绝大多数情况，说明x 与y 之间存在着一定的线性关系。 当r ＞0时，b ＞0,此时称为正相关，y 随x 单调上升； 当r ＜0时，b ＜0,称为负相关，y 随x 增加单调下降。 |r|越小，说明数据点越分散；|r|越大，说明数据点越靠近回归线。

（3） |r|=1,说明所有的数据点均落在直线上，此时x 与y 完全线性相关。

实际上，此时x 与y 间存在着确定的线性函数关系（不只是相关关系）。 （板书相关系数与两个变量间的关系）

需要说明的是，当r 很小甚至等于0点，只表示数据点不是线性关系，并不表示x 与y 不成其他关系，如图E 所示。 对于例3-1，l

l l

yy

xx

xy r =

=0.994；对于例3-2，l

l l yy

xx

xy r =

=

4

.241994.67?=0.967。

显然，两个例子的相关系数r 均比较大，说明两个变量间的线性相关程度是很显著的。

那么，如果0＜|r|＜1，究竟|r|与1接近到什么程度才能说明x 与y 间存在线性相关关系呢？这就要对相关系数进行显著性检验。

2、相关系数的显著性检验

由概率论与数理统计知道，由于抽样误差的影响，一般来讲，使相关系数γ达到显著的值与抽样个数n 有关。许多书上都给出了“相关系数表”，供相关系数的显著性检验使用，相关系数表与抽样个数（n ）或自由度（f=n-2）有关，通常列出在两种信度α（0.05及0.01）下相关关系达到显著的最小值，超过此值时，就说x 与y 的相关关系在1-α水平上显著，α愈小，显著程度愈高。

由相关系数表查得，对于3-1（n=6），在α=0.05下相关系数达到显著的最小值0.811，而在α=0.01下达到显著的最小值为0.917；对于例3-2（n=10），在α=0.05下查得0.632，在α=0.01时查得0.765。因为两个例子的r 分别为0.994和0.967，所以它们均在α=0.01下达到显著，或者说两个相关系数均在0.99水平上高度显著，因而在x 、y 之间配回归直线是合理的。

注意：相关系数检验法与F 检验法，只是形式上的不同，实质上是一回事。 因为

xy bl S =回

)1()1(222

r l l l l l l l l bl l S S S yy yy

xx xy

yy xx

xy

yy xy yy -=-

=-

=-=-=回总剩

所以

()2

2

2

2

21)2()1()2()1()2(2S

r r n r l l l n r l bl n n F yy xx xy

yy xy

S --=--=--=-=

剩

回

或

2

2-+=n F F

r

关于r 的临界值表,可以利用上式根据F 的临界值反算出来。

因为对F 分布的临界值)2,1(-n F α,有

αα=->--=))2,1(1)2((2

2

n F r

r n F P 则容易得到 αα=->))2((n r r

P

其中，相关系数临界值与F 分布临界值的关系如下：

2

)2,1()

2,1()2(-+--=

-n n F n F n r ααα

如n =24和α=0.05时,

查相关系数临界值表得

0.3809＜r α(n -2)=r 0.05(22)＜0.4227. 查F 分布临界值表得:

F α(1,n -2)=F 0.05(1,22)=4.3. ∴ 由

2

)2,1()

2,1()2(-+--=

-n n F n F n r ααα

计算得： 404.0163.02

243.43

.4)22(05.0==-+=r .

五、可化为一元线性回归的问题

线性回归虽然很简单，但它有很广泛的应用。即使是非线性回归问题，只要范围适当地小，也可以用线性回归解决，因为一条曲线在小范围内是可用直线段来代替的。另外，一些非线性回归问题，可用适当的变量代换化成线性回归问题。

求y 对x 的回归方程，一般是先根据样本值作出散点图，然后看散点图的变化趋势；如果是线性的，我们就先用线性回归；如果不是线性趋势的，我们就选用适当的曲线拟和，即将散点图与各种函数曲线进行比较。根据最相适的曲线性状，选择一函数，然后，通过变量代换将非线性回归问题化成线性回归问题，我们就可按线性回归办法解决。

例3-3（see p74～76）

六、利用一元线性回归进行预测与控制（略，见葛炎等人的专著） 1. 点预测

给定x 。，由bx b y 000+=∧

求得 y 的一个点预测值y 0∧

。剩余标准差S=()2n S -剩

,S 愈小，预测精度越高。

2. 区间预测

对给定的x 。，在一定的置信度1-α下，寻找一个正数δ，使得实际观测

值y 。以1-α的概率落在区间???

? ??+-∧

∧δδy y 0,0内，这个区间即称为y 。的置信度为1-α的预测区间。δ用t 分布确定。（具体方法略）

3. 控制

控制是预测的反问题。即如果要求观测值在一定范围y 1

我们只讨论当n 很大的情况，y 的1-α预测区间近似为

()S bx b S bx b S S y y λλλλ++-+=???

?

??+-∧

∧000,, 由 ???

??++=-+=S S

bx b y bx b y λλ2

02101

分别解出x 1和x 2，即得x 的控制范围 当b>0时，控制区间为（x 1，x 2）； 当b<0时，控制区间为（x 2，x 1）。

其中的λ为自由度为（n-2）的t 分布表的分位数。(S=

()2n S -剩

；λ

为查t 分布表所得到的分位数，即P{|t|<λ}=1-α，f=n-2.)又∵n 很大时，t (n-2)分布接近N （0，1），∴λ可用在N （0，1）表中查α/2得到的λ0代替。