第5章 直线回归与相关

另一类是 非确定性关系，不能用精确的数学公 式来表示，当变量x的值取定后，y有若干种可 能取值。
如人的身高与体重的关系，作物种植密度与产量的关 系，食品价格与需求量的关系等等，这些变量间都存在着 十分密切的关系，但不能由一个或几个变量的值精确地求 出另一个变量的值。统计学中把这些变量间的关系称为相 关关系，把存在相关关系的变量称为相关变量。 在一定范围内，对一个变量的任意数值（Xi）， 虽然没有另一个变量的确定数值yi与之对应，但是却有
回归分析的任务就是揭示出呈因果关系 的相关变量间的联系形式，建立它们之 间的回归方程，利用所建立的回归方程， 由自变量（原因）来预测、控制依变量 （结果）。 回归分析主要包括：找出回归方程；检 验回归方程是否显著；通过回归方程来 预测或控制另一变量。
统计学上采用相关分析 (correlation analysis) 来研究呈平行关系相关变量之间的关系。 对两个变量间的直线关系进行相关分析 称为简单相关分析（也叫直线相关分析）； 对多个变量进行相关分析时，研究一个 变量与多个变量间的线性相关称为复相关 分析；研究其余变量保持不变的情况下两 个变量间的线性相关称为偏相关分析。
2
SS y y y / n 3104.20 145.4 / 7 84.0343
然后计算出b、a：
66.7857 b 1.2550 SS x 53.2123
SPxy
a y bx 20.7714 1.2550 5.4286 13.9585
一个特定yi的条件概率分布与之对应，这种变量的不确
定关系，称为相关关系。
相关变量间的关系一般分为两种:
一种是因果关系，即一个变量的变
化受另一个或几个变量的影响。如小麦
的生长速度受遗传特性、营养水平、管
理条件等因素的影响。
另一种是平行关系，它们互为因果 或共同受到另外因素的影响。如人的身 高和胸围之间的关系属于平行关系。
图5-1 x与y的关系散点图
相关关系示意图
正相关 负相关 零相关
零相关
0<r<1 (a ) 完全正相关
-1<r<0 (c) 完全负相关
r0 (e) 零相关
r0 (g) 零相关
r＝ 1 (b)
r＝-1 (d)
r＝0 (f)
r=0 (h)
由散点图（图5-1）可以看出：
① 两个变量间有关或无关；若有关，两个变量 间关系类型，是直线型还是曲线型； ② 两个变量间直线关系的性质（是正相关还是 负相关）和程度（是相关密切还是不密切）；
散点图可直观地、定性地表示了两个变量之间 的关系。为了探讨它们之间的规律性，还必须
根据观测值将其内在关系定量地表达出来。
若呈因果关系的两个相关变量y（依变量）与 x（自变量）间的关系是直线关系，，那么，根 据n对观测值所描出的散点图，如图5-1（b）和 图5-1（e）所示。 由于依变量y的实际观测值总是带有随机误 差，因而依变量y的实际观测值yi可用自变量x的 实际观测值xi表示为：

最小
（5-3）
根据微积分学中的求极值的方法，令 Q对a、b的一阶偏导数等于0，即：
n Q 2 yi a bxi 0 a i 1 Q n 2 yi a bxi xi 0 i 1 b
（5-4）
经整理，得关于a、b的正规方程组：
2 2 2
xy x
a y bx
（5-7）
在5-7式中，分子为自变量x的离均差与 依变量y的离均差的乘积和
y) ( x x )( y ，
简称乘积和，记作 SPxy ，分母是自变量x的离
均差平方和
所以

( x x ) 2 ，记作SSX。
xy x
( x x )( y y ) SP b ( x x) SS
2
a y bx
a为回归截距（regression intercept），是回归
直线与y轴交点的纵坐标，当x=0时， ；a ˆ＝ y
b为回归系数（regression coefficient），表示x变化
一个单位，y平均变化的数量；b的符号反映了 x影响y的性质，b的绝对值大小反映了x 影响y 的程度； y ˆ 为回归估计值，是当x在其研究范 围内取某一个值时，y值平均数 估计值。
x
的
ˆ＝E（y）＝E（ x） y
回归方程的基本性质：
2 性质1 剩余平方和 Q ( y y ˆ ) 最小
性质2
性质3 如果将 a
ˆ) 0 (y y
回归直线通过点 ( x , y )
y bx 式代入（5-2）式，可得
到回归方程的中心化形式：
ˆ( x x ) ˆ y b y
y i xi i
（i=1,2, …, n） （5-1）
式中：α，β为未知参数， i为相互独立，且服从N
2 ）的随机变量。这就是直线回归的数学模型。 （ 0，
总体线性回归模型的图示
Y
yi xi i
观察值
i
yx x
X
观察值
统计学上采用回归分析 （regression analysis）方法研究呈因果关系的相关变量间 的关系。表示原因的变量称为自变量，表示结果 的变量称为依变量。 研究“一因一果”，即一个自变量与一个依 变量的回归分析称为一元回归分析； 研究“多因一果”，即多个自变量与一个依 变量的回归分析称为多元回归分析。 一元回归分析又分为直线回归分析与曲线回 归分析两种；多元回归分析又分为多元线性回归 分析与多元非线性回归分析两种。
SSy=84.0343
b= SPxy/SSx＝66.7857/53.2143＝1.255
b0=y-bx＝20.7714-1.255×5.4286=13.9585
Y=13.9585+1.255X
注：x、y分别为X、Y的平均数
根据直线回归方
程可作出回归直线，
见图。从图看出，
并不是所有的散点
都恰好落在回归直
1.00 9.00 16.00 30.25 49.00 64.00 90.25 259.50
15.0 54.0 76.0 115.5 158.2 190.4 247.0 856.1
225.00 324.00 361.00 441.00 510.76 566.44 676.00 3104.20
回归方程计算表2（二级数据）
（x）为横坐标，
甜度（y）为纵坐
30 25 20 15 10 5 0 0 2 4 6 8 10
标作散点图，如
图5-2所示。
蔗糖质量分数 x %
图5-2 食品甜度与蔗糖浓度的关系
（2）计算回归截距a，回归系数b，建立直线回
归方程
首先根据实际观测值计算出下列数据：
x x / n 38.0 / 7 5.4286
y y / n 145.4 / 7 20.7714
2 2
SS x x x / n 259.5 38.0 / 7 53.2143
2
SPxy xy
2
( x )( y ) n
2
38 145.7 856.1 66.7857 7
第五章 直线回归与相关
客观事物在发展过程中是相互联系、
相互影响，常常要研究两个或两个
以上变量间的关系。
1 回归与相关的概念
确定性关系
各种变量间的关系大致可分为两类：
非确定性关系
一类是完全确定性的关系，又称函数关系，可以 用精确的数学表达式来表示，即当变量x的值取 定后，变量y有唯一确定的值与之对应。 如长方形的面积（S） 与 长（a）和宽（b）的关 系： S=ab。它们之间的关系是确定性的，只要知 道了其中两个变量的值就可以精确地计算出另一个 变量的值，这类变量间的关系称为函数关系。
n n na b xi yi i 1 i 1 n n n a xi xi2 b xi yi i 1 i 1 i 1
（5-5）
解正规方程组，得：
xy ( x)( y) / n ( x x )( y y ) SP b x ( x ) / n ( x x) SS
的点的距离的平方和最小
y


n
i 1
yi yi
n 2 i i 1
2
e
最小
e1
e2
e3
e4
x
ˆ 与实际观测值 a 、b应使回归估计值 y y的偏差平方和最小，即：总的离回归平 方和，即剩余平方和
Q
( y yˆ ) ( y a bx)
2
2
总体线性回归模型
参数
随机误差
yi xi i
因变量
yx
y条件平均数
自变量
2.1.2 参数α，β的估计 最小二乘估计法 设回归直线方程为:
ˆ a bx y
（5-2）
其中， a 是α的估计值，b是β的估计值。
建立 样本线性回归方程的方法 最小二乘法
实际观察值与样本回归线上
函数关系 有精确的数学表达式 （确定性的关系） 直线回归分析 一元回归分析 变量间的关系 因果关系 曲线回归分析 (回归分析） 多元线性回归分析 多元回归分析 相关关系 多元非线性回归分析 （非确定性的关系） 简单相关分析—— 直线相关分析 平行关系 复相关分析 （相关分析） 多元相关分析 偏相关分析
离回归均方是模型（5-1）中σ2的估计值。 离回归均方的平方根叫离回归标准误，记为
S， yx
S yx
2 ˆ ( y y) /(n 2)