统计学 线性回归分析

稍高于其父代水平。Galton将这种趋向于种族稳
定的现象称之“回归”。
目前，“回归”已成为表示变量之间某种 数量依存关系的统计学术语，并且衍生出“回 归方程”“回归系数”等统计学概念。如研究 糖尿病人血糖与其胰岛素水平的关系，研究儿 童年龄与体重的关系等。
第一节 直线回归
一、直线回归的概念
目的：研究应变量Y对自变量X的数量依 存关系。 特点：统计关系。 X值和Y的均数的关系， 不同于一般数学上的X 和Y的函数
序号 (1) 1 2 3 4 5 6 7 8 9 10 11 12 合计
X 进食量(g)
(2) 305.7 188.6 277.2 364.8 285.3 244.7 255.9 149.8 268.9 247.6 168.8 200.6 2957.9 (Σ X)
Y 体重增加量(g)
(3) 23.6 14.7 19.2 27.7 18.9 16.1 17.2 12.9 18.3 17.7 13.7 15.6 215.6 (Σ Y)
， 回 1， 残 n 2
式中
MS回 为回归均方 MS残 为残差均方。
F 服从自由度为 回、 残 的F 分布。
SS回 bl XY l
2 XY
l XX b l XX
2
2. t 检验
对 0 这一假设是否成立还可进行如下 t 检验
例12-3 （续例12-1）根据表12-1数据进行回归 系数的方差分析。 解：先列出下列计算结果
成三个线段，其中： Y Y
ˆ ˆ (Y Y ) (Y Y ) 。由于 P
点
是散点图中任取的一点，将全部数据点都按上法处 理，并将等式两端平方后再求和则有
ˆ ˆ (Y Y ) 2 (Y Y ) 2 (Y Y ) 2
数理统计可证明：
ˆ ˆ (Y Y )(Y Y ) 0
例12-2 （续例12-1）根据表12-1数据， 对大白鼠的体重增加量进行回归分析。
解题步骤
1．由原始数据及散点图（图 12-1） 的观察，两变量间呈直线趋势，故作下 列计算。 2．计算 X 、 Y 的均数 X 、 Y 。 3．计算离均差平方和 l XX 、 lYY 与离 均差积和 l XY 。
X2
(4) 93452.49 35569.96 76839.84 133079.04 81396.09 59878.09 65484.81 22440.04 72307.21 61305.76 28493.44 40240.36 770487.13 2
Y2
(5) 556.96 216.09 368.64 767.29 357.21 259.21 295.84 166.41 334.89 313.29 187.69 243.36 4066.9 2
t 检验方法
n 12
SYX
前已算得 :
. SS剩 19.6 l XX 413894 b 0.0648
19.6 1.40 12 2
sb
1.40 413894 .
0.00688
0.0648 t 9.42 0.00688
12 2 10
注意：
（二）回归方程可信区间与预测
（2）计算统计量。见方差分析表
表 12-2 DF 1 10 11 方差分析表 MS 173.70 1.96
变异来源 回 归 剩 余 总变异
SS 173.7 19.6 193.3
F 88.6
P <0.001
（3）确定P值。查F界值表，P<0.001。 （4）下结论。按 0.05 水准，拒绝H0，接受 H1，故可以认为体重的增加量与进食量之间有直 线关系。
当 X 被引入回归以后，正是由于 X i 的不同导致了
ˆ Yi a bX i 不同，所以 SS回 反映了在 Y 的总变异中可以用
X 与 Y 的直线关系解释的那部分变异。 b 离 0 越远，X 对 Y 的影响越大，SS回 就越大，说明 回归效果越好。
ˆ SS残 即 (Y Y)2 ，为残差平方和。它反应除
l XY ( X X )(Y Y ) b l XX ( X X )2
(12-2)
a Y bX
（12-3）
式中 l XY 为 X 与 Y 的离均差乘积和:
( X )( Y ) l ( X X )(Y Y ) XY (12 6) XY n
SS总 193.3
SS回 blXY
2 l XY 2681 6 2 . 173.7 l XX 413894 .
SS剩 SS总 SS回 193.3 173.7 19.6
F
SS回 / 回 SS剩 / 剩

MS回 MS剩
173.7 / 1 88.6 19.6 / 10
第12章
双变量回归与相关
Linear Regression and Correlation
Content
1. 2. 3. 4. Linear regression Linear correlation Rank correlation Curve fitting
双变量计量资料：每个个体有两个变量值
关系。
为了直观地说明两相关变量的线性依存关 系，用表12-1第（2）、（3）列中大白鼠的进 食量和体重增加量的数据在坐标纸上描点，得 图12-1所示的散点图（scatter plot）。
例12-1 用某饲料喂养12只大白鼠， 得出大白鼠的进食量与体重增加量 如表12-1，试绘制其散点图。
表12-1 12只大白鼠的进食量（g）与体重增加量(g)测量结果
了统计分析中两变量关系的统计描述，
研究者还须回答它所来自的总体的直线
回归关系是否确实存在，即是否对总体 有 0？
1.1回归系数的方差分析
理解回归中方差分析的基本思想， 需要对应变量Y 的离均差平方和 lYY 作分 解如图 12－4 所示.
ˆ 任意一点 P 的纵坐标被回归直线 Y 与均数 Y 截
4．求回归系数 b 和截距 a 。
l XY 2681.6 b 0.0648 l XX 41389.4
a Y bX 17.97 (0.0648)(246.49) 2.00
5．列出回归方程（回归直线绘制见图 12-1）
ˆ Y 2.00 0.0648 X
ˆ Y 2.00 0.0648 X
国统计学家 Karl Pearson对上千个家庭的身高、
臂长、拃长（伸开大拇指与中指两端的最大长度）
做了测量，发现：
儿子身高（Y，英寸）与父亲身高（X，英 寸）存在线性关系：ˆ Y
33.73 0.516 X。
也即高个子父代的子代在成年之后的身高平
均来说不是更高，而是稍矮于其父代水平，而
矮个子父代的子代的平均身高不是更矮，而是
Y 了 X 对Y 的线性影响之外的一切因素对 X 异的作用，也就是在总平方和中无法用
的变 解释
Y 的部分， 表示考虑回归之后
真正的随机误差。
SS 在散点图中， 各实测点离回归直线越近， 残 也
就越小，说明直线回归的估计误差越小，回归 的作用越明显。
上述三个平方和，各有其相应的自由度 ，并有如下的关系：
此直线必然通过点( X , Y )且与纵坐 标轴相交于截距 a 。如果散点图没有从 坐标系原点开始，可在自变量实测范围内 远端取易于读数的 X 值代入回归方程得 到一个点的坐标，连接此点与点( X , Y ) 也可绘出回归直线。
二 直线回归中的统计推断
1 回归系数的假设检验
建立样本直线回归方程，只是完成
直线回归方程
一般表达式为
ˆ Y a bX
ˆ Y
(12 1)
为各X处Y的总体均数的估计。
1．a 为回归直线在 Y 轴上的截距。
Y
a > 0，表示直线 与纵轴的交点在
a<0
原点的上方；
a < 0，则交点在 原点的下方； a = 0，则回归直 线通过原点。
0
a=0 a>0 X
2. b为回归系数，即直线的斜率。
由图12-1可见，体重增加量有随进食量增加
而增大的趋势，且散点呈直线趋势，但并非12
个点都在直线上 ，此与两变量间严格的直线函
数关系不同，称为直线回归（linear regression）, 其方程叫直线回归方程，以区别严格意义的直 线方程。 回归是回归分析中最基本、最简单的一种，
故又称简单回归。
以上分解可见，不考虑回归时，随机误 差是 Y 的总变异 SS 总 ；而考虑回归以后，由
SS 于回归的贡献使原来的随机误差减小为 残 。
如果两变量间总体回归关系确实存在，回归 的贡献就要大于随机误差，大到何种程度时可 以认为具有统计意义，可计算统计量F:
SS回 回 MS回 F SS 残 残 MS残
残差(residual)或剩余值，即 实测值Y与假定回归线上的 ˆ ˆ 估计值 Y 的纵向距离Y Y 。 求解a、b实际上就是“合理 地”找到一条能最好地代表 数据点分布趋势的直线。
（X，Y）
原则：最小二乘法(least sum of squares)，即可保 证各实测点至直线的纵 向距离的平方和最小
总体：无限或有限对变量值
样本：从总体随机抽取的n对变量值
（X1,Y1）, （X2,Y2）, …, （Xn,、基本——直线回归、直线相关
历史背景：
英国人类学家 F.Galton首次在《自然遗传》 一书中，提出并阐明了“相关”和“相关系数” 两个概念，为相关论奠定了基础。其后，他和英
•
Y 是指总体中当X为一定值时的均数。把
x0 代入回归方程所求得的估计值，为样本条件
均数（condition mean）。对总体 Y 的估计可 计算其可信区间，其标准误可按公式计算。