第07章 回归分析

学习分数和行为分数的关系 8 7 6 5 4 3 2 1 0 0 1 2 3 4 5 行为分数 6 7 8
r＝ 0.78**
学习分数
学习
均值以上 均值以下
行为分数 均值以上 均值以下 7 1 2 10
4
行为 2 2 2 2 2 3 3 4 4 4 4 5 5 5 6 6 6 6 7 7 M e a n 4.25
25
对r的显著性的检验
当 0时，r近似服从均值为 0的正态分布， 1 r 其标准误可用S r 来估计 N 2
2
r t Sr
r 1 r N 2
2
N 2 r 2 1 r
26
对回归的有效性检验
SSY r SSY SSe SSr SSe U Q
2
X Y X X Y Y XY
SPXY cov XY N 1 SS X 2 SX N 1 cov XY r S X SY
6
第一节 回归分析的基本原理
一、回归分析的意义 二、回归分析的基本原理 三、回归分析的主要内容
一、回归分析的意义
regression analysis
2 Y X
S
SY X
SSe SSY 1 r N 1 2 2 N 1 SY 1 r N 2 N 1 N 2 N 2 2 N 1 2 SY 1 r SY 1 r N 2
2




24
因变量变异的分解
SSe SSY 1 r
2

2

SSY r SSY SSe 与X有关 与X无关
2
2
Y Y N 1
SSY df
21
估计的标准误
SY X ˆ Y Y N 2
2
standard error of estimate

SSerror df
SY X 其下标表明为从 X预测的Y的标准差 S
2 Y X
称为残差方差residual variance或误差方差error variance
儿童 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
学习 1 2 3 4 4 3 4 2 3 4 5 4 5 6 4 6 6 7 6 7 4.3
快乐 2 3 4 5 7 3 5 3 4 5 6 4 5 6 4 5 6 7 4 7 4.75
快乐分数和行为分数的关系 8 7 6 5 4 3 2 1 0 0 1 2 3 4 5 行为分数 6 7 8
14
小结
寻找一条最佳拟合直线
使SSe

2 ˆ Y Y 最小

回归估计的标准误SY· X 用方差分析 检验回归方程有效性 有效性高低指标： 决定系数r2
15
ˆ a bX Y
ˆ a bX ; SS Y Y ˆ Y e
Q SSe

2 2 ˆ Y Y Y a bX Y 2 a 2 b 2 X 2 2aY 2bXY 2abX
standard error of estimate
2
Outline
第一节 第二节 第三节 第四节 回归分析的基本原理 一元线性回归分析 多元线性回归分析 路径分析
3
1.相关和回归 1.1 散点图 scatter diagram
行为 2 2 2 2 2 3 3 4 4 4 4 5 5 5 6 6 6 6 7 7 M e a n 4.25 儿童 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 学习 1 2 3 4 4 3 4 2 3 4 5 4 5 6 4 6 6 7 6 7 4.3 快乐 2 3 4 5 7 3 5 3 4 5 6 4 5 6 4 5 6 7 4 7 4.75
SSY SSe r SSY SSY
2
SSYˆ
• 衡量回归方程有效性 高低的指标
• 回归平方和在总离差 平方和中所占的比例
– 因变量的变异中可以从 自变量的变异来解释的 比例
SSX
r
2
SS Y
29
五、一元线性回归的估计与预测
（一）估计因变量主值和主值区间 （二）单个因变量实测值的预测
五、预测的准确性
XY 2 4 6 8 8 9 12 8 12 16 20 20 25 30 24 36 36 42 42 49 409
X*X 4 4 4 4 4 9 9 16 16 16 16 25 25 25 36 36 36 36 49 49 419
17
学习
对回归系数的解释
ˆ a bX Y a Y bX ˆ的值） 截距intercept （X 0时Y b covXY SY r 2 SX SX
• 如果需要你去猜测某个班的每个学生的某 次考试的成绩，而只告诉你该班的平均分， 怎样猜才能误差最小？
– 标准差作为误差的度量
SY S
2 Y
Y Y
N 1
2
2
Y Y N 1
SSY df
31
估计的标准误
SY X ˆ Y Y N 2
2
8
二、回归分析的基本思想
（一）回归分析的数学模型 （二）最佳拟合
回归线
8 7 6 5 4 3 2 1 0 0 1
the regression line
从行为分数预测学习分数 学习 预测 学习
ˆ a bX Y ˆ Y的预测值 Y
学习
2
3
4 行为
5
6
7
8
ˆ对应的变化量） b 回归线的斜率 slope（X变化一个单位时 Y ˆ的值） a 截距intercept （X 0时Y
dfY N 1 dfe N 2 dfr N 1 N 2 1 MSr SSr dfr SSr MSe SSe dfe S
2 Y X 2 Y X
27
F MSr MSe SSr S
对r的显著性检验
以n为自由度的t检验量的平方等于 以1, n 为自由度的F检验量，即 F 1, n t n
18
2.4 从给定的X来估计对应的Y
• 无穷大的样本
– 取给定X对应的所有Y的均值作为估计值
• 对应于某个X的所有Y称为Y的条件分布conditional 从行为分数预测学习分数 distribution
• 有限样本
ˆ 估计Y – 用Y
学习
学习 8 7 6 5 4 3 2 1 0 0 1 2 3 4 行为 5
预测 学习
6
7
19
8
五、一元线性回归的估计与预测
（一）估计因变量主值和主值区间 （二）单个因变量实测值的预测
五、预测的准确性
• 如果需要你去猜测某个班的每个学生的某 次考试的成绩，而只告诉你该班的平均分， 怎样猜才能误差最小？
– 标准差作为误差的度量
SY S
2 Y
Y Y
N 1
10
最佳拟合直线
best-fitting line
目标：预测值和观测值 之间的误差最小 ˆ 残差residual ： Y-Y ˆ 对所有经过 X , Y 的直线， YY 0 2 ˆ 最小二乘估计： Y-Y

11
第二节 一元线性回归分析
一、一元线性回归的模型及性质 二、一元线性回归方程的建立 三、一元线性回归方程的有效性检验 四、回归方程有效性的指标 五、一元线性回归分析的估计与预测
2
MSr SSr r SSY r SSY F 2 2 SS 1 r SSY MSe SY X e N 2 N 2 2 N 2 2 r t 2 1 r
2
2


28
四、回归有效性的指标-决定系数（测定系数）r2
coefficient of determination
第07章 回归分析
回归分析与相关分析的区别
•回归分析中，变量Y称为因变量，处于被解释的地 位。而在相关分析中，X与Y处于平等地位； •相关分析中， X 和 Y 全是随机变量，而在回归分析 中，因变量Y是随机变量，自变量X可以是随机变量， 也可以是非随机的。通常回归模型中假定 X 是非随 机的精确变量； •相关分析的研究是为了刻画两变量间线性相关的密 切程度。而回归分析不仅可以揭示X对Y的影响大小， 还可以由回归方程进行预测和控制。
• 回归分析：确定变量之间数量关系的可能 形式，并用一个数学模型来表示这种关系 形式
– 它可以从一个变量的变化来预测或估计另一个 变量的变化 – 只有一个自变量的线性回归叫一元线性回归或 简单线性回归
• 寻找一条最佳拟合直线best-fitting line，使得预测值 predicted value和观测值observed value之间的误差最 小


Y b X a Y bX N Na b X Y 2 N XY X Y covXY SY b X a Y XY b r 2 2 2 S SX N X X X
df N 2，因为a和b都是从样本数据估计的 有时SSerror 也被表示成SSresidual
22
ห้องสมุดไป่ตู้
三、回归有效性的检验
（一）误差平方和 （二）因变量变异的分解
误差平方和
2 ˆ SSe Y Y SSY 1 r 2





• 相关越高，误差越小
– 相关越高，从X预测Y就越准确，误差就越小