误差理论与数据处理 第九章回归分析

1 x2 ˆ) s U (a n lxx
ˆ) s U (b
1 Байду номын сангаасxx
ˆ和 b ˆ 的协方差的计算公式 3、回归系数 a
式中， s 是残余标准差
x 2 sab s ˆˆ lxx
回归方程的稳定性
ˆ 的波动大小，波动愈小，回归方 1、回归值 y 程的稳定性愈好。
ˆ0 与实际值 y 之间存在偏差，因此给出 2、预测值 y 预测值时，还必须给出其不确定度。有以下两种 表示方式 ˆ 的标准不确定度来表述 y 2 x x 1 ˆ ˆ) s n2 u( y
ˆ a ˆ bx y
n
lxx
ˆ 的扩展不确定度来表述 y ˆ U p 1 , n 2 ˆ a ˆ bx y p
2、简单线性回归方程的形式如下
E ( y) a bx
方程的图示是一条直线，因此也称为直线回归方程
a是回归直线在 y 轴上的截距，是当 x 0 时的期望 值 y b 是直线的斜率，表示当 x 每变动一个单位时， 的平均变动值
经验的回归方程
1、总体回归参数 a 和 b 是未知的，必须利用样 本数据去估计他们 ˆ 代替回归方程中的未知 ˆ 和b 2、用样本统计量 a 参数 a 和 b ，这时就得到了经验的回归方程 3、一元线性回归的经验的回归方程
在总的偏离中除 了 x 对 y 线性影 响之外的其它因 素而引起 y 变化 的大小
总 l yy
总 n 1
回
2 lxy
lxx
ˆ bl xy
残 总 回
残 总 回
n2
回 1
回归方程的显著性检验
1、检验自变量和因变量之间的线性关系是否 显著 2、具体方法是将回归平方和和残余平方和加 以比较，应用F检验来分析二者之间的差别是 否显著
ˆ n( xy x y ) lxy b 2 n( x x x) lxx ˆ y bx a
二、回归效果F检验
偏差平方和的分解
测量值 方面
y1 , y2 , , yn
之间的差异来源于两个
由于自变量 x 取值的不同造成的 除 x 以外的其它因素(如 x 对 y 的非线 性影响、测量误差等)的影响
(2) 尽可能增大观测数据中自变量的取值 范围 (3) 增加观测次数
(4) 减小残余误差，即拟定合适回归方程 使其尽可能合乎实际数据的变化规律
四、回归预测值及其不 确定度
回归预测值及其不确定度
１、利用估计的回归方程，对于自变量 x 的一个给 ˆ0 ，就是回归 定值 x0 ，求出因变量 y 的一个估计值 y 的预测值
故有
ˆ 32.3 1.270x y
方差分析
总 l yy 50094
残 总 回 9057
偏离
回归 残余 总和
2 回 lxy lxx 41037
s 282.5 16.8
回 F 2 145.0 s
F 1,32 置信限 平方和 自由度 标准差 统计量 0.01
yi
110 180 130 110 130 115 240
xi
191 190 153 155 177 177 143
yi
205 220 145 160 185 205 160
151 147
135 155
154 116
150 100
127 115
135 120
直线拟合
【解】
直线拟合计算
x 1 xi 150.09, 34
对一个具体的观测值来说，变异的大 小可以通过该实际观测值与其均值之 差来表示 yi y
偏差平方和的分解图示
y
y_y y_y y_y
y=y
y=a+bx 0 x
三个平方和的关系
ˆi ) ( y ˆi y ) yi y ( yi y
两端平方后求和得到
ˆi y ˆi y yi y yi y
1、当只涉及一个自变量时称为一元回归， 若因变量 y 与自变量 x 之间为线性关系时称 为一元线性回归
2、对于具有线性关系的两个变量，可以 用一个线性方程来表示它们之间的关系 3、描述因变量 y 如何依赖于自变量 x 和误 差项 的方程称为回归模型。
一元线性回归模型概念
由实验获得两个变量 x 和 y 的一组样本数 ( xn , yn ) 据 ( x1 , y1 ) ， ( x2 , y2 ) ， …，构造如下一元线性 yi a bxi i 回归模型 模型中， y 是 x 的线性函数部分加上误差项 线性部分反映了由于 x 的变化而引起 y 的变化 误差项 是随机变量 反映了除 x 和 y 之间的线性关系之外的随机因素对
估计残余标准误差
1、表征除了x 与 y 线性关系之外其它因素影响 y 值偏离的大小
2、反映实际观测值在回归直线周围的分散状况 3、从另一个角度说明了回归直线的拟合程度 4、残余标准差的计算公式
残 s n2
方差分析表
置信限 F 1, n 2 0.1 0.05 0.01
偏离 平方和 自由度 标准差 统计量
第9章 回归分析
4- 1
教学目的和要求：
通过本章内容的教学，使学生掌握一元线性回归
方程的求法、回归方程的方差分析与显著性检验 方法；了解一元非线性回归方程的求解思路及回 归曲线效果和不确定度评定；了解多元线性回归 方程的求法和显著性检验与不确定度评定方法。
主要内容：
1． 回归分析的基本概念：概念、回归分析的主要内容。 2 ． 一元线性回归：一元线性回归方程的求法、回归方程的方 差分析与显著性检验、重复实验判断回归方程拟合性、回归 直线的简便求法。 3 ． 一元非线性回归：回归曲线类型的选取和检验、化非线性 回归为线性回归、回归曲线效果与不确定度评定。 4 ． 多元线性回归：二元线性回归方程的求法、多元线性回归 、多元线性回归的显著性检验与不确定度评定。 5. 线性递推回归：回归系数的递推计算公式、计算步骤。
y 的影响
是不能由 x 和 y 之间的线性关系所解释的变异性
a 和 b 称为模型的参数
一元线性回归模型基本假定
1、误差项 是一个期望值为０的随机变量， 即 E ( ) 0 。对于一个给定的 xi 值， yi 的期望值 为 E( yi ) a bxi 3、误差项 i 是一个服从正态分布的随机变量，且 2 ~ N (0, ) 相互独立。即 i
2 2 i 1 i 1 i 1 n n n 2
总偏差平方和 残余平方和
总
残
回归平方和
回
总 残 回
三个平方和的意义
总偏差平方和
反映因变量 意 的n个观测 义 值与其均值 的总偏差
计算 公式 自由 度
回归平方和
在总的偏差中 因 x 和 y 的线 性关系而引起 y变化的大小
残余平方和
独立性意味着对于一个特定的 xi 值，它所对应的 i 与其它 x j 值所对应 j的不相关
对于一个特定的 xi 值，它所对应的 yi值与其它 x j 值所对应 y j的不相关
2 x 2、对所有的 i 值， i 的方差 都相同
回归方程概念要点
1、描述 y 的平均值或期望值如何依赖于 x 的方 程称为回归方程
第一节 基本概念
变量间的关系可分为函数关系和相关 关系。本节介绍这两种关系，并对回归 分析的一些基本概念作一个简要的介绍。
变量间的函数关系
1、是一一对应的确定关系
2、设有两个变量x 和y，变量x 随变量y 一起变化，并 完全依赖于x ，当变量x 取某个数值时, y 依确定的关 系取相应的值，则称y 是x 的函数，记为y =f(x)，其中x 称为自变量，称y 为因变量
如果是显著的，两个变量之间存在线性关系
如果不显著，两个变量之间不存在线性关系
检验步骤
1、提出假设
H0 : 线性关系不显著 2、计算检验统计量
回 回 F 剩 剩
即
回 1 F 剩 n 2
3、在给定显著性水平 下，由分布表查得临界 值F 1, n 2 。 4、作出决策。若 F F 1, n 2，拒绝 H 0 ，则认为 该回归效果显著。反之，则不显著。
ˆ 回归 回 bl xy
１
残 回 s F 2 n2 s
n2 残余 残 总 回
总和
总 lyy
n 1
显著否显著否 显著否
三、回归系数的不确定度与回归 方程的稳定性
回归系数的不确定度
1、回归系数的不确定度是描述回归系数的分散性
ˆ 的标准不确定度的计算公式 ˆ 和b 2、回归系数a
如以速度v作匀速运动的物体，走过的距离s与时 间t之间，有如下的函数关系 s=vt
变量间的相关关系
1、变量间关系不能用函数关系精确表达
2、一个变量的取值不能由另一个变量惟一确定 3、当变量x取某个数值时，变量y的值可能有几个
如人的身高(y)与体重(x )之间的关系
什么是回归分析？
一种处理变量间相关关系的数理统计方法。
41037 9057 50094
１ 32 33 16.8 145.0 7.50 高度显著
预测
对于n 2 32 ，查分布表得
t0.01(32) 2.74
t0.05 (32) 2.04
2
t0.10 (32) 1.69
1 x x s ˆ) s u( y 2.88 n lxx n
2
y
1 yi 158.28 34
lxx xi x 25453
l yy yi y 50094,
2
lxy xi x yi y 32325
ˆ l l 1.27 b xy xx
ˆ 32.3 ˆ y bx a
ˆ 的波动大小的计算公式 2、回归值 y
ˆ ) 来表示。 ˆ 标准不确定度 U ( y y
1 x x ˆ) s U(y n lxx
2
回归值的波动大 小不仅与剩余标 准差s有关，而且 还取决于试验次 数n及自变量取值 范围。
提高回归方程中各估计量稳定性的方法
(1) 提高观察数据本身的准确度
回归模型的类型
一个自 变量
回归模型
两个及两个 以上自变量
一元回归 线性 回归 非线性 回归
多元回归 线性 回归 非线性 回归
回归模型
1、回答“变量之间是什么样的关系？”
2、方程中运用
1个数字的因变量 1个或多个数字的或分类的因变量
3、主要用于预测或估计
第二节 一元线性回归
一元线性回归模型概念
例题
试对下表所列实验数据做直线拟合，并作方差分析和预测。
xi
180 104 134 141 204 150 121
yi
200 100 135 125 235 170 125
xi
145 141 144 190 190 161 165
yi
165 135 160 190 210 145 195
xi
123 151 110 108 158 107 180
ˆ ˆ a ˆ bx y
ˆ 是回归直线在 y 轴上的截距 a
ˆ 是 ˆ 是直线的斜率，它表示对于给定的 x 的值， y b y 的估计值，也表示当 x每变动一个单位时， y 的平 均变动值
ˆ 的计算公式 ˆ 和b a
根据最小二乘法 的要求，可得 式中
n n 1 n 1 n 1 1 2 2 x x , y y , x x xi yi i i i , xy n i 1 n i 1 n i 1 n i 1 n n 2 2 2 2 2 2 l ( x x ) n x n x l ( y y ) n y ny xx i yy i i 1 i 1 n lxy ( xi x )( yi y ) nxy nx y i 1
他主要解决以下几个问题
1 、从一组样本数据出发，确定变量之间的数学 关系式 2 、对这些关系式的可信程度进行各种统计检验， 并从影响某一特定变量的诸多变量中找出哪些变量 的影响显著，哪些不显著 3、利用所求的关系式，根据一个或几个变量的 值，预测或控制另一个变量的值，并要知道这种预 测或控制可达到的精密度。