最小二乘法

b

xi yi

1 n

xi

yi

x
2 i

1 n
2
xi
a yi b xi
n
n
X xi n ,
Y yi n
SXX
2
xi x
xi2

1 n
2
xi
1
a

7
i0 7
t2 i
7
b ti
i0

7
7 i0
yi ti
,
(1)
a

i0
ti
8b
i0
yi .
计算得
7
ti 28,
i0 7
yi 208.5,
i0
7

t2 i

140,
i0
7
yiti 717.0
i0
代入方程组（1）得
140a 28b 717, 28a 8b 208.5. 解此方程组，得到 a 0.3036,b 27.125.
负相关。
② 当0<│r│<1时，Y与X存在一定的线性相关。当r>0时称Y与X 正相关。当r<0时称Y与X是负相关。一般地说,r2≥0.9时，估 计模型为＂优＂；0.8≤r2<0.9时，估计模型为＂良＂； 0.6≤r2<0.8时，估计模型为＂一般＂。R2≤0.5时估计模型 为＂差＂。
1.2.3 一元直线回归分析
能要求选取这样的 a, b ，使得 f (t) at b 在
t0 , t1, , t7 处的函数值与实验数据 y0 , y1 , y7 相 差都很小．
就是要使偏差
yi f (ti ) (i 0,1,2, ,7) 都很小. 因此可以考虑选取常数 a,b ，使得
7
M yi (ati b)2 i0
数据是否适合动力学公式
和

2 k1 k2
氧化时间τ.h 1.26
16.67
41.87
72.75
增重ξ g/m3 4.79
190.5
302
398
解：令y=ξ x=t/ξ x=t/ξ 0.0263 0.085 0.1386 0.1828 y=ξ 47.9 190.5 302 398 ∑xi=0.4352 x均值＝0.1088 ∑yi =938.4 y均值＝234.6 y=-8.92+2238.24x ξ2+8.92ξ=2238.24t 再检查这批数据是否可用 表示 令y=logξ x=logt 过程略可得：ξ1.9＝1300t
• 实验内容
– 根据下面给定的实验数据应用excel进行回归 分析
• 实验数据
– 退火温度对黄铜延性的影响试验数据如下表
退火温度 x(℃)
300 400
500
600
700
800
900
黄铜延性 y×100
40
50
55
60
67
70
73
上机实验3
常用数学分析方法应用实践（2）（续）
• 实验报告要求:
– 写出步骤 – 写出回归方程和相关系数 – 根据回归方程回答如下问题
f (ti )
偏差 -0.125 -0.021 -0.018 -0.086 0.189 0.093 -0.003 -0.200
偏差的平方和 M 0.108165，
它的平方根 M 0.329 ．
我们把 M 称为均方误差，它的大小在一定
程度上反映了用经验公式来近似表达原来函数关 系的近似程度的好坏．
1.半对数关系式变换
y=a+blogu (y、u为变量，a和 b为参量， 极化值与极化电流密压I之间
2.双对数关系式变换

3.抛物线关系式的变换
2 k1 k2


k1

k2

4.指数函数关系式的变换
AeBu
例题：对于Fe在700度的空气中的氧化
试验，测得表中实验数据，检验这些
（1）退火温度550时，黄铜的延性是多少； （2）黄铜的延性在50%~60%，退火温度应控制在什
么范围。
一、经验公式
在工程问题中，常常需要根据两个变量的 几组实验数值——实验数据，来找出这两个变 量的函数关系的近似表达式．通常把这样得到 的函数的近似表达式叫做经验公式.
问题：如何得到经验公式，常用的方法是什么？

2
yi y
yi yi 2 2
yi y yi yi

2
yi y
yi yi 2 0

2
yi y
yi yi 2
记 回归平方和 残差平方和
SSR= yi yi 2
最小二乘法
1.2 回归分析
• 1.2.1概述
– 研究变量与变量之间关系的数学方法 – 变量之间关系种类
• 确定性关系即函数关系 • 相关关系
– 主要解决的问题
• 确定相关关系,找出数学表达式 • 根据变量的值,预测/控制另一变量的取值,给出精度 • 进行因数分析
1.2.2 最小二乘法原理
y b e i = 源自文库 + xi + i
8
2 i

1836,
i 81
i lg yi 122.
i 1
将他们代入方程组（3）得
1836a 108b 122, 108a 8b 10.3.
解这方程组，得
a 0.4343m 0.045, b lg k 1.8964.
m 0.1036,k 78.78.
为，由实验测得 p 与 的数据如下表:
p% 36.9 46.7 63.7 77.8 84.0 87.5 0C 181 197 235 270 283 292
试用最小二乘法建立 与 p 之间的经验公式 ap b．
练习题答案
2.234 p 95.33.
变数变换（非线性问题的线性化处理）
b

7
2
i0
7
2
i0
yi yi
(ati (ati

b)ti 0, b) 0;
即
7
i0 7
yi
(ati

b)ti

0,

i0
yi

(ati

b)
0.
将括号内各项进行整理合并，并把未知数 a 和 b 分离出来，便得
• 基本方法 • 利用excel进行线性回归分析的方法
– 输入原始实测量值x（自变量）y（因变量） – 选择数据区域 – 选择图表类型——xy散点图 – 添加趋势线
• 方差分析 • 相关性检验—求相关系数R
例
• 研究腐蚀时间与腐 蚀深度两个量的关 系
• 实验数据如下：
时间 x(min)
3 5 10 20 30 40 50 60 65 90 120
二、最小二乘法
例1 为了测定刀具的磨损速度，我们做这样的 实验：经过一定时间(如每隔一小时)，测量一 次刀具的厚度,得到一组试验数据如下：
顺序编号i
01234567
时间ti (小时) 0 1 2 3 4 5 6 7 刀具厚度yi (毫米) 27.0 26.8 26.5 26.3 26.1 25.7 25.3 24.3
试根据上面的试验数据建立 y 和t 之间的经验公 式 y f (t).
解 首先确定 f (t )的类型.y
如图，在坐标纸上画出
27
这些点，观察可以认为
26
y f (t) 是线性函数,
25
并设 f (t) at b, 其中
a 和b 是待定常数.
24
o 12345 6 78
t
因为这些点本来不在一条直线上，我们只
因此所求经验公式为 y 78.78e0.1036 .
三、小结
给定平面上一组点( xi , yi ) (i 1,2,3, , n)， 作曲线拟合有多种方法，其中最小二乘法是常 用的一种． 最小二乘法的原理：
n
求 f (t)，使 M yi (ati b)2 达到最小． i 1
S XY
xi x yi y xi yi n
xi
y i
SYY
2
yi y
yi2

1 n
2
yi
b S XY S XX a y bx
总平方和
SST
2
yi y

yi y yi yi 2
y = a i
+b xi
i 1,2, ,n
n
2
n
2
Q yi y yi a bxi
i 1
i 1
Q a

2 yi
a
bxi

0
Q
b 2
yi a bxi xi 0
yi na b xi xi yi a xi b xi 2
腐蚀深度 40 60 80 130 160 170 190 250 250 290 460
y(μm)
1.2.4曲线回归
• 基本概念 • 应用excel进行曲线回归的方法 • 举例
上机实验3
常用数学分析方法应用实践（2）
• 实验目的
– 了解回归分析的基本概念; – 初步掌握应用excel进行回归分析方法.
这样便得到所求经验公式为
y f (t) 0.3036t 27.125. (2) 由（2）式算出的函数值 f (ti ) 与实测 yi 的有
一定的偏差.现列表比较如下：
ti
0
1
2
3
4
5
6
7
实测 27.0 26.8 26.5 26.3 26.1 25.7 25.3 24.3
yi
算得 27.125 26.821 26.518 26.214 25.911 25.607 25.303 25.000
注意：计算机与数据拟合．
（参看高等数学实验课讲义 郭锡伯 徐安农编）
设经实际测量已得 到n组数据（xi , yi），i=1,…, n。将数据 画在平面直角坐标系中，见 图。如果建模者判断 这n个点很 象是分布在某条直线附近，令 该直线方程 为y=ax+b，进而 利用数据来求参 数a和b。由于该直线只是数据近似满足的 关系式，故 yi-(axi+b)=0一般不成立，但我们希望
n
[ yi (axi b)]2 最小
i 1
y
y=ax+b
此式对a和b的偏导数均 为0，
解相应方程组，求得：
(xi ,yi) x
O

a


b

n i 1
(
xi

x)(
n i 1
(
xi

y ax
yi x) 2
y)
练习题
某种合金的含铅量百分比(%)为 p，其溶解温度0C
SSE= yi yi 2
有
SST = SSR + SSE
估计平均误差(标准偏差)的计算
Se
1
n
n 2 i 1
yi yi 2
相关系数R的计算
r 2 = SSR／SST=1 - SSE／SST
r SXY
SXX SYY
对的不同的具体值，Y与X之间的相关关系分析如下： ① 当r=1时，称为完全线性正相关；当r=-1时，称为完全线性
讨论： 由于 lg y a b,
所以仿照例1中的讨论,通过求方程组
a

8
i 1 8
2 i

b
8 i 1
i
8

8
i lg yi ,
i 1
(3)
a i1 i
8b
lg yi
i 1
的解,把 a,b 确定出来.
8
通过计算得 i 108, 8i 1 lg yi 10.3, i 1
最小来保证每个偏差的绝对值都很小．
定义 这种根据偏差的平方和为最小的条件来选
择常数 a,b 的方法叫做最小二乘法．
这种确定常数的方法是通常所采用的.
把 M 看成自变量 a 和 b 的一个二元函数，
那么问题就可归结为求函数 M M (a,b) 在那
些点处取得最小值.
令
M
a
M
例2 在研究单分子化学反应速度时，得到下列数据：
i 12345678
i 3 6 9 12 15 18 21 24
yi 57.6 41.9 31.0 22.7 16.6 12.2 8.9 6.5
其中 表示从实验开始算起的时间，y 表示时刻 反应物的量．试定出经验公式 y f ( ). 解 由化学反应速度的理论知道， y f ( ) 应是 指数函数： y kem , 其中 k 和m是待定常数.
处理数据时，两个变量之间本来并不是线性 关系，但是经过变数变换，由原来的变量形 成两个新的变量，而在两个新的变量之间， 则是线性的关系，此情况下求出两个变量的 线性关系中的参量的最佳估计值，然后再变 换回去，求出原来关系式中参量的估计值。 （根据专业知识，理论推导，经验公式也可 以根据试验数据从坐标上分布形式特点拟合）