第5章-1 曲线拟合(线性最小二乘法)
最小二乘法的曲线拟合
最小二乘法的曲线拟合曲线拟合是在给定一组离散数据的情况下，通过一个函数来逼近这些数据的过程。
最小二乘法是一种常用的拟合方法，它通过最小化实际观测值与拟合值之间的误差平方和，来确定最佳的曲线拟合。
在进行最小二乘法的曲线拟合之前，我们首先需要明确拟合的目标函数形式。
根据实际问题的不同，可以选择线性拟合函数、多项式拟合函数或者其他非线性拟合函数。
然后，我们通过求解最小二乘问题的优化方程，来得到拟合函数的系数。
最小二乘法的核心思想是将拟合问题转化为一个优化问题。
我们需要定义一个损失函数，用来衡量观测值与拟合值之间的差异。
常见的损失函数有平方损失函数、绝对损失函数等。
在最小二乘法中，我们选择平方损失函数，因为它能够更好地反映误差的大小。
具体来说，我们假设待拟合的数据点为{(x1,y1),(x2,y2),...,(xn,yn)}，拟合函数为f(x)。
则拟合问题可表示为以下优化方程：min Σ(yi-f(xi))^2通过求解优化方程，即求解拟合函数的系数，我们可以得到最佳的曲线拟合。
最小二乘法的优势在于它能够考虑所有观测值的误差，并且具有较好的稳定性和可靠性。
在实际应用中，最小二乘法的曲线拟合被广泛应用于各个领域。
例如，在物理学中，可以利用最小二乘法来分析实验数据，拟合出与实际曲线相符合的函数。
在经济学中，最小二乘法可以用来估计经济模型中的参数。
在工程领域，最小二乘法可以用于信号处理、图像处理等方面。
总而言之，最小二乘法是一种常用的曲线拟合方法，通过最小化观测值与拟合值之间的误差平方和，来确定最佳的拟合函数。
它具有简单、稳定、可靠的特点，在各个领域都有广泛的应用。
第5章-1 曲线拟合(线性最小二乘法)讲解
求所需系数，得到方程： 29.139a+17.9b=29.7076 17.9a+11b=18.25
通过全选主元高斯消去求得：
a=0.912605
b=0.174034
所以线性拟合曲线函数为： y=0.912605x+0.174034
练习2
根据下列数据求拟合曲线函数： y=ax2+b
x 19 25 31 38 44 y 19.0 32.3 49.0 73.3 97.8
∑xi4 a + ∑xi2 b = ∑xi 2yi
∑xi2 a + n b = ∑yi
7277699a+5327b=369321.5 5327a+5b=271.4
曲线拟合的最小二乘法
1.曲线拟合的意思
Y
.
.
.
.
y=ax+b y=ax2+bx+c
X
y=ax+b y=ax2+bx+c 就是未知函数的拟合曲线。
2最小二乘法原理
观测值与拟合曲线值误差的平方和为最小。
yi y0 y1 y2 y3 y4…… 观测值 y^i y^0 y^1 y^2 y^3 y^4…… 拟合曲线值
拟合曲线为： y=(-11x2-117x+56)/84
x
yHale Waihona Puke 1.61 1.641.63 1.66
1.6 1.63
1.67 1.7
1.64 1.67
1.63 1.66
1.61 1.64
1.66 1.69
1.59 1.62
曲线拟合方法及程序设计
摘要随着现代社会的发展，大量的统计数据和科学实验数据变得容易获得，数据变得越来越复杂，甚至还会有噪声等干扰信息。
曲线拟合就是找到一组数据点的内在规律，使用曲线近似的拟合这些数据，形成数学模型，对事务进行有效的预测和规划，来获得更大的效益，被广泛应用于社会各个领域，具有重要的实际应用价值。
本文旨在了解一些常用的曲线拟合方法及其原理，根据理解，设计并完成相应的曲线拟合程序，方便使用。
首先，对于有函数解析模型的曲线拟合，都是运用的最小二乘思想进行求解，根据模型种类分为三类：1，线性函数模型，举例一元线性函数的运算过程，通过正规方程求解得到拟合系数，最后根据这些原理，设计并完成了：从1阶到9阶的多项式拟合，幂函数拟合的线性最小二乘拟合程序；2，可线性化的非线性函数：通过变量变换将模型线性化，再进行线性最小二乘拟合；3，不可线性化的非线性函数，求解方法是将目标函数泰勒级数展开，迭代求解的方法有很多，本文实现的方法有3种：高斯牛顿法，信赖域—Dogleg法，LMF法。
最后通过五个实例计算，进行线性最小二乘拟合和非线性拟合，对比分析对于同一组数据，应用不同拟合方法或者不同模型所产生的结果，分析结果并结合实际发现，线性最小二乘拟合对于现实中的很多数据并不适用，将非线性函数线性化之后，有时会放大噪声，使得矩阵奇异，拟合不收敛或者没有非线性拟合准确。
进行非线性拟合时，对比三种方法，发现LMF法可以有效的避免矩阵为奇异值。
初始值只影响LMF法迭代的次数，对结果的影响并不大，而对于高斯牛顿法和信赖域—Dogleg法，很差的初始值会使得矩阵为奇异值或者接近奇异值，从而无法收敛，得不到拟合结果或者得到的结果拟合精度太差。
而当初始值良好的时候，高斯牛顿法的迭代求解速度最快。
而信赖域—Dogleg法，相较于另外两种方法，拟合精度和拟合速度都差了一些。
关键词：曲线拟合；最小二乘；高斯牛顿法；信赖域—Dogleg法；LMF法；对比分析1.绪论1.1.毕业论文研究的目的意义随着现代社会的发展，获取大量的数据将变得更加容易，在实际生活中，收集到的数据的复杂性将逐渐增加，并且会生成噪声，背景和其他干扰信息。
曲线拟合问题最常用的解法
曲线拟合问题最常用的解法——线性最小二乘法的基本思路第一步:先选定一组函数 r 1(x), r 2(x), …r m (x), m<n, 令f(x)=a 1r 1(x)+a 2r 2(x)+ …+a m r m (x) （1） 其中 a 1,a 2, …a m 为待定系数。
第二步: 确定a 1,a 2, …a m 的准则（最小二乘准则）： 使n 个点（x i ,y i ) 与曲线 y=f(x) 的距离δi 的平方和最小 。
记221211211(,,)[()][()](2)n nm i i i i i nmk k i i i k J a a a f x y a r x y δ======-=-∑∑∑∑问题归结为，求 a 1,a 2, …a m 使 J(a 1,a 2, …a m ) 最小。
线性最小二乘法的求解：预备知识超定方程组：方程个数大于未知量个数的方程组111122111122 ()m m n n nm m nr a r a r a y n m r a r a r a y +++=⎧⎪>⎨⎪+++=⎩ 即 Ra=y其中111112112,,m n n nm m n a y r r r R a y r r r a y ⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥===⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦超定方程一般是不存在解的矛盾方程组。
如果有向量a 使得211221()ni i im m i i r ar a r a y =+++-∑ 达到最小，则称a 为上述超定方程的最小二乘解。
线性最小二乘法的求解所以，曲线拟合的最小二乘法要解决的问题，实际上就是求以下超定方程组的最小二乘解的问题。
Ra=y （3）其中111111()(),,()()m n m n m n r x r x a y R a y r x r x a y ⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥===⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦定理：当R T R 可逆时，超定方程组（3）存在最小二乘解，且即为方程组 R T Ra=R T y的解：a=(R T R)-1R T y线性最小二乘拟合f(x)=a1r1(x)+ …+a m r m(x)中函数{r1(x), …r m(x)}的选取1. 通过机理分析建立数学模型来确定f(x)；2. 将数据(x i,y i) i=1, …n 作图，通过直观判断确定f(x)：用MATLAB作线性最小二乘拟合1. 作多项式f(x)=a1x m+ …+a m x+a m+1拟合,可利用已有程序:例对下面一组数据作二次多项式拟合xi 0.1 0.2 0.4 0.5 0.6 0.7 0.8 0.9 1 yi 1.978 3.28 6.16 7.34 7.66 9.58 9.48 9.30 11.22123()f x a x a x a =++中 的123(,,)A a a a =使得:1121[()] iii f x y =-∑最小解法1．用解超定方程的方法211211111 1x x R x x ⎛⎫⎪=⎪ ⎪⎝⎭此时 1）输入以下命令：x=0:0.1:1;y=[-0.447 1.978 3.28 6.16 7.08 7.34 7.66 9.56 9.48 9.30 11.2]; R=[(x.^2)' x' ones(11,1)]； A=R\y'2）计算结果： Ａ = -9.8108 20.1293 -0.03172()9.810820.12930.0317f x x x =-+-解法2．用多项式拟合的命令 1）输入以下命令： x=0:0.1:1;y=[-0.447 1.978 3.28 6.16 7.08 7.34 7.66 9.56 9.48 9.30 11.2]; A=polyfit(x,y,2) z=polyval(A,x);plot(x,y,'k+',x,z,'r') %作出数据点和拟合曲线的图形 2）计算结果： Ａ = -9.8108 20.1293 -0.03172()9.810820.12930.0317f x x x =-+-用MATLAB 作非线性最小二乘拟合Matlab 的提供了两个求非线性最小二乘拟合的函数：lsqcurvefit 和lsqnonlin 。
最小二乘法与曲线拟合-PPT
量的矛盾方程组
0 + 1 1 + 2 12 + ⋯ + 1 = 1
其矩阵形式为
Ԧ =
0 + 1 2 + 2 22 + ⋯ +
其中
1
= 1
⋮
1
1
2
⋮
12
22
⋮
2
⋯
⋯
⋱
最小二乘法与曲线拟合
§5.0 问题的提出
如果实际问题要求解在[a,b]区间的每一点都“很
好地” 逼近f(x)的话，运用插值函数有时就要失败。
另外，插值所需的数据往往来源于观察测量，本身有
一定的误差。要求插值曲线通过这些本身有误差的点，
势必使插值结果更加不准确。
如果由试验提供的数据量比较大，又必然使得插值
不为零，从而有rankA=m＋1。由引理2知，正则方程
组有唯一解。
证毕
四、最小二乘法拟合曲线的步骤
1..通过观察、分析得到拟合曲线的数学模型，或
根据经验公式确定数学模型。
2.将拟合曲线的数学模型转换为多项式。
3.写出矛盾方程组。
4.写出正则方程组。（可由多项式模型直接得到）
5.求解正则方程组，得到拟合曲线的待定系数。
多项式的次数过高而效果不理想。
从给定的一组试验数据出发，寻求函数的一个近似
表达式y=(x)，要求近似表达式能够反映数据的基本
趋势而又不一定过全部的点(xi,yi)，这就是曲线拟合
问题，函数的近似表达式y=(x)称为拟合曲线。本章
介绍用最小二乘法求拟合曲线。
§5.1 用最小二乘法求解矛盾方程组
《数值分析》第5章 曲线拟合与函数插值
例如用函数
y Aebx
(5.8)
去拟合一组给定的数据，其中 A和 b是待定参这数时. ，可以在 (5.8) 式两端取
对数，得
ln y ln A bx
记 y ln y，a ln A，则上式可写成 y a b. x这样，仍可用最小二乘法解出
和 a (从而b 也就确定了 和 A) ，于b 是得到拟合函数
区间 [a,b]上是存在的，但往往不知道其具体的解析表达式，只能通过观察、
测量或实验得到一些离散点上的函数值.
我们希望对这种理论上存在的函数用一个比较简单的表达式近似地给出整体 上的描述.
此外，有些函数虽然有明确的解析表达式，但却过于复杂而不便于进行理论 分析和数值计算，我们同样希望构造一个既能反映函数特性又便于计算的简 单函数，近似替代原来的函数.
图5-1 人口增长的线性模型
5.1.1 最小二乘问题
设人口 y 与年份 x之间的函数关系为
y a bx
（5.1）
其中 a和 b 是待定参数. 由图5-1可知， (xi , yi并) 不是严格地落在一条直线上，
因此，不论怎样选择 和 a，都b不可能使所有的数据点
(x均i ,满yi )足关系
式 (5.1) .
s0 10, s1 545, s2 29785, u0 18.09, u1 987.78
于是正规方程组为
10 545 a 18.09 545 29785 b 987.78
5.1.2 最小二乘拟合多项式
解得 a 0.570，4 b 0.02，27于是 A ea 1.76，90所求拟合函数为
21 91
441
a1
163
91 441 2275 a2 777
解得 a0 26.8，a1 14.08，57 a2 ，2因此所求拟合多项式为
第5章最小二乘法
24
线性参数正规方程的矩阵形式
又因
（5-21）
有 即 若令 则正规方程又可写成 若矩阵C是满秩的，则有
（5-22）
（5-22） （5-23）
Xˆ 的数学期望
因 可见 Xˆ 是X的无偏估计。
式中Y、X为列向量(n ×1阶矩阵和t×l阶矩阵)
其中矩阵元素Y1，Y2，…，Yn为直接量的真值，而 Xl，X2，…，Xn为待求量的真值。
41
n
前面已证明
2 i
/
2
是自由度为（n－t）的χ2变量。
i 1
根据χ2变量的性质，有
（5-39） 取
（5-40） 可以证明它是σ2的无偏估计量
因为
42
习惯上，式5-40的这个估计量也写成σ2，即 （5-41）
因而测量数据的标准差的估计量为 （5-43）
43
例5．3
• 试求例5．1中铜棒长度的测量精度。 已知残余误差方程为 将ti，li，值代人上式，可得残余误差为
34
（2）用表格计算给出正规方程常数项和系数
（3）给出正规方程 （4）求解正规方程组
解得最小二乘法处理结果为
35
四、最小二乘原理与算术平均值原理 的关系
为了确定一个量X的估计量x，对它进 行n次直接测量，得到n个数据
l1，l2，…，ln，相应的权分别为p1， p2，…，pn，则测量的误差方程为
(5-35)
共得k个方程，称正规方程，求此联立方程的解可得 出诸参数估计值 aˆ j (j＝1，2，…，k)。
10
最小二乘法的几何意义
从几何图形上可看出,最小二乘法就是要在穿过各 观测点(xi，yi)之间找出这样一条估计曲线，使各观测 点到该曲线的距离的平方和为最小。
最小二乘法的线性拟合
变化趋势，比较符合实际规律。曲线拟合的方法有 很多，这里我们只介绍最小二乘法（线性、多项式、
指数曲线）的数据拟合。
10
线性拟合
• 在直角坐标系中点大致呈线性分布， y（x）＝ a0＋a1x
n
n
ei2 （f（xi） yi）2 （[ a0 a1xi） yi ]2 F（a0，a1）
i0
i0
i0
15
要使F（a0，a1）最小，必须满足
即：
F 0，F 0
a0
a1
F
a0
n
2 （a0 a1xi
i0
yi） 0
F
a1
（3）用曲线拟合的方法求出线图的拟合公式
（又称经验公式），再将公式编写成程
序。
2
4.2.1线图的数表化处理 所谓线图数表化处理是将线图离散转化为一
张数表，然后按数表的处理方法进行处理。
右Z图较少为时渐，开对齿线形齿系轮数影的响 一种齿较形大系，数节点曲的线区图间应取得
小些；
渐开线齿轮的齿数和齿形系数的关系
（1）按区域图的中线取值
找出区域中线的表达式， SH1
为此设齿面最小硬度为HB0 。
最高硬度为HBl ，SH0表示 最小硬度对应的极限应力中
SH0
值，SHl表示最大硬度对应 的极限应力中值，由此根据
直线的两点式方程可以写出
HB 0
HB1
极限应力中线的表达式为：
7
（2）按区域图的位置取值
在确定材料极限应力时只能取中值，不尽合理。为了 使设计者能根据所用材料的不同性能，按实际情况在区域 图内取不同的值，为此，增加两个参数，一个是极限应力 的幅度值SF，另一个是表示极限应力在区域图中的位置 参量ST。ST＝1时表示取上限值，ST＝0时表示取中值， ST＝-1时表示取下限值。此时极限应力的计算式变为：
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Y=0.25x2+0.25x-0.25
拟合曲线为： y=0.25x2+0.25x-0.25
课堂练习
设给定观测数据如下，求线性拟合函数 y=ax2+bx+c
上题答案
▪ Xi4和354 ▪ Xi3和100 ▪ Xi2和=30 ▪ Xi和10 ▪ Xiyi和30 ▪ Yi和9
▪ N=4
▪ Xi2yi和106
▪ 354a+100b+30c=106 ▪ 100a+30b+10c=30 ▪ 30a+10b+4c=9
解得：a=1.1 b=-0.7
所以：线性拟合曲线函数为： y=1.1x-0.7
例2：试用二次曲线 y=ax2+bx+c 拟合下列数据:
xi
-3
-2 -1 0
1
23
Yi 4
2
3 0 -1 -2 -5
求得方程组为：
196a 28b
28a
+28c=-7 =-39
+7c=1
解得： b =-39/28 a=-11/84 c=2/3
4:拟合2次曲线y=ax2+bx+c
分析：
误差平方和表达公式：
Q=∑(y^i-yi)2
因为y=ax2+bx+c 所以 Q= ∑(axi2+bxi+c -yi) 2
又根据：Q分别对a、b、c求偏导值为0,最后求得公式为：
∑xi4 a + ∑xi3 b + ∑xi2 c = ∑xi 2yi ∑xi3
a + ∑xi2 b + ∑xi c = ∑xi yi ∑xi2 a +
误差平方和表达公式： Q=∑i=n(1y^i-yi)2
3:拟合1次曲线y=ax+b
根据公式： Q=∑i=n(1y^i-yi)2 因为y=ax+b 所以 Q= ∑(axi+b-yi) 2
根据最小二乘原理，为使Q有最小值，应满足如下式子：
Q a =0
Q =0 b
最后得到： a ∑xi2 +b ∑xi= ∑xi yi a ∑xi+bn=∑ yi
练习2
根据下列数据求拟合曲线函数： y=ax2+b
x 19 25 31 38 44 y 19.0 32.3 49.0 73.3 97.8
∑xi4 a + ∑xi2 b = ∑xi 2yi
∑xi2 a + n b = ∑yi
7277699a+5327b=369321.5 5327a+5b=271.4
∑xi b +n c = ∑yi
例1：设给定的观测数据如下，求线性拟合函数
y=ax+b。
xi 1
2
yi 0 2
34 5 25 4
解：
a ∑xi2 +b ∑xi= ∑xi yi a ∑xi+bn=∑ yi
xi平方和为:55 xi和为:15 xi乘yi和为:50 yi和为:13
代入公式，得到方程组为： 55a+15b=50 15a+5b=13
Y=0.050035x2+0.972579
课堂练习：设给定的观测数据如下，求线性拟合函
数 y=ax2+bx+c。
xi 1
2
yi 0
2
34 25
答案：
求得方程组为：
354a+100b +30c=106 100a+30b+10c=30 30a+10b+4c=9
解得： a=0.25 b=0.25 c=-0.25
a ∑xi2 +b ∑xi= ∑xi yi a ∑xi+bn=∑ yi
求所需系数，得到方程： 29.139a+17.9b=29.7076 17.9a+11b=18.25
通过全选主元高斯消去求得：
a=0.912605
b=0.174034
所以线性拟合曲线函数为： y=0.912605x+0.174034
曲线拟合的最小二乘法
1.曲线拟合的意思
Y
.
.
.
y=ax+b y=ax2+bx+c
X
y=ax+b y=ax2+bx+c 就是未知函数的拟合曲线。
2最小二乘法原理
观测值与拟合曲线值误差的平方和为最小。
yi y0 y1 y2 y3 y4…… 观测值 y^i y^0 y^1 y^2 y^3 y^4…… 拟合曲线值
拟合曲线为： y=(-11x2-117x+56)/84
x
y
1.61 1.64
1.63 1.66
1.6 1.63
1.67 1.7
1.64 1.67
1.63 1.66
1.61 1.64
1.66 1.69
1.59 1.62
1.68 1.71
1.58 1.63
练习1
根据左侧数据求拟合曲线函数：y=ax+b