第五章 曲线拟合与最小二乘法
最小二乘法拟合原理
最小二乘法拟合原理最小二乘法是一种常用的数学方法，用于寻找一组数据的最佳拟合曲线或者最佳拟合函数。
它的原理是通过最小化实际观测数据与拟合曲线之间的残差平方和，来确定最佳拟合曲线的参数。
这个方法在实际应用以及科学研究中非常常见，下面将详细介绍最小二乘法的拟合原理。
在介绍最小二乘法之前，我们首先需要了解线性回归模型。
线性回归是一种常见的数据拟合手段，它基于以下假设：给定自变量X和因变量Y，存在一个线性关系Y=aX+b。
其中，a称为斜率，b称为截距。
当我们拥有一组数据（X1，Y1），（X2，Y2），（X3，Y3），...，（Xn，Yn）时，最小二乘法通过找到最佳的a和b，使得方程Y=aX+b最好地拟合这组数据。
它通过最小化每个观测点的残差来确定最佳拟合曲线。
残差是指实际观测值与拟合值之间的差异。
对于每一个观测点（Xi，Yi），其拟合值为Yi'=aXi+b，残差为Ri=Yi-Yi'，即实际观测值与拟合值的差。
S=∑(Yi-Yi')²=∑(Yi-aXi-b)²为了找到最佳的a和b，我们需要求解方程S对a和b的偏导数，并令其等于0。
求解a和b的偏导数得到以下两个方程：∂S/∂a=0∂S/∂b=0对第一个方程求解可以得到：∂S/∂a=-2∑(Yi-aXi-b)Xi=0进一步整理可以得到：∑YiXi-a∑(Xi)²-b∑(Xi)=0对第二个方程求解可以得到：∂S/∂b=-2∑(Yi-aXi-b)=0进一步整理可以得到：∑Yi - a∑(Xi) - nb = 0其中，n为观测点的数目。
解这个方程组，我们可以得到a和b的值，从而确定最佳拟合曲线的方程Y=aX+b。
最小二乘法还可以用于非线性的数据拟合。
对于非线性拟合，我们可以假设一个非线性的函数模型，例如Y=f(X,θ)，其中θ是待拟合的参数。
然后，通过最小化残差平方和来确定最佳的θ值。
方法类似于线性拟合，其中拟合值变为Yi'=f(Xi,θ)，残差为Ri=Yi-Yi'。
最小二乘法拟合曲线
m=6;n=3; A=zeros(n+1); for j=1:n+1 for i=1:n+1 for k=1:m+1 A(j,i)=A(j,i)+x(k)^(j+i-2) end end end;
B=B'; a=inv(A)*B; x=[-1.0:0.0001:2.0]; z=a(1)+a(2)*x+a(3)*x.^2+a(4)*x.^3; plot(x,z) legend('离散点','y=a(1)+a(2)*x+a(3)*x.^2+a(4)*x.^3') title('拟合图')
title('拟合图')
x=-1.0:0.5:2.0; y=[-4.447,-0.452,0.551,0.048,-0.447,0.549,4.552]; plot(x,y,'*') xlabel'x轴' ylabel'y轴' title'散点图' hold on
B=[0000]; for j=1:n+1 for i=1:m+1 B(j)=B(j)+y(i)*x(i)^(j-1) end end
的方法即为最小二乘法多项式拟合。
确定上述多项式的过程也就是确定
中的系数
的过程，根据最小二乘原则，则偏差平方和应该是这些系数的函数，即
为使上式取值最小，则其关于ak
的一阶导数应该为零，即有
将上面各等式写成方程组的形式可有
写成矩阵形式有
上述方程组可以通过克莱姆法则来计算，从而解出各系数
得到拟合方程。
最小二乘法拟合曲线01 来自景 04 算法目录CONTENTS
最小二乘法曲线拟合原理及maab实现
曲线拟合（curve-fitting ）：工程实践中，用测量到的一些离散的数据},...2,1,0),,{(m i y x i i =求一个近似的函数)(x ϕ来拟合这组数据，要求所得的拟合曲线能最好的反映数据的基本趋势（即使)(x ϕ最好地逼近()x f ，而不必满足插值原则。
因此没必要取)(i x ϕ=i y ，只要使i i i y x -=)(ϕδ尽可能地小）。
原理：给定数据点},...2,1,0),,{(m i y x i i =。
求近似曲线)(x ϕ。
并且使得近似曲线与()x f 的偏差最小。
近似曲线在该点处的偏差i i i y x -=)(ϕδ，i=1,2,...,m 。
常见的曲线拟合方法:1.使偏差绝对值之和最小2.使偏差绝对值最大的最小3.使偏差平方和最小最小二乘法：按偏差平方和最小的原则选取拟合曲线，并且采取二项式方程为拟合曲线的方法,称为最小二乘法。
推导过程：1. 设拟合多项式为：2. 各点到这条曲线的距离之和，即偏差平方和如下：3. 问题转化为求待定系数0a ...k a 对等式右边求i a 偏导数，因而我们得到了： .......4、 把这些等式化简并表示成矩阵的形式，就可以得到下面的矩阵：5. 将这个范德蒙得矩阵化简后可得到:6. 也就是说X*A=Y ，那么A = (X'*X)-1*X'*Y ，便得到了系数矩阵A ，同时，我们也就得到了拟合曲线。
MATLAB 实现：MATLAB 提供了polyfit （）函数命令进行最小二乘曲线拟合。
调用格式：p=polyfit(x,y,n)[p,s]= polyfit(x,y,n)[p,s,mu]=polyfit(x,y,n)x,y 为数据点，n 为多项式阶数，返回p 为幂次从高到低的多项式系数向量p 。
x 必须是单调的。
矩阵s 包括R （对x 进行QR 分解的三角元素）、df(自由度）、normr(残差）用于生成预测值的误差估计。
数据拟合
第五章 数据拟合这就是数据拟合成曲线的思想，简称为曲线拟合(fitting a curve)。
根据一组二维数据，即平面上的若干点，要求确定一个一元函数y = f (x )，即曲线，使这些点与曲线总体来说尽量接近，曲线拟合其目的是根据实验获得的数据去建立因变量与自变量之间有效的经验函数关系，为进一步的深入研究提供线索。
本章的目的，掌握一些曲线拟合的基本方法，弄清楚曲线拟合与插值方法之间的区别,学会使用MATLAB 软件进行曲线拟合。
§1 最小二乘法给定平面上的点(x i, y i )，（i = 1,2,…,n ），进行曲线拟合有多种方法，其中最小二乘法是解决曲线拟合最常用的方法。
最小二乘法的原理是：求 ∑∑==-==n i i i ni i y x f x f 1212])([),(δδ使 达到最小如图1所示，其中δi 为点(x i ,y i )与曲线y=f (x )的距离。
曲线拟合的实际含义是寻求一个函数y=f (x )，使f (x )在某种准则下与所有数据点最为接近，即曲线拟合得最好。
最小二乘准则就是使所有散点到曲线的距离平方和最小。
拟合时选用一定的拟合函数f (x ) 形式，设拟合函数可由一些简单的“基函数”（例如幂函数，三角函数等等） )(),...,(),(10x x x m ϕϕϕ来线性表示：)(...)()()(1100x c x c x c x f m m ϕϕϕ+++=图1 曲线拟合示意图现在要确定系数c 0，c 1，…，c m ，使d 达到极小。
为此，将f (x )的表达式代入d 中，d 就成为c 0，c 1，…，c m 的函数，求d 的极小，就可令d 对 c i 的偏导数等于零，于是得到m +1个方程组，从中求解出c i 。
通常取基函数为1，x ，x 2，x 3，…，x m ，这时拟合函数f (x )为多项式函数。
当m =1时，f (x ) = a + bx ，称为一元线性拟合函数，它是曲线拟合最简单的形式。
最小二乘法线性详细说明
1
在处理数据时，常要把实验获得的一系 列数据点描成曲线表反映物理量间的关系。 为了使曲线能代替数据点的分布规律，则 要求所描曲线是平滑的，既要尽可能使各 数据点对称且均匀分布在曲线两侧。由于 目测有误差，所以，同一组数据点不同的 实验者可能描成几条不同的曲线(或直线)， 而且似乎都满足上述平滑的条件。那么， 究竟哪一条是最曲线呢？这一问题就是 “曲线拟合”问题。一般来说，“曲线拟 合”的任务有两个：
2．Y与X之间是否是直线关系（协方差或相关系 数）？若是，将用一条直线描述它们之间的关系。
3．什么是最好？—找出判断“最好”的原则。 最好指的是找一条直线使得这些点到该直线的纵 向距离的和（平方和）最小。
9
第一节 一元线性拟合
1. 函数形式已知
数学推证过程
1.已知函数为线性关系，其形式为：
大。
22
23
这时“最佳”二字只能说明数据点距这直线的总偏差 较小，但不能反映出数据点的分布规律。或者说，我 们事先的初步判断是错误的。数据点的分布规律不是 线形的,根本就不能用一条直线表示。
为了帮助我们理解这一点,我们再讨论极限情况。
当 R=0时（s 最大）sxy 0 , syy 0,sxx 0,所以
b=0,a= y , 从而得到y= y 的错误结论。这说明数据点
的分布不是线性,不能拟合为线性关系曲线。
24
起码相关系数 -- R0
R0 的值与数据点的个数n有关。书中P40表5-3 中给出了起码相关系数 R0的值。
如果有一组数据点初步观测为线性分布。那么， 为多大R 时，就可以用一条最佳直线来表示其分 布呢？
只有相关系数 R≥ R时0 ，才能用线性回归方程
y=a+bx来描述数据的的分布规律。否则毫无 意义。
最小二乘拟合法公式
最小二乘拟合法公式最小二乘拟合法是一种常用的数据分析方法，用于找到一条最佳的拟合曲线或函数，使其在给定的数据集上的误差平方和最小。
这种方法可以用于解决各种问题，例如线性回归、曲线拟合等。
在最小二乘拟合法中，我们希望找到一个函数或曲线，使其能够最好地拟合给定的数据点。
假设我们有一组数据点{(x1, y1), (x2, y2), ..., (xn, yn)}，我们希望找到一个函数y = f(x)，使得对于每个数据点(xi, yi)，f(xi)的值与yi的值之间的差异最小。
为了实现这个目标，我们可以使用最小二乘法来确定最佳的拟合函数。
最小二乘法通过最小化误差平方和来找到最佳拟合函数的系数。
误差平方和定义为每个数据点的预测值与实际值之差的平方之和。
最小二乘拟合法的公式如下所示：β = (X^T * X)^(-1) * X^T * Y其中，β是一个包含拟合函数的系数的向量，X是一个包含数据点的矩阵，Y是一个包含对应的实际值的向量，^T表示矩阵的转置，^(-1)表示矩阵的逆运算。
通过求解上述公式，我们可以得到最佳的拟合函数的系数。
然后，我们可以使用这些系数来计算拟合函数在其他输入值上的预测值。
最小二乘拟合法在实际应用中具有广泛的用途。
例如，在线性回归中，我们可以使用最小二乘法来拟合一条最佳的直线，以描述自变量和因变量之间的关系。
在曲线拟合中，我们可以使用最小二乘法来拟合一条最佳的曲线，以逼近给定的数据点。
需要注意的是，最小二乘拟合法在某些情况下可能会出现问题。
例如，当数据点存在较大的误差或离群值时，最小二乘法可能会受到影响。
此外，最小二乘法只能用于找到最佳的拟合函数，而不能确定拟合函数的可靠性或显著性。
总结起来，最小二乘拟合法是一种常用的数据分析方法，用于找到一条最佳的拟合曲线或函数。
通过最小化误差平方和，最小二乘法可以确定拟合函数的系数，从而实现对给定数据的最佳拟合。
然而，最小二乘法也有一些限制，需要在实际应用中进行注意。
第5章-1 曲线拟合(线性最小二乘法)讲解
求所需系数，得到方程： 29.139a+17.9b=29.7076 17.9a+11b=18.25
通过全选主元高斯消去求得：
a=0.912605
b=0.174034
所以线性拟合曲线函数为： y=0.912605x+0.174034
练习2
根据下列数据求拟合曲线函数： y=ax2+b
x 19 25 31 38 44 y 19.0 32.3 49.0 73.3 97.8
∑xi4 a + ∑xi2 b = ∑xi 2yi
∑xi2 a + n b = ∑yi
7277699a+5327b=369321.5 5327a+5b=271.4
曲线拟合的最小二乘法
1.曲线拟合的意思
Y
.
.
.
.
y=ax+b y=ax2+bx+c
X
y=ax+b y=ax2+bx+c 就是未知函数的拟合曲线。
2最小二乘法原理
观测值与拟合曲线值误差的平方和为最小。
yi y0 y1 y2 y3 y4…… 观测值 y^i y^0 y^1 y^2 y^3 y^4…… 拟合曲线值
拟合曲线为： y=(-11x2-117x+56)/84
x
yHale Waihona Puke 1.61 1.641.63 1.66
1.6 1.63
1.67 1.7
1.64 1.67
1.63 1.66
1.61 1.64
1.66 1.69
1.59 1.62
《数值分析》第5章 曲线拟合与函数插值
例如用函数
y Aebx
(5.8)
去拟合一组给定的数据，其中 A和 b是待定参这数时. ，可以在 (5.8) 式两端取
对数，得
ln y ln A bx
记 y ln y，a ln A，则上式可写成 y a b. x这样，仍可用最小二乘法解出
和 a (从而b 也就确定了 和 A) ，于b 是得到拟合函数
区间 [a,b]上是存在的，但往往不知道其具体的解析表达式，只能通过观察、
测量或实验得到一些离散点上的函数值.
我们希望对这种理论上存在的函数用一个比较简单的表达式近似地给出整体 上的描述.
此外，有些函数虽然有明确的解析表达式，但却过于复杂而不便于进行理论 分析和数值计算，我们同样希望构造一个既能反映函数特性又便于计算的简 单函数，近似替代原来的函数.
图5-1 人口增长的线性模型
5.1.1 最小二乘问题
设人口 y 与年份 x之间的函数关系为
y a bx
（5.1）
其中 a和 b 是待定参数. 由图5-1可知， (xi , yi并) 不是严格地落在一条直线上，
因此，不论怎样选择 和 a，都b不可能使所有的数据点
(x均i ,满yi )足关系
式 (5.1) .
s0 10, s1 545, s2 29785, u0 18.09, u1 987.78
于是正规方程组为
10 545 a 18.09 545 29785 b 987.78
5.1.2 最小二乘拟合多项式
解得 a 0.570，4 b 0.02，27于是 A ea 1.76，90所求拟合函数为
21 91
441
a1
163
91 441 2275 a2 777
解得 a0 26.8，a1 14.08，57 a2 ，2因此所求拟合多项式为
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
还原为原变量所表示的曲线拟合方程。
表5-1列举了几类经适当变换后化为线性拟合求解的 曲线拟合方程及变换关系
贵州航天职业技术学院计算机科学系 王陞国 制作
第五章 曲线拟合与最小二乘法
曲线拟合方程
y axb
表5-1 变换关系 变换后线性拟合方程 y ln y, x ln x y a bx (a ln a)
y 4.7143 2.7857x 0.5000x 2
第五章 曲线拟合与最小二乘法
（3）可化为线性拟合的非线性拟合
有些非线性拟合曲线可以通过适当的变量替换转化
为线性曲线，从而用线性拟合进行处理，对于一个实
《 计 算 方 法 与 实 习 》
际的曲线拟合问题，一般先按观测值在直角坐标平面 上描出散点图，看一看散点的分布同哪类曲线图形接 近，然后选用相接近的曲线拟合方程。再通过适当的 变量替换转化为线性拟合问题，按线性拟合解出后再
计 算 方 法 与 实 习 》
换句话说:求一条曲线,使数据点均在离此曲线的上
第五章 曲线拟合与最小二乘法
与已知函数从总体上来说其偏差按某种方法度量达 到最小,这就是最小二乘法。
y
图5-1
曲线拟合示意图
o 贵州航天职业技术学院计算机科学系 王陞国 制作 x
《 计 算 方 法 与 实 习 》
e max i max ( xi ) f ( x i )
i i
1 2
最小。为了便于计算、分析与应用，通常要求 e的
2-范数
e
2
i2 i 0
n
1 2
2 n ( xi ) f ( x i ) i 0
i
xi
1 1.36 14.094
2 1.37 16.844
3 1.95 18.475
4 2.28 20.963
yi
用最小二乘法求以上数据的拟合函数 解:把表中所给数据画在坐标纸上,将会看到数据点 的分布可以用一条直线来近似地描述,设所求的 。 贵州航天职业技术学院计算机科学系 王陞国 制作
《 计 算 方 法 与 实 习 》
将以上数据代入上式正规方程组,得
贵州航天职业技术学院计算机科学系 王陞国 制作
4a0 7.32a1 70.376 7.32a0 13.8434a1 132.12985
第五章 曲线拟合与最小二乘法
（2）多项式拟合
有时所给数据点的分布并不一定近似地呈一条直
线,这时仍用直线拟合显然是不合适的,可用多项式
,yi ) 要求严格地通过所有数据点 ( xi ,也就是说拟合函数 (x) 在
《 计 算 方 法 与 实 习 》
xi 处的偏差(亦称残差）
i ( xi ) f ( xi )
(i 0,1,, n)
不都严格地等于零。但是,为了使近似曲线能尽量反
映所给数据点的变化趋势,要求 i 按某种度量标准
i
1
2
3
4
5
6
5 3
xi 0 1 2 3 4 yi 5 2 1 1 2 用最小二乘法求一个多项式拟合这组数据
贵州航天职业技术学院计算机科学系 王陞国 制作
解：将已给数据点描在坐标系中，可以看出这些点 接近一条抛物线，因此设所求的多项式为
第五章 曲线拟合与最小二乘法
y a0 a1 x a2 x
1 y y
x y y
y ax2 bx c
贵州航天职业技术学院计算机科学系 王陞国 制作
第五章 曲线拟合与最小二乘法
几种常见的数据拟合情况。图 ( a ) 表示数据接近于
直线，故宜采用线性函数 y a0 a1 x 拟合；图(b)数 据分布接近于抛物线。可采拟合；二次多项式
《 计 算 方 y 法 与 实 习 》
习 》
两种逼近概念: 插值: 在节点处函数值相同. 拟合: 在数据点处误差平方和最小
贵州航天职业技术学院计算机科学系 王陞国 制作
第五章 曲线拟合与最小二乘法
函数插值是插值函数P(x)与被插函数f(x)在节处函数值 相同,即 P( xi ) f ( xi ) (i 0,1,, n) 而曲线拟合函数 (x) 不
m F ( a 0 , a1 ) 2 ( a 0 a1 xi y i ) 0 a 0 i 1 m F ( a 0 , a1 ) 2 (a 0 a1 xi y i )xi 0 a1 i 1 贵州航天职业技术学院计算机科学系 王陞国 制作
, 解得 拟合直线为a0 x a9374 1=1.36, .4626 x3 =1.95 记x a1 7x2=1.37, y( ) 3. 0 a1 x x4 即得拟合直线 =2.28, y1 =14.094, 2=.9374 y3.=18.475, y y 3 16.844, 7 4626x y4=20.963 4 4 则正规方程组为4a0 a1 xi yi
是由实验或观测得到的数据，不可避免地带有测量误差
，如果要求所得的近似函数曲线精确无误地通过所有的 点(xi,yi),就会使曲线保留着一切测试误差。当个别数据 的误差较大时,插值效果显然是不理想的。此外,由实验 或观测提供的数据个数往往很多,如果用插值法,势必得
到次数较高的插值多项式，这样计算起来很烦琐。
即
e
2 2
i2 ( xi ) f ( x i )
i 0 i 0
n
n
2
为最小。这种要求误差（偏差）平方和最小的拟合
称为曲线拟合的最小二乘法。
贵州航天职业技术学院计算机科学系 王陞国 制作
第五章 曲线拟合与最小二乘法
（1）直线拟合 设已知数据点 xi , yi , i 1,2,, m,分布大致为一条直线
最小。若记向量 e 0 , 1 ,, n T ,即要求向量 e 的某种
范数 e 最小,如 e的1-范数 e 1或∞-范数 e 即
贵州航天职业技术学院计算机科学系 王陞国 制作
第五章 曲线拟合与最小二乘法e1 Nhomakorabea
i 0
n
i
(x )
i 0 i
n
f (xi )
或
第五章 曲线拟合与最小二乘法
与函数插值问题不同,曲线拟合不要求曲线通过 所有已知点,而是要求得到的近似函数能反映数据的 基本关系。在某种意义上,曲线拟合更有实用价值。 在对给出的实验(或观测)数据 ( xi , y i )(i 0,1,, n) 《 计 算 作曲线拟合时,怎样才算拟合得最好呢？一般希望各 方 法 实验(或观测)数据与拟合曲线的偏差的平方和最小,这 与 实 就是最小二乘原理。
y a0 a1 x a2 x 2 拟合；
y
O
(a)
x
O
(b)
x
贵州航天职业技术学院计算机科学系 王陞国 制作
第五章 曲线拟合与最小二乘法
图 ( c ) 的数据分布特点是开始曲线上升较快随后逐
渐变慢,宜采用双曲线型函数
b x
x y a bx
或指数型函
数 y ae 图 ( d ) 的数据分布特点是开始曲线下降快,随
。作拟合直线 y( x) a0 a1 x ,该直线不是通过所有的 数据点 xi , yi ,而是使偏差平方和
《 计 算 方 法 与 实 习 》
F (a0 , a1 ) (a0 a1 xi yi ) 2
m
为最小，其中每组数据与拟合曲线的偏差为
i 1
y( xi ) yi a0 a1 xi yi i 1,2,, m 根据最小二乘原理，应取 a0 和 a1 使 F (a0 , a1 ) 有极小值 ，故 a0 和 a1 应满足下列条件：
由法方程组（5.2）, 经计算得
6a 15a 55a 14 15a 55a 225a 30 55a 225a 979a 122 1 2 0 解之得 a0 4.7143 a1 2.7857 a2 0.5000 , ,
所求的多项式为
贵州航天职业技术学院计算机科学系 王陞国 制作
《 计 算 方 法 与 实 习 》
后逐渐变慢,宜采用
j N m 2 i 1 j 0
为最小
贵州航天职业技术学院计算机科学系 王陞国 制作
第五章 曲线拟合与最小二乘法
Q
( y i a j xi j ) 2
i 1 j 0
N
m
《 计 算 方 法 与 实 习 》
由于Q可以看作是关于 ( j=0,1,2,…, m)的多 元函数, 故上述拟合多项式的构造问题可归 结为多元函数的极值问题。令
第五章 曲线拟合与最小二乘法
i 1 i 1 4 4 4 a xi a1 xi2 xi y i 0 i 1 i 1 i 1
4
其中
x
i 1
4
i
7.32
xi2 13.8434
i 1
y
i 1
4
i
70.376
x y
i 1 i
4
i
132.12985
2
《 6 6 6 6 6 6 6 2 3 4 计 xi 15, xi 55, xi 225, xi 797, yi 14, xi yi 30, xi2 yi 122 算 N=6 i 1 i 1 i 1 i 1 i 1 i 1 i 1 方 法其法方程组为 0 1 2 与 实 习 0 1 2 》
《 计 算 方 法 与 实 习 》
拟合。对于给定的一组数据 xi , yi , i 1,2,, N 寻求次数不超过m (m<<N ) 的多项式，