曲线拟合的最小二乘法论文解读
“数值计算方法与算法”论文
题目：浅谈曲线拟合的最小二乘法
院系：化学与材料工程学院20系
姓名：
学号：
时间：2015年春季学期
浅谈曲线拟合的最小二乘法
【摘要】
数值计算方法，一种研究并解决数学问题的数值近似解的方法，主要解决那些理论上有解但是无法轻易且准确求解的数学问题。在当今计算机技术日渐成熟的背景下，数值计算方法的应用被大大的推广，并且极大的推动了自然科学的规律探索及理论验证。本文主要探讨了一种重要的数值计算方法——曲线拟合的最小二乘法的历史发展、理论核心以及应用价值。
关键词：数值计算方法最小二乘法应用
【正文】
数值计算方法，是一种研究并解决数学问题的数值近似解方法，现在通常在计算机上使用来求解数学问题。它主要的计算对象是那些在理论上有解而又无法直接手工计算的数学问题【1】。例如，用已知的数据点来构造合适的插值函数或拟合出合适的曲线来近似代替原函数，从而解决了因难以求得原函数表达式而无法计算相关函数值的难题；又如，对于一个一般的非线性方程，可能在计算方程的根时既无一定章程可循，也无理论解法可言，那么这时就可以构造合适的迭代格式如Newton迭代，通过对一个近似的初值进行有限次迭代，就可以得到较精准的根值，从而有效避免了冗长而又复杂的理论求解的过程。
在学习完计算方法与算法这门课程后，我收获了许多实用的计算方法、技巧和思想，而对书中的某些问题的解法的深入思考也让我加深了对这门课程的理解。由于专业的相关需要，我对曲线拟合的最小二乘法这部分知识点进行了重点的学习和深刻的反思，也收获了许多。
1.最小二乘法的发展历史
18世纪中期以后，欧拉（L. Euler, 1707-1783）、梅耶（T. Meiyer, 1723-1762）、拉普拉斯(P. S. Laplace, 1749—1827)等科学家在研究一些天体运动规律时，都得到了一些含有m个变量n个（）方程的线性方程组（也就是我们现在所说的线性矛盾方程组），并且各自运用了一些方法解出了方程组的较优解。虽然方法繁琐且奇特，但不失为数学史一次伟大的尝试。
有关于最小二乘法的首次应用于实际计算并成功的记载，是关于第一颗小行星位置的预测，十分之有趣。1801年，意大利天文学家朱塞普·皮亚齐（Giuseppe Piazzi,1746-1826）发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后，全世界的科学家利用皮亚齐的观测数据，开始了寻找谷神星之旅。但是，根据大多数人的计算结果来寻找谷神星，都以失败告终。时年24岁的伟大的数学家高斯（C.F.Gauss, 1777－1855）也随即参与了这次的计算。最终德国天文学家奥伯斯（Heinrich Olbers）
根据高斯计算出来的轨道重新发现了谷神星！而高斯所使用的分析数据的方法，就是最小二乘法！【2】
最小二乘法最早被公开发表在勒让德（A. M. Legendre, 1752—1833）1805年的论著《计算彗星轨道的新方法》附录中。勒让德在书中描述了最小二乘法的思想、具体做法及其优点。以引进这种方法的理由为开端:“所研究的大多数问题都是由观测值来确定其结果, 但这几乎总产生形如方程的方程组, 其中…是已知系数, 它们从一个方程到另一个方程是有变动的。…是未知的, 它们必须根据将每个方程E化0或很小的量来确定”
[3]。勒让德认为:“赋予误差的平方和为极小, 则意味着在这些误差间建立了一种均衡性, 它阻止了极端情形所施加的过分影响。这非常好地适用于揭示最接近真实情形的系统状态”[4]。
从19世纪初，在被高斯和勒让德各自独立发明之后，最小二乘法就被科学家们广泛应用于数据的统计分析以及预测。据不完全统计，自1805年至1864年的60年内，有关最小二乘法的研究论文达到256篇，一些百科全书亦收入有关方法的介绍。最小二乘法对科学发展的影响之深远由此可见一斑。
2.曲线拟合最小二乘法的理论
曲线拟合最小二乘法是一种数学优化技术。它通过均方误差R达到极小值来构造拟合曲线，从而找到所给数据的最佳匹配函数。它将一组通过观察或者测量得到的离散数据序列（，），，，用一个最匹配的拟合函数来
描述，从而可以从函数模型来分析这组数据的内在规律。这种算法在科学技术的发展中起到了十分重要的作用。例如，在物理、化学实验中，经常会通过一些方法测得一组至多组数据，我们常常要从这些离散的、看似毫无规律的大量数据中，提出一种最恰当的函数模型，来描述各种变量之间的函数关系，即我们所要研究的物理、化学规律，并以这种函数（规律）来准确预测其他的数据点。这就是最经典的发现科学规律的方法之一，也是科学家提出新理论的有效验证手段之一。简单介绍几种曲线拟合的最小二乘法理论。
2.1线性模型的曲线拟合
首先已知与所测得的数据，，，的规律相适应的解析表达式为其中是未知参数。
均方误差为：
根据微积分极值理论，达到极小值时，满足：
整理可以得到拟合曲线的法方程的矩阵形式：
通过求解该法方程便可以得到拟合曲线的参数，从而得到数据的内在规律。
2.2二次函数模型曲线拟合
给定数据列，，，作二次多项式函数拟合这组数据。设：
均方误差为：
根据微积分极值理论，达到极小值时，满足：
整理可以得到拟合曲线的法方程的矩阵形式：
通过求解该法方程便可以得到拟合曲线的参数，从而得到数据的内在规律。[1]
2.3非线性模型的曲线拟合
通过对因变量和自变量作适当的变量代换，使与原始数据的规律相适应的解析表达式变换为线性表达式，数据也需做相应的变换，然后就可以用上述方法求得规律的数学表达式。下表列出了一些常用的非线性模型的拟合方法：
表1.可化为线性模型的常用曲线
2.4最小二乘法曲线拟合的做法
曲线拟合的一般思路: 线性问题,根据最小二乘原理,将问题转化为线性方程组的求解;非线性问题,如果可以通过某些数学变换化成线性,通常优先采用变换,不能化为线性的要借助于求解非线性方程组或最优化理论来解决。
具体做法：拿到原始数据，首先要了解这些数据的理论模型（通常为2.1和2.2所列类型，非线性模型可依表1所列公式进行相应变换），然后列表求出一些相应的量，最后代入相应的法方程进行求解，即可得到均方误差极小的拟合曲线方程。
可以看一道曲线拟合的最小二乘法的应用实例：
例. 在某化学反应里，测得生成物浓度y(%)与时间t（min）的数据见下表，试用最小二乘法建立x 与y之间的经验公式，已知为。
解：通过变量变换将它转化为关于特定参数的线性函数，可以将上式改写成：
于是可以引进变量，则上式变换成
根据线性最小二乘法的解法，可以求得，，代入得经验公式：
。
3.曲线拟合的最小二乘法——应用价值
运用曲线拟合的最小二乘法对实验测得的原始数据进行一定的拟合，通常都可以得到较为满意的结果。掌握好这种方法，对于少量数据点，一般就可以直接手工计算拟合。但是若数据点的量很庞大，那么便要借助于现代计算机的“超级计算”能力了。计算机是数值计算方法常用的计算工具，曲线拟合也不例外。随着计算机技术的迅猛发展和普及，数据的曲线拟合将越来越被广泛应用各种研究之中。调研关于最小二乘法或者曲线拟合的论文，我们可以发现，曲线拟合的最小二乘法以及以它为基础的改进方法，广泛应用于各个领域的研究：“基于最小二乘法道路平面曲线拟合”，“最小二乘法曲线拟合在温室效应研究中的应用”，“基于最小二乘法位移传感器数据的曲线拟合”，“基于MATLAB的最小二乘曲线拟合仿真研究”，“非线性最小二乘法拟合函数在经济发展中的应用”……涵盖了生活、学习、工作、科研等的几乎每一个方面，它所创造的价值不可估量。
【参考文献】
[1]张韵华，奚梅成，陈效群. 数值计算方法与算法[M].第二版. 北京：科学出版社.2006.3
[2]百度百科词条. 最小二乘法.
[3] PLACKETT R L. The Discovery of the method of Least Squares [J]. Biometrika, 1972, (59):239-251.
[4] STIGLER S M. The History of Statistics [M]. Cambridge: Harvard University Press, 1986:94-96
读书的好处
1、行万里路，读万卷书。
2、书山有路勤为径，学海无涯苦作舟。
3、读书破万卷，下笔如有神。
4、我所学到的任何有价值的知识都是由自学中得来的。——达尔文
5、少壮不努力，老大徒悲伤。
6、黑发不知勤学早，白首方悔读书迟。——颜真卿
7、宝剑锋从磨砺出，梅花香自苦寒来。
8、读书要三到：心到、眼到、口到
9、玉不琢、不成器，人不学、不知义。
10、一日无书，百事荒废。——陈寿
11、书是人类进步的阶梯。
12、一日不读口生，一日不写手生。
13、我扑在书上，就像饥饿的人扑在面包上。——高尔基
14、书到用时方恨少、事非经过不知难。——陆游
15、读一本好书，就如同和一个高尚的人在交谈——歌德
16、读一切好书，就是和许多高尚的人谈话。——笛卡儿
17、学习永远不晚。——高尔基
18、少而好学，如日出之阳；壮而好学，如日中之光；志而好学，如炳烛之光。——刘向
19、学而不思则惘，思而不学则殆。——孔子
20、读书给人以快乐、给人以光彩、给人以才干。——培根
曲线拟合最小二乘法c++程序
课题八曲线拟合的最小二乘法 实验目标： 在某冶炼过程中，通过实验检测得到含碳量与时间关系的数据如下，试求含碳量y与时间t #include 曲线拟合（curve-fitting ）：工程实践中，用测量到的一些离散的数据},...2,1,0),,{(m i y x i i =求一个近似的函数)(x ?来拟合这组数据，要求所得的拟合曲线能最好的反映数据的基本趋势（即使)(x ?最好地逼近()x f ，而不必满足插值原则。因此没必要取)(i x ?=i y ，只要使i i i y x -=)(?δ尽可能地小）。 原理： 给定数据点},...2,1,0),,{(m i y x i i =。求近似曲线)(x ?。并且使得近似曲线与()x f 的偏差最小。近似曲线在该点处的偏差i i i y x -=)(?δ，i=1,2,...,m 。 常见的曲线拟合方法: 1.使偏差绝对值之和最小 2.使偏差绝对值最大的最小 3.使偏差平方和最小 最小二乘法： 按偏差平方和最小的原则选取拟合曲线，并且采取二项式方程为拟合曲线的方法,称为最小二乘法。 推导过程： 1. 设拟合多项式为： 2. 各点到这条曲线的距离之和，即偏差平方和如下： 3. 问题转化为求待定系数0a ...k a 对等式右边求i a 偏导数，因而我们得到 了： ....... 4、 把这些等式化简并表示成矩阵的形式，就可以得到下面的矩阵： 5. 将这个范德蒙得矩阵化简后可得到: 6. 也就是说X*A=Y，那么A = (X'*X)-1*X'*Y，便得到了系数矩阵A，同时，我们也就得到了拟合曲线。 MATLAB实现： MATLAB提供了polyfit（）函数命令进行最小二乘曲线拟合。 调用格式：p=polyfit(x,y,n) [p,s]= polyfit(x,y,n) [p,s,mu]=polyfit(x,y,n) x,y为数据点，n为多项式阶数，返回p为幂次从高到低的多项式系数向量p。x必须是单调的。矩阵s包括R（对x进行QR分解的三角元素）、df(自由度）、normr(残差）用于生成预测值的误差估计。 [p,s,mu]=polyfit(x,y,n)在拟合过程中，首先对x进行数据标准化处理，以在拟合中消除量纲等影响，mu包含标准化处理过程中使用的x的均值和标准差。 polyval( )为多项式曲线求值函数，调用格式： y=polyval(p,x) [y,DELTA]=polyval(p,x,s) y=polyval(p,x)为返回对应自变量x在给定系数P的多项式的值。 [y,DELTA]=polyval(p,x,s) 使用polyfit函数的选项输出s得出误差估计Y DELTA。它假设polyfit函数数据输入的误差是独立正态的，并且方差为常数。则Y DELTA将至少包含50%的预测值。 如下给定数据的拟合曲线： x=[0.5,1.0,1.5,2.0,2.5,3.0]， y=[1.75,2.45,3.81,4.80,7.00,8.60]。 解：MATLAB程序如下： x=[0.5,1.0,1.5,2.0,2.5,3.0]; y=[1.75,2.45,3.81,4.80,7.00,8.60]; p=polyfit(x,y,2) x1=0.5:0.05:3.0; y1=polyval(p,x1); plot(x,y,'*r',x1,y1,'-b') 运行结果如图1 计算结果为： p =0.5614 0.8287 1.1560 即所得多项式为y=0.5614x^2+0.08287x+1.15560 图1 最小二乘法曲线拟合示例 对比检验拟合的有效性： 例：在[0,π]区间上对正弦函数进行拟合，然后在[0,2π]区间画出图形，比较拟合区间和非拟合区间的图形，考察拟合的有效性。 在MATLAB中输入如下代码： clear x=0:0.1:pi; y=sin(x); [p,mu]=polyfit(x,y,9) 实验三 函数逼近与曲线拟合 一、问题的提出： 函数逼近是指“对函数类A 中给定的函数)(x f ,记作A x f ∈)(,要求在另一类简的便于计算的函数类B 中求函数A x p ∈)(,使 )(x p 与)(x f 的误差在某中度量意义下最小”。函数类A 通常是区间],[b a 上的连续函数，记作],[b a C ,称为连续函数空间，而函数类B 通常为n 次多项式，有理函数或分段低次多项式等，函数逼近是数值分析的基础。主要内容有： （1）最佳一致逼近多项式 （2）最佳平方逼近多项式 （3）曲线拟合的最小二乘法 二、实验要求： 1、构造正交多项式； 2、构造最佳一致逼近； 3、构造最佳平方逼近多项式； 4、构造最小二乘法进行曲线拟合； 5、求出近似解析表达式，打印出逼近曲线与拟合曲线，且打印出其在数据点上的偏差； 6、探讨新的方法比较结果。 三、实验目的和意义: 1、学习并掌握正交多项式的MATLAB 编程； 2、学习并掌握最佳一致逼近的MATLAB 实验及精度比较； 3、学习并掌握最佳平方逼近多项式的MATLAB 实验及精度比较； 4、掌握曲线拟合的最小二乘法； 5、最小二乘法也可用于求解超定线形代数方程组； 6、 探索拟合函数的选择与拟合精度之间的关系； 四、 算法步骤： 1、正交多项式序列的生成 {n ?（x ）}∞ 0：设n ?（x ）是],[b a 上首项系数a ≠n 0的n 次多项式，)(x ρ为],[b a 上权函数，如果多项式序列{n ?（x ）} ∞0 满足关系式???=>≠==?.,0,, 0)()()()(),(k j A k j x d x x x k k j b a k j ??ρ?? 则称多项式序列{n ?（x ）}∞ 0为在],[b a 上带权)(x ρ正交，称n ?（x ）为],[b a 上带权)(x ρ 的n 次正交多项式。 1）输入函数)(x ρ和数据b a ,; 2）分别求))(),(()),(,(x x x x j j j n ???的内积； 3）按公式①)()) (),(()) (,()(,1)(1 0x x x x x x x x j n j j j j n n n ??? ???∑-=- ==计算)(x n ?，生成正交多项式； 流程图： 开始 第6章曲线拟合的最小二乘法 6.1 拟合曲线 通过观察或测量得到一组离散数据序列，当所得数据比较准确时，可构造插值函数逼近客观存在的函数，构造的原则是要求插值函数通过这些数据点，即。此时，序列与 是相等的。 如果数据序列，含有不可避免的误差（或称“噪音”），如图6.1 所示；如果数据序列无法同时满足某特定函数，如图6.2所示，那么，只能要求所做逼近函数最优地靠近样点，即向量与的误差或距离最小。按与之间误差最小原则作为“最优”标准构造的逼近函数，称为拟合函数。 图6.1 含有“噪声”的数据 图6.2 一条直线公路与多个景点 插值和拟合是构造逼近函数的两种方法。插值的目标是要插值函数尽量靠近离散点；拟合的目标是要离散点尽量靠近拟合函数。 向量与之间的误差或距离有各种不同的定义方法。例如： 用各点误差绝对值的和表示： 用各点误差按模的最大值表示： 用各点误差的平方和表示： 或（6.1） 其中称为均方误差，由于计算均方误差的最小值的方法容易实现而被广泛采用。按 均方误差达到极小构造拟合曲线的方法称为最小二乘法。本章主要讲述用最小二乘法构造拟合曲线的方法。 在运筹学、统计学、逼近论和控制论中，最小二乘法都是很重要的求解方法。例如，它是统计学中估计回归参数的最基本方法。 关于最小二乘法的发明权，在数学史的研究中尚未定论。有材料表明高斯和勒让德分别独立地提出这种方法。勒让德是在1805年第一次公开发表关于最小二乘法的论文，这时高斯指出，他早在1795年之前就使用了这种方法。但数学史研究者只找到了高斯约在1803年之前使用了这种方法的证据。 在实际问题中，怎样由测量的数据设计和确定“最贴近”的拟合曲线？关键在选择适当的拟合曲线类型，有时根据专业知识和工作经验即可确定拟合曲线类型；在对拟合曲线一无所知的情况下，不妨先绘制数据的粗略图形，或许从中观测出拟合曲线的类型；更一般地，对数据进行多种曲线类型的拟合，并计算均方误差，用数学实验的方法找出在最小二乘法意义下的误差最小的拟合函数。 例如，某风景区要在已有的景点之间修一条规格较高的主干路，景点与主干路之间由各具特色的支路联接。设景点的坐标为点列；设主干路为一条直线 ，即拟合函数是一条直线。通过计算均方误差最小值而确定直线方程（见图6.2）。 6.2线性拟合和二次拟合函数 线性拟合 给定一组数据，做拟合直线，均方误差为 （6.2） 是二元函数，的极小值要满足 最小二乘法多项式拟合 对于给定的数据点N i y x i i ≤≤1),,(，可用下面的n 阶多项式进行拟合，即 为了使拟合出的近似曲线能尽量反映所给数据的变化趋势，要求在所有数据点上的残差 都较小。为达到上述目标，可以令上述偏差的平方和最小，即 称这种方法为最小二乘原则，利用这一原则确定拟合多项式)(x f 的方法即为最小二乘法多项式拟合。 确定上述多项式的过程也就是确定)(x f 中的系数n k a k ≤≤0,的过程，根据最小二乘原则，则偏差平方和应该是这些系数的函数，即 为使上式取值最小，则其关于n k a k ≤≤0,的一阶导数应该为零，即有 将上面各等式写成方程组的形式可有 写成矩阵形式有 上述方程组可以通过克莱姆法则来计算，从而解出各系数n k a k ≤≤0,得到拟合方程。 考虑到一般情况提高拟合多项式的阶数并不能提高拟合精度，所以常用的多项拟合阶数为一阶和二阶，即线性拟合和二次拟合。两者的计算公式如下： 关于线性拟合，除上面按克莱姆法则来计算外，还可以有另一思路，下面对此进行说明。由于是线性拟合，最后得到的是一条直线，因此，直线可以由斜率和截距两个参数来确定，因此，求出这两个参数即可。首先对克莱姆法的求解结果进行展开可以得到 下面考虑先计算斜率再计算截距的方法，从下图可见，斜率计算与坐标系的位置无关，所以可以将坐标原点平移到样本的i x 和i y 坐标的均值所在点上 图中 则在新的坐标系),(y x ''下斜率的计算公式与前面1a 的计算公式相同，将其中的坐标),(y x 换成),(y x ''即可得到下面的计算公式 由样本在新坐标系下的坐标i x '和i y '的均值为零，或者由下面推导可知 x ' “数值计算方法与算法”论文 题目：浅谈曲线拟合的最小二乘法 院系：化学与材料工程学院20系 姓名： 学号： 时间：2015年春季学期 浅谈曲线拟合的最小二乘法 【摘要】 数值计算方法，一种研究并解决数学问题的数值近似解的方法，主要解决那些理论上有解但是无法轻易且准确求解的数学问题。在当今计算机技术日渐成熟的背景下，数值计算方法的应用被大大的推广，并且极大的推动了自然科学的规律探索及理论验证。本文主要探讨了一种重要的数值计算方法——曲线拟合的最小二乘法的历史发展、理论核心以及应用价值。 关键词：数值计算方法最小二乘法应用 【正文】 数值计算方法，是一种研究并解决数学问题的数值近似解方法，现在通常在计算机上使用来求解数学问题。它主要的计算对象是那些在理论上有解而又无法直接手工计算的数学问题【1】。例如，用已知的数据点来构造合适的插值函数或拟合出合适的曲线来近似代替原函数，从而解决了因难以求得原函数表达式而无法计算相关函数值的难题；又如，对于一个一般的非线性方程，可能在计算方程的根时既无一定章程可循，也无理论解法可言，那么这时就可以构造合适的迭代格式如Newton迭代，通过对一个近似的初值进行有限次迭代，就可以得到较精准的根值，从而有效避免了冗长而又复杂的理论求解的过程。 在学习完计算方法与算法这门课程后，我收获了许多实用的计算方法、技巧和思想，而对书中的某些问题的解法的深入思考也让我加深了对这门课程的理解。由于专业的相关需要，我对曲线拟合的最小二乘法这部分知识点进行了重点的学习和深刻的反思，也收获了许多。 1.最小二乘法的发展历史 18世纪中期以后，欧拉（L. Euler, 1707-1783）、梅耶（T. Meiyer, 1723-1762）、拉普拉斯(P. S. Laplace, 1749—1827)等科学家在研究一些天体运动规律时，都得到了一些含有m个变量n个（）方程的线性方程组（也就是我们现在所说的线性矛盾方程组），并且各自运用了一些方法解出了方程组的较优解。虽然方法繁琐且奇特，但不失为数学史一次伟大的尝试。 有关于最小二乘法的首次应用于实际计算并成功的记载，是关于第一颗小行星位置的预测，十分之有趣。1801年，意大利天文学家朱塞普·皮亚齐（Giuseppe Piazzi,1746-1826）发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后，全世界的科学家利用皮亚齐的观测数据，开始了寻找谷神星之旅。但是，根据大多数人的计算结果来寻找谷神星，都以失败告终。时年24岁的伟大的数学家高斯（C.F.Gauss, 1777－1855）也随即参与了这次的计算。最终德国天文学家奥伯斯（Heinrich Olbers） 2013届本科毕业论文(设计) 论文题目：关于曲线拟合与最小二乘法原理 的探讨 学院：数学科学学院 专业班级： 学生姓名： 指导老师： 答辩日期：年月日 新疆师范大学教务处 目录 引言 (2) 1 最小二乘法拟合 (5) 1.1 最小二乘法 (5) 1.2 最小二乘多项式曲线拟合的基本原理 (5) 1.2.1 线性拟合原理 (6) 1.2.2 多项式拟合原理 (8) 2 分段曲线拟合的原理 (10) 2.1 分段曲线拟合 (11) 2.2 分段三次曲线拟合 (11) 3 几种具体的拟合曲线类型 3.1指数函数拟合.......................................................................................... 3.2幂函数拟合............................................................................................. 3.3双曲型拟合............................................................................................... 4 总结 (20) 参考文献 (21) 引言 在物理实验中,经常要把离散的测量数据转化为直观的便于研究的曲线方程,即曲线拟合。正交基函数因涵盖了幂函数,切比雪夫多项式,拉盖尔函数,多元正交函数系列等而常被采用为拟合函数。如在曲线拟合中最常见的二次曲线,采用二元正交基函数系列:1,x,y,x2,y2,xy,…进行拟合。最小二乘法在确定各拟合函数的系数时,尽管拟合的次数不是很高,但它可使误差较大的测量点对拟合曲线的精度影响较小,而且实现简单,便于物理分析和研究,故成为最常用的方法之一。本文从最小二乘法的基本原理出发,给出了多元正交函数拟合的实现方法,并结合实例给出了最常用的二次曲线拟合的程序流程图。 曲线拟合的最小二乘法 吕英楷 1014202033 在物理实验中经常要观测两个有函数关系的物理量。根据两个量的许多组观测数据来确定它们的函数曲线，这就是实验数据处理中的曲线拟合问题。这类问题通常有两种情况：一种是两个观测量x 与y 之间的函数形式已知，但一些参数未知，需要确定未知参数的最佳估计值；另一种是x 与y 之间的函数形式还不知道，需要找出它们之间的经验公式。后一种情况常假设x 与y 之间的关系是一个待定的多项式，多项式系数就是待定的未知参数，从而可采用类似于前一种情况的处理方法。 一、曲线拟合的最小二乘法原理： 由已知的离散数据点选择与实验点误差最小的曲线 )(...)()()(1100x a x a x a x S n n ???+++= 称为曲线拟合的最小二乘法。 若记 ),()()(),(0 i k i j m i i k j x x x ??ω??∑== k i k i m i i k d x x f x f ≡=∑=)()()(),(0 ?ω? 上式可改写为),...,1,0(;),(n k d a k j n o j j k -=∑=??这个方程成为法方程，可写成距阵 形式 d Ga = 其中,),...,,(,),...,,(1010T n T n d d d d a a a a == ???? ?? ??????=),(),(),()(),(),(),(),(),(10 1110101000n n n n n n G ?????????????????? 。 它的平方误差为：.)]()([)(||||20 22i i m i i x f x S x -= ∑=ωδ 1 曲线拟合的线性最小二乘法及其MATLAB 程序 例7.2.1 给出一组数据点),(i i y x 列入表7–2中，试用线性最小二乘法求拟合曲线，并用（7.2），（7.3）和（7.4）式估计其误差，作出拟合曲线. 表7–2 例7.2.1的一组数据),(y x 解 （1）在MATLAB 工作窗口输入程序 >> x=[-2.5 -1.7 -1.1 -0.8 0 0.1 1.5 2.7 3.6]; y=[-192.9 -85.50 -36.15 -26.52 -9.10 -8.43 -13.12 6.50 68.04]; plot(x,y,'r*'), legend('实验数据(xi,yi)') xlabel('x'), ylabel('y'), title('例7.2.1的数据点(xi,yi)的散点图') 运行后屏幕显示数据的散点图（略）. （3）编写下列MA TLAB 程序计算)(x f 在),(i i y x 处的函数值，即输入程序 >> syms a1 a2 a3 a4 x=[-2.5 -1.7 -1.1 -0.8 0 0.1 1.5 2.7 3.6]; fi=a1.*x.^3+ a2.*x.^2+ a3.*x+ a4 运行后屏幕显示关于a 1,a 2, a 3和a 4的线性方程组 fi =[ -125/8*a1+25/4*a2-5/2*a3+a4, -4913/1000*a1+289/100*a2-17/10*a3+a4, -1331/1000*a1+121/100*a2-11/10*a3+a4, -64/125*a1+16/25*a2-4/5*a3+a4, a4, 1/1000*a1+1/100*a2+1/10*a3+a4, 27/8*a1+9/4*a2+3/2*a3+a4, 19683/1000*a1+729/100*a2+27/10*a3+a4, 5832/125*a1+324/25*a2+18/5*a3+a4] 编写构造误差平方和的MATLAB 程序 >> y=[-192.9 -85.50 -36.15 -26.52 -9.10 -8.43 -13.12 6.50 68.04]; fi=[-125/8*a1+25/4*a2-5/2*a3+a4, -4913/1000*a1+289/100*a2-17/10*a3+a4, -1331/1000*a1+121/100*a2-11/10*a3+a4, -64/125*a1+16/25*a2-4/5*a3+a4, a4, 1/1000*a1+1/100*a2+1/10*a3+a4, 27/8*a1+9/4*a2+3/2*a3+a4, 19683/1000*a1+729/100*a2+27/10*a3+a4, 5832/125*a1+324/25*a2+18/5*a3+a4]; fy=fi-y; fy2=fy.^2; J=sum(fy.^2) 运行后屏幕显示误差平方和如下 J= (-125/8*a1+25/4*a2-5/2*a3+a4+1929/10)^2+(-4913/1000*a1+2 89/100*a2-17/10*a3+a4+171/2)^2+(-1331/1000*a1+121/100*a2-11/10*a3+a4+723/20)^2+(-64/125*a1+16/25*a2-4/5*a3+a4+663/25)^2+(a4+91/10)^2+(1/1000*a1+1/100*a2+1/10*a3+a4+843/100)^2+(27/8*a1+9/4*a 2+3/2*a3+a4+328/25)^2+(19683/1000*a1+729/100*a2+27/10*a3+a4-13/ 2)^2+(5832/125*a1+324/25*a2+18/5*a3+a4-1701/25)^2 为求4321,,,a a a a 使J 达到最小，只需利用极值的必要条件0=??k a J )4,3,2,1(=k ， 实验三函数逼近 一、 实验目标 1.掌握数据多项式拟合的最小二乘法。 2.会求函数的插值三角多项式。 二、实验问题 （ （2）求函数()2cos f x x x =在区间[,]ππ-上的插值三角多项式。 三、 实验要求 1.利用最小二乘法求问题（1）所给数据的3次、4次拟合多项式，画出拟合曲线。 2.求函数()2cos f x x x =在区间[,]ππ-上的16次插值三角多项式，并画出插值多项式的图形，与()f x 的图形比较。 3.对函数()2cos f x x x =，在区间[,]ππ-上的取若干点，将函数值作为数据进行适当次数的最小二乘多项式拟合，并计算误差，与上题中的16次插值三角多项式的结果进行比较。 《数值分析》实验报告 项式，画出拟合曲线 【实验目标】 （1）加深对用最小二乘法求拟合多项式的理解 （2）学会编写最小二乘法的数值计算的程序； 【理论概述与算法描述】 在函数的最佳平方逼近中()[,]f x C a b ∈,如果()f x 只在一组离散点集{,0,1,,}i x i m =???上给出，这就是科学实验中经常见到的实验数据{(,),0,1,,}i i x y i m =???的曲线拟合，这里 (),0,1,,i i y f x i m ==???，要求一个函数*()y S x =与所给数据{(,),0,1,,}i i x y i m =???拟合，若 记误差*()(0,1,,)i i i S x y i m δ=-=???,()01,,,T m δδδδ=???,设01(),(),,()n x x x ??????是[,]C a b 上的线性无关函数族，在01{(),(),,()}n span x x x ????=???中找一个函数*()S x ，使误差平方和 曲线拟合( curve-fitting )：工程实践中，用测量到的一些离散的数据 {( X, yj,i 0,1,2,...m}求一个近似的函数(x)来拟合这组数据，要求所得的拟合曲线能最好的反映数据的基本趋势(即使(x)最好地逼近f x，而不必满足插值原则。因此没必要取(X)=y i，只要使i (X i) y i尽可能地小)。 原理： 给定数据点{( x i,y i),i 0 ,1 , 2, . . . m} 。求近似曲线( x) 。并且使得近似曲线与f x 的偏差最小。 近似曲线在该点处的偏差i(x i ) y i，i=1,2,...,m 。 常见的曲线拟合方法： 1. 使偏差绝对值之和最小 2. 使偏差绝对值最大的最小 3. 使偏差平方和最小 最小二乘法： 按偏差平方和最小的原则选取拟合曲线，并且采取二项式方程为拟合曲线的方法,称为最小二乘法。推导过程： 1. 设拟合多项式为： 2. 各点到这条曲线的距离之和，即偏差平方和如下： 3?问题转化为求待定系数a0...a k对等式右边求q偏导数，因而我们得到了： 4、把这些等式化简并表示成矩阵的形式，就可以得到下面的矩阵： 5. 将这个范德蒙得矩阵化简后可得到： 6. 也就是说X*A=Y ，那么A = (X'*X)-1*X'*Y ，便得到了系数矩阵A ，同时，我们也就得到了拟合曲线。 MATLAB 实现： MATLAB 提供了polyfit ()函数命令进行最小二乘曲线拟合。 调用格式：p=polyfit(x,y,n) [p,s]= polyfit(x,y,n) [p,s,mu]=polyfit(x,y,n) x,y 为数据点，n 为多项式阶数，返回p 为幂次从高到低的多项式系数向量p。x 必须是单调的。矩阵s包括R (对x进行QR分解的三角元素)、df(自由度)、 normr(残差)用于生成预测值的误差估计。 [p,s,mu]=polyfit(x,y,n) 在拟合过程中，首先对x 进行数据标准化处理，以在拟合中消除量纲等影响，mu包含标准化处理过程中使用的x的均值和标准差。polyval( ) 为多项式曲线求值函数，调用格式：y=polyval(p,x) #include"iostream" #include"iomanip" #include"stdlib.h" #include"math.h" using namespace std; double x[50],y[50],a[50][50],C[50]; int i,j,n,c; void main() { cout< §5 曲线拟合的最小 二乘法 一般的最小二乘逼近(曲线拟合的最小二乘法)的一般提法是:对给定的一组数据(,)(0,1,,)i i x y i m =,要求在函数类01{,,,}n ????=中找一个函数* ()y S x =,使误差平方和 2 2* 2 2()0 1 [()]min [()m m m i i i i i S x i i i S x y S x y ? δδ∈=====-=-∑∑∑ 其 中 0011()()()() ( n n S x a x a x a x n m ???=+++< 带权的最小二乘法： 22 20 ()[()()] m i i i i x S x f x δ ω==-∑ 其中()0x ω≥是［a, b ］上的权函数。 用最小二乘法求曲线拟合的问题，就是在()S x 中求一函数 * ()y S x =，使2 2δ取的最小。它转化 为求多元函数 2 010 (,,,)()[()()] m n n i j j i i i j I a a a x a x f x ω?===-∑∑ 的极小点* **01 (,, ,)n a a a 问题。由求 多元函数极值的必要条件，有 00 2()[()()]()m n i j j i i k i i j k I x a x f x x a ω??==?=-=?∑∑ , ,1,0(k = 若 记 0(,)()()() m j k i j i k i i x x x ??ω??==∑ (,)k f ?= , 1,0(k = 则上式可改写为 (,)n k j j k j a d ? ?==∑ ),,1,0(n k = 这个方程称为法方程，矩阵形式 .G a d = 创作编号：BG7531400019813488897SX 创作者：别如克* 最小二乘法在曲线拟合中比较普遍。拟合的模型主要有 1.直线型 2.多项式型 3.分数函数型 4.指数函数型 5.对数线性型 6.高斯函数型 ...... 一般对于LS问题，通常利用反斜杠运算“\”、fminsearch或优化工具箱提供的极小化函数求解。在Matlab中，曲线拟合工具箱也提供了曲线拟合的图形界面操作。在命令提示符后键入：cftool，即可根据数据，选择适当的拟合模型。 “\”命令 1.假设要拟合的多项式是：y=a+b*x+c*x^ 2.首先建立设计矩阵X： X=[ones(size(x)) x x^2]; 执行： para=X\y para中包含了三个参数：para(1)=a;para(2)=b;para(3)=c; 这种方法对于系数是线性的模型也适应。 2.假设要拟合：y=a+b*exp(x)+cx*exp(x^2) 设计矩阵X为 X=[ones(size(x)) exp(x) x.*exp(x.^2)]; para=X\y 3.多重回归(乘积回归) 设要拟合：y=a+b*x+c*t，其中x和t是预测变量，y是响应变量。设计矩阵为 X=[ones(size(x)) x t] %注意x,t大小相等！ para=X\y polyfit函数 polyfit函数不需要输入设计矩阵，在参数估计中，polyfit会根据输入的数据生成设计矩阵。 1.假设要拟合的多项式是：y=a+b*x+c*x^2 p=polyfit(x,y,2) 然后可以使用polyval在t处预测： y_hat=polyval(p,t) polyfit函数可以给出置信区间。 [p S]=polyfit(x,y,2) %S中包含了标准差 MATLAB机械工程 最小二乘法曲线拟合的应用实例 班级: 姓名: 学号: 指导教师: 一，实验目的 通过Matlab上机编程，掌握利用Matlab软件进行数据拟合分析及数据可视化方法 二，实验内容 1.有一组风机叶片的耐磨实验数据，如下表所示，其中X为使用时间，单位为小时h，Y为磨失质量，单位为克g。要求： 对该数据进行合理的最小二乘法数据拟合得下列数据。 x=[10000 11000 12000 13000 14000 15000 16000 17000 18000 19000 2 0000 21000 22000 23000]; y=[24.0 26.5 29.8 32.4 34.7 37.7 41.1 42.8 44.6 47.3 65.8 87.5 137.8 174. 2] 三，程序如下 X=10000:1000:23000; Y=[24.0,26.5,29.8,32.4,34.7,37.7,41.1,42.8,44.6,47.3,65.8,87.5,137.8,17 4.2] dy=1.5; %拟合数据y的步长for n=1:6 [a,S]=polyfit(x,y,n); A{n}=a; da=dy*sqrt(diag(inv(S.R′*S.R))); Da{n}=da′; freedom(n)=S.df; [ye,delta]=polyval(a,x,S); YE{n}=ye; D{n}=delta; chi2(n)=sum((y-ye).^2)/dy/dy; end Q=1-chi2cdf(chi2,freedom); %判断拟合良好度 clf,shg subplot(1,2,1),plot(1：6,abs(chi2-freedom),‘b’) xlabel(‘阶次’)，title(‘chi2与自由度’) subplot(1,2,2),plot(1：6,Q,‘r’,1：6,ones(1,6)*0.5) xlabel(‘阶次’),title(‘Q与0.5线’) nod=input(‘根据图形选择适当的阶次（请输入数值）’)； elf,shg, plot(x,y,‘kx’)；xlabel(‘x’),ylabel(‘y’)； axis([8000,23000,20.0,174.2])；hold on errorbar(x,YE{nod},D{nod},‘r’)；hold off title(‘较适当阶次的拟合’) text(10000,150.0,[‘chi2=’num2str(chi2(nod))‘~’int2str(freedom(nod))]) 最小二乘法在曲线拟合中比较普遍。拟合的模型主要有 1.直线型 2.多项式型 3.分数函数型 4.指数函数型 5.对数线性型 6.高斯函数型 ...... 一般对于LS问题，通常利用反斜杠运算“\”、fminsearch或优化工具箱提供的极小化函数求解。在Matlab 中，曲线拟合工具箱也提供了曲线拟合的图形界面操作。在命令提示符后键入：cftool，即可根据数据，选择适当的拟合模型。 “\”命令 1.假设要拟合的多项式是：y=a+b*x+c*x^ 2.首先建立设计矩阵X： X=[ones(size(x)) x x^2]; 执行： para=X\y para中包含了三个参数：para(1)=a;para(2)=b;para(3)=c; 这种方法对于系数是线性的模型也适应。 2.假设要拟合：y=a+b*exp(x)+cx*exp(x^2) 设计矩阵X为 X=[ones(size(x)) exp(x) x.*exp(x.^2)]; para=X\y 3.多重回归(乘积回归) 设要拟合：y=a+b*x+c*t，其中x和t是预测变量，y是响应变量。设计矩阵为 X=[ones(size(x)) x t] %注意x,t大小相等！ para=X\y polyfit函数 polyfit函数不需要输入设计矩阵，在参数估计中，polyfit会根据输入的数据生成设计矩阵。 1.假设要拟合的多项式是：y=a+b*x+c*x^2 p=polyfit(x,y,2) 然后可以使用polyval在t处预测： y_hat=polyval(p,t) polyfit函数可以给出置信区间。 [p S]=polyfit(x,y,2) %S中包含了标准差 [y_fit,delta] = polyval(p,t,S) %按照拟合模型在t处预测 在每个t处的95%CI为：*delta, y_fit+*delta) 2.指数模型也适应 假设要拟合：y = a+b*exp(x)+c*exp(x.2) p=polyfit(x,log(y),2) fminsearch函数 fminsearch是优化工具箱的极小化函数。LS问题的基本思想就是残差的平方和(一种范数，由此，LS产生了许多应用)最小，因此可以利用fminsearch函数进行曲线拟合。 假设要拟合：y = a+b*exp(x)+c*exp(x.2) 首先建立函数，可以通过m文件或函数句柄建立： x=[......]'; y=[......]'; f=@(p,x) p(1)+p(2)*exp(x)+p(3)*exp(x.2) %注意向量化:p(1)=a;p(2)=b;p(3)=c; %可以根据需要选择是否优化参数 %opt=options() p0=ones(3,1);%初值 利用最小二乘法求解拟 合曲线 IMB standardization office【IMB 5AB- IMBK 08- IMB 2C】 实验三函数逼近 一、 实验目标 1.掌握数据多项式拟合的最小二乘法。 2.会求函数的插值三角多项式。 二、实验问题 （ （2）求函数()2cos f x x x =在区间[,]ππ-上的插值三角多项式。 三、 实验要求 1.利用最小二乘法求问题（1）所给数据的3次、4次拟合多项式，画出拟合曲线。 2.求函数()2cos f x x x =在区间[,]ππ-上的16次插值三角多项式，并画出插值多项式的图形，与()f x 的图形比较。 3.对函数()2cos f x x x =，在区间[,]ππ-上的取若干点，将函数值作为数据进行适当次数的最小二乘多项式拟合，并计算误差，与上题中的16次插值三角多项式的结果进行比较。 《数值分析》实验报告 项式，画出拟合曲线 【实验目标】 （1）加深对用最小二乘法求拟合多项式的理解 （2）学会编写最小二乘法的数值计算的程序； 【理论概述与算法描述】 在函数的最佳平方逼近中()[,]f x C a b ∈,如果()f x 只在一组离散点集{,0,1,,}i x i m =???上给出，这就是科学实验中经常见到的实验数据{(,),0,1,,}i i x y i m =???的曲线拟合，这里 (),0,1,,i i y f x i m ==???，要求一个函数*()y S x =与所给数据{(,),0,1,,}i i x y i m =???拟合，若 记误差*()(0,1,,)i i i S x y i m δ=-=???,()01,,,T m δδδδ=???,设01(),(),,()n x x x ??????是[,]C a b 上的线性无关函数族，在01{(),(),,()}n span x x x ????=???中找一个函数*()S x ，使误差平方和 |2 2 22* 2 ()0 |||[()][()]min m m m i i i i i S x i i i S x y S x y ?δδ∈=====-=-∑∑∑ 这里 这就是一般的最小二乘逼近，用几何语言说，就称为曲线拟合的最小二乘法。 通常在最小二乘法中考虑加权平方和有 0(,)()()()m j k i j k i x x x ??ω??==∑， 上式可改写为 (,),0,1,,m k j j k j a d k n ??===???∑。 这个线性方程组称为法方程，可将其写成矩阵形式 其中0,10,1(,,),(,,)T T n n a a a a d d d d =???=??? 求出0,1,,n a a a ??? 则拟合函数*2012()n n S x a a x a x a x =+++???+ a=inv(G)*d 【实验问题】 利用最小二乘法求所给数据的2次、3次、4次拟合多项式，画出拟合曲线。 【实验过程与结果】 【结果分析、讨论与结论】 (1)n=2时 标准曲线的最小二乘法拟合和相关系数 （合肥工业大学控释药物研究室尹情胜） 1 目的 用最小二乘法拟合一组变量（，，i＝1-n）之间的线性方程（y＝ax+b），表示两变量间的函数关系；（开创者：德国数学家高斯） 一组数据（，，i＝1-n）中，两变量之间的相关性用相关系数（R）来表示。（开创者：英国统计学家卡尔·皮尔逊） 2 最小二乘法原理 用最小二乘法拟合线性方程时，其目标是使拟合值（）与实测值（）差值的平方和（Q）最小。 式（1） 3 拟合方程的计算公式与推导 当Q最小时，；得到式（2）、式（3）： 式（2） 式（3）由式（3）和式（4），得出式（4）和式（5）： 式（4） 式（5） 式（4）乘以n，式（5）乘以，两式相减并整理得斜率a： 斜率（k＝xy／xx，n*积和-和积）式（6）截距b的计算公式为公式（5），也即： 截距b＝（y-x）／n，差平均差）式（7） 4 相关系数的意义与计算公式 相关系数（相关系数的平方称为判定系数）是用以反映变量之间相关关系密切程度的统计指标。 相关系数（也称积差相关系数）是按积差方法计算，同样以两变量与各自平均值的离差为基础，通过两个离差相乘来反映两变量之间相关程度；着重研究线性的单相关系数。 相关系数r xy取值在-1到1之间。r xy = 0时，称x,y不相关；| r xy | = 1时，称x,y完全相关，此时，x,y之间具有线性函数关系；| r xy | < 1时，X的变动引起Y的部分变动，r xy的绝对值越大，x的变动引起y的变动就越大，|r xy | > 0.8时称为高度相关，当0.5< | r xy|<0.8时称为显著相关，当0.3<| r xy |<0.5时，成为低度相关，当| r xy | < 0.3时，称为无相关。 ( 式（7） 5 临界相关系数的意义 5.1 临界相关系数中显著性水平（α）与置信度（P）的关系 显著性水平取0.05，表示置信度为95%；取0.01，置信度就是99%。 在正常的分布条件下，一般要求实际值位于置信区间的概率应该在95%以上，这个置信区间为Y±2S，从而置信区间的上下限分别为：Y1=a+bX+2S，Y2=a+bX-2S。 5.2 临界值表中自由度（f） 自由度(degree of freedom, f)在数学中能够自由取值的变量个数，如有3个变量x、y、z，但x+y+z=18，因此其自由度等于2。在统计学中，自由度指的是计算某一统计量时，取值不受限制的变量个数。通常f=n-k。其中n为样本含量，k为被限制的条件数或变量个数，或计算某一统计量时用到其它独立统计量的个数。自由度通常用于抽样分布中。最小二乘法曲线拟合 原理及matlab实现
曲线拟合的最小二乘法讲解
数值计算_第6章 曲线拟合的最小二乘法
最小二乘法多项式拟合
曲线拟合的最小二乘法论文
关于曲线拟合与最小二乘法原理的探讨
曲线拟合的最小二乘法
曲线拟合_线性最小二乘法及其MATLAB程序
利用最小二乘法求解拟合曲线
最小二乘法曲线拟合原理及maab实现
最小二乘法求拟合曲线(带测试数据)
曲线拟合的最小二乘法
Matlab最小二乘法曲线拟合
Matlab最小二乘法曲线拟合的应用实例
Matlab最小二乘法曲线拟合
利用最小二乘法求解拟合曲线
标准曲线最小二乘法拟合与相关系数