最小二乘法拟合原理
最小二乘拟合
在物理实验中经常要观测两个有函数关系的物理量。根据两个量的许多组观测数据来确定它们的函数曲线，这就是实验数据处理中的曲线拟合问题。这类问题通常有两种情况：一种是两个观测量x 与y 之间的函数形式已知，但一些参数未知，需要确定未知参数的最佳估计值；另一种是x 与y 之间的函数形式还不知道，需要找出它们之间的经验公式。后一种情况常假设x 与y 之间的关系是一个待定的多项式，多项式系数就是待定的未知参数，从而可采用类似于前一种情况的处理方法。
一、最小二乘法原理
在两个观测量中，往往总有一个量精度比另一个高得多，为简单起见把精度较高的观测量看作没有误差，并把这个观测量选作x ，而把所有的误差只认为是y 的误差。设x 和y 的函数关系由理论公式
y ＝f （x ；c 1，c 2，……c m ） （0-0-1）
给出，其中c 1，c 2，……c m 是m 个要通过实验确定的参数。对于每组观测数据（x i ，y i ）i ＝1，2，……，N 。都对应于xy 平面上一个点。若不存在测量误差，则这些数据点都准确
落在理论曲线上。只要选取m 组测量值代入式（0-0-1），便得到方程组
y i ＝f （x ；c 1，c 2，……c m ） （0-0-2）
式中i ＝1，2，……，m.求m 个方程的联立解即得m 个参数的数值。显然N 不能确定。 在N>m 的情况下，式（0-0-2）成为矛盾方程组，不能直接用解方程的方法求得m 个参数值，只能用曲线拟合的方法来处理。设测量中不存在着系统误差，或者说已经修正，则y 的观测值y i 围绕着期望值 ()()[] ??? ???? ???--= 2 2 212,......,,;exp 21i m i i i i c c c x f y y p σσπ, 式中i σ 是分布的标准误差。为简便起见，下面用C 代表（c 1，c 2，……c m ）。考虑各次测量是相互独立的，故观测值（y 1，y 2，……c N ）的似然函数 ( ) ()[]?? ? ???????-- = ∑ =N i i i N N C x f y L 1 2 2 21;2 1exp (21) σσ σσπ . 取似然函数L 最大来估计参数C ，应使 ()[]min ;1 1 2 2 =-∑=N i i i i C x f y σ （0-0-3） 取最小值：对于y 的分布不限于正态分布来说，式（0-0-3）称为最小二乘法准则。若为正态分布的情况，则最大似然法与最小二乘法是一致的。因权重因子 2 /1i i σω=，故式 （0-0-3）表明，用最小二乘法来估计参数，要求各测量值y i 的偏差的加权平方和为最小。 根据式（0-0-3）的要求，应有 ()[] () m k C x f y c c c N i i i i k ,...,2,10 ;1 ?1 22==-??==∑σ 从而得到方程组 ()[] ()() m k C C x f C x f y c c N i k i i i ,...,2,10 ;;1 ?1 2==??-==∑σ （0-0-4） 解方程组（0-0-4），即得m 个参数的估计值m c c c ? ,...,? ,? 21，从而得到拟合的曲线方程()m c c c x f ?,...,?,?;21。 然而，对拟合的结果还应给予合理的评价。若y i 服从正态分布，可引入拟合的x 2 量， ()[] ∑=-= N i i i i C x f y x 1 2 22 ;1 σ （0-0-5） 把参数估计()m c c c c ?,...,?,??21=代入上式并比较式（0-0-3），便得到最小的x 2值 ()[]∑=-= N i i i i c x f y x 1 2 22 min ?;1 σ （0-0-6） 可以证明，2 min x 服从自由度v ＝N-m 的x 2分布，由此可对拟合结果作x 2检验。 由x 2 分布得知，随机变量2 min x 的期望值为N-m 。如果由式（0-0-6）计算出2 min x 接近N-m （例如m N x -≤2 min ），则认为拟合结果是可接受的；如果2 2 min >-- m N x ，则认为 拟合结果与观测值有显著的矛盾。 二、直线的最小二乘拟合 曲线拟合中最基本和最常用的是直线拟合。设x 和y 之间的函数关系由直线方程 y ＝a 0+a 1x (0-0-7) 给出。式中有两个待定参数，a 0代表截距，a 1代表斜率。对于等精度测量所得到的N 组数据（x i ，y i ），i ＝1，2……，N ，x i 值被认为是准确的，所有的误差只联系着y i 。下面利用 最小二乘法把观测数据拟合为直线。 1．直线参数的估计 前面指出，用最小二乘法估计参数时，要求观测值y i 的偏差的加权平方和为最小。对于等精度观测值的直线拟合来说，由式（0-0-3）可使 ()[] a a N i i i x a a y ?1 2 10 ==∑+- （0-0-8） 最小即对参数a （代表a 0，a 1）最佳估计，要求观测值y i 的偏差的平方和为最小。 根据式（0-0-8）的要求，应有 ()[] (),0??21 10?12100=---=+-??∑∑===N i i i a a N i i i x a a y x a a y a ()[] ().0??21 10?1 210 1 =---=+-??∑∑===N i i i a a N i i i x a a y x a a y a 整理后得到正规方程组 ???? ?=+=+∑∑∑∑∑.??,??21010i i i i i i y x x a x a y x a N a 解正规方程组便可求得直线参数a 0和a 1的最佳估计值0? a 和1?a 。即 ()()()()()()2220?∑∑∑∑∑∑--= i i i i i i i x x N y x x y x a （0-0-10） ()()()()()221 ?∑∑∑∑∑--=i i i i i i x x N y x y x N a （0-0-11） 2．拟合结果的偏差 由于直线参数的估计值0? a 和1?a 是根据有误差的观测数据点计算出来的，它们不可避免地存在着偏差。同时，各个观测数据点不是都准确地落地拟合线上面的，观测值y i 与对应 于拟合直线上的i y ? 这之间也就有偏差。 首先讨论测量值y i 的标准差S 。考虑式（0-0-6），因等精度测量值y i 所有的i σ都相同，可用y i 的标准偏差S 来估计，故该式在等精度测量值的直线拟合中应表示为 ()[].??11 210 2 2min ∑=+-= N i i x a a y S x （0-0-12） 已知测量值服从正态分布时，2 min x 服从自由度v ＝N-2的x 2 分布，其期望值 ()[ ]. 2??11 2 10 2 2 min -=+-= ∑=N x a a y S x N i i i 由此可得y i 的标准偏差 ()[].??2 12 1 10∑=+--= N i i i x a a y N S （0-0-13） 这个表示式不难理解，它与贝塞尔公式是一致的，只不过这里计算S 时受到两参数0?a 和 1?a 估计式的约束，故自由度变为N-2罢了。 式（0-0-13）所表示的S 值又称为拟合直线的标准偏差，它是检验拟合结果是否有效的 重要标志。如果xy 平面上作两条与拟合直线平行的直线 ,??,??1010S x a a y S x a a y ++=''-+=' 如图0-0-1所示，则全部观测数据点（x i ，y i ）的分布，约有68.3%的点落在这两条直 线之间的范围内。 图0-0-1 拟合直线两侧数据点的分布 下面讨论拟合参数偏差，由式（0-0-10）和（0-0-11）可见，直线拟合的两个参数估计值0? a 和1?a 是y i 的函数。因为假定x I 是精确的，所有测量误差只有y i 有关，故两个估计参数的标准偏差可利用不确定度传递公式求得，即 .?;?2 112 1010∑∑==? ??? ????=???? ????=N i i a N i i a S y a S S y a S 把式（0-0-10）与（0-0-11）分别代入上两式，便可计算得 ()() ; 2 220∑∑∑-=i i i a x x N x S S （0-0-14） ()() . 2 21∑∑-=i i a x x N N S S （0-0-15） 三、相关系数及其显著性检验 当我们把观测数据点（x i ，y i ）作直线拟合时，还不大了解x 与y 之间线性关系的密切程度。为此要用相关系数ρ（x ，y ）来判断。其定义已由式（0-0-12）给出，现改写为另一种形式，并改用r 表示相关系数，得 ()() ()()2 /122? ? ? ???-?---= ∑∑∑i i i i i i i y x x x y y x x r （0-0-16） 式中x 和y 分别为x 和y 的算术平均值。r 值范围介于-1与+1之间，即-1≤r ≤1。当r>0时直线的斜率为正，称正相关；当r<0时直线的斜率为负，称负相关。当|r|＝1时全部 数据点（x i ，y i ）都落在拟合直线上。若r ＝0则x 与y 之间完全不相关。r 值愈接近±1则它们之间的线性关系愈密切。 最小二乘法的基本原理和多项式拟合 一 最小二乘法的基本原理 从整体上考虑近似函数)(x p 同所给数据点),(i i y x (i=0,1,…,m)误差 i i i y x p r -=)((i=0,1,…,m) 的大小，常用的方法有以下三种：一是误差 i i i y x p r -=)((i=0,1,…,m)绝对值的最大值i m i r ≤≤0max ，即误差 向量 T m r r r r ),,(10 =的∞—范数；二是误差绝对值的和∑=m i i r 0 ，即误差向量r 的1— 范数；三是误差平方和∑=m i i r 02 的算术平方根，即误差向量r 的2—范数；前两种方法简单、自然，但不便于微分运算 ，后一种方法相当于考虑 2—范数的平方，因此在曲线拟合中常采用误差平方和∑=m i i r 02 来 度量误差i r (i=0，1，…，m)的整 体大小。 数据拟合的具体作法是：对给定数据 ),(i i y x (i=0,1,…，m)，在取定的函数类Φ中,求Φ∈)(x p ,使误差i i i y x p r -=)((i=0,1,…,m)的平方和最小，即 ∑=m i i r 2 = 从几何意义上讲，就是寻求与给定点),(i i y x (i=0,1,…,m)的距离平方和为最 小的曲线 )(x p y =（图6-1）。函数)(x p 称为拟合函数或最小二乘解，求拟合函数)(x p 的方法称为曲线拟合的最小二乘法。 在曲线拟合中，函数类Φ可有不同的选取方法 . 6—1 二 多项式拟合 假设给定数据点),(i i y x (i=0,1,…,m)，Φ为所有次数不超过)(m n n ≤的多项式构成的函数类，现求一 Φ ∈=∑=n k k k n x a x p 0 )(,使得 [] min )(0 02 02 =??? ??-=-=∑∑∑===m i m i n k i k i k i i n y x a y x p I (1) [ ] ∑ = = - m i i i y x p 0 2 min ) ( 最小二乘法及其应用 1． 引言 最小二乘法在19世纪初发明后,很快得到欧洲一些国家的天文学家和测地学家的广泛关注。据不完全统计,自1805年至1864年的60年间,有关最小二乘法的研究论文达256篇,一些百科全书包括1837年出版的大不列颠百科全书第7版,亦收入有关方法的介绍。同时,误差的分布是“正态”的,也立刻得到天文学家的关注及大量经验的支持。如贝塞尔( F. W. Bessel, 1784—1846)对几百颗星球作了三组观测,并比较了按照正态规律在给定范围内的理论误差值和实际值,对比表明它们非常接近一致。拉普拉斯在1810年也给出了正态规律的一个新的理论推导并写入其《分析概论》中。正态分布作为一种统计模型,在19世纪极为流行,一些学者甚至把19世纪的数理统计学称为正态分布的统治时代。在其影响下,最小二乘法也脱出测量数据意义之外而发展成为一个包罗极大,应用及其广泛的统计模型。到20世纪正态小样本理论充分发展后,高斯研究成果的影响更加显著。最小二乘法不仅是19世纪最重要的统计方法,而且还可以称为数理统计学之灵魂。相关回归分析、方差分析和线性模型理论等数理统计学的几大分支都以最小二乘法为理论基础。正如美国统计学家斯蒂格勒( S. M. Stigler)所说,“最小二乘法之于数理统计学犹如微积分之于数学”。最小二乘法是参数回归的最基本得方法所以研究最小二乘法原理及其应用对于统计的学习有很重要的意义。 2. 最小二乘法 所谓最小二乘法就是：选择参数10,b b ,使得全部观测的残差平方和最小. 用数学公式表示为： 21022)()(m in i i i i i x b b Y Y Y e --=-=∑∑∑∧ 为了说明这个方法，先解释一下最小二乘原理，以一元线性回归方程为例. i i i x B B Y μ++=10 （一元线性回归方程） 曲线拟合（curve-fitting ）：工程实践中，用测量到的一些离散的数据},...2,1,0),,{(m i y x i i =求一个近似的函数)(x ?来拟合这组数据，要求所得的拟合曲线能最好的反映数据的基本趋势（即使)(x ?最好地逼近()x f ，而不必满足插值原则。因此没必要取)(i x ?=i y ，只要使i i i y x -=)(?δ尽可能地小）。 原理： 给定数据点},...2,1,0),,{(m i y x i i =。求近似曲线)(x ?。并且使得近似曲线与()x f 的偏差最小。近似曲线在该点处的偏差i i i y x -=)(?δ，i=1,2,...,m 。 常见的曲线拟合方法: 1.使偏差绝对值之和最小 2.使偏差绝对值最大的最小 3.使偏差平方和最小 最小二乘法： 按偏差平方和最小的原则选取拟合曲线，并且采取二项式方程为拟合曲线的方法,称为最小二乘法。 推导过程： 1. 设拟合多项式为： 2. 各点到这条曲线的距离之和，即偏差平方和如下： 3. 问题转化为求待定系数0a ...k a 对等式右边求i a 偏导数，因而我们得到 了： ....... 4、 把这些等式化简并表示成矩阵的形式，就可以得到下面的矩阵： 5. 将这个范德蒙得矩阵化简后可得到: 6. 也就是说X*A=Y，那么A = (X'*X)-1*X'*Y，便得到了系数矩阵A，同时，我们也就得到了拟合曲线。 MATLAB实现： MATLAB提供了polyfit（）函数命令进行最小二乘曲线拟合。 调用格式：p=polyfit(x,y,n) [p,s]= polyfit(x,y,n) [p,s,mu]=polyfit(x,y,n) x,y为数据点，n为多项式阶数，返回p为幂次从高到低的多项式系数向量p。x必须是单调的。矩阵s包括R（对x进行QR分解的三角元素）、df(自由度）、normr(残差）用于生成预测值的误差估计。 [p,s,mu]=polyfit(x,y,n)在拟合过程中，首先对x进行数据标准化处理，以在拟合中消除量纲等影响，mu包含标准化处理过程中使用的x的均值和标准差。 polyval( )为多项式曲线求值函数，调用格式： y=polyval(p,x) [y,DELTA]=polyval(p,x,s) y=polyval(p,x)为返回对应自变量x在给定系数P的多项式的值。 [y,DELTA]=polyval(p,x,s) 使用polyfit函数的选项输出s得出误差估计Y DELTA。它假设polyfit函数数据输入的误差是独立正态的，并且方差为常数。则Y DELTA将至少包含50%的预测值。 如下给定数据的拟合曲线： x=[0.5,1.0,1.5,2.0,2.5,3.0]， y=[1.75,2.45,3.81,4.80,7.00,8.60]。 解：MATLAB程序如下： x=[0.5,1.0,1.5,2.0,2.5,3.0]; y=[1.75,2.45,3.81,4.80,7.00,8.60]; p=polyfit(x,y,2) x1=0.5:0.05:3.0; y1=polyval(p,x1); plot(x,y,'*r',x1,y1,'-b') 运行结果如图1 计算结果为： p =0.5614 0.8287 1.1560 即所得多项式为y=0.5614x^2+0.08287x+1.15560 图1 最小二乘法曲线拟合示例 对比检验拟合的有效性： 例：在[0,π]区间上对正弦函数进行拟合，然后在[0,2π]区间画出图形，比较拟合区间和非拟合区间的图形，考察拟合的有效性。 在MATLAB中输入如下代码： clear x=0:0.1:pi; y=sin(x); [p,mu]=polyfit(x,y,9) 用最小二乘法进行多项式拟合（m a t l a b 实现） 西安交通大学 徐彬华 算法分析： ,1,2,3,..,m),一共m+1 个数据点，取多项式P(x),使 函数P(x)称为拟合函数或最小二乘解，令似的 使得 其中，a0，a1,a2,…,an 为待求未知数，n 为多项式的最高次幂，由此，该问题化为求 的极值问题。由多元函数求极值的必要条件： j=0,1,…,n 得到： 总共有7个数据点，令m=6 第一步：画出已知数据的的散点图，确定拟合参数n; x=::;y=[,,,,,,]; plot(x,y,'*') xlabel 'x 轴' ylabel 'y 轴' title '散点图' hold on 因此将拟合参数n设为3. 第二步：计算矩阵 A= 注意到该矩阵为（n+1）*(n+1)矩阵， 多项式的幂跟行、列坐标（i,j）的关系为i+j-2,由此可建立循环来求矩阵的各个元素，程序如下： m=6;n=3; A=zeros(n+1); for j=1:n+1 for i=1:n+1 for k=1:m+1 A(j,i)=A(j,i)+x(k)^(j+i-2) end end end; 再来求矩阵 B= B=[0 0 0 0]; for j=1:n+1 for i=1:m+1 B(j)=B(j)+y(i)*x(i)^(j-1) end end 第三步：写出正规方程，求出a0,,a1…,an. B=B'; a=inv(A)*B; 第四步：画出拟合曲线 x=[::]; z=a(1)+a(2)*x+a(3)*x.^2+a(4)*x.^3; plot(x,z) legend('离散点','y=a(1)+a(2)*x+a(3)*x.^2+a(4)*x.^3') title('拟合图') 总程序附下： x=::;y=[,,,,,,]; plot(x,y,'*') xlabel 'x轴' ylabel 'y轴' title '散点图' hold on m=6;n=3; A=zeros(n+1); for j=1:n+1 for i=1:n+1 for k=1:m+1 A(j,i)=A(j,i)+x(k)^(j+i-2) end end end; B=[0 0 0 0]; for j=1:n+1 for i=1:m+1 B(j)=B(j)+y(i)*x(i)^(j-1) end end B=B'; a=inv(A)*B; x=[::]; z=a(1)+a(2)*x+a(3)*x.^2+a(4)*x.^3; plot(x,z) legend('离散点','y=a(1)+a(2)*x+a(3)*x.^2+a(4)*x.^3') title('拟合图') 最小二乘法拟合圆公式推导及vc实现[r] 最小二乘法(least squares analysis)是一种数学优化技术，它通过最小化 误差的平方和找到一组数据的最佳函数匹配。最小二乘法是用最简的方法求得一些绝对不可知的真值，而令误差平方之和为最小。最小二乘法通常用于曲线拟合 (least squar es fitting) 。这里有拟合圆曲线的公式推导过程和 vc实现。 此处使用平方差与最小二乘法差的平方不一样，但是仍然具有实用估计价值，并且可以化简公式。 VC实现的代码：C++类 void CViewActionImageTool::LeastSquaresFitting() { if(m_nNum<3) { return; } int i=0; double X1=0; double Y1=0; double X2=0; double Y2=0; double X3=0; double Y3=0; double X1Y1=0; double X1Y2=0; double X2Y1=0; for(i=0;i ---------------------------------------------------------------最新资料推荐------------------------------------------------------ 1 / 11 数学建模课件--最小二乘法拟合 4. 最小二乘法线性拟合 我们知道， 用作图法求出直线的斜率 a 和截据 b ， 可以确定这条直线所对应的经验公式， 但用作图法拟 合直线时， 由于作图连线有较大的随意性， 尤其在测量数据比较分 散时， 对同一组测量数据， 不同的人去处理， 所得结果有差异， 因 此是一种粗略的数据处理方法， 求出的 a 和 b 误差较大。 用最小二乘法拟合直线处理数据时, 任何人去处理同一组数据， 只要处理过程没有错误， 得到的斜率 a 和截据 b 是唯一的。 最小二乘法就是将一组符合 Y=a+bX 关系的测量数据， 用计算 的方法求出最佳的 a 和 b 。 显然， 关键是如何求出最佳的 a 和 b 。 (1) 求回归直线 设直线方程的表达式为： (2-6-1) 要根据测量数据求出最佳的 a 和 b 。 对满足线性关系的一组等精度测量数据（xi ， yi ），假定自变量 xi 的误差可以忽略， 则在同一 xi 下， 测量点 yi 和直线上的点 a+bxi 的偏差 di 如下： 显 然最好测量点都在直线上（即 d1=d2==dn=0）， 求出的 a 和 b 是最 理想的， 但测量点不可能都在直线上， 这样只有考虑 d1、 d2、 、 dn 为最小， 也就是考虑 d1+d2++dn 为最小， 但因 d1、 d2、 、 dn 最小二乘法原理 1. 概念 最小二乘法多项式曲线拟合，根据给定的m 个点,并不要求这条曲线精确地经过这些点，而是曲线y=f(x)的近似曲线y= φ(x)。 2. 原理 给定数据点pi(xi,yi)，其中i=1,2,…,m 。求近似曲线y= φ(x)。并且使得近似曲线与y=f(x)的偏差最小。近似曲线在点pi 处的偏差δi= φ(xi)-yi ，i=1,2,...,m 。 常见的曲线拟合方法： 1. 是偏差绝对值最小 11min (x )y m m i i i i i φδφ===-∑∑ 2. 是最大的偏差绝对值最小 min max (x )y i i i i φδ?=- 3. 是偏差平方和最小 2211min ((x )y )m m i i i i i φδ?===-∑∑ 按偏差平方和最小的原则选取拟合曲线，并且采取二项式方程为拟合曲线的方法,称为最小二乘法。 推导过程： 1. 设拟合多项式为： 01...k k y a a x a x =+++ 2. 各点到这条曲线的距离之和，即偏差平方和如下： 2 2 011(...)m k i i k i i R y a a x a x =??=-+++??∑ 3. 为了求得符合条件的a 值，对等式右边求ak 偏导数，因而我们得到了： 011 2(...)0m k i k i i y a a x a x =??--+++=??∑ 011 2(...)0m k i k i i y a a x a x x =??--+++=??∑ …….. 0112( 0 k k i k i i y a a x a x x =??--+++=??∑ 4. 将等式简化一下，得到下面的式子 01111...n n n k i k i i i i i a n a x a x y ===+++=∑∑∑ 2 1011111...n n n n k i i k i i i i i i i a x a x a x y x +====+++=∑∑∑∑ …… 12011111...n n n n k k k k i i k i i i i i i i a x a x a x y x +====+++=∑∑∑∑ 5. 把这些等式表示成矩阵形式，就可以得到下面的矩阵： 11102111111121111.........n n n k i i i i i i n n n n k i i i i i i i i i n n n n k k k k k i i i i i i i i i n x x y a a x x x x y a x x x x y ===+====+====??????????????????????=?????????????????????? ∑∑∑∑∑∑∑∑∑∑∑ 6. 将这个范德蒙矩阵化简后得到： 0111122 21...1...1...k k k k n n n a y x x a y x x a y x x ??????????????????=???????????????????? 最小二乘法圆拟合 1.最小二乘法圆拟合原理 理论 最小二乘法(Least Square Method )是一种数学优化技术。它通过最小化误差的平方和找到一组数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。 最小二乘圆拟合模型公式推导 在二维平面坐标系中，圆方程一般可表示为: ()22020)(r y y x x =-+- （1） 对于最小二乘法的圆拟合，其误差平方的优化目标函数为： [] 2 12020)()(∑=--+-=n i i i r y y x x S 式中：()i i y x ,n i ,...,2,1=为圆弧上特征点坐标；n 为参与拟合的特征点数。 在保持这优化目标函数特征的前提上，我们需要对其用一种稍微不同的改进方法来定义误差平方，且其避免了平方根，同时可得到一个最小化问题的直接解，定义如下: [] 2 122020)()(∑=--+-=n i i i r y y x x E （2） 则（2）式可改写为： ( )2 12 20 0220 02 22∑=-+-++-=n i i i i i r y y y y x x x x E （3） 令,02y B -=,02x A -=22020r y x C -+= 即（3）式可表示为： () 2 22∑=++++=n i i i i i C By Ax y x E 由最小二乘法原理，参数A ,B ,C 应使E 取得极小值。根据极小值的求法，A ,B 和C 应满足 () 020 22=++++=??∑=i n i i i i i x C By Ax y x A E (4) () 020 22=++++=??∑=i n i i i i i y C By Ax y x B E (5) () 020 22=++++=??∑=n i i i i i C By Ax y x C E (6) 求解方程组，先消去参数C ,则 式()()∑=*-*n i i x n 064得 ( )0 02 202 030000002=+-++?? ? ??-+??? ??-∑∑∑∑∑∑∑∑∑∑==========n i i n i i i n i i i n i i n i n i i i n i i i n i n i i i n i i x y x y x n x n B y x y x n A x x x n （7） 式()()∑=*-*n i i y n 065得 ( )0 02 202 030002000=+-++?? ? ??-+??? ??-∑∑∑∑∑∑∑∑∑∑==========n i i n i i i n i i i n i i n i n i i i n i i n i n i i i n i i i y y x y x n y n B y y y n A y x y x n （8） 令 ??? ??-=∑∑∑===n i n i n i i i i x x x n M 000211（9） ?? ? ??-==∑∑∑===n i n i i i n i i i y x y x n M M 0002112（10） ?? ? ??-=∑∑∑===n i n i i i n i i y y y n M 000222（11） 普通最小二乘法（OLS ） 普通最小二乘法（Ordinary Least Square ，简称OLS ），是应用最多的参数估计方法，也是从最小二乘原理出发的其他估计方法的基础，是必须熟练掌握的一种方法。 在已经获得样本观测值i i x y ,（i=1,2,…,n ）的情况下 （见图中的散点），假如模型（）的参数估计量已经求得到， 为^0β和^ 1β，并且是最合理的参数估计量，那么直线方程（见 图中的直线） i i x y ^ 1^0^ββ+= i=1,2,…,n 应该能够最 好地拟合样本数据。其中^i y 为被解释变量的估计值，它是由参数估计量和解释变量的观测值计算得到的。那么，被解释变量的估计值与观测值应该在总体上最为接近，判断的标准是二者之差的平方和最小。 ),()(1022101ββββQ u x y Q i i n i i ==--=∑∑= ()()),(min ????1021 10212?,?1100ββββββββQ x y y y u Q n i i n i i i =--=-==∑∑∑== 为什么用平方和因为二者之差可正可负，简单求和可能将很大的误差抵消掉，只有平方和才能反映二者在总体上的接近程度。这就是最小二乘原则。那么，就可以从最小二乘原则和样本观测值出发，求得参数估计量。 由于 2 1 ^1^012 ^ ))(()(∑∑+--=n i i n i i x y y y Q ββ＝ 是^0β、^1β的二次函数并且非负，所以其极小值总是存在的。根据罗彼塔法则，当Q 对^0β、^ 1β的一阶偏导数为0时，Q 达到最小。即 0011001100?,?1 ?,?0 =??=??====ββββββββββQ Q 容易推得特征方程： ()0)??(0?)??(1011 10==--==-=--∑∑∑∑∑==i i i i n i i i i i i n i i e x x y x e y y x y ββββ 解得： ∑∑∑∑∑+=+=2^ 1^0^1^0i i i i i i x x x y x n y ββββ （） 所以有：???? ?????-=---=--=∑∑∑∑∑∑∑=======x y x x y y x x x x n y x y x n n i i n i i i n i i n i i n i i n i i n i i i 10121 21121111??)())(()()()(?βββ （） 于是得到了符合最小二乘原则的参数估计量。 为减少计算工作量，许多教科书介绍了采用样本值的离差形式的参数估计量的计算公式。由于现在计量经济学计算机软件被普遍采用，计算工作量已经不是什么问题。但离差形式的计算公式在其他方面也有应用，故在此写出有关公式，不作详细说明。记 ∑=-i x n x 1 ∑=-i y n y 1 y y y x x x i i i i -=-= （）的参数估计量可以写成 最小二乘法数据拟合 设给定数据),(i i f x ，),,2,1(m i = 在集合},,,{Span 10n ??? =Φ中找一个函数 )()(* 0** x a x S k n k k ?∑==，)(m n < (1) 其误差是 i i i f x S -=)(*δ，),,2,1(m i = (2) 使)(* x S 满足 2 1 )(2 *1 1 2 ])()[(min ])()[(i i m i i x S i i m i i m i i f x S x f x S x -=-=∑∑∑=Φ ∈==ωωδ (3) 0)(≥x ω是],[b a 上给定的权函数。上述求逼近函数)(*x S 的方法就称为曲线拟合的最小二 乘法。满足关系式(3)的函数)(* x S 称为上述最小二乘问题的最小二乘解。 并且有结论： 1)对于给定的函数表),(i i f x ，),,2,1(m i =，在函数类},,,{Span 10n ??? =Φ中存在唯一的函数)()(*0** x a x S k n k k ?∑== ，使得关系式(3)成立。 2)最小二乘解的系数* *1*0,,,n a a a 可以通过解法方程 ),(),(0 ???f a k n k j k =∑=，),,2,1,0(n j = (4) 作为曲线拟合的一种常用的情况，如果讨论的是代数多项式拟合，即取 },,,,1{},,,{210n n x x x =??? 那么相应的法方程(4)就是 ??????????????=???????????????????????? ??∑∑∑∑∑∑∑∑∑∑∑∑++i n i i i i i i i n n i i n i i n i i n i i i i i i n i i i i i f x f x f a a a x x x x x x x x ωωωωωωωωωωωω 102112 (5) 最小二乘法拟合椭圆 设平面任意位置椭圆方程为： x 2+Axy +By 2+Cx +Dy +E =0 设P i (x i ,y i )(i =1,2,…,N )为椭圆轮廓上的N (N ≥5) 个测量点，依据最小二乘原理，所拟合的目标函数为： F (A,B,C,D,E )=∑(x i 2+Ax i y i +By i 2+Cx i +Dy i +E)2 N i=1 欲使F 为最小，需使 ?F ?A =?F ?B =?F ?C =?F ?D =?F ?E =0 由此可以得方程： [ ∑x i 2y i 2∑x i y i 3∑x i 2y i ∑x i y i 2∑x i y i ∑x i y i 3∑y i 4∑x i y i 2∑y i 3∑y i 2∑x i 2y i ∑x i y i 2∑x i 3∑x i y i ∑x i ∑x i y i 2∑y i 3∑x i y i ∑y i 2∑y i 2∑x i y i ∑y i 2∑x i ∑y i N ] [ A B C D E ] =-[ ∑x i 3y i ∑x i 2y i 2∑ x i 3∑x i 2y i ∑ x i 2] 解方程可以得到A ，B ，C ，D ，E 的值。 根据椭圆的几何知识，可以计算出椭圆的五个参数：位置参数(θ,x 0,y 0)以及形状参数(a,b )。 x 0=2BC?AD A 2?4B y 0=2D ?AD A 2?4B a =√2(ACD ?BC 2?D 2+4BE ?A 2E )(A 2?4B )(B ?√A 2+(1?B 2)+1) b =√2(ACD ?BC 2?D 2+4BE ?A 2E )(A 2?4B )+√A 2+(1?B 2)+1) θ=tan ?1√ a 2? b 2B a 2B ?b 2 最小二乘法的原理及其应用 一、研究背景 在科学研究中，为了揭示某些相关量之间的关系，找出其规律，往往需要做数据拟合，其常用方法一般有传统的插值法、最佳一致逼近多项式、最佳平方逼近、最小二乘拟合、三角函数逼近、帕德（Pade）逼近等，以及现代的神经网络逼近、模糊逼近、支持向量机函数逼近、小波理论等。 其中，最小二乘法是一种最基本、最重要的计算技巧与方法。它在建模中有着广泛的应用，用这一理论解决讨论问题简明、清晰，特别在大量数据分析的研究中具有十分重要的作用和地位。随着最小二乘理论不断的完善，其基本理论与应用已经成为一个不容忽视的研究课题。本文着重讨论最小二乘法在化学生产以及系统识别中的应用。 二、最小二乘法的原理 人们对由某一变量t或多个变量t1…..tn 构成的相关变量y感兴趣。如弹簧的形变与所用的力相关，一个企业的盈利与其营业额，投资收益和原始资本有关。为了得到这些变量同y之间的关系，便用不相关变量去构建y，使用如下函数模型 , q个相关变量或p个附加的相关变量去拟和。 通常人们将一个可能的、对不相关变量t的构成都无困难的函数类型充作函数模型（如抛物线函数或指数函数）。参数x是为了使所选择的函数模型同观测值y相匹配。（如在测量弹簧形变时，必须将所用的力与弹簧的膨胀系数联系起来）。其目标是合适地选择参数，使函数模型最好的拟合观测值。一般情况下，观测值远多于所选择的参数。 其次的问题是怎样判断不同拟合的质量。高斯和勒让德的方法是，假设测量误差的平均值为0。令每一个测量误差对应一个变量并与其它测量误差不相关（随机无关）。人们假设，在测量误差中绝对不含系统误差，它们应该是纯偶然误差，围绕真值波动。除此之外，测量误差符合正态分布，这保证了偏差值在最后的结果y上忽略不计。 确定拟合的标准应该被重视，并小心选择，较大误差的测量值应被赋予较小的权。并建立如下规则：被选择的参数，应该使算出的函数曲线与观测值之差的平方和最小。用函数表示为： 第一节 最小二乘法的基本原理和多项式拟合 一 最小二乘法的基本原理 从整体上考虑近似函数)(x p 同所给数据点),(i i y x (i=0,1,…,m)误差 i i i y x p r -=)((i=0,1,…,m) 的大小，常用的方法有以下三种：一是误差 i i i y x p r -=)((i=0,1,…,m)绝对值的最大值i m i r ≤≤0max ，即误差 向量 T m r r r r ),,(10 =的∞—范数；二是误差绝对值的和∑=m i i r 0 ，即误差向量r 的1— 范数；三是误差平方和∑=m i i r 02 的算术平方根，即误差向量r 的2—范数；前两种方法简单、自然，但不便于微分运算 ，后一种方法相当于考虑 2—范数的平方，因此在曲线拟合中常采用误差平方和∑=m i i r 02 来 度量误差i r (i=0，1，…，m)的整 体大小。 数据拟合的具体作法是：对给定数据 ),(i i y x (i=0,1,…，m)，在取定的函数类Φ中,求Φ∈)(x p ,使误差i i i y x p r -=)((i=0,1,…,m)的平方和最小，即 ∑=m i i r 0 2 =[]∑==-m i i i y x p 0 2 min )( 从几何意义上讲，就是寻求与给定点),(i i y x (i=0,1,…,m)的距离平方和为最 小的曲线)(x p y =（图6-1）。函数)(x p 称为拟合 函数或最小二乘解，求拟合函数)(x p 的方法称为曲线拟合的最小二乘法。 在曲线拟合中，函数类Φ可有不同的选取方法. 6—1 二 多项式拟合 假设给定数据点),(i i y x (i=0,1,…,m)，Φ为所有次数不超过)(m n n ≤的多项式构成的函数类，现求一 Φ ∈=∑=n k k k n x a x p 0 )(,使得 [] min )(0 02 02 =??? ??-=-=∑∑∑===m i m i n k i k i k i i n y x a y x p I (1) 当拟合函数为多项式时，称为多项式拟合，满足式（1）的)(x p n 称为最小二乘 拟合多项式。特别地，当n=1时，称为线性拟合或直线拟合。 毕业论文文献综述 信息与计算科学 最小二乘法的原理及应用 一、国内外状况 国际统计学会第56届大会于2007年8月22-29日在美丽的大西洋海滨城市、葡萄牙首都里斯本如期召开。应大会组委会的邀请，以会长李德水为团长的中国统计学会代表团一行29人注册参加了这次大会。北京市统计学会、山东省统计学会，分别组团参加了这次大会。中国统计界（不含港澳台地区）共有58名代表参加了这次盛会。本届大会的特邀论文会议共涉及94个主题，每个主题一般至少有3-5位代表做学术演讲和讨论。通过对大会论文按研究内容进行归纳，特邀论文大致可以分为四类：即数理统计，经济、社会统计和官方统计，统计教育和统计应用。 数理统计方面。数理统计作为统计科学的一个重要部分，特别是随机过程和回归分析依然展现着古老理论的活力，一直受到统计界的重视并吸引着众多的研究者。本届大会也不例外。 二、进展情况 数理统计学19世纪的数理统计学史, 就是最小二乘法向各个应用领域拓展的历史席卷了统计大部分应用的几个分支——相关回归分析, 方差分析和线性模型理论等, 其灵魂都在于最小二乘法; 不少近代的统计学研究是在此法的基础上衍生出来, 作为其进一步发展或纠正其不足之处而采取的对策, 这包括回归分析中一系列修正最小二乘法而导致的估计方法。 数理统计学的发展大致可分 3 个时期。① 20 世纪以前。这个时期又可分成两段，大致上可以把高斯和勒让德关于最小二乘法用于观测数据的误差分析的工作作为分界线，前段属萌芽时期，基本上没有超出描述性统计量的范围。后一阶段可算作是数理统计学的幼年阶段。首先，强调了推断的地位，而摆脱了单纯描述的性质。由于高斯等的工作揭示了最小二乘法的重要性，学者们普遍认为，在实际问题中遇见的几乎所有的连续变量，都可以满意地用最小二乘法来刻画。这种观点使关于最小二乘法得到了深入的发展，②20世纪初到第二次世界大战结束。这是数理统计学蓬勃发展达到成熟的时期。许多重要的基本观点和方法，以及数理统计学的主要分支学科，都是在这个时期建立和发展起来的。这个时期的成就，包含了至今仍在广泛使用的大多数统计方法。在其发展中，以英国统计学家、生物学家费希尔为代表的英国学派起了主导作用。③战后时期。这一时期中，数理统计学在应用和理论两方面继续获得很大的进展。 第6章曲线拟合的最小二乘法 6.1 拟合曲线 通过观察或测量得到一组离散数据序列，当所得数据比较准确时，可构造插值函数逼近客观存在的函数，构造的原则是要求插值函数通过这些数据点，即。此时，序列与 是相等的。 如果数据序列，含有不可避免的误差（或称“噪音”），如图6.1 所示；如果数据序列无法同时满足某特定函数，如图6.2所示，那么，只能要求所做逼近函数最优地靠近样点，即向量与的误差或距离最小。按与之间误差最小原则作为“最优”标准构造的逼近函数，称为拟合函数。 图6.1 含有“噪声”的数据 图6.2 一条直线公路与多个景点 插值和拟合是构造逼近函数的两种方法。插值的目标是要插值函数尽量靠近离散点；拟合的目标是要离散点尽量靠近拟合函数。 向量与之间的误差或距离有各种不同的定义方法。例如： 用各点误差绝对值的和表示： 用各点误差按模的最大值表示： 用各点误差的平方和表示： 或（6.1） 其中称为均方误差，由于计算均方误差的最小值的方法容易实现而被广泛采用。按 均方误差达到极小构造拟合曲线的方法称为最小二乘法。本章主要讲述用最小二乘法构造拟合曲线的方法。 在运筹学、统计学、逼近论和控制论中，最小二乘法都是很重要的求解方法。例如，它是统计学中估计回归参数的最基本方法。 关于最小二乘法的发明权，在数学史的研究中尚未定论。有材料表明高斯和勒让德分别独立地提出这种方法。勒让德是在1805年第一次公开发表关于最小二乘法的论文，这时高斯指出，他早在1795年之前就使用了这种方法。但数学史研究者只找到了高斯约在1803年之前使用了这种方法的证据。 在实际问题中，怎样由测量的数据设计和确定“最贴近”的拟合曲线？关键在选择适当的拟合曲线类型，有时根据专业知识和工作经验即可确定拟合曲线类型；在对拟合曲线一无所知的情况下，不妨先绘制数据的粗略图形，或许从中观测出拟合曲线的类型；更一般地，对数据进行多种曲线类型的拟合，并计算均方误差，用数学实验的方法找出在最小二乘法意义下的误差最小的拟合函数。 例如，某风景区要在已有的景点之间修一条规格较高的主干路，景点与主干路之间由各具特色的支路联接。设景点的坐标为点列；设主干路为一条直线 ，即拟合函数是一条直线。通过计算均方误差最小值而确定直线方程（见图6.2）。 6.2线性拟合和二次拟合函数 线性拟合 给定一组数据，做拟合直线，均方误差为 （6.2） 是二元函数，的极小值要满足 整理得到拟合曲线满足的方程： 最小二乘法 最小二乘法是一种在误差估计、不确定度、系统辨识及预测、预报等数据处理诸多学科领域得到广泛应用的数学工具。最小二乘法还可用于曲线拟合，其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。最小二乘法公式： 设拟合直线的公式为 , 其中：拟合直线的斜率为： ；计算出斜率后，根据 和已经确定的斜率k，利用待定系数法求出截距b。 在我们研究两个变量(x, y)之间的相互关系时，通常可以得到一系列成对的数据(x1, y1),(x2, y2).. (xm , ym)；将这些数据描绘在x -y 直角坐标系中(如图1), 若发现这些点在一条直线附近，可以令这条直线方程如(式1-1)。 Y计= a0 + a1 X (式1-1) 其中：a0、a1 是任意实数 为建立这直线方程就要确定a0和a1，应用《最小二乘法原理》，将实测值Yi与利用(式1-1)计算值(Y计=a0+a1X)的离差(Yi-Y计)的平方和〔∑(Yi - Y计)²〕最小为“优化判据”。 令: φ= ∑(Yi - Y计)² (式1-2) 把(式1-1)代入(式1-2)中得: φ= ∑(Yi - a0 - a1 Xi)2 (式1-3) 当∑(Yi-Y计)²最小时，可用函数φ对a0、a1求偏导数，令这两个偏导数等于零。 (式1-4) (式1-5) 亦即 m a0 + (∑Xi ) a1 = ∑Yi (式1-6) (∑Xi ) a0 + (∑Xi2 ) a1 = ∑(Xi, Yi) (式1-7) 得到的两个关于a0、a1为未知数的两个方程组，解这两个方程组得出： a0 = (∑Yi) / m - a1(∑Xi) / m (式1-8) a1 = [∑Xi Yi - (∑Xi ∑Yi)/ m] / [∑Xi2 - (∑Xi)2 / m)] (式1-9) 这时把a0、a1代入(式1-1)中, 此时的(式1-1)就是我们回归的元线性方程即：数学模型。 在回归过程中，回归的关联式是不可能全部通过每个回归数据点(x1, y1、x2, y2...xm,ym),为了判断关联式的好坏,可借助相关系数“R”，统计量“F”，剩余标准偏差“S”进行判断；“R”越趋近于1 越好；“F”的绝对值越大越好；“S”越趋近于0 越好。 R = [∑XiYi - m (∑Xi / m)(∑Yi / m)]/ SQR{[∑Xi2 - m (∑Xi / m)2][∑Yi2 - m (∑Yi / m)2]} (式1-10) * 在(式1-1)中，m为样本容量，即实验次数；Xi、Yi分别任意一组实验X、Y的数值。微积分应用课题一最小二乘法 从前面的学习中, 我们知道最小二乘法可以用来处理一组数据, 可以从一组测定的数据中寻求变量之间的依赖关系, 这种函数关系称为经验公式. 本课题将介绍最小二乘法的精确定义及如何寻求与之间近似成线性关系时的经验公式. 假定实验测得变量之间的个数 该方程的参数估计步骤如下： 取n 组观测值n i x x x y ki i i i ,,2,1),,,,(211 =代入上式中可得下列形式： ?????????++??+++=++??+++=++??+++=m mk k m m m k k k k u x x x y u x x x y u x x x y ββββββββββββ2211022222211021 112211101 （2） (2)的矩阵表达形式为： U B X y += （3） 对于模型（3），如果模型的参数估计值已经得到，则有： ^^B X y = （4） 那么，被解释变量的观测值与估计值之差的平方和为： ∑∑==--==-==n i i i n i i B X Y B X Y e e y y e Q 1 ^ '^'2^12)()()( （5） 根据最小二乘法原理，参数估计值应该是下列方程： 0)()(^' ^^=--??B X Y B X Y B （6） 的解。于是，参数的最小二乘估计值为： Y X X X B '1'^)(-= （ 7） 多变量预测模型是以多元线性回归方程为基础，其一般形式为： i ki k i i i u x x x y +++++=ββββ 22110 （8） 其中：k n i ;,,2,1 =为解释变量的数目；k x x x ,,,21 为解释变量，)1(+k 为解释变量的数目；k βββ ,,21为待估参数；u 为随机干扰项；i 为观测值下标。 统计检验是依据统计理论来检验模型参数估计值的可靠性。主要包括方程显著性检验（F 检验）和变量显著性检验（F 检验）。前者计算出F 统计量的数值；给定一个显著性水平α，查F 分布表，得到一个临界值),1,(--k n k F α当)1,(-->k n k F F α时，通过F 检验。后者计算出t 统计量的数值；给定一个显著性水平α，查t 分布表，得到一个临界值)1(2/--k n t α，当)1(||2/-->k n t t α时，通过t 检验。 最小二乘拟合 在物理实验中经常要观测两个有函数关系的物理量。根据两个量的许多组观测数据来确定它们的函数曲线，这就是实验数据处理中的曲线拟合问题。这类问题通常有两种情况：一种是两个观测量x 与y 之间的函数形式已知，但一些参数未知，需要确定未知参数的最佳估计值；另一种是x 与y 之间的函数形式还不知道，需要找出它们之间的经验公式。后一种情况常假设x 与y 之间的关系是一个待定的多项式，多项式系数就是待定的未知参数，从而可采用类似于前一种情况的处理方法。 一、最小二乘法原理 在两个观测量中，往往总有一个量精度比另一个高得多，为简单起见把精度较高的观测量看作没有误差，并把这个观测量选作x ，而把所有的误差只认为是y 的误差。设x 和y 的函数关系由理论公式 y ＝f （x ；c 1，c 2，……c m ） （0-0-1） 给出，其中c 1，c 2，……c m 是m 个要通过实验确定的参数。对于每组观测数据（x i ，y i ）i ＝1，2，……，N 。都对应于xy 平面上一个点。若不存在测量误差，则这些数据点都准确 落在理论曲线上。只要选取m 组测量值代入式（0-0-1），便得到方程组 y i ＝f （x ；c 1，c 2，……c m ） （0-0-2） 式中i ＝1，2，……，m.求m 个方程的联立解即得m 个参数的数值。显然N最小二乘法的基本原理和多项式拟合
最小二乘法及其应用..
最小二乘法曲线拟合 原理及matlab实现
最小二乘法的多项式拟合
最小二乘法圆拟合
数学建模课件--最小二乘法拟合
最小二乘法原理
最小二乘法圆拟合
普通最小二乘法(OLS)
最小二乘法数据拟合
(完整版)最小二乘法拟合椭圆附带matlab程序
最小二乘法的原理及其应用
最小二乘法的本原理和多项式拟合
最小二乘法原理及应用【文献综述】
数值计算_第6章 曲线拟合的最小二乘法
最小二乘法原理
最小二乘法基本原理
最小二乘法拟合原理