最小二乘法拟合直线
最小二乘法拟合直线matlab程序：>> x=[0 0.6 0.8 1.0 1.2 1.4 1.6 1.8 2.0];
>> y=[0.00 2.11 3.15 3.93 4.65 5.34 6.01 6.68 7.31]; >> nh1=polyfit(x,y,1);
>> m=0:0.5:2.5;
>> nh2=polyval(nh1,m);
>> plot(x,y,'+',m,nh2)
拟合直线图：
最小二乘法的基本原理和多项式拟合
最小二乘法的基本原理和多项式拟合 一 最小二乘法的基本原理 从整体上考虑近似函数)(x p 同所给数据点),(i i y x (i=0,1,…,m)误差 i i i y x p r -=)((i=0,1,…,m) 的大小，常用的方法有以下三种：一是误差 i i i y x p r -=)((i=0,1,…,m)绝对值的最大值i m i r ≤≤0max ，即误差 向量 T m r r r r ),,(10 =的∞—范数；二是误差绝对值的和∑=m i i r 0 ，即误差向量r 的1— 范数；三是误差平方和∑=m i i r 02 的算术平方根，即误差向量r 的2—范数；前两种方法简单、自然，但不便于微分运算 ，后一种方法相当于考虑 2—范数的平方，因此在曲线拟合中常采用误差平方和∑=m i i r 02 来 度量误差i r (i=0，1，…，m)的整 体大小。 数据拟合的具体作法是：对给定数据 ),(i i y x (i=0,1,…，m)，在取定的函数类Φ中,求Φ∈)(x p ,使误差i i i y x p r -=)((i=0,1,…,m)的平方和最小，即 ∑=m i i r 2 = 从几何意义上讲，就是寻求与给定点),(i i y x (i=0,1,…,m)的距离平方和为最 小的曲线 )(x p y =（图6-1）。函数)(x p 称为拟合函数或最小二乘解，求拟合函数)(x p 的方法称为曲线拟合的最小二乘法。 在曲线拟合中，函数类Φ可有不同的选取方法 . 6—1 二 多项式拟合 假设给定数据点),(i i y x (i=0,1,…,m)，Φ为所有次数不超过)(m n n ≤的多项式构成的函数类，现求一 Φ ∈=∑=n k k k n x a x p 0 )(,使得 [] min )(0 02 02 =??? ??-=-=∑∑∑===m i m i n k i k i k i i n y x a y x p I (1) [ ] ∑ = = - m i i i y x p 0 2 min ) (
最小二乘法曲线拟合 原理及matlab实现
曲线拟合（curve-fitting ）：工程实践中，用测量到的一些离散的数据},...2,1,0),,{(m i y x i i =求一个近似的函数)(x ?来拟合这组数据，要求所得的拟合曲线能最好的反映数据的基本趋势（即使)(x ?最好地逼近()x f ，而不必满足插值原则。因此没必要取)(i x ?=i y ，只要使i i i y x -=)(?δ尽可能地小）。 原理： 给定数据点},...2,1,0),,{(m i y x i i =。求近似曲线)(x ?。并且使得近似曲线与()x f 的偏差最小。近似曲线在该点处的偏差i i i y x -=)(?δ，i=1,2,...,m 。 常见的曲线拟合方法: 1.使偏差绝对值之和最小 2.使偏差绝对值最大的最小 3.使偏差平方和最小 最小二乘法： 按偏差平方和最小的原则选取拟合曲线，并且采取二项式方程为拟合曲线的方法,称为最小二乘法。 推导过程： 1. 设拟合多项式为： 2. 各点到这条曲线的距离之和，即偏差平方和如下： 3. 问题转化为求待定系数0a ...k a 对等式右边求i a 偏导数，因而我们得到 了： ....... 4、 把这些等式化简并表示成矩阵的形式，就可以得到下面的矩阵： 5. 将这个范德蒙得矩阵化简后可得到:
6. 也就是说X*A=Y，那么A = (X'*X)-1*X'*Y，便得到了系数矩阵A，同时，我们也就得到了拟合曲线。 MATLAB实现： MATLAB提供了polyfit（）函数命令进行最小二乘曲线拟合。 调用格式：p=polyfit(x,y,n) [p,s]= polyfit(x,y,n) [p,s,mu]=polyfit(x,y,n) x,y为数据点，n为多项式阶数，返回p为幂次从高到低的多项式系数向量p。x必须是单调的。矩阵s包括R（对x进行QR分解的三角元素）、df(自由度）、normr(残差）用于生成预测值的误差估计。 [p,s,mu]=polyfit(x,y,n)在拟合过程中，首先对x进行数据标准化处理，以在拟合中消除量纲等影响，mu包含标准化处理过程中使用的x的均值和标准差。 polyval( )为多项式曲线求值函数，调用格式： y=polyval(p,x) [y,DELTA]=polyval(p,x,s) y=polyval(p,x)为返回对应自变量x在给定系数P的多项式的值。 [y,DELTA]=polyval(p,x,s) 使用polyfit函数的选项输出s得出误差估计Y DELTA。它假设polyfit函数数据输入的误差是独立正态的，并且方差为常数。则Y DELTA将至少包含50%的预测值。 如下给定数据的拟合曲线： x=[0.5,1.0,1.5,2.0,2.5,3.0]， y=[1.75,2.45,3.81,4.80,7.00,8.60]。 解：MATLAB程序如下： x=[0.5,1.0,1.5,2.0,2.5,3.0]; y=[1.75,2.45,3.81,4.80,7.00,8.60]; p=polyfit(x,y,2) x1=0.5:0.05:3.0; y1=polyval(p,x1); plot(x,y,'*r',x1,y1,'-b') 运行结果如图1 计算结果为： p =0.5614 0.8287 1.1560 即所得多项式为y=0.5614x^2+0.08287x+1.15560 图1 最小二乘法曲线拟合示例 对比检验拟合的有效性： 例：在[0,π]区间上对正弦函数进行拟合，然后在[0,2π]区间画出图形，比较拟合区间和非拟合区间的图形，考察拟合的有效性。 在MATLAB中输入如下代码： clear x=0:0.1:pi; y=sin(x); [p,mu]=polyfit(x,y,9)
最小二乘法求线性回归方程
数学必修3测试题 说明：全卷满分100分，考试时间120分钟，交卷时只需交答题卷，考试时不能使用计算器. 参考:用最小二乘法求线性回归方程系数公式x b y a x n x y x n y x b n i i n i i i -=-?-= ∑∑==, 1 2 21 一、选择题：本大题共10小题，每小题3分，共30分．在每小题给出的四处备选项中，只有一项是符合 题目要求的． 1 ”可用于（ ） A 、输出a=10 a=10 C 、判断a=10 D 、输入a=10 2、已知甲、乙两名同学在五次数学测验中的得分如下：甲：85，91，90，89，95； 乙：95，80，98，82，95。则甲、乙两名同学数学学习成绩（ ） A 、甲比乙稳定 B 、甲、乙稳定程度相同 C 、乙比甲稳定 D 、无法确定 3、下列程序语句不正确．．． 的是（ ） A 、INPUT “MA TH=”；a+b+c B 、PRINT “MA TH=”；a+b+c C 、c b a += D 、1a =c b - 4、 在调查分析某班级数学成绩与 物理成绩的相关关系时，对数据进行 统计分析得到散点图（如右图所示）， 用回归直线?y bx a =+近似刻画 其关系，根据图形，b 的数值最有 可能是（ ） A 、 0 B 、 1.55 C 、 0.85 D 、 —0.24 5、用秦九韶算法求n 次多项式011 1)(a x a x a x a x f n n n n ++++=-- ，当0x x =时，求)(0x f 需要算 乘方、乘法、加法的次数分别为（ ） A 、 n n n n ,,2 ) 1(+ B 、n,2n,n C 、 0,2n,n D 、 0,n,n 6、为了在运行下面的程序之后得到输出16，键盘输入x 应该是（ ） INPUT x IF x<0 THEN y=(x+1)*(x+1) ELSE y=(x-1)*(x-1) END IF 第4题
最小二乘法的本原理和多项式拟合
第一节 最小二乘法的基本原理和多项式拟合 一 最小二乘法的基本原理 从整体上考虑近似函数)(x p 同所给数据点),(i i y x (i=0,1,…,m)误差 i i i y x p r -=)((i=0,1,…,m) 的大小，常用的方法有以下三种：一是误差 i i i y x p r -=)((i=0,1,…,m)绝对值的最大值i m i r ≤≤0max ，即误差 向量 T m r r r r ),,(10 =的∞—范数；二是误差绝对值的和∑=m i i r 0 ，即误差向量r 的1— 范数；三是误差平方和∑=m i i r 02 的算术平方根，即误差向量r 的2—范数；前两种方法简单、自然，但不便于微分运算 ，后一种方法相当于考虑 2—范数的平方，因此在曲线拟合中常采用误差平方和∑=m i i r 02 来 度量误差i r (i=0，1，…，m)的整 体大小。 数据拟合的具体作法是：对给定数据 ),(i i y x (i=0,1,…，m)，在取定的函数类Φ中,求Φ∈)(x p ,使误差i i i y x p r -=)((i=0,1,…,m)的平方和最小，即 ∑=m i i r 0 2 =[]∑==-m i i i y x p 0 2 min )( 从几何意义上讲，就是寻求与给定点),(i i y x (i=0,1,…,m)的距离平方和为最 小的曲线)(x p y =（图6-1）。函数)(x p 称为拟合 函数或最小二乘解，求拟合函数)(x p 的方法称为曲线拟合的最小二乘法。 在曲线拟合中，函数类Φ可有不同的选取方法. 6—1 二 多项式拟合 假设给定数据点),(i i y x (i=0,1,…,m)，Φ为所有次数不超过)(m n n ≤的多项式构成的函数类，现求一 Φ ∈=∑=n k k k n x a x p 0 )(,使得 [] min )(0 02 02 =??? ??-=-=∑∑∑===m i m i n k i k i k i i n y x a y x p I (1) 当拟合函数为多项式时，称为多项式拟合，满足式（1）的)(x p n 称为最小二乘 拟合多项式。特别地，当n=1时，称为线性拟合或直线拟合。
MATLAB实现非线性曲线拟合最小二乘法
非线性曲线拟合最小二乘法 一、问题提出 设数据（i i y x ,）,(i=0,1,2,3,4).由表3-1给出，表中第四行为i i y y =ln ,可以看出数学模型为bx ae y =,用最小二乘法确定a 及b 。 i 0 1 2 3 4 i x 1.00 1.25 1.50 1.75 2.00 i y 5.10 5.79 6.53 7.45 8.46 i y 1.629 1.756 1.876 2.008 2.135 二、理论基础 根据最小二乘拟合的定义:在函数的最佳平方逼近中],[)(b a C x f ∈，如果f(x)只在一组离散点集{i x ,i=0,1,…,m}，上给定，这就是科学实验中经常见到的实验数据{（i i y x ,）, i=0,1,…,m}的曲线拟合，这里)(i i x f y =，i=0,1,…,m,要求一个函数)(*x S y =与所给数据{（i i y x ,）,i=0,1,…,m}拟合，若记误差 i i i y x S -=)(*δ,i=0,1,…,m,T m ),,(10δδδδ， =,设)(,),(),(10x x x n ??? 是] ,[b a C 上线性无关函数族，在)}(,),(),({10x x x span n ???? =中找一函数)(*x S ，使误差平方和 ∑∑∑===∈ -=-==m i m i m i i i x S i i i y x S y x S 0 2 )(2 * 2 22 ])([])([min ? δδ , 这里 )()()()(1100x a x a x a x S n n ???+++= (n 第6章曲线拟合的最小二乘法 6.1 拟合曲线 通过观察或测量得到一组离散数据序列，当所得数据比较准确时，可构造插值函数逼近客观存在的函数，构造的原则是要求插值函数通过这些数据点，即。此时，序列与 是相等的。 如果数据序列，含有不可避免的误差（或称“噪音”），如图6.1 所示；如果数据序列无法同时满足某特定函数，如图6.2所示，那么，只能要求所做逼近函数最优地靠近样点，即向量与的误差或距离最小。按与之间误差最小原则作为“最优”标准构造的逼近函数，称为拟合函数。 图6.1 含有“噪声”的数据 图6.2 一条直线公路与多个景点 插值和拟合是构造逼近函数的两种方法。插值的目标是要插值函数尽量靠近离散点；拟合的目标是要离散点尽量靠近拟合函数。 向量与之间的误差或距离有各种不同的定义方法。例如： 用各点误差绝对值的和表示： 用各点误差按模的最大值表示： 用各点误差的平方和表示： 或（6.1） 其中称为均方误差，由于计算均方误差的最小值的方法容易实现而被广泛采用。按 均方误差达到极小构造拟合曲线的方法称为最小二乘法。本章主要讲述用最小二乘法构造拟合曲线的方法。 在运筹学、统计学、逼近论和控制论中，最小二乘法都是很重要的求解方法。例如，它是统计学中估计回归参数的最基本方法。 关于最小二乘法的发明权，在数学史的研究中尚未定论。有材料表明高斯和勒让德分别独立地提出这种方法。勒让德是在1805年第一次公开发表关于最小二乘法的论文，这时高斯指出，他早在1795年之前就使用了这种方法。但数学史研究者只找到了高斯约在1803年之前使用了这种方法的证据。 在实际问题中，怎样由测量的数据设计和确定“最贴近”的拟合曲线？关键在选择适当的拟合曲线类型，有时根据专业知识和工作经验即可确定拟合曲线类型；在对拟合曲线一无所知的情况下，不妨先绘制数据的粗略图形，或许从中观测出拟合曲线的类型；更一般地，对数据进行多种曲线类型的拟合，并计算均方误差，用数学实验的方法找出在最小二乘法意义下的误差最小的拟合函数。 例如，某风景区要在已有的景点之间修一条规格较高的主干路，景点与主干路之间由各具特色的支路联接。设景点的坐标为点列；设主干路为一条直线 ，即拟合函数是一条直线。通过计算均方误差最小值而确定直线方程（见图6.2）。 6.2线性拟合和二次拟合函数 线性拟合 给定一组数据，做拟合直线，均方误差为 （6.2） 是二元函数，的极小值要满足 matlab最小二乘法的非线性参数拟合 首先说一下匿名函数：在创建匿名函数时，Matlab记录了关于函数的信息，当使用句柄调用该函数的时候，Matlab不再进行搜索，而是立即执行该函数，极大提高了效率。所以首选匿名函数。具体拟合时可以使用的方法如下： 1 曲线拟合工具箱提供了很多拟合函数，使用简单 非线性拟合nlinfit函数 clear all; x1=[0.4292 0.4269 0.381 0.4015 0.4117 0.3017]'; x2=[0.00014 0.00059 0.0126 0.0061 0.00425 0.0443]'; x=[x1 x2]; y=[0.517 0.509 0.44 0.466 0.479 0.309]'; f=@(p,x) 2.350176*p(1)*(1-1/p(2))*(1-(1-x(:,1).^(1/p(2))).^p(2)).^2.*(x(:,1).^ (-1/p(2))-1).^(-p(2)).*x(:,1).^(-1/p(2)-0.5).*x(:,2); p0=[8 0.5]'; opt=optimset('TolFun',1e-3,'TolX',1e-3);% [p R]=nlinfit(x,y,f,p0,opt) 2 最小二乘法在曲线拟合中比较普遍。拟合的模型主要有 1.直线型 2.多项式型 3.分数函数型 4.指数函数型 5.对数线性型 6.高斯函数型 一般对于LS问题，通常利用反斜杠运算“\”、fminsearch或优化工具箱提供的极小化函数求解。在Matlab中，曲线拟合工具箱也提供了曲线拟合的图形界面操作。在命令提示符后键入：cftool，即可根据数据，选择适当的拟合模型。 “\”命令 1.假设要拟合的多项式是：y=a+b*x+c*x^ 2.首先建立设计矩阵X： X=[ones(size(x)) x x^2]; 执行： para=X\y para中包含了三个参数：para(1)=a;para(2)=b;para(3)=c; 这种方法对于系数是线性的模型也适应。 2.假设要拟合：y=a+b*exp(x)+cx*exp(x^2) 设计矩阵X为 X=[ones(size(x)) exp(x) x.*exp(x.^2)]; para=X\y 3.多重回归(乘积回归) 设要拟合：y=a+b*x+c*t，其中x和t是预测变量，y是响应变量。设计矩阵为X=[ones(size(x)) x t] %注意x,t大小相等！ para=X\y 最小二乘拟合 在物理实验中经常要观测两个有函数关系的物理量。根据两个量的许多组观测数据来确定它们的函数曲线，这就是实验数据处理中的曲线拟合问题。这类问题通常有两种情况：一种是两个观测量x 与y 之间的函数形式已知，但一些参数未知，需要确定未知参数的最佳估计值；另一种是x 与y 之间的函数形式还不知道，需要找出它们之间的经验公式。后一种情况常假设x 与y 之间的关系是一个待定的多项式，多项式系数就是待定的未知参数，从而可采用类似于前一种情况的处理方法。 一、最小二乘法原理 在两个观测量中，往往总有一个量精度比另一个高得多，为简单起见把精度较高的观测量看作没有误差，并把这个观测量选作x ，而把所有的误差只认为是y 的误差。设x 和y 的函数关系由理论公式 y ＝f （x ；c 1，c 2，……c m ） （0-0-1） 给出，其中c 1，c 2，……c m 是m 个要通过实验确定的参数。对于每组观测数据（x i ，y i ）i ＝1，2，……，N 。都对应于xy 平面上一个点。若不存在测量误差，则这些数据点都准确 落在理论曲线上。只要选取m 组测量值代入式（0-0-1），便得到方程组 y i ＝f （x ；c 1，c 2，……c m ） （0-0-2） 式中i ＝1，2，……，m.求m 个方程的联立解即得m 个参数的数值。显然N %最小二乘法线性拟合y=ax+b x=[0:0.2:4.0]; y=[0.02 0.375 0.73 1.06 1.335 1.595 1.84 2.045 2.23 2.38 2.485 2.565 2.625 2.67 2.705 2.73 2.76 2.78 2.79 2.81 2.82]; p=polyfit(x,y,1); z=polyval(p,x); plot(x,y,'+'); title(‘V-X曲线’) grid on xlabel(‘X/mm’) ylabel(‘V/v’) hold on x=[0:0.2:-4.0]; y=[0.01 -0.385 -0.8 -1.22 -1.64 -2.055 -2.455 -2.825 -3.165 -3.64 -3.74 -3.915 -4.06 -4.155 -4.235 -4.295 -4.345 -4.385 -4.415 -4.445 -4.47]; p=polyfit(x,y,1); z=polyval(p,x); plot(x,y,'+'); x=[0:0.2:4.0]; y=[0.02 0.375 0.73 1.06 1.335 1.595 1.84 2.045 2.23 2.38 2.485 2.565 2.625 2.67 2.705 2.73 2.76 2.78 2.79 2.81 2.82]; p=polyfit(x,y,1); x=[0:-0.2:-4.0]; y=[0.01 -0.385 -0.8 -1.22 -1.64 -2.055 -2.455 -2.825 -3.165 -3.64 -3.74 -3.915 -4.06 -4.155 -4.235 -4.295 -4.345 -4.385 -4.415 -4.445 -4.47]; p=polyfit(x,y,1); x=[0:0.2:4.0]; y=[0.02 0.375 0.73 1.06 1.335 1.595 1.84 2.045 2.23 2.38 2.485 2.565 2.625 2.67 2.705 2.73 2.76 2.78 2.79 2.81 2.82]; xmean=mean(x);ymean=mean(y); sumx2=(x-xmean)*(x-xmean)'; sumxy=(y-ymean)*(x-xmean)'; a=sumxy/sumx2;%解出直线斜率a(即传感器灵敏度) b=ymean-a*xmean;%解出直线截距b z=((a*(x(1,11))+b-(y(1,11)))/(y(1,11))); a b z figure plot(x,y,'+'); hold on 4.最小二乘法线性拟合 我们知道，用作图法求出直线的斜率a 和截据b ，可以确定这条直线所对应的经验公式，但用作图法拟合直线时，由于作图连线有较大的随意性，尤其在测量数据比较分散时，对同一组测量数据，不同的人去处理，所得结果有差异，因此是一种粗略的数据处理方法，求出的a 和b 误差较大。用最小二乘法拟合直线处理数据时,任何人去处理同一组数据，只要处理过程没有错误，得到的斜率a 和截据b 是唯一的。 最小二乘法就是将一组符合Y=a+bX 关系的测量数据，用计算的方法求出最佳的a 和b 。显然，关键是如何求出最佳的a 和b 。 (1) 求回归直线 设直线方程的表达式为： bx a y += (2-6-1) 要根据测量数据求出最佳的a 和b 。对满足线性关系的一组等精度测量数据（x i ，y i ），假定自变量x i 的误差可以忽略，则在同一x i 下，测量点y i 和直线上的点a+bx i 的偏差d i 如下： 111bx a y d --= 222bx a y d --= n n n bx a y d --= 显然最好测量点都在直线上（即d 1=d 2=……=d n =0），求出的a 和b 是最理想的，但测量点不可能都在直线上，这样只有考虑d 1、d 2、……、d n 为最小，也就是考虑d 1+d 2+……+d n 为最小，但因d 1、d 2、……、d n 有正有负，加起来可能相互抵消，因此不可取；而|d 1|+ |d 2|+……+ |d n |又不好解方程，因而不可行。现在采取一种等效方法：当d 12+d 22+……+d n 2 对a 和b 为最小时，d 1、d 2、……、d n 也为最小。取（d 12+d 22+……+d n 2 ）为最小值，求a 和b 的方法叫最小二乘法。 令 ∑== n i i d D 1 2＝21 1 2][i i n i n i i b a y d D --== ∑∑== (2-6-2) D 对a 和b 分别求一阶偏导数为： ][211∑∑==---=??n i i n i i x b na y a D ][21 2 11∑∑∑===---=??n i i n i i n i i i x b x a y x b D 最小二乘法主要用来求解两个具有线性相关关系的变量的回归方程，该方法适用于求解与线性回归方程相关的问题，如求解回归直线方程，并应用其分析预报变量的取值等．破解此类问题的关键点如下： ①析数据，分析相关数据，求得相关系数r，或利用散点图判断两变量之间是否存在线性相关关系，若呈非线性相关关系，则需要通过变量的变换转化构造线性相关关系． ②建模型．根据题意确定两个变量，结合数据分析的结果建立回归模型． ③求参数．利用回归直线y=bx+a的斜率和截距的最小二乘估计公式，求出b，a，的值．从而确定线性回归方程． ④求估值．将已知的解释变量的值代入线性回归方程y=bx+a中，即可求得y的预测值． 注意:回归直线方程的求解与应用中要注意两个方面：一是求解回归直线方程时，利用样本点的中心（x，y）必在回归直线上求解相关参数的值；二是回归直线方程的应用，利用回归直线方程求出的数值应是一个估计值，不是真实值． 经典例题： 下图是某地区2000年至2016年环境基础设施投资额（单位：亿元）的折线图． 为了预测该地区2018年的环境基础设施投资额，建立了与时间变量的两个线性回归模型．根据2000年至2016年的数据（时间变量的值依次为1,2.，……，17）建立模型①：y=+；根据2010年至2016年的数据（时间变量的值依次为）建立模型②：y=99+． （1）分别利用这两个模型，求该地区2018年的环境基础设施投资额的预测值； （2）你认为用哪个模型得到的预测值更可靠并说明理由． 思路分析：（1）两个回归直线方程中无参数，所以分别求自变量为2018时所对应的函数值，就得结果，（2）根据折线图知2000到2009，与2010到2016是两个有明显区别的直线，且2010到2016的增幅明显高于2000到2009，也高于模型1的增幅，因此所以用模型2更能较好得到2018的预测. 解析：（1）利用模型①，该地区2018年的环境基础设施投资额的预测值为 =–+×19=（亿元）． 利用模型②，该地区2018年的环境基础设施投资额的预测值为 =99+×9=（亿元）． （2）利用模型②得到的预测值更可靠．理由如下： （i）从折线图可以看出，2000年至2016年的数据对应的点没有随机散布在直线y=–+上下，这说明利用2000年至2016年的数据建立的线性模型①不能很好地描述环境基础设施投资额的变化趋势．2010年相对2009年的环境基础设施投资额有明显增加，2010年至2016年的数据对应的点位于一条直线的附近，这说明从2010年开始环境基础设施投资额的变化规律呈线性增长趋势，利 1 曲线拟合的线性最小二乘法及其MATLAB 程序 例7.2.1 给出一组数据点),(i i y x 列入表7–2中，试用线性最小二乘法求拟合曲线，并用（7.2），（7.3）和（7.4）式估计其误差，作出拟合曲线. 表7–2 例7.2.1的一组数据),(y x 解 （1）在MATLAB 工作窗口输入程序 >> x=[-2.5 -1.7 -1.1 -0.8 0 0.1 1.5 2.7 3.6]; y=[-192.9 -85.50 -36.15 -26.52 -9.10 -8.43 -13.12 6.50 68.04]; plot(x,y,'r*'), legend('实验数据(xi,yi)') xlabel('x'), ylabel('y'), title('例7.2.1的数据点(xi,yi)的散点图') 运行后屏幕显示数据的散点图（略）. （3）编写下列MA TLAB 程序计算)(x f 在),(i i y x 处的函数值，即输入程序 >> syms a1 a2 a3 a4 x=[-2.5 -1.7 -1.1 -0.8 0 0.1 1.5 2.7 3.6]; fi=a1.*x.^3+ a2.*x.^2+ a3.*x+ a4 运行后屏幕显示关于a 1,a 2, a 3和a 4的线性方程组 fi =[ -125/8*a1+25/4*a2-5/2*a3+a4, -4913/1000*a1+289/100*a2-17/10*a3+a4, -1331/1000*a1+121/100*a2-11/10*a3+a4, -64/125*a1+16/25*a2-4/5*a3+a4, a4, 1/1000*a1+1/100*a2+1/10*a3+a4, 27/8*a1+9/4*a2+3/2*a3+a4, 19683/1000*a1+729/100*a2+27/10*a3+a4, 5832/125*a1+324/25*a2+18/5*a3+a4] 编写构造误差平方和的MATLAB 程序 >> y=[-192.9 -85.50 -36.15 -26.52 -9.10 -8.43 -13.12 6.50 68.04]; fi=[-125/8*a1+25/4*a2-5/2*a3+a4, -4913/1000*a1+289/100*a2-17/10*a3+a4, -1331/1000*a1+121/100*a2-11/10*a3+a4, -64/125*a1+16/25*a2-4/5*a3+a4, a4, 1/1000*a1+1/100*a2+1/10*a3+a4, 27/8*a1+9/4*a2+3/2*a3+a4, 19683/1000*a1+729/100*a2+27/10*a3+a4, 5832/125*a1+324/25*a2+18/5*a3+a4]; fy=fi-y; fy2=fy.^2; J=sum(fy.^2) 运行后屏幕显示误差平方和如下 J= (-125/8*a1+25/4*a2-5/2*a3+a4+1929/10)^2+(-4913/1000*a1+2 89/100*a2-17/10*a3+a4+171/2)^2+(-1331/1000*a1+121/100*a2-11/10*a3+a4+723/20)^2+(-64/125*a1+16/25*a2-4/5*a3+a4+663/25)^2+(a4+91/10)^2+(1/1000*a1+1/100*a2+1/10*a3+a4+843/100)^2+(27/8*a1+9/4*a 2+3/2*a3+a4+328/25)^2+(19683/1000*a1+729/100*a2+27/10*a3+a4-13/ 2)^2+(5832/125*a1+324/25*a2+18/5*a3+a4-1701/25)^2 为求4321,,,a a a a 使J 达到最小，只需利用极值的必要条件0=??k a J )4,3,2,1(=k ， 最小二乘法 在我们研究两个变量（x,y ）之间的相互关系时，通常可以得到一系列成对的数据（x1,y1、x2,y2……xm,ym ）；将这些数据描绘在x —y 直角坐标系中，若发现这些点在一条直线附近，可以令这条直线方程如（式1—1）。 01=a y a x +?计 （式1—1） 其中，0a 、1a 位任意实数。 位建立直线方程就要确定0a 和1a ，应用最小二乘法原理，将实测值i y 与利用（式1—1）计算值y 计的离差的平方和[2()i y y ∑-计]最小为优化判据。 令2=()i y y ?∑-计 （式1—2） 将（式1—1）代入（式1—2）中得： 201=(a )i y a x ?∑--? （式1—3） 当2()i y y ∑-计最小时，可用函数?对0a 、1a 求偏导，令这两个偏导数等 于零。 0110 2()(1)0m i i i y a a x a ? =?=∑--??-=? （式1—4） 0111 2()()0m i i i i y a a x x a ? =?=∑--??-=? （式1—5） 亦即： 011 1 m m i i i i m a a x y ==?+?∑=∑ （式1—6） 2 011 1 1 ()m m m i i i i i i i a x a x x y ===?∑+?∑?=∑? （式1—7） 得到的两个关于0a 、1a 为未知数的两个方程组，解这两个方程组得出： 1 1 01m m i i i i y x a a m m === -? ∑∑ （式1—8） 2211 1 1 1 1 [()/]/[()/]m m m m m i i i i i i i i i i i a x y x y m x x m ======?-?-∑∑∑∑∑ （式1—9） 这时把0a 、1a 代入（式1—1）中，此时的（式1—1）就是我们回归的元线性方程，即数学模型。 在回归过程中，回归的关联式是不可能全部通过每个回归数据点 1122(,,,)m m x y x y x y 、，为了判断关联式的好坏，可借助相关系数 R ， 统计量F ，剩余标准偏差S 进行判断：R 越趋近于1越好；F 越的绝对值越大越好；S 越趋近于0越好。 1 1 1 [(/)(/)]/m m m i i i i i i i R x y m x m y m ====?-??∑∑∑ （式1—10） 在（式1—10）中，m 位样本容量，即实验次数；i i x y 、分别为任意一组试验x y 、的数值。 %后面的为注释,红色部分代码需要根据实际情况更改 %最小二乘法线性拟合y=ax+b x=[0.5,1,1.5,2,2.5,3,3.5,4,4.5,5];%自变量 y=[191,321,442,565,686,819,930,1032,1153,1252];%因变量 xmean=mean(x);ymean=mean(y); sumx2=(x-xmean)*(x-xmean)'; sumxy=(y-ymean)*(x-xmean)'; a=sumxy/sumx2;%解出直线斜率a(即传感器灵敏度) b=ymean-a*xmean;%解出直线截距b z=((a*(x(1,10))+b-(y(1,10)))/(y(1,10)));%“10”是自变量的个数，z为非线性误差(即线性度) a b z %作图,先把原始数据点用蓝色"十"字描出来 figure plot(x,y,'+'); hold on % 用红色绘制拟合出的直线 px=linspace(0,6,50);%(linspace语法(从横坐标负轴起点0画到横坐标正轴终点6，50等分精度)) py=a*px+b; plot(px,py,'r'); 运行结果： a =236.9818 b =87.4000 另一种简单一点的方法： %最小二乘法线性拟合y=ax+b x=[0.5,1,1.5,2,2.5,3,3.5,4,4.5,5];%自变量 y=[191,321,442,565,686,819,930,1032,1153,1252];%因变量p=polyfit(x,y,1); p 运行结果： p = 236.9818 87.4000 最小二乘法线性拟合 函数masdap_meas_lsq_fit_data 的功能就是对采集到的三组样本传感器位置数据进行最小二乘法线性拟合。其计算公式如下： 设采集到一组N 个(,)i i x y 样本数据，对这组数据做y ax b =+线性拟合，求出拟合(,)a b 值。 由每个样本数据做误差求和计算：2 [()]i i err y ax b = -+∑，err 值由(,)a b 值 确定，因此，误差和分别做偏微分计算，当每个偏微分值为0时，误差和最小。故有： ()()2 2 2[()] 20 [()] 20 i i i i i i i i i i y ax b err x y a x b x a a y ax b err y a x N b b b ?-+?==---=???-+?= =---=??∑∑∑∑∑∑∑ 进而解出 ()() 22222i i i i i i i i i i i i i N x y x y a N x x y x x x y b N x x - = --= -∑∑∑∑∑∑∑∑∑∑∑ 函数masdap_meas_lsq_fit_data 最后返回(,)a b 值。 基于最小二乘法作圆回归拟合 在一维短触故障拟合计算中，需要对一组数据点作圆拟合，在此介绍基于最小二乘法的圆回归算法。 已知条件：平面上一组点坐标； 求解目标：回归圆的半径R 和圆心坐标(),c c x y 。 由圆曲线公式的两种形式： ()()2 2 2 2 2 i c i c i i i i x x y x R x y ax by c ?-+-=??++++=?? ，即知：22c c a x b y R ?=-??=-??= ?? 根据最小二乘法， C++最小二乘法拟合直线 有一堆的X, Y值需要拟合直线，如下 X: x1, x2, ...... x n Y: y1, y2, …… y n 如何得到拟合成y = kx + b的等式呢？用最小二乘法可以实现。经过计算的k和b的公式如下 k= ， b =-k C++ 代码实现如下 /* 最小二乘法y = kx + b X，Y数据分别存在数组中 */ #include double sumX = 0, sumY = 0, s_xy = 0, s_xx = 0; for(int i = 0; i < nX; i++) { sumX += srcX[i]; sumY += srcY[i]; s_xy += srcX[i] * srcY[i]; s_xx += srcX[i] * srcX[i]; } double _x = sumX / nX; double _y = sumY / nX; LKB.k = (s_xy - nX * _x * _y) / (s_xx - nX * _x * _x); LKB.b = _y - LKB.k * _x; return LKB; } int main() { //y = 3x + 5 double nXCrd[10] = {1.0, 2.0, 3.3, 4.0, 5.4, 6.0, 7.0, 8.0, 9.0, 10.0}; double nYValue[10] = {8.0, 11.0, 14.0, 17.3, 20.0, 23.7, 26.0, 29.0, 32.0, 35.0}; Linekb lkb = CalcLine(nXCrd, nYValue, 10); cout << "该直线是：" << "y = " << lkb.k << "X + " << lkb.b << endl; cout << endl; system("pause"); return 0; } 运行结果如下 与原直线y = 3x+5 相比误差很小。 最小二乘法拟合直线 程序： function linear_fit %最小二乘法拟合直线clear; clc; prompt={'Name of data file'}; title='Linear_fit'; lineNo=2; def={'Linearfit.dat'}; outval=inputdlg(prompt,title,lineNo,def); if isempty(outval)==1,return,end filename=outval{1}; data=load(filename); x=data(:,1); y=data(:,2); [a,b]=linearfit(x,y); yy=a+b*x; func=['y=',num2str(a),'+',num2str(b),'*x']; plot(x,y,'bx','markersize',10); hold on plot(x,yy,'r-','linewidth',1.5) xlabel('T(^oC)'); ylabel('R(\Omega)'); text(x(2),yy(length(yy)-1),func) function [a,b]=linearfit(x,y) xy=x.*y; x2=x.^2; x_mean=mean(x); y_mean=mean(y); xy_mean=mean(xy); x2_mean=mean(x2); b=(xy_mean-x_mean*y_mean)/(x2_mean-x_mean^2); a=y_mean-b*x_mean; return 运行情况： 按“run”运行时，弹出窗口 注：在Linearfit.dat文件中数据为： 0 4.38 10 4.56 20 4.70 30 4.86 40 5.08 50 5.24 60 5.40 70 5.58 80 5.74 90 5.96 100 6.06 110 6.26 120 6.44 点击图框中的“OK”，在“command window”中输出结果为：130 6.58 140 6.74 150 6.94 160 7.12 170 7.28 180 7.42 190 7.60 200 7.78 最小二乘法在曲线拟合中比较普遍。拟合的模型主要有 1.直线型 2.多项式型 3.分数函数型 4.指数函数型 5.对数线性型 6.高斯函数型 ...... 一般对于LS问题，通常利用反斜杠运算“\”、fminsearch或优化工具箱提供的极小化函数求解。在Matlab 中，曲线拟合工具箱也提供了曲线拟合的图形界面操作。在命令提示符后键入：cftool，即可根据数据，选择适当的拟合模型。 “\”命令 1.假设要拟合的多项式是：y=a+b*x+c*x^ 2.首先建立设计矩阵X： X=[ones(size(x)) x x^2]; 执行： para=X\y para中包含了三个参数：para(1)=a;para(2)=b;para(3)=c; 这种方法对于系数是线性的模型也适应。 2.假设要拟合：y=a+b*exp(x)+cx*exp(x^2) 设计矩阵X为 X=[ones(size(x)) exp(x) x.*exp(x.^2)]; para=X\y 3.多重回归(乘积回归) 设要拟合：y=a+b*x+c*t，其中x和t是预测变量，y是响应变量。设计矩阵为 X=[ones(size(x)) x t] %注意x,t大小相等！ para=X\y polyfit函数 polyfit函数不需要输入设计矩阵，在参数估计中，polyfit会根据输入的数据生成设计矩阵。 1.假设要拟合的多项式是：y=a+b*x+c*x^2 p=polyfit(x,y,2) 然后可以使用polyval在t处预测： y_hat=polyval(p,t) polyfit函数可以给出置信区间。 [p S]=polyfit(x,y,2) %S中包含了标准差 [y_fit,delta] = polyval(p,t,S) %按照拟合模型在t处预测 在每个t处的95%CI为：*delta, y_fit+*delta) 2.指数模型也适应 假设要拟合：y = a+b*exp(x)+c*exp(x.2) p=polyfit(x,log(y),2) fminsearch函数 fminsearch是优化工具箱的极小化函数。LS问题的基本思想就是残差的平方和(一种范数，由此，LS产生了许多应用)最小，因此可以利用fminsearch函数进行曲线拟合。 假设要拟合：y = a+b*exp(x)+c*exp(x.2) 首先建立函数，可以通过m文件或函数句柄建立： x=[......]'; y=[......]'; f=@(p,x) p(1)+p(2)*exp(x)+p(3)*exp(x.2) %注意向量化:p(1)=a;p(2)=b;p(3)=c; %可以根据需要选择是否优化参数 %opt=options() p0=ones(3,1);%初值数值计算_第6章 曲线拟合的最小二乘法
matlab最小二乘法的非线性参数拟合
最小二乘法拟合原理
最小二乘法线性拟合y
最小二乘法拟合
用最小二乘法求线性回归方程
曲线拟合_线性最小二乘法及其MATLAB程序
直线拟合计算最小二乘法
用Matlab进行最小二乘法线性拟合求传感器非线性误差灵敏度
最小二乘法线性拟合
C++最小二乘法直线拟合原理与代码
MATLAB最小二乘法拟合直线的程序
Matlab最小二乘法曲线拟合