第3章曲线拟合的最小二乘法
（其中n<m）中寻求一个函数 {0 ( x),1 ( x),,n ( x)}
o * 1 1 * n n
( x) a ( x) a ( x) a ( x)
使φ*(x)满足条件
2 ] i y ) ix ( [ nim 2 ] i y ) ix ( * [ 1 i ) x ( 1 i
满足方程组
S 0 (k 0,1,2, n) ak
即
i 1
m
k
( xi )a0 0 ( xi ) a1 1 ( xi ) ... a n n ( xi ) yi 0
7
亦即
a0 k ( xi )0 ( xi ) a1 k ( xi )1 ( xi ) ... an k ( xi ) n ( xi ) k ( xi ) yi
13
所得经验公式能否较好地反映客观规律,还需通过实践来检验.由(3.6) 式算出的函数值(称为拟合值)
yi 95.3524 2.2337 xi (i 1,2,, m)
与实际值有一定的偏差。由表3-2可以看出，偏差的平方和 ，其平方根（称为均方误差）
~
i 1
6
2 i
26.6704
(3.2)
8
方程组(3.2)称为法方程组。当 0 ( x), 1 ( x),..., n ( x) 线性无关时，可以 证明它有唯一解
* * * a0 a0 , a1 a1 ,..., a n a n
并且相应的函数(2.4)就是满足条件(2.5)的最小二乘解。 综上分析可得 定理1 对任意给定的一组实验数据 ( xi , yi )(i 1,2,, m) (其中 x i互异), 在函数类 0 ( x),1 ( x),...n ( x)(n m) ( 0 , 1 ,... n 线性无关）中,存在唯 一的函数
i ( xi ) yi (i 1,2,, m)
都严格地趋于零。但是，为了使近似曲线尽量反映所给数据点的变化趋 势，要求∣δi∣都较小还是需要的。达到这一目标的途径很多，常见的 有： (1)选取φ（x），使偏差绝对值之和最小，即
i 1
m
i
( xi ) yi min
2 i
5.164 在一定程度上反映了所得经
验公式的好坏。同时，由表3-2还可以看出，最大偏差
max i 3.22 .
1i 6
如果认为这样的误差都允许的话，就可以用经验公式(3.6)来计算含铝 量在36.9~87.5%之间的溶解度。否则，就要用改变函数类型或者增加实验 数据等方法来建立新的经验公式。 例 2 在某化学放应里，测得生成物的浓度y%与时间t的数据表见表3-3， 是用最小二乘法建立t与y的经验公式 。 解 将已知数据点 (t i , yi)(i 1,2,,16)描述在坐标纸上，见图3-2。由图3-2 及问题的物理背景可以看出，拟合曲线
i 1
m
(2.1)
4
(2)
选取φ（x），使偏差最大绝对值最小，即
max i max ( xi ) yi min
1i m 1i m
(2.2)
(3)选取φ（x），使偏差平方和最小，即
2 [ ( xi ) yi ] min i 1 2 i i 1 m m
6 6 x i i 1
6 xi a y i i 1 6i 1 6 b xi2 xi y i i 1 i 1
6
经过计算（表3-1）即得确定待定系数a，b的法方程组
-0.87 0.76
283
-0.02 0.0004
292
-1.20 1.44
yy
i
-3.22
i
2 i
2 i
10.37
15
表 3-3
t y t y 1 4.00 9 10.00 2 6.40 10 10.20 3 8.00 11 10.32 4 8.80 12 5 9.22 13 6 9.50 14 7 9.70 15 10.58 8 9.86 16 10.60
x
i 1 m i 1
m
i
xi2 .... xin 1
i 1 m
m m ... xin a y i i 0 m1 i 1 m a xi y i n 1 1 ... xi i 1 i 1 ... ... a m m n xin y i ... xi2 n i 1 i 1
写成矩阵形式即
a ( , f ) ( 0 , 0 ) ( 0 ), 1` ) ... ( 0` , n ) 0 0 a1 ( 1 , f ) ( 1 , 0 ) ( 1 , 1 ) ... ( 1 , n ) ... ... ... ( , ) ( , ) ... ( , ) a n ( n , f ) n 1 n n n 0
(2.3)
为了方便计算、分析与应用，我们较多地根据“偏差平方和最小”的 原则（称为最小二乘原则）来选取拟合曲线y=φ（x） 按最小二乘原则选择拟合曲线的方法，称为 最小二乘法。 本章要着重讨论的线性最小二乘问题，其基本提法是：对于给定数据 …
xm ym
5
要求在某个函数类
6
m
m
§3
最小二乘解的求法
* * * (a0 , a1 ,, an ) 是 由最小二乘解（2.4）应满足条件（2.5）知，点
多元函数
S (a0 , a1 ,, a n ) a k k ( xi ) yi i 1 k o
m n
2
的极小点，从而
* * * a 0 , a1 , , a n
10.42 10.50 10.55
（1） 曲线随着t的增加而上升，但上升速度由快到慢。 y 10 5
0
4
y (x) 应具下列特点：
14
表 3-2
i 1 36.9
i
2 46.7 199.67
3 63.7 237.64
4 77.8 269.13
5 84.0 282.98
6 87.5 290.80
x
~
y
177.78
i
y
~ i
181
i
197
2.67 7.13
235
2.64 6.97 26.6704
270
* * * a0 0 ( x) a1*1 ( x) ... a n n ( x)
* 使得关系式(2.5)成立，并且其系数 ai (i 0,1,..., n) 可以通过解方程组(3.2) 得到。
作为曲线拟合的一种常用的情况，若讨论的是代数多项式拟合，即取
0 ( x) 1, 1 ( x) x,..., n ( x) x n
i1 i1 i1 i1
m
m
m
m
若对任意的函数h(x)和g(x) ，引入记号
(h, g ) h( xi ) g ( xi )
i 1
m
(3.1)
则上述方程组可以表示成
a0 (k ,0 ) a1 (k ,1 ) ... an (k ,n ) (k , f )(k 0,1,, n)
(3.3)
下面，通过两个具体的例子来说明用最小二乘法解决实际的问题的具 体步骤与某些技巧 。 10
例1
某种铝合金的含铝量为 x% ，其熔解温度为 y 经验公式。
c，由实验测得 x 与 y 的数据如表3-1左边三列。使用最小二乘法建立 x 与 y之间的
0
解
根据前面的讨论，解决问题的过程如下： （1） 将表中给出的数据点 ( xi , yi )(i 1,2,,6) 描绘在坐标纸上， 如图3-1所示。 y 300 260 220 180 30 50 70 90 x
6a 396.9b 1458 396.6a 28365.28b 101176.3
（4）解法方程(3.5)得 a=95.3524 , b=2.2337 代入(3.4)即得经验公式
(3.5)
y=95.3524+2.2337x
(3.6)
12
表 3-1
i
1
x
i
y
i
x
2 i
x y
i
i
36.9
181
1361.61
6678.9
2
3 4
46.7
63.7 77.8
197
235 270
2180.89
4057.69 6052.84
9199.9
14969.5 21006.0
5
6
84.0
87.5 396.6
283
292 1458
7056.00
7656.25 28365.28
23772.0
25550.0 101176.3
则由(3.1)知
9
( j , k ) xi x xijk j, k 0,1,, n
m j i 1 k i m i 1
( k , f ) xik yi (k 0,1,, n)
i 1
m
故相应的法方程组为
m m xi i 1 ... m n xi i 1
`
图 3-1
（2） 确定拟合曲线的形式。由图3-1可以看出，六个点位于一条 直线的附近，故可以选用线性函数（直线）来拟合这组实验 数据，即令
2.6-曲线拟合的最小二乘法
第2页，共29页。
由观测得到的实验数据不可避免地带有误差，甚至是
较大的误差，此时要求近似函数P(x)过全部已知点，
相当于保留全部数据误差，所以使用插值法不合理。 对逼近函数P(x)不必要求过给定的点，只要求总体上
尽可能小，即要求P(x)尽可能反映给定数据点的总体 趋势，在某种意义（要求或标准）下与函数最“逼近”。
第1页，共29页。
问题
数值计算中经常要计算函数值，如计算机中计算基本 初等函数及其他特殊函数；(连续情形)
当函数只在有限点集上给定函数值，要在包含该点集
的区间上用公式给出函数的简单表达式.(离散情形)
这些都涉及到在已知区间上用简单函数逼近已 知复杂函数或未知函数的问题，这就是函数逼
近问题
插值方法就是一种逼近，要求在给定的节点处P(x) 与 f (x)相等（甚至导数值相等），因此在节点附近，逼近效
(1
,n
)
a1
(
f
,
1
)
(n
,
n
)
an
( f ,n )
称为法方程. 但是0 (x), ,n (x)在C[a, b]上线性无关，
不能保证其系数矩阵非奇异.
例如，0 sin x,1 sin 2x, x [0, 2 ], xk k , k 0,1, 2.
G
(0 ,0 )
(1
,
t 9 10 11 12 13 14 15 16
y 10.0 10.2 10.3 10.4 10.5 10.5 10.5 10.6
0
0
2
2
0
5
8
0
第20页，共29页。
计算方法 第三章曲线拟合的最小二乘法20191103
§2 多项式拟合函数
例3.1 根据如下离散数据拟合曲线并估计误差
x 1 23 4 6 7 8 y 2 36 7 5 3 2
解: step1: 描点
7
*
step2: 从图形可以看出拟
6 5
*
合曲线为一条抛物线：
4
y c0 c1 x c2 x2
3 2 1
* *
* * *
step3: 根据基函数给出法
法
18
定理 法方程的解是存在且唯一的。
证： 法方程组的系数矩阵为
(0 ,0 ) (1 ,0 )
G
(0
,1
)
(1 ,1 )
(0 ,n ) (1 ,n )
(n ,0 )
(
n
,
1
)
(n ,n )
因为0( x),1( x), ...,n( x)在[a, b]上线性无关，
所以 G 0,故法方程 GC F 的解存在且唯一。
第三章 曲线拟合的最小二乘法
2
最小二乘拟合曲线
第三章 曲线拟合的最小二乘
2021/6/21
法
3
三次样条函数插值曲线
第三章 曲线拟合的最小二乘
2021/6/21
法
4
Lagrange插值曲线
第三章 曲线拟合的最小二乘
2021/6/21
法
5
一、数据拟合的最小二乘法的思想
已知离散数据： ( xi , yi ), i=0,1,2,…,m ,假设我们用函
便得到最小二乘拟合曲线
n
* ( x) a*j j ( x) j0
为了便于求解，我们再对法方程组的导出作进一步分析。
第三章 曲线拟合的最小二乘
曲线拟合 最小二乘法
曲线拟合最小二乘法
曲线拟合是指通过已知数据点来推导出一条函数曲线，使得该曲线尽
可能地贴近这些数据点。
而最小二乘法（Least Squares Method）是求解
这种拟合问题的一种常用方法。
最小二乘法的核心思想是尽量减小误差平方和。
假设已知的数据点为$(x_i, y_i)$，曲线函数为 $y=f(x)$，我们希望找到一组参数 $\theta$，使得 $f(x_i;\theta)$ 与 $y_i$ 的差距最小，即：
$$\min_{\theta}\sum_{i=1}^n [y_i - f(x_i;\theta)]^2$$。
这个式子被称为目标函数，也叫做残差平方和（RSS）。
通过对目标
函数进行求导，可以得到最优参数 $\theta^*$ 的解析解：
$$\theta^* = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T
\mathbf{y}$$。
其中，$\mathbf{X}$ 是一个 $n \times p$ 的矩阵，每一行代表一
个数据点的特征向量，$p$ 是曲线函数的参数个数。
$\mathbf{y}$ 是一
个 $n \times 1$ 的列向量，代表数据点的真实输出值。
最小二乘法在实际应用中有很广泛的应用。
例如，可以用它来构建多
项式回归模型、高斯过程回归模型等。
此外，在机器学习领域，最小二乘
法也被用于求解线性回归模型、岭回归模型等。
曲线拟合的最小二乘法实验
Lab04．曲线拟合的最小二乘法实验【实验目的和要求】1．让学生体验曲线拟合的最小二乘法，加深对曲线拟合的最小二乘法的理解；2．掌握函数ployfit和函数lsqcurvefit功能和使用方法，分别用这两个函数进行多项式拟合和非多项式拟合。
【实验内容】1．在Matlab命令窗口，用help命令查询函数polyfit和函数lsqcurvefit 功能和使用方法。
2．用多项式y=x3-6x2+5x-3，产生一组数据(xi，yi)(i=1，2，…，n)，再在yi上添加随机干扰(可用rand产生(0，1)均匀分布随机数，或用randn产生N(0，1)均匀分布随机数)，然后对xi和添加了随机干扰的yi用Matlab提供的函数ployfit用3次多项式拟合，将结果与原系数比较。
再作2或4次多项式拟合，分析所得结果。
3．用电压V=10伏的电池给电容器充电，电容器上t时刻的电压为，其中V0是电容器的初始电压，τ是充电常数。
对于下面的一组t，v数据，用Matlab提供的函数lsqcurvefit确定V0和τ。
t(秒) 0.5 1 2 3 4 5 7 9v(伏) 6.36 6.48 7.26 8.22 8.66 8.99 9.43 9.63 【实验仪器与软件】1．CPU主频在1GHz以上，内存在128Mb以上的PC；2．Matlab 6.0及以上版本。
实验讲评：实验成绩：评阅教师：200 年月日问题及算法分析：1、利用help命令，在MATLAB中查找polyfit和lsqcurvefit函数的用法。
2、在一组数据(xi，yi)(i=1，2，…，n)上，对yi上添加随机干扰，运用多项式拟合函数，对数据进行拟合（分别用2次，3次，4次拟合），分析拟合的效果。
3、根据t和V的关系画散点图，再根据给定的函数运用最小二乘拟合函数，确定其相应参数。
第一题：（1）>> help polyfitPOLYFIT Fit polynomial to data.P = POLYFIT(X,Y,N) finds the coefficients of a polynomial P(X) ofdegree N that fits the data Y best in a least-squares sense. P is arow vector of length N+1 containing the polynomial coefficients indescending powers, P(1)*X^N + P(2)*X^(N-1) +...+ P(N)*X + P(N+1).[P,S] = POLYFIT(X,Y,N) returns the polynomial coefficients P and astructure S for use with POLYVAL to obtain error estimates forpredictions. S contains fields for the triangular factor (R) from a QRdecomposition of the Vandermonde matrix of X, the degrees of freedom(df), and the norm of the residuals (normr). If the data Y are random,an estimate of the covariance matrix of P is(Rinv*Rinv')*normr^2/df,where Rinv is the inverse of R.[P,S,MU] = POLYFIT(X,Y,N) finds the coefficients of a polynomial inXHAT = (X-MU(1))/MU(2) where MU(1) = MEAN(X) and MU(2) = STD(X). Thiscentering and scaling transformation improves the numerical propertiesof both the polynomial and the fitting algorithm.Warning messages result if N is >= length(X), if X has repeated, ornearly repeated, points, or if X might need centering and scaling.Class support for inputs X,Y:float: double, singleSee also poly, polyval, roots.Reference page in Help browserdoc polyfit>>（2）>> help lsqcurvefitLSQCURVEFIT solves non-linear least squares problems.LSQCURVEFIT attempts to solve problems of the form:min sum {(FUN(X,XDATA)-YDATA).^2} where X, XDATA, YDATA and the valuesX returned by FUN can be vectors ormatrices.X=LSQCURVEFIT(FUN,X0,XDATA,YDATA) starts at X0 and finds coefficients Xto best fit the nonlinear functions in FUN to the data YDATA (in theleast-squares sense). FUN accepts inputs X and XDATA and returns avector (or matrix) of function values F, where F is the same size asYDATA, evaluated at X and XDATA. NOTE: FUN should returnFUN(X,XDATA)and not the sum-of-squares sum((FUN(X,XDATA)-YDATA).^2).((FUN(X,XDATA)-YDATA) is squared and summed implicitly in thealgorithm.)X=LSQCURVEFIT(FUN,X0,XDATA,YDATA,LB,UB) defines a set of lower andupper bounds on the design variables, X, so that the solution is in therange LB <= X <= UB. Use empty matrices for LB and UB if no boundsexist. Set LB(i) = -Inf if X(i) is unbounded below; set UB(i) = Inf ifX(i) is unbounded above.X=LSQCURVEFIT(FUN,X0,XDATA,YDATA,LB,UB,OPTIONS) minimizes with thedefault parameters replaced by values in the structure OPTIONS, anargument created with the OPTIMSET function. See OPTIMSET for details.Used options are Display, TolX, TolFun, DerivativeCheck, Diagnostics,FunValCheck, Jacobian, JacobMult, JacobPattern, LineSearchType,LevenbergMarquardt, MaxFunEvals, MaxIter, DiffMinChange andDiffMaxChange, LargeScale, MaxPCGIter, PrecondBandWidth, TolPCG,OutputFcn, and TypicalX. Use the Jacobian option to specify that FUNalso returns a second output argument J that is the Jacobian matrix atthe point X. If FUN returns a vector F of m components when X has length n, then J is an m-by-n matrix where J(i,j) is the partialderivative of F(i) with respect to x(j). (Note that the Jacobian J isthe transpose of the gradient of F.)[X,RESNORM]=LSQCURVEFIT(FUN,X0,XDATA,YDATA,...) returns the valueof thesquared 2-norm of the residual at X: sum {(FUN(X,XDATA)-YDATA).^2}.[X,RESNORM,RESIDUAL]=LSQCURVEFIT(FUN,X0,...) returns the value of residual,FUN(X,XDATA)-YDATA, at the solution X.[X,RESNORM,RESIDUAL,EXITFLAG]=LSQCURVEFIT(FUN,X0,XDATA,YDATA,...) returnsan EXITFLAG that describes the exit condition of LSQCURVEFIT. Possiblevalues of EXITFLAG and the corresponding exit conditions are1 LSQCURVEFIT converged to a solution X.2 Change in X smaller than the specified tolerance.3 Change in the residual smaller than the specified tolerance.4 Magnitude of search direction smaller than the specified tolerance.0 Maximum number of function evaluations or of iterations reached.-1 Algorithm terminated by the output function.-2 Bounds are inconsistent.-4 Line search cannot sufficiently decrease the residual alongthecurrent search direction.[X,RESNORM,RESIDUAL,EXITFLAG,OUTPUT]=LSQCURVEFIT(FUN,X0,XDATA,YDATA ,...)returns a structure OUTPUT with the number of iterations taken inOUTPUT.iterations, the number of function evaluations inOUTPUT.funcCount,the algorithm used in OUTPUT.algorithm, the number of CG iterations (ifused) in OUTPUT.cgiterations, the first-order optimality (if used)inOUTPUT.firstorderopt, and the exit message in OUTPUT.message.[X,RESNORM,RESIDUAL,EXITFLAG,OUTPUT,LAMBDA]=LSQCURVEFIT(FUN,X0,XDAT A,YDATA,...)returns the set of Lagrangian multipliers, LAMBDA, at the solution:LAMBDA.lower for LB and LAMBDA.upper for UB.[X,RESNORM,RESIDUAL,EXITFLAG,OUTPUT,LAMBDA,JACOBIAN]=LSQCURVEFIT(FU N,X0,XDATA,YDATA,...)returns the Jacobian of FUN at X.ExamplesFUN can be specified using @:xdata = [5;4;6]; % example xdataydata = 3*sin([5;4;6])+6; % example ydatax = lsqcurvefit(@myfun, [2 7], xdata, ydata)where myfun is a MATLAB function such as:function F = myfun(x,xdata)F = x(1)*sin(xdata)+x(2);FUN can also be an anonymous function:x = lsqcurvefit(@(x,xdata) x(1)*sin(xdata)+x(2),[2 7],xdata,ydata)If FUN is parameterized, you can use anonymous functions to capture theproblem-dependent parameters. Suppose you want to solve the curve-fittingproblem given in the function myfun, which is parameterized by its secondargument c. Here myfun is an M-file function such asfunction F = myfun(x,xdata,c)F = x(1)*exp(c*xdata)+x(2);To solve the curve-fitting problem for a specific value of c, first assignthe value to c. Then create a two-argument anonymous function that capturesthat value of c and calls myfun with three arguments. Finally, pass thisanonymous function to LSQCURVEFIT:xdata = [3; 1; 4]; % example xdataydata = 6*exp(-1.5*xdata)+3; % example ydatac = -1.5; % define parameterx = lsqcurvefit(@(x,xdata) myfun(x,xdata,c),[5;1],xdata,ydata) See also optimset, lsqnonlin, fsolve, @, inline.Reference page in Help browserdoc lsqcurvefit>>第二题：1 三次线性拟合clear allx=0:0.5:5;y=x.^3-6*x.^2+5*x-3;y1=y;for i=1:length(y)y1(i)=y1(i)+rand;enda=polyfit(x,y1,3);b=polyval(a,x);plot(x,y,'*',x,b),aa =1.0121 -6.1033 5.1933 -2.4782② 二次线性拟合clear allx=0:0.5:20;y=x.^3-6*x.^2+5*x-3;y1=y;for i=1:length(y)y1(i)=y1(i)+rand;enda=polyfit(x,y1,2);b=polyval(a,x);plot(x,y,'*',x,b),aa =23.9982 -232.0179 367.9756③ 四次线性拟合clear allx=0:0.5:20;y=x.^3-6*x.^2+5*x-3;y1=y;for j=1:length(y)y1(j)=y1(j)+rand;enda=polyfit(x,y1,4);b=polyval(a,x);plot(x,y,'*',x,b),aa =-0.0001 1.0038 -6.0561 5.2890 -2.8249 >>第三题：1 拟合曲线为：f(x)=定义函数：function f=fun(a,x)f=a(1)-(a(1)-a(2))*exp(-a(3)*x);主程序：clear allclcx=[0.5 1 2 3 4 5 7 9];y=[6.36 6.48 7.26 8.22 8.66 8.99 9.43 9.63];a0=[1 1 1];a=lsqcurvefit('fun',a0,x,y);y1=a(1)-(a(1)-a(2))*exp(-a(3)*x);plot(x,y,'r*',x,y1,'b')V1=a(2)tei=1/a(3)Optimization terminated: relative function value changing by less than OPTIONS.TolFun.。
数值分析3-4(最小二乘法)ppt课件
i0
j0
f (xi )]k (xi )
展开
n
m
m
a j ( xi ) j ( xi )k ( xi ) ( xi ) f ( xi )k ( xi )
j0 i0
i0
法方程
解方程组
有唯一解ak ak (k 0,1,..., n)
则S ( x) a00 ( x) a11( x) ... ann ( x)
本例经过计算可得
max i
|
(1) i
|
0.568
103
, max i
|
(2) i
|
0.277
103
而均方误差为
m
m
(
(1) i
)2
1.19 103 ,
(
( i
2)
)
2
0.34 103
i 1
i 1
由此可知第二个模型较好。
结论：
选择拟合曲线的数学模型，并不一定开始 就能选好，往往需要通过分析若干模型后， 经过实际计算才能选到较好的模型，如本 例的指数模型就比双曲线模型好得多。
三、求解步骤
确定拟合曲线的形式
最困难！
确定变量对应的数据
确定法方程
求解法方程
四、举例
例1. 已知一组实验数据如下，求它的拟合曲线.
xi
1
2
3
4
5
fi
4 4.5 6
8 8.5
ωi
21311
解 根据所给数据，在坐标纸上标出，从图 中看到各点在一条直线附近，故可选择 线性函数作拟合曲线，即令
S1( x) a0 a1 x
最小二乘法与曲线拟合(共24张PPT)
j 1
n
aNj
xj
bN
j1
2a1k
a2k
aNk
(
Ax
b)
Q
故 x1
Q
x2
Q
2
AT
(
Ax
b)
2(
AT
Ax
AT b )
xn
令
Q 0
(k 1,2,, n)
即
ATxAk x
AT b
〔*〕
因为rankA=n，故由引理2知，上式有唯一解。设
解为x1=a1, x2=a2,…, xn=an，记为点P0(a1,a2,…,an)，
或写为
其矩阵形式为
a11x1 a12x2 a1n xn b1 a21x1 a22x2 a2n xn b2
aN1x1 aN 2 x2 aNn xn bN
n
aij x j bi ( j 1,2,, N )
j 1
Ax b
当方程组的系数矩阵与增广矩阵的秩不相等时， 方程组无解，此时方程组称为矛盾方程组。对于 rankA＝n〔A的秩为n〕的矛盾方程组〔N>n〕，我 们寻求其最小二乘意义下的解。
从给定的一组试验数据出发，寻求函数的一个近似表 达式y= (x)，要求近似表达式能够反映数据的根本趋势 而又不一定过全部的点(xi,yi)，这就是曲线拟合问题，函 数的近似表达式y= (x)称为拟合曲线。本章介绍用最小 二乘法求拟合曲线。
§5.1 用最小二乘法求解矛盾方程组
一、矛盾方程组的定义
设线性方程组
3.最小二乘法解矛盾方程组
计算步骤：
〔1〕判断方程组的秩是否满足rankA=n？
〔2〕写出正那么方程组；
〔3〕求解正那么方程组，其解就是矛盾方程组 的最小二乘解。
最小二乘法曲线拟合原理
最小二乘法曲线拟合原理最小二乘法曲线拟合是一个重要的数值分析方法，它是通过最小二乘法对样本点与直线或曲线之间的关系进行拟合和分析，从而估算出一个函数的一组参数。
最小二乘法曲线拟合是一种经典的数值分析方法，可以用来拟合函数和曲线，估算出参数，预测数据，分析函数，优化模型，甚至可以分析复杂多变量函数。
最小二乘法曲线拟合的核心方法是使用最小二乘法把拟合的曲线拟合到观察到的数据，通过求解方程的最小二乘法，把一系列的观察数据点拟合为最小二乘法曲线，计算出拟合曲线的最佳系数，满足拟合效果的最佳拟合曲线。
最小二乘法曲线拟合的核心目标是通过计算拟合曲线的最小均方误差(SSE)、平均均方误差(MSE)、最大均方误差(MAXE)等方法，使拟合曲线与观察数据点之间的差距最小，从而求解出最佳拟合曲线系数。
最小二乘法曲线拟合具有很强的解析性，可以用数学计算方法快速求解，可以满足各种不同应用场景的需求，因而被广泛应用于科学研究、工程设计、市场分析等领域。
最小二乘法曲线拟合最常见的应用场景有：根据观察数据拟合和估计函数的参数；分析函数的性质；优化模型的能力；预测数据等等。
当应用最小二乘法拟合函数时，首先需要把观察数据用直线或曲线拟合，然后使用极小化残差平方和的方法，来求解参数，这是一个典型的最优化问题，利用一般最优化算法来求解，如梯度下降算法、牛顿法等。
此外，在应用最小二乘法曲线拟合的过程中，还可以考虑几种情况，比如样本数据受到误差的影响，具有某种偏差性；偏差是否服从正态分布；样本数据的分布是否同分布；拟合曲线的拟合是否收敛，参数计算是否准确等等。
总之，最小二乘法曲线拟合是一种重要的数值分析方法，可以用来拟合函数和曲线、估算参数、预测数据、优化模型等。
在应用最小二乘法曲线拟合时，需要考虑一些影响因素，比如样本数据受到误差的影响、偏差是否服从正态分布等，因此，它是一种有效的数值分析方法。
曲线最小二乘法拟合
最小二乘法拟合曲线算法1、概述给定数据点P(x i ,y i )，其中i=1,2,…,n 。
求近似曲线y= φ(x)。
并且使得近似曲线与y=f(x)的偏差最小。
近似曲线在点pi 处的偏差δi = φ(x i )-y ，i=1,2,...,n 。
按偏差平方和最小的原则选取拟合曲线，这种方法为最小二乘法，偏差平方和公式为：min σ2 = (φ(x i −y i ))2ni =1n i =12、推导过程1）设拟合多项式为：y = a 0+ a 1x +⋯+a k x k2）各点到这条曲线的距离之和，即偏差平方如下:R 2= [y i −(a 0+ a 1x +⋯+a k x k )]2ni =13）多项式系数为学习对象，为了求得符合条件的系数值，对上面等式的a i 分别求导，得：−2 y i − a 0+ a 1x +⋯+a k x k =0ni=1−2 y i − a 0+ a 1x +⋯+a k x k x =0ni=1……−2 y i − a 0+ a 1x +⋯+a k x k x k =0ni=14）将等式移项化简，得：a 0+ a 1x +⋯+a k x k = y i ni =1n i =1a 0+ a 1x +⋯+a k x k x = y i x ni =1n i =1……a 0+ a 1x +⋯+a k x k x k = y i x k ni =1n i =15）依上式得矩阵为：x i0 ni=1⋯x i kni=1⋮⋱⋮x i k ni=1⋯x i2kni=1a0⋮a k=y i x i0ni=1⋮y i x i kni=1上边等式左边为1+K阶对称矩阵，解此矩阵方程即可得到曲线系数a k6）对于AX=B，A为对称矩阵，对称矩阵可以分解为一个下三角矩阵、一个上三角矩阵（下三角矩阵的转置）和一个对角线矩阵相乘。
即A=LDL T所以AX=LDL T X=B，令DL T X=Y -> LY=B，其中L为下三角矩阵，且已知，可求出Y。
曲线拟合的最小二乘法
一、曲线拟合是什么？曲线拟合也就是求一条曲线,使数据点均在离此曲线的上方或下方不远处, 它既能反映数据的总体分布,又不至于出现局部较大的波动, 能反映被逼近函数的特性,使求得的逼近函数与已知函数从总体上来说其偏差按某种方法度量达到最小。
设函数y=f(x)在m个互异点的观测数据为求一个简单的近似函数φ(x)，使之“最好”地逼近f(x),而不必满足插值原则。
这时没必要取φ(xi) = yi, 而要使i=φ(xi)yi 总体上尽可能地小。
这种构造近似函数的方法称为曲线拟合,称函数y=φ(x)为经验公式或拟合曲线。
如下为一个曲线拟合示意图。
清楚什么是曲线拟合之后，我们还需要了解一个概念——残差。
曲线拟合不要求近似曲线严格过所有的数据点，但使求得的逼近函数与已知函数从总体上来说其偏差按某种方法度量达到总体上尽可能地小。
若令（1-1）则为残向量（残差）。
“使（1-1）尽可能地小”有不同的准则（1）残差最大值最小（2）残差绝对值和最小（绝对值的计算比较麻烦）（3）残差平方和最小（即最小二乘原则。
计算比较方便，对异常值非常敏感，并且得到的估计量具有优良特性。
）二、最小二乘法是什么？个人粗俗理解：按照最小二乘原则选取拟合曲线的方法,称为最小二乘法。
百度百科：最小二乘法（又称最小平方法）是一种数学优化技术。
它通过最小化误差的平方和寻找数据的最佳函数匹配。
利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。
最小二乘法还可用于曲线拟合。
其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。
三、求解最小二乘法（包含数学推导过程）我们以最简单的线性模型来解释最小二乘法。
什么是线性模型呢？监督学习中，如果预测的变量是离散的，我们称其为分类（如决策树，支持向量机等），如果预测的变量是连续的，我们称其为回归。
回归分析中，n个自变量，且因变量和自变量之间是线性关系，则称为一/多元线性回归分析。
最小二乘法拟合指数曲线
最小二乘法拟合指数曲线在数学建模和数据分析中，最小二乘法是一种常用的数学方法，它常被用来求解拟合问题。
拟合问题的目标是找到一条曲线，使其与给定的数据点最为接近。
对于指数曲线的拟合，最小二乘法同样可以发挥作用。
首先，我们需要明确指数曲线的函数形式。
指数曲线一般可以用以下公式表示：y=ae^(bx)，其中a和b都是常数，e是自然对数的底。
其次，最小二乘法的关键思想是找到使得拟合曲线与实际数据点之间的误差最小的参数值。
对于指数曲线的拟合，我们可以将误差定义为实际数据点与拟合曲线之间的垂直距离，即残差。
最小二乘法的目标是最小化所有数据点的残差的平方和。
为了求解最小二乘曲线拟合问题，我们首先需要构建残差函数。
对于给定的数据点(xi,yi)，我们可以计算出对应的拟合值fi=ae^(bxi)，然后计算残差ei=yi-fi。
然后我们需要最小化所有残差的平方和。
可以通过对残差函数进行求导，令导数为0，得到使得残差函数最小的参数值。
解得的参数值即为最小二乘法拟合指数曲线所需要的参数。
利用这些参数，我们可以得到拟合的指数曲线方程，并利用该方程进行预测和分析。
最后，我们需要评估拟合结果的好坏程度。
常用的评估指标包括平均绝对误差（MAE）、均方根误差（RMSE）等。
这些指标可以帮助我们了解拟合结果与实际数据之间的偏差程度，以及拟合模型的预测准确性。
综上所述，最小二乘法是一种有效的拟合方法，可以用于拟合指数曲线。
通过构建残差函数并最小化残差的平方和，我们可以求解出使得拟合曲线与实际数据点最为接近的参数值。
然后利用这些参数，我们可以得到拟合的指数曲线方程，并进行进一步的分析和预测。
当然，我们也需要在评估拟合结果时使用合适的指标来判断拟合的好坏程度。
通过合理地运用最小二乘法，我们可以更好地理解和应用指数曲线拟合问题。