数值分析16(最小二乘法2)
最小二乘法数值分析实验报告
最小二乘法数值分析实验报告最小二乘法数值分析实验报告篇一：数值分析+最小二乘法实验报告数学与信息工程学院实课程名称：实验室：实验台号：班级：姓名：实验日期：验报告数值分析 201X年 4 月 13日篇二：数值分析上机实验最小二乘法数值分析实验报告五最小二乘法一、题目设有如下数据用三次多项式拟合这组数据，并绘出图形。
二、方法最小二乘法三、程序M文件：sy ms x f; xx=input( 请输入插值节点 as [x1,x2...]\n ff=i nput( 请输入插值节点处对应的函数值 as [f1,f 2...]\n m=input(请输入要求的插值次数m= n=leng th(xx); fr i=1:(m+1) syms faix; fai=x^(i-1); fr j=1:n x=xx(j);H(i,j)=eval(fai); end endA=ff*(H) *inv(H*(H) syms x; f=0; fr i=1:(m+1) f=f+A(i)*x^(i-1); end f plt(xx,ff, * ) hldnezplt(f,[xx(1),xx(n)])四、结果 sav e and run之后：请输入插值节点 as [x1,x2...] [-3 -2-1 0 1 2 3] 请输入插值节点处对应的函数值 as[f1,f2...] [-1.76 0.42 1.21.341.432.254.38]请输入要求的插值次数m=3 f =133/100+121469856021/35184372088832*x-8042142191733/450359 9627370496*x^2+1020815915537309/9007199254740992*x^3五、拓展：最小二乘法计算方法比较简单，是实际中常用的一种方法，但是必须经计算机来实现，如果要保证精度则需要对大量数据进行拟合，计算量很大。
数值分析作业答案
第2章 插值法1、当x=1，-1，2时，f(x)=0，-3，4，求f(x)的二次插值多项式。
（1）用单项式基底。
（2）用Lagrange 插值基底。
（3）用Newton 基底。
证明三种方法得到的多项式是相同的。
解：（1）用单项式基底设多项式为:2210)(x a x a a x P ++=，所以：6421111111111222211200-=-==x x x x x x A 37614421111111424113110111)()()(222211200222221112000-=-=---==x x x x x x x x x f x x x f x x x f a 2369421111111441131101111)(1)(1)(12222112002222112001=--=--==x x x x x x x x f x x f x x f a 6565421111111421311011111)(1)(1)(12222112002211002=--=---==x x x x x x x f x x f x x f x a 所以f(x)的二次插值多项式为：2652337)(x x x P ++-= （2）用Lagrange 插值基底)21)(11()2)(1())(())(()(2010210-+-+=----=x x x x x x x x x x x l)21)(11()2)(1())(())(()(2101201------=----=x x x x x x x x x x x l)12)(12()1)(1())(())(()(1202102+-+-=----=x x x x x x x x x x x lLagrange 插值多项式为：372365)1)(1(314)2)(1(61)3(0)()()()()()()(22211002-+=+-⨯+--⨯-+=++=x x x x x x x l x f x l x f x l x f x L所以f(x)的二次插值多项式为：22652337)(x x x L ++-= (3) 用Newton 基底: 均差表如下：Newton 372365)1)(1(65)1(230))(](,,[)](,[)()(21021001002-+=+-+-+=--+-+=x x x x x x x x x x x x f x x x x f x f x N所以f(x)的二次插值多项式为：22652337)(x x x N ++-= 由以上计算可知，三种方法得到的多项式是相同的。
数值分析中的最小二乘法与曲线拟合
数值分析中的最小二乘法与曲线拟合数值分析是现代理论与实践密切结合的一门交叉学科，其中最小二乘法和曲线拟合是其中两个非常重要的概念。
最小二乘法是一种数学运算方法，用于求解一组方程组的未知参数，使得每个方程的误差平方和最小。
在实际应用中，最小二乘法广泛应用于数据拟合、信号处理、回归分析等领域。
在数据拟合中，最小二乘法是一种常见的方法，它可以用于拟合曲线和函数。
它通过延伸曲线以获得局部数据之间的交点，并通过在它们上进行平均化的方法来尝试匹配数据。
最小二乘法的概念为我们提供了一个理论基础，以便在一定程度上预测新的数据中对象的行为或趋势。
但是，即使在相对简单的问题中，最小二乘法可能并不是最佳选择。
曲线拟合是对一系列数据进行插值的过程，以便获得与原始数据点更准确相匹配的曲线或函数。
曲线拟合可以通过在相邻数据点之间进行插值来完成。
在曲线拟合中，只有在数据有很好的统计关系或在相邻数据点
有很好的相关性时，才会产生准确的结果。
否则，结果可能并不
准确，因为这些结果取决于数据点的数量和分布。
需要注意的是，曲线拟合和最小二乘法并不是一个可以代替另
一个的工具。
它们的适用范围不同。
曲线拟合适用于对离散数据
点进行联合分析，而最小二乘法适用于求解连续数据的线性模型。
总之，数值分析中的最小二乘法和曲线拟合是非常实用的概念，可以应用于各种领域。
它们作为现代数据分析的主要工具之一，
不断吸引着越来越多的学者和工程师投入到其中，将继续发挥重
要作用。
数值分析之最小二乘法与最佳一致逼近
就要求矩阵 G非奇异，
而 0 ( x), 1 ( x), , n ( x)在 [a, b]上线性无关不能推出 矩阵 G非奇异，必须加上另外的条件.
8
定义10
设 0 ( x), 1 ( x), , n ( x) [a, b]的任意线
性组合在点集 {xi , i 0,1,, m}(m n) 上至多只有 n 个
只在一组离散点集 {xi , i 0,1,, m} 上给定，这就是科
学实验中经常见到的实验数据 {( xi , yi ), i 0,1,, m}的
曲线拟合.
1
问题为利用 yi f ( xi ), i 0,1,, m, 求出一个函数
y S * ( x) 与所给数据{( xi , yi ), i 0,1,, m} 拟合.
13
令 S1 ( x) a0 a1 x, 这里 m 4, n 1, 0 ( x) 1, 1 ( x) x, 故
( 0 , 0 ) i 8,
i 0 4
( 0 , 1 ) (1 , 0 ) i xi 22,
i 0
4
(1 , 1 ) i xi2 74,
这样就变成了线性模型 .
19
例2
设数据 ( xi , yi )(i 0,1,2,3,4) 由表3-1给出，
表中第4行为 ln yi yi ,通过描点可以看出数学模型为 及 b. y aebx , 用最小二乘法确定 a
表3 1 i xi yi 0 1.00 5.10 1 1.25 5.79 2 1.50 6.53 3 1.75 7.45 4 2.00 8.46
4
S ( x ) 的一般表达式为线性形式.
若 k ( x)是 k 次多项式，S ( x ) 就是 n 次多项式. 为了使问题的提法更有一般性，通常在最小二乘法中 S ( x) a00 ( x) a11 ( x) ann ( x) (n m) 考虑加权平方和
最小二乘法数值分析实验报告
最小二乘法数值分析实验报告数学与信息工程学院实课程名称：实验室：实验台号：班级：姓名：实验日期：验报告数值分析2012 年 4 月 13 日数值分析实验报告五最小二乘法一、题目设有如下数据用三次多项式拟合这组数据，并绘出图形二、方法最小二乘法三、程序M文件： syms x f;xx=input(‘请输入插值节点as [x1,x2...]\n’);ff=input(‘请输入插值_ __________________ ___________________ ___________________ ___________________实验一MATLAB在数值分析中的应用插值与拟合是来源于实际、又广泛应用于实际的两种重要方法随着计算机的不断发展及计算水平的不断提高，它们已在国民生产和科学研究等方面扮演着越来越重要的角色下面对插值中分段线性插值、拟合中的最为重要的最小二乘法拟合加以介绍分段线性插值所谓分段线性插值就是通过插值点用折线段连接起来逼近原曲线，这也是计算机绘制图形的基本原理实现分段线性插值不需编制函数程序，MATLAB自身提供了内部函数interp1其主要用法如下：interp1(x,y,xi) 一维插值◆yi=interp1(x,y,xi)对一组点(x,y) 进行插值，计算插值点xi的函数值x为节点向量值，y为对应的节点函数值如果y为矩阵，则插值对y 的每一列进行，若y 的维数超出x 或xi 的维数，则返回NaN ◆ yi=interp1(y,xi)此格式默认x=1:n ，n为向量y的元素个数值，或等于矩阵y的size(y,1) ◆ yi=interp1(x,y,xi,’method’)method用来指定插值的算法默认为线性算法其值常用的可以是如下的字符串nearest 线性最近项插值linear线性插值spline 三次样条插值贵州师范大学数学与计算机科学学院学生实验报告1. 对函数f(x)?,哪一种曲线拟合较好?为什么?能找出更好的拟合曲线吗?七、总结1、从图像可以看出用lagrange插值函数拟合数据中间拟合的很好，但两边与原函数图象相比波动太大，逼近效果很差，出现所谓的Runge现象2、从图像可以看出用最小二乘法去拟合较少的数据点，曲线拟合比直线拟合得好，高次的会比低次的拟合得好3.一般情形高次插值比低次插值精度高,但是插值次数太高也不一定能提高精度.八、附录1、M文件：function cy=Lagrange(x,y,n,cx)m=length(cx);cy=zeros(1,m);for k=1:n+1t=ones(1,m);for j=1:n+1if j~=kt=t.*(cx-x(j))./(x(k)-x(j));endendcy=cy+y(k).*t ;end>> x=-5::5;>> y=1./(x. +1);>> plot(x,y)>> n=10;>> x0=-5:10/n:5;>> y0=1./(1+x0. );>> cx=-5::5;>> cy=Lagrange(x0,y0,n,cx);>> hold on>> plot(cx,cy)e1 =xxxx大学数值分析实验报告题目：学院：专业：年级：学生姓名：学号：日期：曲线拟合的最小二乘法xxxx学院xxxxxxx xxxx级xxx xxx 2014年12月24日课题八曲线拟合的最小二乘法一、问题的提出从随机的数据中找出其规律性，给出其近似表达式的问题，在生产实践和科学实验中大量存在，通常利用数据的最小二乘拟合求得拟合曲线在某冶炼过程中，根据统计数据的含碳量与时间关系，试求出含碳量y与时间t的拟合曲线0 5 10 15 20 25 30 35 40 45 50 55t(分)y(x10?4)0 二、要求1、用最小二乘法进行曲线的拟合；2、近似表达式为：?(t)?a0?a1t?a2t2?a3t3；?(t)，3、打印出拟合函数：并打印出?(tj)与y(tj)的误差，其中j?1,2,3,?,12；4、另外选取一个近似表达式，尝试拟合效果的比较；5、*绘制出拟合曲线图；三、目的和意义1、掌握曲线拟合的最小二乘法；2、最小二乘法亦可用于解超定线性方程组；3、探索拟合函数的选择与拟合进精度间的关系；四、MATLAB2011a简介及算法介绍MATLAB2011a本实验是基于MATLAB2011a软件平台进行程序设计MATLAB2011a是一款将数据结构、程序特性以及图形用户界面完美地结合在一起的一款强大的软件MATLAB的核心是矩阵和数组，在MATLAB2011a中，所有的数据都是以矩阵或数组的形式来表示和存储的MATLAB2011a提供了常用的矩阵代数运算功能，同时还提供了非常广泛的、灵活的数组运算功能，用于数据集的处理MATLAB的编程特性与其他高级语言类似，同时它还可以与其他语言(如Fortran和C语言)混合编程，进一步扩展了自身的功能这次作业课题，主要采用了MATLAB语言进行程序的编写，误差计算，拟合函数的输出，以及拟合曲线(1)和拟合曲线(2)与原离散数据点在一个图形界面中的现实的显示最小二乘拟合法在函数的最佳平方逼近中f(x)?C[a,b],如果f(x)只在一组离散的点集?xi,i?0,1,2,3,?,m?上给出，这就是科学实验中经常见到的实验数据?(xi,yi),i?0,1,2,3,?m?的曲线拟合，这里yi?f(xi)(i?0,1,2,3,?,m)，要求一个函数y?S*(x)与所给数据?(xi,yi),i?0,1,2,3,?m?拟合若记误差?i?S(xi)?yi(i?0,1,2,3,?,m),??(?0,?1,?2,?3,??m)T,设?0(x),?1(x),?,?n(x)是*?C[a,b]上线性无关的函数族，在??span??0(x),?1(x),?,?n(x)?中找一个函数S*(x)使误差平方和??这里22[S(xi)?yi]?min?[S*(xi)?yi]2, ()2i*2i?0i?0s(x)??i?0mmmS(x)?a0?0(x)?a1?1(x)?a2?2(x )?a3?3(x)??an?n(x) (n?m). () 这就是一般的最小二乘逼近，用几何语言说，就称为曲线拟合的最小二乘法. 用最小二乘法拟合曲线时，首先要确定S(x)的形式，这不是单纯的数学问题，还与所研究问题的运动规律及所得到的观测数据(xi,yi)有关；通常要从问题的运动规律或给定的数据描图，确定S(x)的形式，并通过实际计算选出最好的结果——这点将从下面的例题得到说明. S(x)的一般表达式为()式表示的线性形式.若?k(x)是k次多项式，S(x)就是n次多项式为了使问题的提法更有一般性，通常在最小二乘法中都考虑加权平方和2?2??22(xi)[S*(xi)?yi]2. ()i?0m 这里?(x)?0 (i?0,1,2,3,?m)是[a,b]上的权函数它表示不同的点(xi,yi)处的数据比重不同，列如：?(xi)可以表示点(xi,yi)处的重复观测次数用最小二乘法拟合曲线的问题，就是在形如()式的S(x)中求一函数y?S(x),使()式取得最小值它转化为求取多元函数*I(a0,a1,?an)(xi)[?aj?(xi)?f(xi)]2i?0j?0mn***的极小点(a0,a1,?,an)的问题这与多元函数求极值的必要条件的问题一样，则有：mn?I?2??(xi)[?aj?(xi)?f(xi)]?k(xi)?0k?0,1,2,?,n. ?aki?0j?0若记(?j,?k)(xi)?j(xi)?k(xi),()i?0mm(f,?k)(xi)f(xi)?k(xi)?dk,k?0,1,2,3?,n, ()i?0上式可以改写为：?(?j?0mk,?j)aj?dk, k?0,1,2,3?,n, ()线性方程组()称为法方程，可以将其写成：Ga?d其中??Ta?(a0,a1,?a2),d?(d0,d1,?dn)T,(0,0)(0,1)(,)(,)11G10(n,0)(n, 1)(0,n)(n,1)() (?n,?n)?五、课题分析拟合近似表达式：?(t)?a0?a1t?a2t2?a3t3的最高次数为三次，我们知道当拟合多项式的最高次数n?3时，与连续的情形一样，在求解法方程Ga?d的过程中，会出现系数矩阵(格拉姆矩阵)G为病态的问题但是如果?0(x),?1(x),?2(x),?,?n(x)是关于点集?xi?(i?0,1,2,?,m)带权?(xi)(i?0,1,2,?,m)正交的函数族，即：0,jk,()(?j,?k)(xi)?j(xi)?k(xi)??i?0?Ak?0,j?k,m则法方程的解为：(f,?k)?(?k,?k)*ak(x)f(x)?iii?0mk(xi),k?0,1,2,?,n ()??(x)?ii?0m2k(xi)这样就能避免求解格拉姆矩阵，也不会在求解线性方程组是就不会出现病态问题现在我们需要根据给定的节点x0,x1,?xm及权函数?(xi)?0,造出带权?(xi)正交的多项式?Pn(x)?.注意n?m，用递推公式表示Pk(x),即：?P0(x)?1,?() ?P1(x)?(x??1)P0(x),?P(x)?(x??)P(x) P(x),k?1,2,3,?,n?1.k?1kkk?1?k?1这里Pk(x)是首项系数为1的k次多项式，根据Pk(x)的正交性，得：m??(xi)xiPk2(xi)??(xPk(x),Pk(x))??k?1?i?0?m?(Pk(x),Pk(x))2?(x)P(x)?iki?i?0??(xPk,Pk),k?0,1,2,3,?,n?1, () ??(P,P)kk?m??(xi)Pk2(xi)??(Pk,Pk)i?0?,k?1,2,3 ,?,n??k(Pk?1,Pk?1)?(xi)Pk2?1(xi)??i?0?用正交多项式?Pk(x)?的线性组合做最小二乘曲线拟合，只要根据公式()和()逐步求Pk(x)得同时，相应计算出系数(f,Pk)*ak??(Pk,Pk)??(x)f(x)P(x)iikii?0m??(x)Pii?0m, k?0,1,2,?,n，()2k(xi)*并逐步把ak,Pk(x)累加到S(x)中去，最后就会得到所求的拟合曲线。
最小二乘法
数值分析作业最小二乘法最小二乘法是提供“观测组合”的主要工具之一,它依据对某事件的大量观测而获得最佳”结果或最可能”表现形式。
如已知两变量为线性关系y= a+ bx,对其进行n(n> 2)次观测而获得n对数据。
若将这n对数据代入方程求解a，b之值则无确定解。
最小二乘法提供了一个求解方法，其基本思想就是寻找最接近”这n 个观测点的直线。
最小二乘法不仅是19世纪最重要的统计方法,而且还可以称为数理统计学之灵魂。
相关回归分析、方差分析和线性模型理论等数理统计学的几大分支都以最小二乘法为理论基础。
作为其进一步发展或纠正其不足而采取的对策,不少近现代的数理统计学分支也是在最小二乘法基础上衍生出来的。
正如美国统计学家斯蒂格勒(S.M. Stigler)所说,最小二乘法之于数理统计学犹如微积分之于数学”最小二乘法创立的历史过程充满着丰富的科学思想,这些对今日的数学创造仍有着重要的启示意义。
本文旨在全面认识最小二乘法的历史系统发育过程以及创立者的思路。
一先驱者的相关研究天文学和测地学的发展促进了数理统计学及其他相关科学的发展。
丹麦统计史家哈尔德曾指出天文学在数理统计学发展中所起的作用。
“天文学自古代至18 世纪是应用数学中最发达的领域。
观测和数学天文学给出了建立数学模型及数据拟合的最初例子,在此种意义下,天文学家就是最初的数理统计学家。
天文学的问题逐渐引导到算术平均,以及参数模型中的种种估计方法,以最小二乘法为顶峰。
” 这也说明了最小二乘法的显著地位。
有关统计计算思想记载的著作要首推天文学家罗杰柯茨的遗作,即1715年其所发论文中所蕴含的统计方法,亦即对各种观测值赋予加权后求其加权平均。
尽管当时得到认可,然而事实证明如此计算的结果不太精确。
1749年,欧拉(L. Euler,1707—1783)在研究木星和土星之间相互吸引力作用对各自轨道影响时,最后得到一个含8个未知量75个方程的线性方程组。
欧拉的求解方法繁杂而奇特,只能看作是一次尝试。
数值分析第二版(丁丽娟)答案
7 10922.5000 23483.0000 23483.5000
8 43690.5000 80827.0000 80827.5000
21.000000000000000 17.000000000000000 16.238095238095237 16.058823529411764 16.014662756598241 16.003663003663004 16.000915583226515
3、 用规范化幂法求
按模最大的特征值和对应的特征向量，取初值
。当特征值有3位小数稳定时停止。
4、 用反幂法求矩阵
练习五
，迭代7次。
的最接近于6 的特征值和对应的特征向量，取初值
例1 令
求
的一次插值多项式，并估计插值误差。
例2 已知函数
的如下函数值表，
x
0.0
0.1
0.2
0.3
0.4
0.5
f (x)
1.00
16.007498295841852 16.002385008517887
16.002177786576915 16.00069286350589
则开根号得 4.000114446266071 4.000272214059553 4.000086607000640
，对应的特征向量为
，
第五章答案
2. 解： 正则方程组为
38.000
19.5000
18.199999999999999 16.636363636363637
16.578947368421051 16.179487179487179
16.120879120879120 16.038251366120218
数值分析第二次作业答案answer2
S4 = 0.11157238253891，S8 = 0.11157181325263。 同学们根据自己理解计算 S4 ，S8 都可。 复合梯形公式和复合 Simpson 公式的代码已重复多次，同学们自己整 理。 3. 用 Simpson 公式计算积分 误 差 为 |R(f )| = | − η ∈ (0, 1)。 4. 推导下列三种矩形求积公式： ∫b f (x)dx ∫a b f (x)dx ∫a b a f (x)dx = (b − a)f (a) + = (b − = (b −
14.7 53.63 从而 a = −7.855048，b = 22.25376。 2. 已知实验数据如下： 。 xi 19 25 31 38
44
yi 19.0 32.3 49.0 73.3 97.8 用最小二乘法求形如 y = a + bx2 的经验公式。 答案：两个待定常数，只能两个 φ。 φ0 ，φ1 也必须形如 y = a + bx2 。 可设 φ0 = 1，φ1 = x2 。法方程为： ( 5 5327 )( a b ) = ( 271.4 369321.5 )
第三章 函数逼近 1. 观测物体的直线运动，得出以下数据： 时间 t(s) 0 0.9 1.9 3.0 3.9 5.0 距离 s(m) 0 求运动方程。 ( 10 φ0 = 1，φ1 = t。法方程为： 6 14.7 )( a b ) = ( 280 1078 )
6
1. 用 LU 分解及列主元高斯消去法解线性方程组 8 10 −7 0 1 x1 −3 2.099999 6 2 x 5.900001 2 = 5 5 − 1 5 − 1 x 3 x4 1 2 1 0 2 输出 Ax = b 中系数 A = LU 分解的矩阵 L 及 U ，解向量 x 及 det A；列 主元法的行交换次序，解向量 x 及 det A；比较两种方法所得的结果。 代码： A=[10,-7,0,1;-3,2.099999,6,2;5,-1,5,-1;2,1,0,2]; b=[8,5.900001,5,1]'; x=A\b;x(1) 结果：1.7764e-016 LU分解代码： A=[10,-7,0,1;-3,2.099999,6,2;5,-1,5,-1;2,1,0,2]; b=[8,5.900001,5,1]'; [m,n] = size(A); if m~=n, error('A matrix needs to be square'); end for i=1:n-1 pivot = A(i,i); if abs(pivot)<50*eps, error('zero pivot encountered'); end for k = i+1:n A(k,i) = A(k,i)/pivot; A(k,i+1:n) = A(k,i+1:n) - A(k,i)*A(i,i+1:n); end end 7
数值分析简明教程课后习题答案
比较详细的数值分析课后习题答案0.1算法1、 （p.11，题1）用二分法求方程013=--x x 在[1,2]内的近似根，要求误差不超过10-3.【解】 由二分法的误差估计式311*10212||-++=≤=-≤-εk k k a b x x ，得到100021≥+k .两端取自然对数得96.812ln 10ln 3≈-≥k ，因此取9=k ，即至少需2、（p.11，题2） 证明方程210)(-+=x e x f x在区间[0,1]内有唯一个实根；使用二分法求这一实根，要求误差不超过21021-⨯。
【解】 由于210)(-+=x e x f x ，则)(x f 在区间[0,1]上连续，且012010)0(0<-=-⨯+=e f ，082110)1(1>+=-⨯+=e e f ，即0)1()0(<⋅f f ，由连续函数的介值定理知，)(x f 在区间[0,1]上至少有一个零点.又010)('>+=x e x f ，即)(x f 在区间[0,1]上是单调的，故)(x f 在区间[0,1]内有唯一实根.由二分法的误差估计式211*1021212||-++⨯=≤=-≤-εk k k a b x x ，得到1002≥k .两端取自然对数得6438.63219.322ln 10ln 2=⨯≈≥k ，因此取7=k ，即至少需二分0.2误差1．（p.12，题8）已知e=2.71828…，试问其近似值7.21=x ，71.22=x ，x 2=2.71，718.23=x 各有几位有效数字？并给出它们的相对误差限。
【解】有效数字：因为11102105.001828.0||-⨯=<=- x e ，所以7.21=x 有两位有效数字； 因为12102105.000828.0||-⨯=<=- x e ，所以71.22=x 亦有两位有效数字；因为3310210005.000028.0||-⨯=<=- x e ，所以718.23=x 有四位有效数字；%85.17.205.0||111=<-=x x e r ε； %85.171.205.0||222=<-=x x e r ε；%0184.0718.20005.0||333=<-=x x e r ε。
数值分析论文--曲线拟合的最小二乘法
曲线拟合的最小二乘法姓名：学号：专业：材料工程学院：材料科学与工程学院科目：数值分析曲线拟合的最小二乘法一、目的和意义在物理实验中经常要观测两个有函数关系的物理量。
根据两个量的许多组观测数据来确定它们的函数曲线，这就是实验数据处理中的曲线拟合问题。
这类问题通常有两种情况：一种是两个观测量x 与y 之间的函数形式已知，但一些参数未知，需要确定未知参数的最佳估计值；另一种是x 与y 之间的函数形式还不知道，需要找出它们之间的经验公式。
后一种情况常假设x 与y 之间的关系是一个待定的多项式，多项式系数就是待定的未知参数，从而可采用类似于前一种情况的处理方法。
在两个观测量中，往往总有一个量精度比另一个高得多，为简单起见把精度较高的观测量看作没有误差，并把这个观测量选作 x，而把所有的误差只认为是y的误差。
设 x 和 y 的函数关系由理论公式y＝f（x；c1，c2，……cm）（0-0-1）给出，其中 c1，c2，……cm 是 m 个要通过实验确定的参数。
对于每组观测数据（xi，yi）i＝1，2，……，N。
都对应于xy 平面上一个点。
若不存在测量误差，则这些数据点都准确落在理论曲线上。
只要选取 m 组测量值代入式（0-0-1），便得到方程组yi ＝ f （x ；c1 ，c2 ，……cm）（0-0-2）式中 i＝1，2，……，m.求 m 个方程的联立解即得 m 个参数的数值。
显然N<m 时，参数不能确定。
y 2 y 在 N>m 的情况下，式（0-0-2）成为矛盾方程组，不能直接用解方程的方法求得 m 个参数值，只能用曲线拟合的方法来处理。
设测量中不存在着系统误差，或者说已经修正，则 y 的观测值 yi 围绕着期望值 <f （x ；c1，c2，……cm）> 摆 动，其分布为正态分布，则 yi 的概率密度为p y i1 exp,式中i是分布的标准误差。
为简便起见，下面用 C 代表（c1，c2，……cm ）。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
14/46
1范数意义下的残差最小
Sparse and Redundant Representations:
参考文献:
ห้องสมุดไป่ตู้
From Theory to Applications in Signal and Image Processing
超定方程组
3/46
13:32
离散数据的线性拟合 x x1 x2 f(x ) y1 y2
· · · · · · · · · · xm · · · · · · · · · · ym
求拟合函数: ( x ) a00 ( x) a11 ( x) ann ( x)
y1 0 ( x1 ) 1 ( x1 ) n ( x1 ) a0 y2 0 ( xm ) 1 ( xm ) n ( xm ) an y m
( u1 , vk ) ( u1 , u1 )
u1
uk -1 +uk
23/46
Gram-Schmidt正交化的矩阵编码
v1 u1 v2 v3 vk
( u1 , vk ) ( u1 , u1 )
1 k u1 ( ukk1 , uk 1 ) uk -1 +uk
x
13:32
2
进一步地如果AT A可逆, 则x ( AT A)1 AT b
5/46
最小二乘拟合问题研究包括:
模型的选取
存在唯一性 最小二乘解的计算
13:32
6/46
广义矩阵(Ax=b统一的理论解释)
Ax =b
Ax b
13:32
7/46
相容方程的解
定义: 一个方程组称为相容方程(consistent equation),若 至少存在一个解能够严格满足该方程组。 定理: 线性方程Ax=b是相容的当且仅当增广矩阵的秩 等于矩阵A的秩, 即rank([A,b])=rank(A) 。
|| y || || Qx || || x ||
2 2 2 2
x 2 2
2 2
2 2
x arg min || QAx Qb || arg min || Rx Qb ||
x
13:32
21/46
—— Gram-Schmidt正交化——
u1 v1 u2 v2 u3 v3 uk vk
22/46
—— Gram-Schmidt正交化——
v1 u1 v2 v3 vk
13:32
( u1 , v2 ) ( u1 , u1 ) ( u1 , v3 ) ( u1 , u1 )
u1 u2 u1
( u2 , v3 ) ( u2 , u2 )
u2 u3
( uk 1 , vk ) ( uk 1 , uk 1 )
《数值分析》 16
最小二乘解的存在唯一性
最小二乘解的数值方法
13:32
1/46
离散数据的直线拟合 x x1 x2 f(x ) y1 y2
求拟合函数:
· · · · · · · · · · xm · · · · · · · · · · ym
c1 c2 x1 y1 c1 c2 x2 y2
其中Fk 为 Frobenius矩阵。
A=F1-1F2-1 · · · · · · Fn-1-1 A(n – 1) L U
1 m 21 L 1 m n1 m n , n 1
13:32
1
a11 U
a12 (1) a 22
定理: Gb是不相容矩阵的最小范数最小二乘解当且仅当 AGA=A, (AG)H=AG, GAG=G, (GA)H=GA。
注释: 最小范数最小二乘广义矩阵即Moore-Penrose矩阵。
13:32
12/46
总结 相容方程
Ax b Ax b
arg min Ax b
x 2 2
矩阵可逆则解唯一, 如果矩阵秩亏损的情形, 则所有解 中有唯一的最小范数解。
13:32
1 1 2 1 1 x1 1 x 2 3 3 9
18/46
1.7500 0.7500 1.9500 0.9500
直接方法: 高斯消元法
A(n – 1) = Fn-1Fn-2· · · · · · · F1 A
13:32
10/46
定理 如果矩阵A 列满秩, 则ATA可逆。
证明 : 如果矩阵列满秩则矩阵列向量1 , 2 , , n 线性无关, 则对于任意的非零向量c Ac c11 c2 2 cn n 0, 进一步有对任意非零向量c A Ac 0,
T T
因为矩阵AT A正定, AT A可逆。
2/46
离散数据的多项式拟合 x x1 x2 f(x ) y1 y2
求拟合函数:
· · · · · · · · · · xm · · · · · · · · · · ym
n
( x) a0 a1 x an x
n 1
y1 1 x1 x a0 y2 n 1 xm xm an y m
Matlab: pinv (Pseudoinverse) 比较back slash和pinv的区别。
1 2 3 16 4 5 6 17 X 7 8 9 , y 18 10 11 12 19 13 14 15 20
如果m =n且A非奇异, 则方程的解为x A-1b。一个自然的问题是在 m n和A为秩亏缺( rank ( A) min{m , n})的情况下是否存在一个与 x A-1b相类似的解, 比如x Gb是相容方程的解?
定理: 相容方程Ax=b对y不等于零有解x=Gb当且仅当 AGA=A。(G称为是A的广义逆generalized inverse)
13:32
( u1 , v2 ) ( u1 , u1 ) ( u1 ,v3 ) ( u1 , u1 )
u1 u1
( u2 , v3 ) ( u2 , u2 )
u2
( uk 1 , vk ) ( uk 1 , uk 1 )
( u1 ,vk ) ( u1 , u1 )
u1
uk -1
( u1 , v2 ) ( u1 , u1 ) ( u1 , v3 ) ( u1 , u1 )
u1 u2 u1 ( u22 ,u32 ) u2 u3
(u ,v ) ( u ,v )
1 r12 1 v1v2 vk u1u2 uk u1,u2, un是正交基向量
超定方程组
13:32
4/46
回顾:
Ax b
m n
2 2
超定方程Ax b, 其中A R
x
,m n
最小二乘解 x arg min || Ax b ||（next best）
初等变分原理 arg min Ax b 2 AT Ax AT b ( normal eqaution )
( x ) c1 c2 x
y1 1 x1 1 x c y 1 2 2 Ac=y c2 1 x m ym
超定方程组
c1 c2 xm ym
13:32
13:32
8/46
相容方程解的唯一性 是否存在某种意义下的唯一性?
最小范数解(minimum norm solution):
如果存在G满足 Gb 2 = min x 2 , 则称Gb为相容方程的最小范数解,
Ax b
广义逆矩阵G为最小范数广义逆矩阵。
定理: Gb是相容矩阵的最小范数解当且仅当 AGA=A, (GA)H=GA。 参考: 张贤达, 矩阵分析与应用, 清华大学
13:32
9/46
不相容方程解的存在性
Ax b
x arg min || Ax b ||2 2
x
不相容方程的最小二乘解总是存在的。 证明: 即证明正规方程是相容方程。 rank([ATA, b])=rank(ATA)
设rank( A) k , 则rank( AT A) rank( AT ) rank( A) k , rank([ AT A, AT b]) rank( AT A) k 由于[ AT A, AT b] AT [ A, b], 故rank([ AT A, AT b]) min{rank( AT ),rank([ A, b])} rank([ AT A, AT b]) k 综上所述 ,rank([ AT A, AT b]) rank(AT A) k
不相容方程
首先最小二乘解一定存在, 如果矩阵列满秩则最小二 乘解唯一, 如果矩阵秩亏损的情形, 所有最小二乘解有 唯一的最小范数最小二乘解。
13:32
13/46
对于任意矩阵, Moore-Penrose逆矩阵存在且唯一。
如果X 是方阵且非奇异, 则X † X 1 , 如果X 是列满秩, X † ( X T X )1 X T , 如果X 是行满秩, X † X T ( XX T )1 ,
13:32
15/46
最小二乘拟合问题研究包括:
模型的选取
存在唯一性 最小二乘解的计算
13:32
16/46
为什么不直接求解正规方程?
正规方程(normal equation) AT Ax AT b