用正交多项式做最小二乘拟合
数值分析--32正交多项式与最小二乘拟合
j 0 n
{ j(x) = x j } 对应代数多项式 /* algebraic polynomial */
{ j(x) = cos jx }、{ j(x) = sin jx } { j(x), j(x) }对应三 角多项式 /* trigonometric polynomial */ { j(x) = e kj x , ki kj } 对应指数多项式 /* exponential
n
定理 Ba = c 存在唯一解 0(x), 1(x), … , n(x) 线性无关。
证明：若存在一组系数 {i } 使得 0 0 + 1 1 + ... + n n 0 则等式两边分别与0, 1, … , n作内积，得到：
0 ( 0 , 0 ) + 1 ( 1 , 0 ) + ... + n ( n , 0 ) 0 ( , ) + ( , ) + ... + ( , ) 0 1 1 1 n n 1 0 0 1 . . . ( , ) + ( , ) + ... + ( , ) 0 1 1 n n n n 0 0 n
1 2 49 3 y P( x) x + x 2 10 2
cond ( B ) 7623
|| B || 484,
|| B
1
||
63 4
§6 Orthogonal Polynomials & L-S Approximation
j 例：连续型拟合中，取 j ( x) x , ( x) 1, y( x) C[0, 1]
正交多项式的性质及在科学计算中的应用【范本模板】
正交多项式的性质及在科学计算中的应用摘要正交多项式是满足一定条件的多项式族.正交多项式是数学研究领域热点之一.许多数学理论的突破，如Bieberbach猜想的证明，数据拟合，数学物理、工程技术和函数逼近等领域的理论研究，都依赖于或应用了正交多项式的重要成果。
现正交多项式被广泛应用于数学物理，工程技术，科学计算，回归分析，概率分布等领域。
因此，对于正交多项式的研究具有重要的意义和价值.本文首先给出了正交多项式的定义，其次对勒让德（Legendre）多项式、切比雪夫(Chebyshev）多项式、拉盖尔(Laguerre)多项式、艾尔米特（Hermite）多项式的性质进行了探讨并对部分性质进行了证明，最后对正交多项式在数据拟合,最佳平方逼近以及在概率分析中的应用进行了讨论。
关键词：正交多项式勒让德（Legendre）多项式切比雪夫（Chebyshev）多项式拉盖尔（Laguerre）多项式艾尔米特（Hermite）多项式数据拟合最佳平方逼近概率分析The Character of Orthogonal Plynomial and its Applicationin Scientific ComputationAbstractOrthogonal polynomial is a polynomial that satisfies some conditions.Orthogonal polynomial is one of the hotspot in the field of mathematical research.Many mathematical theory，such as proof of the conjecture of Bieberbach，data fitting，mathematical physics，theory of engineering technology and function approximation are depends on the important achievements in the field or the application of orthogonal polynomials。
实验题目用正交多项式做小二乘曲线拟合
实验题目：用正交多项式做小二乘曲线拟合实验题目： 用正交多项式做最小二乘的曲线拟合 学生组号： 6 完成日期： 2011/11/27 1 实验目的针对给定数据的煤自燃监测数据中煤温与NO 22,之间的非线性关系，用正交多项式做最小二乘曲线拟合。
2 实验步骤2.1 算法原理设给定n+1个数据点：（yx kk,），k=0,1,···,n ，则根据这些节点作一个m 次的最小二乘拟合多项式pm（x ）=a+x a x a a mm x +++ (2)21=x a jmj j ∑=0①其中，m ≤n,一般远小于n.。
若要构造一组次数不超过ｍ的在给定点上正交的多项式函数系｛)(x Qj（ｊ＝０，１，．．．，ｍ）｝，则可以首先利用｛)(x Qj（ｊ＝０，１，．．．，ｍ）｝作为基函数作最小二乘曲线的拟合，即pm（x ）＝)(...)()(11x x x Qq Q q Q q mm+++ ②根据②式，其中的系数qj（ｊ＝０，１，．．．，ｍ）为∑∑===nk kjnk kjkjx Q x Q y q2)()(，ｊ＝０，１，．．．，ｍ ③将④代入③后展开就成一般的多项式。
构造给定点上的正交多项式)(x Qj（ｊ＝０，１，．．．，ｍ）的递推公式如下：⎪⎪⎩⎪⎪⎨⎧-=--=-==-+1,...,2,1),()()()()()(1)(11010m j x x x x x x x QQ Q Q Q j jj j j βαα ④其中αj＝dx x jk j=0，ｊ＝０，１，．．．，ｍ－１ ⑤βj＝dd j j1-，ｊ＝１，２，．．．，ｍ－１ ⑥∑==nk k jjx Q d2)(，ｊ＝０，１，．．．，ｍ－１ ⑦则实际计算过程中，根据⑤式逐步求出个正交多项式)(x Qj，并用公式④计算出q j，并将每次计算展开后累加到拟合多项式①中。
2.2 算法步骤用三个向量Ｂ,Ｔ,Ｓ,存放多项式)(1x Qj -，)(x Q j，)(1x Qj +的系数。
用正交多项式做最小二乘拟合
（5.10）
(k 1,2,, n 1).
这里 Pk (x) 是首项系数为1的 k 次多项式， 根据 Pk (x) 的 正交性，得
3
m
k 1
( xi ) xi Pk2 ( xi )
i0
m
( xi )Pk2 ( xi )
( xPk ( x), Pk ( x)) (Pk ( x), Pk ( x))
3.5.2 用正交多项式做最小二乘拟合
用最小二乘法得到的法方程组（5.6），其系数矩阵
G是病态的.
如果 0 (x),1(x),,n (x) 是关于点集 {xi} (i 0,1,, m) 带权 (xi ) (i 0,1,, m)
函数族，即
( j ,k )
m i0
(xi ) j (xi )k (xi )
8
m
ak*
( f , Pk ) (Pk , Pk )
( xi ) f ( xi )Pk ( xi )
i0
m
( xi )Pk2 ( xi )
i0
(k 0,1,, n),
并逐步把 ak*Pk (x)累加到 S (x) 中去，最后就可得到所求的
拟合曲线
y S (x) a0*P0 (x) a1*P1(x) an*Pn (x). 这里 n可事先给定或在计算过程中根据误差确定.
bk
sin
kx),
其中
n m,
ak
ห้องสมุดไป่ตู้
2 2m 1
2m j 0
fj
cos 2πjk 2m 1
(k 0,1,, m),
16
正交最小二乘曲线拟合法
第32卷第3期2007年5月测绘科学Science of Surveying and Mapp ingVol 132No 13May 1作者简介:丁克良(1968Ο),男,河南淮阳人,工程师,博士,主要从事现代测量数据处理和GPS 卫星导航教学和研究工作。
E Οmail:hyiding@1631com收稿日期:2006Ο11Ο07基金项目:国家自然科学基金项目(40504003)正交最小二乘曲线拟合法丁克良①,欧吉坤②,赵春梅③(①北京建筑工程学院测绘和城市信息学院测绘工程系,北京 100044;②中国科学院测量与地球物理研究所,武汉 430077;③中国测绘科学研究院大地测量与地球动力学研究所,北京 100039)【摘 要】在最小二乘曲线拟合中,自变量的误差常常被略而不计,提出采用正交最小二乘法拟合曲线。
该方法以正交距离残差平方和极小为准则,同时顾及了因变量和自变量的误差;基于间接平差原理详细推导了相关模型和算法。
实际计算表明,采用正交最小二乘法拟合曲线,拟合效果整体上优于普通最小二乘法。
【关键词】最小二乘;曲线拟合;正交最小二乘;精度评定【中图分类号】P22 【文献标识码】A 【文章编号】1009Ο2307(2007)03Ο0018Ο031 引言曲线拟合问题是诸多试验和工程实际中广泛应用的数据处理方法。
测量工作中,通常根据测定的一系列坐标点,选取一定的数学模型拟合直线、二次曲线或者其他高次曲线。
拟合的目的是根据测量点寻求曲线的特征,求解曲线的相关参数,为工程建设管理提供必要的基础信息。
如在既有铁路工程、又有公路工程测量中,常常根据一系列的测量点和线路工程的特点求解线路工程的线形特征,为线路工程维修养护、二线工程建设、行车安全分析等提供必要的基础信息[1Ο4]。
在GI S 数据获取中,通常根据一系列的实际测量点或者是地图数字化点拟合道路、水系、等高线等曲线[5,6]。
这类问题的做法通常是根据线形的特点选取一定的数学模型,以待求的线形参数作为未知参数,以测点的纵坐标或者横坐标为观测值,采用最小二乘法处理。
数值分析之最小二乘法与最佳一致逼近
就要求矩阵 G非奇异，
而 0 ( x), 1 ( x), , n ( x)在 [a, b]上线性无关不能推出 矩阵 G非奇异，必须加上另外的条件.
8
定义10
设 0 ( x), 1 ( x), , n ( x) [a, b]的任意线
性组合在点集 {xi , i 0,1,, m}(m n) 上至多只有 n 个
只在一组离散点集 {xi , i 0,1,, m} 上给定，这就是科
学实验中经常见到的实验数据 {( xi , yi ), i 0,1,, m}的
曲线拟合.
1
问题为利用 yi f ( xi ), i 0,1,, m, 求出一个函数
y S * ( x) 与所给数据{( xi , yi ), i 0,1,, m} 拟合.
13
令 S1 ( x) a0 a1 x, 这里 m 4, n 1, 0 ( x) 1, 1 ( x) x, 故
( 0 , 0 ) i 8,
i 0 4
( 0 , 1 ) (1 , 0 ) i xi 22,
i 0
4
(1 , 1 ) i xi2 74,
这样就变成了线性模型 .
19
例2
设数据 ( xi , yi )(i 0,1,2,3,4) 由表3-1给出，
表中第4行为 ln yi yi ,通过描点可以看出数学模型为 及 b. y aebx , 用最小二乘法确定 a
表3 1 i xi yi 0 1.00 5.10 1 1.25 5.79 2 1.50 6.53 3 1.75 7.45 4 2.00 8.46
4
S ( x ) 的一般表达式为线性形式.
若 k ( x)是 k 次多项式，S ( x ) 就是 n 次多项式. 为了使问题的提法更有一般性，通常在最小二乘法中 S ( x) a00 ( x) a11 ( x) ann ( x) (n m) 考虑加权平方和
最小二乘拟合多项式
则法方程系数矩阵为： T 常数项为：
T a y
T
n y i i 1 n x y i i y i 1 n xm y i i i 1
其他类型的拟合问题
最小二乘法并不只限于多项式，也可用于任何具体给出的 函数形式。特别重要的是有些非线性最小二乘拟合问题通 过适当的变换可以转化为线性最小二乘问题求解。
因此，我们需要一种新的逼近原函数的办法
解决方案：
1. 2. 不要求过所有数据点（可以消除误差影响）； 尽可能地刻画数据点的趋势，靠近这些数据点。
插值与拟合的关系： 问题：给定一组数据点，构造一个函数作为近似（或逼近）。 解决方案：
1. 若要求所求曲线通过给定的所有数据点，就是插值问题； 2. 若不要求曲线通过所有数据点，而是要求它反映数据点的整体变化趋势， 这就是数据拟合，又称曲线拟合，所求出的曲线称为拟合曲线。
a0 sn a1sn 1 an s2 n un
称为正规方程组（或法方程组）。
可以证明：当 x0 , x1, 是最小值问题的解。
法方程组 可写成以 下形式:
m m xk k 1 m n xk k 1
xn , 互异时，该方程组有唯一解，并
k
x
k 1 m k 1
m
2 x k
令
x
k 1
m
n 1 k
n x y i k 1 a0 i 1 m n xy n 1 x a k 1 i 1 i i k 1 an n m 2n xin yi xk k 1 i 1
最小二乘法的基本原理和多项式拟合
最小二乘法的基本原理和多项式拟合一 最小二乘法的基本原理从整体上考虑近似函数)(x p 同所给数据点),(i i y x (i=0,1,…,m)误差i i i y x p r -=)((i=0,1,…,m)的大小，常用的方法有以下三种：一是误差i i i y x p r -=)((i=0,1,…,m)绝对值的最大值im i r ≤≤0max ，即误差 向量T m r r r r ),,(10 =的∞—范数；二是误差绝对值的和∑=mi ir 0，即误差向量r 的1—范数；三是误差平方和∑=mi ir02的算术平方根，即误差向量r 的2—范数；前两种方法简单、自然，但不便于微分运算 ，后一种方法相当于考虑 2—范数的平方，因此在曲线拟合中常采用误差平方和∑=mi ir02来 度量误差i r (i=0，1，…，m)的整体大小。
数据拟合的具体作法是：对给定数据 ),(i i y x (i=0,1,…，m)，在取定的函数类Φ中,求Φ∈)(x p ,使误差i i i y x p r -=)((i=0,1,…,m)的平方和最小，即∑=mi ir2=从几何意义上讲，就是寻求与给定点),(i i y x (i=0,1,…,m)的距离平方和为最小的曲线)(x p y =（图6-1）。
函数)(x p 称为拟合函数或最小二乘解，求拟合函数)(x p 的方法称为曲线拟合的最小二乘法。
在曲线拟合中，函数类Φ可有不同的选取方法.6—1二 多项式拟合假设给定数据点),(i i y x (i=0,1,…,m)，Φ为所有次数不超过)(m n n ≤的多项式构成的函数类，现求一Φ∈=∑=nk k k n x a x p 0)(,使得[]min )(00202=⎪⎭⎫⎝⎛-=-=∑∑∑===mi mi n k i k i k i i n y x a y x p I (1)[ ] ∑ = = - mi ii y x p 02 min ) (当拟合函数为多项式时，称为多项式拟合，满足式（1）的)(x p n 称为最小二乘拟合多项式。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
关于用正交多项式做最小二乘拟合的实验报告
1.实验目的：
用正交多项式做最小二乘拟合及拟合图形
2.实验内容：
编写用正交多项式做最小二乘拟合的程序，并用于求解一个任意给定的数的3次多项式最小二乘拟合问题，在这里给出数据如下：
对表格中数据用正交多项式做最小二乘拟合在拟合完后作出拟合曲线的图形，计算平方误差，最后对它们进行分析。
程序如下：
1). 构建的正交多项式最高项次数为3时的程序：
>> x= 1:0.3:4;
>> y=[2.718 3.669 4.95 6.686 9.025 12.182 16.445 22.198 29.964
40.447 54.598];
>> n=3; 构建的正交多项式最高项次数为3
>> result=inputdlg({'请输入权向量w:'},'charpt-3',1,{'[1 1 1 1 1 1 1 1 1 1 1]'});
>> w=str2num(char(result)); 利用str2num函数将数值型转化为符号型
>> m=length(x)-1;
>> s1=0;
>> s2=ones(1,m+1);
>> v2=sum(w);
>> d(1)=y*w';
>> c(1)=d(1)/v2;
>> for k=1:n
xs=x.*s2.^2*w';
a(k)=xs/v2;
if(k==1)
b(k)=0;
else
b(k)=v2/v1;
end
s3=(x-a(k)).*s2-b(k)*s1;
v3=s3.^2*w';
d(k+1)=y.*s3*w';
c(k+1)=d(k+1)/v3;
s1=s2;
s2=s3;
v1=v2;
v2=v3;
end
>> r=y.*y*w'-c*d'
r =
0.8918
>> alph=zeros(1,n+1)
alph =
0 0 0 0
>> T=zeros(n+1,n+2);
>> T(:,2)=ones(n+1,1);
>> T(2,3)=-a(1);
>>
>> if(n>=2)
for k=3:n+1
for i=3:k+1
T(k,i)=T(k-1,i)-a(k-1)*T(k-1,i-1)-b(k-1)*T(k-2,i-2); end
end
end
>> for i=1:n+1
for k=i:n+1
alph(n+2-i)=alph(n+2-i)+c(k)*T(k,k+2-i);
end
end
>> xmin=min(x);
>> xmax=max(x);
>> dx=(xmax-xmin)/(25*m);
>> t=(xmin-dx):dx:(xmax+dx);
>> s=alph(1);
>> for k=2:n+1
s=s.*t+alph(k);
end
>> plot(x,y,'x',t,s,'-');
>> grid on;
>> disp(alph);
>> disp(r)
2）. 构建的正交多项式最高项次数为4时，将上述程序中的n改为4即可3）. 构建的正交多项式最高项次数为8时，将上述程序中的n改为8即可3.实验结果：
1).n=3
>> plot(x,y,'x',t,s,'-')
>> disp(alph);
2.3365 -10.2050 19.2296 -8.9441
>> disp(r)
0.8918
2).n=4
r =
0.0185
alph =
0 0 0 0 0
0.5685 -3.3485 9.8348 -9.9063 5.6001
0.0185
2).n=8
r =
9.9721e-007
alph =
0 0 0 0 0 0 0 0 0
Columns 1 through 6
-0.0049 0.1028 -0.9037 4.4386 -13.1107 24.3727
Columns 7 through 9
-26.4044 17.4675 -3.2398
9.9721e-007
4.实验结论：
从上面的图像可以看出利用正交多项式做最小二乘拟合的效果很不错，误差很小，且正交多项式的最高次数项次数越高，误差越小。
用正交多项式做最小二乘拟合的这种方法的编程不用解线性方程组，只用递推公式，并且当逼近次数增加一次时，只要把程序中循环数加1即可，其余项都不用改变。
它是就目前来说用多项式做曲线拟合最好的计算方法。