数值分析之最小二乘法与最佳一致逼近
数值分析函数逼近

阜师院数科院 第六章 函数k 逼 近0
第165-页1,5 本讲稿共44页
正规方程组的几种形式(续)
在(6-4)中打开和式 m 令j=0,1,2,…,m,则 正规方程组为: k 0
j0 j1
10,,00
0,1 1,1
10,,m maa10((yy,,10))
(6-5
jmm,0 m,1 m,mam (y,m)
阜师院数科院 第六章k函 0 数逼近i 1
i 1
(j0 ,1 , ,m )
(紧接下屏) 6- 第9页,9本讲稿共44页
打开和式
m
即:
多项式拟合(续)
nao
n
k 0 xi a1
n
xi2
a2
n
ximam
n
yi
i1 i1
i1
i1
n
i1
xi
n a0 i1
m
证明 : 对任意的 (x) ck k (x) 2 i ( yi ( xi ) ( xi ) ( xi )) 2
i 1
i 1
n
n
i ( yi ( xi )) 2 2 i ( yi ( xi ))( ( xi ) ( xi ))
势?首先要建立好坏的标准。
假定a0,a1已经确定,yi* = a0+a1xi(i =1,2,…,n) 是由近似
函数求得的近似值,它与观测值
y
yi 之差ri = yi yi*=yi a0a1xi
8
(i =1,2,…,n) 称为偏差。显然, 6
图6-1
* *
偏差的大小可作为衡量近似
4
*
函数好坏的标准。偏差向量
{k(x)} 线性无关 系数矩阵非奇异 唯一解:
数值分析06-平方逼近

0 1 1 1 0 0 0 1 2 0 2 2
从上节知道 利用正交函数系可以简化最小二乘法的求 解,并提高解的精度,而正交多项式系,由于其计算简便 ,是函数逼近的重要工具,后面一致逼近,积分也要用到 正交多项式。 定义6.3 如果函数系{0(x), 1(x),…, m(x),…}满足:
0 k 1
( x ) 因而任一至多 0 k ( k1次多项式 Q ( x ) 均能表成它们的线性组 0且 ( x ) 0 ,1, 2 ,...) k 1
2 k 2 k
合。
根据定积分性质有: ( k , k ) ( x ) k ( x ) d x 0 设: Q k 1 ( x ) b aj j ( x ) 所以, k ( x )}为正交多项式系。0 { j
2
阜师院数科院第六章 函数逼近
b a
( k 2 ,3 , L , n )
6-11
( x ) k 2 ( x ) d x
2
下面介绍几种常用的正交多项式: (一)勒让德(Legendre)多项式 Legendre多项式的一般表示式为: n 1 d 具体表达 2 n Pn ( x ) n [( x 1) ] n 式为: 2 n! dx
W Y
设 0, 1, , n 是线性相关的
, 即存在不全为
c 0 ( 0 , i ) c 1 ( 1 , i ) c n ( n , i ) c i ( i , i ) 0
0, 1, , n 在 [ a , b ]上线性无关。
0 ( j , k ) ( x ) j ( x ) k ( x ) dx a Ak 0
4数值分析之最小二乘法

( 0 , n ) c0 ( f , 0 ) (1, n ) c1 ( f ,1 ) ( n , n ) cn ( f , n )
这个叫正则方程组或法方程组. 如果取的是正交基(正交函数系)则可保证系数矩阵是对角阵.
c dx
b a i i 1 i 0
n
b
a
f 1dx
b
c
i i 0
n
b
a
i1dx f 1dx
a
连续函数的最佳平方逼近
c
i i 0
n i i 0
n
b
a
i1dx f 1dx
a
1 1
b
c ( , ) ( f , )
a b 1 2
g
[ห้องสมุดไป่ตู้( xi ) g 2 ( xi )]1/2
i 1
m
最小二乘法
在科学实验中,得到函数y=f(x)的一组实验数 据: ( xi , yi ) (i 1,2,...m) ,求曲线y=f(x)的近似 曲线.
2
f ( x ) g ( x ) ( xi )[ f ( xi ) g ( xi )]
1 0) c0 2 / 3) 0 1 / 12 c 1 / 15 1 c0 10 / 15) c 12 / 15 1
对角阵
例题
10 12 g ( x) 1( x) 0 ( x) 15 15 10 12 ( x 1 / 2) 15 15 4 12 x 15 15
连续函数的最佳平方逼近
f(x) - g (x) = min f(x) - g(x)
计算方法最佳平方逼近-最小二乘法

i0
i0
为最小。
这种要求误差(偏差)平方和最小的拟合称为 曲线拟合的最小二乘法。
(1)直线拟合
设已知数据点 (xi , yi ), i 1, 2, … , m 分布大致为 一条直线。作拟合直线 y(x) a0 a1x, 该直线
不是通过所有的数据点 (xi , yi ) ,而是使偏差平方和
F(a0 , a1 )
计算方法 (Numerical Analysis)
第5次 最佳平方逼近与曲线拟合的最小二乘法
主要内容
• 最佳平方逼近 • 曲线拟合的最小二乘法
最佳平方逼近
函数逼近的类型
• 最佳一致逼近:使用多项式对连续函数进行一致 逼近。逼近误差使用范数
||
f(x)
-
s(x)
||
max
a x b
|
f(x)
-
1(1 x2 )dx 1(0.934 0.426x) 1 x2dx
0
0
0.0026
最大值误差 :
同学们自己求一下
|| δ(x) || max | 1 x2 (0.934 0.426x) | 0.066
例题 求f(x) x在[1/4,1]上的在Φ span{1, x} 中的关于ρ(x) 1的最佳平方逼近多项式。
10 27
88 x 135
平方误差 :|| δ(x) ||22
1xdx
1
( 10 27
7 12
31 80
) 88
135
4
1.02
p1* (x)
10 27
88 x. 135
1
f(x) x
平方误差 : || δ(x) ||22 0.0001082.
数值分析学习课件

n= 4
3π 5π 7π 9π , t 2 = cos , t 3 = cos , t 4 = cos 10 10 10 10 10 a+b b−a 1 x= t = ( t + 1) + 2 2 2 1 π 1 3π x0 = (cos + 1) ≈ 0.98 , x1 = (cos + 1) ≈ 0.79 2 10 2 10 1 5π 1 7π x2 = (cos + 1) ≈ 0.50 , x3 = (cos + 1) ≈ 0.21 2 10 2 10 1 9π x4 = (cos + 1) ≈ 0.02 为节点作L 以 x0, …, x4 为节点作 4(x) 2 10 , t1 = cos
Take it easy. It’s very Didn’t you say it’s anot so difficult if we consider difficult problem? polynomials only.
§1.最佳一致逼近 1.最佳一致逼近
最佳一致逼近多项式 /* optimal uniform approximating polynomial */ 的构造:求 n 阶多项式 Pn(x) 使得 || Pn − y ||∞ 最 的构造: 小。
第二讲
§1.最佳一致逼近 1.最佳一致逼近
§1.最佳一致逼近 1.最佳一致逼近
偏差
最佳一致逼近 最佳一致逼近 /* uniform approximation*/
意义下, 最小。 在 || f ||∞ = max | f ( x ) | 意义下,使得 || P − y ||∞ 最小。也称 为minimax problem。 。 偏差点。 若 P ( x0 ) − y( x0 ) = ± || P − y ||∞ ,则称 x0 为± 偏差点。
数值分析之最小二乘法与最佳一致逼近

就要求矩阵 G非奇异,
而 0 ( x), 1 ( x), , n ( x)在 [a, b]上线性无关不能推出 矩阵 G非奇异,必须加上另外的条件.
8
定义10
设 0 ( x), 1 ( x), , n ( x) [a, b]的任意线
性组合在点集 {xi , i 0,1,, m}(m n) 上至多只有 n 个
只在一组离散点集 {xi , i 0,1,, m} 上给定,这就是科
学实验中经常见到的实验数据 {( xi , yi ), i 0,1,, m}的
曲线拟合.
1
问题为利用 yi f ( xi ), i 0,1,, m, 求出一个函数
y S * ( x) 与所给数据{( xi , yi ), i 0,1,, m} 拟合.
13
令 S1 ( x) a0 a1 x, 这里 m 4, n 1, 0 ( x) 1, 1 ( x) x, 故
( 0 , 0 ) i 8,
i 0 4
( 0 , 1 ) (1 , 0 ) i xi 22,
i 0
4
(1 , 1 ) i xi2 74,
这样就变成了线性模型 .
19
例2
设数据 ( xi , yi )(i 0,1,2,3,4) 由表3-1给出,
表中第4行为 ln yi yi ,通过描点可以看出数学模型为 及 b. y aebx , 用最小二乘法确定 a
表3 1 i xi yi 0 1.00 5.10 1 1.25 5.79 2 1.50 6.53 3 1.75 7.45 4 2.00 8.46
4
S ( x ) 的一般表达式为线性形式.
若 k ( x)是 k 次多项式,S ( x ) 就是 n 次多项式. 为了使问题的提法更有一般性,通常在最小二乘法中 S ( x) a00 ( x) a11 ( x) ann ( x) (n m) 考虑加权平方和
【2019年整理】数值分析06-一致逼近

即在H中 (x)与f(x)之差的绝对值的最大值是最小的,H中 任一ψ (x)与f(x)之差的绝对值的最大值都比它大,这样的 6-3 阜师院数科院第六章 函数逼近 ( x )为 f(x )在 H 中的最佳一致逼近函数。
W Y
§5 最佳一致逼近多项式
max ri max f ( x) ( x) min
a x b
则称x0为ψ (x)的偏差点,偏差点为正,称为正偏差点, 偏差点为负,称为负偏差点 可以从下面例中理解有关概念。
阜师院数科院第六章 函数逼近 6-4
W Y
最佳一致逼近多项式(续)
H H n span 1, x, , x
n
a
k 0
n
k
x
k
称为f(x)在[a,b]上的 n次最佳一致逼近多项式。
6-2
Y
在度量标准 max ri 下,求 (x) ,使
i
(达到最小),这就是最佳一致逼近(不要产生最大误差, 均匀一些),通常仍 然取 (x)为多项式,即求多项式 (x) 使残差: r f (x ) (x )
i i i
绝对值的最大值 达到最小。或可写为:在H中求满足 (x) (f 的逼近函数 (x) ): max f ( x) ( x) min max f ( x) ( x)
好的近似直线:偏差均匀(一样大),即在0,,1三个点 (偏差点)处偏差值相同且最小。所以可利用偏差点使 偏差值最小,例题说明:一次最佳一致逼近多项式容易 6-8 阜师院数科院第六章 函数逼近 求,因为偏差点偏差能找到。
按偏差,最佳一致逼近问题为: 在n次多项式中,求一 最佳一致逼近概念 (按偏差) 个 max (x) ,在[a,b ]上使 (x)对f(x)的偏差 f ( x) ( x)
最佳平方逼近与最小二乘拟合

最佳平方逼近与最小二乘拟合——两者的区别与联系 函数逼近是用一个多项式无限接近原函数,而拟合是将函数中的元素联系起来。
也就是说,最佳平方逼近是针对函数,最小二乘法是针对离散的点,二者在形式上基本一致。
另外,最小二乘拟合也称为离散型最佳平方逼近,两者的解法有很多相似之处。
一、 函数的最佳平方逼近 (一)最佳平方逼近函数的概念对[]b a C x f ,)(∈及[]b a C ,中的一个子集{}n span ϕϕϕφ,,,10⋯=,若存在φ∈)(*x S,使[]dx x S x f x S f Sf baS S ⎰-=-=-∈∈22222*)()()(infinf ρϕϕ,则称)(*x S 是)(x f 在子集[]b a C ,⊆φ中的最佳平方逼近函数。
(二)最佳平方逼近函数的解法为了求)(*x S ,由[]dxx S x f x S f Sf baS S ⎰-=-=-∈∈22222*)()()(infinf ρϕϕ可知,一般的最佳平方逼近问题等价于求多元函数dxx f x a x a a a I banj j j n 2010)()()(),,,(⎰∑⎥⎦⎤⎢⎣⎡-=⋯=ϕρ的最小值问题。
由于),,,(10n a a a I ⋯是关于n a a a ,,,10⋯的二次函数,利用多元函数极值的必要条件),,1,0(0n k a Ik⋯==∂∂,即),,,,1(2nn x x x G G =n),,1,0(0)()()()(20⋯==⎥⎦⎤⎢⎣⎡-=∂∂⎰∑=k dx x x f x a x a Ik b a n j j j kϕϕρ,于是有()()),,1,0(,,0n k f a k j nj j k ⋯==∑=ϕϕϕ。
()()),,1,0(,,0n k f a k j nj j k⋯==∑=ϕϕϕ是关于n 10,,,a a a ⋯的线性方程组,称其为法方程。
由于n ϕϕϕ,,,10⋯线性无关,故系数行列式()0,,,10≠⋯n G ϕϕϕ,于是方程组()()),,1,0(,,0n k f a k j nj j k⋯==∑=ϕϕϕ有唯一解),,1,0(*n k a a k k ⋯==,从而得到)()()(*0*0*x a x a x S n n ϕϕ+⋯+=。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
下面用归纳法证明这样给出的 {Pk是(x正)}交的.
28
Pk 1(x) (x k 1)Pk ( x) k Pk 1( x)
(k 1,2, , n 1).
由
的表达式,有1
(P0 , P1) (P0 , xP0 ) 1(P0 , P0 )
( P0
,
x P0
)
( xP0 , P0 ) (P0 , P0 )
函Hale Waihona Puke 族,即( j ,k )m i0
(xi ) j (xi )k (xi )
0,
Ak
0,
j k, j k,
25
则方程的n 解(为k , j )a j dk
(k 0,1, , n).
j 0
m
ak*
( f ,k ) (k ,k )
(xi ) f (xi )k (xi )
i0
m
(
xi
)
2 k
1, (x
1
)
P0
(
x),
Pk 1(x) (x k 1)Pk ( x) k Pk 1( x)
(k 1,2, , n 1).
这里 Pk (是x)首项系数为1的 次k多项式, 正交性,得
根据 Pk (的x)
27
m
k 1
( xi ) xi Pk2 ( xi )
i0
m
( xi )Pk2 ( xi )
( P0
,
P0
)
0.
假定 (Pl , Ps ) 对0(l s) 及s 0,1, , l 1 l 0,1, , k,
k n 均成立,要证 (Pk1, Ps对) 0 s 均 成0,1立,. , k
有
(Pk 1, Ps ) (( x k 1)Pk , Ps ) k (Pk 1, Ps ) (xPk , Ps ) k 1(Pk , Ps ) k (Pk 1, Ps ).
4
S的(x一) 般表达式为线性形式.
若 是k (x次) 多k项式,
S (x) 就是 n次多项式.
为了使问题的提法更有一般性,通常在最小二乘法中
考虑S加(x权) 平 a方0和0 (x) a11(x) ann (x) (n m)
m
( , ) (xi )[S (xi ) yi ]2 , i0
(1,1) i xi2 74, i0
4
(0 , f ) i fi 47, i0
4
(1, f ) i xi fi 145.5. i0
0 (x) 1,
14
n
(k , j )a j dk
j 0
可得方程组
(k 0,1, , n).
82a20a0 227a41a14174, 5.5.
8.46 2.135
21
4
(0 , y) yi 9.404, i0
4
(1, y) xi yi 14.422. i0
故有法方程
解得
5A 7.50b 9.404, 7.50A 11.875b 14.422.
A1.122, b 0.505, a eA 3.071.
于是得最小二乘拟合曲线为
求解法方程时将出现系数矩阵
为G 病态的问题,
我们在下面考虑用正交多项式的方法解决。
通常对 n 的1简单情形都可通过求法方程得到
S *(x).
n
(k , j )a j dk
j 0
(k 0,1, , n).
11
例1 已知一组实验数据如下,求它的拟合曲线.
xi 1 2 3 4 5 fi 4 4.5 6 8 8.5
m
m
(xi )[S *(xi ) f (xi )]2 (xi )[S (xi ) f (xi )]2 ,
i0
i0
故 S *(确x)是所求最小二乘解.
S(x) a00 (x) a11(x) ann (x) (n m)
10
给定 f的(x离) 散数据 {( xi , yi ), i, 0,1, , m} 一般可取 span{1, x,,但,这xn样} 做当 时, n 3
0 (x) 1,1(x) x,(x) 1,
得
表3 1
(0 ,0 ) 5,
i
0
41
2
3
4
xi
(10.,001) 1.2x5i 71.5.5, 0 i0
1.75
2.00
yi
yi
5.10 54.79 6.53 7.45
(1.16,219) 1i.70 5x6i2 111.8.87765, 2.008
6
若记
m
( j ,k ) (xi ) j (xi )k (xi ), i0 m
( f ,k ) (xi ) f (xi )k (xi ) dk i0 (k 0,1, , n).
上式可改写为
n
(k , j )a j dk
j 0
(k 0,1, , n).
这个方程称为法方程,可写成矩阵形式
( xPk ( x), Pk ( x)) (Pk ( x), Pk ( x))
i0
( xPk , Pk )
(Pk , Pk )
m
k
( xi )Pk2 ( xi )
i0
m
(
xi
)
P2 k 1
(
xi
)
(Pk , Pk ) (Pk 1, Pk 1 )
i0
(k 1,2, , n 1).
n
不同的零点,则称 0 (x),1(x),在 点,集n (x)
{xi , i 0,1, , m}上满足哈尔(Haar)条件.
显然 1, x,在任, x意n
个m点(m上满n足) 哈尔条件.
如果 0 (x),1(x), ,在n (x)上[满a,足b] {xi}0m
哈尔条件,则法方程 的系数矩阵 非奇异,
7
Ga d,
其中 a (a0 , a1, , an )T , d (d0 , d1, , dn )T ,
(0 ,0 ) (0 ,1)
G
(1
,
0
)
(1 , 1 )
(0 ,n )
(1
,
n
)
.
n (n ,0 ) (n ,1) (n ,n )
(k , j )a j dk (k 0,1, , n).
这里
m
m
2 i
[S * (xi ) yi ]2
i0
i0
m
min
S ( x)
i0
[S (xi )
yi ]2 ,
S(x) a00 (x) a11(x) ann (x) (n m).
3
这个问题称为最小二乘逼近,几何上称为曲线拟合的 最小二乘法.
用最小二乘求拟合曲线时,首先要确定 S的(形x)式. 确定 S的(x形) 式问题不仅是数学问题, 还与问题的 实际背景有关. 通常要用问题的运动规律及给定的数据进行数据描图, 确定S (的x)形式, 然后通过实际计算选出较好的结果.
于是
方程存在唯一的解
ak ak* , k 0,1, , n. 从而得到
函数 f (x的) 最小n二乘解为
(k , j )a j dk (k 0,1, , n).
j 0
9
S *(x) a0*0 (x) a1*1(x) an*n (x).
这样得到的 S *(,x) 对任何的
S (x) 都有
记误差
i S *(xi ) yi , i 0,1, , m, 则 δ (0 ,1,的,各 m分)T量分别为 个数据m点上的误差.
2
设 0 (x),1(x是), ,n上(x线) 性无C[关a,函b]数族, 在 span{0 (x),1(中x)找,一,函n数(x)} ,
使误差平方和
S * ( x)
§4 曲线拟合的最小二乘法
1 最小二乘法及其计算
在函数的最佳平方逼近中 f (x) C如[a果, b],
f (x)
只在一组离散点集 {xi , i 0,1,上给, m定},这就是科 学实验中经常见到的实验数据 {( xi , yi ), i 0的,1, , m} 曲线拟合.
1
问题为利用 yi f (xi ), i 求0出,1一,个, m函,数 y S*(x) 与所给数据{( xi , yi ), i 0,拟1,合. , m}
i 2 1 3 1 1
12
解 将所给数据在坐标纸上标出,见图3-4.
图3-4 从图中看到各点在一条直线附近,故可选择线性函数作 拟合曲线,
13
令 S1(x) a0 a1x, 这里 m 4, n 1,
1(x) x, 故
4
(0 ,0 ) i 8, i0
4
(0 ,1) (1,0 ) i xi 22, i0 4
29
由归纳法假定,当 0 s k时 2
(
xi
)
(k 0,1, , n).
i0
且平方误差为
n
( , ) ( f , f ) Ak (ak* )2. k 0
26
接下来根据给定节点 x0 , x1,及权,函xm数
构造带权 ( x正)交的多项式 {P. n (x)}
注意 n,用m递推公式表示 ,P即k (x)
(x) 0,
PP10((xx))
y 3.071e0.505x.
22
利用下面的程序,可在Matlab中完成曲线拟合.
x=[1.00 1.25 1.50 1.75 2.00]; y=[5.10 5.79 6.53 7.45 8.46]; y1=log(y); aa=poly(x,y1,1); a=aa(1); b=exp(aa(2)); y2=b*exp(a*x); plot(x,y,’r+’,x,y2,’k’) xlabel(‘x’); ylabel(‘y’); gtext(‘y=a*exp(bx))’;