连续函数的最佳逼近
函数的最佳逼近解读

§3 Optimal Approximation
最佳一致逼近多项式 的构造:求 n 阶多项式 Pn(x) 使得 || Pn y || 最小。
v 1.0
直接构造 OUAP 的确比较困难,不妨换个角度,先 考察它应该具备的性质。有如下结论:
OUAP 存在,且必同时有 偏差点。 证明:存在性证明略。后者用反证法,设只有正偏差点。
y ( ) ( x xi ) ( n 1)! i 0
( n 1 ) n
达到极小?
§3 Optimal Approximation
在[ 1, 1]上求{ x1, …, xn } 使得 wn( x) ( x xi ) i 1 的||wn|| 最小。
v 2.1
n Pn1 ( x) ,要使||w || 最小就意味着 w ( x ) x 注意到 n n
令 x = cos( ) ,则 x [ 1 , 1 ]。
Tn 的重要性质:
Tn ( x ) cos(n ) cos(n· arc cos x ) 称为Chebyshev多项式
k t cos ( k 0, 1, ... , n) 时,Tn (t k ) 交错取到极大值 1 当 k n 1
{tk }称为切比雪夫交错组 若 y C[a, b] 且 y 不是 n 次多项式,则 n 次OUAP 唯一。 证明:反证,设有2个OUAP’s,分别是Pn 和 Qn 。 对于Rn 有Chebyshev交错组{ t1,…, tn+2 }使得
Pn ( x) Qn ( x) 则它们的平均函数 Rn ( x) 也是一个OUAP。 2 1 1 En | Rn (t k ) y(tk ) | | Pn (tk ) y(tk ) | | Qn (tk ) y(tk ) | En 2 2 | Pn ( t k ) y( t k ) | | Qn ( t k ) y( t k ) | E n
10.连续函数的多项式一致逼近

附录一 Bernstein 多项式:连续函数的多项式逼近连续函数可以由多项式一致逼近是分析中的重要定理,直接的证明方法就是用函数的Bernstein 多项式去逼近函数。
通常的教材中的证明比较难于理解,我们选择前苏联数学家Korovkin 在1953年给出证明方法,解决了教学中的这一难点。
Weierstrass 第一逼近定理 设是闭区间[a , b ]上的连续函数,则存在多项式序列{在[a , b ] 上一致收敛于。
也就是对任意给定的)(x f })(x P n )(x f 0>ε,存在多项式,使得)(x P ε<−)()(x f x P对一切∈x [a , b ]成立。
Weierstrass 第一逼近定理的证明证 不失一般性,设[a , b ]为[0, 1]。
设X 是[0, 1]上连续函数全体构成的集合,Y 是多项式全体构成的集合,定义映射)(t f n B : X Y→ )(t f 6k n k k n n k n x x C n k f x f B −=−⎟⎠⎞⎜⎝⎛=∑)1(),(0,得到{},表示),(x f B n ),(x f B n X f ∈在映射作用下的像,它是以n B x 为变量的次多项式,称为的n 次Bernstein 多项式。
n f关于映射,有下述基本性质与基本关系式:n B (1)线性性:对于任意及X g f ∈,∈βα,R ,成立),(),(),(x g B x f B x g f B n n n βαβα+=+;(2)单调性:若()()(t g t f ≥∈t [a , b ]),则 ),(),(x g B x f B n n ≥ (∈x [a , b ]);(3); 1)1(),1(0=−=−=∑k n k k n n k n x x C x B x x x C n k x t B k n k k n n k n =−=−=∑)1(),(0; =−=−=∑k n k k n n k n x x C n k x t B )1(),(0222nx x x 22−+。
《数值分析》连续函数的最佳一致逼近

max
1 x1
(
x
x0
)(
x
x1
)(
x
xn
)
数值分析
数值分析
在[1,1]如何选取节点xk k 0,1,2, n使得
max ( x
1 x1
x0 )( x
x1 )( x
xn
)
尽可能的小
由Chebyshev 多项式的性质:首1的Chebyshev
多项式T n ( x)是所有首1的n次多项式中对零的偏差 最小。
数值分析
数值分析
P1(x)=a0+a1x
f(x)
a x1
b
综合以上,可解出
f (a) (a0 a1a) f (b) (a0 a1b)
f '( x1 ) a1
f (a) (a0 a1a) ( f ( x1 ) (a0 a1 x1 ))
a1
a0
f (b) f (a) , ba
数值分析
习题
1.用插值极小化方法,求f ( x) sin x在[0,1]上的 二次插值多项式P2( x),并估计误差。
数值分析
Rn ( x)
f
( x)
Ln ( x)
M n1 (n 1)!
2n
数值分析
数值分析
当插值区间是任意有限区间[a, b]时,需要作 变量代换
x b a b a t,t 1 (2x a b)
22
ba
将区间[1,1]上T n1(t )的零点换成[a, b]上
的插值节点
xk
ba 2
ba 2
又由于在[a,b]上f ''( x)不变号,故f '( x)在[a,b]上单调。
3.3 连续函数的最佳逼近(1)——数值分析课件PPT

特别地,
若{0 (x),1(x), n (x)} C[a, b]是正交函数系,
即
b
a i (x) j (x)dx
ij
0,i 0, i
j j
它的Gramer行列式Gn是对角矩阵。
(0,0 )
(1,1)
(n ,n )
下面我们讨论在区间[a, b]上函数的逼近问题。
➢函数逼近:用比较简单的函数代替复杂的函数 ➢误差为最小,即距离为最小(不同的度量意义)
f
( x)k
( x)dx
,(k
0,1,
再由内积的性质得:
, n),
n
(k , j )a*j ( f ,k ) ,(k 0,1, , n)。 (13)
j0
这是关于{aj}(j=0,1,…n)的线性方程组,称为
法方程. 简记为 Ga=d. 其展开形式为
(14)
(0,0 )
(1
,
0
)
(n ,0 )
则称 p*(x)是 f (x)在 C[a,b] 中的最佳平方逼近函数。
即给定 f (x) C[a,b],求p*(x) ,
使 min
||
f
(x)
p(x) ||22 ||
f
(x)
p*(x)
||22
.
讨论最佳平方逼近函数 p*(x) 的存在性,唯一性及计算方法。
(1)存在性,唯一性 对p(x) p ,
原问题转化为求
(a0*
,
a1*
,
a
* n
),使
min
ai实 数
I (a0
,
a1 ,,
an
)
I (a0
,
a1 ,an
数值分析(22)连续函数的最佳一致逼近.ppt

故
e1 e0
b
e 1 1.7183
10
由 f '( x1 ) e x1 e 1
求出 x1 ln(e 1) 0.5413
e0 e0.5413
0.5413
a
1.7183
0.[0,1]上的最佳一致逼近多项式为
P( x) 0.8940 1.7183 x
22
定理2(Chebyshev定理) 设f ( x) C[a, b], Pn ( x) H,则Pn( x)是f ( x)的
最佳一致逼近的充分必要条件是f ( x) Pn ( x)在[a, b] 上至少有n 2交错点组成的交错点组。
对n 1, f ( x) P1( x)有n 2 3个交错点。
a0
f (a) f ( x1 ) 2
f
(b)
f (a)
a
x1
ba
2
这样就得到f ( x)的线性最佳一致逼近多项式为
P1( x) a0 a1 x
数值分析
数值分析
例:选取常数a, b,使max | ex (a bx) | 达到最小。 0 x1
解:设P( x) a bx为f ( x) e x在[0,1]上的最佳一致 逼近多项式。
数值分析
数值分析
定义 设函数f ( x) C[a, b], 称点集
{ xk }kn0 { x0, x1, xn } 是f ( x)在[a, b]的交错点组,当且仅当满足
f ( xk ) (1)k
f (x)
(k 0,1, 2
, n)
其中 取1或 1。
例 f ( x) sin x 在[0, 2]的交错点组{1 , 3}。
x[ 1,1]
T n( x)
RBF神经网络和BF神经网络优缺点

1.RBF 的泛化能力在多个方面都优于BP 网络, 但是在解决具有相同精度要求的问题时, BP 网络的结构要比RBF 网络简单。
??2.RBF 网络的逼近精度要明显高于BP 网络,它几乎能实现完全逼近, 而且设计起来极其方便, 网络可以自动增加神经元直到满足精度要求为止。
但是在训练样本增多时,RBF 网络的隐层神经元数远远高于前者, 使得RBF 网络的复杂度大增加, 结构过于庞大, 从而运算量也有所增加。
??3.RBF神经网络是一种性能优良的前馈型神经网络,RBF网络可以任意精度逼近任意的非线性函数,且具有全局逼近能力,从根本上解决了BP网络的局部最优问题,而且拓扑结构紧凑,结构参数可实现分离学习,收敛速度快。
4.他们的结构是完全不一样的。
BP是通过不断的调整神经元的权值来逼近最小误差的。
其方法一般是梯度下降。
RBF是一种前馈型的神经网络,也就是说他不是通过不停的调整权值来逼近最小误差的,的激励函数是一般是高斯函数和BP的S型函数不一样,高斯函数是通过对输入与函数中心点的距离来算权重的。
5.bp神经网络学习速率是固定的,因此网络的收敛速度慢,需要较长的训练时间。
对于一些复杂问题,BP算法需要的训练时间可能非常长,这主要是由于学习速率太小造成的。
而rbf神经网络是种高效的前馈式网络,它具有其他前向网络所不具有的最佳逼近性能和全局最优特性,并且结构简单,训练速度快。
6. BP网络用于函数逼近时,权值的调节采用的是负梯度下降法,这种调节权值的方法有它的局限性,既存在着收敛速度慢和局部极小等缺点。
而径向基神经网络在逼近能力、分类能力和学习速度等方面均优于BO网络。
从理论上,RBF网络和BP网络一样可近似任何的连续非线形函数,两者的主要差别在于各使用不同的作用函数,BP网络中的隐层节点使用的是Sigmoid函数,其函数值在输入空间中无限大的范围内为非零值,而RBF网络的作用函数则是局部的。
7. RBF神经网络与BP神经网络的比较RBF神经网络与BP神经网络都是非线性多层前向网络,它们都是通用逼近器。
研究生数值分析 最佳平方逼近

15
解方程组,得 c j =
(ϕ j , f ) (ϕ j , ϕ j )
, j = 0,1, ..., n
因此得最佳平方逼近多项式 n n (ϕ , f ) j s( x ) = ∑ c j ϕ j ( x ) = ∑ ϕ j ( x) j=0 j = 0 (ϕ j , ϕ j ) 平方误差为
p∈H n
则称 p ∗ ( x) 为子空间 H n 中对与 f(x)的最佳平方逼近元素。
特 别 的 , 如 果 ϕ j = x j , j = 0,1, ⋅⋅⋅, n 则 称 满 足 条 件 的 p∗ ( x) ∈ H ,为函数 f(x)在区间[a,b]上带权 ρ ( x ) 的 n
n
次最佳平方逼近多项式。
•勒让德多项式(Legendre)
[-1,1] , ρ(x)=1 三项递推关系:
Pn +1 ( x) = 2nn++11 xPn ( x) − nn P ( x), n = 1,2,3... +1 n −1
1 dn 2 2 Pn ( x ) = n ⋅ ( x − 1 ) 2 ! dx n
数值分析
17
数值分析
5
π π ⎧ π 2 2 2 2 + = a x dx b x dx x sin xdx ⎪ ∫ ∫ ∫ ⎪ 0 0 0 ⎨ π π π ⎪ a 2 x dx + b 2 dx = 2 sin xdx ∫0 ∫0 ⎪ ⎩ ∫0
⎧π 3 π2 a+ b=1 ⎪ ⎪ 24 8 ⎨ 2 ⎪ π a+π b=1 ⎪ 2 ⎩ 8 解 得 a ≈ 0.6644389, b ≈ 0.1147707
数值分析
19
数值分析(20)连续函数的最佳平方逼近

(2)三角逼近取
span i (
n
x) i=0
=span1,sin x,cos x,sin 2x,cos 2x, ,sin nx,cos nx
数值分析 3
数值分析
二、逼近标准
称 (x) f (x) s(x) 为逼近误差或余项。
定义 7-1(最佳逼近元素)逼近的标准即要求 (x)
的某一种范数达到最小,即寻找 s*(x) 满足
n
c j j ( x)]k ( x)dx
j0
2( f ( x) s*( x),k ( x)) 0 k 0,1, 2, ..., n
数值分析 14
数值分析
故s*( x)的系数c0 , c1 , ..., cn是如下方程组的解
( f ( x) s*( x),k ( x)) 0, k 0,1, 2, ..., n (1)
其中
(0 ,0 ) (1,0 )
G
(0
,1
)
(1,1 )
(0 ,n ) (1,n )
(n ,0 )
(
n
,
1
)
R(
n1)(
n1)
(
n
,
n
)
F (( f ,0 ),( f ,1 ), ,( f ,n ))T Rn1
矩阵G称为关于0( x),1( x), ,n( x)的Gram (克莱姆)矩阵,也常记为G(0 ,1, ,n )
0
2x
0
dx
2 x sin xdx
0
a 2 x dx b 2
0
0
dx
2 sin xdx
0
3 2
24 a 8 b 1
2
8
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
特别地,
若{0 ( x), 1 ( x), n ( x)} C[a, b]是正交函数系, 即 ij 0, i j a i ( x) j ( x)dx 0, i j
* 讨论最佳平方逼近函数 p ( x) 的存在性,唯一性及计算方法。
(1)存在性,唯一性 n
令
f p
2 2
对p( x) p ,
n
(a0,a1, an) Rn1 p ( x) a j j ( x)
j 0
( x)( f ( x) a j j ( x))2 dx I (a0 , a1 ,, an )
2 b
,使得
f p * 2 inf ( x)[ f ( x) p( x)]2 dx
a
(12)
* p 则称 ( x)是 f (x)在 C[a, b] 中的最佳平方逼近函数。
* 2 || f ( x) p( x) ||2 || f ( x ) p ( x ) || 即给定 f ( x) C[a, b] , 求p* ( x) , 使 min 2 2 .
j 0
n
* * 即 ( x ) aa j j j ( x)k ( x)dx
b
n n
a
j j 00
(k 0,1,, n), ( x) f ( x) ( x)dx ,
a k
b
再由内积的性质得:
* ( , ) a (k 0,1,, n)。 (13) k j j ( f , k ) , j 0 n
b a
n n
nn
2( ( x)( f ( x) a j j ( x))(k ( x))dx)
b a j 0
jj 0 0 n
jj 00
令
b
a
( x)( f ( x) a*j j ( x))(k ( x))dx 0,(k 0, 1, 2, ,n),
b a j 0
n
f p
* 2 2
* * * 数分知识, ( x)( f ( x) a*j j ( x))2 dx I(a0 , a , a ) 1 n a j 0 它有稳定解
b
* * * 使 minI (a0 , a1 ,, an ) I (a0 , a1 ,an ) , a1 ,an ), 原问题转化为求 (a0 a 实数
a0 d 0 n * j 则有 p *( x) a jx j 0 a1 d1 平方误差为 n 1 2 2 * f a i ( f , i ) 2 2 an d n 2n 1 i 0
j k 1 j k 1 b a ( j, k ) x j k dx j k 1 a b
1
1
1
( f , k ) f ( x )x k dx d k , (k 0,1,, n)
0
1
解法方程组 Ga=d
1 1 2 1 n 1 1 2 1 3 1 n2 1 n1 1 n1
2
n
* 2 2
j 0
事实上,
f p
2 2 *
( f p, f p )
( f p p* p, f p* p* p) ( f p* , f p* ) ( p* p, p* p) 2( f p* , p* p)
* 因为 p p (a* a ) ( x ) , a j j j j a j R, * j 0 * 所以 ( f p *,p * p) ( f p *, ( a j a j ) j ( x)). n n
定义3.3 设0 ( x), 1 ( x), n ( x)在[ a, b]上连续, 如果 a00 ( x) a11 ( x) an n ( x) 0 当且仅当a0 a1 an 0时成立,则称
0 ( x), 1 ( x), n ( x)在[ a, b]上是线性无关的.
因为0 ( x ), 1 ( x ),..., n ( x )在[a, b]上线性无关, 所以 G 0, 故法方程 GC F 的解存在且唯一。
结论3(最佳平方逼近)
( 1 )若 f ( x ) C[a, b];
(2) 函数类 Span0 ( x),1 ( x),,n ( x) , i ( x ) C[a, b],
(14)
a0 ( f , 0 ) a ( f , ) 1 1 , an ( f , n )
因0 , , n线性无关, 故法方程系数行列式Gn 0, 法方程有唯一解. 可见,系数a* j 满足法方程.
定义3.4
(最佳平方逼近函数)
设 0 ( x ),1 ( x ), n ( x ),是C[a , b]中的线性无关函数, 记
span{0,1, ,, n , } { p( x) : p( x) akk ( x), ak R}
k 0 n
对于f (x)∈C[a,b],若存在 p* ( x)
(a* j a j )( f p *, j ( x) )
j 0
n
j 0
0
2 2
误差与基函数正 交
所以
f p
2 2
( f p* , f p* ) ( p* p, p* p) 2( f p* , p* p)
f p
* 2 2
p p
*
f p
几何解释:
f ( x)
f ( x ) p *( x )
H
p * ( x)
结论2 法方程的解是存在且唯一的。
证: 法方程组的系数矩阵为
( 0 , 0 ) (1 , 0 ) ( n , 0 ) ( , ) ( , ) ( , ) 1 1 n 1 G 0 1 ( 0 , n ) (1 , n ) ( n , n )
f p
* 2 2
f
n
2
* ( f , p )。 2
2 2
f
* a i ( f , i ) 2 2 i 0
总结上述讨论则有以下结论1,2,3.
结论1 设内积空间X C [a , b]中的子空间 H span{ 0 ( x ), 1 ( x ), ..., n ( x )} X, 函数p * (x ) H 是对f ( x ) X的最佳平方逼近函数的 充分必要条件是f ( x ) p * ( x )与所有的 j ( x ) (j=0,1, ...,n)正交,即满足 (f ( x ) p * ( x ), j ( x )) 0, ( j 0,1, ..., n)
由(13) 知
* ( , ) a j k j ( f , k ) , j 0
n
(k 0,1,, n)
( f p* ,k (x))=0
k 0,1,, n
(15)
误差与基函数正 交
(2)要证明法方程确定的p *( x)是f ( x)在集合上的 最佳平方逼近函数.
即证p( x) a j j ( x) , 有 f p 2 f p
3.3
连续函数的最佳逼近
1 连续函数的最佳平方逼近
2 连续函数的最佳一致逼近
( f , g ) ( x) f ( x) g ( x)dx, f , g C[a, b]
a
b
3.3.1 连续函数的最佳平方逼近
连续函数空间C[a,b]上定义了内积(6)就形 成了一个内积空间。在Rn空间中任一向量都可用 它的线性无关的基表示。类似地,对内积空间任 一元素f (x)∈ C[a,b],也可用线性无关的基表示。
ቤተ መጻሕፍቲ ባይዱ
* 即求p *( x) a* 的系数 a j j j , 使得 j 0
n
i
I (a0 , a1 , an ) ( x)[ f ( x) a j j ( x)]2 dx
b a
n
取得极小值。
可由 [
j 0
I ]( a , a ) 0, ( k 0,1,, n) , 求(a* , a* ,a* ) , 0 1 n ak 0 n
这是关于{aj}(j=0,1,…n)的线性方程组,称为 法方程. 简记为 Ga=d. 其展开形式为
(0 , 0 ) (0 , 1 ) ( , ) ( , ) 1 1 1 0 (n , 0 ) ( n , 1 ) (0 , n ) (1 , n ) ( n , n )
2.函数逼近问题的提出
函数逼近问题 : 对f ( x) C[a, b], 求p *( x) span{0 , ,
n }, 使得误差f ( x) p *( x)在某种度量意义下最小. 其中 0 , , n C[a, b]线性无关.
下面讨论在区间[a,b]上 一般的最佳平方逼近问题。
* 2 2
, p( x)
即p *( x)是最优的。
非负
(3) 平方误差
f p
* 2 2
( f p* , f p* )
( f , f) (p*,p*) ( 2 f , p*)
因 ( p* , p* ) ( f ,p*)( p* f ,p* ) 0 ,