数值分析之最小二乘法和最佳一致逼近56页PPT
合集下载
数值分析(21)离散数据的最小二乘拟合.ppt
法方程GC=F存在惟一解的充要条件显然是系数矩阵 即Gram矩阵G非奇异。
由 函 数 ( x ) 和 点 集定 x , x , . . . x 义 一 个 向 量 j 0 1 m
j ( x0 ) j ( x1 ) m1 j R , j 0,1,..., n ( x ) j m
第三节 离散数据的最小二乘曲线拟合
一、问题的提法与计算
给定m 1个数据点 xi x0 , x1 , , xm , f ( xi ) f ( x0 ), f ( x1 ), , f ( xm ), 及权系数0 , 1 , ..., m ,并已知函数模型s( x , c )。用给 定的数据点，按给定的函数模型，构造拟合函数s( x ) 逼近未知函数f ( x ), 使
线 性 最 小 二 乘 问 题 ： 求 矛 盾 方 程 组 A C Y 的 最 小 二 乘 解 。
数值分析
连续函数最佳平方逼近问题的一般提法
* 在 中 寻 找 一 个 函 数 sx () c () x j j n
在 内 积 空 间 C [ a , b ] 中 ， 设 f ( x )[ C a , b ] , 但 f ( x ),
T T 0 T 0 0 T 1 A A 0, 1,..., n T T n 0 n (0 ,0 ) (0 ,n) T 0 n
d e t (A )
1 x 0 1 x 1
n x 0 n x 1
1 j i n
(x x )0
i j
n
n 1 x x n n n 1 所 以是 , , . . . , R 中 线 性 无 关 的 向 量 组 。 0 1 n
由 函 数 ( x ) 和 点 集定 x , x , . . . x 义 一 个 向 量 j 0 1 m
j ( x0 ) j ( x1 ) m1 j R , j 0,1,..., n ( x ) j m
第三节 离散数据的最小二乘曲线拟合
一、问题的提法与计算
给定m 1个数据点 xi x0 , x1 , , xm , f ( xi ) f ( x0 ), f ( x1 ), , f ( xm ), 及权系数0 , 1 , ..., m ,并已知函数模型s( x , c )。用给 定的数据点，按给定的函数模型，构造拟合函数s( x ) 逼近未知函数f ( x ), 使
线 性 最 小 二 乘 问 题 ： 求 矛 盾 方 程 组 A C Y 的 最 小 二 乘 解 。
数值分析
连续函数最佳平方逼近问题的一般提法
* 在 中 寻 找 一 个 函 数 sx () c () x j j n
在 内 积 空 间 C [ a , b ] 中 ， 设 f ( x )[ C a , b ] , 但 f ( x ),
T T 0 T 0 0 T 1 A A 0, 1,..., n T T n 0 n (0 ,0 ) (0 ,n) T 0 n
d e t (A )
1 x 0 1 x 1
n x 0 n x 1
1 j i n
(x x )0
i j
n
n 1 x x n n n 1 所 以是 , , . . . , R 中 线 性 无 关 的 向 量 组 。 0 1 n
最佳逼近PPT课件.ppt
性质3 ( f1 f 2 , g) ( f1, g) ( f 2 , g); 性质4 ( f , f ) 0,切当且仅当f 0是等号成立。
称线性空间Y为内积空间，(f,g)为内积。
有可能给的条件个数n大于多项式
P(x)的待定系数个数，如，10个插值条件求
5次多项式，该问题是无解的。
有时我们所需的近似函数不一定是多项式。
在实际问题中,往往并不要求近似函
数φ(x)所表示的曲线通过这些观测点,而只
要求由已知数据(xi,yi)(i=0,1,…,n)找出x,y之 间的依赖关系,使得近似函数φ(x)能充分地
a0(n 1) a1 n xi
i0
a0
n i0
n
xi a1
i0
xi2
n
n
am xim
yi
i0
i0
n
n
am
x m 1 i
xi yi
i0
i0
a0
n i0
n
xim a2
i0
x m 1 i
n
n
m
xi2m
xim yi
i0
i0
(4―73)
写成矩阵形式
(4-74)
例8 设有一组数据表
故在基点x0,x1,x2,…,xn上φ(x)与f(x)有
误差
ri=φ(xi)-yi, i=0,1,2,…,n
(4―69)
称ri为用φ(x)拟合f(x)的偏差。
设 函 数 关 系 y=f(x) 的 一 组 观 测 数 据 为
(xi,yi)(i=0,1,2,…,n),欲求一个m(m＜n)次多项 式
Pm(x)=α0+α1x+…+αmxm
称线性空间Y为内积空间，(f,g)为内积。
有可能给的条件个数n大于多项式
P(x)的待定系数个数，如，10个插值条件求
5次多项式，该问题是无解的。
有时我们所需的近似函数不一定是多项式。
在实际问题中,往往并不要求近似函
数φ(x)所表示的曲线通过这些观测点,而只
要求由已知数据(xi,yi)(i=0,1,…,n)找出x,y之 间的依赖关系,使得近似函数φ(x)能充分地
a0(n 1) a1 n xi
i0
a0
n i0
n
xi a1
i0
xi2
n
n
am xim
yi
i0
i0
n
n
am
x m 1 i
xi yi
i0
i0
a0
n i0
n
xim a2
i0
x m 1 i
n
n
m
xi2m
xim yi
i0
i0
(4―73)
写成矩阵形式
(4-74)
例8 设有一组数据表
故在基点x0,x1,x2,…,xn上φ(x)与f(x)有
误差
ri=φ(xi)-yi, i=0,1,2,…,n
(4―69)
称ri为用φ(x)拟合f(x)的偏差。
设 函 数 关 系 y=f(x) 的 一 组 观 测 数 据 为
(xi,yi)(i=0,1,2,…,n),欲求一个m(m＜n)次多项 式
Pm(x)=α0+α1x+…+αmxm
高等数学《最小二乘法》课件
y
y = ax + b
列表计算:
目录
O
上页 下页 返回 结束
t
i 0 M 7 Σ
得法方程组
ti
0
ti2
0
yi
27.0
yiti
0
M
7 28
M
49 140
M
24.8 208.5
M
137.6 717.0
140 a + 28b = 717 28a + 8b = 208.5
y = f (t) = 0.3036t + 27.125
目录
上页
下页
返回
结束
特别, 当数据点分布近似一条直线时, 问题为确定 a, b 使 y = ax + b 满足:
M(a, b) = ( yk axk b)2 = min ∑
M = a M M = b
k =0
n
y
O
称为法方程组 (注意其特点)
x
令
+ ( ∑xk )b
得
n
( ∑xk )a
k =0
n
偏差 ri = yi f (xi ) 有正有负, 为使所有偏差的绝对 值都较小i f (xi )]2 = min ∑
i=0
n
y
O
来确定近似函数 f (x) . 最小二乘法原理: 最小二乘法原理 设有一列实验数据
x
, 它们大体
分布在某条曲线上, 通过偏差平方和最小求该曲线的方 法称为最小二乘法 找出的函数关系称为经验公式 . 最小二乘法, 最小二乘法 经验公式
－0.125 －0.018 0.189 －0.003 yi f (ti ) －0.021 0.086 0.093 －0.200
数值分析06-一致逼近
6-2
Y
在度量标准 max ri
i
（达到最小），这就是最佳一致逼近（不要产生最大误差， 均匀一些），通常仍 然取 (x)为多项式，即求多项式 (x) 使残差： r f (x ) (x )
i i i
绝对值的最大值 达到最小。或可写为：在H中求满足 (x) （f 的逼近函数 (x) ）：
a xb
max
即在H中 (x)与f(x)之差的绝对值的最大值是最小的，H中 任一ψ (x)与f(x)之差的绝对值的最大值都比它大，这样的 6-3 阜师院数科院第六章 函数逼近 (x)为f(x)在H中的最佳一致逼近函数。
W Y
§5 最佳一致逼近多项式
下，求 (x) ，使
max ri max f ( x ) ( x ) min
例如：要求区间[0,1]上y=arctgx的一次近似式 可以有多种方法： （1）Talor公式：tg－1x x,误差R(x)= tg－1x- x，在 x=0附近很小，x=1时误差最大，R(x)|x=1=0.2146； （2）插值: x=0,1作节点=>L1(x)=πx/4，tg－1x πx/4， 4 其误差在 x 1 1 . 12 处，即在1附近较大为0.0711；
定理6.6 P (x)H 是f(x)C[a,b]的最佳一致逼近多项式的 n n 充要条件是Pn(x)在[a,b]上至少有n+2个不同的依次轮流为 正，负的偏差点（这些点称为切比雪夫交错点组）。 切比雪夫定理给出了最佳一致逼近多项式的特征，性质， 在最佳一致逼近理论中起着重要作用。 推论1 如果f(x)C[a,b]，则在Hn中存在唯一的最佳一致 逼近多项式。 推论2
（3）最小二乘法（例10 §4中）
tg
阜师院数科院第六章 函数逼近
Y
在度量标准 max ri
i
（达到最小），这就是最佳一致逼近（不要产生最大误差， 均匀一些），通常仍 然取 (x)为多项式，即求多项式 (x) 使残差： r f (x ) (x )
i i i
绝对值的最大值 达到最小。或可写为：在H中求满足 (x) （f 的逼近函数 (x) ）：
a xb
max
即在H中 (x)与f(x)之差的绝对值的最大值是最小的，H中 任一ψ (x)与f(x)之差的绝对值的最大值都比它大，这样的 6-3 阜师院数科院第六章 函数逼近 (x)为f(x)在H中的最佳一致逼近函数。
W Y
§5 最佳一致逼近多项式
下，求 (x) ，使
max ri max f ( x ) ( x ) min
例如：要求区间[0,1]上y=arctgx的一次近似式 可以有多种方法： （1）Talor公式：tg－1x x,误差R(x)= tg－1x- x，在 x=0附近很小，x=1时误差最大，R(x)|x=1=0.2146； （2）插值: x=0,1作节点=>L1(x)=πx/4，tg－1x πx/4， 4 其误差在 x 1 1 . 12 处，即在1附近较大为0.0711；
定理6.6 P (x)H 是f(x)C[a,b]的最佳一致逼近多项式的 n n 充要条件是Pn(x)在[a,b]上至少有n+2个不同的依次轮流为 正，负的偏差点（这些点称为切比雪夫交错点组）。 切比雪夫定理给出了最佳一致逼近多项式的特征，性质， 在最佳一致逼近理论中起着重要作用。 推论1 如果f(x)C[a,b]，则在Hn中存在唯一的最佳一致 逼近多项式。 推论2
（3）最小二乘法（例10 §4中）
tg
阜师院数科院第六章 函数逼近
数值分析之最小二乘法与最佳一致逼近
就要求矩阵 G非奇异，
而 0 ( x), 1 ( x), , n ( x)在 [a, b]上线性无关不能推出 矩阵 G非奇异，必须加上另外的条件.
8
定义10
设 0 ( x), 1 ( x), , n ( x) [a, b]的任意线
性组合在点集 {xi , i 0,1,, m}(m n) 上至多只有 n 个
只在一组离散点集 {xi , i 0,1,, m} 上给定，这就是科
学实验中经常见到的实验数据 {( xi , yi ), i 0,1,, m}的
曲线拟合.
1
问题为利用 yi f ( xi ), i 0,1,, m, 求出一个函数
y S * ( x) 与所给数据{( xi , yi ), i 0,1,, m} 拟合.
13
令 S1 ( x) a0 a1 x, 这里 m 4, n 1, 0 ( x) 1, 1 ( x) x, 故
( 0 , 0 ) i 8,
i 0 4
( 0 , 1 ) (1 , 0 ) i xi 22,
i 0
4
(1 , 1 ) i xi2 74,
这样就变成了线性模型 .
19
例2
设数据 ( xi , yi )(i 0,1,2,3,4) 由表3-1给出，
表中第4行为 ln yi yi ,通过描点可以看出数学模型为 及 b. y aebx , 用最小二乘法确定 a
表3 1 i xi yi 0 1.00 5.10 1 1.25 5.79 2 1.50 6.53 3 1.75 7.45 4 2.00 8.46
4
S ( x ) 的一般表达式为线性形式.
若 k ( x)是 k 次多项式，S ( x ) 就是 n 次多项式. 为了使问题的提法更有一般性，通常在最小二乘法中 S ( x) a00 ( x) a11 ( x) ann ( x) (n m) 考虑加权平方和
最佳一致和平方逼近ppt课件
若 P x0 f x0 , 则称 x0 为“正”偏差点。 若 P x0 f x0 , 则称 x0 为“负”偏差点。
7
三、 Ca,b 上的最佳一致逼近的特征
引理4.1
设 f x 是区间a,b 上的连续函数，Pn* x 是 f x 的n次最佳一致逼近多项式，则 f x Pn* x 必同时
min f
x Pn* x
Pn xHn
f x Pn x
其中，H n代表由全体代数多项式构成的集合。
4
§2 最佳一致逼近多项式
一、最佳一致逼近多项式的存在性
定理4.9
对任意的 f xCa,b, 在 H n 中都存在对 f x 的最佳一致逼近多项式,记为 pn* x ,使得
f (x)
存在正负偏差点。
8
y
Oa
y f x En
y f x
y f x En
bx
9
定理 4.10（ Chebyshev定理）
设 f x 是区间 a,b 上的连续函数，则 Pn* x 是 f x 的n次最佳一致逼近多项式的充要条件是: f x Pn* x 在区间a,b 上存在一个至少有 n 2 个交错偏差点组成，
注： 显然， f , Pn 0 ， f , Pn 的全体组成一个
集合，记作 f , Pn ，它有下界0。
6
2、偏差点
定义
设 f xCa,b, PxHn, 若在 x x0 上有
P x0 f x0 max P x f x , a xb
则称 x0 是 P x f (x) 的偏差点。
由推论1，f x P1 x 在 a,b 上恰好有3个点构成的交错
组，且区间端点 a, b 属于这个交错点组，设另一个交错点为 x2 ,
7
三、 Ca,b 上的最佳一致逼近的特征
引理4.1
设 f x 是区间a,b 上的连续函数，Pn* x 是 f x 的n次最佳一致逼近多项式，则 f x Pn* x 必同时
min f
x Pn* x
Pn xHn
f x Pn x
其中，H n代表由全体代数多项式构成的集合。
4
§2 最佳一致逼近多项式
一、最佳一致逼近多项式的存在性
定理4.9
对任意的 f xCa,b, 在 H n 中都存在对 f x 的最佳一致逼近多项式,记为 pn* x ,使得
f (x)
存在正负偏差点。
8
y
Oa
y f x En
y f x
y f x En
bx
9
定理 4.10（ Chebyshev定理）
设 f x 是区间 a,b 上的连续函数，则 Pn* x 是 f x 的n次最佳一致逼近多项式的充要条件是: f x Pn* x 在区间a,b 上存在一个至少有 n 2 个交错偏差点组成，
注： 显然， f , Pn 0 ， f , Pn 的全体组成一个
集合，记作 f , Pn ，它有下界0。
6
2、偏差点
定义
设 f xCa,b, PxHn, 若在 x x0 上有
P x0 f x0 max P x f x , a xb
则称 x0 是 P x f (x) 的偏差点。
由推论1，f x P1 x 在 a,b 上恰好有3个点构成的交错
组，且区间端点 a, b 属于这个交错点组，设另一个交错点为 x2 ,
数值分析第8讲正交多项式 56页PPT文档
b
(k,Q k1)a (x)kQ k1d x0
(k1,2,...)
特 别 Q k 1(x )取 j(x )： (k,j)a b(x )k(x )j(x )d x 0 (j1 ,2 ,.k . .1 )
又 (k ,k ) 2 k ( x ) 0 a b( x )2 k ( x ) d 0 x
则称(u,v)为X上的内积。 {X(线性空 ),( 间 , )}称为内积空间
Heut-lcf163
内积空间常用的范数为： u (u,u)
C[a, b]上的内积定义为：
b
(f(x )g ,(x ) ) a (x )f(x )g (x )dx
范数定义为：
f(x)
(
b
1
f2(x)dx)2
Heut-lcf163
定理3 Gram矩阵
设X为一内积空间，u1 , u2 ,...un X ,
(u1 , u1 ) (u1 , u2 ) ... (u1 , un )
G
(u2 , u1
)
(u2 , u2 )
...
(u2
,
un
)
(un , u1 ) (un , u2 )
2
a
Heut-lcf163
内积空间的重要结论 定理2 Cauchy-Schwarz不等式
设X是一内积空间 u,v,， X对 ,有 (u,v)2 (u,u)(v,v)
特别地
( x 1 y 1 x 2 y 2 x 3 y 3 ) 2 ( x 1 2 x 2 2 x 3 2 )y 1 2 y 2 2 y 3 2
于 是 得x首 n的项 系an数 2(n2(nn!))!2 .显 然 最 高 项1 系 的勒让德多项式为
数值分析ch2最佳逼近和最小二乘法
10/23/2018 9:35:56 AM
第2章 最佳逼近和最小二乘法
在[0,1]上，当最佳平方逼近空间 M span 1, x, x2, , x n 时，法方程系数
矩阵为 Hilbert 矩阵
1
1 2
1 1
1
n
1
1
H 2 3
n2
1 1
1
n 1 n 2
2n 1
当 n 较大时 Hilbert 矩阵和对应的法方程组 Hx b 是病态的，用数值方法
求解方程组 Hx b 是不稳定的。为了避免求解病态方程组,通常找M 中的
一组正交多项式。常用的正交多项式有：勒让德多项式，切比雪夫多项式，
拉盖尔多项式，埃尔米特多项式等。
正交多项式:若多项式序列i
(
x),
x
[a,
b] i0
满足
j ,k
b a
(
x)
j
(
x)k
(
x)dx
0, Ak
0,
jk ( j, k 0,1, 2,
函数的最佳逼近问题：
对于给定的函数 f (x)，要求在一个简单函数类 B 中，寻找一个函数 s(x) B ，
使得 s(x) 与 f (x) 的误差在某种度量下达到最小，这一问题称为最佳逼近问题，
s(x) 称为 f (x)的最佳逼近函数。
函数最佳逼近常用的误差度量标准
2 范数: (x) f (x) s(x) min f (x) y(x) ,最佳平方逼近或均方逼近
1
f b (x) f 2(x)dx 2
2
a
其中(x) L2[a,b] 为权函数，在(a,b)上非负，且满足：
（1） b x j (x)dx a