数值分析_曲线拟合及线性最小二乘问题
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
T T
GG F FG( x ) 0 G( x ) 0
T T
2 2
x ( x )
2
2 2
x 2 x 2 2( x , x )
x 2 x
2 2 2
2
0
x
2 2
唯一性易证
75 4 1 2 1 x1 7 88 0 1 1 3 x2 x 7 2 4 3 1 69 x 6 7 4 3 4 7 解：rank ( A) 3 4 rank ( A, b) 26 21 38 23 G-S法或 T T A A 38 70 43 A b 49
m
127.5 24 127 . 5 829 . 61
a 113.1 731.6 a 0.1505 b
b 0.8587
( x ) 0.1505 0.8587 x
这种求线性函数y=a+bx的过程称为线性拟合。
一般地，设 f ( x ) 的近似函数为 寻求 ai (0 i n)，使得
1 1 ( x) 1; 2 ( x ) x; 3 ( x ) x
三、最小二乘问题解的存在性、唯一性
mn n ，若存在 精确地满足 Def 1 设 A R x R Ax b ，则称该方程组是相容的。
Th7.1.1 方程组 Ax b相容的充要条件是 rank ( A) rank ([ A, b])
曲线拟合与线性最小二乘
第七章 曲线拟合与线性最小二乘问题
/*Curve Fitting and Linear Least Square Problem*/
一、最小二乘问题的一般提法
§1 线性最小二乘问题
在实际应用中，经常遇到下列数据处理问题： 已知函数 f ( x )在m个点上的数据表，寻求其近似函数。
rank ( A) r 0 则总存在分解 A FG 满秩分解 其中 F Rmr ,G Rrn , rank ( F ) rank (G ) r
引理7.1.1 设 A R ，且
mn
证明： 记
A [a1 , a2 ,
, an ]
, , ar 不妨假设 A 的前 列 r a1 , a2 线性无关
i
a j xi yi , l 0,1, 2,
l i 1
m
,n
即
A Ax A b
T T
非线性拟合
某些非线性拟合问题可转化为线性拟合问题 已知函数 f ( x )在若干个点上的数据表，确定参数 a和 b ,
y ae 拟合某组数据： 线性化处理： y ae bx ln y ln a bx 令 y ln y; a ln a 则 y a bx
n
b; A的最小 R
A
T
mn
二乘解的充要条件是 为方程组 证明：
充分性
T 的解。 Ax A b
设 是
A Ax
T
T 的解 A b
z 2 2 Ay b 2 A( z ) b 2
n 对 y ， R 令y
2 2 T 2 2 T T
( x, x ) x
2 2
本“变化趋势”?
采用最小二乘的思想 令 S a,b a bxi yi
i 1 m 2
问题转化为求参数 a ,b 使
S 达到最小值。 a,b
S S 0 a b
m m xi i 1
m xi yi a i 1 i 1 m m b 2 xi x i yi i 1 i 1
6.5
7 8.5 8 8.1 8.1
可以看出,纤维强度随 拉伸倍数增加而增加 并且24个点大致分 布在一条直线附近
9 8 7 6 5 4
因此可认为强度与 拉伸倍数之间的主 要关系是线性关系
3 2 1
1
2
3
4
5
6
7
8
9
10
y ( x ) a bx
该直线称为这一问题的数学模型。
怎样确定a,b,使得直线能较好地反映所给数据的基
可以验证
x G (GG ) ( F F ) F b
T T T
T 1
1
是法方程组的一个解，故是原方程组的一个最小二乘解
推论7.1.2 若
rankA ，则方程组 rn
Ax b
有无穷多个最小二乘解。
Def 2 方程组 Ax b 的所有最小二乘解中2-范数最小
者称为方程组的极小最小二乘解。 存在唯一的极小最小二乘解 , b wk.baidu.comh7.1.4 方程组 Ax 且可以表示为
a j 1 j a1 2 j a2
令F
rj ar ; j 1, 2,
,n
[a1 , a2 , , ar ];G [ g1 , g2 , , gn ] T 其中 g j [1 j , 2 j , , rj ] ( j 1, 2, , n)
a j Fg j ; j 1, 2,
A b 2 Az 2 2( Az ) ( A b) A b 2 Az 2 2 z A ( A b )
A b 2 Az
2 2 2
A b
2 2
必要性
[1 ,2 ,是方程组的最小二乘解 ,n ] 2 必使 r 达到极小 . 记 r Ax , b 则 2
2 ( X 1 ) 1 2 ( X 2 ) 1 2 ( X 3 ) 1 2 ( X 4 ) 1
0.7885 0.9555 1.2238 1.3836
c 4.5286 b 0.4431 Y1 4.1744 Y 4.1109 2 b Y3 3.9890 Y4 3.9120
n
2 A ( Ax b)
T
称
A Ax
T
T 为方程组 A b
的法方程组 Ax b
推论7.1.1 若
rankA n( n m) ，则方程组有
. A b ( A A)
T 1 T
mn
唯一的最小二乘解
Th7.1.3方程组 Ax
b; A必存在最小二乘解。 R
记 rank ( A) r 0 则存在满秩分解 A FG 证明： 法方程组可写成：GT F T FGx GT F T b
p( x ) a j x j
j 0
n
S a0 , a1 , a2 ,
, an p( xi ) yi min
2 i 1
m
则称 p( x )为函数 f ( x ) 的多项式拟合。
ai (0 i n) 满足下列法方程组：
x
j 0 i 1
n
m
jl
T
设
由极值的必要条件知： 即
r xi
2 2
2 2
r 0
2 2
0; i 1, 2,
, n AT ( A b) 0
r x i
2 aki ( akj x j bk )
k 1 j 1
m
m n 2 ( akj x j bk ) xi k 1 j 1
其中F1 Rmr , G
1
R
r n
, rank( F1 ) rank(G1 ) r
FG A FG 1 1P
1
其中 F
F1 , G G1P 1 , rank( F ) rank(G) r
因此，对任何 m n 阶矩阵总存在满秩分解
Th7.1.2 R 是方程组 Ax
i ( x ) x
以及
r 0 即多项式插值
1 ( x1 ) 2 ( x1 )
记
n ( x1 )
n ( x2 )
f1
A
1 ( x2 ) 2 ( x2 )
1 ( xm ) 2 ( xm )
b
f2 fm
n ( xm )
x (1 , 2 ,
r
2 2
, n )
T
2 2
则得到最小二乘问题：
b Ax
min
A R
b
m n
上述问题的解也称为方程组 Ax
的最小二乘解。
当 m n 时称之为超定（或矛盾）方程组。
二、最小二乘多项式拟合
所谓“曲线拟合”，是指根据给定的数据表，寻找一个 简单的表达式来“拟合”该组数据，此处的“拟合”的含义 为：不要求该表达式对应的近似曲线完全通过所有的数
x G (GG ) ( F F ) F b
T T T
T 1
1
其中 A FG 为满秩分解.
证明： 由定理7.1.3知， x 是一个最小二乘解。
设 是方程组的任一最小二乘解，下证：
x
2
2
A Ax A b T T A A A b
T T
A A( x) 0
T
G F FG( x ) 0
xi
f ( xi )
x1 f1
x2 f2
xm fm
设 f ( x )的近似函数为
F ( x) 11( x) 22 ( x) nn ( x) n 其中 {i ( x )}i 1 是某函数族中的已知线性无关函数。
寻求一组常数
，要求 ( i 1 , 2 , n ) i 称为 残向量
Xi Yi
0.7885 4.1744 0.9555 1.2238 1.3863 4.1109 3.9890 3.9120
此时 1 ( x ) 1, 2 ( x )
X
写出法方程组 A Ax A b
T T
其中
1 ( X 1 ) ( X ) 1 2 A 1 ( X 3 ) 1 ( X 4 )
yi
编号 13 14 15 16 17 18
拉伸倍数 5 5.2 6 6.3 6.5 7.1
xi
强
度 5.5 5 5.5 6.4 6 5.3
yi
7
8 9 10 11 12
3.5
3.5 4 4 4.5 4.6
3
2.7 4 3.5 4.2 3.5
19
20 21 22 23 24
8
8 8.9 9 9.5 10
,n
A [a1 , a2 ,
F [ g1 , g2 ,
, an ] [Fg1 , Fg2 ,
, gn ] FG
, Fgn ]
又r rank ( A) rank ( FG ) rank (G )
rank (G ) r .
(满秩分解)
对任何秩为 r 的矩阵，存在排列阵 P ，使得 AP 的 前列 r 线性无关，从而由知： AP F1G1
r1 f ( x1 ) F ( x1 ) r f ( x ) F ( x ) 2 2 2 r rm f ( xm ) F ( xm )
的2-范数达到最小。
r 2 min
i 1
如果m=n，且
据点，只要求该近似曲线能够反映数据的基本变化趋势。
引例1：考察某种纤维的强度与其拉伸倍数的关系. 下表是实际测定的24个纤维样品的强度与相应的 拉伸倍数的数据记录:
编号 1 2 3 4 5 6 拉伸倍数 1.9 2 2.1 2.5 2.7 2.7
xi
强
度 1.4 1.3 1.8 2.5 2.8 2.5
例1：求下列方程组的最小二乘解
23 43 27
28
平方根法
例2：求一个形如 y ax ( b 为常数 ( a , b ) )的经验公
式，使它能和下表给出的数据相拟合: x y 2.2 65 2.6 61 3.4 54 4.0 50
b 解：对 y ax 两边取对数得
ln y ln a b ln x 令 Y ln y, X ln x, c ln a Y c bX
利用经验函数
bx
xi
yi
x1 ln f1
x2 ln f 2
xm ln f m
由线性拟合方法可得到
a 和 b ，从而得到 a 和 b。
cx 又如：若非线性函数取为 y 2 1 ax bx cx 1 1 a bx y 2 1 ax bx y cx c c 1 1 令y a bx c 1 y x y a bx c x a b 1 其中 a ; b ; c c c c
GG F FG( x ) 0 G( x ) 0
T T
2 2
x ( x )
2
2 2
x 2 x 2 2( x , x )
x 2 x
2 2 2
2
0
x
2 2
唯一性易证
75 4 1 2 1 x1 7 88 0 1 1 3 x2 x 7 2 4 3 1 69 x 6 7 4 3 4 7 解：rank ( A) 3 4 rank ( A, b) 26 21 38 23 G-S法或 T T A A 38 70 43 A b 49
m
127.5 24 127 . 5 829 . 61
a 113.1 731.6 a 0.1505 b
b 0.8587
( x ) 0.1505 0.8587 x
这种求线性函数y=a+bx的过程称为线性拟合。
一般地，设 f ( x ) 的近似函数为 寻求 ai (0 i n)，使得
1 1 ( x) 1; 2 ( x ) x; 3 ( x ) x
三、最小二乘问题解的存在性、唯一性
mn n ，若存在 精确地满足 Def 1 设 A R x R Ax b ，则称该方程组是相容的。
Th7.1.1 方程组 Ax b相容的充要条件是 rank ( A) rank ([ A, b])
曲线拟合与线性最小二乘
第七章 曲线拟合与线性最小二乘问题
/*Curve Fitting and Linear Least Square Problem*/
一、最小二乘问题的一般提法
§1 线性最小二乘问题
在实际应用中，经常遇到下列数据处理问题： 已知函数 f ( x )在m个点上的数据表，寻求其近似函数。
rank ( A) r 0 则总存在分解 A FG 满秩分解 其中 F Rmr ,G Rrn , rank ( F ) rank (G ) r
引理7.1.1 设 A R ，且
mn
证明： 记
A [a1 , a2 ,
, an ]
, , ar 不妨假设 A 的前 列 r a1 , a2 线性无关
i
a j xi yi , l 0,1, 2,
l i 1
m
,n
即
A Ax A b
T T
非线性拟合
某些非线性拟合问题可转化为线性拟合问题 已知函数 f ( x )在若干个点上的数据表，确定参数 a和 b ,
y ae 拟合某组数据： 线性化处理： y ae bx ln y ln a bx 令 y ln y; a ln a 则 y a bx
n
b; A的最小 R
A
T
mn
二乘解的充要条件是 为方程组 证明：
充分性
T 的解。 Ax A b
设 是
A Ax
T
T 的解 A b
z 2 2 Ay b 2 A( z ) b 2
n 对 y ， R 令y
2 2 T 2 2 T T
( x, x ) x
2 2
本“变化趋势”?
采用最小二乘的思想 令 S a,b a bxi yi
i 1 m 2
问题转化为求参数 a ,b 使
S 达到最小值。 a,b
S S 0 a b
m m xi i 1
m xi yi a i 1 i 1 m m b 2 xi x i yi i 1 i 1
6.5
7 8.5 8 8.1 8.1
可以看出,纤维强度随 拉伸倍数增加而增加 并且24个点大致分 布在一条直线附近
9 8 7 6 5 4
因此可认为强度与 拉伸倍数之间的主 要关系是线性关系
3 2 1
1
2
3
4
5
6
7
8
9
10
y ( x ) a bx
该直线称为这一问题的数学模型。
怎样确定a,b,使得直线能较好地反映所给数据的基
可以验证
x G (GG ) ( F F ) F b
T T T
T 1
1
是法方程组的一个解，故是原方程组的一个最小二乘解
推论7.1.2 若
rankA ，则方程组 rn
Ax b
有无穷多个最小二乘解。
Def 2 方程组 Ax b 的所有最小二乘解中2-范数最小
者称为方程组的极小最小二乘解。 存在唯一的极小最小二乘解 , b wk.baidu.comh7.1.4 方程组 Ax 且可以表示为
a j 1 j a1 2 j a2
令F
rj ar ; j 1, 2,
,n
[a1 , a2 , , ar ];G [ g1 , g2 , , gn ] T 其中 g j [1 j , 2 j , , rj ] ( j 1, 2, , n)
a j Fg j ; j 1, 2,
A b 2 Az 2 2( Az ) ( A b) A b 2 Az 2 2 z A ( A b )
A b 2 Az
2 2 2
A b
2 2
必要性
[1 ,2 ,是方程组的最小二乘解 ,n ] 2 必使 r 达到极小 . 记 r Ax , b 则 2
2 ( X 1 ) 1 2 ( X 2 ) 1 2 ( X 3 ) 1 2 ( X 4 ) 1
0.7885 0.9555 1.2238 1.3836
c 4.5286 b 0.4431 Y1 4.1744 Y 4.1109 2 b Y3 3.9890 Y4 3.9120
n
2 A ( Ax b)
T
称
A Ax
T
T 为方程组 A b
的法方程组 Ax b
推论7.1.1 若
rankA n( n m) ，则方程组有
. A b ( A A)
T 1 T
mn
唯一的最小二乘解
Th7.1.3方程组 Ax
b; A必存在最小二乘解。 R
记 rank ( A) r 0 则存在满秩分解 A FG 证明： 法方程组可写成：GT F T FGx GT F T b
p( x ) a j x j
j 0
n
S a0 , a1 , a2 ,
, an p( xi ) yi min
2 i 1
m
则称 p( x )为函数 f ( x ) 的多项式拟合。
ai (0 i n) 满足下列法方程组：
x
j 0 i 1
n
m
jl
T
设
由极值的必要条件知： 即
r xi
2 2
2 2
r 0
2 2
0; i 1, 2,
, n AT ( A b) 0
r x i
2 aki ( akj x j bk )
k 1 j 1
m
m n 2 ( akj x j bk ) xi k 1 j 1
其中F1 Rmr , G
1
R
r n
, rank( F1 ) rank(G1 ) r
FG A FG 1 1P
1
其中 F
F1 , G G1P 1 , rank( F ) rank(G) r
因此，对任何 m n 阶矩阵总存在满秩分解
Th7.1.2 R 是方程组 Ax
i ( x ) x
以及
r 0 即多项式插值
1 ( x1 ) 2 ( x1 )
记
n ( x1 )
n ( x2 )
f1
A
1 ( x2 ) 2 ( x2 )
1 ( xm ) 2 ( xm )
b
f2 fm
n ( xm )
x (1 , 2 ,
r
2 2
, n )
T
2 2
则得到最小二乘问题：
b Ax
min
A R
b
m n
上述问题的解也称为方程组 Ax
的最小二乘解。
当 m n 时称之为超定（或矛盾）方程组。
二、最小二乘多项式拟合
所谓“曲线拟合”，是指根据给定的数据表，寻找一个 简单的表达式来“拟合”该组数据，此处的“拟合”的含义 为：不要求该表达式对应的近似曲线完全通过所有的数
x G (GG ) ( F F ) F b
T T T
T 1
1
其中 A FG 为满秩分解.
证明： 由定理7.1.3知， x 是一个最小二乘解。
设 是方程组的任一最小二乘解，下证：
x
2
2
A Ax A b T T A A A b
T T
A A( x) 0
T
G F FG( x ) 0
xi
f ( xi )
x1 f1
x2 f2
xm fm
设 f ( x )的近似函数为
F ( x) 11( x) 22 ( x) nn ( x) n 其中 {i ( x )}i 1 是某函数族中的已知线性无关函数。
寻求一组常数
，要求 ( i 1 , 2 , n ) i 称为 残向量
Xi Yi
0.7885 4.1744 0.9555 1.2238 1.3863 4.1109 3.9890 3.9120
此时 1 ( x ) 1, 2 ( x )
X
写出法方程组 A Ax A b
T T
其中
1 ( X 1 ) ( X ) 1 2 A 1 ( X 3 ) 1 ( X 4 )
yi
编号 13 14 15 16 17 18
拉伸倍数 5 5.2 6 6.3 6.5 7.1
xi
强
度 5.5 5 5.5 6.4 6 5.3
yi
7
8 9 10 11 12
3.5
3.5 4 4 4.5 4.6
3
2.7 4 3.5 4.2 3.5
19
20 21 22 23 24
8
8 8.9 9 9.5 10
,n
A [a1 , a2 ,
F [ g1 , g2 ,
, an ] [Fg1 , Fg2 ,
, gn ] FG
, Fgn ]
又r rank ( A) rank ( FG ) rank (G )
rank (G ) r .
(满秩分解)
对任何秩为 r 的矩阵，存在排列阵 P ，使得 AP 的 前列 r 线性无关，从而由知： AP F1G1
r1 f ( x1 ) F ( x1 ) r f ( x ) F ( x ) 2 2 2 r rm f ( xm ) F ( xm )
的2-范数达到最小。
r 2 min
i 1
如果m=n，且
据点，只要求该近似曲线能够反映数据的基本变化趋势。
引例1：考察某种纤维的强度与其拉伸倍数的关系. 下表是实际测定的24个纤维样品的强度与相应的 拉伸倍数的数据记录:
编号 1 2 3 4 5 6 拉伸倍数 1.9 2 2.1 2.5 2.7 2.7
xi
强
度 1.4 1.3 1.8 2.5 2.8 2.5
例1：求下列方程组的最小二乘解
23 43 27
28
平方根法
例2：求一个形如 y ax ( b 为常数 ( a , b ) )的经验公
式，使它能和下表给出的数据相拟合: x y 2.2 65 2.6 61 3.4 54 4.0 50
b 解：对 y ax 两边取对数得
ln y ln a b ln x 令 Y ln y, X ln x, c ln a Y c bX
利用经验函数
bx
xi
yi
x1 ln f1
x2 ln f 2
xm ln f m
由线性拟合方法可得到
a 和 b ，从而得到 a 和 b。
cx 又如：若非线性函数取为 y 2 1 ax bx cx 1 1 a bx y 2 1 ax bx y cx c c 1 1 令y a bx c 1 y x y a bx c x a b 1 其中 a ; b ; c c c c