计算方法第五章曲线拟合的最小二乘法(32学时)-2011-2-21

第五章曲线拟合的最小二乘法

§1矛盾方程组求解的最小二乘法

§2 曲线最小二乘拟合

§3 移动最小二乘近似*

西北工业大学理学院欧阳洁1

§1 矛盾方程组求解的最小二乘法一矛盾方程组的定义

二矛盾方程组求解的最小二乘法

西北工业大学理学院欧阳洁2

西北工业大学理学院欧阳洁

3

一矛盾方程组的定义

设或写为

其矩阵形式为Ax =b 。

??????

?=+++=+++=+++n

m nm n n m m m m b x a x a x a b x a x a x a b x a x a x a L M L L 22112

222212*********)

,,2,1(1

n i b x

a i m

j j

ij L ==∑=当方程组系数矩阵与增广矩阵的秩不相等时，方程组无解，此时方程组称为矛盾方程组。对于rank A ＝m （A 的秩为m ）的矛盾方程组（n> m ），我们寻求其最小二乘意义下的解。

（n> m

）

西北工业大学理学院欧阳洁

4

二用最小二乘法求解矛盾方程组

1 最小二乘原则

矛盾方程组的精确解不存在。求解矛盾方程组的解是指求最小二乘意义下的解。

令偏差（残差）

)

,,2,1(1n i b x a i

m

j j ij L =?=∑=求矛盾方程组的解，即求使偏差的平方和最小的一组值。

∑=n

i i

1

2

δ

m x x x ,,,21L 这一条件称为最小二乘原则。

∑∑∑===?==n i i m

j j ij n i i m b x a x x x F 1

2

1

1

221)

(),,,(δL 求解矛盾方程组，即求一组，使

达到最小值。m x x x ,,,21L i m im i i i b x a x a x a ?+++=L 2211δ

西北工业大学理学院欧阳洁

5

问题：二次函数F (x 1,x 2,…,x m )是否存在最小值？

若最小值存在，如何求出使F (x 1,x 2,…,x m )达到最小值的点(x 1,x 2,…,x m ) ？

按照最小二乘原则选择未知数x 1,x 2,…,x m 的方法称为求解矛盾方程组的最小二乘法。符合上述条件的称为矛盾方程组的最小二乘解。

m x x x ,,,21L 由于是m 个自变量x 1,x 2,…,x m 的二次函数，故求矛盾方程组的最小二乘解就是求使函数F (x 1,x 2,…,x m )达到最小值的点(x 1,x 2,…,x m ) 。),,,(21m x x x F L ∑∑∑===?==n

i i m

j j ij n

i i

m b x a x x x F 1

2

1

1221)

(),,,(δL

西北工业大学理学院欧阳洁

6

引理1*设非齐次线性方程组Ax =b 的系数矩阵A =(a ij )n ×m ，若rank A =m ，则

（1）矩阵A T

A 是对称正定矩阵；

（2）m 阶线性方程组A T Ax =A T

b 有唯一的解。

证明（1）矩阵A T

A 显然是对称矩阵。

因为rank A =m ，故齐次方程组Ax =0有唯一零解。0

)()()(>=x A A x Ax Ax T

T

T

故矩阵A T A 是对称正定矩阵。

（2）因为矩阵A T A 是正定矩阵，故rank(A T

A )=m ，

从而线性方程组A T Ax =A T

b 有唯一的解。

因此，对任意x ≠0，有Ax ≠0。从而对任意x ≠0，

2 最小二乘解的存在唯一性

当矛盾方程组Ax=b系数矩阵的秩rank A=m，则（1）矛盾方程组的最小二乘解存在；

（2）法方程组有唯一解，此解就是矛盾方程组的

最小二乘解。

步骤

（1）判断矛盾方程组Ax=b的秩是否满足rank A=m？（2）写出法方程组A T Ax=A T b；

（3）求解法方程组A T Ax=A T b，其解就是矛盾方程组Ax=b的最小二乘解。

西北工业大学理学院欧阳洁12

§2曲线拟合的最小二乘法

一曲线拟合的最小二乘法

二最小二乘法拟合曲线的步骤

西北工业大学理学院欧阳洁13

西北工业大学理学院欧阳洁

14

曲线拟合问题

n

i i i y x 0)},{(=)(x y ?=给定数据，要求建立一个“最好的”连续函数，反映该组数据的基本特征（但并非要求?(x )通过给定节点）。

求函数?(x )的问题称为曲线拟合问题。一曲线拟合的最小二乘法

设拟合曲线的形式为即依据某种标准选择一条“最好”的简单曲线作为

一组离散数据的连续模型。{}n

i i i y x 0),(=式中是线性无关的已知函数组。{}m i i x 0

)(=?)()()()(Σ)(11000

x c x c x c x c x m m i i m

i ?????+++===L c 0,c 1,…,c m 待定。

西北工业大学理学院欧阳洁

15

使?(x )“最好”地拟合这组数据，即使?(x )在x i 的偏差

),,2,1,0()(n i y x i i i L =?=?δ拟合曲线y =?(x )不一定过点(x i ,y i )。把点(x i ,y i )带入y =?(x )，可得到以c 0,c 1,…,c m 为未知量的矛盾方程组

的平方和最小。

[]∑∑==?==n

i i i n

i i

m y x c c c F 0

2

210)(),,,(?δL ??

?

?

??

?

=+++=+++=+++n n m m n n m m m m y x c x c x c y x c x c x c y x c x c x c )()()()()()()()()(11001111110000011000?????????L M L L )

()()()(Σ)(11000

x c x c x c x c x m m i i m

i ?????+++===L

西北工业大学理学院欧阳洁16????????????=?

?????

??????=??

??

?

???????=n m n m n n n m m y y y c c c x x x x x x x x x x x x M M L M O M M M L L 1010210112111

00020100,,)()()()()()()()()()()()(b x A ????????????对应的矩阵形式为Ax =b ，其中

求矛盾方程组的最小二乘解c 0,c 1,…,c m 就是，也就

是求法方程组的解。

b A Ax A T

T =求解曲线拟合问题就是确定拟合曲线y =?(x )中

的c 0,c 1,…,c m ，以c 0,c 1,…,c m 为未知量的上述矛盾方程组Ax =b 的解将使得偏差的平方和F 达到最小值。???

???

?

=+++=+++=+++n n m m n n m m m m y x c x c x c y x c x c x c y x c x c x c )()()()()()()()()(11001111110000011000?????????L M L L

Remarks

①在解决实际问题时，有时通过观察选择

多个函数类型进行计算、分析、比较，最终

获得较好的数学模型；有时把经验公式作为

数学模型，只是用最小二乘法来确定公式中

的待定常数。

②当拟合曲线?(x)关于待定常数是线性模型时，可直接根据矛盾方程组得到法方程组而

求解。当拟合曲线?(x) 关于待定常数不是线

性模型时，则应该先将其关于待定常数线性化，再根据矛盾方程组写出法方程组而求解。

西北工业大学理学院欧阳洁19

西北工业大学理学院欧阳洁

20

①设2

)(cx bx a x ++=????

?????

??????????=?????

?????????????????????????????∑∑∑∑∑∑∑∑∑∑∑∑============n i i i n i i

i n

i i n i i n i n

i i N i i n i i n i i

n i i n i i n

i y x y x y c b a x x x x x x

x x 020

04

030

20302002001法方程组为

n

i i i y x 0)},{(=例1写出用与拟合的法方程组。

2)(cx bx a x ++=?2

)(bx

a x +=????

???

??????=??????????????????????

??n n n

y y y c b

a x x x x x x M M M M 10221

12

00111，将带入y =?(x )，便得到以a , b , c 为未知量的矛盾方程组Ax =b ，即

n i i i y x 0)},{(=