西安石油大学现代数值计算方法第6章

证设明齐：次（线1性）方矩程阵组ATAA显x 然0 是对称矩阵。
因因为 此( A r，x a) n对T k( A 于Ax =任) n ，意x T 故的( A 齐xT A 次) 0x 方， 程有0 组Ax有唯0，一从零而解。
故矩阵ATA是对称正定矩阵。 (从2而)因线为性矩方阵程A组TAA T 是A 正x 定A 矩有T b 阵唯，一故的r解an。k(ATA证)=毕n，
a0
a1x1 a1x2
a2 x12 a2 x22
amx1m amx2m
y1 y2
a0 a1xn a2xn2 amxnm yn
其矩阵形式为
Axb
其中
1 A1
x1
x2
1 xn
x12 x22
xx12m m,xaa10,byy12
xn2 xnm
am
yn
(x)在xi的偏差就是矛盾方程组各方程的偏差。曲 线拟合的条件就是确定a0,a1,…,am，使得偏差的平方 和Q达到最小值。
2 f
x2xn
P0
2 f
2 f
2 f
xnx1 P0 xnx2 P0
x
2 n
P0
是正（负）定矩阵，则f(a1,a2,…,an)是n元实函 数f(x1,x2,…,xn)的极小（大）值。
引理2：设非齐次线性方程组 Ax的b系数矩阵
A=(aij)m×n，若rankA=n，(m≥n)则
((12))矩n阶阵线AT性A是方对程称组正A T 定A x 矩 阵有A T ；唯b 一的解。
rankA＝n（A的秩为n）的矛盾方程组（N>n），
我们寻求其最小二乘意义下的解。
二、用最小二乘法求解矛盾方程组
1.最小二乘原则
由于矛盾方程组的精确解不存在，我们转而
寻求其某种意义下，即最小二乘意义下的解。
n
令
i aijxjbiFra bibliotek(i1,2, ,N)
称 i为偏差。 j1
工程实际中的许多问题都可以归结为矛盾方程组，
引理1：设n元实函数f(x1,x2,…,xn)在点P0(a1,a2,…,an)
的某个邻域内连续，且有一阶及二阶连续的偏导数，如
果 (1)
f 0
xk P 0
(k1,2, ,n)
(2)矩阵
2 f
x12 P0
2 f x1x2 P0
2 f
x1xn
P0
M
2 f x 2 x1
P0
2 f
x
2 2
P0
记 a 1 ,b e ，得拟合模型：abty
p
p
则矛盾方程组为：
1 0.669131
0.370370
1
1 1
000..13.3290109870631917
a b
0.500000
0.621118 0.833333
1 0.587785
0.980392
得正则方程组为：
0 .2 5 .8 0 4 9 1 0 ..0 2 25 8 96 4 2 9 b a 4 2 2 9 3 0 .3 .30 15 4 2 8
阵A的秩rankA=n，则
（1）矛盾方程组的最小二乘解存在；
（2）正则方程组有唯一解，此解就是矛盾方程组的 最小二乘解。
3.最小二乘法解矛盾方程组
计算步骤：
（1）判断方程组的秩是否满足rankA=n？
（2）写出正则方程组；
（3）求解正则方程组，其解就是矛盾方程组 的最小二乘解。
解矛盾方程组例题：
实际中需要寻求矛盾方程组的一组解，以使得偏差的
绝对值之和
尽可N 能 i地小。为了便于分析
计算和应用，常采用i 1使偏差的平方和
2
N
Q
2 i
N
n
aijxj
bi
i1
i1 j1
达到最小值，这一条件称为最小二乘原则。
按照最小二乘原则来选择未知数x1,x2,…,xn的一
组取值的方法称为求解矛盾方程组的最小二乘法。 符合条件的一组取值称为矛盾方程组的最小二乘解。
i1 N
i1
ai2ain
2ATA
N
ai2n
i1
由引理2知，当rankA=n时，矩阵M是对称正定阵， M满足引理1的条件（2），故由引理1知，二次函数 Q存在极小值。
又因方程组（*）式有唯一解，故Q存在的极小值就
是最小值，线性方程组（*）式的解就是最小值点。
证毕 Remark1：线性方程组（*）式称为正则方程组。 Remark2：该定理说明，只要矛盾方程组的系数矩
这组数据。“最好”的标准是：使得(x)在xi的
偏差
i( x i) y i ( i 1 ,2 , ,n )
的平方和
n
n
Qi2(xi)yi2
i1
i1
达到最小。
由于拟合曲线y=(x)不一定过点(xi,yi)，因此，把 点(xi,yi)带入y=(x) ，便得到以a0,a1,…,am为未知
量的矛盾方程组
a0
经验公式,使它与下列数据相拟合(取四位小数)
xi 1 2 3 4 5 6 7 8 yi 15.3 20.5 27.4 36.6 49.1 65.6 87.8 117.6
解:由于经验公式中待定常数a,b是非线性形式,故做
如下变形: lnylnabx 令: uln y,A ln a ,B b
则有: uABx
定义：依据某种标准选择一条“最好”的简单
曲线作为一组离散数据(xi,
yi)
n i1
的连续模型。
确定曲线的类型：一般选取简单的低次多项式。
求一个次数不高于n－1次的多项式：
y ( x ) a 0 a 1 x a 2 x 2 a m x m ( m n 1 )
（其中a0,a1,…,am待定），使其“最好”的拟合
i1
的大小来衡量拟合曲线的优劣。均方误差和最大偏差
较小的拟合曲线为较优的拟合曲线。
2.在解决实际问题时，有时通过观察选择多个函数类
型进行计算、分析、比较，最终获得较好的数学模型； 有时把经验公式作为数学模型，只是用最小二乘法来 确定公式中的待定常数。
Remark 3.当拟合曲线(x)中的待定常数是线性形式时，可直
Q
故
x1
Q
x2
Q
2
AT
(
Ax
b)
2(
AT
Ax
AT
b)
xn
令
Q0
(k1,2, ,n)
即
A T xA kx A T b
（*）
因为rankA=n，故由引理2知，上式有唯一解。设
解为x1=a1, x2=a2,…, xn=an，记为点P0(a1,a2,…,an)， 即1的二条元件函（数1Q）存。在点P0，使xfk P0 0 (k。1,2故,满,n)足引理
如果由试验提供的数据量比较大，又必然使得插值 多项式的次数过高而效果不理想。
从给定的一组试验数据出发，寻求函数的一个近似
表达式y=(x)，要求近似表达式能够反映数据的基本 趋势而又不一定过全部的点(xi,yi)，这就是曲线拟合 问题，函数的近似表达式y=(x)称为拟合曲线。本章
介绍用最小二乘法求拟合曲线。
乘解据，此也可就知是，正a则0,a方1,程…组,am就A 是T 矛A x 的盾 解方A T 。程b 组的最小二
二、曲线拟合的最小二乘解法
n
ATA
n
xi
i1
n
i1
xim
n
xi
i1
n
xi2
i1
n
xim1
i1
n
xi2
i1
n
xi3
i1
n
xim2
i1
n
xim
n
yi
ini11xim1,
把Q看成是n个自变量x1,x2,…,xn的二次函数， 记为Q＝f(x1,x2,…,xn)，因此，求矛盾方程组的最 小二乘解就是求二次函数Q＝f(x1,x2,…,xn)的最小
值点。
问题：二次函数Q＝f(x1,x2,…,xn)是否存在最小值？
若最小值存在，如何求出该最小值点？
2.最小二乘解的存在唯一性
3.写出矛盾方程组。 4.写出正则方程组。（可由多项式模型直接得到）
5.求解正则方程组，得到拟合曲线的待定系数。 6.将正则方程组的解带回到数学模型中，得到拟 合曲线。
Remark
1.同一问题可以有不同的拟合曲线，通常根据均方误
差 n [(xi )和最yi大]2 偏差
m 1ian x(xi)yi
r 2.70 2.00 1.61 1.20 1.02
480
670
830 1080 1260
解:变形为: 1 1 e cos, 则有如下数据
r pp
y1 r
0.370370 0.50000 0.621118 0.83333 0.980392
t cos 0.669131 0.390731 0.121869 -0.309017 -0.587785
接根据矛盾方程组得到正则方程组而求解。当待定常 数不是线性形式时，则应该先将待定常数线性化，再 根据矛盾方程组写出正则方程组而求解。
例1： y aebx
lnylnabx
uln y,A ln a ,B b
uABx
例2：
y
a
1 bx
u 1 y
1 a bx y uabx
曲线拟合应用实例:
例1: 试用最小二乘法求一个形如 y (aae,bbx 为常数) 的
ATb
i1 n
xi yi
i1
n
n
i1 xi2m
i1
ximyi
正则方程组为：