最小二乘法与曲线拟合

6—1 二 多项式拟合 假设给定数据点 ( xi , y i ) (i=0,1,…,m)， Φ 为所有次数不超过 n(n ≤ m) 的多项式构成的函 数类，现求一
p n ( x) = ∑ a k x k ∈ Φ
k =0 n
,使得
I = ∑ [ p n ( xi ) − y i ]
i =0
m
2
⎛ n ⎞ = ∑ ⎜ ∑ a k xik − y i ⎟ = min i =0 ⎝ k =0 ⎠
∑r
m
2
i
∑ r ∑ [ p( x ) − y ]
2 i =0 i
m
m
2
= i =0
i
i
= min
从几何意义上讲，就是寻求与给定点 ( xi , y i ) (i=0,1,…,m)的距离平方和为最小的曲 线 y = p ( x) （图 6-1）。函数 p ( x ) 称为拟合 函数或最小二乘解，求拟合函数 p ( x ) 的方 法称为曲线拟合的最小二乘法。 在曲线拟合中，函数类 Φ 可有不同的选取方法.
∑ (∑ xij + k ) a k = ∑ xij y i ,
k =0 i =0 i =0
n
m
m
j = 0,1, " , n
(3)
（3）是关于 a 0 , a1 , " a n 的线性方程组，用矩阵表示为 m m ⎡ ⎡ m ⎤ n ⎤ + 1 " m x x yi ⎥ ∑ ∑ i i ⎥ ⎢ ∑ ⎢ i =0 i =0 i =0 ⎢ m ⎥ ⎡a0 ⎤ ⎢ m ⎥ m m ⎢ ⎥ n +1 ⎥ a 2 ⎢ x ⎢ xi " ∑ xi ⎢ 1 ⎥ xi y i ⎥ ∑ i ∑ = ⎢∑ ⎥ ⎢ ⎥ i =0 i =0 i =0 i =0 ⎢#⎥ ⎢ # # # ⎥⎢ ⎥ ⎢ # ⎥ ⎢m ⎥ a ⎢m ⎥ m m ⎢∑ xin ∑ xin +1 " ∑ xi2 n ⎥ ⎣ n ⎦ ⎢∑ xin y i ⎥ ⎢ ⎥ ⎢ ⎥ ⎣ i =0 ⎦ i =0 i =0 ⎣ i =0 ⎦
n
∑ xij
m
( j = 0,1, " ,2n)
∑x
m
j i
yi
( j = 0,1, " ,2n)
；
k =0 (4) 写出拟合多项式 。 在实际应用中，n < m 或 n ≤ m ； 当 n = m 时所得的拟合多项式就是拉格朗日或牛顿插值多 项式。
例 1 测得铜导线在温度 Ti (℃)时的电阻 Ri (Ω) 如表 6-1，求电阻 R 与温度 T 的近似 函数关系。 i 0 1 2 3 4 5 6 19.1 25.0 30.1 36.0 40.0 45.1 50.0 Ti (℃) Ri (Ω) 解 76.30 77.80 79.25 80.80 82.35 83.90 85.10
10 45 64 50 36 49 128 243 400 1025
得正规方程组
52 381 ⎤ ⎡a 0 ⎤ ⎡ 32 ⎤ ⎡ 9 ⎢ 52 381 3017 ⎥ ⎢ a ⎥ = ⎢ 147 ⎥ ⎥ ⎥⎢ 1 ⎥ ⎢ ⎢ ⎥ ⎥ ⎢ ⎢ ⎥ ⎢ a 381 3017 25317 1025 ⎦ ⎦⎣ 2 ⎦ ⎣ ⎣
⎡ ⎢m +1 ⎢ m ⎢ x i ⎢∑ i =0 ⎢ # ⎢m ⎢∑ xin ⎢ ⎣ i =0
∑ xi ∑x
i =0 i =0 m 2 i
m
#
n +1 i
∑x
i =0
m
⎤ ⎡ m n ⎤ x yi ⎥ ∑ i ⎥ ∑ ⎢ i =0 i =0 ⎥ ⎡a0 ⎤ ⎢ m ⎥ m ⎥ ⎢ n +1 ⎥ a ⎢ " ∑ xi ⎢ 1 ⎥ xi y i ⎥ ∑ = ⎥ ⎥ ⎢ i =0 ⎢ # ⎥ ⎢ i =0 ⎥ # # ⎥ ⎥ ⎢a ⎥ ⎢ m ⎥ m ⎣ n⎦ ⎢∑ xin y i ⎥ " ∑ xi2 n ⎥ ⎥ ⎢ ⎥ ⎦ ⎣ i =0 i =0 ⎦
解得
a 0 = 13.4597,
故拟合多项式为
a1 = −3.6053
a 2 = 0.2676
y = 13.4597 − 3.6053 + 0.2676 x 2 *三 最小二乘拟合多项式的存在唯一性 定理 1 设节点 x0 , x1 , " , x n 互异，则法方程组（4）的解存在唯一。
证 由克莱姆法则，只需证明方程组（4）的系数矩阵非奇异即可。 用反证法，设方程组（4）的系数矩阵奇异，则其所对应的齐次方程组
n
因为
∑a ⎢ ∑ (∑ x ⎣
j =0 j k =0 i =0
n
⎡
n
m
j +k i
m n n m ⎤ m n n 2 )a k ⎥ =∑ ∑∑ a k a j xij + k =∑ (∑ a j xij )(∑ a k xik ) = ∑ [ p n ( xi )] i =0 j =0 k =0 i =0 ⎦ i =0 j =0 k =0
p n ( x) = ∑ a k x k
k =0 n n
是满足式（1）
Q n ( x ) = ∑ bk x k
k =0 2
，恒有
∑ [Q
i =0
m
n
( xi ) − y i ] ≥ ∑ [ p n ( xi ) − y i ]
2 i =0
m
即可。
∑ [Q
i =0 m i =0
m
n
( xi ) − y i ] − ∑ [ p n ( xi ) − y i ]
k =0
p n ( x) = ∑ a k x k
n
∑[p
i =0
m
n
( xi ) − y i ]
2
称为最小二乘拟合多项式 p n ( x) 的平方误差，记作
r
2 2
= ∑ [ p n ( xi ) − y i ]
i =0
m
2
由式(2)可得
r
2 2
= ∑ y i2 − ∑ a k (∑ xik y i )
画出散点图（图 6-2），可见测得的数据接近一条直线，故取 n=1，拟合函数为 R = a 0 + a1T 列表如下 i Ti Ri Ti Ri Ti 2 0 1 2 3 4 5 6 19.1 25.0 30.1 36.0 40.0 45.1 50.0 245.3 76.30 77.80 79.25 80.80 82.35 83.90 85.10 565.5 364.81 625.00 906.01 1296.00 1600.00 2034.01 2500.00 9325.83 1457.330 1945.000 2385.425 2908.800 3294.000 3783.890 4255.000 20029.445
i =0
∑r
m
i
∑r
m
2
i
平方，因此在曲线拟合中常采用误差平方和 i =0 来 度量误差 ri (i=0，1，…，m)的整体 大小。 数据拟合的具体作法是： 对给定数据 ( xi , y i ) (i=0,1,…， m)， 在取定的函数类 Φ 中, 求 p ( x) ∈ Φ ,使误差 ri = p ( xi ) − y i (i=0,1,…,m)的平方和最小，即
第一节 最小二乘法的基本原理和多项式拟合
一 最小二乘法的基本原理 从整体上考虑近似函数 p ( x ) 同所给数据点 ( xi , y i ) (i=0,1,…,m)误差 ri = p ( xi ) − y i (i=0,1,…,m)的大小，常用的方法有以下三种：一是误差 ri = p( xi ) − yi (i=0,1,…,m)绝 T max ri 对值的最大值 0≤i ≤ m ，即误差 向量 r = ( r0 , r1 , " rm ) 的∞—范数；二是误差绝对值的和 ， 即误差向量 r 的 1—范数； 三是误差平方和 i =0 的算术平方根， 即误差向量 r 的 2— 范数；前两种方法简单、自然，但不便于微分运算 ，后一种方法相当于考虑 2—范数的
"
m
（7）
有非零解。式(7)可写为
∑ (∑ x
k =0 i =0
n
m
j+k i
)a k = 0,
j = 0,1, " , n
（8）
将式（8）中第 j 个方程乘以 a j (j=0,1,…，n)，然后将新得到的 n+1 个方程左右两
⎡ n m j+k ⎤ a j ⎢∑(∑xi )ak 0⎥ = 0 ∑ ⎦ 端分别 相加，得 j =0 ⎣k =0 i=0
(4) 式（3）或式（4）称为正规方程组或法方程组。 可以证明，方程组（4）的系数矩阵是一个对称正定矩阵，故存在唯一解。从式（4） 中解出 a k (k=0,1,…，n)，从而可得多项式 (5) 可以证明，式（5）中的 p n ( x) 满足式（1），即 p n ( x ) 为所求的拟合多项式。我们把
m
2
(1)
当拟合函数为多项式时，称为多项式拟合，满足式（1）的 p n ( x) 称为最小二乘拟合多项 式。特别地，当 n=1 时，称为线性拟合或直线拟合。 显然
I = ∑ (∑ a k xik − y i ) 2
i =0 k =0
m
n
为 a 0 , a1 ," a n 的多元函数， 因此上述问题即为求 I = I (a 0 , a1 ," a n ) 的极值 问题。 由多元函 数求极值的必要条件，得 n m ∂I = 2∑ (∑ a k xik − y i ) xij = 0, j = 0,1, " , n ∂a j i =0 k =0 (2) 即
6-2 例2 例 2 已知实验数据如下表
i
xi
0 1 10
1 3 5
2 4 4
3 5 2
4 6 1
5 7 1
6 8 2
7 9 3
8 10 4
yi
试用最小二乘法求它的二次拟合多项式。 解 设拟合曲线方程为 2 y = a 0 + a1 x + a 2 x 列表如下 I 0 1 2 3 4 5 6 7 8 xi 1 3 4 5 6 7 8 9 10 53 yi 10 5 4 2 1 1 2 3 4 32
x i2 x i3 x i4
xi y i 10 15 16 10 6 7 16 27 40 147
xi2 y i
∑
1 9 16 25 36 49 64 81 100 381
1 27 64 125 216 343 512 729 1000 3017
1 81 256 625 1296 2401 4096 6561 10000 25317
i =0 k =0 i =0
m
n
m
(6)
多项式拟合的一般方法可归纳为以下几步： (1) 由已知数据画出函数粗略的图形——散点图，确定拟合多项式的次数 n； (2) 列表计算 i =0 和 i =0 (3) 写出正规方程组，求出 a 0 , a1 ," a n ；
p n ( x) = ∑ a k x k
2 i =0 2 m
Fra Baidu bibliotek
m
2
= ∑ [Qn ( xi ) − p n ( xi )] + 2∑ [Qn ( xi ) − p n ( xi )] ⋅ [ p n ( xi ) − y i ]
i =0 m n n ⎧ m ⎡⎛ n ⎡n ⎤ ⎞ ⎤⎫ ⎪ ⎪ ≥ 0 + 2∑∑ (b j − a j ) xij ⋅ ⎢∑ a k xik − y i ⎥ = 2∑ ⎨(b j − a j )∑ ⎢⎜ ∑ a k xik − y i ⎟ xij ⎥ ⎬ i =0 j =0 j =0 ⎪ i = 0 ⎣⎝ k = 0 ⎣ k =0 ⎦ ⎠ ⎦⎪ ⎩ ⎭ 因为 a k (k=0,1,…，n)是正规方程组（4）的解，所以满足式（2），因此有
∑
正规方程组为
245.3 ⎤ ⎡a 0 ⎤ ⎡ 565.5 ⎤ ⎡ 7 ⎢245.3 9325.83⎥ ⎢ a ⎥ = ⎢20029.445⎥ ⎣ ⎦⎣ 1 ⎦ ⎣ ⎦
解方程组得 a 0 = 70.572 , 故得 R 与 T 的拟合直线为 a1 = 0.921
R = 70.572 + 0.921T 利用上述关系式，可以预测不同温度时铜导线的电阻值。例如，由 R=0 得 T=-242.5，即 预测温度 T=-242.5℃时，铜导线无电阻。
其中
p n ( x) = ∑ a k x k
k =0 n
所以
p n ( xi ) = 0
(i=0,1,…,m)
pn ( x) 是次数不超过 n 的多项式，它有 m+1＞n 个相异零点，由代数基本定理，必须
有 a 0 = a1 = " a n = 0 ，与齐次方程组有非零解的假设矛盾。因此正规方程组（4）必有唯 一解 。定理 2 设 a 0, a1 , " , a n 是正规方程组（4）的解，则 的最小二乘拟合多项式。 证 只需证明，对任意一组数 b0, b1 , " , bn 组成的多项式