最小二乘原理

N
N ∂ϕ = − 2∑ ( yi − a 0 − a1 x i ) x i = 0 ∂a1 i =1
∑a
i =1 N
N
0
+ a1 ∑ x i = ∑ yi
i =1 i =1 N N
N
N
a 0 ∑ x i + a1 ∑ x i = ∑ x i yi
2 i =1 i =1 i =1
正规方程组
N N x ∑1 i i=
i =1
c 2 = ∑ xi yi
i =1
N
u11 u 21
u12 a0 c1 a = c u22 1 2
u11 = N
u12 = ∑ x i
i =1 N 2 i
N
c1 = ∑ yi
i =1
N
u21 = u12 u22 = ∑ x
i =1
用最小二乘原理，来确定全部系数a0、a1 、… 、 ak
ϕ ( a 0 , a 1 , ... , a k
) = Σ [a
N i =1 0
+ a 1 x 1i + ... + a k x ki
−y]
i
2
∂ϕ = 0 , j = 0, ... , k ∂a j
§3 非线性曲线的数据拟合
使用最小二乘原理拟合数据时，拟合曲线的选择是很 重要的，通常拟合曲线y*是由数据分布情况或经验确定的， 不一定都是线性模型，但有的经过变换可化为线性模型
N
∑ ∑
i=1 N
i=1
xi x2 i
N ln a ∑ ln y i = i=1 N b ∑1 x i ln y i i=
… ….
xN yN
求拟合直线 y* = a0 + a1 x 用最小二乘原理求a0，a1
令 ϕ ( a 0 , a1 ) =
∂ϕ = 0 ∂a0 ∂ϕ = 0 ∂a1
( y i − a 0 − a1 x i ) 2 ∑
i =1
N ∂ϕ = − 2∑ ( yi − a 0 − a1 x i ) = 0 ∂a0 i =1
c 2 = ∑ xi yi
i =1
N
u11 u 21
u12 a0 c1 a = c u22 1 2
a0 =
c1 u12 c2 u22
u11 u12 u21 u22
a1 =
u11 c1 u21 c2
u11 u12 u21 u22
a0 = (c1 * u22 − c 2 * u12) /( u11 * u22 − u12 * u21)
a 0 ∑ x i + a1 ∑ x 2 = ∑ x i y i i
i =1 i =1 i =1
正规方程组的系数列表如下： xi
2 4 6 8
解得 a 0 = − 1 . 1
a 1 = 1 . 02
yi
1.1 2.8 4.9 7.2 16
xi2
4 16 36 64 120
xiyi
2.2 11.2 29.4 57.6 100.4
4、输出拟合直线 y*=a0+a1x 、
一般地，用一个n次多项式 注：一般地，用一个 次多项式
y=a0+a1x+ a2x2+…+ anxn
做数据拟合，可通过变化成多变量的数据拟合问题。 做数据拟合，可通过变化成多变量的数据拟合问题。
y=a0+a1z1+ a2z2+…+ anzn
§2 多变量的数据拟合
6 4.9
8 7.2
试求最小二乘拟合曲线.
解: 可设拟合曲线为 y*=a0+a1x
0 1 2 3 4 5 6 7 8
x
用最小二乘原理，得正规方程组：
∑a
i =1 N
N
0
+ a1 ∑ x i = ∑ y i
i =1 i =1 N N
N
N
4 a 0 + 20 a 1 = 16 20 a 0 + 120 a 1 = 100 . 4
例：
y
(xi , yi) , i = 1, 2, …, N
x
根据数据分布情况，可以选用双曲线作为拟合曲线
1 1 = a+b y x
1 1 = a+b y x
y ' = a + bx '
1 线性化： 线性化： 令 y ' = , y
1 x' = x
将 ( x i , y i ) 化为 ( x’i , y’ ) 后易解 a 和b。 。 i
a1 = ( u11 * c 2 − u21 * c1) /( u11 * u22 − u12 * u21)
用直线 y*=a0+a1x拟合给定数据 ( xi, yi ) (i= 1,… , N )的 拟合给定数据 的 算法描述： 算法描述： 1、输入点的个数 以 及N个点 xi, yi )； 、输入点的个数N,以 个点( 个点 ； 2、计算正规方程组中各个系数： 、计算正规方程组中各个系数：
u11 = N
u12 = ∑ x ii来自=1 NNc1 = ∑ yi
i =1 N 2 i
N
u21 = u12
u22 = ∑ x
i =1
c 2 = ∑ xi yi
i =1
3、解正规方程组 、
a0 = (c1 * u22 − c 2 * u12) /( u11 * u22 − u12 * u21) a1 = ( u11 * c 2 − u21 * c1) /( u11 * u22 − u12 * u21)
i =1
N
这里 n << N。 。
N
ϕ 实际上是 a0, a1, …, an 的多元函数，即 的多元函数，
ϕ (a 0 , a1 , ... , a n ) = Σ a 0 + a1 x i + ... + a n x − y i
i =1 n i
[
]
2
达到最小，可以用数学中求极值的方法 要使ϕ 达到最小，可以用数学中求极值的方法 即：
∂ϕ = 0 , k = 0, ... , n ∂ak
这种方法称为数据拟合的最小二乘法； 这种方法称为数据拟合的最小二乘法；P(x)为拟合曲线 为拟合曲线
线性拟合（拟合曲线为直线） 线性拟合（拟合曲线为直线） 已知N个点( 已知 个点(xi , yi)( i=1,…,N ) 个点 x y x1 y1 x2 y2
b x
如：根据经验公式 y = a e
( a, b 为常数 )
线性化： 线性化：由 ln y = ln a + b x 可做变换
y’ = ln y , x’ = x , A = ln a , B = b
就是个线性问题 y’ = A + Bx' 就是个线性问题
例：求一个形如y=aebx 的经验函数公式，使它能 够和下列数据相拟合
∑ ∑
i=1 N
i=1
xi x2 i
N
N a0 yi ∑ = i =1 N a1 ∑1 x i y i i=
u11 = N
u12 = ∑ x i
i =1 N 2 i
c1 = ∑ yi
i =1
N
u21 = u12 u22 = ∑ x
| P ( xi ) − yi |2最小 使∑
i =1 N
§1 最小二乘原理
如确定多项式P ( x ) = a00 + a1 x + ... + an x n ，对于一组数 a a1 据(xi, yi)
(i = 1, 2, …, N)
达到极小 极小， 使得 ϕ = ∑ [ P ( xi ) − yi ]2 达到极小，
第3章 曲线拟合的最小二乘法 章 曲线拟合的最小二乘法
仍然是已知 x1 … xN ; y1 … yN, 求一个简单易 算的近似函数 P(x) ≈ f(x)。 。
但是
①
N很大； 很大； 很大 ② y 本身是测量值，不准确，即 y ≠ f (x ) i 本身是测量值，不准确， i i
总体上尽可能小 尽可能小。 这时没必要取 P(xi) = yi , 而要使 P(xi) − yi 总体上尽可能小。 最常见做法： 最常见做法：
∑ ∑
N
i=1 N
i=1
xi x2 i
N a0 yi ∑ = i=1 N a1 ∑1 x i y i i=
例 已知一组实验数据如表所示.
xi yi
8 7 6 5 4 3 2 1
2 1.1
4 2.8
所以拟合曲线为 y*=-1.1+1.02x
∑
20
已知N个点( 已知 个点(xi, yi)( i=1,…,N ) 个点 求拟合直线 y* = a0 + a1 x 的算法过程
N N x ∑1 i i=
N
x y
x1 y1
x2 y2
… ….
xN yN
分析:因为用最小二乘原理，得正规方程组： 分析 因为用最小二乘原理，得正规方程组： 因为用最小二乘原理
x y 1 15.3 2 20.5 3 27.4 4 36.6 5 49.1 6 65.6 7 87.8 8 117.6
线性化： 线性化：由 ln y = ln a + b x 可做变换 用最小二乘原理，得正规方程组： 用最小二乘原理，得正规方程组：
N N x ∑1 i i=