线性参数的最小二乘法处理.pptx
合集下载
误差理论第五章最小二乘法
a2t
xt
)
vn ln (an1x1 an2 x2 L ant xt )
7
三、矩阵最小二乘法
设列向量分别为：
l1
L
l2
M
ln
x1
Xˆ
x2
M
xt
v1
V
v2
M
vn
a11 a12 L a1t
A a21 a22 L
a2t
M
an1 an2 L ant
对应Y的n 个直接测 量结果
t个待求 X的估计
量
为直接测 量量结果 的残差
为（n×t) 系数矩阵
则残差方程的矩阵表达式为： V L AXˆ
等精度测量最小二乘原理的矩阵形式为：
V TV 最小 或 （L AXˆ）（T L AXˆ） 最小
8
四、不等精度测量的线性参数最小二乘原理
思路一：
Pnn
p1 0 0 0 p2 0
Pnn
0 0
0 9 0 0
0
0
9
0
0 0 0 0 9
解矩阵得：
Xˆ
x1
x2
( AT PA)1 AT PL
4.186 2.227
22
三、非线性参数最小二乘处理的正规方程
针对非线性函数 yi fi (x1, x2,L , xt ) (i 1, 2,L , n)其测量 误差方程为：
v1 l1 f1(x1, x2 ,L , xt )
用，可以有效减少随机误差的影响，因而所得结果具有
最可信赖值。
6
二、等精度测量的线性参数最小二乘原理
线性参数的测量方程一般形式为： 相应的估计量为：
Y1 a11X1 a12 X 2 L a1t X t
最小二乘法在线性和非线性回归中的应用PPT课件
y a0 a1x
这样仍可用最小二乘法定出（从而也就定 出了A,C ），得到近似函数
S AeCt
13
第13页/共38页
下面列出几种常用的线性处理方法，利用最小 二乘法的原理对直线型、抛物线型和指数曲线 型的方程的参数估计方法 。
14
第14页/共38页
直线型
直线方程的一般形式为： Y a bX
lsqnonlin用以求含参量x（向量）的向量值函数 f(x)=(f1(x),f2(x),…,fn(x))T 中的参量x，使得
f T (x) f (x) f1(x)2 f2(x)2 fn (x)2
偏导数,并令导数等于0,得到联立方程组解方程组,即 可得到参数的计算公式。
Y na b X c X 2 0 Y X 2 a X b X 2 c X 3 0 Y X 2 a X 2 b X 3 c X 4 0
16
第16页/共38页
指数曲线型
指数曲线的一般形式为 Y abX
am
yn
超定方程一般是不存在解的矛盾方程组。
n
如果有向量a使得
(ri1a1 ri2a2 rimam yi )2 达到最小，
i1
则称a为上述超定方程的最小二乘解。
9
第9页/共38页
线性最小二乘法的求解
所以，曲线拟合的最小二乘法要解决的问题，实际上就是 求以下超定方程组的最小二乘解的问题。
e=4.149e+05
25
第25页/共38页
用MATLAB作非线性最小二乘拟合
Matlab的提供了两个求非线性最小二乘拟合的函数： lsqcurvefit和lsqnonlin。两个命令都要先建立M-文件fun.m， 在其中定义函数f(x)，但两者定义f(x)的方式是不同的,可参 考例题.
这样仍可用最小二乘法定出（从而也就定 出了A,C ），得到近似函数
S AeCt
13
第13页/共38页
下面列出几种常用的线性处理方法，利用最小 二乘法的原理对直线型、抛物线型和指数曲线 型的方程的参数估计方法 。
14
第14页/共38页
直线型
直线方程的一般形式为： Y a bX
lsqnonlin用以求含参量x（向量）的向量值函数 f(x)=(f1(x),f2(x),…,fn(x))T 中的参量x，使得
f T (x) f (x) f1(x)2 f2(x)2 fn (x)2
偏导数,并令导数等于0,得到联立方程组解方程组,即 可得到参数的计算公式。
Y na b X c X 2 0 Y X 2 a X b X 2 c X 3 0 Y X 2 a X 2 b X 3 c X 4 0
16
第16页/共38页
指数曲线型
指数曲线的一般形式为 Y abX
am
yn
超定方程一般是不存在解的矛盾方程组。
n
如果有向量a使得
(ri1a1 ri2a2 rimam yi )2 达到最小，
i1
则称a为上述超定方程的最小二乘解。
9
第9页/共38页
线性最小二乘法的求解
所以，曲线拟合的最小二乘法要解决的问题，实际上就是 求以下超定方程组的最小二乘解的问题。
e=4.149e+05
25
第25页/共38页
用MATLAB作非线性最小二乘拟合
Matlab的提供了两个求非线性最小二乘拟合的函数： lsqcurvefit和lsqnonlin。两个命令都要先建立M-文件fun.m， 在其中定义函数f(x)，但两者定义f(x)的方式是不同的,可参 考例题.
05第五章--线性参数最小二乘处理x
v1 l1 f1(x1, x2 ,, xt )
v2
l2
f2 (x1,
x2 ,,
xt
)
vn ln fn (x1, x2 ,, xt )
y1，, y2 ,, yn 残差方程式
第一节 最小二乘原理
若 l1,l2不,存,l在n 系统误差，相互独立并服从正态分布
，原则差分别为
1,， 2则,, n 出目前l1,l相2 ,应,真ln 值附近
aitli ait ai1x1 ait ai2 x2 ait ait xt
i 1
i 1
i 1
i 1
特点：
➢ 主对角线分布着平方项系数，正数 ➢ 相对于主对角线对称分布旳各系数两两相等
第二节 正规方程
看正规方程组中第r个方程：
n
n
n
n
airli [ air ai1x1 air ai2 x2 air ait xt ] 0
)0
则误差方程转化为线性方程组
v1 l1'(a111 a12 2 a1tt )
v2
l2 '(a211
a22 2
a2t
t
)
vn ln '(an11 an2 2 antt )
近似值
于是可解得 r (r 1,2,,t) ，进而可得xr (r 1,2,,t)。
第二节 正规方程
针对非线性函数 yi fi (x1, x2 ,, xt ) (i 1,2,, n) 其测量误差方程为
v1 l1 f1(x1, x2 ,, xt )
v2
l2
f2 (x1, x2 ,,
xt
)
vn ln fn (x1, x2 ,, xt )
第5章线性参数的最小二乘法处理
最小 1
p1 : p 2 : : p n
有
2 2
x1
2
2
:
n
1
x2
2
::
xn 2
( 55)
p1v1 p 2 v 2 p n v n
pi vi2
i 1
最小
对于等精度测量，有 1 1 n 即
p1 p 2 p n
2 2 n 12 2 2 2 2 最小 1 2 n
当然，由前述给出的结果只是估计量，它们以 最大的可能性接近真值而并非真值，因此上述条件 应以残差的形式表示，即用残差代替绝对误差：
2 v1 2
1 2 n 引入权的符号p，由下面的关系
2 2
2 v2
1
2 vn
2 i
0
2 2 2
0
为测量数据li的权； 为单位权方差；
0 0 2 2 n
i2为测量数据li的方差。
线性参数的不等精度测量可以转化为等精度的 形式（单位权化），从而可以利用等精度测量时 测量数据的最小二乘法处理的全部结果。为此， 应将误差方程化为等权的形式。若不等精度测量 数据li 的权为pi ，将不等精度测量的误差方程式 （5-9）两端同乘以相应权的平方根得：
ˆ V L AX
（ -10 5 ）
等精度测量时：残差平方和最小这一条件的矩 阵形式为 v1 v v1v2 vn 2 最小 vn 即 T
V V 最小 （5 -11 ）
ˆ L AX 最小
T
或
ˆ L AX
（5 - 1 ２）
2011第5章线性参数的最小二乘法处理
V T PV 最小 （L AXˆ）T P（L AXˆ） 最小
一、最小二乘法原理
思路二：不等精度 pi 等精度
v1 p1 l1 p1 a11 p1 x1 a12 p1 x2 a1t p1 xt
v2
p2 l2
p2 a21
p2 x1 a22
p2 x2 a2t
二、正规方程
线性参数的最小二乘法处理程序可归结为： 首先根据具体问题列出误差方程式； 再按最小二乘法原理，利用求极值的方法将误差 方程转化为正规方程； 然后求解正规方程，得到待求的估计量； 最后给出精度估计。
对于非线性参数，可先将其线性化，然后按上 述线性参数的最小二乘法处理程序去处理。
二、正规方程
ln
n
ai 2ain a12a1t a22a2t
i 1
an2ant
n
ai 2li a12l1 a22l2
i 1
an2 ln
a11 a12 ... a1t
A
a21
a22
...
a2t
i 1
n
x2 ai 2ai 2 ... xt
i 1
n
ai 2ait
i 1
)
n
ai 2ai1 a12a11 a22a21
i 1
n
ai 2ai 2 a12a12 a22a22
i 1
an2an1 an2an2
l1
L
l...
2
an1ant an1ln
a11 a12 ... a1t
误差分析与数据处理：第5章 线性参数的最小二乘处理
二、不等精度测量线性参数最小二乘处理的正规 方程
n
pi
vi
2 ＝最小
i 1
(
n
pivi2 )
i1
0
x1
n
(
pivi2 )
i 1
xt
0
由此可得不等精度测量线性参数最小二乘处理的 正规方程：
n
piai1li
n
piai1ai1x1
n
piai1ai2 x2
n
piai1ait xt
i 1
i 1
i 1
i 1
n
i 1
pi ai 2li
n i 1
piai2ai1x1
n i 1
piai2ai2 x2
n i 1
pi
ai
2 ai t
xt
n
n
n
n
piaitli piaitai1x1 piaitai2 x2 piaitait xt
i 1
i 1
i 1
i 1
整理得： p1a11v1 p2a21v2 pnan1vn 0
v1 l1 x
v2
l2
x
vn ln x
按照最小二乘原理可求得
n
pili
x
i 1 n
pi
i 1
结论：最小二乘原理与算术平均值原理是一致的，
算术平均值原理是最小二乘原理的特例。
第三节 精度估计
目的：给出估计量 x1, x2 ,, xt的精度
Xˆ C 1 AT L C AT A
一、测量数据精度估计
二、最小二乘估计量的精度估计
一、测量数据精度估计
A）等精度测量数据的精度估计 对 l1, l2 ,, ln进行n次等精度测量，给出 2 的估计量。
第五章 线性参数的最小二乘处理
要满足最小二乘法公式，只有使：
∂v 2 ∂v 2 ∂v 2 = 0,......, =0 = 0, ∂x1 ∂x2 ∂xm
从而得到m个新的方程式，叫作“正规方程组”或“法方程组”。解 正规方程组，得出唯一的一组解，即为符合最小二乘原理的最 解。
定义：正规方程——误差方程按最小二乘法原理转化 得到的有确定解的代数方程组。
⎛ n 2⎞ ∂⎜ ∑ v i ⎟ n n n ⎫ ⎧n i ⎠ = −2 ⎝ ai1li − ∑ ai1ai1 x1 + ∑ ai1ai 2 x2 + L + ∑ ai1ait xt ⎬ = 0 ⎨∑ ∂ x1 i =1 i =1 i =1 ⎭ ⎩ i =1
15
中国地质大学（武汉）Fra bibliotek误差理论与数据处理
p1v1 + p2 v2 + L + pn vn = ∑ pi vi = 最小
2 2 2 2 i =1
n
最小二乘原理（其他分布也适用）
测量结果的最可信赖值应使残余误差平方和 （或加权残余误差平方和）最小。
8
中国地质大学（武汉）
误差理论与数据处理
第一节 最小二乘原理
三、等精度测量的线性参数最小二乘原理
中国地质大学（武汉）
残差方程
5
误差理论与数据处理
第一节 最小二乘原理
若 l1 , l2 ,L , ln 不存在系统误差，相互独立并服从正 分布，标准差分别为 σ 1 , σ 2 ,L , σ n ，则 l1 , l2 ,L , ln 出现在 相应真值附近 dδ1 , dδ 2 ,L , dδ n 区域内的概率为 1 −δ i 2 ( 2σ i 2 ) Pi = e dδ i (i = 1,2,L , n) σ i 2π 由概率论可知，各测量数据同时出现在相应区域的概 n 为 P = P P2 ......Pn = ∏ Pi 1
∂v 2 ∂v 2 ∂v 2 = 0,......, =0 = 0, ∂x1 ∂x2 ∂xm
从而得到m个新的方程式，叫作“正规方程组”或“法方程组”。解 正规方程组，得出唯一的一组解，即为符合最小二乘原理的最 解。
定义：正规方程——误差方程按最小二乘法原理转化 得到的有确定解的代数方程组。
⎛ n 2⎞ ∂⎜ ∑ v i ⎟ n n n ⎫ ⎧n i ⎠ = −2 ⎝ ai1li − ∑ ai1ai1 x1 + ∑ ai1ai 2 x2 + L + ∑ ai1ait xt ⎬ = 0 ⎨∑ ∂ x1 i =1 i =1 i =1 ⎭ ⎩ i =1
15
中国地质大学（武汉）Fra bibliotek误差理论与数据处理
p1v1 + p2 v2 + L + pn vn = ∑ pi vi = 最小
2 2 2 2 i =1
n
最小二乘原理（其他分布也适用）
测量结果的最可信赖值应使残余误差平方和 （或加权残余误差平方和）最小。
8
中国地质大学（武汉）
误差理论与数据处理
第一节 最小二乘原理
三、等精度测量的线性参数最小二乘原理
中国地质大学（武汉）
残差方程
5
误差理论与数据处理
第一节 最小二乘原理
若 l1 , l2 ,L , ln 不存在系统误差，相互独立并服从正 分布，标准差分别为 σ 1 , σ 2 ,L , σ n ，则 l1 , l2 ,L , ln 出现在 相应真值附近 dδ1 , dδ 2 ,L , dδ n 区域内的概率为 1 −δ i 2 ( 2σ i 2 ) Pi = e dδ i (i = 1,2,L , n) σ i 2π 由概率论可知，各测量数据同时出现在相应区域的概 n 为 P = P P2 ......Pn = ∏ Pi 1
(完整版)5线性参数的最小二乘法处理(精)
一、等精度测量线性参数的LSM处理的正规方 程。
❖ 线性参数的误差方程式为：
l1 a11x1 a12 x2 ... a1t xt v1
l2 a21x1 a22 x2 ... a2t xt v2
……
ln an1x1 an2 x2 ... ant xt vn
v2
第三节 精度估计
❖ 一、测量数据的精度估计
❖ （一）等精度测量数据的精度估计
❖ 对包含t个未知数的线性参数方程，进行n次独立的 等精度测量。
❖ 可以证明
❖
[V V ] ~ 2 n t
2
E[V V
2
]
n
t
❖取
s 2 v v
nt
s
v
2 i
nt
❖ V1=3-(1.28×1+0.418×2)=0.884 ❖ V2=5-(1.28×1+0.418×10)=-0.46 ❖ V3=8-(1.28×1+0.418×20)=-1.64 ❖ V4=15-(1.28×1+0.418×30)=1.18 ❖ V5=18-(1.28×1+0.418×40)=0
L
8
15
18
AT A 1052 3100024 AT L 134698
( AT
A)1
1 4616
3004 102
1502
X
( AT A)1 AT L
1 4616
3004 102
1502134698 01..42188
❖ 正规方程为： ❖ 5x+102y=49 ❖ 102x+3004y=1386 ❖ 解该方程得到 ❖ x=1.28 ❖ y=0.418
i