第五章 线性参数最小二乘法处理(1)
合集下载
2011第5章线性参数的最小二乘法处理
二、正规方程
线性参数的最小二乘法处理程序可归结为： 首先根据具体问题列出误差方程式； 再按最小二乘法原理，利用求极值的方法将误差 方程转化为正规方程； 然后求解正规方程，得到待求的估计量； 最后给出精度估计。
对于非线性参数，可先将其线性化，然后按上 述线性参数的最小二乘法处理程序去处理。
二、正规方程
xt
V L AXˆ
则等精度测量时线性参数的残余误差方程为
v1
v1
v2
...
vn
v... 2
最小
vn
一、最小二乘法原理
V TV 最小 ( L AXˆ )T ( L AXˆ ) 最小
线性参数的不等精度测量还可以转化为等 精度的形式，从而可以利用等精度测量时测量 数据的最小二乘法处理的全部结果。
yn fn ( x1 , x2 , ..., xt )
一、最小二乘法原理
v1 l1 y1 v2 l2 y2
vn ln yn v1 l1 f1( x1 , x2 , ..., xt ) v2 l2 f2 ( x1 , x2 , ..., xt )
vn ln fn ( x1 , x2 , ..., xt )
ln
x1
Xˆ
...x2
xt
和
n×t
阶矩阵
A
a11
a21
a12 a22
... a1t
...
a2t
an1
an2
...
ant
第5章线性参数的最小二乘法处理
最小 1
p1 : p 2 : : p n
有
2 2
x1
2
2
:
n
1
x2
2
::
xn 2
( 55)
p1v1 p 2 v 2 p n v n
pi vi2
i 1
最小
对于等精度测量，有 1 1 n 即
p1 p 2 p n
2 2 n 12 2 2 2 2 最小 1 2 n
当然，由前述给出的结果只是估计量，它们以 最大的可能性接近真值而并非真值，因此上述条件 应以残差的形式表示，即用残差代替绝对误差：
2 v1 2
1 2 n 引入权的符号p，由下面的关系
2 2
2 v2
1
2 vn
2 i
0
2 2 2
0
为测量数据li的权； 为单位权方差；
0 0 2 2 n
i2为测量数据li的方差。
线性参数的不等精度测量可以转化为等精度的 形式（单位权化），从而可以利用等精度测量时 测量数据的最小二乘法处理的全部结果。为此， 应将误差方程化为等权的形式。若不等精度测量 数据li 的权为pi ，将不等精度测量的误差方程式 （5-9）两端同乘以相应权的平方根得：
ˆ V L AX
（ -10 5 ）
等精度测量时：残差平方和最小这一条件的矩 阵形式为 v1 v v1v2 vn 2 最小 vn 即 T
V V 最小 （5 -11 ）
ˆ L AX 最小
T
或
ˆ L AX
（5 - 1 ２）
2011第5章线性参数的最小二乘法处理
V T PV 最小 （L AXˆ）T P（L AXˆ） 最小
一、最小二乘法原理
思路二：不等精度 pi 等精度
v1 p1 l1 p1 a11 p1 x1 a12 p1 x2 a1t p1 xt
v2
p2 l2
p2 a21
p2 x1 a22
p2 x2 a2t
二、正规方程
线性参数的最小二乘法处理程序可归结为： 首先根据具体问题列出误差方程式； 再按最小二乘法原理，利用求极值的方法将误差 方程转化为正规方程； 然后求解正规方程，得到待求的估计量； 最后给出精度估计。
对于非线性参数，可先将其线性化，然后按上 述线性参数的最小二乘法处理程序去处理。
二、正规方程
ln
n
ai 2ain a12a1t a22a2t
i 1
an2ant
n
ai 2li a12l1 a22l2
i 1
an2 ln
a11 a12 ... a1t
A
a21
a22
...
a2t
i 1
n
x2 ai 2ai 2 ... xt
i 1
n
ai 2ait
i 1
)
n
ai 2ai1 a12a11 a22a21
i 1
n
ai 2ai 2 a12a12 a22a22
i 1
an2an1 an2an2
l1
L
l...
2
an1ant an1ln
a11 a12 ... a1t
线性参数的最小二乘法处理
x 及 其 标 准 偏1 差 。
1
0 .3
x 2 0 .4
x1 x 3 0 .5
列出非线性测量方程 x32 x 3 0 . 3
组
x1x 2 0 .1 4
x1 x2
x1 , x2 , x3
x1x2 /x1x2
【1解(】x) x1
2(x) x2
32(x)x1x2
4(x)x2x3
5
a51 18.0625 a52 10.5625 a 53 0
1
0 0
0.025v1
0
1
0
1 0 1
110写出21线3
性化残差
0.025v2 方程0组.025v3
0.025v
18.0625 10.5625 0 整理得正规方1程.组24125v5
解出
328.254 190.785 11 22.4201
v4 L4 x1 x22.016(1.0280.983)0.005 v5 L5 x2 x31.981(0.9831.013)0.015 v6 L6 x1x2 x33.032(1.0280.9831.013)0.008
0 2 估v 1 计2 的v 标2 2 准v 差3 2 v 4 2 v 5 2 v 6 2 0 .0 0 0 5 3 6
x2
x3
待求量
y1 y3 y2
y4
x 0 . 3 ( y ) 为 了 获 得 更 可 靠 的 结 果 ， 测 量 次 数 总 要 多 于 未 知 参 数 的 数 目
1
1
x 0 . 4 ( y ) 组 合 测 量 ， 指 直 接2测 量 一 组 被 测 量 的 不 同2组 合 值 ， 从 它 们 相 互 所 依 赖 的 若 干
1
0 .3
x 2 0 .4
x1 x 3 0 .5
列出非线性测量方程 x32 x 3 0 . 3
组
x1x 2 0 .1 4
x1 x2
x1 , x2 , x3
x1x2 /x1x2
【1解(】x) x1
2(x) x2
32(x)x1x2
4(x)x2x3
5
a51 18.0625 a52 10.5625 a 53 0
1
0 0
0.025v1
0
1
0
1 0 1
110写出21线3
性化残差
0.025v2 方程0组.025v3
0.025v
18.0625 10.5625 0 整理得正规方1程.组24125v5
解出
328.254 190.785 11 22.4201
v4 L4 x1 x22.016(1.0280.983)0.005 v5 L5 x2 x31.981(0.9831.013)0.015 v6 L6 x1x2 x33.032(1.0280.9831.013)0.008
0 2 估v 1 计2 的v 标2 2 准v 差3 2 v 4 2 v 5 2 v 6 2 0 .0 0 0 5 3 6
x2
x3
待求量
y1 y3 y2
y4
x 0 . 3 ( y ) 为 了 获 得 更 可 靠 的 结 果 ， 测 量 次 数 总 要 多 于 未 知 参 数 的 数 目
1
1
x 0 . 4 ( y ) 组 合 测 量 ， 指 直 接2测 量 一 组 被 测 量 的 不 同2组 合 值 ， 从 它 们 相 互 所 依 赖 的 若 干
第5章-1 曲线拟合(线性最小二乘法)讲解
a ∑xi2 +b ∑xi= ∑xi yi a ∑xi+bn=∑ yi
求所需系数，得到方程： 29.139a+17.9b=29.7076 17.9a+11b=18.25
通过全选主元高斯消去求得：
a=0.912605
b=0.174034
所以线性拟合曲线函数为： y=0.912605x+0.174034
练习2
根据下列数据求拟合曲线函数： y=ax2+b
x 19 25 31 38 44 y 19.0 32.3 49.0 73.3 97.8
∑xi4 a + ∑xi2 b = ∑xi 2yi
∑xi2 a + n b = ∑yi
7277699a+5327b=369321.5 5327a+5b=271.4
曲线拟合的最小二乘法
1.曲线拟合的意思
Y
.
.
.
.
y=ax+b y=ax2+bx+c
X
y=ax+b y=ax2+bx+c 就是未知函数的拟合曲线。
2最小二乘法原理
观测值与拟合曲线值误差的平方和为最小。
yi y0 y1 y2 y3 y4…… 观测值 y^i y^0 y^1 y^2 y^3 y^4…… 拟合曲线值
拟合曲线为： y=(-11x2-117x+56)/84
x
yHale Waihona Puke 1.61 1.641.63 1.66
1.6 1.63
1.67 1.7
1.64 1.67
1.63 1.66
1.61 1.64
1.66 1.69
1.59 1.62
求所需系数，得到方程： 29.139a+17.9b=29.7076 17.9a+11b=18.25
通过全选主元高斯消去求得：
a=0.912605
b=0.174034
所以线性拟合曲线函数为： y=0.912605x+0.174034
练习2
根据下列数据求拟合曲线函数： y=ax2+b
x 19 25 31 38 44 y 19.0 32.3 49.0 73.3 97.8
∑xi4 a + ∑xi2 b = ∑xi 2yi
∑xi2 a + n b = ∑yi
7277699a+5327b=369321.5 5327a+5b=271.4
曲线拟合的最小二乘法
1.曲线拟合的意思
Y
.
.
.
.
y=ax+b y=ax2+bx+c
X
y=ax+b y=ax2+bx+c 就是未知函数的拟合曲线。
2最小二乘法原理
观测值与拟合曲线值误差的平方和为最小。
yi y0 y1 y2 y3 y4…… 观测值 y^i y^0 y^1 y^2 y^3 y^4…… 拟合曲线值
拟合曲线为： y=(-11x2-117x+56)/84
x
yHale Waihona Puke 1.61 1.641.63 1.66
1.6 1.63
1.67 1.7
1.64 1.67
1.63 1.66
1.61 1.64
1.66 1.69
1.59 1.62
误差分析与数据处理：第5章 线性参数的最小二乘处理
二、不等精度测量线性参数最小二乘处理的正规 方程
n
pi
vi
2 ＝最小
i 1
(
n
pivi2 )
i1
0
x1
n
(
pivi2 )
i 1
xt
0
由此可得不等精度测量线性参数最小二乘处理的 正规方程：
n
piai1li
n
piai1ai1x1
n
piai1ai2 x2
n
piai1ait xt
i 1
i 1
i 1
i 1
n
i 1
pi ai 2li
n i 1
piai2ai1x1
n i 1
piai2ai2 x2
n i 1
pi
ai
2 ai t
xt
n
n
n
n
piaitli piaitai1x1 piaitai2 x2 piaitait xt
i 1
i 1
i 1
i 1
整理得： p1a11v1 p2a21v2 pnan1vn 0
v1 l1 x
v2
l2
x
vn ln x
按照最小二乘原理可求得
n
pili
x
i 1 n
pi
i 1
结论：最小二乘原理与算术平均值原理是一致的，
算术平均值原理是最小二乘原理的特例。
第三节 精度估计
目的：给出估计量 x1, x2 ,, xt的精度
Xˆ C 1 AT L C AT A
一、测量数据精度估计
二、最小二乘估计量的精度估计
一、测量数据精度估计
A）等精度测量数据的精度估计 对 l1, l2 ,, ln进行n次等精度测量，给出 2 的估计量。
第五章 线性参数的最小二乘处理
要满足最小二乘法公式，只有使：
∂v 2 ∂v 2 ∂v 2 = 0,......, =0 = 0, ∂x1 ∂x2 ∂xm
从而得到m个新的方程式，叫作“正规方程组”或“法方程组”。解 正规方程组，得出唯一的一组解，即为符合最小二乘原理的最 解。
定义：正规方程——误差方程按最小二乘法原理转化 得到的有确定解的代数方程组。
⎛ n 2⎞ ∂⎜ ∑ v i ⎟ n n n ⎫ ⎧n i ⎠ = −2 ⎝ ai1li − ∑ ai1ai1 x1 + ∑ ai1ai 2 x2 + L + ∑ ai1ait xt ⎬ = 0 ⎨∑ ∂ x1 i =1 i =1 i =1 ⎭ ⎩ i =1
15
中国地质大学（武汉）Fra bibliotek误差理论与数据处理
p1v1 + p2 v2 + L + pn vn = ∑ pi vi = 最小
2 2 2 2 i =1
n
最小二乘原理（其他分布也适用）
测量结果的最可信赖值应使残余误差平方和 （或加权残余误差平方和）最小。
8
中国地质大学（武汉）
误差理论与数据处理
第一节 最小二乘原理
三、等精度测量的线性参数最小二乘原理
中国地质大学（武汉）
残差方程
5
误差理论与数据处理
第一节 最小二乘原理
若 l1 , l2 ,L , ln 不存在系统误差，相互独立并服从正 分布，标准差分别为 σ 1 , σ 2 ,L , σ n ，则 l1 , l2 ,L , ln 出现在 相应真值附近 dδ1 , dδ 2 ,L , dδ n 区域内的概率为 1 −δ i 2 ( 2σ i 2 ) Pi = e dδ i (i = 1,2,L , n) σ i 2π 由概率论可知，各测量数据同时出现在相应区域的概 n 为 P = P P2 ......Pn = ∏ Pi 1
∂v 2 ∂v 2 ∂v 2 = 0,......, =0 = 0, ∂x1 ∂x2 ∂xm
从而得到m个新的方程式，叫作“正规方程组”或“法方程组”。解 正规方程组，得出唯一的一组解，即为符合最小二乘原理的最 解。
定义：正规方程——误差方程按最小二乘法原理转化 得到的有确定解的代数方程组。
⎛ n 2⎞ ∂⎜ ∑ v i ⎟ n n n ⎫ ⎧n i ⎠ = −2 ⎝ ai1li − ∑ ai1ai1 x1 + ∑ ai1ai 2 x2 + L + ∑ ai1ait xt ⎬ = 0 ⎨∑ ∂ x1 i =1 i =1 i =1 ⎭ ⎩ i =1
15
中国地质大学（武汉）Fra bibliotek误差理论与数据处理
p1v1 + p2 v2 + L + pn vn = ∑ pi vi = 最小
2 2 2 2 i =1
n
最小二乘原理（其他分布也适用）
测量结果的最可信赖值应使残余误差平方和 （或加权残余误差平方和）最小。
8
中国地质大学（武汉）
误差理论与数据处理
第一节 最小二乘原理
三、等精度测量的线性参数最小二乘原理
中国地质大学（武汉）
残差方程
5
误差理论与数据处理
第一节 最小二乘原理
若 l1 , l2 ,L , ln 不存在系统误差，相互独立并服从正 分布，标准差分别为 σ 1 , σ 2 ,L , σ n ，则 l1 , l2 ,L , ln 出现在 相应真值附近 dδ1 , dδ 2 ,L , dδ n 区域内的概率为 1 −δ i 2 ( 2σ i 2 ) Pi = e dδ i (i = 1,2,L , n) σ i 2π 由概率论可知，各测量数据同时出现在相应区域的概 n 为 P = P P2 ......Pn = ∏ Pi 1
第五章线性参数的最小二乘处理
2x+y=5.1
x-y=1.1
4x-y=7.4
x+4y=5.9
5-6测得一直线上四段长度AB、BC、CD、DE分别为24.1，35.8，30.3和33.8厘米，但已知AD准确长90厘米和BE准确长100厘米。试求AB，BC，CD，DE的最大或然值。
5-7由方程组
3x+y=2.9
x-2y=0.9
2x-3y=1.9
典型题解
5-1由测量方程
试求 、 的最小二乘法处理及其相应精度。
解：方法一：列出误差方程组：
分别对 求偏导，并令它们的结果为0，
试求x，y的最大或然值及其标准误差。
5-8由下面的不等精度的测定方程组，求x1，x2的最可信赖值及其标准误差。
x1=0权：P1=8
x2=0P2=10
x1+2x2=0.25P3=1
x1-3x2=0.92P4=5
5-9由下面的不等精度的测定方程组，试用矩阵最小二乘法求x，y的最大或然值及其标准误差。
x-3y=-5.6权：P1=1
（ii）第一个量规（Y1）与标准量规比较二次，第二个量规（Y2）与第一个量规比较二次，第三个量规（Y3）与第二量规比较二次；
（iii）每一个量规各与标准量比较一次，然后它们相互按不同的组合比较一次；
上述三种测量方案得到的条件方程式如下表所示：
（1）
（2）
（3）
Y1—N=X1
Y1—N=X1
Y1—N=X1
X+Y=37.0权：P1=5
2X+Y=61.9 P2=4
3X+Y=86.7 P3=4
X+2Y=49.2 P4=4
X+3Y=60.6 P5=3
x-y=1.1
4x-y=7.4
x+4y=5.9
5-6测得一直线上四段长度AB、BC、CD、DE分别为24.1，35.8，30.3和33.8厘米，但已知AD准确长90厘米和BE准确长100厘米。试求AB，BC，CD，DE的最大或然值。
5-7由方程组
3x+y=2.9
x-2y=0.9
2x-3y=1.9
典型题解
5-1由测量方程
试求 、 的最小二乘法处理及其相应精度。
解：方法一：列出误差方程组：
分别对 求偏导，并令它们的结果为0，
试求x，y的最大或然值及其标准误差。
5-8由下面的不等精度的测定方程组，求x1，x2的最可信赖值及其标准误差。
x1=0权：P1=8
x2=0P2=10
x1+2x2=0.25P3=1
x1-3x2=0.92P4=5
5-9由下面的不等精度的测定方程组，试用矩阵最小二乘法求x，y的最大或然值及其标准误差。
x-3y=-5.6权：P1=1
（ii）第一个量规（Y1）与标准量规比较二次，第二个量规（Y2）与第一个量规比较二次，第三个量规（Y3）与第二量规比较二次；
（iii）每一个量规各与标准量比较一次，然后它们相互按不同的组合比较一次；
上述三种测量方案得到的条件方程式如下表所示：
（1）
（2）
（3）
Y1—N=X1
Y1—N=X1
Y1—N=X1
X+Y=37.0权：P1=5
2X+Y=61.9 P2=4
3X+Y=86.7 P3=4
X+2Y=49.2 P4=4
X+3Y=60.6 P5=3
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第五章 线性参数的最小二乘法处理
光电效应
1 E = hν = m υ0 2 + A 2
1 eU 0 = m υ0 2 2
h A U0 = ν e e
2
光电效应
频率νi(×1014Hz) 8.214 7.408 6.879 5.490 5.196 截止电压U0i(V) 1.790 1.436 1.242 0.688 0.560
3
光电效应
SLOPE函数
频率ν i(Hz) 8.214E+14 7.408E+14 6.879E+14 5.490E+14 5.196E+14 截止电压U0i(V) 1.790E+00 1.436E+00 1.242E+00 6.880E-01 5.600E-01
4.02964E-15
2.000E+00 1.800E+00 1.600E+00
1
i 2
e
i 2 ( 2 i 2 )
di
( i 1, 2,
, n)
由概率论可知，各测量数据同时出现在相应区域的概率
为ቤተ መጻሕፍቲ ባይዱ
P Pi
i 1
n
1
1 2 n
2
e n
i 1
n
i 2 (2 i 2 )
d 1d 2
d n
12
第一节 最小二乘原理
1.400E+00
y = 4E-15x - 1.5314
1.200E+00 1.000E+00 8.000E-01 6.000E-01
4.000E-01
2.000E-01 0.000E+00 0.000E+00 5.000E+14 1.000E+15
4
主要内容
历 史
LS简介
(Least Squares) 最 小 二 乘 法
残差方程式
11
第一节 最小二乘原理
若 l 1 , l 2 , , l n不存在系统误差，相互独立并服从正态 分布，标准差分别为 1 , 2 , , n ，则 l 1 , l 2 , , l n 出现在 相应真值附近 d 1 , d 2 , , d n 区域内的概率为
Pi
U 0i
10
第一节 最小二乘原理
u0 = c + dν
设直接测量量
Y1 , Y 2 ,
y1 f1 ( x1 , x2 ,
由此得测量数据 l 1 , l 2 ,
, xt ) y2 f 2 ( x1 , x2 , , xt ) yn f n ( x1 , x2 , , xt )
, Y n 的估计值为 y 1 , y 2 ,
, y n ，则有
1 l1 f1 ( x1 , x2 , , xt ) 2 l2 f 2 ( x1 , x2 , , xt ) n ln f n ( x1 , x2 , , xt )
, l n 的残余误差
原理(线性参数) 等精度测量LS的正规方程 不等精度测量LS的正规方程 非线性参数LS的正规方程 LS与算术平均值原理的关系 测量数据的精度估计 LS估计量的精度估计
正规方程
精度估计
组合测量LS处理
5
第一节 最小二乘原理
一、最小二乘概述(历史)
最小二乘法[Least Squares(LS), 又称最小平方法]是一 种数学优化技术。它通过最小化误差的平方和寻找数据的最 佳函数匹配。 LS最初于1794年被高斯(Carl Friedrich Gauss) 所描述(非出版物)，但是他直到1809 年才将LS发表于《天体运动论》一书中。
1801年，意大利天文学家皮亚齐(Giuseppe Piazzi)发现了第一颗小行 星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得 皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数 据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有 结果。时年24岁的高斯也计算了谷神星的轨道。德国天文学家冯· 扎克( F ranz Xaver von Zach)和奥伯斯(Heinrich Wilhelm Matthä us Olbers)根据 6 高斯计算出来的轨道重新发现了谷神星。
X
b2 + 1 (2)d' = [ yi - (a + bxi )]2
9
第一节 最小二乘原理
h A U0 ν e e
h 设 d e
A c e
h A e e
为确定t个未知量 X1, X 2 ,, X t 的估计量 x1, x2 ,, xt 分别直接测量 n个直接量 Y1 , Y2 ,, Yn，得测量数据 l1 , l2 ,, ln n t 。
不等精度测量的LS原理：
( p1 : p2 : ... : pn =
p11 p 2 2
2
p n n pi i
2 i 1
最小
最小二乘原理：
测量结果的最可信赖值应使残余误差平方 和（或加权残余误差平方和）最小。
14
第一节 最小二乘原理
三、等精度测量的线性参数LS原理
线性参数的测量方程和相应的估计量为：
Y1 a11 X 1 a12 X 2 a1t X t Y2 a21 X 1 a22 X 2 a2 t X t Yn a n1 X 1 a n 2 X 2 a nt X t y1 a11 x1 a12 x2 a1t xt y 2 a21 x1 a22 x2 a2 t xt y n an1 x1 an 2 x2 a nt xt
第一节 最小二乘原理
“数据结合”(data combination)的问题
正态分布(高斯分布) 最小二乘法
7
第一节 最小二乘原理
勒让德(Adrien-Marie Legendre )于 1805年首次公开发表了LS。
8
第一节 最小二乘原理
二、最小二乘原理
Y
(1)d =
bxi - yi + a
o
1 2 2 2 1 2
2 2
n 2 最小 n
2
13
第一节 最小二乘原理
等精度测量的LS原理：
( 1 = 2 = ... = n )
1 2
2 2
n i
2 2 i 1
2 2 n
n
最小
1 1 1 : : ... : ) σ12 σ 2 2 σn2
测量值 l 1 , l 2 , , l n 已经出现，有理由认为这n个测量值 出现于相应区间的概率P应为最大。——待求量最可信赖 体温咽喉头疼咳嗽 胸痛咯血 CT 要使P最大，应有
12 2 2 2 2 1 2
n2 2 最小 n
由于结果只是接近真值的估计值，因此上述条件应表 示为
光电效应
1 E = hν = m υ0 2 + A 2
1 eU 0 = m υ0 2 2
h A U0 = ν e e
2
光电效应
频率νi(×1014Hz) 8.214 7.408 6.879 5.490 5.196 截止电压U0i(V) 1.790 1.436 1.242 0.688 0.560
3
光电效应
SLOPE函数
频率ν i(Hz) 8.214E+14 7.408E+14 6.879E+14 5.490E+14 5.196E+14 截止电压U0i(V) 1.790E+00 1.436E+00 1.242E+00 6.880E-01 5.600E-01
4.02964E-15
2.000E+00 1.800E+00 1.600E+00
1
i 2
e
i 2 ( 2 i 2 )
di
( i 1, 2,
, n)
由概率论可知，各测量数据同时出现在相应区域的概率
为ቤተ መጻሕፍቲ ባይዱ
P Pi
i 1
n
1
1 2 n
2
e n
i 1
n
i 2 (2 i 2 )
d 1d 2
d n
12
第一节 最小二乘原理
1.400E+00
y = 4E-15x - 1.5314
1.200E+00 1.000E+00 8.000E-01 6.000E-01
4.000E-01
2.000E-01 0.000E+00 0.000E+00 5.000E+14 1.000E+15
4
主要内容
历 史
LS简介
(Least Squares) 最 小 二 乘 法
残差方程式
11
第一节 最小二乘原理
若 l 1 , l 2 , , l n不存在系统误差，相互独立并服从正态 分布，标准差分别为 1 , 2 , , n ，则 l 1 , l 2 , , l n 出现在 相应真值附近 d 1 , d 2 , , d n 区域内的概率为
Pi
U 0i
10
第一节 最小二乘原理
u0 = c + dν
设直接测量量
Y1 , Y 2 ,
y1 f1 ( x1 , x2 ,
由此得测量数据 l 1 , l 2 ,
, xt ) y2 f 2 ( x1 , x2 , , xt ) yn f n ( x1 , x2 , , xt )
, Y n 的估计值为 y 1 , y 2 ,
, y n ，则有
1 l1 f1 ( x1 , x2 , , xt ) 2 l2 f 2 ( x1 , x2 , , xt ) n ln f n ( x1 , x2 , , xt )
, l n 的残余误差
原理(线性参数) 等精度测量LS的正规方程 不等精度测量LS的正规方程 非线性参数LS的正规方程 LS与算术平均值原理的关系 测量数据的精度估计 LS估计量的精度估计
正规方程
精度估计
组合测量LS处理
5
第一节 最小二乘原理
一、最小二乘概述(历史)
最小二乘法[Least Squares(LS), 又称最小平方法]是一 种数学优化技术。它通过最小化误差的平方和寻找数据的最 佳函数匹配。 LS最初于1794年被高斯(Carl Friedrich Gauss) 所描述(非出版物)，但是他直到1809 年才将LS发表于《天体运动论》一书中。
1801年，意大利天文学家皮亚齐(Giuseppe Piazzi)发现了第一颗小行 星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得 皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数 据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有 结果。时年24岁的高斯也计算了谷神星的轨道。德国天文学家冯· 扎克( F ranz Xaver von Zach)和奥伯斯(Heinrich Wilhelm Matthä us Olbers)根据 6 高斯计算出来的轨道重新发现了谷神星。
X
b2 + 1 (2)d' = [ yi - (a + bxi )]2
9
第一节 最小二乘原理
h A U0 ν e e
h 设 d e
A c e
h A e e
为确定t个未知量 X1, X 2 ,, X t 的估计量 x1, x2 ,, xt 分别直接测量 n个直接量 Y1 , Y2 ,, Yn，得测量数据 l1 , l2 ,, ln n t 。
不等精度测量的LS原理：
( p1 : p2 : ... : pn =
p11 p 2 2
2
p n n pi i
2 i 1
最小
最小二乘原理：
测量结果的最可信赖值应使残余误差平方 和（或加权残余误差平方和）最小。
14
第一节 最小二乘原理
三、等精度测量的线性参数LS原理
线性参数的测量方程和相应的估计量为：
Y1 a11 X 1 a12 X 2 a1t X t Y2 a21 X 1 a22 X 2 a2 t X t Yn a n1 X 1 a n 2 X 2 a nt X t y1 a11 x1 a12 x2 a1t xt y 2 a21 x1 a22 x2 a2 t xt y n an1 x1 an 2 x2 a nt xt
第一节 最小二乘原理
“数据结合”(data combination)的问题
正态分布(高斯分布) 最小二乘法
7
第一节 最小二乘原理
勒让德(Adrien-Marie Legendre )于 1805年首次公开发表了LS。
8
第一节 最小二乘原理
二、最小二乘原理
Y
(1)d =
bxi - yi + a
o
1 2 2 2 1 2
2 2
n 2 最小 n
2
13
第一节 最小二乘原理
等精度测量的LS原理：
( 1 = 2 = ... = n )
1 2
2 2
n i
2 2 i 1
2 2 n
n
最小
1 1 1 : : ... : ) σ12 σ 2 2 σn2
测量值 l 1 , l 2 , , l n 已经出现，有理由认为这n个测量值 出现于相应区间的概率P应为最大。——待求量最可信赖 体温咽喉头疼咳嗽 胸痛咯血 CT 要使P最大，应有
12 2 2 2 2 1 2
n2 2 最小 n
由于结果只是接近真值的估计值，因此上述条件应表 示为