第五章线性参数的最小二乘法处理
合集下载
2011第5章线性参数的最小二乘法处理
二、正规方程
线性参数的最小二乘法处理程序可归结为： 首先根据具体问题列出误差方程式； 再按最小二乘法原理，利用求极值的方法将误差 方程转化为正规方程； 然后求解正规方程，得到待求的估计量； 最后给出精度估计。
对于非线性参数，可先将其线性化，然后按上 述线性参数的最小二乘法处理程序去处理。
二、正规方程
xt
V L AXˆ
则等精度测量时线性参数的残余误差方程为
v1
v1
v2
...
vn
v... 2
最小
vn
一、最小二乘法原理
V TV 最小 ( L AXˆ )T ( L AXˆ ) 最小
线性参数的不等精度测量还可以转化为等 精度的形式，从而可以利用等精度测量时测量 数据的最小二乘法处理的全部结果。
yn fn ( x1 , x2 , ..., xt )
一、最小二乘法原理
v1 l1 y1 v2 l2 y2
vn ln yn v1 l1 f1( x1 , x2 , ..., xt ) v2 l2 f2 ( x1 , x2 , ..., xt )
vn ln fn ( x1 , x2 , ..., xt )
ln
x1
Xˆ
...x2
xt
和
n×t
阶矩阵
A
a11
a21
a12 a22
... a1t
...
a2t
an1
an2
...
ant
第五章 最小二乘法
T T ˆ ）P L AX） min ˆ （L AX （
第二节 正规方程
第五章 线性参数的最小二乘法
正规方程：将误差方程按最小二乘法原理转化得到的
有确定解的代数方程组。
一、等精度测量线性参数最小二乘处理的正规方程
v1 l1 (a11 x1 a12 x2 a1 t xt ) v 2 l 2 (a21 x1 a22 x2 a2 t xt ) v l (a x a x a x ) n n1 1 n2 2 nt t n
2
ln (an1 x1 an 2 x2 ant xt )
vi x1
2
2
2a11 l1 (a11 x1 a12 x2 a1t xt ) 2a21 l2 (a21 x1 a22 x2 a2 t xt ) 2an1 ln (an1 x1 an 2 x2 ant xt ) 0
a
i1 i
a
i1
ai 2 x2
a
it
a it x t 0
2 2 vi 2 a i1a i1 0 2 x1
说明存在极小值
正规方程 （t个）
n n n n ai 1 l i ai 1ai 1 x1 ai 1ai 2 x2 ai 1ait x t i 1 i 1 i 1 i 1 n n n n ai 2 l i ai 2 ai 1 x1 ai 2 ai 2 x2 ai 2 ait x t i 1 i 1 i 1 i 1 n n n n ait l i ait ai 1 x1 ait ai 2 x2 ait ait x t i 1 i 1 i 1 i 1
第二节 正规方程
第五章 线性参数的最小二乘法
正规方程：将误差方程按最小二乘法原理转化得到的
有确定解的代数方程组。
一、等精度测量线性参数最小二乘处理的正规方程
v1 l1 (a11 x1 a12 x2 a1 t xt ) v 2 l 2 (a21 x1 a22 x2 a2 t xt ) v l (a x a x a x ) n n1 1 n2 2 nt t n
2
ln (an1 x1 an 2 x2 ant xt )
vi x1
2
2
2a11 l1 (a11 x1 a12 x2 a1t xt ) 2a21 l2 (a21 x1 a22 x2 a2 t xt ) 2an1 ln (an1 x1 an 2 x2 ant xt ) 0
a
i1 i
a
i1
ai 2 x2
a
it
a it x t 0
2 2 vi 2 a i1a i1 0 2 x1
说明存在极小值
正规方程 （t个）
n n n n ai 1 l i ai 1ai 1 x1 ai 1ai 2 x2 ai 1ait x t i 1 i 1 i 1 i 1 n n n n ai 2 l i ai 2 ai 1 x1 ai 2 ai 2 x2 ai 2 ait x t i 1 i 1 i 1 i 1 n n n n ait l i ait ai 1 x1 ait ai 2 x2 ait ait x t i 1 i 1 i 1 i 1
05第五章--线性参数最小二乘处理x
v1 l1 f1(x1, x2 ,, xt )
v2
l2
f2 (x1,
x2 ,,
xt
)
vn ln fn (x1, x2 ,, xt )
y1，, y2 ,, yn 残差方程式
第一节 最小二乘原理
若 l1,l2不,存,l在n 系统误差，相互独立并服从正态分布
，原则差分别为
1,， 2则,, n 出目前l1,l相2 ,应,真ln 值附近
aitli ait ai1x1 ait ai2 x2 ait ait xt
i 1
i 1
i 1
i 1
特点：
➢ 主对角线分布着平方项系数，正数 ➢ 相对于主对角线对称分布旳各系数两两相等
第二节 正规方程
看正规方程组中第r个方程：
n
n
n
n
airli [ air ai1x1 air ai2 x2 air ait xt ] 0
)0
则误差方程转化为线性方程组
v1 l1'(a111 a12 2 a1tt )
v2
l2 '(a211
a22 2
a2t
t
)
vn ln '(an11 an2 2 antt )
近似值
于是可解得 r (r 1,2,,t) ，进而可得xr (r 1,2,,t)。
第二节 正规方程
针对非线性函数 yi fi (x1, x2 ,, xt ) (i 1,2,, n) 其测量误差方程为
v1 l1 f1(x1, x2 ,, xt )
v2
l2
f2 (x1, x2 ,,
xt
)
vn ln fn (x1, x2 ,, xt )
第5章线性参数的最小二乘法处理
最小 1
p1 : p 2 : : p n
有
2 2
x1
2
2
:
n
1
x2
2
::
xn 2
( 55)
p1v1 p 2 v 2 p n v n
pi vi2
i 1
最小
对于等精度测量，有 1 1 n 即
p1 p 2 p n
2 2 n 12 2 2 2 2 最小 1 2 n
当然，由前述给出的结果只是估计量，它们以 最大的可能性接近真值而并非真值，因此上述条件 应以残差的形式表示，即用残差代替绝对误差：
2 v1 2
1 2 n 引入权的符号p，由下面的关系
2 2
2 v2
1
2 vn
2 i
0
2 2 2
0
为测量数据li的权； 为单位权方差；
0 0 2 2 n
i2为测量数据li的方差。
线性参数的不等精度测量可以转化为等精度的 形式（单位权化），从而可以利用等精度测量时 测量数据的最小二乘法处理的全部结果。为此， 应将误差方程化为等权的形式。若不等精度测量 数据li 的权为pi ，将不等精度测量的误差方程式 （5-9）两端同乘以相应权的平方根得：
ˆ V L AX
（ -10 5 ）
等精度测量时：残差平方和最小这一条件的矩 阵形式为 v1 v v1v2 vn 2 最小 vn 即 T
V V 最小 （5 -11 ）
ˆ L AX 最小
T
或
ˆ L AX
（5 - 1 ２）
第五章 线性参数最小二乘法处理(1)
第五章 线性参数的最小二乘法处理
光电效应
1 E = hν = m υ0 2 + A 2
1 eU 0 = m υ0 2 2
h A U0 = ν e e
2
光电效应
频率νi(×1014Hz) 8.214 7.408 6.879 5.490 5.196 截止电压U0i(V) 1.790 1.436 1.242 0.688 0.560
3
光电效应
SLOPE函数
频率ν i(Hz) 8.214E+14 7.408E+14 6.879E+14 5.490E+14 5.196E+14 截止电压U0i(V) 1.790E+00 1.436E+00 1.242E+00 6.880E-01 5.600E-01
4.02964E-15
2.000E+00 1.800E+00 1.600E+00
1
i 2
e
i 2 ( 2 i 2 )
di
( i 1, 2,
, n)
由概率论可知，各测量数据同时出现在相应区域的概率
为ቤተ መጻሕፍቲ ባይዱ
P Pi
i 1
n
1
1 2 n
2
e n
i 1
n
i 2 (2 i 2 )
d 1d 2
d n
12
第一节 最小二乘原理
1.400E+00
y = 4E-15x - 1.5314
1.200E+00 1.000E+00 8.000E-01 6.000E-01
4.000E-01
2.000E-01 0.000E+00 0.000E+00 5.000E+14 1.000E+15
光电效应
1 E = hν = m υ0 2 + A 2
1 eU 0 = m υ0 2 2
h A U0 = ν e e
2
光电效应
频率νi(×1014Hz) 8.214 7.408 6.879 5.490 5.196 截止电压U0i(V) 1.790 1.436 1.242 0.688 0.560
3
光电效应
SLOPE函数
频率ν i(Hz) 8.214E+14 7.408E+14 6.879E+14 5.490E+14 5.196E+14 截止电压U0i(V) 1.790E+00 1.436E+00 1.242E+00 6.880E-01 5.600E-01
4.02964E-15
2.000E+00 1.800E+00 1.600E+00
1
i 2
e
i 2 ( 2 i 2 )
di
( i 1, 2,
, n)
由概率论可知，各测量数据同时出现在相应区域的概率
为ቤተ መጻሕፍቲ ባይዱ
P Pi
i 1
n
1
1 2 n
2
e n
i 1
n
i 2 (2 i 2 )
d 1d 2
d n
12
第一节 最小二乘原理
1.400E+00
y = 4E-15x - 1.5314
1.200E+00 1.000E+00 8.000E-01 6.000E-01
4.000E-01
2.000E-01 0.000E+00 0.000E+00 5.000E+14 1.000E+15
2011第5章线性参数的最小二乘法处理
V T PV 最小 （L AXˆ）T P（L AXˆ） 最小
一、最小二乘法原理
思路二：不等精度 pi 等精度
v1 p1 l1 p1 a11 p1 x1 a12 p1 x2 a1t p1 xt
v2
p2 l2
p2 a21
p2 x1 a22
p2 x2 a2t
二、正规方程
线性参数的最小二乘法处理程序可归结为： 首先根据具体问题列出误差方程式； 再按最小二乘法原理，利用求极值的方法将误差 方程转化为正规方程； 然后求解正规方程，得到待求的估计量； 最后给出精度估计。
对于非线性参数，可先将其线性化，然后按上 述线性参数的最小二乘法处理程序去处理。
二、正规方程
ln
n
ai 2ain a12a1t a22a2t
i 1
an2ant
n
ai 2li a12l1 a22l2
i 1
an2 ln
a11 a12 ... a1t
A
a21
a22
...
a2t
i 1
n
x2 ai 2ai 2 ... xt
i 1
n
ai 2ait
i 1
)
n
ai 2ai1 a12a11 a22a21
i 1
n
ai 2ai 2 a12a12 a22a22
i 1
an2an1 an2an2
l1
L
l...
2
an1ant an1ln
a11 a12 ... a1t
线性参数的最小二乘法处理
2
W1、 +1″, +10″, +1″, +12″,
W2、 +6″, +4″,
W3、
W4„
Wn
+2″ , -3″ , +4″ +12″, +4″ +3″, +4″
+12″, +12″, +12″
W12
2
12
W22
2 2
W32
32
最小值
3
即 ∑（PW2）=（P1W21）+（P2W22）+（P3W32）
的测量结果 yi 最接近真值，最为可靠，即： yi=∠i+Wi 由于改正数 Wi 的二次方之和为最小，因此称为最小二乘法。 二 最小二乘法理 现在我们来证明一下，最小二乘法和概率论中最大似然方法（算术平均值方法） 是一致的。 （一）等精度测量时 （1）最大似然方法 设 x1,x2„xn 为某量 x 的等精度测量列，且服从正态分布，现以最大似然法和最小 二乘法分别求其最或是值（未知量的最佳估计量） 在概率论的大数定律与中心极限定理那一章我们讲过，随着测量次数的增加，测 量值的算术平均值也稳定于一个常数，即
2 i 1
n
曾给出： vi2
i 1
n
n n 1 n 2 ，由此可知 x vi2 / i2 为最小，这就是最小二乘法的基本 i n i 1 i 1
含义。引入权的符号 P ，最小二乘法可以写成下列形式：
Pv
i 1
n
2 i i
最小
在等精度测量中， 1 2 ... ， P1 P2 ... Pn 即： 最小二乘法可以写成下列形式：
W1、 +1″, +10″, +1″, +12″,
W2、 +6″, +4″,
W3、
W4„
Wn
+2″ , -3″ , +4″ +12″, +4″ +3″, +4″
+12″, +12″, +12″
W12
2
12
W22
2 2
W32
32
最小值
3
即 ∑（PW2）=（P1W21）+（P2W22）+（P3W32）
的测量结果 yi 最接近真值，最为可靠，即： yi=∠i+Wi 由于改正数 Wi 的二次方之和为最小，因此称为最小二乘法。 二 最小二乘法理 现在我们来证明一下，最小二乘法和概率论中最大似然方法（算术平均值方法） 是一致的。 （一）等精度测量时 （1）最大似然方法 设 x1,x2„xn 为某量 x 的等精度测量列，且服从正态分布，现以最大似然法和最小 二乘法分别求其最或是值（未知量的最佳估计量） 在概率论的大数定律与中心极限定理那一章我们讲过，随着测量次数的增加，测 量值的算术平均值也稳定于一个常数，即
2 i 1
n
曾给出： vi2
i 1
n
n n 1 n 2 ，由此可知 x vi2 / i2 为最小，这就是最小二乘法的基本 i n i 1 i 1
含义。引入权的符号 P ，最小二乘法可以写成下列形式：
Pv
i 1
n
2 i i
最小
在等精度测量中， 1 2 ... ， P1 P2 ... Pn 即： 最小二乘法可以写成下列形式：
线性参数的最小二乘法处理
x 及 其 标 准 偏1 差 。
1
0 .3
x 2 0 .4
x1 x 3 0 .5
列出非线性测量方程 x32 x 3 0 . 3
组
x1x 2 0 .1 4
x1 x2
x1 , x2 , x3
x1x2 /x1x2
【1解(】x) x1
2(x) x2
32(x)x1x2
4(x)x2x3
5
a51 18.0625 a52 10.5625 a 53 0
1
0 0
0.025v1
0
1
0
1 0 1
110写出21线3
性化残差
0.025v2 方程0组.025v3
0.025v
18.0625 10.5625 0 整理得正规方1程.组24125v5
解出
328.254 190.785 11 22.4201
v4 L4 x1 x22.016(1.0280.983)0.005 v5 L5 x2 x31.981(0.9831.013)0.015 v6 L6 x1x2 x33.032(1.0280.9831.013)0.008
0 2 估v 1 计2 的v 标2 2 准v 差3 2 v 4 2 v 5 2 v 6 2 0 .0 0 0 5 3 6
x2
x3
待求量
y1 y3 y2
y4
x 0 . 3 ( y ) 为 了 获 得 更 可 靠 的 结 果 ， 测 量 次 数 总 要 多 于 未 知 参 数 的 数 目
1
1
x 0 . 4 ( y ) 组 合 测 量 ， 指 直 接2测 量 一 组 被 测 量 的 不 同2组 合 值 ， 从 它 们 相 互 所 依 赖 的 若 干
1
0 .3
x 2 0 .4
x1 x 3 0 .5
列出非线性测量方程 x32 x 3 0 . 3
组
x1x 2 0 .1 4
x1 x2
x1 , x2 , x3
x1x2 /x1x2
【1解(】x) x1
2(x) x2
32(x)x1x2
4(x)x2x3
5
a51 18.0625 a52 10.5625 a 53 0
1
0 0
0.025v1
0
1
0
1 0 1
110写出21线3
性化残差
0.025v2 方程0组.025v3
0.025v
18.0625 10.5625 0 整理得正规方1程.组24125v5
解出
328.254 190.785 11 22.4201
v4 L4 x1 x22.016(1.0280.983)0.005 v5 L5 x2 x31.981(0.9831.013)0.015 v6 L6 x1x2 x33.032(1.0280.9831.013)0.008
0 2 估v 1 计2 的v 标2 2 准v 差3 2 v 4 2 v 5 2 v 6 2 0 .0 0 0 5 3 6
x2
x3
待求量
y1 y3 y2
y4
x 0 . 3 ( y ) 为 了 获 得 更 可 靠 的 结 果 ， 测 量 次 数 总 要 多 于 未 知 参 数 的 数 目
1
1
x 0 . 4 ( y ) 组 合 测 量 ， 指 直 接2测 量 一 组 被 测 量 的 不 同2组 合 值 ， 从 它 们 相 互 所 依 赖 的 若 干
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
l1= y0（1+t1）
（1） 当n<2，方程有无 穷多个解。
l2= y0（1+t2） …… vv…12==…ll12--yy12 ，
（2） yn为最小二乘一估解计量。
当n=2，方程只有唯
ln= y…0（. …1+..tn）
（3） 当 n>2， 方 程组 无 解 。
vn= ln-yn
？
y0与最可 信赖 值
线性参数的最小二乘原理的矩阵形式
实测值矩阵 估计值矩阵 残差矩阵 误差方程l1 L来自l2 ln
误差方程
x1
X
x2
xt
v1
V
v2
vn
系数矩阵
a11, a12 ,, a1t
A
a 21 ,
a22 ,,
a2t
an1
,
an
2
,
,
ant
v1 l1 (a11x1 a12 x2 a1t xt )
即
vn ln f n (x1, x2 ,, xt )
（5-4）
5-9
一、最小二乘法原理
若测量数据 l1,l2 ,,ln ,不存在系统误差和粗大误 差，相互独立，且服从正态分布,其标准差为 1,2, , n
则各测量结果l1 , l2 ,, ln 出现于相应真值附近 d1, d 2 , d d 3........ n 区 域内的概率分别为：
5-2
线性参数的最小二乘法
第一节 最小二乘法原理 第二节 正规方程 第三节 精度估计 第四节 组合测量的最小二乘
法处理
5-3
大纲要求
❖ 掌握最小二乘原理。
❖ 掌握正规方程: 等精度测量线性参数的最小二乘处理 不等精度测量线性参数的最小二乘处理
❖ 掌握最小二乘精度估计方法。
5-4
第一节 最小二乘法原理 一、最小二乘法原理
第一节 最小二乘法原理
二、线性参数的最小二乘法处理
线性参数的测量方程
Y1 a11 X 1 a12 X 2 a1t X t Y2 a21 X 1 a22 X 2 a2t X t
Yn an1 X 1 an2 X 2 ant X t
相应的估计值
y1 a11 x1 a12 x2 a1t xt y2 a21 x1 a22 x2 a2t xt
2 1
2 1
2 2 2 2
2 n 2 n
最小
由于结果只是接近真值的估计值，因此上述条件应为
引入权
v12 v22 vn2 最小
2 1
2 2
2 n
p1v12 p2v22 pnvn2 最小
(5 5)
等精度测量 ：v12 v22 vn2 最小 (5 6)
最小二 乘原理 的代5数-11
一、最小二乘法原理
最小二乘原理:测量结果的最可信赖值应使残余 误差平方和（或加权残余误差平方和）最小。
▪必须指出:上述最小二乘原理是在测量误差无偏、正 态分布和相互独立的条件下推导出的，但在不严格服 从正态分布的情形下也常被使用。实际上，按误差或 残差平方和为最小进行统计推断已形成一种准则。
5-12
第5章 线性参数的最小二乘法
5-1
最小二乘法（least square method）
➢1805年，勒让德（Legendre）应用“最小二乘法”， 确定了慧星的轨道和地球子午线段。 ➢1809年，高斯（Gauss）论证其解的最佳性。
➢经典最小二乘法（即代数最小二乘法）
➢现代最小二乘法（即矩阵最小二乘法）
Pn
fn ( n )d n
n
1
2
e
2 n
2
2 n
dn
各误差相互独立，由概率乘法定理，各测量数据同时分别出现 在相应区域的概率应为：
p
p1,
p2 ,,
pn
1
1 2 n (
(
12
2
2 1
2 2
2
2 2
2 n
2
2 n
)
2 ) e d d d n
12
n
5-10
一、最小二乘法原理
测量值 l1,l2,,ln 已经出现，有理由认为这n个测量值 出现于相应区间的概率P为最大。要使P最大，应有
yn an1 x1 an2 x2 ant xt
其误差方程：
v1 l1 (a11x1 a12 x2 a1t xt ) v2 l2 (a21x1 a22 x2 a2t xt )
vn ln (an1x1 an2 x2 ant xt )
5-13
二、线性参数的最小二乘法处理
讨论：
nt: nt:
直接求得 x1, x2,, xt 。
有利于减小随机误差，方程组 有冗余，采用最小二乘原理求 x1, x2,。, xt
最小二乘原理：
最可信赖值应使残余误差平方和最小。
5-8
一、最小二乘法原理
设直接测量量 Y1,Y2 Yn 的估计量分别为 y1, y2 yn
y1 f1 (x1, x2 ,, xt ) y2 f 2 (x1, x2 ,, xt )
最小二乘法 v12 v22 vn2 最5小-6
一、最小二乘法原理
为确定t个不可直接测量的末知量 X1, X 2 ,, X t 的估计 量 x1, x2 ,, xt ，可对与该t个末知量有函数关系的直接测量量Y进
行n次测量，得测量数据 l1,l2 ,,ln （n>t）并设有如下函数关系：
待测量（难以直接测量）：X1, X 2,, Xt
直接测量量： Y1,Y2,,Yn
l1 Y1 f1( X1, X 2 ,, X t )
l2
Y2
f2
(
X
1,
X
2
,,
X
t
)
ln Yn fn ( X1, X 2 ,, X t )
测量方程
问题：如何根据 l1, 量的估计值
lx21,,x2,,ln和,测xt？量方程解得待测
5-7
一、最小二乘法原理
（5-2）
yn f n (x1, x2 ,, xt )
由此得测量数据l1 , l2 ,, ln 的残差为：
残差方程式 （误差方程式）
v1= l1-y1 v2= l2-y2 …. ….. （5-3）
vn= ln-yn
v1 l1 f1 (x1, x2 ,, xt )
v2 l2 f 2 (x1, x2 ,, xt )
引题:求标准米尺线膨胀系数
设有一金属尺，在温度t时长度可表示为 yt=y0（1+t），其中，y0为温度零度时的精确长度。 为金属材料的线膨胀系数，求y0与的数值
l1= y0（1+t1） l2= y0（1+t2）
y0与
5-5
一、最小二乘法原理
求标准米尺线膨胀系数
设在t1，t2，t3……….tn温度条件下分别测得金属尺的长 度l1，l2，l3 ………. ln共n个结果，可列出方程组