第五章 最小二乘问题分解
误差理论第五章最小二乘法
2
§5-1 最小二乘法原理
一、经典最小二乘法
为求出t个不可直接测量的未知量X 1 , X 2 , 值x1 , x2 , 量量Y 进行n次测量，得到测量数据为l1 , l2 ,
l1 Y1 f1 ( X 1 , X 2 ,, X t ) l2 Y2 f 2 ( X 1 , X 2 ,, X t ) ln Yn f n ( X 1 , X 2 ,, X t )
i 1 n
, d n的概率为： 1
1 2
n 2
e
i 2
i 1
n
(2 i 2 )
d1d 2
d n
5
根据最大或然原理，由于测量值l1 , l2 , 要使P最大，即要求：
, ln已经出现，因此
有理由认为这n个测量值出现于相应区间的概率P为最大。
12 2 2 2 2 1 2
二、等精度测量的线性参数最小二乘原理
线性参数的测量方程一般形式为： 相应的估计量为： Y1 a11 X 1 a12 X 2 a1t X t Y2 a21 X 1 a22 X 2 a2t X t Yn an1 X 1 an 2 X 2 ant X t
y1 a11 x1 a12 x2 a1t xt y2 a21 x1 a22 x2 a2t xt yn an1 x1 an 2 x2 ant xt
其误差方程式为： v1 l1 (a11 x1 a12 x2 a1t xt ) v2 l2 (a21 x1 a22 x2 a2t xt ) vn ln (an1 x1 an 2 x2 ant xt )
第五章 最小二乘法辨识
服从正态分
❖ 4）有效性
❖ 定理4：假设 (k) 是均值为零，方差为 2I 的正态
白噪声，则最小二乘参数估计量
^
是有效估计
量，即参数估计误差的协方差达到Cramer-Rao不
等式的下界
E (^
^
)(
)T
2E
(
T N
N
) 1
M 1
❖ 其中M为Fisher信息矩阵。
4、适应算法
❖ 随着更多观测数据的处理，递推最小二乘法对线性 定常系统的参数估计并非越来越精确，有时会发现
❖ 现举例说明最小二乘法的估计精度 ❖ 例5.1：设单输入－单输出系统的差分方程为
y(k) a1y(k 1) a2 y(k 2) b1u(k 1) b2u(k 2) (k)
❖ 设 u(k)是幅值为1的伪随机二位式序列，噪声 (k)是 一个方差 2可调的正态分布 N(0, 2 )随机序列。
❖ 为了克服数据饱和现象，可以用降低旧数据影响的 办法来修正算法。而对于时变系统，估计k时刻的 参数最好用k时刻附近的数据估计较准确。否则新 数据所带来的信息将被就数据所淹没。
❖ 几种算法：渐消记忆法，限定记忆法与振荡记忆法
❖ 矩阵求逆引理：设A为 n n 矩阵，B和C为 n m 矩阵，
并且A， A和 BCT I CT都A是1B 非奇异矩阵，则有矩
阵恒等式
A BCT 1 A1 A1B(I CT A1B)1CT A1
❖
令
A
PN1
，B
N 1
，C
T N 1
，根据引理有
PN1
T N 1 N 1
1
❖ 算法中，^ N 为2n+1个存贮单元（ai ,bi ,i 1,2, , n）， 而 PN 是 (2n 1) (2n 1)维矩阵，显然，将 N 换成 PN 后，存贮量大为减少（因为n为模型的阶数，一般 远远小于N）
矩阵论-第五章-广义逆及最小二乘
第五章 广义逆及最小二乘解在应用上见得最频繁的、大约莫过于线性方程组了。
作一番调查或整理一批实验数据，常常归结为一个线性方程组：Ax b =然而是否是相容方程呢？倘若不是，又如何处理呢？最小二乘解是常见的一种处理方法。
其实它不过是最小二乘法的代数形式而已。
广义逆从1935年Moore 提出以后，未得响应。
据说： (S.L.Campbell ＆ C.D.Meyer.Jr Generalized Inverses of Linear Transformations 1979 P9)原因之一，可能是他给出的定义，有点晦涩。
其后，1955年Penrose 给出了现在大都采用的定义以后，对广义逆的研究起了影响，三十年来，广义逆无论在理论还是应用上都有了巨大发展，一直成为了线性代数中不可缺少的内容之一。
为了讨论的顺利进行，我们在第一节中先给出点准备，作出矩阵的奇值分解。
§5.1 矩阵的酉交分解、满秩分解和奇值分解在线行空间中，知道一个线性变换在不同基偶下的矩阵表示是相抵的或等价的。
用矩阵的语言来说，就是：若 ,m n A B C ×∈，倘有非异矩阵()P m n ×，()Q n n ×存在，使B PAQ =则称A 与B 相抵的或等价的。
利用初等变换容易证明m n A C ×∈，秩为r ，则必有P ，Q ，使000r m nI PAQ C ×⎛⎞=∈⎜⎟⎝⎠(5.1-1) 其中r I 是r 阶单位阵。
在酉空间中，上面的说法，当然也成立，如果加上P ，Q 是酉交阵的要求，情形又如何呢？下面就来讨论这个问题。
定理 5.1.1 (酉交分解) m n A C ×∈，且秩为r ，则(),(),,H H m n U m n V n n U U I V V I ∃××==，使00r HU AV Δ⎛⎞=×⎜⎟⎝⎠(m n) (5.1-2) 其中r Δ为r 阶非异下三角阵。
第五章 线性参数最小二乘法处理(1)
光电效应
1 E = hν = m υ0 2 + A 2
1 eU 0 = m υ0 2 2
h A U0 = ν e e
2
光电效应
频率νi(×1014Hz) 8.214 7.408 6.879 5.490 5.196 截止电压U0i(V) 1.790 1.436 1.242 0.688 0.560
3
光电效应
SLOPE函数
频率ν i(Hz) 8.214E+14 7.408E+14 6.879E+14 5.490E+14 5.196E+14 截止电压U0i(V) 1.790E+00 1.436E+00 1.242E+00 6.880E-01 5.600E-01
4.02964E-15
2.000E+00 1.800E+00 1.600E+00
1
i 2
e
i 2 ( 2 i 2 )
di
( i 1, 2,
, n)
由概率论可知，各测量数据同时出现在相应区域的概率
为ቤተ መጻሕፍቲ ባይዱ
P Pi
i 1
n
1
1 2 n
2
e n
i 1
n
i 2 (2 i 2 )
d 1d 2
d n
12
第一节 最小二乘原理
1.400E+00
y = 4E-15x - 1.5314
1.200E+00 1.000E+00 8.000E-01 6.000E-01
4.000E-01
2.000E-01 0.000E+00 0.000E+00 5.000E+14 1.000E+15
电力系统自动化5 电力系统最小二乘法状态估计
；
X 1 ( H R H ) H R [ Z h( X 1 )]
T -1 v T -1 v
1
iii. 求
x1
iii. 求 X 1 ； iv. 第一次迭代结果
( x) ( x )
x x1
；
v. 重复ii ~ iv，直到获得较满意的 X 。
线性方程组的计算机解法之一 ——平方根因子分解法（略）
X 2 X1 X1
iv. 第一次迭代结果
x 2 x1 x1
v. 重复ii ~ iv，直到获得 较满意的 x。
第五章 电力系统运行的状态估计
第四节 电力系统最小二乘法状态估计
最小二乘法状态估计程序框图（图5-12） 例：图5-13，5-14，表5-4~5-7
Y13 Y31 y13 YT k 1 1 1.05 j7.5 j0.1269
T
T
电力系统中，Z 的元素包括状态变量的测量读值 Z X 和其他 系统变量的测量读值 Z Z 。
Z Z X
ZZ
Z Z 为 X 的非线性函数，故电力系统的量测方程式为
Z = h (X) + V
第五章 电力系统运行的状态估计
第四节 电力系统最小二乘法状态估计
注意：i. m n Z ii. 相角一般不能直接测量（*PMU）， Z 维数高于 Z X 。
故
H 12
P U
0,
H 21
Q θ
0
H 11 H (θ, U) 0
再经一些近似，可得
H 11 H (θ, U) 0
0 H 22
0 U 02 H 1 H 22 0
第五章线性参数的最小二乘法处理01
第五章线性函数的最小二乘处理最小二乘原理应用时的条件是：函数关系确定已知、等精度、误差独立、无偏估计得到满足，在众多的N个测量方程中利用最小二乘原理求得t个（t＜／N）参数的最佳估计值。
如前所叙，在随机因素作用下，测量次数较多时，计算的结果就会更精密，测量次数往往大于待求未知量的个数，因而出现N＞t的现象就成为自然而然的事情了。
众所周知，当N＝t时可由线性代数知识求得一组唯一正确解。
当N＞t时，代数解法则无能为力了。
也许读者会提出另外一个问题：既然N＞t，可由N中取出t个方程来求解，而把（N-t）个方程弃掉，问题不就解决了吗？答案是不行的。
这样求解后的结果不是最佳值，有时会与最佳值离歧很大。
最小二乘法是一种数学原理，高斯于1809年在他的名著《天体沿圆锥截面绕太阳运动的理论》一书中，发表了他发现的最小二乘原理并应用于测量之后，在许多科学领域及技术领域中得到越来越多地应用。
5.1 函数为直接测量值得线性组合5.1.1 测量方程式函数中可能存在着多个待定参数，根据该函数关系可列出多个测量后的方程式，该方程式称作测量方程式。
设含有t个待求参数Xj(j=1,2,…,t)的函数关系已知，表现为线性组合，即Xj是待定系数的真值，aj是在某具体测量条件下获得的直接测量值，经N次测量（N>t）后，理应得到N个函数真关系式。
为了表达更简洁，可将各方程中系数用aij(i=1,2, …,N;j=1,2, …,t)表示，上述方程可简写成量值Y经N次测量后的测量值用Mi表示，则上述方程变为测量方程式，又称测量条件方程，式中，aij及Mi是在某具体测量条件下的直接测量值，Mi含有误差，即Mi≠Yi。
5.1.2 剩余误差方程式若用同直接测量时一样，可将称作剩余误差。
由此便可得到N个剩余误差方程式可以看出，剩余误差是各最可信赖值的函数，即5.1.3 正规方程组现在以三个待求量x1,x2,x3为例，说明建立正规方程组的过程，该计算方法和过程及结论，可推广到t个待求量中去。
第5章-1 曲线拟合(线性最小二乘法)讲解
求所需系数，得到方程： 29.139a+17.9b=29.7076 17.9a+11b=18.25
通过全选主元高斯消去求得：
a=0.912605
b=0.174034
所以线性拟合曲线函数为： y=0.912605x+0.174034
练习2
根据下列数据求拟合曲线函数： y=ax2+b
x 19 25 31 38 44 y 19.0 32.3 49.0 73.3 97.8
∑xi4 a + ∑xi2 b = ∑xi 2yi
∑xi2 a + n b = ∑yi
7277699a+5327b=369321.5 5327a+5b=271.4
曲线拟合的最小二乘法
1.曲线拟合的意思
Y
.
.
.
.
y=ax+b y=ax2+bx+c
X
y=ax+b y=ax2+bx+c 就是未知函数的拟合曲线。
2最小二乘法原理
观测值与拟合曲线值误差的平方和为最小。
yi y0 y1 y2 y3 y4…… 观测值 y^i y^0 y^1 y^2 y^3 y^4…… 拟合曲线值
拟合曲线为： y=(-11x2-117x+56)/84
x
yHale Waihona Puke 1.61 1.641.63 1.66
1.6 1.63
1.67 1.7
1.64 1.67
1.63 1.66
1.61 1.64
1.66 1.69
1.59 1.62
最小二乘的解
最小二乘的解
最小二乘法是一种常见的数学方法，用于解决线性回归问题。
它的基本思想是通过求解最小化误差平方和的问题，找到最接近观测数据的数学模型。
在最小二乘法中，我们首先需要有一组观测数据，通常表示为一系列的点。
我们假设这些观测数据可以由一个线性模型表示，该模型可以用一条直线的方程来描述。
我们的目标是找到一条直线，使得观测数据点到这条直线的距离之和最小。
为了达到这个目标，我们先定义一个误差函数，它是观测数据点到直线的距离的平方和。
然后我们通过对误差函数求导，将问题转化为求解一个线性方程组的问题。
最终，我们可以得到一组系数，这些系数可以用来表示最佳拟合直线的方程。
最小二乘法在实际问题中有着广泛的应用。
例如，在经济学中，我们可以使用最小二乘法来分析需求和供应关系。
在物理学中，最小
二乘法可以用来拟合实验数据，从而找到实验结果的数学模型。
在工程学中，最小二乘法可以用来解决信号处理和图像处理的问题。
总而言之，最小二乘法是一种强大的数学工具，用于解决线性回归问题。
通过最小化观测数据与数学模型之间的误差平方和，我们可以找到最佳拟合模型的系数。
这种方法在实际应用中具有重要的意义，并且被广泛应用于各个领域。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
充分性：设 x * 满足（ 7）即：AT ( AX * - b) 0 对任意向量V X * Z R n .计算 AV - b
* 2
A( X Z ) - b
* 2
2
AX - b AX - b
*
AZ AZ
2
2 Z T AT ( AX * - b) 0
2
2 2
f1 x1 , x2 , xn 0 f x , x , x 0 2 1 2 n f m x1 , x2 , xn 0
min f i 2 x1 , x2 , xn
i 1
m
（3）是有n个变量的无约束极小化问题，一般可 以用前面介绍的最优化方法求解。考虑到（3）的特 殊形式，可以考虑更有效、更简单的方法求解。 f 的Jacobi矩阵：
即[ AT ( xk ) A( xk ) S ( xk )]Pk AT ( xk ) f ( xk ) X k 1 X k Pk
主要计算量是 Sk 的计算，尽管Sk对称，也包含 (1/2)mn(n+1)个二阶偏导数，但Hesse矩阵中第一项只含 一阶导数的信息。因此为简化计算，我们或者忽略Sk， 或者用一阶导数的信息逼近Sk。 由（4）可知，当 2 fi ( x) 接近0或 fi(x)接近线性从而 接 近于0，此时才可以忽略 Sk，因此这类算法又称为最小余 量算法。 而称逼近Sk的一类算法为大余量算法。
f1 x 1 f 2 x1 A f ( x ) f m x1 f1 f1 x2 xn f 2 f 2 x2 xn f m f m x2 xn
若 则
n
yR
m
t , t t
(i ) 1 (i ) 2
(i ) T l
R l i=1~m
fi ( x) F (t (i ) , x) y(i) ,
i=1~m.
f ( x) ( f1 ( x), f m ( x))T Rm
则上面问题可记为:min f(x)Tf(x) (3) (3) 即为最小二乘法问题一般形式。 当f(x)为线性向量值函数时，称（3）为线性最小 二乘法问题。 否则，原问题称为非线性最小二乘法问题。
第五章 最小二乘问题
5.1 引言
在数字处理中经常遇到寻求回归方程的问题，即根据一 组实验数据建立两个或多个物理量（俗称因素）之间的在 统计意义上的依赖关系式。 这类问题的数学模型如下： 设物理量 y 与物理量 t1,t2,…tl 之间的依赖关系式，设 其方程为： y=F(t1,…tl,x1…xn) (1) 其中 x1…xn为待定参数。我们的问题是如何通过m(>n) 个实验点 [t1(i) ,t2(i) ,…tl(i), y(i)]T i=1,2…m 确定（1）中n个 参数x1,x2…xn.从而建立回归方程。
5.2 线性最小二乘法问题的解法
当f(x)取线性形式 即f(x)=Ax-b.A是m×n矩阵， b Rm 则（3）为：min||Ax-b||2
(m<n) (6)
定理1 x*是（6）的极小点的充要条件是x*满足向量组： ATAx*=ATb (7) 证：
必要性.对F ( x) || Ax b ||2 ( Ax b, Ax b) X T AT AX 2bT AX bT b 求导为：F ( x) 2 AT AX 2 AT b 若x * 是F ( x)的极小点。则必有F ( x*) 0 由此得AT AX * AT b
(i ) F t1( i ) , t 2 , tl( i ) , x1 , x2 , xn y ( i )
就是第i个实验点到该曲面的一种“距离”。 为计算方便，通常把 m
i 1
(i ) s( x1 , x2 xn ) [ F (t1 , tl( i ) , x1 xn ) y (i ) ]2
(2)
作为m个实验点到该曲面“总距离”的度量。
如何选择参数 x1…xn 使（2）达到极小这就是最 小二乘法问题。上述问题用向量形式记为：
min F ( x) - Y
其中 F ( x) = [ F (t
(1)
2
, x), F (t ( 2) , x), F (t ( m) , x)]T
t
(i )
xR
因为 AZ
2
≥0.则 AV - b
2
≥ AX - b
*
可见X *是（6）的极小点。
称形如（7）的方程组为最小二乘问题（6）的法方程组.
可见求解线性最小二乘问题等价于求解它的法方程组.
又因为
i 1
m
则有G ( x) 2 AT ( x) A( x) 2 S ( x) 先考虑无约束最优化的Newton法： 2 f ( xk )( x xk ) f ( xk )
T T 则在此处有 2 A ( x ) A ( x ) 2 S ( x ) P 2 f ( x ) f ( xk ) k k k k k
对于实际一组参数x1,x2…xn的值，（1）给出l+1 维空间中的一个超曲面。第i个实验点 （ t1(i) ,t2(i) ,…tl(i) )在（1）中就确定超曲面上一个点即 相应的函数值：
(i ) (i ) ~ y (i ) F (t1 , t2 ,tl(i ) , x1 xn )
(i ) ~ y 这个函数值 与测量值y(i)之差的绝对值
则F ( x) f ( x)T f ( x)的梯度向量g ( x) 2f ( x)T f ( x) 而F ( x)的Hessian矩阵为：G ( x) 2f ( x)T f ( x) 2 f i ( x) 2 f i ( x)
i 1 m
若令S ( x) f i ( x) 2 f i ( x)