第五章--最小二乘问题的解法
最小二乘法
最小二乘法设（x 1, y 1 ), (x 2, y 2), …, (x n, y n)是直角平面坐标系下给出的一组数据，若x 1<x 2<…<x n,我们也可以把这组数据看作是一个离散的函数。
根据观察，如果这组数据图象“很象”一条直线（不是直线），我们的问题是确定一条直线y = bx +a ,使得它能"最好"的反映出这组数据的变化。
最小二乘法是处理各种观测数据进行测量平差的一种基本方法。
如果以不同精度多次观测一个或多个未知量，为了求定各未知量的最可靠值，各观测量必须加改正数，使其各改正数的平方乘以观测值的权数的总和为最小。
因此称最小二乘法。
所谓“权”就是表示观测结果质量相对可靠程度的一种权衡值。
法国数学家勒让德于1806年首次发表最小二乘理论。
事实上，德国的高斯于1794年已经应用这一理论推算了谷神星的轨道，但迟至1809年才正式发表。
此后他又提出平差三角网的理论，拟定了解法方程式的方法等。
为利用最小二乘法测量平差奠定了基础。
最小二乘法也是数理统计中一种常用的方法，在工业技术和其他科学研究中有广泛应用。
在我们研究两个变量(x, y)之间的相互关系时，通常可以得到一系列成对的数据(x1, y1、x2, y2... xm , ym)；将这些数据描绘在x -y直角坐标系中(如图1), 若发现这些点在一条直线附近，可以令这条直线方程如(式1-1)。
Y计= a0 + a1 X (式1-1)其中：a0、a1 是任意实数为建立这直线方程就要确定a0和a1，应用《最小二乘法原理》，将实测值Yi与利用(式1-1)计算值(Y计= a0+a1X)的离差(Yi-Y计)的平方和｀〔∑(Yi - Y计)2〕最小为“优化判据”。
令: φ = ∑(Yi - Y计)2 (式1-2)把(式1-1)代入(式1-2)中得:φ = ∑(Yi - a0 - a1 Xi)2 (式1-3)当∑(Yi-Y计)平方最小时，可用函数φ 对a0、a1求偏导数，令这两个偏导数等于零。
第五章 最小二乘法辨识
服从正态分
❖ 4）有效性
❖ 定理4：假设 (k) 是均值为零，方差为 2I 的正态
白噪声，则最小二乘参数估计量
^
是有效估计
量，即参数估计误差的协方差达到Cramer-Rao不
等式的下界
E (^
^
)(
)T
2E
(
T N
N
) 1
M 1
❖ 其中M为Fisher信息矩阵。
4、适应算法
❖ 随着更多观测数据的处理，递推最小二乘法对线性 定常系统的参数估计并非越来越精确，有时会发现
❖ 现举例说明最小二乘法的估计精度 ❖ 例5.1：设单输入－单输出系统的差分方程为
y(k) a1y(k 1) a2 y(k 2) b1u(k 1) b2u(k 2) (k)
❖ 设 u(k)是幅值为1的伪随机二位式序列，噪声 (k)是 一个方差 2可调的正态分布 N(0, 2 )随机序列。
❖ 为了克服数据饱和现象，可以用降低旧数据影响的 办法来修正算法。而对于时变系统，估计k时刻的 参数最好用k时刻附近的数据估计较准确。否则新 数据所带来的信息将被就数据所淹没。
❖ 几种算法：渐消记忆法，限定记忆法与振荡记忆法
❖ 矩阵求逆引理：设A为 n n 矩阵，B和C为 n m 矩阵，
并且A， A和 BCT I CT都A是1B 非奇异矩阵，则有矩
阵恒等式
A BCT 1 A1 A1B(I CT A1B)1CT A1
❖
令
A
PN1
，B
N 1
，C
T N 1
，根据引理有
PN1
T N 1 N 1
1
❖ 算法中，^ N 为2n+1个存贮单元（ai ,bi ,i 1,2, , n）， 而 PN 是 (2n 1) (2n 1)维矩阵，显然，将 N 换成 PN 后，存贮量大为减少（因为n为模型的阶数，一般 远远小于N）
矩阵论-第五章-广义逆及最小二乘
第五章 广义逆及最小二乘解在应用上见得最频繁的、大约莫过于线性方程组了。
作一番调查或整理一批实验数据，常常归结为一个线性方程组：Ax b =然而是否是相容方程呢？倘若不是，又如何处理呢？最小二乘解是常见的一种处理方法。
其实它不过是最小二乘法的代数形式而已。
广义逆从1935年Moore 提出以后，未得响应。
据说： (S.L.Campbell ＆ C.D.Meyer.Jr Generalized Inverses of Linear Transformations 1979 P9)原因之一，可能是他给出的定义，有点晦涩。
其后，1955年Penrose 给出了现在大都采用的定义以后，对广义逆的研究起了影响，三十年来，广义逆无论在理论还是应用上都有了巨大发展，一直成为了线性代数中不可缺少的内容之一。
为了讨论的顺利进行，我们在第一节中先给出点准备，作出矩阵的奇值分解。
§5.1 矩阵的酉交分解、满秩分解和奇值分解在线行空间中，知道一个线性变换在不同基偶下的矩阵表示是相抵的或等价的。
用矩阵的语言来说，就是：若 ,m n A B C ×∈，倘有非异矩阵()P m n ×，()Q n n ×存在，使B PAQ =则称A 与B 相抵的或等价的。
利用初等变换容易证明m n A C ×∈，秩为r ，则必有P ，Q ，使000r m nI PAQ C ×⎛⎞=∈⎜⎟⎝⎠(5.1-1) 其中r I 是r 阶单位阵。
在酉空间中，上面的说法，当然也成立，如果加上P ，Q 是酉交阵的要求，情形又如何呢？下面就来讨论这个问题。
定理 5.1.1 (酉交分解) m n A C ×∈，且秩为r ，则(),(),,H H m n U m n V n n U U I V V I ∃××==，使00r HU AV Δ⎛⎞=×⎜⎟⎝⎠(m n) (5.1-2) 其中r Δ为r 阶非异下三角阵。
第五章 线性参数最小二乘法处理(1)
光电效应
1 E = hν = m υ0 2 + A 2
1 eU 0 = m υ0 2 2
h A U0 = ν e e
2
光电效应
频率νi(×1014Hz) 8.214 7.408 6.879 5.490 5.196 截止电压U0i(V) 1.790 1.436 1.242 0.688 0.560
3
光电效应
SLOPE函数
频率ν i(Hz) 8.214E+14 7.408E+14 6.879E+14 5.490E+14 5.196E+14 截止电压U0i(V) 1.790E+00 1.436E+00 1.242E+00 6.880E-01 5.600E-01
4.02964E-15
2.000E+00 1.800E+00 1.600E+00
1
i 2
e
i 2 ( 2 i 2 )
di
( i 1, 2,
, n)
由概率论可知，各测量数据同时出现在相应区域的概率
为ቤተ መጻሕፍቲ ባይዱ
P Pi
i 1
n
1
1 2 n
2
e n
i 1
n
i 2 (2 i 2 )
d 1d 2
d n
12
第一节 最小二乘原理
1.400E+00
y = 4E-15x - 1.5314
1.200E+00 1.000E+00 8.000E-01 6.000E-01
4.000E-01
2.000E-01 0.000E+00 0.000E+00 5.000E+14 1.000E+15
第五章 最小二乘问题分解
充分性：设 x * 满足（ 7）即：AT ( AX * - b) 0 对任意向量V X * Z R n .计算 AV - b
* 2
A( X Z ) - b
* 2
2
AX - b AX - b
*
AZ AZ
2
2 Z T AT ( AX * - b) 0
2
2 2
f1 x1 , x2 , xn 0 f x , x , x 0 2 1 2 n f m x1 , x2 , xn 0
min f i 2 x1 , x2 , xn
i 1
m
（3）是有n个变量的无约束极小化问题，一般可 以用前面介绍的最优化方法求解。考虑到（3）的特 殊形式，可以考虑更有效、更简单的方法求解。 f 的Jacobi矩阵：
即[ AT ( xk ) A( xk ) S ( xk )]Pk AT ( xk ) f ( xk ) X k 1 X k Pk
主要计算量是 Sk 的计算，尽管Sk对称，也包含 (1/2)mn(n+1)个二阶偏导数，但Hesse矩阵中第一项只含 一阶导数的信息。因此为简化计算，我们或者忽略Sk， 或者用一阶导数的信息逼近Sk。 由（4）可知，当 2 fi ( x) 接近0或 fi(x)接近线性从而 接 近于0，此时才可以忽略 Sk，因此这类算法又称为最小余 量算法。 而称逼近Sk的一类算法为大余量算法。
f1 x 1 f 2 x1 A f ( x ) f m x1 f1 f1 x2 xn f 2 f 2 x2 xn f m f m x2 xn
第5章最小二乘法
(5-37) 这正是不等精度测量时加权算术平均值原理所给出的结果。
对于等精度测量有
则由最小二乘法所确定的估计量为
此式与等精度测量时算术平均值原理给出的结果相同。 由此可见，最小二乘法原理与算术平均值原理
是一致的，算术平均值原理可以看做是最小二乘 法原理的特例。
第三节 精度估计
用矩阵表示的正规方程与等精度测量情况类似，可表示为
即
（5-27）
上述正规方程又可写成 （5-28）
该方程的解，即参数的最小二乘法处理为 （5-29）
令
则有
（5-30）
例5—2
• 某测量过程有误差方程式及相应的标准差如下：
试求x1，x2的最小二乘法处理正规方程的解。 解： （1）首先确定各式的权
（2）用表格计算给出正规方程常数项和系数
三、线性参数最小二乘法的正规方程
为了获得更可取的结果，测量次数n总要多于未 知参数的数目t，即所得误差方程式的数目总是要 多于未知数的数目。因而直接用一般解代数方程 的方法是无法求解这些未知参数的。
最小二乘法则可以将误差方程转化为有确定解 的代数方程组(其方程式数目正好等于未知数的个 数)，从而可求解出这些未知参数。这个有确定解 的代数方程组称为最小二乘法估计的正规方程(或 称为法方程)。
将ti，li，值代人上式，可得残余误差为
（二）不等精度测量数据的精度估计
不等精度测量数据的精度估计与等精度测量数据的精 度估计相似，只是公式中的残余误差平方和变为加权的 残余误差平方和，测量数据的单位权方差的无偏估计为
（5-44） 通常习惯写成
测量数据的单位权标准差为
（5-45）
（5-46）
二、最小二乘估计量的精度估计
1．线性参数的最小二乘法处理的基 本程序
最小二乘拟合算法
最小二乘拟合算法最小二乘定义一般情况下，最小二乘问题求的是使某一函数局部最小的向量 x，函数具有平方和的形式，求解可能需要满足一定的约束：信赖域反射最小二乘要理解信赖域优化方法，请考虑无约束最小化问题，最小化 f(x)，该函数接受向量参数并返回标量。
假设您现在位于 n 维空间中的点 x 处，并且您要寻求改进，即移至函数值较低的点。
基本思路是用较简单的函数 q 来逼近 f，该函数需能充分反映函数 f 在点 x 的邻域 N 中的行为。
此邻域是信赖域。
试探步 s 是通过在 N 上进行最小化（或近似最小化）来计算的。
以下是信赖域子问题如果f(x + s) < f(x)，当前点更新为 x + s；否则，当前点保持不变，信赖域 N 缩小，算法再次计算试探步。
在定义特定信赖域方法以最小化 f(x) 的过程中，关键问题是如何选择和计算逼近 q（在当前点 x 上定义）、如何选择和修改信赖域 N，以及如何准确求解信赖域子问题。
在标准信赖域方法中，二次逼近 q 由 F 在 x 处的泰勒逼近的前两项定义；邻域 N 通常是球形或椭圆形。
以数学语言表述，信赖域子问题通常写作公式2其中，g 是 f 在当前点 x 处的梯度，H 是 Hessian 矩阵（二阶导数的对称矩阵），D 是对角缩放矩阵，Δ是正标量，∥ . ∥是 2-范数。
此类算法通常涉及计算 H 的所有特征值，并将牛顿法应用于以下久期方程它们要耗费与 H 的几个分解成比例的时间，因此，对于信赖域问题，需要采取另一种方法。
Optimization Toolbox 求解器采用的逼近方法是将信赖域子问题限制在二维子空间 S 内。
一旦计算出子空间 S，即使需要完整的特征值/特征向量信息，求解的工作量也不大（因为在子空间中，问题只是二维的）。
现在的主要工作已转移到子空间的确定上。
二维子空间 S 是借助下述预条件共轭梯度法确定的。
求解器将 S 定义为由 s1 和 s2 确定的线性空间，其中 s1 是梯度 g 的方向，s2 是近似牛顿方向，即下式的解或是负曲率的方向，以此种方式选择 S 背后的理念是强制全局收敛（通过最陡下降方向或负曲率方向）并实现快速局部收敛（通过牛顿步，如果它存在）。
最小二乘问题常用的那些优化方法
最小二乘问题常用的那些优化方法题外话：从开始学习Slam十四讲第六章的时候就开始想写一个文档整理一下这些年遇到的优化算法，一周学一章，现在都学到第9章了，总算半整理半引用整理出来了...如果学一个东西是不断坑自己+自己去填坑的过程，下一次应该不会摔的那么疼了吧对于一个最小二乘问题的求解，根据目标函数可分为线性最小二乘和非线性最小二乘；对于非线性最小二乘问题，通常是进行泰勒展开将问题线性化，求解线性增量方程或是直接迭代找到最优值；对于线性最小二乘问题，通常是直接进行展开、求导等于零，构造\(A\vec{x}=\vec{b}\)的解方程问题，使用直接分解法或是迭代法求解；写完后发现文档较长，还是列一下有些什么东西吧：•梯度下降与其扩展算法（随机梯度下降、mini-batch梯度下降以及批梯度下降）•牛顿法与其优化算法（拟牛顿法、BFGS、LBFGS、高斯牛顿法以及列文伯格-马夸尔特法)•求解线性最小二乘问题的那些：1）直接分解（LU、LUP、Cholesky分解求解方阵线性方程组问题，QR分解解决欠定方程组问题以及超定方程组的最小二乘解）；2）迭代法（雅各比迭代、高斯赛德尔迭代、SOR以及超级好用的共轭梯度）•一些自己觉得不错的博客介绍；非线性最小二乘问题对于非线性最小二乘问题，通常会将目标函数进行泰勒展开，并将问题转换为一个线性求解问题：设有一个最小二乘问题：\[\min_{\vec{x}}F(\vec{x})=\frac{1}{2}||f(\vec{x})||_2 ^2\tag{1} \]有\(\vec{x}\in {R^n}, f\)是非线性函数，求解这个问题的常规思路是：1.给定某个初始值\(\vec{x}_0\)2.对于第k次迭代，寻找一个增量\(\Delta\vec{x}_k\)，使得\(||f(\vec{x}_k+\Delta\vec{x}_k)||_2^2\)3.\(\Delta\vec{x}_k\)足够小，则停止4.否则，令\(\vec{x}_{k+1}=\vec{x}_k +\Delta\vec{x}_k\)，返回第2步将非线性最小二乘问题求解的目标：从寻找最优值转换为寻找最小的\(\Delta\vec{x}_k\)，当函数下降到\(\Delta\vec{x}_k\)很小的时候，则等价为已找到最优值。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第五章 最小二乘问题的解法1.最小二乘问题 1)回归方程问题[]Ti i l i yt t)()()(1,,...,,m i ,...,2,1=是m 个实验点。
现要根据这些点确定y 与l 个物理量l t t t ,...,,21之间的关系式。
设这种关系式为),...,,,...,(11n l x x t t F y =，其中n x x ,...,1是方程中需要待定的n 个参数(系数)。
因此问题是如何通过)(n m m >个实验点，确定方程中的系数。
由于实验点的个数大于待定系数的个数，因此方程中系数的确定是一个超静定问题，无法按一般的方法进行求解。
此时将实验点到曲面距离最短的那个曲面作为所求曲面，从而求取该曲面方程。
即求解[]∑=-mi i i y x t F 12)()(),(min ，这就是最小二乘问题。
2)非线性方程组问题求解非线性方程组⎪⎪⎩⎪⎪⎨⎧===0),...,(. 0),...,(0),...,(11211n n n n x x f x x f x x f 可转化为求解如下形式的最小二乘问题。
∑=mi n i x x f 112),...,(min显而易见，最小二乘法的一般形式可写为)()(minx f x f T最小二乘法问题实际上是具有n 个变量的无约束极小化问题，前面解无约束优化问题的方法均可应用。
但是最小二乘问题具有一定的特殊性，即目标函数的表达式是由多个表达式的平方和组成，理应有更、更有效的方法。
这正是最小二乘解法要解决的问题。
2.线性最小二乘问题的解法最小二乘法的一般形式可写为)()(min x f x f T特别地，当b Ax x f -=)(，即)(x f 为线性函数时，则最小二乘问题可表示为：2min bAx -1) 线性最小二乘问题解的条件定理1:*x 是线性最小二乘问题极小点的充要条件是*x 满足b A Ax A TT =。
证明：(1)必要性 令2)(bAx x s -=，于是有：bb Ax b b A x Ax A x b Ax b A x b Ax b Ax x s TTTTTTTTTT+--=--=--=))(()()()(由于b A x T T 是一个数，而一个数的转置是它的本身，因此有：Axb A x b b A x b A x TTT T T TTTTT===)()(故上式可化为：bb Ax b Ax A x x s TTTT+-=2)(b A Ax A x s TT22)(-=∇若*x 是)(x s 的极小点，则必有0)(=∇x s ，则必有：b A Ax A TT =(2)充分性 若*x 满足bA Ax A TT =*，即0)(*=-b Ax A T考虑任一点n R z x v ∈+=*，计算)(2)()()()()()())(())(()(*22*******2*2b Ax A z AzbAx Az Az b Ax A z Az b Ax b Ax b Ax Az b Ax Az b Ax bz x A bAv T T TTTTTT -++-=+-+-+--=+-+-=-+=- 由于上式第二项大于等于零，第三项为零，故*x 是极小点。
我们称b A AxA TT =为最小二乘问题的法方程组。
由上述定理可知，求解最小二乘问题等价于求解它的法方程组。
2)法方程组的解法 由于02≥=AvAv A v T T ，所以A A T 至少是半正定的，因此法方程组有解的条件是A A T 正定。
定理2:设A 是n m ⨯矩阵)(n m >，则A A T 正定的充要条件是A 的秩为n 。
推论1:当A 的秩为n 时，则b A A A x T T 1)(-=是最小二乘的唯一解。
推论2:设A 是n m ⨯矩阵)(n m ≤，则T AA 正定的充要条件是A 的秩为m 。
推论3: 设A 是n m ⨯矩阵)(n m >，则T AA 正定的充要条件是A A T 为非奇异。
上述解法方程组的解法需要A A T 正定，实际问题并不能保证A A T 正定，因此上述方法仅具有理论意义。
3)用QR 分解求线性最小二乘解 若Q 是m m ⨯正交矩阵T Q Q =-1，则22)()()()()(b Ax b Ax b Ax b Ax Q Q b Ax b ax Q TT T -=--=--=-上式说明以2)(b Ax Q -为目标函数的最小二乘解与目标函数为2bAx -的最小二乘解具有相同的解。
因此求解2minbAx -可转化为求解2mincRx -，其中QA R =，Qb c =。
由线性代数可知，适当地选择正交矩阵Q ，总可使QA R =呈现为如下形式的矩阵：⎥⎦⎤⎢⎣⎡=O U R ，其中U是n r ⨯的秩为r 的上梯形矩阵；O 是n r m ⨯-)(的零矩阵。
定理: 线性最小二乘问题2min bAx -与线性方程组pUx=具有相同解。
其中p 是由Qb c =的前r 个分量组成的r 维向量。
证明：由于2minbAx -的解与2mincRx -的解相同。
现只需证明2mincRx -与pUx =具有相同的解。
2min cRx -的法方程组为cR RxR TT =，即cR RxR TT =的解就是2mincRx -的解。
将⎥⎦⎤⎢⎣⎡=O U R 代入上式有：⎥⎦⎤⎢⎣⎡⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡⎥⎦⎤⎢⎣⎡q p O U x O U O U TT，上式展开后得：pUUx U TT =而在pUx=的两侧同时左乘T U 即得pUUxU TT =。
若n U r =)(。
最小二乘问题的解为p U x 1-=。
否则最小二乘问题的解不是唯一的，在这种情况下，通常取具有最小范数的解作为最小二乘问题的解。
这个解称为最小二乘问题的极小最小二乘解。
这个解为pUUU x TT 1)(-=，且解是唯一的。
pUUU x TT1)(-=显然是pUx=的一个解。
设y 是pUx=的另一个解。
则0)(=-y x U)(2)(2222y x x yx xy x x yT---+=--=0)(])[()(1=-=--y x U UUp y x x TTTT因为0>-y x ，所以22xy>。
因此极小最小二乘解是唯一的。
3.Gauss-Newton 法Gauss-Newton 法适用于非线性最小二乘问题)()()(x f x f x s T=。
Gauss-Newton法是一种迭代算法。
假定选定初始点0x 后经过迭代已求得k x 。
现考虑1+k x 的求法。
首先把)(x f 线性化，用线性最小二乘问题的解去逼近非线性最小二乘问题的解。
把)(x f 的第i 个分量)(x f i 在点k x 处用Taylor 展开式展开。
)()()()(k Tk i k i i x x x f x f x f -∇+≈，mi , (1)则))(()()(k k k x x x A x f x f -+=，其中：⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡∂∂∂∂∂∂∂∂=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡∇∇=n k m k m n k k T k m Tk k x x f x x f x x f xx f x f x f x A )()()()()()()(11111记)(k k x f f =，)(k k x A A =，则2)()(k k k x x A f x s -+≈如设线性最小二乘问题kk f p A +min 的解为k p ，那么kk k p x x +=+1就是极小点的新的近似解。
由前述可知，kTk k T k kf A A A p 1)(--=，则kTk k T k k k f A A A x x11)(-+-=。
当)(x f 满足一定的条件，并且0x 充分靠近极小点时，算法是收敛的。
假如在某次迭代中k T kA A变成奇异的，那么上述方法失效，另外，当0x 离极小点较远时，算法可能发散。
例：设有非线性方程组⎩⎨⎧=-+==-+=022)(012)(21222211x x x f x x x f(1)列出求解这个方程组的非线性最小二乘问题的数学模型。
(2)写出Gauss-Newton 法迭代公式的具体形式。
数学模型为：))22()12min((22122221-++-+x x x x迭代公式为：kTk k Tk k k f A A A x x11)(-+-=[]Tx x x x x f 2212)(212221-+-+=⎥⎦⎤⎢⎣⎡=1242)(21x x x A例：已知某物理量y 与另两个物理量1t 和2t 的依赖关系为22111311t x t x t x x y ++=，其中1x ，2x 和3x 是待定参数。
为确定这三个参数测得21,t t 和y 的5组数据：186.0126.0076.0219.0126.0000.0000.2000.2000.1000.1100.0000.2000.1000.2000.121yt t(1)用最小二乘法建立关于确定1x ，2x 和3x 的数学模型。
(2) 写出Gauss-Newton 法迭代公式的具体形式。
数学模型为：)()(minx f x f T⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡-+-++-++-++-++=⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡=21312213122131221312213154321)186.011.0()126.0212()076.021()219.0212()126.01()()()()()()(x x x x x x x x x x x x x x x x x x x x f x f x f x f x f x f迭代公式为：kTk k T k k k f A A A x x11)(-+-=⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡∂∂∂∂∂∂∂∂=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡∇∇=n k m k m n k k T k m Tk k x x f x x f x x f xx f x f x f x A )()()()()()()(111114.修正Gauss-Newton 法先确定一个搜索方向，从k x 出发作直线搜索来求下一个迭代点1+k x 。
当k T kA A非奇异时，将Gauss-Newton 法解出来的k p 作为搜索方向，否则将负梯度方向作为搜索方向。
下面证明Gauss-Newton 法解出来的k p 是目标函数的一个下降方向。
∑===mi i Tx f x f x f x s 12)()()()(∑==∇=∇mi Ti i x f x A x f x f x s 1)()(2)()(2)(kTk k T k k f A A A p 1)(--=0)()(2)(1<-=∇-k Tk k Tk Tk Tk k Tk f A A A f A p x s因此Gauss-Newton 法解出来的k p 是目标函数的一个下降方向。