最优化论文

题目：非线性最小二乘法问题的一种解法--高斯-牛顿法学生姓名：聂倩云学号：113113001039学院：理学院专业名称：应用数学非线性最小二乘法问题的一种解法--高斯-牛顿法目录前言 (1)1. 拟牛顿法及相关讨论 (1)2.牛顿法 (1)3.拟牛顿法 (2)3.1DFP公式 (2)3.2BFGS公式 (4)3.3限域拟牛顿法 (6)4.针对二次非凸性函数的若干变形 (6)参考文献： (7)非线性最小二乘法问题一种解法--高斯-牛顿法学生：聂倩云 学号：113113001039摘 要：非线性最小二乘法问题在工程技术、测绘等各个领域有着非常广泛的应用，我们考虑无约束非线性最小二乘问题的一种常见的解法：高斯-牛顿法。

求解无约束优化问题的基本方法是牛顿法，本文从这点出发，介绍此方法步骤，探讨此方法的收敛性，讨论它的收敛速度，并给出高斯-牛顿法的一种修正：阻尼高斯牛顿法。

关键词：非线性最小二乘；高斯-牛顿法；收敛性；收敛速度前言非线性最小二乘问题结构特殊，不仅可以用一般的最优化问题求解的方法，还可以对一般的无约束优化问题求解方法进行改造，得到一些特殊的求解方法。

而这些方法基本思想就是形成对目标函数的海森矩阵不同的近似。

1.非线性最小二乘法问题概述非线性最小二乘法模型为()()[]()()()221212121m in x r x r x r x r x f Tm i i ===∑= 其一阶、二阶导数分别为()()()x r x A x g =()()()()()()()x S x M x r x r x A x A x G mi i i T+=∇+=∑=12其中()()()()()Tm x r x r x r x r ,,,21 =称为在点x 处的残向量，()x r i 为非线性函数，且()()()[]x r x r x A m ∇∇=,,1 ，其中()()()Tx A x A x M =称为高斯-牛顿矩阵，为()x G中的线性项，()x S 为()x G 中的非线性项。

2.高斯-牛顿法高斯-牛顿法主要思想是省略非线性项()x S从而形成对海森矩阵的近似。

当()x r i在目标函数最优解*x 处等于0，称()x r 为0残量；当()x r i在目标函数最优解*x 处取值较小，称()x r为小残量，这时用近似逼近使()x S 为0，即这时线性项()x M去近似海森矩阵()x G 比较好，我们通过求解方程组()()k k k Tk k r A g A A -=-=δ的最优解()k δ，并将它作为搜索方向，此时迭代形式为()()()k k k x x δ+=+1这就是高斯-牛顿法。

2.1 方向的下降性由于Tk k A A 半正定，所以()k k T T k k T r A A A δδδ-=≤0即()()0≤=k T k k T g r A δδ所以高斯-牛顿法的搜索方向不可能是()x f 的上升方向，这就保证了高斯-牛顿法的可行性。

2.2收敛性和收敛速度 先给出一个定理： 定理：下列条件成立 （1）设D 为开凸集，()x f 在D 上二次连续可微；（2）D x∈∃*使()()()0==***x r x A x g ；（3）存在常数β，γ使()()D y x y x y A x A ∈∀-≤-,,β ()()D y x y x y G x G ∈∀-≤-,,γ（4）()x A满秩且存在常数M ，σ使得()()()D x M x M x H x A ∈∀≤=≤-,,1σ则高斯-牛顿法对所有的D x ∈都有定义，且()()()()()()21k k k hhxS x H hO +≤**+其中()()*-=x x hk k证明：由于()x A满秩，所以TkkAA 正定，所以高斯-牛顿法搜索方向是下降方向，从而对所有的D x ∈都有定义。

()()()()()()()()()()()()()()yx y A y A y A x A y A x A x A x A y A y A x A x A y M x M TTTTTT-≤-+-≤-=-σβ2()()()()()()()yx y M y G x M x G y S x S -+≤+--=-σβγ2()()()()()()()[]()yx M y M x M y M x M y M x M y H x H -≤-=-=-----σβ211112而()()()()()()()()20k k k k h h x G x g x g ο+-==*两边左乘k H ，则()()()()()()()()()()()()()k k k k k k k k k k k k k hS H H h S S H h x S x H hhh S H h *****+------=+---=120οδ从而可以证明结论。

我们从上面定理结论可以看出：若*S 比较大，则高斯-牛顿法一般不收敛。

如果方法收敛，则当0=*S 时，有()()()21k k h hO ≤+，从而高斯-牛顿法二次收敛；当0≠*S时，方法是线性收敛的。

如果*M 正定且**S H 小于一个小于1的数，则方法局部收敛。

我们可以简单推导一下：设1<≤**θS H ，则由定理得到()()()()k k k h h c h +≤+θ1如果存在初始点的一个邻域使1<≤+ηθh c ，则可以得到()()12h h η≤依次迭代下去，可以得到()()k k k h h η≤+1当∞→k时有0→k h ，因而方法收敛。

2.3高斯-牛顿法的步骤及例题 Step1：给定初始点1x 和精度ξ，置1=k ；Step2：如果()ξ≤k k r A ，则停止计算；否则计算()k k Tk k r A A A -=δ得到()k δ；Step3：置()()()k k k x xδ+=+1，1+=k k 。

高斯-牛顿方程组()k k Tkk r A A A -=δ的求解：（1）对Tk k A A 进行TLL 分解或者TLDL 分解，化成方程组()⎩⎨⎧=-=yL r A Ly Tk k δ 求解，L 为三角矩阵，所以两个方程组进行前代和后代就可以求出()k δ。

（2）对增广矩阵[]r A T,作QR 正交分解，Q 为正交矩阵，⎥⎦⎤⎢⎣⎡=01R R ,1R 为上三角矩阵，即()[]()[]k T k Tr Q RQ r A =,于是11R R A A T Tkk =,高斯方程组的解可由()()n k T k r Q R -=δ回代得出。

例：设()()()22211++++=x x x x f λ，1R x ∈，试讨论函数的极小值点。

解：令11+=x r ，122++=x x r λ计算()T k Txx k x x r x r A k12,1,21+=⎪⎭⎫⎝⎛∂∂∂∂==λ()k k Tk k r A A A -=δ即()[]k k k k kx x x x x22321212322+-+=++λλλδλ解出()()22321212232+++-+-=k kk k k k x x x x x λλλλδ 则()()()()2232112122++++=+=+k k k k k k k x x x x x xλλλλδ当0=λ时，迭代点01=+k x ，则极小值点0=*x ； 当0≠λ，且1<λ时，若假定初始近似k x 充分小，则()k k k k k x x x x x ολλλλ+=++222322()()k k x x ολ+=++21212所以()21k k k x x x ολ+=+迭代下去，有()2k k p p k x x x ολ+=+当∞→p 时，有0→+p k x即迭代点列{}kx 趋向于0；当1≥λ时，迭代点列不收敛。

2.4高斯-牛顿法的优点和缺点优点：（1）高斯-牛顿法仅仅利用函数的一阶导数的信息直接得到海森矩阵的近似，给计算带来很大方便。

（2）对于零残量问题（即()0=*x r ）有局部二阶收敛速度；（3）对于小残量问题（即()x r较小或者()x r 接近线性）有较快的局部收敛速度； （4）对于线性最小二乘问题，一步达到极小点。

缺点：（1）对于不是很严重的大残量问题，收敛速度较慢； （2）对于严重的大残量问题（即()*x f 较大或者()x r i 的非线性程度较高），高斯-牛顿法一般不收敛； （3）()x A不满秩时，搜索方向不一定下降，方法不一定有定义。

3对高斯-牛顿法的简单修正（1）阻尼高斯—牛顿法给定局部最优解*x 的一个初始估计1x ,则其第k 次迭代的步骤为Step1：确定()k k Tkk r A A A -=δ的解；Step2：确定步长k α，使()()()()k k k k x f x f <+δα；Step3：置()()()k k k k x xδα+=+1。

其中k α由线性搜索确定的步长，在原来的高斯-牛顿法的基础上添加了一个阻尼因子，确保()x f 每一步都是下降的。

当k A 满秩时，阻尼高斯-牛顿法是收敛的；当k A 不满秩时，方法或收敛于非平稳点或在未接近平稳点之前提前终止，即在某处迭代时，有()0=δT k g ,()x f 得不到进一步下降，迭代未达到精确值之前就终止。

（2）Marquardt Levenberg -法（M L -法） 通过求解方程组()()k k T kkr A I AA -=+δμ解出()k δ，再进行迭代：()()()k k k x x δ+=+1M L -法具有全局收敛性，且在下列条件成立时局部二次收敛：()x f 二次连续可微，对给定的初始点()1x 水平集()()1x L 有界，迭代产生的点列(){}kx 收敛于*x ，且()*x G 正定，如果()0=*x S ,则方法局部二次收敛。

在这里，就不详细证明，感兴趣的读者可以查阅相关资料。

我们可以看出高斯-牛顿法是存在它的缺点的，一方面k M 对海森矩阵()()k x G 的近似程度不好；另一方面当k A 不满秩时，高斯-牛顿法不一定有定义。

所以高斯-牛顿法仍然需要改进，一些研究者做出了很多的改进方案，例如拟牛顿修正形成的适应算法，还有杂交算法，分解式拟牛顿方法等等，所以仍需我们在这方面不断学习和探索，而且非线性最小二乘问题在工程技术等各个领域应用广泛，所以我们应该不断积累此类问题，从而推动其他领域的发展。

参考文献：[1]徐成贤，陈志平，李乃成.近代优化方法[M].科学出版社.2002,198-203. [2]袁亚湘，孙文瑜.最优化理论与方法[M].科学出版社.1997.[3]徐成贤，陈志平.不精确高斯-牛顿法的收敛性.工程数学学报.1997,14(4).。