拟牛顿法的研究现状文献综述

拟牛顿法的研究现状文献综述姓名:孟媛媛 学号：112111215 指导老师：肖伟前言求解非线性方程组0)(=x F的方法有很多，最速下降法具有结构简单，计算量小的优点，但是它的收敛速度较慢；牛顿法及其改进牛顿法，虽然收敛速度快，但在迭代过程中的每一步构造搜索方向时，首先要计算目标函数的Hessian 矩阵，然后需要解一个线性方程组，计算工作量很大，这就抵消了牛顿法收敛速度快的优点。

为了克服牛顿法的缺点，人们提出了拟牛顿法，拟牛顿法在构造搜索方向时，只需要利用目标函数及其一阶导数的信息，避免了Hessian 矩阵的计算，减少了计算量，并且具有超线性收敛的优点，经理论证明和实践检验，拟牛顿法已经成为一类公认的比较有效的算法.拟牛顿法 一、求解非线性方程组的拟牛顿法设R R nnF →：是连续可微映射．考虑下面的非线性方程组：0)(=x F )1.1(牛顿法是求解方程组)1.1(的经典的方法之一，其迭代格式为：d x x k k k +=+1，)()(1x x d k k k F F -'-=，其中)(x k F '是F 在x k 处的Jacobian 阵.牛顿法的一个显著优点就是具有局部的超线性甚至二阶收敛速度，由于牛顿法这一优点，使其成为颇受欢迎的算法之一， 然而，当Jacobian 矩阵)(x k F '奇异时，牛顿方向可能不存在．克服牛顿法的这一缺陷的一个主要途径就是采用拟牛顿法，其基本思想是利用某个矩阵B k 作为)(x k F '的近似取代)(x k F '.拟牛顿法的一般格式为：d x xk k k k α+=+1， )2.1()(1x B dk k kF --=， )3.1(其中αk是步长，通常由某种线性搜索确定.Bk是)(x k F '的近似，它满足下面的拟牛顿方程：)(1y sB kkk =+， )4.1(其中x xs x x y k k k k k kF F -=-=++11),()(.注意到≈y ks x k k F )(1+'，因此，B k 1+与)(1x k F +'沿方向s k 很接近.拟牛顿矩阵B k 1+的不同的校正公式导致不同的拟牛顿法.著名的拟牛顿校正公式有Broyden 秩一校正公式，对称秩一校正公式，DFP 校正公式，BFGS 校正公式，PSB 校正公式等，它们分别由下面这些公式定义：;)()()()(21yy s yss B y sy s B y y y s B y BBT kkkT kkTk k kkT kTkkkkTk k k kkDFP k ---+-+=+;)()()()(21ss s s ss B y ss s B y s s s B y B BT kkk Tk kTk k kkTkTk k kk Tk k k kk PSB k ---+-+=+;1sy y y sB s B s s B B BkT kTk k kkT kT kkkkk BFGS k +-=+.)())((11ss B y s B y s B y B BkTk k kTk k kk k kk R k ---+=+容易看到，DFP ，PSB ，BFGS ，SR1校正公式都是对称的，他们适合求解对称问题，而Broyden R1校正公式是不对称的，因此它常被用来求非对称问题.如果0>sykT k，则DFP 和BFGS 公式保持迭代矩阵B k 的对称正定性，而其它几种方法不具有这种性质. PSB 校正公式在非线性最小二乘问题中经常被采用. BFGS 公式是颇受欢迎的拟牛顿公式，它具有DFP 校正所具有的各种性质.此外，当采用Wolfe 线性搜索时，BFGS 算法对凸极小化问题具有全局收敛性质，这个性质对于DFP 方法是否成立尚不清楚.大量的数据结果表明，BFGS 方法的数值效果优于其它的拟牛顿方法.拟牛顿法不需要明显计算Jacobian 阵，同时保持牛顿法的快速收敛速度.自20世纪60年代Broyden 第一次提出求解非线性方程组的拟牛顿法后，因其深邃丰富的理论知识和实际计算中的有效性，很快受到最优化工作者和计算数学家的特别青睐.特别是拟牛顿法的局部收敛性得到了广泛的研究. 此外，人们对拟牛顿法求解无约束问题的全局收敛性分析进行了相当的努力并且取得了巨大进展．尽管拟牛顿法的局部收敛性结果十分丰富，但是其求解非线性方程组的全局收敛性结果却很少．全局化方法dx x kkk k α+=+1需要采用某种搜索计算步αk，但是此时拟牛顿方向一般不再是某个度量函数的下降方向，从而使得线性搜索难以实现或考说缺少一种有效的线性搜索.Griewank 在1986年研究了解非线性方程组的Broyden 秩一方法的全局收敛性，并在文献[2]中提出了一种无导数的线性搜索，同时证明了Broyden 方法在该搜索下的全局收敛性．Li 和Fukushima 在文献[3]中构造了一个反例表明Griewank 在文献[2]中的线性搜索在计算中可能会产生某些困难，即该搜索不是适定的.为克服此缺陷，Li 和Fukushima 提出了一种非单调搜索技术：求步长αk使得)()()(21x d x d x k kkk k k k k F F F ηασα+-≤+其中01>σ是常数，;0∞<∑∞=k k η在适当条件下，文献[3]证明了求解非线性方程组的Broyden 方法的全局收敛性.关于BFGS 方法求解非线性方程组的第一个全局收敛性结果属于Li 和F ukushima ，1999年，他们在文献[4]中提出了一种新的近似范数下降的BFGS 方法，称之为Gauss —Newton 型BFGS 方法，其拟牛顿方向由下面的方程决定：0=+q Bkkd ，其中B x x x x x q k k k k k k k k kF F F F F ),()()())((11'≈-+=--λλ由下面的BFGS 公式校正：,1sy yy sB s Bs s B B B kTk T kkkkT kkTkkkkk +-=+其中)()(),()(,11x x yx y x y x xs k k kk kk kk k kF F F F -=-+=-++=. 这种Gauss-Newton 型BFGS 公式不同于标准的BFGS 公式，尽管它仍满足拟牛顿方程yk1=+s B kk .注意到s x k k F 21k)(y +'≈，因此211)(x B k k F ++'≈，相应的方法称之为Gauss-Newton型BFGS 方法.2003年，GU 等人引入了一种范数下降的线性搜索，并利用Li 和Fukushima 求解无约束优化问题的CBFGS 和MBFGS 方法的思想,提出了求解对称非线性方程组的范数下降的保守的和修正的Gauss —Newton 型BFGS 方法，并且证明了这两种方法全局收敛.尽管牛顿法和拟牛顿法都是非常有效的算法，但是它们都需要计算和存储矩 阵，这难以用于求解大型问题．最近，Cruz 和Raydan 在文献[5]提出了一种求解一般的非线性方程组的非单调的谱梯度方法并证明了其全局收敛性．Zhang 和Zhou 在文献[6]提出了一种求解单调非线性方程组的谱梯度投影方浃法建立了全局收敛性结果.这两种谱梯度方法都适合求大规模问题，察实上，这两种谱梯度方法是求解无约束优化问题的谱梯度方法在非线性方程组中的推广．前面讨论的都是拟牛顿法求解光滑非线性方程组的已有结果。

对拟牛顿法求解非光滑方程组的结果目前并不多见，而且大多数研究集中在局部收敛性分析 上. 通过光滑技术，Li 和Fukushima 将文献[3] Broyden 方法求解光滑方程组的全局收敛性结果推广到了一般的半光滑方程组[8].二、求解无约束优化问题的拟牛顿法设f ：R R n →连续可微，)(x g 为f 在x 点处的梯度，求解无约束优化问题 min n R x x f ∈∀),( )1.2( 的拟牛顿法的迭代与其求解非线性方程的格式相同，只需要将中)4.1(中y k的定义改为g gy kk k-=+1，其中g k是)(x k g 的简写.拟牛顿法求解无约束优化问题不仅局部收敛性分析取得丰硕的成果，而且全局收敛性分析也取得了巨大进展．Powell 和Dixon 证明了Broyden 族方法在精确搜索下求解凸极小化问题时的全局收敛性．所谓的精确搜索，即求αk使得满足)()(min 0d x d x k k k k k f f ααα+=+》.Byrd 等人在文献[8]中证明了除DFP 方法外的Broyden 族方法在Wolfe 线性搜索下求解凸极小化问题的全局收敛性．这里的wolfe 搜索，指的是求αk使得其满足dgx d x kT kk k k k k f f ααδ+≤+)()(，gd d x d kTkk k k T k g σα≥+)(，其中10<≤<σδ．Byrd 和Nocedal 证明了BFGS 方法在Armijo 线性搜索下求解凸极小化问题的全局收敛性．所谓的Armijo 搜索，即求{},2,1,0,m ax ==j ik ρα满足dgx d x kT kk k k k k f f ααδ+≤+)()(，其中10<<ρ为常数．为了研究拟牛顿法求解非凸问题的全局收敛性，Li 和Fukushima 修正了标准的BFGS 公式，提出了CBFGS 方法和MBFGS 方法并证明了这两种方法在Armijo 和Wolfe 线性搜索下对非凸极小化问题全局收敛. 前面都是关于单调的拟牛顿法求解无约束问题)1.2(的工作，所谓的单调方法就是算法产生的函数值序列单调递减，即使得)()(1-x x k k f f <成立.非单调方法则不一定要求)()(1-x x k k f f <.最早提出非单调线性搜索技术的是Grippo ，Lampariello 和Lucidi ．1986年，他们在文献[7]中考虑了如下一般格式的非单调线性搜索技术：给定常数)1,0(,,0∈>ρδα及非负整数M ，寻找步长因子{},,m ax 10ρρααα=k使得dgx d x kT kmj k Mj k mk f f αδαρρ+≤+-≤≤)()(max 0. )2.2(当0=M 时，上面的非单调线性搜索变为标准的Armijo 线性搜索.非单调技术)2.2(的一个好处就是不要求函数值减少，从而使步长因子的选取更具有弹性，即使得步长αk尽可能的大．此外，Panier 和Tits 在文献[10]中证明了非单调搜索技术能避免Maratos 效应．大量的数值结果表明，非单调搜索比单调搜索数值表现要好得多，特别是非单调方法能求一些比较困难的问题，此外，其数值计算也比较稳定.三、多步拟牛顿法一般的拟牛顿方法在每一步的迭代中，仅利用上一步产生的梯度信息，建立—个拟牛顿方程，进而求得目标函数Hesse 阵的近似。