几种修正拟牛顿法的比较
牛顿法拟牛顿法
牛顿法拟牛顿法牛顿法是一种求解非线性方程的方法，其原理是在迭代中使用方程的导数来近似方程的根。
虽然牛顿法非常有效，但它往往需要非常精准的初始猜测才能保证收敛性。
另一种类似于牛顿法的方法是拟牛顿法，它可以通过逐步调整矩阵B来近似牛顿法的矩阵Hessian。
本文将介绍牛顿法和拟牛顿法的原理和应用。
一、牛顿法假设有一个n维非线性方程系统f(x)=0，其中x是一个n维向量。
牛顿法中的每个迭代都是通过以下公式来更新当前估计xk的：xk+1=xk-Hk^(-1)fk其中Hk是f(x)的Hessian矩阵在xk处的值，假设Hk是可逆的。
牛顿法的优点是它快速收敛，并且可以通过适当选择初始估计来实现收敛。
另一个好处是它可以直接用于求解大型系统，因为它只涉及二次导数的计算。
然而，牛顿法的缺点是它需要计算Hessian矩阵，这通常是一个费时且复杂的任务。
另一个问题是当Hessian矩阵的条件数（即最大特征值与最小特征值之比）很大时，牛顿法的收敛可能会变得很慢。
二、拟牛顿法拟牛顿法的思想是利用一个矩阵Bk来代替牛顿法中的Hk矩阵。
Bk是一个正定对称的矩阵，其初值通常为单位矩阵In。
在每个迭代中，Bk被更新为一个近似的Hessian逆矩阵。
最常用的拟牛顿法算法之一是BFGS算法，其更新规则如下：Bk+1=Bk+(yk^Tyk)/(yk^Ts)+(BkSkS^TBk)/(sk^TBksk)其中sk=xk+1-xk，yk=g(xk+1)-g(xk)，g表示f的梯度，^T表示矩阵转置。
该公式是基于以下观察得出的：Bk+1应该满足以下性质：Bk+1是正定对称的。
Bk+1应该近似于Hk+1的逆，其应该满足以下方程：Bk+1sk=yk另外，BFGS算法的收敛速度也相对比牛顿法要慢，因为BFGS算法需要逐步修正矩阵Bk，直到其逼近Hessian矩阵的逆。
三、应用牛顿法和拟牛顿法在许多实际问题中应用广泛，特别是在数学、物理、金融和工程领域。
利用函数值信息的修正多步拟牛顿法
对于满足拟牛顿方程的 Ｂ ＋ ， １最常用的校正公式是 Ｂ ｏｄｎ族校正公式 （ ｒ ｅ ｙ 见文献 【 【） ６７ ． 】】
・ 一 ＋ ，
维普资讯
・
１ ・ ４ ４
南京大学学报数学半年刊
２７ ５ ０ 年 月 ０
其 中
＿ （ ｓ
ｚ ） ∑ ｃ丁 ＾ 褂１ （ ＝ ｔ）一 ， 丁 （ｚ
这 里
（） １ ５
㈩ｊ 嚣 ・ ＝ Ｏ
，
Ｊ ≠ｔ
（ １ ６ ）
（） １ ７
［ 一ｋ］ 丽ｋ Ｙ Ｂ ｋ ｓ，
（ １ ２ ）
当 ：０时， 就是 经典 的 Ｂ ＧＳ校 正公 式． Ｆ
由以上可以看出， 拟牛顿法是对 ＾ Ｘ ＋ 做线性插值， 和 ｋ１ 然后根据公式 （） ２ 推导出拟牛顿 方程． 尽管其形式简单， 由于只用了前一个迭代点的信息， 但 在某些情形下， 由公式 （１ 得到 １）
收稿 日期： ０ ６０ －６ 修 回日期： ０ ６１ －３ ２ ０ －５２ ； ２ ０－ １２ ．
Ｅ－ ａ ｌ ｕ ｉｉ ｏ ｍ ｉ ：ｈ ａ ｌ ＠ｈ ｔ ａ ｌ ｏ ｂ ｏ ｍ ｉ． ｒ ｃｎ
维普资讯
第１ 期
怀丽波： 利用函数值 皇
垒生 生塑鎏
假设 通过迭 代点 线． 即 已经产 生新 的迭 代 点 Ｘ ＋ ， 义 曲线 Ｘ 为一条 过这两 个迭 代点 的直 ｋ１定
＝
．
（） ２
ｘｒ ＝ ＋７ （） ．， ｓ 其 中
８ｋ ＋１ 一 Ｘｋ
（） ３
这 样 ，由 （） ３ 式得 ｘｏ ＝Ｘ ，（） ｋ ｌ并且 （） ｋｘ１ ＝Ｘ＋ ，
１ 引 言
考虑 无约束 优化 问题
数学优化中的牛顿法和拟牛顿法
数学优化中的牛顿法和拟牛顿法在数学中，优化是一个非常重要的研究领域，其目的是找到使某个函数达到最大或最小值的变量集合。
在实际应用中，很多问题都可以转化为优化问题，如机器学习、经济学、物理学等。
在优化领域中，牛顿法和拟牛顿法是两种常见的方法。
本文将介绍这两种优化方法的基本原理、优缺点以及应用场景。
一、牛顿法牛顿法（Newton's method）是由数学家牛顿发明的非线性优化方法，其思想是利用函数的泰勒级数展开进行逼近。
具体来说，牛顿法先求出目标函数的一阶和二阶导数，然后使用二阶导数来逼近目标函数本身，进而得到近似最优解。
牛顿法的数学公式如下：$$\boldsymbol{x}_{k+1}= \boldsymbol{x}_{k} -{\boldsymbol{\nabla}^2 f(\boldsymbol{x}_k)^{-1}}\boldsymbol{\nabla} f(\boldsymbol{x}_k)$$其中，$\boldsymbol{x}_k$ 表示第 $k$ 次迭代的解，$\boldsymbol{\nabla} f(\boldsymbol{x}_k)$ 和$\boldsymbol{\nabla}^2 f(\boldsymbol{x}_k)$ 分别表示目标函数在$\boldsymbol{x}_k$ 处的一阶和二阶导数。
牛顿法的优点是收敛速度非常快，通常只需要很少的迭代次数即可达到最优解。
另外，牛顿法适用于连续可微、二阶可导的函数，因此适用范围广。
然而，牛顿法也存在一些缺点，例如无法处理不可导或一阶可导但二阶不可导的函数。
此外，牛顿法需要计算目标函数的二阶导数，因此在大规模问题上计算成本很高。
二、拟牛顿法拟牛顿法（quasi-Newton method）是一类基于牛顿法的优化算法，它通过逼近目标函数的海森矩阵来求解。
拟牛顿法没有计算海森矩阵的显式表达式，而是通过估计海森矩阵的变化来逼近。
最简单和最流行的拟牛顿法是BFGS算法和L-BFGS算法。
拟牛顿法及其相关解法
本文链接：/miaowei/52925.html最近在看条件随机场中的优化算法。
其中就设计到了无约束化的最优化方法，也就是牛顿法。
在CRF （conditional random field）中，使用的是L-BFGS法。
费了好大的劲把算法的原理及推导算是看明白了，可是到了具体实现上，又碰到问题了，比如在求搜索方向的时候，使用但是程序中如何实现呢？现在转载一篇文章，看过之后，会非常受益。
使用导数的最优化算法中，拟牛顿法是目前为止最为行之有效的一种算法，具有收敛速度快、算法稳定性强、编写程序容易等优点。
在现今的大型计算程序中有着广泛的应用。
本文试图介绍拟牛顿法的基础理论和若干进展。
牛顿法(Newton Method)牛顿法的基本思想是在极小点附近通过对目标函数做二阶Taylor展开，进而找到的极小点的估计值[1]。
一维情况下，也即令函数为则其导数满足因此(1)将作为极小点的一个进一步的估计值。
重复上述过程，可以产生一系列的极小点估值集合。
一定条件下，这个极小点序列收敛于的极值点。
将上述讨论扩展到维空间，类似的，对于维函数有其中和分别是目标函数的的一阶和二阶导数，表现为维向量和矩阵，而后者又称为目标函数在处的Hesse矩阵。
设可逆，则可得与方程(1)类似的迭代公式：(2)这就是原始牛顿法的迭代公式。
原始牛顿法虽然具有二次终止性（即用于二次凸函数时，经有限次迭代必达极小点），但是要求初始点需要尽量靠近极小点，否则有可能不收敛。
因此人们又提出了阻尼牛顿法[1]。
这种方法在算法形式上等同于所有流行的优化方法，即确定搜索方向，再沿此方向进行一维搜索，找出该方向上的极小点，然后在该点处重新确定搜索方向，重复上述过程，直至函数梯度小于预设判据。
具体步骤列为算法1。
算法1：(1) 给定初始点，设定收敛判据，.(2) 计算和.(3) 若 < ，则停止迭代，否则确定搜索方向.(4) 从出发，沿做一维搜索，令.(5) 设，转步骤(2).在一定程度上，阻尼牛顿法具有更强的稳定性。
拟牛顿法
拟牛顿法牛顿法有很好的收敛性，特别是当初始点x0选择在最终解x*附近时，收敛速度叫梯度法更快，但是当初始迭代点远离x*，收敛速度慢且不能保证收敛，当其Hession <0，迭代算法不会像函数值减小的方向前进。
针对newton法的这些弱点，提出了改进方法：拟牛顿方法，包括rank one，DFP和BFGS三种算法。
（1）Rank one选用aster书《An Introduction to Optimization》中实例验证目标函数：f(x1,x2)=x1^2+0.5*x2^2+3，是一个二次型函数。
初始值x0=[1,2]’；，精度1.0e-5控制迭代终止，当norm(G)<=1.0e-5时，迭代终止；取H0=I2，Q=[2,0;0,1];①迭代结果：经过两次迭代之后，迭代停止，得值x=【0,0】’。
②改变初始值为远离x= [0,0]’的值x0=[1000,2]’，和x0=[1000,1000]’，算法经过两步迭代后都收敛到x=【0,0】’。
算法的结果验证了书中结论：不论初始值X0如何选取，稚一算法在n步迭代之内收敛到终解。
稚一算法对于恒定hess矩阵的情况非常好，也就是对二次型问题问题非常有效，但是对于非二次型问题，H（k）可能是非正定的，这样函数不能向下降的方向前进，这就引出下面的稚二算法。
（2）DFP目标函数：f(x1,x2)=2*(x1^2)+x2^2+2*x1*x2+x1-x2；即：f(x1,x2)=1/2*[x1,x2]*[4,2;2,2]* [x1,x2]’-[x1,x2]*[-1,1]’;初始点x0=[0,0]’，取H0=I2，Q=[4,2;2,2]。
H0是一个实对称正定矩阵，第一次迭代后，H1=[0.5,-0.5;-0.5,1.5]是一个非对称正定矩阵，此时就体现出稚二算法的优势，第二次迭代后，满足norm(G)<=1.0e-5条件，迭代终止，的解x=【-1.0,1.5】’。
机器学习算法系列最速下降法牛顿法拟牛顿法
机器学习算法系列最速下降法牛顿法拟牛顿法最速下降法、牛顿法和拟牛顿法都是常用的机器学习优化算法。
它们在求解函数最小化问题中起到关键作用。
1. 最速下降法（Gradient Descent）：最速下降法是一种基于函数梯度的迭代优化算法。
其核心思想是沿着负梯度方向以步长α更新参数，直到达到收敛条件。
最速下降法的步骤如下：1）选择初始参数值；2）计算目标函数的梯度；3）沿着负梯度方向更新参数；4）重复步骤2和步骤3，直到达到停止条件。
最速下降法的优点是简单易实现，但它可能会面临局部最小值的问题，收敛速度较慢。
2. 牛顿法（Newton's Method）：牛顿法是一种二阶优化算法，利用目标函数的一阶和二阶导数信息来更新参数。
它通过二阶导数矩阵（即Hessian矩阵）来指导方向和步长的选择。
牛顿法的步骤如下：1）选择初始参数值；2）计算目标函数的一阶和二阶导数；3）解线性方程（Hessian矩阵和梯度的乘积）；4）更新参数；5）重复步骤2-步骤4，直到达到停止条件。
牛顿法的优点是收敛速度快，但它需要计算二阶导数矩阵，计算量较大，且可能收敛到非全局最小值。
3. 拟牛顿法（Quasi-Newton Methods）：拟牛顿法是一种基于牛顿法思想的近似优化算法。
与牛顿法不同，拟牛顿法通过正定矩阵来近似二阶导数矩阵，从而避免了计算复杂的二阶导数矩阵。
拟牛顿法最经典的算法是BFGS算法（Broyden-Fletcher-Goldfarb-Shanno），它通过近似更新逆Hessian矩阵的方式来求解优化问题。
拟牛顿法的步骤如下：1）选择初始参数值和初始逆Hessian矩阵的估计；2）计算目标函数的梯度；3）更新参数；4）更新逆Hessian矩阵的估计；5）重复步骤2-步骤4，直到达到停止条件。
拟牛顿法的优点是避免了计算二阶导数矩阵，计算复杂度相对较低，且具有较好的收敛性质。
总结来说，最速下降法适用于简单的优化问题，牛顿法适用于二次型问题，而拟牛顿法在保持收敛速度的同时减少了计算复杂度。
第四次Newton法与拟Newton法
x k +1 = x k − H k ∇ f ( x k )
2.
考虑更一般的形式： 考虑更一般的形式： x k +1 = x k − t k H k ∇ f ( x k )
x
k +1
= x − t k H k ∇f ( x )
k k
H k ≡ I时 ⇒ 梯度法 最速下降方向 d k = −∇ f ( x k ) 度量为 x = xT I x
3.算法特点
收敛速度快，为二阶收敛。 收敛速度快，为二阶收敛。 初始点要选在初始点附近。 初始点要选在初始点附近。 4.存在缺点及修正 4.存在缺点及修正
(1)
f ( x k +1 ) < f ( x k ) ?
− G k 1的存在性和计算量问题
（2） 初始点的选取困难，甚至无法实施。 ） 初始点的选取困难，甚至无法实施。
k 计算 H k ， := k + 1 , 转 step 2.
例如： 例如：请用 DFP算法求解 min f ( x ) =
解：取 H 0 = I , 2 x1 ∇f ( x ) = 8x 2
2 x1
+
2 4x2
1 , 初始点 x = . 1
1
f ( x 0 − t 0 ∇ f ( x 0 )) = min f ( x 0 − t ∇ f ( x 0 )) − t0∇ f ( x
0
= x
0
0 . 73846 )= − 0 . 04616
− 0.26154 s0 = x 1 − x 0 = − 1.04616 − 0.52308 y 0 = ∇ f ( x 1 ) − ∇f ( x 0 ) = g 1 − g 0 = − 8.36923
改进牛顿法
第3节改进牛顿法改进牛顿法改进牛顿法只是在牛顿拉夫法的基础上通过适当近似，对雅可比矩阵进行一定的改动，即改变每次迭代的步长。
由于其收敛判据未变，所有计算结果误差很小。
这里先做两点假设:(1)相邻两节点的电压差很小，因为配电网线路较短，且输送功率不大，这一假设可以成立；(2)没有对地支路(并联电容器组),如果有，则可以看作恒定节点负载，这样，所有对地支路都可以通过初始电压及修正后的电压值转化为节点注入功率。
常规牛顿法中对电压量(状态变量)的修正为：J U S ⋅∆=∆ （7—4）采用极坐标的形式：/HN P JL U U Q θ∆∆⎛⎫⎛⎫⎛⎫⋅= ⎪ ⎪ ⎪∆∆⎝⎭⎝⎭⎝⎭（7—5） 其中：(s i n c o s i j i j i j i j i j i jH U U G B θθ=-- i ≠ j 1(s i n c o s )j nij i j ij ij ij ij j j i H U U G B θθ==≠=-∑i = j (c o s s i n i j i j i j i j i j i jN U U G B θθ=-+i ≠ j21(c o s s i n )2j n ij i j ij ij ij ij i ij j j i N U U G B U G θθ==≠=-+-∑ i = j(c o s s i n i j i j i j i j i j ij J U U G B θθ=+ i ≠ j1(c o s s i n )j n ij i j ij ij ij ij j j i J U U G B θθ==≠=-+∑ i = j(s i n c o s i j i j i j i j i j i j L U U G B θθ=-- i ≠ j 21(s i n c o s )2j n ij i j ij ij ij ij i ij j j i L U U G B U B θθ==≠=--+∑ i = j（7—6）由于相邻节点电压近似相等，且有 1()nij ij ij ii j j iG jB G j jB =≠+=-+=∑对于没有对地支路的系统，雅可比阵可近似写成：1111cos cos cos cos cos cos cos ij i j ij ij j nij i j ij ijj j i ij i j ij ij j nij i j ij ijj j i ij i j ij ij j nij i j ij ijj j i ij i j ij ij j nij ij j ij ijj j i H U U B i j H U U B i j N U U G i j N U U G i j J U U G i j J U U G i j L U U B i j L U U G i θθθθθθθθ==≠==≠==≠==≠≈≠≈-=≈-≠≈=≈≠≈=≈≠≈-=∑∑∑∑j（7—7）从公式(2-7)中可以近似看出，矩阵 N 、H 、L 、J 与节点导纳阵 Y 有相同的特性：对称性、系数性，可改写成如下形式：11Tn B n H L A D A --==11Tn G n J H A D A --=-=（7—8）其中，B D 、G D 为对角阵，对角元素分别为cos i j ij ij U U B θ和sin i j ij ij U U G θ，1111/Tn B G nT n G B n A D D P A A D D U U Q A θ-----⎛⎫∆∆⎛⎫⎛⎫⎛⎫⎛⎫⋅⋅⋅= ⎪ ⎪ ⎪ ⎪ ⎪∆∆⎝⎭⎝⎭⎝⎭⎝⎭⎝⎭ （7—9）如果将节点重新编号，平衡节点号为 0，其余节点号按距离平衡节点之远近分层，重新编号，则1n A - (节点-支路关联矩阵)为一个上三角阵，对角元素为 1，非零非对角元素为-1。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
定矩阵．
证明 由（17）、（18）、（20）式可知
． 对称正定；若
对称正定，类似文献[3]定理 5.1.3，可证明 也对称
正定；依数学归纳法，引理成立．
引理 2 设 [13]727-739 为对称正定矩阵， 由校正公
式（20）生成．若
，有
（21）
则
，不等式
至少成立 次，其中
．
（22）
为了便于描述，定义指标集
关键词：无约束优化；拟牛顿法；全局收敛性
中图分类号：O242.23
文献标识码：A
文章编号：1674-8891（2011）03-0008-04
Comparison of Some Modified Quasi-Newton Methods
HUANG Hai, LIN Sui-hua
(Department of Mathematics and Computer Science Guangxi Normal University for Nationalities，Guangxi Chongzuo, 532200)
步 2: 若
，停止迭代; 否则解线性方程组
，得到搜索方向 ．
步 3: 由 Armijio 规则确定步长因子 :
（19）
步 4:
．根据下
面的修正 BFGS 校正计算
（20）
其中 由（17），（18）计算．
步 5: 令
，转步 2．
2.2 算法收敛性分析
为了分析 MBFGS 算法的收敛性，我们作如下假设:
（2）
其中
为对称矩阵．若 正定，则极小化以上
右式，得到拟牛顿法搜索方向为
（3）
对（2）两边求导可得
，其中
，故
传统的拟牛顿法要求 满足如下标准拟牛顿条件
，
（4）
产生 的不同方法又构成不同的拟牛顿法，其中著
名的标准 BFGS 校正公式为
（5）
标准BFGS方法是传统拟牛顿法中最有效的一个[1]82-118， 然而采用非精确线搜索的标准 BFGS 拟牛顿法对非凸 函数时是不收敛的 ， [2]673-701 如何提高实际计算中的运 算效率，如何使得对非凸目标函数保持局部超线性 收敛的同时具有全局收敛性，是人们对拟牛顿算法 研究的两个方向．
Key words：unconstrained optimization, quasi-Newton method, global convergence
0 引言
考虑用数值方法求解如下无约束优化问题
（1）
其中
为二阶连续可微函数，通常利用迭
代算法
，
其中 为第 次迭代点， 为第 次搜索方向，
为步长因子，
摘 要：拟牛顿法是所有利用一阶导数求解无约束优化问题的方法中最有效的一类计算方法，如何提高实际计算中的运算效率，如何
使得对非凸目标函数保持局部超线性收敛的同时具有全局收敛性，是对拟牛顿法进行研究的两个方向．对近年来相关文献的几种修正拟牛
顿法进行分析比较，并提出和分析了一个修正 BFGS 拟牛顿法的收敛性．
1 几种修正拟牛顿法的比较
1.1 拟牛顿条件的修正及相应的校正矩阵 牛顿法成功的关键是利用了 Hesse 矩阵提供的曲
率信息 ，为提 [3]219-222 高拟牛顿算法的运算效率，自然 的想法是使 在某种意义上更好地逼近 Hesse 矩阵
，进而对标准拟牛顿条件及相应的校正矩阵进行 修正以期获得好的效果．
，
两种方式的修正 BFGS 校正并不等价，如
（i） 以下两种修正的 BFGS 校正形式都满足
:
，
其中
，
（16）
，
（ii）取
，但 不恒等 ． ，
时 ， （16） 中 两
种修正 BFGS 校正形式都满足 ，但 也不
恒等 ． 1.2 为全局收敛采取的一些修正措施
对非凸目标函数，满足标准拟牛顿条件的传统 拟牛顿法至今仍没有任何全局收敛性结果，除了要 确保 继承 的正定性外，主要难点是一致有界性
就得到相应于修正的拟牛顿条件（15）的修正 BFGS
公式．
文献[10]15-35 的动机则是基于对非凸函数全局收敛
性的需要．若 为非凸函数，则 不一定正定，由
方程
得到的牛顿法方向 可能不是下降
方向，为克服这一问题，适当修正以 代替 ，其
中
选择为使 正定的正常数，从
而得到修正的牛顿法方向
必是下降方向．
换成
， 得到新的
条件
． （7）
利用以上四个插值条件得到一个三次插值函数，再
让逼近函数（6）在 方向上是该函数的二次 Taylor
展开，得到另一 条件
． （8）
袁亚湘等[5]95-107 还研究了如下一般性的弱拟牛顿
条件
，
（9）
，给出相应于（9）的修正BFGS校正公式为
． （10）
标准拟牛顿条件（4）满足
，有
．
由 一个不等式成立．
由拉格朗日中值定理及
知 ， （21） 的 第
，可知
，使
由（17），（18）， 及 ，可得
可得（21）的第二个不等式成立．所以引理 2 的条件
满足． 又由引理 1 知， ， 从 而 由 （19）
及 知， 为严格下降序列，
引理 3，可得
，再由
． 由引理 2 可知指标集 有无限多个元素，结合上 式及（22）的第二式可得
．
引理 3 设 成立，则
．
证明 由算法步 3 的 Armijio 搜索规则，可知 不满足（19）式，即
（23）
由拉格朗日中值定理及 可知，
使
由算法步 2 知 和（22），可得
（24） ，再由（24），（23），
引理得证． 定理 1 设 ，
成立，
为 MBFGS 算法
生成的序列，则
．
证明 利用反证法．假设定理不成立，即
由（22）的第一式及上式可得
，
这与假设矛盾，定理得证．
3 结束语
拟牛顿法是一类重要的无约束优化计算方法， 其理论分析与算法改进研究已有很多成果．首先分 析比较最近的相关文献，总结出两种拟牛顿条件修 改方式及全局收敛的一些措施，发现这两种方式可 用一种形式统一起来，这种线性或非线性组合的修 正拟牛顿条件还待进一步研究；其次，应用比较的 结果，给出了一个修正的 BFGS 拟牛顿算法，在较弱 的条件下，不需要目标函数的凸性假设，证明了算 法对一般的无约束优化问题具有全局收敛性．
式，只需在（5）中将 换成 就可得到（10）．虽 然角度不一样，但方式一与方式二的修正策略本质 上是一致的．
（2）两种方式得到的修正拟牛顿条件分别对应 两种形式
实际上两者可统一于形式
，
其中
．
（注: 若 （14） 中 为 非 数 量 矩 阵 时 ， 则 取
，作为推广也可取
）．
（3）即使满足同一弱拟牛顿条件
的第 次迭代，得到比文献[8]147-167 更一般的修正拟牛
顿条件
（14）
矩阵 的选择有多种，如可取
．对目标函数
利用
Taylor 公式得到
，
取得，即，利用（14）得，结合 逼近 及
上式得到
对任何满足
， 的向量 ，上式可描述为 ，
取 可得修正拟牛顿条件
（15）
此时
与（7）是一致的， 与 的项
之间有
．将 替换（13）中的 ，
（H1） 在水平集
- 10 -
第 28 卷
黄 海，林穗华 几种修正拟牛顿法的比较
（总第 76 期）
上有界．
（H2） 的导函数 在 上 Lipschitz 连续，
即
使
，
由以上假设可知
，使
，
．不仿假设
，否则稳定点已获得，
算法有限步终止．下面简要证明算法的全局收敛性．
引理 1 MBFGS 算法生成的序列 均为对称正
Abstract： For unconstrained optimization problems， quasi-Newton methods are a class of utilizing， first derivative, the most effective approach． How to improve the computing efficiency of the actual calculation, and how to obtain global convergence and local super linear convergence for non-convex objective function are contents of quasi-Newton research． This paper compares some modified quasi-Newton methods in the recent literature, proposes a modified BFGS quasi-Newton method and analyzes its global convergence．
-9-
2011 年第 3 期
广西民族师范学院学报
6 月 25 日出版
这一思想类推到拟牛顿法，由
，可知
，使 近似 ，从而合理地得
到 满足如下修正拟牛顿条件
进而得到形如（13）的修正 BFGS 校正公式．参数
条件（
，有
）一
般不成立 ．为 [1]102-111 了全局收敛性及超线性收敛性的
需要，人们往往提出适当的假设，或采取一些修正
可能是病态的，因此提出用调比因子 使
减少
病态的方案，其做法是由
，用 近似
（亦使 克服病态），得到修正拟牛顿条件