复合不可微最优化问题的非单调依赖域方法
解无约束优化的非单调自适应信赖域算法
５ ６
重庆工商大学学报（自然科学版 ）
第３ ０卷
并将此技术运用到信赖域方法 中， 获得了较好的数值效果 。 自适应方法是 由 Ｓ ａ ｒ ｔ ｅ ｎ ｅ ａ ｒ 首次提出的， 此方法可以避免信赖域半径更新的盲 目性。 自 适应方法进一
步研 究 的主要 有 文 献 ［ ９ — １ ０ ］ 等 。２ ０ ０ ９年 ， Ｓ ａ ｎ ｇ和 Ｓ ｕ ｎ ¨ ¨ 充 分利 用 当前 迭 代 点 的信 息 提 出 了一种 自适应 方 法， 即令 ：
表 明了算法的有效性。 关键词 ： 无约束规划； 非单调信赖域算法； 自 适应方法； 滤子 ； 全局收敛性
中图分 类 号 ： ０ ２ ２ １ ． ２ 文献 标志 码 ： Ａ
０ 引 言
本文 考 虑无 约束 最优化 问题 ：
ｍｉ ｎ ∈尺 ） （ １ ）
其 中
， 其 中
其中ｄ ＝ ｘ 一 ， ｇ ＝ ｖ ｆ （ ｘ ） ， 对称阵 Ｂ ∈Ｒ 是
） 或其近似 ，Βιβλιοθήκη △ ＞ ０ 是信赖域半径 ， ｌ ｆ ． Ｉ Ｉ 是 向量范数或
由它导 出的矩 阵范 数 。 由式 （ ２ ） 求 得 的试探 步 ｄ 是 否被 接 受 ， 取决 于 两个 下 降 量 的 比值 ， 即ｒ ｋ ：
１ ． １ 算法 １ （ Ｆ Ｎ Ｔ Ｒ） 步１ ： 给定 ０ ∈ Ｒ ， ０ ＜ ｔ ｏ １ ＜ ｃ ｃ Ｊ ２ ＜ ｌ ， ｏ ＝１ ， ６ ∈（ ０ ， ０ ． ５ ） ， 叼∈（ ０ ， １ ） ， Ａ∈（ ０ ， １ ） ， ６ ＞ ０ 。０ ＜ ｃ ２ ＜ １ ＜ ｃ １ ， ０ ＜ ｃ ２ ＜１ ＜ ｃ １ ，
摘
要： 受 文献 ［ １ ４ ］ 的启发 ， 针 对无 约束优 化 问题提 出了一 个基 于ｘ － ＆模 型 的非 单调 信 赖域 算 法 ； 算 法
两种非单调信赖域算法的数值比较研究
功迭代步满足 Ｐ ≥叼 ＞ ， 。 ０ 所以它也是满足单调下降性质的算法． 但研究表明当目标函数的非线性性态较强， 如著名的 Ｒ ｓ ｂｏｋ函数的等值线出现弯 曲峡谷 （ｕ ｅ ａ ｏ ａｅｓ 的情况时 ， ｏｅ ｒ ｎ ｃ ｃｒ ｄｎｒ ｗ ｖｌｙ） ｖ ｒ ｌ 单调算法 的表现往往并 不理想 ， 搜索步长会非常小 ， 收敛缓慢． 为此 ，９６年 ，．Ｇｉ ｏ等人 开创性地提 出了非单调线搜索牛顿 １８ Ｌ ｒｐ ｐ
０ 引言
考 虑无 约束最 优化 问题
ｍｎ ） ｉ
ＥＲ
（） １
其 中 ）尺一 Ｒ是 二次 连续 可微 函数． 赖域 方法 是求 解该 类 问题 的 一种 有效 而 强适 的迭 代 方法 ， ： 信 近几 十 年来受 到广泛 关 注． 如今 信赖 域方 法作 为一种 较成 熟 的数值 方 法也 成 为 了标 准 的最 优 化教 科 书 中讲 授 的重
２ １ 年 １ 月 ０１ １
南 京 晓 庄 学 院 学 报
Ｊ ＯＵＲＮ ＡＬ ＯＦ ＮＡＮ Ｉ ＡＯＺ ＪＮＧ ＸＩ ＨＵＡ ＮＧ ＵＮＩ ＥＲＳＴ Ｖ ＩＹＮＯ ． ０１ Ｖ２ ｌ ｏ ６ ． 第 ６期
非线性优化与约束优化问题的求解方法
非线性优化与约束优化问题的求解方法非线性优化问题是在目标函数和约束条件中包含非线性项的优化问题。
约束优化问题是在目标函数中加入了一些约束条件的优化问题。
解决这些问题在实际应用中具有重要意义，因此研究非线性优化和约束优化问题的求解方法具有重要的理论和实际意义。
一、非线性优化问题的求解方法非线性优化问题的求解方法有很多，下面介绍几种常见的方法：1. 黄金分割法：黄金分割法是一种简单但有效的搜索方法，它通过不断缩小搜索范围来逼近最优解。
该方法适用于目标函数单峰且连续的情况。
2. 牛顿法：牛顿法利用目标函数的一阶和二阶导数信息来逼近最优解。
该方法收敛速度较快，但在计算高阶导数或者初始点选取不当时可能产生不稳定的结果。
3. 拟牛顿法：拟牛顿法是对牛顿法的改进，它通过逼近目标函数的Hessian矩阵来加快收敛速度。
拟牛顿法可以通过不同的更新策略来选择Broyden-Fletcher-Goldfarb-Shanno（BFGS）方法或者DFP方法。
4. 全局优化方法：全局优化方法适用于非凸优化问题，它通过遍历搜索空间来寻找全局最优解。
全局优化方法包括遗传算法、粒子群优化等。
二、约束优化问题的求解方法约束优化问题的求解方法也有很多，下面介绍几种常见的方法：1. 等式约束问题的拉格朗日乘子法：等式约束问题可以通过引入拉格朗日乘子来转化为无约束优化问题。
通过求解无约束优化问题的驻点，求得原始约束优化问题的解。
2. 不等式约束问题的罚函数法：不等式约束问题可以通过引入罚函数来转化为无约束优化问题。
罚函数法通过将违反约束条件的点处添加罚项，将约束优化问题转化为无约束问题。
3. 逐次二次规划法：逐次二次规划法是一种常用的求解约束优化问题的方法。
该方法通过依次处理逐个约束来逼近最优解，每次处理都会得到一个更小的问题，直至满足所有约束条件。
4. 内点法：内点法是一种有效的求解约束优化问题的方法。
该方法通过向可行域内部逼近，在整个迭代过程中都保持在可行域内部，从而避免了外点法需要不断向可行域逼近的过程。
非单调信赖域方法求解无约束非光滑优化问题
ＧＡＯ Ｌｅ ｉ ｆ ｕ ， ＹＵ Ｄｏ ｎ ｇ ｍｅ ｉ ・ Ｎｏ ｎ 。 ｍｏ ｎ ｏ ｔ ｏ ｎ ｅ ｔ ｒ ｕ ｓ ｔ ｒ ｅ ｇ ｉ ｏ ｎ ｍｅ ｔ ｈｏ ｄｓ ｆ ｏ ｒ ｓ ｏ ｌ ｖ ｉ ｎ ｇ ｕ ｎｃ ｏ ｎ ｓ ｔ ｒ ａ ｉ ｎ ｅ ｄ ｎ ｏ ｎ ｓ ｍｏ ｏ ｔ ｈ ｏ ｐｔ ｉ ｍｉ ｚ ａ ｔ ｉ ｏ ｎ ｐｒ ｏ ｂ —
辽宁 工程技 术大 学 理学 院 系统 科学 研究所 ， 辽宁 阜 新 １ ２ ３ ０ ０ ０
Ｉ ｎ ｓ ｔ ｉ ｔ ｕ ｔ ｅ ｏ ｆＭ ａ ｔ ｈ ｅ ｍａ ｔ ｉ ｃ ｓ ａ ｎ ｄ Ｓ ｙ ｓ ｔ ｅ ｍｓ Ｓ ｃ ｉ ｅ ｎ ｃ ｅ ， Ｃｏ ｌ ｌ ｅ ｅ ｃ ｈ ｎ ｉ ｃ ａ ｌ Ｕｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ ｙ ， Ｆ ｕ ｘ ｉ ｎ ， Ｌ ｉ ａ ｏ ｎ ｉ ｎ ｇ １ ２ ３ ０ ０ ０ ， Ｃｈ ｉ ｎ ａ
ｌ 引 言
非 光 滑优 化又 称不 可微优 化 ， 是最 优化 理 论 与方 法 中 的一个 重 要 分支 。所 谓 非光 滑优 化 ， 是 指 目标 函数 或 约束 函数 中至 少有 一 个 不 是连 续 可 微 （ 光滑） 的非 线 性 规 划 问 题” 。近 三 十 年 来 ， 许 多研 究 人 员开 始 关 注 非光 滑 优 化 问 题 的研 究 ， 在 非光 滑优 化 问题 的 发展 进 程 中 ， Ｆ ． Ｈ． Ｃ ｌ ａ ｒ ｋ ｅ 和 Ｒｏ ｃ ｋ ｆ ｅ ｌ ｌ ａ ｒ 两个 人 无 论 是在 理 论上 的 研 究还 是在 算 法 上 的
Ｃ ｏ ｍ ｐ ｕ ｔ ｅ ｒ Ｅｎ ｇ ｉ ｎ ｅ ｅ ｒ ｉ ｎ ｇ ａ ｎ ｄＡ ｐ ｐ ｌ ｉ ｃ ａ ｔ ｉ ｏ ｎ ｓ 计 算机 工程 与应用
求解无约束最优化非单调自确定信赖域算法
作 者简 介 ：刘宁 （ ９ ３ ） 男 ，广 西 玉 林 人 ，硕 士 研 究 生 ，主 要 研 究方 向 为最 优 化 理 论 与 算 法 。Ｅ ｍａ ： １ ８ ７ ＠ １ ３ｔ ｍ １８一 ， — ｉ ｋ ３ ７ ５ ６ ．ｏ ｌ
“ 一 一
（ 一 ）
ｇ户＾ ÷（ｔ ＾ ≥ ： 一 ＢＰｔ ｌ ｋ ）
嚣 ［ 一Ｐ 吉
］ 一
（ △） ≥ ， Ｐ ） ／ ７ ｋ （ ’
令 厂（ ＝厂 ｚ（ ） ｍａ （ （ ｋｉ）ｍ（ ） ｆ） （ ｆ）一 ｔ ＾ ｘ ｆ ｘ－） ， 足 满足 （ ） Ｏ 一Ｏ ｍ（ ） ， 志 一ｍｉ 是 ） ， ］ （ 为 一 非 负 整 ｎ ｍ（ 一１ ＋１ ，
较 容易 出现 可行 域 中存 在细 长 弯 曲的峡 谷［ ， 时算 ６这 ３
பைடு நூலகம்
法 的有 效 性 就大 大 降 低 。因为 这 时 一 旦迭 代 进 入峡
谷 ， 就 只能 沿 着峡 谷 缓 慢 前 进 ， 样 就会 导 致 很 小 它 这 的步长 ， 至出现 锯齿 现 象 ［ 。针对 上 面所提 出的 困 甚 ７ ］
步骤 ５ 设 ｋ： ＋１ 转 步骤 １ 一五 ， 。
证毕。
（） ４
引理 ２ 算 法 １ 适 定的 ， 是 若假设 １中的条件 （ ） １
和 （） ２ 成立 。
步骤 ４ 利 用 Ｂ Ｇ Ｆ Ｓ公 式修正 ， 到 Ｂ 一 。 得
证 明 由中值定 理 以及假 设 １ 又 由于 厂 ≥厂 ， ， ｆ） ＾
ｖ ｒ ｅ ｅ ａ ｅ ａｓ ａｉ ｄ ｕｎｄ ｒ ｓ ｔ ｌ ｏ ｅ ｇ ｎｃ ｒ ｌｏ ｏｂｔ ｎｅ ｅ ｕｉａｂ ｅ ｃ ｎｄｉｉｎｓ ｔｏ ．
基于信赖域技术的非单调非线性共轭梯度算法
基于信赖域技术的非单调非线性共轭梯度算法孙清滢;徐敏才;刘丽敏【摘要】共轭梯度算法由于其迭代简单和较小的存储在求解大规模无约束优化问题中起着特殊的作用.本文基于信赖域技术和修正拟牛顿方程,结合Zhang非单调策略,设计了一种新的求解无约束最优化问题的基于信赖域技术的非单调非线性共轭梯度算法.该算法每次迭代自动产生信赖域半径,并通过求解一个简单的子问题得到下一个迭代点,信赖域技术的应用保证了算法的全局收敛性.新算法具有算法稳定、计算简单的特点,可用于求解病态和大规模问题.数值实验表明算法是有效的.%The conjugate gradient method has played a special role for solving the large scale unconstrained optimization problems due to the simplicity and the low storage. In this paper, based on the trust region technique and the modified quasi-Newton equation, a new non-monotone nonlinear conjugate gradient method for the unconstrained optimization problem is presented by combining with Zhang's non-monotone strategy. In each iteration, the new algorithm generates a suitable trust region radius automatically and obtain the next iterate by solving a simple subproblem. The trust region approach is used in the new algorithm to guarantee the global convergence. The new method has stable convergence and simple computation, so as to solve the ill-posed and large scale problems. The numerical results show that the new method is effective.【期刊名称】《工程数学学报》【年(卷),期】2011(028)005【总页数】7页(P686-692)【关键词】共轭梯度法;非单调步长规则;收敛性;线性收敛速度【作者】孙清滢;徐敏才;刘丽敏【作者单位】中国石油大学理学院,青岛266555;中国石油大学理学院,青岛266555;中国石油大学理学院,青岛266555【正文语种】中文【中图分类】O221.21 引言考虑无约束最优化问题其中f(x):Rn→R1是一阶连续可微函数．求解问题(1)的非线性共轭梯度算法，结构简单，收敛速度快，存储量小，适于求解大规模问题[1,2]．记gk=∇f(xk)，其迭代公式为其中αk为步长可通过某种策略确定，dk为搜索方向，其公式为这里βk为参数，不同的βk对应不同的共轭梯度法，著名有FR,PRP,HS,CD,DY[3]共轭梯度法．近年来，伴随着大规模优化问题出现，人们对共轭梯度法的研究逐渐活跃，建立收敛性好，数值效果有效且稳定的共轭梯度法是人们追求的目标，由此产生了一些新的共轭梯度算法．如Yuan和Stoer[4]将搜索方向dk在二维子空间span{gk,dk−1}上确定，即其中γk,βk为参数，得到一种新的共轭梯度算法．受其启发，张祖华和时贞军[5]基于信赖域技术提出了一种数值效果比FR,PRP,HS,CD,DY共轭梯度算法有效的新的单调下降的共轭梯度算法，并分析了算法的全局收敛性．基于拟牛顿条件，1988年，Barzilai和Borwein[6]提出了数值效果好且适于求解大规模问题(1)的两点步长梯度法(BB算法)．近年来，基于修正拟牛顿方程的非拟牛顿算法的研究亦吸引了不少国内外学者．Yuan[7]提出了一种修正的BFGS方法，赵云彬[8]等提出了一种伪Newton-δ族，陈兰平，焦宝聪[9,10]提出了一些新的非拟牛顿算法．最近，Wei[11]利用目标函数f(x)的Taylor展开式给出如下非拟牛顿方程易见，当Ak=0时，(5)即为拟牛顿方程．借助拟牛顿算法的对Hk=Bk− 1的修正技巧和对角稀疏拟牛顿算法的思想，给出Bk的新的修正形式．设Bk为对角稀疏正定矩阵，令其中△Bk为对角矩阵，为保证Bk+1的正定性，限制Bk+1=diag(b1k+1,b2k+1,···,bnk+1)取值，即Bk+1近似满足修正拟牛顿方程非单调线搜索技术由于其有利于获得全局最优解和算法的快速收敛而受到许多最优化爱好者的青睐[12-17]．最近，Zhang和Hager[18]改进了传统非单调技术中的参考值的选取，提出了一种新的非单调线搜索技术其中这里ηk−1∈ [ηmin,ηmax], ηmin ∈ [0,1)和ηmax ∈ [ηmin,1]是两个参数，β ∈ (0,1)为常数．本文将基于信赖域技术，结合Zhang的非单调策略，改进文献[5]的算法，设计一种新的求解问题(1)的非单调共轭梯度算法，分析算法的全局收敛性和线性收敛速度，用数值实验验证算法的有效性．2 算法基于信赖域技术的Zhang[18]非单调共轭梯度算法TRCG，有：步0 选取µ∈(0,1),ρ∈(0,1)，对任意的x0∈Rn,ηmin∈[0,1),ηmax∈[ηmin,1],0lt;Lminlt;Lmax,B0=In，令k:=0；步1 若∥gk∥=0，则停止迭代；否则，转步2；步2 令xk+1=xk+dk(αk)，这里αk 为{1,ρ,ρ2,···}中满足下式的最大者其中Ck由式(13)和式(14)确定．又而(γ,β)T∈R2为下列问题之解令k:=k+1，转步3；步3 利用式(11)修正Bk得Bk+1，选取ηk∈ [ηmin,ηmax]，令k:=k+1，转步1．3 全局收敛性首先对目标函数f(x)做如下假设：(H1) 目标函数f(x)在Rn上有下界；(H2) 目标函数的梯度g(x)=∇f(x)在包含水平集L(x0)={x∈Rn|f(x)≤f(x0)}的开凸集B上Lipschitz连续，即存在Lgt;0满足在以上假设条件下，可以证明如下结论．引理1 假设(H2)成立，xk,xk+dk∈B，则引理2 设dk(α)是问题(17)之最优解，则引理3 设{xk}是由算法TRCG产生的序列，则有f(xk+1)≤Ck,∀k；f(xk)≤Ck,∀k；{Ck}是单调不增序列．定理1 假设(H1)和(H2)成立，{xk}是由算法TRCG产生的无穷点列，则4 线性收敛速度线性收敛速度分析需要以下假设条件：(H3)f(x)是强凸函数，即存在常数rgt;0满足定理2 假设(H1)-(H3)成立，{xk,αk,gk,dk}是由算法TRCG产生的序列，则存在θ∈(0,1)满足：f(xk)− f(x∗) ≤ θk(f(x0)− f(x∗)), ∀ k，即{f(xk)}R-线性收敛于f(x∗)，其中x∗是问题(1)的惟一最优解．证明仿照文献[18]定理3.1易证．5 数值实验本节从网站：www.ici.ro/camo/neculai/SCALCG/testuo.pdf选择了2个算例，利用Matlab编制程序在Pentium III 933机器上对本文算法进行数值实验，并与参考文献[5]中的算法进行比较．在算法TRCG中，当Ak取式(7)、式(8)和Ak=0时，分别记为TRCG(1)、TRCG(2)、TRCG(0)．当ηk≡0时，算法分别变为其对应的单调算法，分别记为MTRCG(1)、MTRCG(2)、MTRCG(0)．令B=LkIn，其中则本文算法退化为文献[5]中算法的非单调形式，记为NZSCG．当ηk≡0时，算法变为文献[5]的单调算法，记为ZSCG，因此TRCG可看作文献[5]算法ZSCG的推广．取很大，则ηk−1就会很小，算法就趋于单调性算法，从而较好地利用在xk点的信息．算法NZSCG和ZSCG中取L0=6．算法终止准则采用∥gk∥≤ 10−3，表1给出了维数n=5000,10000,20000时，例1和例2的计算结果．表1: 例1和例2的计算结果算例算法迭代次数CPU时间(s)最优值例1TRCG(1)/MTRCG(1)45/66 1.301/2.006 9.5530e-8/1.0671e-6 98/986.111/6.920 1.6933e-7/1.6933e-7 71/66 10.510/10.856 1.1011e-6/7.8716e-7 TRCG(2)/MTRCG(2)41/89 1.261/2.821 8.6364e-9/7.3153e-7 104/1047.625/7.656 2.8414e-7/2.8414e-7 76/93 11.277/13.450 9.8032e-7/1.1669e-6 TRCG(0)/MTRCG(0)51/94 1.466/3.256 1.2011e-10/7.5685e-7 154/154 9.636/10.134 1.0372e-6/1.0372e-6 115/115 15.252/16.963 1.0115e-6/1.0115e-6 NZSCG/ZSCG 146/157 0.987/1.301 1.0384e-6/1.3982e-6153/163 3.825/4.362 8.7102e-7/1.3794e-6 159/169 10.760/11.052 8.1474e-7/1.3608e-6例2 TRCG(1)/MTRCG(1)34/76 1.255/2.889 5.2486e-9/1.4078e0 30/37 2.271/2.921 8.7973e-9/2.1266e-8 37/59 5.546/8.652 2.4420e-9/1.9451e0 TRCG(2)/MTRCG(2)33/65 1.241/2.448 2.2460e-9/3.2273e029/29 2.195/2.323 1.5753e-8/2.2000e-8 29/58 5.078/8.739 1.4906e-8/1.9451e0 TRCG(0)/MTRCG(0)37/57 1.315/2.018 1.7894e-8/1.6722e030/30 2.435/2.495 3.3208e-9/7.5286e-9 41/102 6.048/11.105 4.4957e-9/2.4166e0 NZSCG/ZSCG 62/70 1.178/1.358 2.8442e-8/2.5545e-8 64/722.331/2.615 2.5971e-8/2.5407e-8 66/74 4.065/4.965 2.3726e-8/2.5284e-8本文基于信赖域技术和修正拟牛顿方程，结合Zhang[18]非单调策略，设计了一种新的求解无约束最优化问题的非单调共轭梯度算法，分析了算法的收敛性和线性收敛速度，数值实验表明算法是有效的．新非单调算法需要较少的存储量、计算量、迭代时间和迭代次数，目标函数值更接近于最优值，新非单调算法不比单调算法差，对有些算例优势明显，因此新算法适合于大规模问题的计算．参考文献：【相关文献】[1]袁亚湘，孙文渝.最优化理论与方法[M].北京：科学出版社，1997 Yuan Y X,Sun W Y．Optimization Theory and Methods[M]．Beijing:Science Press,1997[2]戴彧虹，袁亚湘.非线性共轭梯度法[M].上海：上海科学技术出版社，2000 Dai Y H,Yuan Y X．Nonlinear Conjugate Gradient Method[M]．Shanghai:Shanghai Science and Technology Press,2000[3]Dai Y H,Yuan Y X.A nonlinear conjugate gradient method with a strong global convergence property[J].SIAM Journal on Optimization,1999,10(1):177-182[4]Yuan Y X,Stoer J.A subspace study on conjugate gradient algorithms[J].Zeitschrift f¨ur Angewandte Mathematik und Mechanik,1995,75(1):69-77[5]张祖华，时贞军.解无约束优化的一种新的共轭梯度法[J].数学进展，2009,38(3):340-344 Zhang Z H,Shi Z J．A new conjugate gradient method for unconstrainedoptimization[J]．Advances in Mathematics,2009,38(3):340-344[6]Barzilai J,Borwein J M.Two-point step size gradient methods[J].IMA Journal ofNumerical Analysis,1988,8:141-148[7]Yuan Y X.A modif i ed BFGS algorithm for unconstrained optimization[J].IMA Journal of Numerical Analysis,1991,11:325-332[8]赵云彬，易正俊.伪Newton-δ族的导出和全局收敛性[J].数值计算与计算机应用，1995,16:53-62 Zhao Y B,Yi Z J．Derivation and global convergence for pseudo-Newton-δclass[J]．Journal of Numerical Methods and Computer Applications,1995,16:53-62[9]陈兰平，焦宝聪.一类非拟Newton算法及其收敛性[J].应用数学与计算数学学报，1997,2:9-17 Chen L P,Jiao B C．A class of non-quasi-Newton methods and itsconvergence[J]．Communication on Applied Mathematics and Computation,1997,2:9-17 [10]陈兰平，焦宝聪.非拟牛顿非凸族的收敛性[J].计算数学，2000,3:369-378 Chen L P,Jiao B C．Convergence properties of the preconvex part of non-quasi-Newton’sfamily[J].Mathematica Numerica Sinica,2000,3:369-378[11]Wei Z,Li G,Qi L.New quasi-Newton methods for unconstrained optimization problems[J].Applied Mathematics and Computation,2006,175:1156-1188[12]Grippo L,Lampariello F,Lucidi S.A nonmonotone line search technique for N ewton’s method[J].SIAM Journal on Numerical Analysis,1986,23(4):707-716[13]Dai Y H.On the nonmonotone line search[J].Journal of Optimization Theory and Applications,2002,112:315-330[14]Dai Y H.A nonmonotone conjugate gradient algorithm for unconstrained optimization[J].Journal of Systems Science and Complexity,2002,15:139-145[15]Sun Q Y.Global convergence results of a three term gradient method with a non-monotone line search technique[J].ACTA Mathematica Scientia,2005,25B(1):170-178 [16]孙清滢，崔彬，王长钰.新非单调线搜索规则的Lampariello修正对角稀疏拟牛顿算法[J].计算数学，2008,30(3):255-268 Sun Q Y,Cui B,Wang C Y．Global convergence results of Lampariello modif i ed diagonal-spare quasi-Newton method with new non-monotone step size rule[J]．Mathematica Numerica Sinica,2008,30(3):255-268[17]孙清滢，郑艳梅.大步长非单调线搜索规则的Lampariello修正对角稀疏拟牛顿算法的全局收敛性[J].数学进展，2008,37(3):311-320 Sun Q Y,Zheng Y M．Global convergence results of Lampariello modif i ed diagonal-spare quasi-Newton method with large non-monotone-step size rule[J]．Advances in Mathematics,2008,37(3):311-320[18]Zhang H C,Hager W W.A nonmonotone line search technique and its application to unconstrained optimization[J].SIAM Journal on Optimization,2004,14(4):1043-1056。
一种非单调L—BFGS方法及其全局收敛性
一种非单调L—BFGS方法及其全局收敛性作者：邹舒周群艳来源：《江苏理工学院学报》2014年第06期关键词：有限内存BFGS；非单调；全局收敛性中图分类号：O241文献标识码：A文章编号：2095-7394（2014）06-0001-040引言考虑非线性无约束最优化问题min1x∈Rnf（x），（1）其中f：RnR二次连续可微。
拟牛顿法是求解问题（1）的最有效的方法之一。
线搜索拟牛顿法最基本的迭代格式[1]是xk+1=xk-αkHkgk， k=0，1，2，…。
其中x0给定，αk是由某种线搜索方法计算得到的步长，gk=f（xk），Hk∈Rn×n是当前迭代点xk处Hesse阵的逆的近似，满足拟牛顿方程Hk+1yk=sk，其中sk=xk+1-xk，yk=gk+1-gk。
通常Hk可借助拟牛顿公式校正得到，比如BFGS公式：Hk+1=VTkHkVk+ρksTksk，其中，ρk=11yTksk，Vk=I-ρkyksTk。
在过去的几十年中，BFGS拟牛顿算法被广泛应用于非线性最优化，其全局与局部收敛性得到了论证。
然而，当n较大时，不可能存储以及校正一个n阶的方阵。
对于大规模无约束优化问题，有限内存BFGS（L-BFGS）算法更受青睐。
L-BFGS法是在BFGS法的基础上改变得到的。
若在第k步，已经存储了m对最近的（si，yi），i=k-m+1，L，K。
选取Hesse阵2f（xk+1）的初始逆矩阵的近似H（0）k+1，用BFGS公式校正H（0）k+1^1m=min（m，k）次，就得到2f（xk+1）的逆矩阵的近似Hk+1。
故L-BFGS法中的Hk+1为[2]：Hk+1=（VTK…VTk-^1m+1）H（0）k+1（VTk-^1m+1…VTk）+ρk-^1m+1（VTk-1…VTk-^1m+2）sk-^1m+1sTk-^1m+1（Vk-^1m+2…Vk-1）+…+ρksksTk。
（2）L-BFGS法最主要的优点是不需要明显地存储n阶方阵Hk，只需存储第k步的向量Hkgk，这可以通过文献[1]中提出的双循环算法计算得到。
基于锥模型的非单调自适应信赖域算法
基于锥模型的非单调自适应信赖域算法王开荣;曾刘拴【摘要】针对无约束优化问题提出了一个基于锥模型的非单调信赖域算法.首先提出一种求解子问题的新方法,在此基础上给出该文算法.算法结合自适应技术,避免信赖域半径更新的盲目性;并引入滤子技术和新的非单调技术,利用非单调Armijo线搜索得到步长,进而产生新的迭代点.在一定的假设条件下,证明了该算法的全局收敛性,数值实验表明了算法的有效性.【期刊名称】《华中师范大学学报（自然科学版）》【年(卷),期】2015(049)002【总页数】8页(P171-178)【关键词】无约束规划;非单调信赖域算法;自适应方法;滤子;全局收敛性【作者】王开荣;曾刘拴【作者单位】重庆大学数学与统计学院,重庆401331;重庆大学数学与统计学院,重庆401331【正文语种】中文【中图分类】O221.2本文考虑无约束最优化问题：其中，f(x):R→Rn二阶连续可微且有下界．锥模型方法最初是由Davidon[1]和Sorensen[2]提出的.经典的锥模型如下：其中，s=xk+1-xk，gk=f(xk)，对称阵Bk∈Rn×n是2f(xk)或其近似，hk称为水平向量.若hk=0或者则锥模型退化为二次模型，因此锥模型是二次模型的推广，它包含更多的信息，具有二次模型没有的优势[3-5]．考虑到信赖域方法良好的性质，Di和Sun[6]首次提出了锥模型信赖域方法，他们考虑了下面的信赖域子问题：其中，Δk是信赖域半径是Euclide范数．近年来非单调线搜索技术[7-10]因其较好的数值效果而得到了广泛应用.2008年Mo和Gu[11]提出了一种较为简单的非单调技术，即：其中，并将此技术运用到信赖域方法中，获得了较好的数值效果．自适应方法[12-14]可以避免信赖域半径更新的盲目性.2009年，Sang和Sun[15]充分利用当前迭代点的信息提出了一种自适应方法，即令其中，滤子技术[16]最初的目的是为了克服使用价值函数时选取罚因子的困难.2005年，Gould等[17]将滤子技术应用到一般的无约束优化问题中，提出了一个滤子信赖域方法，2012年，孙文瑜和徐东[18]提出了一种基于锥模型的滤子信赖域方法，证明了其收敛性，并得到较理想的数值效果．本文基于锥模型(3)，首先给出一种求解(3)的简单算法，之后结合Mo等[11]的非单调技术、Sang和Sun[15]的自适应技术及Gould等[17]的滤子技术提出一个求解问题(1)的非单调自适应信赖域算法.当试探步不被接受时，采用滤子技术，增加试探步被接受的可能性；如果试探步也不被滤子集接受，取沿sk方向进行非单调Armijo线搜索得到步长αk，从而得新的迭代点xk+1=xk+αksk．为了给出求解(3)的简单算法，首先简化子问题(3)，在第k步迭代中，用χ(xk)I来逼近Bk，则子问题(3)转化为下面的形式：另外，锥模型应该满足下面的四个插值条件[5]:其中，sk-1=xk-xk-1，由(10)的第一个等式可得令则由上式可得因此有若χ(xk)≤0，则选取充分小的常数δ1>0，令这样就可以保证Bk=χ(xk)I正定．锥模型函数ck(s)的严格极小点为：而ck(s)的Cauchy点为其中，求解问题(3)的计算步骤为：算法1步骤1：若则令否则转步骤2；步骤2：令有了算法1，就可以给出求解问题(1)的算法2如下：算法2(FNTR)步骤1：给定初始滤子集F0，k→0．步骤2：计算若则x*=xk，停止计算，否则，转步骤3．步骤3：计算f(xk)，利用算法1求解信赖域子问题(8)，得试探步sk，令步骤4：计算步骤5：若rk≥ω1，令；否则，计算若被Fk接受，令并将加入到Fk，同时去除Fk中所有被支配的点，得到Fk+1；否则令求ik，使得ik是满足的最小的非负整数，令αk=λik，xk+1=xk+αksk．步骤6：计算χ(xk+1)，若χ(xk+1)≤θ或令χ(xk+1)=κ，Bk+1=χ(xk+1)I．步骤7：按式(6)、(7)更新信赖域半径，按文献[19]的方法更新hk，即其中，转第2步骤．说明： 1) 从算法2的步骤6可以看出，序列是一致有界的，即对任意的k有2) 为了保证算法2的全局收敛性，选取一个足够小的常数σ>0，使得对任意的k 有对算法2的收敛性，首先给出以下假设：(H1) f(x)在有界闭集H={x|f(x)≤f(x0)}上二阶连续可微;(H2) 算法2产生的序列包含在H中;(H3) 假设存在两个正常数和Mb，使得对任意的k有由假设(H1)和(H3)知，存在Δmax>0，使得对任意的k有Δk≤Δmax.为讨论问题的方便，记加到滤子集中}，A={k|rk<ω1}\S．引理1如果{Bk}是由算法2产生的，则对任意的k，Bk及都是正定对角阵，m1≤Bk≤m2，且存在m3，m4>0，使得证明由Bk+1=χ(xk+1)I和说明(1)很容易得到．引理2[20]若假设(H1)、(H2)、(H3)成立，sk是子问题(8)的解，则有其中是一个常数．引理3[21]设sk是子问题(8)的解则∃使得引理4若{xk}是由算法2产生的，则对任意的k有证明由Dk的定义知Dk+1-fk+1=η(Dk-fk+1)．现在考虑3种情况：k∈T，k∈S，k∈A．第1种情况：k∈T.因故有所以Dk+1-fk+1=η(Dk-fk+1)>0，即Dk+1>fk+1，又因即有Dk+1≤Dk，所以当k∈T时结论成立．第2种情况：k∈S.由滤子的定义知fk+1≤fk.若k-1∈T，则有fk≤Dk≤Dk-1，从而有即Dk+1≤Dk，又因即fk+1≤Dk+1，所以有fk+1≤Dk+1≤Dk．若k-1∈S，令M={i|1<i≤k，k-i∈T},如果M=Φ，则有fk+1≤fk≤…≤f1≤f0=D0.下面用数学归纳法证明Dk+1≤Dk.因f0=D0，所以k=1时有假设k=n时，有Dn+1≤Dn下证k=n+1时有Dn+2≤Dn+1，而所以Dk+1≤Dk成立.再证fk+1≤Dk+1，因Dk+1-Dk=(η-1)Dk+(1-η)fk+1=(1-η)(fk+1-Dk)，而由上面的证明可知Dk+1≤Dk，又(1-η)>0 ，所以有(fk+1-Dk)≤0，即fk+1≤Dk，从而有如果M≠Φ，设m=min{i|i∈M}，则有fk+1≤fk≤…≤fk-m+1，因k-m∈T，由第一种情况可知fk-m+1≤Dk-m+1≤Dk-m，而由归纳法可得Dk+1≤Dk，同上可得fk+1≤Dk+1．综上可得当k∈S时，有fk+1≤Dk+1≤Dk．第3种情况：k∈A.因故有即Dk>fk+1,所以Dk+1-fk+1=η(Dk-fk+1)>0，即Dk+1>fk+1，而则有Dk+1≤Dk,所以有fk+1≤Dk+1≤Dk．综合上面3种情况可知，对任意的k都有fk+1≤Dk+1≤Dk．引理5若假设(H1)、(H2)、(H3)成立，则存在常数M>0，使得对任意的k有证明由假设(H1)可知gk和2f(x)是一致有界的，即分别存在Mg>0和Mf>0使得对任意的k有和再由Taylor展式可得：令则结论得证．引理6[11]如果假设(H1)、(H2)、(H3)成立，αk满足(7)式，则存在对任意的k∈A 都有定理1如果假设(H1)、(H2)、(H3)成立则有证明首先证明时必有由的定义知因fk有界，故Dk有界，所以有所以有又因故必有下面证明反证.假设对充分大的k有又令k→∞，则有所以对充分大的k，有rk≥ω1，则由算法知对充分大的k存在μ*>0，使得这与矛盾.所以有定理2[21]如果假设(H1)、(H2)、(H3)成立，且则有定理3如果假设(H1)、(H2)、(H3)成立，且则有证明反证，假设当充分大时，有由引理4知{Dk}单调下降，又{Dk}有界，故其收敛，再由引理3和引理6得记因sk是下降方向，故对任意的k∈A，有fk+1≤fk，从而有又由Dk+m+1的定义知Dk+m+1是fk+1，fk+2，…，fk+m+1的凸组合，因此有故对充分大的k，有Dk-Dk+m+1≥β，这与{Dk}收敛矛盾，所以成立．定理4若假设(H1)、(H2)、(H3)成立，算法2产生的点列{xk}收敛于x*，2f(x*)正定，2f(x)在x*的邻域内Lipschitz连续，其中，Lipschitz常数为L，如果有且则点列{xk}Q-超线性收敛于x*．证明因2f(x*)正定，2f(x)在x*的邻域内Lipschitz连续，则存在正的常数m、M，使得对任意的s∈Rn，x∈Ω有则由(24)式可得进而有所以有2f(xk)sk．由说明2)知所以有0<c(0)-c(sk)=故有因f(x)二阶连续可微，所以有从而又所以有进而有所以,因此令k→∞，则有再结合(24)式，可得所以点列{xk}Q-超线性收敛于x*．本节给出算法2(FNTR)的数值试验结果，并与基本信赖域算法(TR)(文献[22]中算法3.6.1)，滤子信赖域算法(FilterTR)[23]以及锥模型回溯过滤信赖域算法(CRFTR)[24]做比较.算法用Matlab7.01编写程序.Fval表示最优点处的函数值，Gnorm表示迭代终止时函数梯度的范数，K表示迭代次数，CPU代表运行时间(单位为s).设定精度检验函数取自文献[25]，初始点的选取与文献[25]相同.如果计算不出结果或者时间超过200 s或者迭代次数超过1000次，则用“---”表示．算法2(FNTR)中，选择的参数为其中，算法2(FNTR)，算法(FilterTR)和算法(CRFTR)中的Bk都利用本文的方法更新，而算法(TR)中的Bk采用PRP方法更新.检验函数如表1，数值结果如表2．从表2的数据可以看出，算法2(FNTR)与算法(TR)相比，对于函数Penalty Ⅰ，Penalty Ⅱ，Variably，Broyden tridiagonal的高维情况，后者失效，且对于函数Broyden banded，后者无法求解，而算法2(FNTR)在这些函数上都有出色的表现，说明算法2(FNTR)的构造是可行的.算法2(FNTR)与算法(FilterTR)相比，对于函数Box 3-D，Osborne 2，Penalty Ⅰ，Penalty Ⅱ和Broyden banded，后者基本上无法求解，对于函数Variably，Broyden tridiagonal和Linear full rank的高维情况，后者基本失效，而前者却可以很好的求解，并且在其它函数的数值表现上，算法2(FNTR)也有很大的优势，说明对于大多数测试函数，锥模型与滤子方法的结合在数值表现上具有优势.算法2(FNTR)与算法(CRFTR)相比，在函数Gaussian，Box 3-D，Osborne 2，Penalty Ⅰ，Penalty Ⅱ的数值表现上，前者具有明显的优势，在函数Jensam，Gulf，Discrete integral，Broyden tridiagonal，Linear full rank的数值表现上，两者同样优秀，而在函数Variably，Broyden banded的数值表现上，前者稍显不足，说明在在信赖域方法框架下，线搜索、锥模型、非单调、自适应以及滤子等技术是可以混合使用的.上述结果表明本文提出的算法2(FNTR)是可靠有效的．【相关文献】[1] Davidon W C. Conic approximation and collinear scaling for optimizers[J]. SIAM Journal on Numerical Analysis， 1980， 17:268-281．[2] Sorensen D C.The Q-superlinear convergence of a collinear scaling algorithm for unconstrained optimization [J].SIAM Journal on Numerical Analysis， 1980， 17:84-114．[3] Ni Q. Optimization conditions for trust-region subproblems involving a conic model [J]. SIAM J Optim， 2005， 15:826- 837．[4] Qu Shaojian， Jiang Suda.A trust-region method with a conic model for unconstrained optimization[J]．Math Meth Appl Sci， 2008， 31:1780-1808．[5] Sun W Y, Yuan Y X.Optimization Theory and Methods[M]. New York：Springer, 2006.[6] Di S S. Stregion method for conic model to solve unconstrained optimization [J].Optim Methods Softw， 1996， 6:237-263．[7] Grippo L， Lampariello F， Lucidi S. A nonmonotone line search technique for Newton’s method[J].SIAM Journal on Numerical Analysis， 1986， 23(4) :707-716．[8] Deng N Y， Xiao Y， Zhou F J. Nonmonotone trust region algorithm[J]. Journal of Optimization Theory and Applications，1993， 76 (2) :259-285．[9] Zhang H， Hager W W. A nonmonotone line search technique and its application tounconstrained optimization[J].SIAM Journal on Optimization， 2004， 14(4):1043-1056．[10] Mo J， Liu C， Yan S. A nonmonotone trust region method based on nonincreasing technique of weighted average of the successive function values[J].Journal of Computational and Applied Mathematics， 2007， 209(1):97-108．[11] Gu Nengzhu， Mo Jiangtao.Incorporating nonmonotone strategies into the trust region method for unconstrained optimization[J].Computers and Mathematics with Applications， 2008， 55(9):2158-2172．[12] Sartenaer A. Automatic determination of an initial trust-region in nonlinear programming [J]. SIAM Journal on Scientific Computing， 1997， 18(6):1788-1803．[13] Fan J Y， Yuan Y X. A new trust region algorithm with trustregion radius convergingto zero[C]//Proceedings of the 5th International Conference onOptimization:Techniquesand Applications，Hongkong， Dec， 2001．[14] Zhang X S， Zhang J L， Liao L Z. An adaptive trust method and its convergence [J].Computers and Mathematics with Applications， 2003， 45(10-11):1469-1477．[15] Sang Zhaoyang， Sun Qingying. A self-adaptive trust region method with line search based on a simple subproblem model[J].Journal of Computational and Applied Mathematics， 2009， 232(2):514-522．[16] Fletcher R，Leyffer S. Nonlinear programming without a penalty function[J].Mathematical Programming， 2002， 91(2):239-269．[17] Gould N I M， Sainvitu C. Toint P H L.A filter-trust-region method for constrained optimization[J].SIAM Journal on Optimization， 2005， 16(2):341-357．[18] 孙文瑜，徐东. 解无约束最优化的基于锥模型的过滤集-信赖域方法[J].中国科学， 2012，42(5):527-543．[19] 诸梅芳，薛毅，张凤圣. 锥模型的拟NEWTON型信赖域方法[J].高等学校计算学报， 1995，17:36-47．[20] Qu Shaojian， Zhang Kecun， Zhang Jian. A nonmonotone trust-region method of conic model for unconstrained optimization[J]. Journal of Computational and Applied Mathematics. 2008， 220:119-128．[21] 冯琳，段复建，和文龙. 基于简单二次函数模型的滤子非单调信赖域方法[J].山东大学学报:理学版， 2012(5):1-8．[22] 袁亚湘，孙文瑜. 最优化理论与方法[M].北京:科学出版社， 1997．[23] 繆卫华，孙文瑜. 一个解无约束优化问题的过滤信赖域方法[J].高等学校计算数学学报， 2007，29(1):88-96．[24] 葛恒武. 无约束优化问题的锥模型回溯过滤信赖域算法[J].苏州大学学报:自然科学版， 2010,26(2):8-11．[25] More J J， Garbow B S， Hillstrom K E. Testing uncontrained optimization software[J]. ACM Trans Math Softw， 1981， 7(1):136-140．。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
复合不可微最优化问题的非单调依赖域方法
白延琴;孙小玲
【期刊名称】《工程数学学报》
【年(卷),期】1999(016)002
【摘要】对复合不可微最优化问题提出了一种新的非单调信赖域方法，算法在每
个迭代点处构造带信域约束的二次规划子问题，新的迭代点采用了非单调策略产生，在一般的假设下证明了算法的全局收敛性，数值试验表明；该算法能在一定程度上克服由非光滑性引起的Ｍａｒａｔｏｓ效应。
【总页数】7页(P15-21)
【作者】白延琴;孙小玲
【作者单位】上海大学数学系;上海大学数学系
【正文语种】中文
【中图分类】O224
【相关文献】
1.解无约束最优化问题的一个非单调BFGS信赖域算法 [J], 吴庆军
2.解无约束最优化问题的一个非单调的新的BFGS信赖域算法 [J], 党亚峥;景书杰
3.不可微最优化问题的随机增量次梯度方法 [J], 张鹏
4.求解无约束最优化问题的非单调MFR,MPRP方法 [J], 李湘;曾金平
5.一类特殊拟可微函数最优化问题的线性化方法 [J], 姚静
因版权原因，仅展示原文概要，查看原文内容请购买。