带有线搜索的非单调自适应新锥模型信赖域算法
信赖域算法非线性优化问题课件
非ห้องสมุดไป่ตู้性优化问题的求解方法
总结词
非线性优化问题的求解方法主要包括梯度法、牛顿法、 拟牛顿法、共轭梯度法等。此外，还有一些启发式算 法如模拟退火、遗传算法等也被广泛应用于求解非线 性优化问题。
详细描述
梯度法是最早用于求解非线性优化问题的方法之一， 其基本思想是沿着目标函数的负梯度方向搜索。牛顿 法基于泰勒级数展开，构造一个二次模型逼近目标函 数，并在此基础上求解极小值。拟牛顿法是牛顿法的 改进，通过构造一个正定的拟牛顿矩阵来逼近海森矩 阵。共轭梯度法结合了梯度法和牛顿法的思想，在每 一步迭代中沿着当前搜索方向的前一方向共轭的方向 进行搜索。
可解释性与透明度
研究如何提高信赖域算法的可解释性和透明度，使其在关键领域（如 医疗、金融等）得到更广泛的应用。
信赖域算法的挑战和机遇
挑战
非线性、非凸、大规模、多模态等复杂优化问题对信赖域算法提出了更高的要求。同时，算法的稳定性和收敛速 度也是需要克服的难题。
机遇
随着计算能力的提升和算法理论的不断发展，信赖域算法有望在更多领域发挥重要作用。例如，在数据科学、机 器学习、人工智能、控制系统等领域，信赖域算法具有广阔的应用前景。同时，与其他先进技术的结合也为信赖 域算法的发展提供了新的机遇。
信赖域算法的未来发展
深度学习与机器学习集成
探索将信赖域算法与深度学习、机器学习等先进技术相结合，以解决 复杂、高维的非线性优化问题。
智能优化
结合人工智能和优化算法，开发能够自适应学习和进化的智能优化系 统。
强化学习与优化算法结合
利用强化学习中的智能体与环境交互学习的特点，与信赖域算法结合， 实现更高效的优化。
• 可以处理约束优化问题。
信赖域算法的优缺点
自调节步长的非单调新自适应信赖域算法
一
（１ １） ・
１ 一 ． ．
ｍｎ ） ｇｄ ÷ ｉ （ ＝ ＋ ｑ
的解 ， 中ｇ ＝ （ ， 其 ｋ ）
， ｆＩＩＡ － ｄ≤ ， ．ｌ
是信赖域半径．
（２ １） ．
文 章编 号 ：０３２４ （０ ０－７５０ １ｏ ・８３２ １）５０ １－４ １
自调节步长 的非单调新 自适应信赖域算法
邵安，王希 云
（ 太原科技 大学应 用科 学学院，太原 ０ ０ ２ ） ３ ０ ４
摘 要 ：本文提 出了求解 无约束优化 问题 的一种 可调节 步长 的非单调 自 适应信 赖域算法． 信赖域 半径 的调整采用 了一 种新 的 自 适应技 术，算法在 试探 步 不被接受 时， 采用 了一种 自 动调 节的步长寻找下一个迭代点， 高了计 算的效率． 提 并 在合适 的条件 下， 出了算法的收敛性分析． 给 最后， 细的数值试验表 明， 详 算法是有 效的．
《
一
则。一 ．＋ｍ （１ｋ＋ Ｓ ＝ 觜 ＋ ｍ１ｉｋ， ：１ ｔ （＝｛＋）ｋ转ｐ ｋ ｎ） ＝ ，ｅ ）ｍ ２ ．
算法 ２ 双割线折线法求解信赖域子问题算法
Ｓｅ Ｏ ｔｐ ：给定梯度 ， 正定矩阵 ， 信赖域半径 ．
１
Ｓｐ： ＝ＢＩ， ｔｌ取 Ｉ ； ｅ Ｉ ￣ ，
第３ ７卷 第 ５期
西南民族 大学学报 ・ 自然科 学版
Ｊ ｕ ａ ｆＳ ｕ ｈ ｓ ｉ ｅ ｓｔ ｒ ｔｏ ａｉ ｅ ・ ｔ ｒ ｌ ｃ ｅ ｃ ｄ ｔ ｎ ｏ ｒ ｌ ｏ ｔ ｗｅ ｔ ｎ ｏ Ｕｎ ｖ ｒ ｉ ｆ ｉ ｎ ｌ ｉ ｓＮａｕ ａ ｉｎ ｅ Ｅ ｉ ｏ ｙ ｏ Ｎａ ｔ Ｓ ｉ
多重滤子非单调新锥模型信赖域算法
多重滤子非单调新锥模型信赖域算法周新慧;李小伟【摘要】将由Gu和Mo所提出的一种新的非单调技术,应用到新锥模型的过滤信赖域算法中,提出了一种求解无约束优化的非单调多重过滤信赖域方法,新算法中的每个非单调项是其先前单调项和当前目标函数值的凸组合,不但在每一次遥代中构造出新的比率来调整信赖域半径减少运算量,而且在实验步骤不被接受时利用了多重过滤技术增加了试验点的接受几率,在适当的条件下,证明了算法的收敛性.数值试验表明了该算法的有效性.【期刊名称】《电子科技》【年(卷),期】2014(027)003【总页数】3页(P1-3)【关键词】无约束优化;新锥模型;非单调技术;过滤技术;信赖域【作者】周新慧;李小伟【作者单位】西安电子科技大学理学院,陕西西安710071;西安电子科技大学理学院,陕西西安710071【正文语种】中文【中图分类】O221考虑无约束优化问题其中，f(x)∶Rn→R1是二次连续可微函数，对于求解式(1)目前主要有线性搜索和信赖域两类数值方法，信赖域因为其强收敛性、强适性和稳定性等优点，受到最优化研究者的高度重视。
目前众多学者对其进行了深入研究，传统的信赖域算法具有单调性，使得步长的选择具有一定的局限性，因此Deng等人，将1986年Grippo及Lucidi提出的求解无约束问题的非单调线性搜索方法［1］中的非单调技术引入到信赖域算法当中，构造了无约束优化信赖域算法，相应的数值试验表明，该算法的有效性。
2004年 Zhang和Hger［2］提出了新的非单调技术。
但Gu和Mo发现每次更新ηk和Qk使得算法的变得更为复杂。
因此在此基础上Gu和Mo［3］提出了另外一种非单调技术。
1980年，Davidon针对二次模型对于非二次性太强、曲率变化较为剧烈的函数，逼近效果差等缺陷提出了锥模型［4］。
之后倪勤等提出了新锥模型的子问题，取消了对信赖域半径和水平向量的限制，将新锥模型［5］与新的可行集分成3种情形，由此得到3种不同类型的锥模型信赖域子问题。
一个自动确定信赖域半径的锥模型信赖域方法
一个自动确定信赖域半径的锥模型信赖域方法冯琳;段复建【摘要】自适应信赖域算法由于利用了对算法有重大影响的有关当前迭代点的信息,提高了算法的效率,因此对于无约束最优化问题提出一个锥模型自适应信赖域算法.算法中信赖域半径采用新的自适应修正策略.算法在每步迭代中以R-函数变化的速率、水平向量信息以及当前迭代点的一阶导数信息来修正信赖域半径的大小,使得信赖域半径的修正依据于问题本身,克服传统信赖域算法中没有利用当前迭代点的信息修正信赖域半径的缺点.在一定的条件下简洁地给出了算法的全局收敛性分析.算法丰富了已有的自适应信赖域算法.【期刊名称】《四川师范大学学报（自然科学版）》【年(卷),期】2016(039)004【总页数】7页(P542-548)【关键词】无约束最优化;信赖域方法;锥模型;自适应;全局收敛性【作者】冯琳;段复建【作者单位】重庆文理学院数学与财经学院,重庆永川402160;桂林电子科技大学数学与计算科学学院,广西桂林541004【正文语种】中文【中图分类】O224.2其中，f(x):Rn→R1是连续可微函数．本文采用如下记号:‖·‖表示Euclidean范数;g(x)∈Rn是f(x)在点x的梯度;H(x)∈Rn×n是f(x)在点x的Hessian矩阵，{xk}是某一算法产生的迭代点列，并记fk=f(xk)，gk=g(xk)，Hk=H(xk);Bk∈Rn×n是对称矩阵，它是f(x)在点xk的Hessian矩阵或其近似．信赖域算法和线搜索方法是求解(1)式的两类主要的数值计算方法．与线搜索方法相比，信赖域算法具有稳定的数值性能、收敛性强、迭代次数少、能有效地解决病态问题，并且不需要子问题的Hessian矩阵是正定的．因此在非线性优化界受到了特别的重视，特别是最近几年一直是非线性优化界研究的一个热点．信赖域算法是一种迭代算法．在每一步迭代，求解信赖域子问题本文考虑无约束最优化问题其中，s=x－xk，gk=f(xk)，Δk＞0是信赖域半径．在当前迭代点xk，设子问题(2)的解是sk，则在点xk处的实际下降量预估下降量实际下降量Are sk与预估下降量Pre sk的比值为它反映了子问题(2)的解sk令人满意的程度．rk越大，表明sk越令人满意．如果sk令人满意，就接受sk，得到下一个迭代点xk+1，同时增大信赖域半径Δk;反之，则拒绝sk，同时缩小信赖域半径Δk，重新求解子问题(2)，直至sk被接受，即其中，μ∈(0，1)是一个常数，并调节信赖域半径其中，0≤μ1＜μ2＜1，0＜c1＜1＜c2是常数．(3)式表明对信赖域半径Δk的调节只是根据rk按常数倍放大或缩小初始信赖域半径，没有利用对算法有重大影响的gk、Bk等这些有关当前迭代点的信息，这样降低了算法的效率．基于此，许多自适应信赖域方法被提出．A．Sartenaer［1］研究了初始信赖域半径的选取对信赖域算法的影响，提出一个自动确定初始信赖域半径的ITRR方法．J．Y．Fan等［2］提出信赖域半径收敛到零的方法，其信赖域半径Δk=μk‖gk‖．李红等［3］提出一个充分利用rk的信息，利用R－函数变化的速率自动确定信赖域半径Δk=Rη(t)‖dk－1‖的方法，其中Rη(t)是一个关于rk的R－函数．文献［4－6］也提出了自适应信赖域方法．定义1［7］Rη(t)定义在(－∞，+∞)上，参数η∈(0，1)，Rη(t)是一个R－函数当且仅当满足:(i)Rη(t)在(－∞，+∞)非减;(ii)是一个常数);(iii)Rη(t)≤1－γ1(t＜η，γ1∈(0，1－β)是一个常数);(iv)Rη(η)=1+γ2(γ2∈(0，β)是一个常数);(v)是一个常数)．由定义1得到R－函数如下一些性质．定理1［7］如果Rη(t)(η∈(0，1))是一个R－函数，则有因此可以把Rμ(rk)作为增大或缩小信赖域半径的尺度，使信赖域半径的调节依据于问题本身．大多数信赖域算法采用二次模型逼近原问题f(x)，但对一些非二次性态强、曲率变化剧烈的函数，采用二次模型逼近原问题效果较差，因此得到的最优点较差．W．C．Davidon［8］首次提出锥模型．锥模型比二次模型更一般，包含的信息和自由度更多，更能充分地逼近原问题f(x)，因而吸引了许多学者对它进行研究．文献［9－11］研究了锥模型共线调比拟牛顿方法．诸梅芳等［12］提出求解(1)的锥模型信赖域算法;Q．Ni［13］给出锥模型信赖域子问题的最优性条件，为锥模型信赖域子问题的求解提供了更充分、合理的理论基础，信赖域算法进一步发展．文献［14－16］提出了锥模型非单调信赖域算法．文献［17］提出了锥模型回溯过渡信赖域算法．J．H．Fu等［18］将自适应技术引入锥模型信赖域算法，提出锥模型自适应信赖域算法［19－25］;王希云等［26］也提出锥模型自适应信赖域算法，信赖域半径锥模型信赖域算法得到了广泛的发展，并且数值结果表明对一些函数，特别是对曲率变化剧烈的函数，锥模型信赖域算法比二次模型信赖域算法效果更好．求解(1)式的一个典型的锥模型信赖域子问题是其中，bk∈Rn是水平向量，．当bk=0或时，锥模型转化为二次模型，因此锥模型是二次模型的推广．在文献［2－3，26］工作的基础上，基于锥模型信赖域子问题(6)，本文提出一类新的自动确定信赖域半径的信赖域方法．每次迭代，令使得在每次迭代，依据问题本身的信息自动调节信赖域半径．基于锥模型信赖域子问题(6)和新的信赖域半径(7)，给出一个求解(1)式的自适应信赖域方法．设(6)式的解为sk，则目标函数f(x)在第k步的实际下降量为预估下降量为比值具体的自动确定信赖域半径的锥模型信赖域方法实现如下．算法1 第1步给出初始点x0∈Rn，Δ0＞0，b0∈Rn×1，ε＞0，0＜μ＜1，0＜β＜1，0＜γ1＜1－β，γ2＞0，M＞1+γ2，B0=I(单位阵)，k:=0．第2步计算gk=g(xk)．如果‖gk‖≤ε，则停止计算，x*=xk;否则，转第3步．第3步近似求解(6)式得到sk，并利用(8)～(10)式分别计算Are sk、Pre sk、rk．第4步如果rk＜μ，令xk+1=xk;否则，令xk+1=xk+sk．第5步修正bk及Bk，产生bk+1及Bk+1，利用(7)式计算Δk+1．令k:=k+1，转第2步．注1．1 (i)算法1中，要求‖bk‖Δk＜1，如果‖bk‖Δ≥1，则令，使得‖bk‖Δk＜1．(ii)算法1第3步中sk的具体求解及第5步中bk和Bk的校正公式可参见文献［18］．(iii)若(6)和(7)式中的bk=0，则算法1转化为相应的自动确定信赖域半径的二次模型信赖域方法．(iv)算法1中，利用(3)式调节信赖域半径，得到传统的锥模型信赖域算法．在一定的条件下证明算法1的全局收敛性．本文所需假设如下:(A1)水平集L(x0)={x|f(x)≤f(x0)}有界，f(x)在L(x0)上二阶连续可微;(A2){Bk}、{}、{bk}一致有界，即存在常数δ1，δ2，δ3＞0，使得对k有‖Bk‖≤δ1，‖‖≤δ2，‖bk‖≤δ3;(A3)g(x)是Lipschitz连续函数，即存在L＞0，满足本文算法1中的，用文献［18］中的方法校正时保持正定性．以下的均为对称正定矩阵．为讨论方便，记I={k:rk＜μ}，J={k:rk≥μ}．引理1 设sk是子问题(6)的解，gk≠0，则有为得到算法的下降性条件，引入Cauchy点其中引理2 对Cauchy点pck满足证明分3种情况证明．(i)当且时则有(ii)当且时3由‖Bk‖Δk＜1知则有由(13)～(16)式知(iii)当时由(17)式知于是从而由(17)式知于是又由(21)和(22)式知于是由(18)、(23)式和(ii)的过程，(19)和(20)式知证毕．下面的引理说明子问题(6)的解sk满足充分下降条件．引理3 设sk是子问题(6)的解，则有证明由引理2知引理4 如果假设(A1)～(A3)成立，则存在常数c＞0，使得证明由(5)和(7)式及‖bk‖Δk＜1知令c=2M，则Δk≤c‖gk‖，从而‖sk‖≤c‖gk‖．引理5 如果{xk}是由算法1产生的点列，则证明用数学归纳法证明．当k=0时，f(x0)≤f(x0)，则x0∈L(x0)，命题成立．下证假设xk∈L(x0)时，则有xk+1∈L(x0)．当xk∈L(x0)时，有f(xk)≤f(x0)．(i)如果k∈I，则rk＜μ．由算法1第4步知:xk+1=xk，于是 f(xk+1)= f(xk)．所以f(xk+1)≤f(x0)．(ii)如果k∈J，则rk≥μ．于是由(11)式知因而f(xk+1)≤f(xk)．所以f(xk+1)≤f(x0)．由(i)和(ii)知:当xk∈L(x0)时，xk+1∈L(x0)．由数学归纳法知:结论成立．算法1中，如果xk+1=xk+sk，则称xk+1是一个成功的迭代点;如果xk+1=xk，则称xk+1是一个非成功的迭代点．引理6 如果假设(A1)～(A3)成立，{xk}是由算法1产生的无穷点列，且对k有‖gk‖＞ε，ε∈(0，1)是常数，则对，存在非负整数p使得xk+p+1是一个成功的迭代点．证明假设存在非负整数 k0使得p都有xk0+p+1是一个非成功的迭代点，即由算法1第4步知由(4)和(7)式知于是因而对充分大的p有 1其中c1为某一常数．于是对充分大的p有由(24)式知由f(x)是连续可微函数及Taylor展开式知其中由于f(x)二阶连续可微，则对x∈{x|f(x)≤f(x0)，x∈Rn}，α＞0，s．t．‖2f(x)‖≤α．由(29)～(31)式知从而当p充分大时由0＜μ＜1知:当p充分大时，rk0+p≥μ，这与(26)式矛盾．定理2 如果假设(A1)～(A3)成立，算法1产生无穷点列{xk}，则有证明 (反证法)假设结论不成立，则存在常数ε＞0，ε∈(0，1)，使得‖gk‖≥ε，k．下证由引理6知:当k充分大时，则k∈J，此时有由于{fk}单调递减有下界，因此{fk}收敛．于是当k充分大时有因为‖bk‖Δk＜1;当‖bk‖Δ≥1，则(0＜α＜1)，因此τ＞0，使得‖bk‖Δk≤τ．于是所以由(34)式知又k∈J时，有rk≥μ，由定义1和定理1知:，使得，这与(33)式矛盾．因此定理成立．对于无约束最优化问题提出了一个基于锥模型的自适应信赖域算法．信赖域半径采用一个新的自适应修正策略．算法在每步迭代中以R－函数变化的速率、水平向量信息以及当前迭代点的一阶导数信息来修正信赖域半径的大小，使得信赖域半径的修正依据于问题本身，克服了传统信赖域算法中没有利用当前迭代点的信息修正信赖域半径的缺点．在一定的条件下给出了新算法的全局收敛性分析．致谢重庆文理学院校级基金(Y2013SC42)对本文给予了资助，谨致谢意．【相关文献】［1］SARTENAER A．Automatic determination of an initial trust region in nonlinear programming［J］．SIAM J Scientific Computing，1997，18:1788－1803．［2］FAN J Y，AI W B，ZHANG Q Y．A line search and trust region algorithm with trust region radius convergence to zero［J］．J Comput Math，2004，22(6):865－872．［3］李红，焦宝聪．一类带线搜索的自适应信赖域算法［J］．运筹学学报，2008，12(2):97－104．［4］SANG Z Y，SUN Q Y．A self－adaptive trust region method with line search based on a simple subproblem model［J］．J Comput Appl Math，2009，232:514－522．［5］冯琳，段复建．无约束优化的一个滤子非单调信赖域算法［J］．四川师范大学学报(自然科学版)，2015，38(2):223－229．［6］朱帅，朱世昕，王希云．基于新锥模型的带固定步长的非单调自适应信赖域算法［J］．西南民族大学学报(自然科学版)，2012，38(1):44－49．［7］HEI L．A self－adaptive trust region algorithm［J］．J Comput Math，2003，21:229－236．［8］DAVIDON W C．Conic approximations and collinear scaling for optimizers ［J］．SIAM J Numer Anal，1980，17(2):268－281．［9］SORENSON D C．The Q－superlinear convergence of a collinear scaling algorithmfor unconstrained optimization［J］．SIAM J Numer Anal，1980，17:84－114．［10］ARIYAWANSA K A．Deriving collinear scaling algorithms as extension of quasi－Newton methods and the local convergence of DFP and BFGS－related collinear scaling algorithms［J］．Math Prog，1990，49:23－48．［11］SHENG S．Interpolation by conic model for unconstrained optimization ［J］．Computing，1995，54:83－98．［12］诸梅芳，薛毅，张凤圣．锥模型的拟NEWTON型信赖域方法［J］．高等学校计算数学学报，1995，17(1):36－47．［13］NI Q．Optimality conditions for trust－region subproblems involving a conic model ［J］．SIAM J Optim，2005，15(3):826－837．［14］QU S J，JIANG S D，ZHU Y．A conic trust－region method and its convergence properties［J］．Comput Math Appl，2009，57: 513－528．［15］CUI Z C，WU B Y，QU S J．Combining nonmonotone conic trust region and line search techniques for unconstrained optimization［J］．J Comput Appl Math，2011，235:2432－2441．［16］JI Y，LI Y J，ZHANG K C，et al．A new nonmonotone conic trust－region methodof conic model for solving unconstrained optimization［J］．J Comput Appl Math，2010，233:1746－1754．［17］葛恒武．无约束优化问题的锥模型回溯过滤信赖域算法［J］．苏州大学学报(自然科学版)，2010，26(2):8－15．［18］FU J H，SUN W Y，RAIMUNDO J B De Sampaio．An adaptive approach of conic trust－region method for unconstrained optimization problems［J］．Appl Math Comput，2005，19(1/2):165－177．［19］ZHANG J，ZHANG K，QU S．A nonmonotone adaptive trust region method for unconstrained optimization based on conic model［J］．Appl Math Comput，2010，217(8):4265－4273．［20］孙文瑜，徐东．解无约束最优化的基于锥模型的过滤集－信赖域方法［J］．中国科学，2012，42(5):527－543．［21］ZHAO L．Non－monotone adaptive filter conic trust region method for unconstrained optimization［J］．J Math Comput Sci，2012(6):1874－1893．［22］李小伟，钱慧敏．带有线搜索的非单调自适应新锥模型信赖域算法［J］．电子科技，2013，26(11):4－6，46．［23］ZHOU Q，ZHOU F，CAO F．A nonmonotone trust region method based on simple conic models for unconstrained optimization［J］．Appl Math Comput，2013，225(12):295－305．［24］CUI Z．A nonmonotone adaptive trust region method based on conic model for unconstrained optimization［J］．J Optimization，2014，2014:1－8．［25］ZHOU Q，ZHANG．An adaptive trust region method based on simple conic models［J］．J Math Modelling Algorithms in Operations Research，2015:1－15．［26］王希云，王庆．一种基于新锥模型的自适应信赖域算法［J］．应用数学，2010，23(2):307－312．。
新锥模型二维子空间信赖域算法的开题报告
新锥模型二维子空间信赖域算法的开题报告一、选题背景及意义近年来，信赖域算法在数值优化领域得到广泛应用。
信赖域方法是一种迭代数值优化算法，在每一次迭代中，该算法会计算出一个近似的模型来代替原函数，并生成一组搜索方向。
在一次迭代中，信赖域算法会通过不断调整搜索方向和模型参数，来逼近原函数的最小值点。
传统的信赖域算法主要针对实数空间中的无约束优化问题，但在实际应用中，很多问题都涉及到约束条件。
为了解决这些问题，学者们提出了许多信赖域算法的扩展形式。
其中，新锥模型二维子空间信赖域算法是一种应用广泛的算法之一。
它可以充分利用约束条件的信息，生成有效的搜索方向来加速优化过程，具有很高的收敛速度和收敛精度，已成为现代优化算法中不可或缺的一部分。
因此，对于该算法的研究具有很高的意义。
二、研究内容及方法1. 研究内容本研究的主要内容是对新锥模型二维子空间信赖域算法进行深入研究和探讨，以解决约束条件下的优化问题。
在该算法的框架下，我们将研究以下内容：（1）新锥模型的构建方法和优化原理。
（2）约束条件下的搜索方向的生成方法和更新规则。
（3）算法的全局收敛性和局部收敛性分析。
（4）实验验证和分析。
2. 研究方法研究方法主要包括理论分析和实验验证两个方面。
（1）理论分析：通过对新锥模型二维子空间信赖域算法的数学原理进行研究和解析，分析算法在理论上的收敛性和优化效率，并从理论上证明算法的正确性。
（2）实验验证：通过对多个实际问题的数值优化实验，验证算法的优化效果和收敛性，并分析算法的优化特点和优化适用范围。
三、预期成果及意义1. 预期成果（1）对新锥模型二维子空间信赖域算法的基本原理和构建方法进行深入研究和探讨。
（2）提出一种适用于约束条件下的搜索方向生成方法和更新规则，并对其收敛性进行分析和优化。
（3）对算法的全局收敛性和局部收敛性进行理论证明，并通过多组实验数据来验证算法的有效性和优化效果。
2. 意义（1）能够深入研究新锥模型二维子空间信赖域算法，从而推动该算法在实际问题中的应用。
一种非单调自适应新锥模型信赖域算法
一种非单调自适应新锥模型信赖域算法近年来，统计推断和模式识别领域的研究人员发展了一些有效的算法来提取有用信息，这些算法大部分都建立在锥模型中。
在锥模型中，对对象进行抽样，并采用不同的模型表示在不同的空间中。
通过计算锥模型中的约束，可以获得两个或更多的对象的信息。
然而，由于子空间有可能交叉，锥模型在提取信息时存在两个主要问题：第一，多维空间中的子空间可能会发生重叠，这会影响模型的有效性；第二，子空间边界变化可能会导致模型精度降低。
因此，开发一种非单调自适应新锥模型信赖域算法（NDA-NCRM）是很有必要的。
NDA-NCRM是一种半抽象的算法，它可以通过在子空间中构造拉格朗日乘数，从而使模型的边界具有可变性，并使子空间不会发生重叠现象。
NDA-NCRM的另一个优点是，它可以支持任意数量的对象，这对锥模型的计算量有很大的影响。
NDA-NCRM算法的主要原理是，在子空间中构造一系列连续的拉格朗日乘数，以使模型的边界具有可变性，从而避免子空间发生重叠的情况，并且算法可以支持任意数量的对象。
NDA-NCRM的基本思想是，在锥模型中建立一个简单的有效的拉格朗日乘数，然后通过迭代对拉格朗日乘数进行修改，从而得到更好的目标函数值的结果。
NDA-NCRM的迭代过程中，需要计算原始锥模型中的约束，从而获取不同子空间中的信息。
在每一步迭代中，都要重新估计拉格朗日乘数，以确保所有变量可以有效地调节子空间的边界，从而保证模型的有效性。
此外，对NDA-NCRM算法进行改进，可以更好地提高模型的精度。
这种改进可以通过引入权重来实现，从而使调整参数更加精确。
此外，可以将NDA-NCRM算法和其他半抽象算法结合起来，比如聚类或分类等，从而更有效地提取有用信息。
总之，NDA-NCRM算法是一种有效的、非单调的锥模型信赖域算法，它可以提高模型的精度，同时可以有效地支持任意数量的对象。
此外，NDA-NCRM算法还可以实现通过调整参数更加精确地提取有用信息，并可以与其他半抽象算法结合起来，从而更有效地提取有用信息。
一类新的带线搜索的自适应非单调信赖域算法
其 中 ： ＝Ｂ ｎＳＢ ： ｛ 力 ， ｄ∈Ｒ Ｉ ｌ ｌ ｌ ｌ≤△ ｝ ｄ ， Ｓ＝｛ ｄ∈Ｒ ｌ １—６ｄＪ ０ ，０ —个 ０ — Ｊ ≥ ｝ 为 — １ 的正数 ， （ ）＝ （ ＋ｄ 厂 ）一 ）ｇ ， ＝ｇ ）为 （ ）在 处 的梯度 ， ｂ 和 分别是 ｎ 向量 和 ｎ× 维
（ ”
｛ ｝． １ … ， ｒ（） ＝ ， ｊ ｝＝ ， ｍ， ｋ ｅ
ｍａ ｛ ｋ一１ ｘ ｍ（ ）＋１２ Ｍｋ ， Ｍ 为非 负整 数 ， ，Ｍ， ｝Ｍ， 都
作者简介 ： 赵绚 （９ ３一） 女 ， １８ ， 硕士 ， 主要研究方 向为最优化理论及应 用。
第 ３ 卷第 １ ｌ 朝
第３ １卷
第 ｌ 期
太
原
科
技
大
学
学
报
Ｖ １３ Ｎ ． ｏ． １ ｏ １Ｆ ｂ Fra bibliotek １ ｅ ．０ ０
２１ ０ ０年 ２月
Ｊ Ｕ Ｎ Ｌ Ｏ Ａ Ｙ Ａ Ｎ Ｖ Ｒ ＩＹ Ｏ ＣＥ Ｃ Ｎ Ｅ Ｈ Ｏ Ｏ Ｙ Ｏ Ｒ Ａ Ｆ Ｔ Ｉ Ｕ Ｎ Ｕ Ｉ Ｅ ＳＴ Ｆ Ｓ Ｉ Ｎ Ｅ Ａ Ｄ Ｔ Ｃ Ｎ Ｌ Ｇ
＜ 时 ， 问题转换 为 ： 。 子
Ｓｔ １ ．． １ Ｉ Ａ Ｉ≤ 且 ６ｄ≤ １～ ｄ ０
（ ） △ Ｉ ｌ １＋氏 时 ， 问题 转换为 ： ３ 当 ｝ Ｉ≥ ｂ 子
ｍｉｑ （ ） ｎ￣ ｄ
ｒＪ ｌ Ｉ Ｊ≤△ ｄ ≥ １＋８ 或 ６ ≤ １— ｏ ０ 若 试 验 步 不 成 功 时 ， 解 子 问 题 的代 价 会 很 重
赵 绚， 一类新的带线搜索的自 等： 适应非单调信赖域算法
３ 算 法 的收 敛 性
引理 ｌ
解新锥模型信赖域子问题的折线法
解新锥模型信赖域子问题的折线法
解新锥模型信赖域子问题的折线法
本文以新锥模型信赖域子问题的最优性条件为理论基础,认真讨论了新子问题的锥函数性质,分析了此函数在梯度方向及与牛顿方向连线上的单调性.在此基础上本文提出了一个求解新锥模型信赖域子问题折线法,并证明了这一子算法保证解无约束优化问题信赖域法全局收敛性要满足的下降条件.本文获得的数值实验表明该算法是有效的.
作者：陆晓平倪勤刘浩 LU XIAOPING NI QIN LIU HAO 作者单位：陆晓平,LU XIAOPING(南京航空航天大学经济与管理学院,南京,210016)
倪勤,NI QIN(南京航空航天大学理学院,南京,210016)
刘浩,LIU HAO(南京工业大学理学院,南京,210009)
刊名：应用数学学报ISTIC PKU英文刊名：ACTA MATHEMATICAE APPLICATAE SINICA 年，卷(期)：2007 30(5) 分类号：O221.2 关键词：无约束最优化锥模型信赖域子问题。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
中图 分 类 号
Ａ Ｑｕ ａ ｓ ｉ － Ｎｅ ｗ ｔ ｏ ｎ Ｎ ｏ ｎ ｍｏ ｎ ｏ ｔ ｏ ｎ ｅ Ｔ ｒ ｕ ｓ ｔ Ｒ ｅ ｇ ｉ ｏ ｎ Ｍｅ ｔ ｈ ｏ ｄ ｏ ｆ Ｎ ｅ ｗ Ｃ ｏ ｎ ｉ ｃ Ｍｏ ｄ ｅ ｌ
Ｌ Ｉ Ｘ ｉ ａ ｏ ｗ ｅ ｉ ，Ｑ Ｉ Ａ Ｎ Ｈ ｕ ｉ ｍ ｉ ｎ
（ Ｓ ｃ ｈ ｏ ｏ ｌ ｏ ｆ Ｓ ｃ ｉ ｅ ｎ ｃ ｅ ，Ｘ ｉ ｄ ｉ ａ ｎ Ｕ ｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ ｙ ，Ｘ ｉ ’ ａ ｎ ７ １ ０ ０ ７ １ ，Ｃ ｈ ｉ ｎ ａ ）
Ａｂ ｓ ｔ ｒ ａ ｃ ｔ Ａ ｔ ｒ ｕ ｓ ｔ ｒ ｅ ｇ ｉ ｏ ｎ ａ ｌ ｇ ｏ ｒ ｉ ｔ ｈ ｍ ｂ ａ ｓ ｅ ｄ ｏ ｎ ｎ ｅ ｗ ｃ ｏ ｎ ｉ ｃ ｍｏ ｄ ｅ ｌ ｉ ｓ ｐ ｒ ｅ ｓ ｅ ｎ ｔ ｅ ｄ ｆ ｏ ｒ ｕ ｎ ｃ ｏ ｎ ｓ ｔ ｒ ａ ｉ ｎ ｅ ｄ ｏ ｐ ｔ ｉ ｍｉ ｚ ａ ｔ ｉ ｏ ｎ ｂ ｙ
＂
７ １ ０ ０ ７ １ ）
要
提 出了一种带有线性搜 索的非单调 自适应 新锥模 型信赖 域算法。根据 线性搜 索方 法计 算量小和信赖域 方
法 良好的收敛性优点 ，文 中将非单调 Ｗｏ ｌ ｆ ｅ线性搜 索应 用于新锥模 型 自适应信赖 域方法 中，结合构造 了一 类新算 法： ３试验步 ｄ 不成功 时，采 用非单调 ｗｏ ｌ ｆ ｅ线搜 索求得 下一 个迭代 点 ，使得 新算 法无需 重解子 问题 ，减 少计算 量。另
的优 势 ， Ｊ ｏ ｒ ｇ ｅ Ｎ ｏ ｃ ｅ ｄ ａ ｌ 和袁 亚 湘在 １ ９ ９ １年 首次 提 出将
ａ 竹技２ ０ １ ３ 年 第 ２ ６ 卷 第ｌ １ 期
Ｅｌ ｅ ｃ ｔ ｒ ｏ ｎｉ ｃ Ｓｃ ｉ ． ＆ Ｔｅ ｃ ｈ． ／Ｎｏ ｖ ．１ ５． ２ ０１ ３
带 有 线 搜 索 的非 单 调 自适 应 新 锥模 型 信 赖域 算 法
李小伟 ，钱 慧敏
（ 西安 电子科技 大学 理学 院 ，陕西 西安 摘
无 约束 最优 化 问题 ｍ ｉ ｎ ｆ （ ） 。其 中 厂 （ ） ： Ｒ 一
ＥＲｎ
了文献 ［ ３ ］ 中 的方 法 。 以上 这 些 算 法 都 是 单 调 算 法 ，
是 二次 连续 可微 函数 ， 目前 传 统 的线 性 搜 索方 法 和 信 赖 域 方法并 列 成 为非 线 性 规划 的两 类 重 要求 解 方 法 。 线性 搜索 方法 易 于求 得 新 的 迭代 点 ， 而 信 赖 域 方法 由 于求 解子 问题 花 费代 价 高 ， 通 常并 不 容 易 求 得新 的迭 代点 。但 信赖 域算 法 具 有 较 强 的收 敛 性 ， 且 对 于病 态 问题 也能有 效地 解决 。为 了能够 充分 发挥 这 两种 方法
ｌ Ｉ Ｂ － Ｉ ｇ ㈧ｌ 『 ， ｃ ∈（ ０ ，１ ） ａ ｎ ｄ Ｐ ｉ ｓ ａ ｎ ｏ ｎ ｎ ｅ ｇ ａ ｔ ｉ ｖ ｅ ｉ ｎ ｔ ｅ ｇ ｅ ｒ ．Ｔ ｈ ｅ ｒ ｅ ｆ ｏ ｒ ｅ ，ｉ ｎ ｓ ｔ ｅ ａ ｄ ｏ ｆ ａ ｄ ｊ ｕ ｓ ｔ ｉ ｎ ｇ Ａ ，ｏ ｎ ｅ ａ ｄ ｊ ｕ ｓ ｔ ｓ Ｐ ｆ ｏ ｒ
－
外，利用 １ ｌ 曰 。 ｌ ｌ Ｉ ＋ ｌ Ｉ １ 来调节半径，其中ｃ ∈ （ ０ ，１ ） ， Ｐ为非负整数。在适当条件下，证明了该算法的全局收敛性
和有效性 。
关键词
无约束优化 ；非单调线搜 索；拟牛顿法 ；新锥 模型 ；信 赖域 ；全局收敛性 —７ ８ ２ ０ （ ２ ０ １ ３ ） １ １— ０ ０ ４— ４ ０
ｃ ｏ ｍｂ ｉ ｎ ｉ ｎ ｇ ｔ ｈ ｅ ｎ ｏ ｎ ｍｏ ｎ ｏ ｔ ｏ ｎ ｉ ｃ ｗｏ ｌ ｆ ｅ ｌ ｉ ｎ ｅ ｓ ｅ ａ ｒ ｃ ｈ ａ ｎ ｄ ｑ ｕ ａ ｓ ｉ ・ ｎ ｅ ｗｔ ｏ ｎ ｔ ｅ ｃ ｈ ｎ ｉ ｑ ｕ ｅ ． Ａ ｎ ｅ ｗ ｔ ｕｓ ｒ ｔ ｒ ｅ ｇ ｉ ｏ ｎ ｓ ｕ ｂ ｐ ｒ ｏ ｂ ｌ ｅ ｍ ｉ ｓ ｃ ｏ ｎ — ｓ ｔ ｒ ｕ ｃ ｔ ｅ ｄ， ｉ ｎ ｗｈ ｉ ｃ ｈ ｔ ｈ ｅ ｔ ｒ ｕ ｓ ｔ ｒ ｅ ｇ ｉ ｏ ｎ ｒ ａ ｄ ｉ ｕ ｓ ｕ ｓ ｅ ｓ ｔ ｈ ｅ ｉ ｎ ｆ ｏ ｒ ｍａ ｔ ｉ ｏ ｎ ｏ ｆ ｇ ａ ｎ ｄ Ｂ ． Ｔｈ ｅ ｓ ｕ ｂ ｐ ｒ ｏ ｂ ｌ ｅ ｍ ｉ ｓ ｓ ｏ ｌ ｖ ｅ ｄ ｂ ｙ ｕ ｓ ｉ ｎ ｇ Ｃ
ｅ ａ ｃ ｈ ｉ ｔ ｅ ｒ ａ ｔ ｉ ｏ ｎ． Ｕｎ ｄ ｅ ｒ ｐ ｒ ｏ ｐ ｅ ｒ ａ ｓ ｓ ｕ ｍｐ ｔ ｉ ｏ ｎ ｓ ，ｔ ｈ ｅ ｇ ｌ ｏ ｂ ａ ｌ ｃ ｏ ｎ ｖ ｅ ｒ ｇ ｅ ｎ ｃ ｅ ｏ ｆ ｔ ｈ ｅ ｍｅ ｔ ｈ ｏ ｄ ｉ ｓ ｐ ｒ ｏ ｖ ｅ ｄ．