搜索下的记忆梯度法及其收敛性

第16卷　第1期运　筹　与　管　理Vol.16,No.12001年2月OPERA TIONS RESEARCH AND MANA GEM EN T SCIENCEFeb.2007收稿日期:2006209204作者简介:张祖华(19742),男,山东济南人,研究生;时贞军(19632),男,山东新泰人,教授,主要研究方向:运筹学。

Armijo 搜索下的记忆梯度法及其收敛性张祖华,　时贞军(曲阜师范大学运筹与管理学院,山东日照276826)摘　要:本文提出一种新的无约束优化记忆梯度算法,在Armijo 搜索下,该算法在每步迭代时利用了前面迭代点的信息,增加了参数选择的自由度,适于求解大规模无约束优化问题。

分析了算法的全局收敛性。

关键词:无约束优化;记忆梯度法;Armijo 搜索;全局收敛性中图分类号:O221.2 文章标识码:A 文章编号:100723221(2007)0120024204Convergence of New Memory Gradient Method with Armijo SearchZHAN G Zu 2hua ,SH I Zhen 2jun(College of O perations Research and M anagement ,Qu f u N orm al U ni versit y ,Riz hao 278626,Chi na )Abstract :In t his paper we p resent a new memory gradient met hod for solving unconst rained optimization p roblems.We use t he previous iterative information to generate a new iterate at each iteration wit h Armijo search rule and add t he f reedom of some parameters.Therefore it is suitable to solve large scale optimization problems.We analyze t he global comvergence under some mild conditions.Key words :unconst rained optimizatio n ;memory gradient met hod ;Armijo seach rule ;global conver 2gence0　引言考虑无约束优化问题min f (x ),　x ∈R n(1)其中R n 为n 维欧氏空间,f :R n →R 1是一连续可微函数,大多数求解问题(1)的算法是迭代算法,最常用的是梯度算法,常采用如下形式x k +1=x k +αk d k ,　k =0,1,2,…(2)其中d k 是搜索方向,αk 是步长参数。

若x k 为当前迭代点,则分别记梯度 f (x k )为g k ,f (x k )为f k ,f (x 3)为f 3P (x |L 0)=max y ∈L 0‖y -x ‖P (5B |L 0)=inf x ∈5BP (x |L 0)5B 表示B 的边界。

一般情况下,共轭梯度法是求解无约束优化问题的有效算法之一,它能有效避免存贮和计算矩阵,适于求解大规模无约束优化问题.记忆梯度法也具有类似的性质[1,3,7,8]。

记忆梯度算法和超记忆梯度算法[6]实际上是共轭梯度法的一推广,它可更充分地利用前面迭代点的信息,增加了参数选择的自由度,由此可以构造稳定的收敛均匀的算法[2,4,5],对于求解大规模优化问题也是一种有效的算法。

但是,记忆步数越多,则计算公式越复杂。

在实际问题中,记忆二步到三步比较合适。

本文利用Armijo 搜索设计了一种新的记忆梯度算法,并在较弱的条件下证明了算法的全局收敛性。

1　记忆梯度法假设(H 1)目标函数f (x )在水平集L 0={x ∈R n |f (x )≤f (x 0)}上有下界,这里x 0为初始点。

(H 2)梯度函数g (x )= f (x )在包含L 0的开凸集B 上一致连续,B 满足P (5B |L 0)>0在以上假设基础上,提出新算法如下:算法(A )　给出0<ρ<23,0<μ<1,x 0∈R n 且置k :=0;步1　若‖g k ‖=0则停!否则转步2;步2　x k +1=x k +αk d k (αk ),这里αk 为满足下式的α∈{s k ,s k ρ,s kρ2,…}中的最大者f k -f (x k +αd k (α))≥-μα[g T k d k (α)+12α‖g k ‖2](3)其中d k (α)=-g k ,若k =0;-(1-α)g k +αd k -1,若k ≥1(4)s k =1若k =0;ρ‖g k ‖2‖g k ‖2+|g T k d k -1|若k ≥1(5)步3　置k :=k +1,转步1。

容易看出,该算法有一个重要特点,以每步迭代中,它的方向和步长是同时确定的。

这有利于找到更合适的搜索方向和步长。

为方便,有时记d k =d k (αk ).为以后证明需要,下面引入几个引理。

引理1　对任意k ≥0若α∈(0,s k )则有g T k d k (α)≤-(1-ρ)‖g k ‖2。

证明　当k =0时,上式显然成立。

当k ≥1时g Tk d k (α)=-(1-α)‖g k ‖2+αg T k d k -1≤-(1-α)‖g k ‖2+|αg T k d k -1|=-‖g k ‖2αρ‖g k ‖2/s k≤-(1-ρ)‖g k ‖2证毕引理2　对任意k ≥0,若α∈(0,s k ),则有g T k d k (α)+12α‖g k ‖2≤0证明　由引理1,及s k 定义可得。

引理3　对于k ≥0和α∈(0,s k ]有‖d k (α)‖≤max 0≤i ≤k{‖g i ‖}证明　利用(4)由数学归纳法即得。

引理4　步2中的搜索是可行的。

证明　假设不存在αk 为满足下式的α∈{s k ,s k ρ,s kρ2,…}中的最大者f k -f (x k +αd k (α))≥-μα[g T k d k (α)+12α‖g k ‖2]则知当αi =s kρi,i →+∞时f k -f (x k +αi d k (αk ))<-μαi [g T k d k (αi )+12αi ‖g k ‖2]对左边应用中值定理后,再对上述两边取极限,可得μ≥1,与已知矛盾,从而步2中的搜索是可行的。

证毕52第1期 张祖华,等:Armijo 搜索下的记忆梯度法及其收敛性2　全局收敛性引理5　如果(H 1)和(H 2)成立,算法(A )产生无穷点列{x k },则序列{‖g k ‖}和{‖d k ‖}有界。

证明　由引理3可知,我们只要证明{‖g k ‖}有界即可。

令δk =max 0≤j ≤k{‖g j ‖}若{‖g k ‖}无界,则lim k →+∞δk =+∞因而必存在无穷子列N <{0,1,2,…}使δk =‖g k ′‖,Πk ′∈N (6)且‖g k ′‖=δk →+∞(k ′∈N ,k ′→+∞).(7)由引理1和(3)式可得f k -f (x k +αk d k )≥-μαk [g Tk d k (αk )+12αk ‖g k ‖2]≥μαk [(1-ρ)‖g k ‖2-12s k ‖g k ‖2]≥μαk [(1-ρ)‖g k ‖2-12ρ‖g k ‖2]≥μαk [(1-32ρ)‖g k ‖2由(H 1)可知∑∞k =0αk ‖g k ‖2<+∞(8)从而∑k ∈Nαk‖g k‖2≤∑∞k =0αk‖g k‖2<+∞.(9)由引理3和(6),当α∈(0,s k ]时有‖d k (α)‖2≤max 0≤i ≤k{‖g i ‖2}≤δ2k =‖g k ′‖2,Πk ′∈N.(10)由(9)和(10)可得∑k ∈Nαk‖d k(α)‖2<+∞,(11)故αk ‖d k (α)‖2→0(k ∈N ,k →+∞).(12)由引理1和Cauchy 2Schwarz 不等式得,当α∈(0,s k ]时有‖g k ‖・‖d k (α)‖≥-g T k d k (α)≤(1-ρ)‖g k ‖2从而‖d k (α)‖≥(1-ρ)‖g k ‖(13)由(7)和(13)式可得‖d k (α)‖→+∞(k ∈N ,k →+∞).再由(12)式可得αk ‖d k (α)‖→0(k ∈N ,k →+∞).(14)从而lim k ∈N ,k →∞αk =0这说明当k ∈N 充分大时,αk =αk /ρ∈(0,s k ]使得不等式(3)反向,即f k -f (x k +αk d k (αk ))<-μαk [g T k d k (αk )+12αk ‖g k ‖2]从而f k -f (x k +αk d k (αk )<-μαk g T k d k (αk ).在上式左端利用中值定理,则存在θk ∈[0,1]使f k -f (x k +αk d k (αk ))=-αk g (x k +θk αk d k (αk )Td k (αk )由此可得g (x k +θk αk d k (αk ))T d k (αk )>μg Tk d k (αk )由引理1,上式和(10)知当k ∈N 且充分大时,有62运　筹　与　管　理 2007年第16卷(1-ρ)(1-μ)‖g k ‖2≤(1-μ)(-g T k d k (αk ))≤[g (x k +θk αk d k (αk ))-g k ]Td k (αk )≤‖d k (αk )‖・‖g (x k +θk αk d k (αk ))-g k ‖≤‖g k ‖・‖g (x k +θk αk d k (αk ))-g k ‖,Πk ∈N.从而(1-ρ)(1-μ)‖g k ‖≤‖g (x k +θk αk d k (αk ))-g k ‖,Πk ∈N.由引理2可知f k -f (x k +1)≥-μαk [g Tk d k (αk )+12αk ‖g k ‖2]≥0从而x k ∈L 0<B ,再根据(H 2),P (5B |L 0)>0,因此由(14)式知,当k 充分大时,x k +θk αk d k (αk )∈B.故由g (x )在B 上的一致连续性,即得‖g k ‖→0(k ∈N ,k →+∞).这与(7)式相矛盾,故{‖g k ‖}有界,从而{‖d k ‖}有界。