求解有界约束优化问题的共轭梯度法研究

求解有界约束优化问题的共轭梯度法研究作者：刘彦汝来源：《新校园·中旬刊》2011年第07期一、绪论我们先简单的介绍下本文将要研究的问题的背景和已有结果：1．线性共轭梯度法线性共轭梯度法是Hestenes和Stiefel在求解线性方程组Ax=b，x∈Rn。

时分别独立提出的，他们合作的著名文章已经成为研究共轭梯度法的重要文献．容易看到，当A对称正定时，上面线性方程组的求解等价于求解下面的二次最优化问题min■xTAx-bTx，x∈Rn。

因此，Hestenes和Stiefel的方法可以看做求二次函数极小值的共轭梯度法．线性共轭梯度法的一般格式如下；算法1：（线性共轭梯度法）步0 选取初始点x0∈Rn。

令r0=Ax0-b，d0=-r0，置K：=0。

步1：如果K：=0||rk||＜ε，则停止。

否则计算步长因子αk=■令下一个迭代点为；xk+1=xk+akdk，rk+1=Axk+1-b步2：计算参数。

βk+1=■ｄｋ＋１＝－ｒｋ＋１＋βｋ＋１ｄｋ置Ｋ：Ｋ+１；转步1。

线性共轭梯度法的一个显著特点是算法产生的方向ｄｋ，ｋ＝０，１，……关于A共轭，因而具有有限终止性。

所谓的共轭性指的是当A对称正定时，如果ｒｎ中的非零向量ｄ１ｄ２……ｄｍ满足。

ｄＴｉＡｄｊ＝０（ｉ≠ｊ）这时我们就称ｄ１ｄ２……ｄｍ关于A共轭．所谓的算法具有有限终止性指的是算法最多经有限次迭代终止于问题的最优解。

2.非线性共轭梯度法Fletcher和Reeves较早的将线性共轭梯度法的思想应用于求解非线性最优化问题。

设ｆ：Ｒｎ→Ｒ连续可微，ｇ（ｘ）为ｘ在ｘ处的梯度。

非线性共轭梯度法求解无约束极小化问题的一般格式如下：ｍｉｎｆ（ｘ），ｘ∈Ｒｎxk+1=xk+akdk，ｋ＝０，１，…其中αｋ，由某种线性搜索得到。

搜索方向ｄｋ由下式定义：ｄｋ＝－ｇｋｉｆｋ＝０－ｇｋ＋βｋｄｋ－１ ifｋ＞０其中βk是参数，βk的不同取法对应于不同的非线性共轭梯度法．著名的有1952年Hestenes和Stiefel提出的HS方法，1964年Fletcher和Reeves提出的FR方法，1969年Polak，Ribiare和Polyak分别独立提出的PRP方法，1987年Fletcher提出的CD方法，1991年Liu和Storey提出的LS方法，2000年Dai和Yuan提出的DY方法。

这些方法中的参数分别由下面各式给出；βＦＲｋ＝■，βＰＲＰｋ＝■，βＨＳｋ＝■，βＣＤｋ＝■，βＤＹｋ=■，βＬＳｋ＝■，其中ｙｋ－１＝ｇｋ－ｇｋ－１，ｇｋ＝ｇ（ｘｋ）。

3.算法（MPRP方法）步0给定常数ρ，δ∈（０，１）和ε＞０，选取初始点ｘ０∈Rn。

置K：=0。

如果||ｇｋ|｜≤ε，则算法终止。

步l：按：ｄｋ＝－ｇｋｉｆｋ＝０－ｇｋ＋βＰＲＰｋｄｋ－１－θｋｙｋ－１ ifｋ＞０计算ｄｋ。

步2：计算步长αk=ｍａｘρｊ，ｊ＝０，１，２，…使得ｆ（ｘｋ＋αｋｄｋ）≤ｆ（ｘｋ）－δα２ｋ｜｜ｄｋ｜｜２。

（1.3．1）步3：令ｘｋ－１＝ｘｋ＋αｋｄｋ。

步4：置K：=K－１。

转步1。

注记1.3．1：由（1.3．1），容易看到ｆ（ｘｋ）是单调递减的，此外，如ｆ（ｘ）果有下界，则我们还可以从（1.3．1）得到：■α２ｋ｜｜ｄｋ｜｜２＜∞特别，我们有：■αｋ｜｜ｄｋ｜｜＝０注记1.3．2：在步2中，初始步长总是设为1。

为了得到合适的步长αｋ，这可能要计算很多次函数值.对于共轭梯度法而言，被接受的步长有可能大于或小于1，当然这依赖于具体的问题。

而且步长αｋ变化的趋势是无法预料的，这与拟牛顿法不一样，拟牛顿法往往最终总是接受单位步长，因此每一步援索一般只需要计算一次函数值。

4. Armijo线性搜索给定ρ∈（０，１），求αｋ＝ｍａｘρｊ，ｊ＝０，１，２…满足：ｆ（ｘｋ＋αｋｄｋ）≤ｆ（ｘｋ）＋δαｋｇＴｋｄｋ二、引言设l，υ∈Rn为两常向量，Ω＝ι≤ｘ≤υ，考虑下面简单有界约束优化问题：ｍｉｎｆ（ｘ），ｘ∈Ω（1）本文我们假设ｆ：Rn→Ｒ连续可微且其导数Lipschitz连续。

对大规模问题（1）的求解，最简单的方法是投影梯度法，但是其收敛速度很慢。

最近，Birgin等人提出的谱梯度投影方法加快了收敛速度。

Conn，Gould和Toint提出的Lancelot算法，Nocedal及Byrd等人的有限记忆方法，Mord 和Toraldo以及Ni的序列二次规划方法都可用于大规模问题的求解，但是这些算法在每次迭代时，都需要解一个二次规划子问题。

1997年，Ni和Yuan在文献提出了子空间L—BFGS方法求解大型的有界约束优化问题。

其基本思想是，对非积极集指标用L-BFGS方法，对积极集指标用投影梯度法。

这种方法最大的优点是不需要解子问题，且存储量少，适合解大型问题，中的数值结果也表明该算法是非常有效的。

我们注意到共轭梯度法具有存储激少，结构简单，收敛速度也较快的优点。

本文的目的是将求解无约束最优化问题的共轭梯度法推广到求解约束优化问题（1）。

事实上，约束问题的共轭梯度法是一个公开问题，参见Nocedal的综述性文献[8]，研究约束问题的共轭梯度法的主要困难在于投影共轭梯度方向将不能保证是可行下降方向。

本文，我们利用Ni和Yuan的思想，提出了一种求解简单有界约束优化问题的共轭梯度法（BCMPRP方法），该方法的—个主要优点就是能产生可行的下降方向。

在适当条件下，我们证明了该方法求解非凸简单约束优化问题的全局收敛。

三、算法为方便起见，我们先给出一些记号，定义积极集估计A（x）和非积极集估计B（x）如下：A（x）＝ｉ：lｉ≤ｘｉ≤lｉ＋ε或ｕｉ－ε≤ｘｉ≤ｕｉB（x）＝ｌ，…ｎ／A（x）＝ｉ：lｉ＋ε＜ｘｉ＜ｕｉ－ε（２）其中ε是一个非常小的数，满足：０＜ε＜ｍｉｎ■（ｕｉ－lｉ）（3）由（3）有lｉ＋ε＜ｕｉ－ε ｉ＝ｌ，…ｎ（4）现将A（x）分成三部分：A１（x）＝ｉ：ｘｉ≤ｌｉｏｒｘｉ＝ｕｉａｎｄ（ｌｉ＋ｕｉ－２ｘｉ）gi（x）≥0A２（x）＝ｉ：ｌｉ≤ｘｉ≤ｌｉ＋ε ｏｒｕｉ-ε≤ｘｉ≤ｕｉ，（ｌｉ＋ｕｉ－２ｘｉ）gi （x）＜0A３（x）＝ｉ：ｌｉ≤ｘｉ≤ｌｉ＋ε ｏｒｕｉ-ε≤ｘｉ≤ｕｉ，（ｌｉ＋ｕｉ－２ｘｉ）gi （x）≥0（5）其中（gi（x），…gi（x）Ｔ＝gi（x）＝△ｆ（ｘ）。

设ｅｉ为矩阵Ｉｎ×ｎ的第i列。

Ｐ（ｋ）０是由列向量ｅｉ｜ｉ∈Ｂ（ｘｋ）组成的矩阵Ｐ（ｋ）ｊ是由列向量ｅｉ｜ｉ∈Ａ（ｘｋ）组成的矩阵。

设ＰΩ（ｘ）为x在Ω上的正交投影。

定义搜索方向Ｃｋ如下：（ｃｋ）＝０，ｉｆ（ｇｋ）ｉ（ｄｋ）ｉ＞０（ｄｋ）ｉ，ｏｒｅｌｓｅ（6）其中ｄｋ＝Ｐ（ｋ）０Ｐ（ｋ）Ｔ０ｄｋ-（Ｐ（ｋ）２Ｐ（ｋ）Ｔ２＋Ｐ（ｋ）３Ｐ（ｋ）Ｔ３∧ｋ）ｇｋ（7）ｄｋ＝－ｇｋｉｆｋ＝０－ｇｋ＋βｋｄｋ－１－θｋｙｋ－１ ifｋ＞０（8）βｋ＝■（9）θ＝■（10）ｙｋ－１＝ｇｋ－ｇｋ－１，ｒｋ＝ＰΩ（ｘｋ－ｇｋ）－ｘｋ（11）其中∧ｋ＝ｄｉａｇ（λ１（ｋ）…，λｎ（ｋ））由下式定义：λ１（ｋ）＝０，ｉｆ iA3（x）■，ｉｆ li＜x（k）i-li+ε ａｎｄ x（k）i-gi（k）≤ｌｉ■，ｉｆｕｉ-ε≤x（k）i＜ｕｉａｎｄ x（k）i-gi（k）≥ｕｉl， or esle（12）注记3.1如果l=-∞，m=+∞上面的方法退化为1.3中的MPRP方法。

注记3.2：由可知，由（11）定义的rk具有如下的性质：rk＝０当且仅rk当是问题（1）的一个稳定点，即rk∈Ω且对任意的r∈Ω满足ｇＴｋ（ｘ－ｘｋ）≥０。

注记3.3：（12）保证对任意的ｉ∈Ａ３（ｘｋ），有li＜x（k）i＋ｃ（ｋ）ｉ≤ｕｉ（13）类似于中Lemma 2．1的证明，我们容易得到下面的引理。

引理3.1：由（6）定义的搜索方向满足：ｇＴｋｃｋ≤０（14）而且等式成立当且仅当ｃｋ＝０。

下面的引理来自于文献。

引理3.2：设Ｃｋ由（6）定义及ｃｋ≠０，则有ｍｉｎ１，■≥■ｋ≥ｍｉｎ１，■（15）其中■ｋ＝ｓｕｐ０≤ｙ≤１ｙ：ｌ≤ｘ＋ｙｃｋ≤ｕ。

由引理4，我们有ｐΩ（ｘｋ＋αｃｋ）＝ｘｋ＋αｃｋ如果０≤α≤■ｋ（16）因而下面的Armijo搜索有意义：给定常数δ∈０，■，ρ∈（０，１）求步长因子αｃｋ＝ｍａｘρ０，ρ１，…使得ｆ（ＰΩ（ｘｋ＋ρｍｃｋ））≤ｆ（ｘｉ）－δ｜｜ρｍｃｋ｜｜２（17）下面给出具体的算法，这里我们称之为有界约束的MPRP方法，记为BCMPRP方法.算法（BCMPRP方法）步0 ：给定常数ρ，δ∈（０，１）ε＞０，选取初始点ｘ０∈Ω。

令ｋ：＝０。

如果｜｜ｒｋ｜｜＜ε，则停止。

步1：由（6）计算搜索方向ｃｋ。

步2：由Armijo线性搜索（17）计算步长αｋ＞０。

步3：令ｘｋ＋１＝ｐΩ（ｘｋ＋αｃｋ），ｓｋ＝ｘｋ＋１－ｘｋ。

步4：令ｋ：＝ｋ＋１，转步1。

四、收敛性分析众所周知，如果ｘ∈Ω是问题（1）的一个解点，则存在λｉ≥０，υｉ≤０（ｉ＝１，…ｎ）使得：ｇ（ｘ）＝■λｉｅｉ＋■ｕｉｅｉλｉ（ｘｉ－ｌｉ）＝０ｕｉ（ｕｉ－ｘｉ）＝０上面的条件称为KKT条锌，它可等价地写成ｇｉ（ｘ）（ｌｉ＋ｕｉ－２ｘｉ）≥０，ｉｆｘｉ＝ｌｉｏｒｘｉ＝ｕｉｇｉ（ｘ）＝０，ｏｒｅｌｓｅ（18）引理4.1：设ｘｋ，ｃｋ由BCMPRP方法产生，则ｘｋ是问题（1）的KKT点的重要条件是ｃｋ＝０。

引理4.2：设ｘｋ，ｃｋ由BCMPRP方法产生，则有证明：由假设及搜索直接得到结论。

定理4.1：设ｘｋ，ｃｋ由BCMPRP方法产生，则有■｜｜αｋ＋ｃｋ｜｜２＜∞，■ inf ||rｋ||=0（19）证明：反设结论不正确，则存在ε＞０使得||rｋ||＞０（20）由假设，存在M1＞０使得｜｜ｇ（ｘ）｜｜＜M1，ｘ∈Ω（21）由（7），我们有｜｜ｄｋ｜｜≤｜｜Ｐ（ｋ）０Ｐ（ｋ）Ｔ０ｃｋ｜｜＋｜｜Ｐ（ｋ）２Ｐ（ｋ）Ｔ２ｇｋ｜｜＋｜｜Ｐ（ｋ）３Ｐ（ｋ）Ｔ３∧ｋｇｋ｜｜（22）由（6）可知｜｜ｃｋ｜｜≤｜｜ｄｋ｜｜（23）所以｜｜ｃｋ｜｜≤｜｜Ｐ（ｋ）０Ｐ（ｋ）Ｔ０ｃｋ｜｜＋｜｜Ｐ（ｋ）２Ｐ（ｋ）Ｔ２ｇｋ｜｜＋｜｜Ｐ（ｋ）３Ｐ（ｋ）Ｔ３∧ｋｇｋ｜｜（24）由引理4.2，存在常数ｈ∈（０,１）使得对充分大的k，有■｜｜ａｋｃｋ｜｜＜ｒ（25）由（7），（8），（9），（10），（23），（25）及导数满足Lipschitz条件的假设，存在常数Ｍ＞０使得｜｜ｃｋ｜｜＜Ｍ（26）事实上，ｃｋ≤ｄｋ≤｜｜ｇｋ｜｜＋■≤M1+r||ｄｋ-1||≤M1■=Ｍ由（26），（24），存在常数M２＞０使得：｜｜ｃｋ｜｜＜M（27）由上式及（15），存在β＞０使得αｋ＞β因而■｜｜ｃｋ｜｜＝０这隐含■｜｜ｒｋ｜｜＝０上式与（20）矛盾．因此结论成立五、结论文在MRPR方法的基础上提出了一种求解大规模有界约束优化问题的共轭梯度法（BCMRPR方法）并证明了该方法的全局收敛性．这种修正算法的优点有：·它能产生不依赖于线性搜索的充分下降方向。