最优化读书笔记

一、精确一维搜索下几种共扼梯度法的分析比较

共扼梯度法是求解无 约束昨线性规 划问题的一 种重要方法>针对的几种 计算公式,通过几个典型计算实例,对精确一维搜索下 所述 几种 风 的几种计葬公式所决定的葬法的收敛效 果进行比较,分析 了它们 的数值 计算过程、收敛速度及全局收敛性的优劣共扼方向法是求解非线性规划无约束极值问题的一类方法,共扼梯度法是其中最重要的一种。共扼梯度法中k β的计算公式很多，不同的k β计算公式所决定的算法的数值计算过程、收敛速度及全局收敛性有所不同。

非线性规划无约束级值问题的数学模型为：min (),n f X X R ∈。共轭梯度法是逐次利用以为搜索得到的极小点处的梯度方向来生成共轭方向的一种较为有效的共轭方法，是共轭方向法中最重要的一种。用这类方法求解n 元二次函数的极小值问题，最多经行n 次一维搜就可以求得极值点。由于可微的非二次函数在极小值点附近的性态近似于二次函数，故此类方法也能用于求解可微的非二次函数的无约束极小值问题。

在正定二次函数1()2

T T f X X AX B X C =++的极小化过程中，令()f X 在(1)k X +点的梯度为11()k k g f X ++=?，第1k +迭代方向取为11k k k k P g P β++=-+为使方向k P 和1k P +共轭，必须满足：10T k k P AP +=，

即1[]0k

k k k k g P AP β+-+=，由此解得1T k k T k k g AP P AP β+=，称k β为共轭系数。从而得到共轭梯度的一般公式： (1)1(1)()111(),k k k k k k k k k T k k T k k g f X X X P P g P g AP P AP αββ++++++?=??=+??=-+???=??

，

其中k α是步长，共轭系数k β是数值。进而，共轭梯度法迭代过程的一般步骤为以下几步：

1） 给定初始点(0)n X R ∈，允许误差ε

2）检查是否满足收敛准则(0)()f X ε?≤，若满足，则停止迭代，极值点*(0)X X +；否则进行3；

3）令(0)0()P f X

=-?，置0k =； 4）一维搜索：由公式()min ()k k f X P α+=()()k k k f X P α+，求α；

5）令(1)()k k k k X X P α+=+；

6）检验是否满足收敛准则(0)()f X ε?≤，若满足，则极值点*(0)X X +；否则进行7；

7）判断k n =是否成立。若成立，则令(0)(1)n X X +=，返回3；否则（即k n <），计算k β，并取

(1)1()k k k P f X P β++=-?+，令1k k =+，返回4.

1 共轭梯度法的集中算法

1.1 PRP 算法

PRP 算法（polak-ribiere-polyak ）是由Polak 、Ribiere 、Polyak 在1969年独立提出的一种非线性共轭梯度法，PRP 法是目前认为数值表现最好的共轭梯度法之一，该方法具有如下形式：(1)()k k k X X P α+=+,

1,0,,1

k k k k k g k P g P k β--=?=?-+≥?其中，参数k β的计算公式为：112()T PRP k k k k k g g g g β++-= 1.2 FR 算法

FR 算法（flectcher-reeves ）是最早的非线性共轭梯度法，它是由Fletcher 和Reeves 于1964年将求解线性方程的共轭梯度法推广得来的。这种方法的形式如下：

(1)()k k k X X P α+=+,

1,0,,1

k k k k k g k P g P k β--=?=?-+≥?其中参数k β的计算公式为：21

2k FR k k g g β+=。 1.3 共轭下降法

1987年Fletcher 引入共轭下降（即CD 法）。求解无约束规划问题的共轭下降法具体如下形式：(1)()k k k X X P α+=+,

1,0,,1k k k

k k g k P g P k β--=?=?-+≥?其中参数k β的计算公式为：2

1k CD k T k k g P g β+=-。 1.4 HS 法

求解无约束规划问题额HS 法的形式为： (1)()k k k X X P α+=+1,0,,1k k k

k k g k P g P k β--=?=?-+≥? 其中参数k β的计算公式为：111()()T HS

k k k k T k k k g g g P g g β

+

++-=--。 与PRP 方法相比，HS 法德一个重要性质是：不论线搜索是否精确，共轭关系式1()0T k k k P g g +-=总是成

立，而HS 方法的理论性质表现与PRP 方法很类似。

1,5 Dal-Yuan 算法

Dai 和Yuan 在1995年提出该算法，其形式为：

(1)()k k k X X P α+=+ 1,0,,1k k k

k k g k P g P k β--=?=?-+≥? 其中参数k β的计算公式为：2

11()k DY k T k k k g P g g β++=- FR 方法的数值计算过程不是十分理想，迭代时可能产生小步长而导致收敛速度较慢；PRP 方法是迭代效果

最好的非线性共轭梯度法之一，收敛速度较快；HS 方法在计算过程中的收敛效果与PRP 方法较为类似；CD 方法在计算过程中的收敛表现与FR 方法相差不是很大；DY 方法的全局收敛性较好，对于严格凸函数，其收敛效果明显优于其它的算法，但是大多数情况下其收敛效果与FR 方法较为类似。

二、基于一维搜索和动态调节的非线性规划 PSO 算法

对非线性规划问题而言，最优解往往靠近约束区域的边界，而距离最优解较近的不可行解携带的可用信息要远比距离最优解较远的可行解携带的信息更重要，因此，在算法的搜索过程中使群体中可行解与不可行解保持一定的比例有助于群体向最优解逼近。因此，我们给出下列适应度函数

{}{}min max 1,2,,()()max ,()max 0,()i i m f x x D F x p N P f f f x g x x D N N ∈????∈?=-???++???????

其中：N 为群体规模，p 为当前群体中可行解的个数，min f 和max f 分别为当前群体中可行解得最小值与最大值。那么，由上式的适应度函数，对于群体中的任意两个个体：1）当这两个个体可行时，比较它们的函数值，函数值小的当选。2）当这两个个体可行时，比较它们违反约束的度，违反约束的度函数值小的当选。3）当其中一个可行，另一个不可行时，另一个可行时，比较它们与群体中可行解的最小值的偏离程度，如果群体中包含的可行解比较大，则不可行解被选的概率较大，反之，若群体中包含的不可行解的个数较大，则可行的个体被选的概率增大，这样在选择的时候，可以保持群体中可行解和不可行解的一定比例，进而利用被选的不可行解来增加群体的多样性，使得群体向最优解逼近。

动态一维搜索

利用PSO 算法求解非线性规划问题，一方面，要考虑如何处理和利用约束条件的信息。使得算法更好、更快的向最优解靠拢。另一方面，如何使PSO 算法跳出局部最优区域，继续寻找全局最优解，设计如下的一种动态一维搜索技术：

情形1 如果x D ∈，则沿该点目标函数的负梯度方向1()()m

i i i f x g x ω=-?+

?∑在[,]L U 上做一维不精确搜索，这样的搜索的结果可使点x 向可行域D 靠近或进入可行域D 。

这里：i ω是搜索梯度方向权重，且 max 0()0()()0ln((1))i i i i g x g x g x g λωε?≤?=?>--+??

{}max 1,2,,max ()i i m g g x ∈???=，{}min min 1,2,,max

min (),01(1)i i m g g g x g λε∈???=≤<-- λ为大于等于1的自然数。

三、神经网络计算平台基于网格的应用（模拟退火算法分析）

1 算法基本思想

模拟退火算法的特点是在求解过程中，不但接受对目标函数有改善的状态，还以某种概率接受使目标函数恶化的状态，这样避免了过早收敛到某个局部极值点，从而能够比较有效地进行全局搜索。另外该算法还具有不需要求目标函数的偏导数，并且程序编写简单的优点。

模拟退火算法的基本思想：

（1）初始化：初始温度T （充分大），初始解状态S （是算法迭代的起点）

，每个T 值的迭代次数L;

(2)对1,,k L =??????做第（3）至第6步；

（3）产生新解'S

（4）计算增量''()()t C S C S ?=-，其中()C S 为评价函数；

（5）若'0t ?<则接受'S 作为新的当前解，否则以概率'

exp()t T -?接受'S 作为新的当前解；

（6）如果满足终止条件则输出当前解作为最优解，结束程序。

终止条件通常取为连续若干个新解都没有被接受时终止算法。

（7）T 逐渐减少，且T->0，然后转第2步。

在整个算法过程中，控制系数T 逐渐减小，最终将搜索限制早一个小区域内。由于可将退火过程控制得足够慢，会使系统跳出晶体局部能量极小点。

2 模拟退火算法步骤

模拟退火算法新解的产生和接受可分为如下四个步骤：

第一步：由一个产生函数从当前解产生一个位于解空间的新解

第二步：计算与新解所对应的目标函数差。

第二步：判断新解是否被接受，判断的依据是一个接受准则，最常用的接受准则是Metropolis 准则：若'

0t ?<则

接受'S 作为新的当前解S ，否则以概率'exp()t T -?接受'S 作为新的当前解S 。 第四步：当前解被确定接受时，用新解代替当前解，这只需将当前解中对应于产生新解时的变换部分予以实现，同时修正目标函数值即可。

模拟退火算法与初值无关，算法求得的解与初始解状态S （是算法迭代的起点）无关；模拟退火算法具有渐近收敛性，已在理论上被证明是一种以概率1收敛于全局最优解的全局优化算法；模拟退火算法具有并行性。 模拟退火算法是基于蒙特卡罗（MonteCaro ）迭代求解法的一种启发式随机搜索算法。组合优化问题，把每种组合状态Si 看成某一物质体系的微观状态，而将C(Si)看成该物质体系在状态SI 下的能量，并在控制参数T 表示为温度。让T 从一个足够的值慢慢下降，对每一用Metropolis 抽样法模拟该体系在此T 下的热平衡状态，即对当前状态S 做随机扰动以产生一个新的状态S ，计算增量''()()C C S C S ?=-并以概率exp()C bT -?接受S 作为新的当前状态。当这样的随机扰动重复足够后，系统将达到该温度下的热平衡状态，且服从Bolztmann 分布。

四、一种混合遗传模拟退火算法及其应用

遗传算法

遗传算法（Genetic Algorithms ，简称GA ）是J.Holland 于1975年受生物进化论的启发而提出的，它是模拟生物在自然环境中的遗传和进化过程而形成的一种自适应全局优化考虑搜索法。遗传算法模拟自然进化中 “优胜劣汰、 适者生存”的原理进行自学习和寻优 ,它将问题的求解通过编码表示成染色体 ,由计算机随机产生一群染色体 ,每个染色体在问题的 “环境” 中对应着其本身的适应度 ,根据适者生存的原则 ,从中挑选适应度高的个体进行杂交、 变异等基因操作产生出新一代个体 ,不断迭代进化最终收敛到适应度最高的个体上 ,此个体经过解码后就是问题的最优解. 遗传算法求解问题的具体实现过程为:用某种编码技术作用于输入量以形成数串 ,模拟由数串组成的群体的进化过程. 通过复制、 交叉、 变异过程有组织地 ,然而又是随机地由信息交换来重新组合那些适应性好的数串 ,在每一代中 ,利用上一代数串结构中适应性好的位和段来生成一个新的数串 ,并偶尔也在数串结构中尝试用新的位和段来替代原来的部分.遗传算法用简单的编码技术和繁殖机制来表现复杂的现象 ,

不受搜索空间的限制性假设的约束 ,不必要求诸如连续性、 导数存在和单峰的假设 ,并且具有内在的并行性 ,收敛速度快[6 ],所以比较适合用来解决非常困难的寻优问题. 遗传算法具有良好的全局搜索能力 ,可以快速地将解空间中的全体解搜索出 ,而不会陷入局部最优解的快速下降陷阱. 利用它的内在并行性 ,可以方便地进行分布式计算 ,加快求解速度. 但是遗传算法的局部搜索能力较差 ,这就导致了单纯的遗传算法比较费时.

混合遗传模拟退火算法

混合遗传模拟退火算法的基本思想是将遗传算法与模拟退火算法相结合而构成的一种优化算法. 与基本遗传算法的总体运行过程相类似 ,遗传模拟退火算法也是从一组随机产生的初始解(初始群体)开始全局最优解的搜索过程 ,它先通过选择、 交叉、 变异等遗传操作来产生一组新的个体 ,然后再独立地对所产生出的各个个体进行模拟退火过程 ,以其结果作为下一代群体中的个体. 这个运行过程反复迭代地进行 ,直到满足某个终止条件为止. 遗传模拟退火算法将遗传算法和模拟退火算法的优点充分结合起来 ,大大提高了算法的效率. 混合遗传模拟退火算法的求解过程如下:

Step 1. 初始化：进化代数计数器k 初始值为0，给出种群()F k 初始值，给定初始退火温度0t

Step 2：评价当前群体()F k 的适应度。

Step 3：执行个体交叉操作，同时在交叉之后可以附带保优操作：''()[()]F k Crossover F k ←

Step 4：执行个体交叉变异操作，根据变异结果可以附带保优操作'''()[()]F k Mutation F k ←

Step 5: 由模拟退火状态函数产生新个体。

Step 6: 以概率接受新个体，执行个体的模拟退火操作：'''''()[()]F k SimulatedAnnealing F k ←

Step 7：判断模拟退火抽样是否稳定。若不稳定则返回步骤5（Step 5）；若稳定则往下执行退温操作'

t t ← Step 8 ：个体复制操作：由择优选择模型保留最佳种群：'''(1)Re [()()]F k production F k F k +←?

Step 9：终止条件判断。若不满足终止条件，则1k k ←+，转到步骤2（Step 2）；若满足终止条件，则输出当前最优个体，结束算法。

遗传算法与模拟退火算法的混合策略

遗传算法与模拟退火算法分析仔细分析遗传算法和模拟退火算法的基本原理可以发现:遗传算法和模拟退火算法各自都有很多的优点 ,但也存在着很多不足之处 ,两种优化算法有很强的互补性.遗传算法是模拟生物遗传和进化过程中选择、 交叉、 变异机理而形成的一种自适应全局优化概率搜索算法 ,遗传算法最为严重的缺陷是 “过早收敛” 问题. 所谓 “过早收敛” 是指在搜索的初期 ,由于优良个体急剧增加使种群失去多样性 ,从而造成程序陷入局部 ,达不到全局最优解的现象.模拟退火算法是基于金属退火的机理而建立起的一种全局最优化方法 ,虽然它能够以随机搜索技术从概率意义上找出目标函数的全局最优点 ,但它本身也有很多缺陷. 模拟退火算法的不足之处主要是:尽管理论上只要计算时间足够长 ,模拟退火法就可以保证以概率 110 收敛于全局最优点 ,但是在实际算法的实现过程中 ,由于计算速度和时间的限制 ,在优化效果和计算时间之间存在矛盾 ,因而难以保证计算结果为全局最优点 ,优化效果不甚理想. 为得到一个好的近似最优解 ,需要进行反复迭代运算 ,当问题的规模不可避免地增大时 ,缺乏可行的解决途径.遗传算法和模拟退火算法的直接互补性体现在:遗传算法把握总体的能力较强 ,但局部搜索能力较差;模拟退火算法具有较强的局部搜索能力;因此可以将遗传算法和模拟退火算法相互结合 ,取长补短. 为了克服遗传算法和模拟退火算法各自的缺点 ,发挥它们的优势 ,本文将遗传算法和模拟退火算法混合起来 ,设计了混合遗传模拟退火算法

混合遗传模拟退火算法用于解决TSP 问题

混合遗传模拟退火算法兼具遗传算法和模拟退火算法两者的优点 ,较为适合于解决 TSP 这种组合优化问

题 ,能够做到很好的寻优. 下面是用混合遗传模拟退火算法对 TSP 问题的求解过程。

（1）问题的定义：设n 为城市数目，[]ij D d =为n n ?阶矩阵，ij d 代表城市i 到城市j 的距离(,1,2,3,,)i j n =???。则问题是要找出遍访每个城市恰好一次的一条回路，且其路径长路为最短。

（2）解空间：解空间S 可表示为1,2,3,,n ???的所有循环排列的集合，即[]ij S s =为1,2,3,,n ???的排列i S 表示第i 个城市第i S 个被访问。

（3）目标函数：目标函数为访问所有城市的路径长度或称为代价函数，需求其最小值，选为11[,]n k k d D S S =+=∑为最小。

表1是用混合遗传模拟退火算法(GASA) 、 遗传算法和模拟退火算法进行求解 TSP 问题过程中试验结果的比较:

说明:其中最优率为求得最优值的次数占据总求解计算次数的比例;迭代总次数为求解转移迭代总次数. 方差计算公式为:

()f k 是最终目标k 的函数值，opt f 是最优目标函数值。

使用混合遗传模拟退火算法 ,将中国 31 个首府城市(北京、 上海、 拉萨、 昆明、 …、 台北)之间的距离作为已知条件输入后 ,求得最短路径为15 408km. 具体的路径为:北京 →呼和浩特 →银川 →兰州 → 西宁 → 乌鲁木齐 →拉萨 →成都 →昆明 →贵阳→ 南宁 → 海口 → 广州 →长沙 →武汉 →南昌 →福州→ 台北 → 杭州 → 上海 →南京 →合肥 →郑州 →西安→ 太原 → 石家庄 → 济南 →天津 →沈阳 →长春 →哈尔滨 → 北京.

从实验结果看 ,可以看出本文提出的混合模拟退火算法在实际的求解 TSP 问题中是有效的 ,混合遗传模拟退火算法在性能上要优于单纯的遗传算法和模拟退火算法.

结果分析

理论上 ,遗传算法和模拟退火算法两种算法均属于基于概率分布机制的优化算法. 模拟退火算法的优化机制是通过赋予搜索过程一种时变和最终趋于零的概率突变性 ,来避免陷入局部极小而达到全局最优;遗传算法则通过概率意义下的“优胜劣汰” 思想的群体遗传操作实现优化. 作为两种优化机制的融合 ,本文提出的混合遗传模

拟退火算法不但可以丰富和优化整个过程,而且可以增强全局和局部意义下的搜索能力和效率.从对于TSP 问题解决的实验结果可以看出,

本文提出的混合遗传模拟退火算法比传统的遗传算法和模拟退火算法要优. 分析该算法主要有如下特点:

(1)优化行为增强

混合遗传模拟退火算法兼具有遗传算法的优化时间性能和模拟退火算法可以最终趋于全局最优的特点,克服了遗传算法“过早收敛”问题和模拟退火算法优化时间性能较差的缺点.

(2)优化效率提高

混合遗传模拟退火算法是一种并行而且具有自动保优功能的算法,该算法把遗传算法和模拟退火算法两种不同邻域搜索的结构相结合,使得算法在解空间中搜索能力大为增强,优化效率得到提高.

(3)鲁棒性提高

混合遗传模拟退火算法中多点搜索削弱了模拟退火算法对初值的依赖性,同时混合遗传模拟退火算法利用遗传算法不影响平稳分布的特性,提高了整个算法的鲁棒性.