第三章求解优化问题的智能算法

从种群进化的特点看，它们又可以称为“进化计算 (Evolutionary Compuation)”；

从模仿自然规律的特点出发，又有人将它们称为“自然计算 (Natural Computing)”。

2018/11/24
17
3.1 概述——怎样学习研究智能优化方法

应用智能优化算法解决各类问题是重点； 算法改进有很大的创新空间； 多种算法结合的混合算法是一条捷径； 不提倡刻意去追求理论成果； 算法性能的测算是一项要下真功夫的工作；
在一系列研究工作的基础上， 80 年代由 Goldberg进行归纳总结， 形成了遗传算法的基本框架。
2018/11/24
22
3.2 遗传算法——概要
对于一个求函数最大值的优化问题(求函数最小值也类同)，一 般可描述为下述数学规划模型：
max s.t.
f ( X) XR RU
式中，X x1 x2 xn T 为决策变量，f(X)为目标函数，后两 个式子为约束条件，U是基本空间，R是U的一个子集。 满足约束条件的解X称为可行解，集合R表示由所有满足约束条 件的解所组成的一个集合，叫做可行解集合。它们之间的关系 如图所示。
2018/11/24 21
3.2 遗传算法——概要
遗传算法是模拟生物在自然环境下的遗传和进化过程而形成的 一种自适应全局优化概率搜索算法。 它最早由美国密执安大学的Holland教授提出，起源于60年代对 自然和人工自适应系统的研究。
70年代De Jong基于遗传算法的思想在计算机上进行了大量的纯 数值函数优化计算实验。
2018/11/24
3
3.1 概述——最优化方法的研究起源和意义
2/2
随着近代科学技术发展的需要，特别是由于计算机技术的飞速 发展，促进了最优化方法的迅速发展，并很快渗透到各个领域。 20 世纪 70年代，最优化方法这门应用技术科学又开始产生出最 优设计、最优控制与最优管理等分支。到 20 世纪 80年代，最优 化技术又在这些分支中发展出了新的更细的分支，比如，工程 技术领域的机械优化设计、建筑结构优化设计以及化工石油领 域的优化设计等。
2018/11/24
4
求解优化问题的步骤
(1)分析待优化的问题，建立问题的数学模型；
(2)分析数学模型，选择合适的最优化算法； (3)编写计算机程序、上机计算、求出最优解； (4)结果检验与最后决策。
2018/11/24
5
3.1 概述——最优化问题的数学描述
转化为最小化问题。
2018/11/24
2018/11/24
8
3.1 概述——求解最优化问题的传统方法
以最速下降法、牛顿法和共扼方向法等为代表的传统优化算法 具有完善的数学基础，具有计算效率高、可靠性强和比较成熟 等特点。这些算法的基本迭代步骤如下：
2018/11/24
9
3.1 概述——求解最优化问题的传统方法——最速下降法
2018/11/24

2018/11/24
14
3.1 概述——新的优化方法不断出现 2/2
20 世纪 90 年代初， Dorigo 等提出蚁群优化算法 (Ant Colony Optimization)算法。这种算法借鉴蚁群群体利用信息素相互传 递信息来实现路径优化的机理，通过记忆路径信息素的变化来 解决组合优化问题。
2018/11/24 27
3.2 遗传算法——概要
生物的进化是以集团为主体的。与此相对应，遗传算法的运算对 象是出M个个体所组成的集合，称为群体。 与生物一代一代的自然进化过程相类似，遗传算法的运算过程也 是一个反复迭代的过程，第t代群体记做P(t)，经过一代遗传和进 化后，得到第t+l代群体，它们也是由多个个体组成的集合，记做 P(t+1)。 这个群体不断地经过遗传和进化操作，并且每次都按照优胜劣 汰的规则将适应度较高的个体更多地遗传到下一代，这样最终 在群体中将会得到一个优良的个体 X，它所对应的表现型X将达 到或接近于问题的最优解X*。
遗传算法所借鉴的生物学基础就是生物的遗传和进化。
2018/11/24
20
3.2 遗传算法——概要
虽然人们还未完全揭开遗传与进化的奥秘，既没有完全掌握其 机制，也不完全清楚染色体编码和译码过程的细节，更不完全 了解其控制方式，但遗传与进化的以下几个特点却为人们所共 识： (1) 生物的所有遗传信息都包含在其染色休中，染色体决定了生 物的性状。 (2) 染色体是由基因及其有规律的排列所构成的，遗传和进化过 程发生在染色体上。 (3)生物的繁殖过程是由其基因的复制过程来完成的： (4)通过同源染色体之间的交叉或染色体的变异会产生新的物种， 使生物呈现新的性状。 (5)对环境适应性好的基因或染色体经常比适应性差的基因或染 色体有更多的机会遗传到下一代。

理论工作相对比较薄弱，一般说来都不能保证收敛到最优解。
2018/11/24
16
3.1 概述——新的优化方法的不同名称
由 于 算 法 理 论 薄 弱 ， 最 早 被 称 为 “ 现 代 启 发 式 (Modern Heuristics)”或“高级启发式(Advanced Heuristics)”；
最优化问题可以追溯到十分古老的极值问题，在 17 世纪，伟大 科学家Newton发明微积分的时候，已经提出了极值问题，后来 又出现了Lagrange乘子法，Cauchy则利用最速下降法求解无约 束极小化问题。然而，直到1947年Dantzig提出求解一般线性规 划问题的单纯形法之后，它才成为一门独立的学科。
6
3.1 概述——求最优解或近似最优解的方法 1/2
(1)枚举法。
枚举出可行解集合内的所有可行解，以求出精确最优解。对于 连续函数，该方法要求先对其进行离散化处理，这样就有可能 产生离散误差而永远达不到最优解。另外，当枚举空间比较大 时，该方法的求解效率比较低，有时甚至在目前最先进的计算 工具上都无法求解。 (2)启发式算法。 寻求一种能产生可行解的启发式规则，以找到一个最优解或近 似最优解。该方法的求解效率虽然比较高，但对每一个需要求 解的问题都必须找出其特有的启发式规则，这个启发式规则无 通用性，不适合于其他问题。
实际生活中对最优化方法性能的需求促进了最优化方法的发展， 最优化逐步走出“象牙塔”，面向实际需要，完成了从“方法 定向”到“问题定向”的转换。
2018/11/24
13
3.1 概述——新的优化方法不断出现 1/2
1975年，Holland提出遗传算法(Genetic Algorithm)。这种优化 方法模仿生物种群中优胜劣汰的选择机制，通过种群中优势个 体的繁衍进化来实现优化的功能。
2018/11/24 23
3.2 遗传算法——概要
可行解 基本空间
U
X R
可行解集 合
2018/11/24 24
3.2 遗传算法——概要
对于上述最优化问题，目标函数和约束条件种类繁多，有的是 线性的，有的是非线性的；有的是连续的，有的是离散的；有 的是单峰值的，有的是多峰值的。 随着研究的深入，人们逐渐认识到在很多复杂情况下要想完全 精确地求出其最优解既不可能，也不现实，因而求出其近似最 优解或满意解是人们的主要着眼点之一。

从 其 人 工 智 能 的 特 点 ， 被 称 为 “ 智 能 计 算 (Intelligent Computation)” 或 “ 智 能 优 化 算 法 (Intelligent Optimization Algorithms)”；

从 不 以 精 确 解 为 目 标 的 特 点 ， 又 被 归 到 “ 软 计 算 (Soft Computing)”方法中；
19
3.2 遗传算法——概要
生物在自然界中的生存繁衍，显示出了其对自然环境的优异自 适应能力。受其启发，人们致力于对生物各种生存特性的机理 研究和行为模拟，为人工自适应系统的设计和开发提供了广阔 的前景。 遗传算法(Genetic Algorithm，简称GA)就是这种生物行为的计 算机模拟中令人瞩目的重要成果。 基于对生物遗传和进化过程的计算机模拟，遗传算法使得各种 人工系统具有优良的自适应能力和优化能力。
10
3.1 概述——求解最优化问题的传统方法——牛顿法
2018/11/24
11
3.1 概述——求解最优化问题的传统方法——共轭方向法
2018/11/24
12
பைடு நூலகம்.1 概述——对最优化提出的新的需求


对目标函数和约束函数表达的要求必须更为宽松
计算的效率比理论上的最优性更重要 算法随时终止能够随时得到较好的解 对优化模型中数据的质量要求更为宽松

1977年，Glover提出禁忌搜索(Tabu Search)算法。这种方法将 记忆功能引入到最优解的搜索过程中，通过设置禁忌区阻止搜 索过程中的重复，从而大大提高了寻优过程的搜索效率。

1983年，Kirkpatrick提出了模拟退火(Simulated Annealing)算 法。这种算法模拟热力学中退火过程能使金属原子达到能量最 低状态的机制，通过模拟的降温过程，按玻兹曼(Boltzmann)方 程计算状态间的转移概率来引导搜索，从而使算法具有很好的 全局搜索能力。
2018/11/24
25
3.2 遗传算法——概要
遗传算法中，将n维决策向量 X x1 x2 xn T 用n个记号xi (n=l， 2，，n)所组成的符号串X来表示：
X x1 x2
xn X x1
x2
xn
T
把每一个xi看作一个遗传基因，它的所有可能取值称为等位基因， 这样，X就可看做是由n个遗传基因所组成的一个染色体。 — 般情况下，染色体的长度 n 是固定的，但对一些问题 n 也可以 是变化的。 根据不同的情况，这里的等位基因可以是一组整数，也可以是某 一范围内的实数值，或者是纯粹的一个记号。