现代优化算法.pdf
邻域的概念
1.3 邻域概念在组合优化中，距离的概念通常不再适用，但是在一点附近搜索另一个下降的点仍然是组合优化数值求解的基本思想。
因此，需要重新定义邻域的概念。
定义1.3:对于组合优化问题,上的一个映射:称为一个邻域映射,其中表示的所有子集合组成的集合, 称为的邻域,称为的一个邻居。
例1.7：例1.2已给出TSP的一种数学模型，由模型，可以定义它的一种邻域为：，为一个正整数。
这个邻域定义使得最多有位置的值可以发生变化，的邻居有个。
例1.8：TSP问题解的另一种表示法为：。
文献中定义它的邻域映射为，即中的两个元素进行对换，中共包含的个邻居。
如四个城市的TSP问题，当时，。
类似的定义，可以推广定义，它的邻域映射是对中的个元素按一定的规则互换。
例1.9：背包问题：该问题解的另一种表示法为：，表示装包的排列顺序。
通过排列顺序以容量约束判别装进包的物品及目标值。
由该法定义的邻域可以同上例有相同的结构。
定义1.4：若满足：，其中，则称为在上的局部（local）最小（最大）解。
若，，则称为在上的全局（global）最小（最大）解。
就一维变量为例，定义域为区间中的整数点，像图1.1一样，如果采用如下邻域定义，目标值如图1.1，则为的局部最优（最小）点，而点既不是的局部最大值也不是局部最小。
O1 2 3 4 5 6 7 8 9 10图1.1在求解最小目标值点时，传统的优化算法是以一个初始点出发，在邻域中寻找目标值更小的点，最后达到一个无法再下降的点。
如图1.1，若以为起点按传统的优化方法搜索最小值点，则搜索到而停止，搜索到局部最优（最小）点，这种方法可能造成最终解的非全局最优性。
现代优化算法所要解决的一个问题就是求解全局最优解。
1.4 启发式算法启发式算法(heuristic algorithm)是相对于最有算法提出的。
一个问题的最优算法求得该问题每个实例的最优解。
启发式算法可以这样定义：一个基于直观或经验构造的算法，在可接受的花费（指计算时间、占用空间等）下给出待解决组合优化问题每一个实例的一个可行解，该可行解与最优解的偏离程度不一定事先可以预计。
最优化潮流算法综述
min f (u, x)
u
s.t.g (u , x) 0 h(u , x) 0
其中， f 为目标函数， u 为控制变量， x 为状态变量。 g 式为等式约束条件。最优潮流是经过优化的潮流 分布，所以它一定要满足基本的潮流方程，此即等 式约束的由来。 h 式为不等式约束条件。最优潮流包括了系统运行 的安全性及电能质量，而且可调控制变量本身也有 一定的容许调节范围，因此，在计算中要对控制变 量以及通过潮流计算才能得到的其它量（状态变量 及函数变量）的取值加以限制，由此产生了不等式 约束条件。 目标函数 f 及等式、不等式约束 g 及 h 中的大部分 约束都是变量的非线性函数，也就是说，电力系统 的最优潮流计算是一个典型的有约束非线性规划 问题。 首先介绍简化梯度算法。这个算法是最优潮流 问题被提出以后，能够成功地求解较大规模的最优 潮流问题并被广泛采用的第一个算法，直至现在， 它仍被看成一种较为成功地算法而被广泛引用。简 化梯度法是以极坐标形式的牛顿潮流算法作为基 础的，其等式及不等式约束如前介绍。 当仅有等式约束条件时，可以引用经典的拉格 朗日乘子法，将原来的有约束最优化问题转变成无 约束最优化问题。然后再求导，通过联立求解方程 组的方法可求得此非线性规划问题的最优解。但是 通常由于方程式数目众多及其非线性性质，使得联 立求解的计算量相当巨大，甚至有时还相当困难， 采用更为实用的迭代下降法。这种方法的基本思想 是，从一个初始点开始，确定一个搜索方向，沿着
华中科技大学电力系统分析课程论文（HUST Paper）
最优化潮流算法综述
张军龙
（华中科技大学电气与电子工程学院，硕 1101 班，M201171108）
摘要：电力系统的最优潮流是一个典型的非线性优化问题，且由于约束的复杂性使得其计算复杂，难度较大。虽然人们已经 提出了许多种方法，并且在部分场合有所应用，但是要大规模实用化，满足电力系统的运行要求还有不少问题要解决。本文 总结了国内外关于电力系统最优潮流算法的研究现状，对最优潮流计算的经典算法，现代算法以及其它算法进行了介绍，同 时还对最优潮流的各种算法进行了分析比较。并提出了针对当前发展趋势，算法的潜在研究方向。 关键词：最优潮流 简化梯度法 牛顿法 内点法 解耦法 遗传算法 模拟退火算法。
现代智能优化算法的研究综述
过程与一般 组合优 化问题之 间的相似性 ， 是基 于 Ｍ ｕｃ ａ ｏ 代求解 ｅｔＣ ｒ 迭 ｌ 策略 的一种 随机优 化算法 。Ｓ Ａ算法 的基 本思想 是从一 给定初始解 开 始 ， 邻域 中随机 产生另一个解 ， 在 接受准则允许 目标函数在有 限范围 内
的一大飞跃 。
１ 蚁群算法（ ｎ ｏ ｎ ｐ ｍｉ ｏ ， Ｃ ） ． ４ Ａ ｔ ｌ ｙＯ ｆ ｚ ｎ Ａ Ｏ Ｃｏ ｉ ｍｉ 人『 蚁群算 法 ［ 是受到对真实蚁群行 为的研究的启发 ， 由意大利学 者 Ｍ．ｏｉ 等人 于 １９ 年首 先提 出的 ， Ｄ ｒｏ ｇ ９１ 它是一种 基于蚁群 的模 拟进化 算法 ， 属于 随机搜 索算法 。研究学者在研究 过程中发现 ， 蚂蚁个体之 间 是通过 一种称 之为外 激素（ｈ ｒｍｏｅ的物质进 行信息 传递 ， 而能相 ｐ ｅｏ ｎ ） 从 互协作 ， 完成 复杂的任务 。蚂蚁在运动过程 中 ， 能够在它所经过 的路径 上 留下该 种物质 ， 而且蚂蚁 在运动过 程中能够感 知这种物质 的存在及 其强度 ， 以此指 导 自己的运动方 向， 并 蚂蚁倾 向于朝着该物质强度高 的 方 向移动 。蚂蚁个体 之间就是通过这种信 息的交流达到搜索食物 的 目 的 。蚁群 算法正是模 拟 了这 样的优化机 制 ， 即通 过个体之 问的信息交 流与相互协作最终找到最优解 。 １５ ．粒子群优化算法（ａ ｉｌＳ ａｍ ｐｉ ｚｔ ｎ Ｐ Ｏ） Ｐ ｒｃｅ ｗ ｒ ｏ ｔ ａｉ ，Ｓ ｔ ｍｉ ｏ 粒子群优化算法 是一种进化算 法 ， 最早是 由Ｋ ｎ ｅ 与 Ｅ ｅ ａ 于 ｅｎ ｙ ｂ ｒ ｒ ｈ ｔ １ ９ 年提出的 。最早 的Ｐ Ｏ ９５ Ｓ 是模拟 鸟群 觅食行 为而发展起来 的一种基 于群体协 作 的随机 搜索算 法 。Ｐ Ｏ Ｓ 是模 拟鸟群 的捕食 行为 ， 一群鸟 让 在 空间里 自由飞翔 觅食 ， 每个鸟都能记住它 曾经飞 过最高的位置 ， 然后 就随机的靠近那个位 置 ， 不同的鸟之间可 以互相交 流 ， 它们都尽量靠近 整个 鸟群 中曾经 飞过 的ቤተ መጻሕፍቲ ባይዱ高点 ， 这样 ， 经过一段时 间就 可以找到近似 的 最 高点 。Ｐ Ｏ后来经 过多次 的改进 ， Ｓ 去除 了原来 算法 中一些无 关的或
几种常见的优化算法
⼏种常见的优化算法⼏种常见的优化算法：参考：我们每个⼈都会在我们的⽣活或者⼯作中遇到各种各样的最优化问题，⽐如每个企业和个⼈都要考虑的⼀个问题“在⼀定成本下，如何使利润最⼤化”等。
最优化⽅法是⼀种数学⽅法，它是研究在给定约束之下如何寻求某些因素(的量)，以使某⼀(或某些)指标达到最优的⼀些学科的总称。
随着学习的深⼊，博主越来越发现最优化⽅法的重要性，学习和⼯作中遇到的⼤多问题都可以建模成⼀种最优化模型进⾏求解，⽐如我们现在学习的机器学习算法，⼤部分的机器学习算法的本质都是建⽴优化模型，通过最优化⽅法对⽬标函数（或损失函数）进⾏优化，从⽽训练出最好的模型。
常见的最优化⽅法有梯度下降法、⽜顿法和拟⽜顿法、共轭梯度法等等。
1. 梯度下降法（Gradient Descent）梯度下降法是最早最简单，也是最为常⽤的最优化⽅法。
梯度下降法实现简单，当⽬标函数是凸函数时，梯度下降法的解是全局解。
⼀般情况下，其解不保证是全局最优解，梯度下降法的速度也未必是最快的。
梯度下降法的优化思想是⽤当前位置负梯度⽅向作为搜索⽅向，因为该⽅向为当前位置的最快下降⽅向，所以也被称为是”最速下降法“。
最速下降法越接近⽬标值，步长越⼩，前进越慢。
梯度下降法的搜索迭代⽰意图如下图所⽰：梯度下降法的缺点： （1）靠近极⼩值时收敛速度减慢，如下图所⽰； （2）直线搜索时可能会产⽣⼀些问题； （3）可能会“之字形”地下降。
从上图可以看出，梯度下降法在接近最优解的区域收敛速度明显变慢，利⽤梯度下降法求解需要很多次的迭代。
在机器学习中，基于基本的梯度下降法发展了两种梯度下降⽅法，分别为随机梯度下降法和批量梯度下降法。
⽐如对⼀个线性回归（Linear Logistics）模型，假设下⾯的h(x)是要拟合的函数，J(theta)为损失函数，theta是参数，要迭代求解的值，theta求解出来了那最终要拟合的函数h(theta)就出来了。
其中m是训练集的样本个数，n是特征的个数。
经典优化算法
甲/件 乙/件 现在材料与设备能力
钢材/kg
8
5
3500
铁材/kg
设备能力/台时 单位产品的利润/元
6
4 80
4
5 125
1800
2800 ---
线性规划-MATLAB实现
数学模型为 max ������(������) = 80������1 + 125������2 8������1 + 5������2 ≤ 3500 6������1 + 4������2 ≤ 1800 s. t. 4������1 + 5������2 ≤ 2800 ������1 , ������2 ≥ 0
说求解0-1整数规划只要在求解整数规划
的基础上加上对变量最小约束为0，最大 值约束为1就行了。
0-1整数规划-Matlab实现
过时语句 bintprog
f=[7 5 9 6 3];
A=[56,20,54,42,15;1,4,1,0,0;-1,-2,0,-1,-2];
b=[100;4;-2];
[x,fval,flag]=bintprog(f,A,b)
线性规划-MATLAB实现
转换成linprog的最小格式 min ������ ������ = −80������1 − 125������2 8������1 + 5������2 ≤ 3500 6������1 + 4������2 ≤ 1800 s. t. 4������1 + 5������2 ≤ 2800 ������1 , ������2 ≥ 0
4. 内点法 5. ……
工具求解
Matlab语法
旅行商问题TSP的现代优化算法研究
总第174期2008年第12期舰船电子工程Ship Electronic Enginee ring Vol.28No.12114 旅行商问题(TSP)的现代优化算法研究3蔡晨晓 漆宇星(南京理工大学自动化学院 南京 210094)摘 要 TSP (Traveling Salesma n Problem)旅行商问题是一类典型的NP 完全问题,遗传算法是解决NP 问题的一种较理想的方法。
通过介绍基本遗传算法的基本原理;针对TSP 问题,给出遗传算法在选择算子、交叉算子和变异算子等方面的编码实现。
并就TS P 问题的一个具体城市算例,进行了计算验证。
在此基础上,对交叉算子和变异算子提出了改进,大量的计算数据验证了改进方法的有效性。
关键词 TSP ;遗传算法中图分类号 TP301.6Modern Opt i mization of Traveling Sales m an ProblemCai Chenxiao Qi Yuxing(Institute of Automa tio n ,Nanjing Univer sity of Science and Technology ,Nanjing 210094)Abs tra ct TS P (Tra veling Salesman Problem)is a kind of typical NP p roblem s.G A (G e netic Algorithm)is a better metho d for N P problems.The paper presnet s the basic principles of t he G A ,and int roduct s coding in t he selection operator ,crossover operator and mutation operator a bout ge netic algorithm for the specific TSP.The calcula tio n is ve rifie d for TSP problem on a specific city exa mple.And on t he basis ,the imp rove ments is proposed for selection operator ,c ro ssove r opera 2tor and m utation ope rator ,a nd a lar ge number of calculations ve rifie d improve eff ective ness of the met hod.Ke y w ords tra veling salesman problem ,genetic algorithm Class N umber TP301.61 引言旅行商问题(TSP )是组合优化问题中典型的N P 完全问题[1～4],关于TSP 的完全有效的算法目前在作者能及范围内尚未找到,这促使人们长期以来不断地探索并积累了大量的算法。
最优化问题-寻找最优解
第一章绪论1.1 问题的提出人们在做任何一件事情（工作）时，总是希望在可能（现有）的条件下，从众多可能方案中选择一个方案，使事情（工作）的结果最能满足自己的心愿，或者说使结果的目标值与自己的期望值最为符合。
这个方案就可以称为最优方案，而这个选择最优方案的行为或过程就是一个最优化的过程。
正是人类活动中无数这种寻找最优方案的过程，形成了最优化与最优控制理论与方法产生的基础。
例如，古代人类在生产和生活活动中经过无数次摸索认识到，在使用同样数量和质量材料的条件下，圆截面的容器比其他任何截面的容器能够盛放的谷物都要多，而且容器的强度也最大。
也就是说，人们认识到了圆截面容器是各种截面容器中的最优容器。
古代人类这种寻找最优方案的例子比比皆是，如北半球朝南的房屋冬暖夏凉可以获得最舒适的居住条件、农作物生长过程中在某些最佳时机灌溉可以显著增产，等等。
人类进入现代社会以后，生产和社会活动的规模不断扩大，复杂性日益增加，这就意味着完成一项工作或进行一项活动可以选择的方案数量也急剧增加，从中寻找最优方案几乎已经是进行任何一件工作所必须面对的问题。
例如，工厂在安排生产计划时，首先要考虑在现有原材料、设备、人力等资源条件下，如何安排生产，使产品的产值最高，或产生的利润最大；又如，在多级火箭发射过程中，如何控制燃料的燃烧速率，从而用火箭所载的有限燃料使火箭达到最大升空速度；再如，在城市交通管理中，如何控制和引导车辆的流向，尽量减少各个交叉路口的阻塞和等待时间、提高各条道路的车辆通行速度，在现有道路条件下取得最大的道路通行能力。
随着人类对自然界认识的不断深入，寻找最优逐渐从下意识的、缺乏系统性的行为发展到目的明确的有意识活动，并在数学工具日渐完善的基础上，对各种寻找最优的活动进行数学描述和分析，指导寻优活动更有效地进行，从而形成了最优化理论与方法这一应用数学理论分支。
采用现代数学工具，很多最优化问题，尤其是工程领域的最优化问题都可以得到明确的描述。
智能优化算法
智能优化算法摘要优化问题一直是科学和工程研究领域的热点问题。
传统的优化方法在处理大维数、多模态等复杂问题上存在很多不足，因此有必要研究和探讨新的优化算法。
国内外许多研究学者因此提出了多种智能优化算法。
本文首先提出智能优化算法的研究背景以及意义，然后介绍了智能优化算法及混合智能优化算法的研究现状，最后针对智能优化的某些局限性给出了自己的一些看法与评价。
一、智能优化算法研究的背景与意义最优化理论与算法是一个重要的数学分支，它所研究的问题是讨论在众多的方案中什么样的方案最优以及怎样找到最优方案。
它广泛应用于农业、工业、国防、工程、交通、化工、等众多领域，并在资源分配、工程设计、生产计划安排、城建规划等领域中产生了巨大的经济效益和社会效益。
同时，优化在材料科学、控制论、结构力学、环境科学、生命科学等其他科学研究领域也有广泛应用。
国内外的应用实践表明，在同样的条件下，优化处理技术对系统效率的提高、资源的合理利用、能耗的降低及经济效益的提高等均有显著的效果，且效果随着处理对象规模和复杂度的增加而更加显著。
由于生产和科学研究突飞猛进地发展，特别是电子计算机日益广泛应用，使最优化问题的研究不仅成为一种迫切需要，而且有了求解的有力工具，因此最优化理论和算法迅速发展起来，同时社会对各种工程问题优化算法的需求也越来越迫切。
目前，基于严格机理模型的开放式方程建模与优化被认为是国际上主流技术。
各大科研机构和工程公司纷纷投入大量的人力物力财力对系统的建模与优化进行细致深入的研究，意图取得突破性的进展。
然而，基于严格机理模型所得到的优化命题通常具有方程数多、非线性强、变量维数高等特点，这使得相关变量的存储、计算及命题的求解都相当困难．优化问题不仅工业界存在，国民经济的各个领域中也存在着相当多的涉及因数多、影响广、难度高和规模大的优化命题，如运输中的最优调度、生产流程的最优排产、资源的最优分配、农作物的合理布局、工程的最优设计以及国土的最优开发等等，所有这些问题的解决也必须有一个相当有效的优化工具来进行求解。