第10章 模拟退火与禁忌搜索

10.1 模拟退火算法思想
•在热力学和统计物理学研究中，物理退火过程是首先将固 体加温到温度充分高，再让其徐徐冷却。 •加温时，固体内部粒子随着温度的升高而变为无序状态， 内能增大，而徐徐冷却时粒子渐趋有序，如果降温速度足 够慢，那么在每个温度下，粒子都可以达到一个平衡态， 最后在常温时达到基态，内能减为最小。 •P196 图10.1 •粒子在某一温度T下，固体所处的状态具有一定的随机性， 状态之间的转换由Metroplis准则决定。
求解：假设问题的一个可行解用0和1的序列表示， 例如i=(1010)表示选择第1和第3个物品，而不选 择第2和第4个物品。用模拟退火算法求解例10.1 的关键过程如图所示：
运行步骤
已知： 物体个数：n=5 背包容量：c=8 重量 w = (2, 3, 5, 1, 4) 价值 v = (2, 5, 8, 3, 6) 第 二步：在T温度下局部搜索，直到“平衡”， 假设平 衡条件为执行了3次内层循环。 （2-1）产生当前解i的一个邻域解j（如何构造邻域根据具 体的问题而定，这里假设为随机改变某一位的0/1值或者交 换某两位的0/1值），假设j=(11100) 要注意产生的新解的合法性，要舍弃那些总重量超过背包 装载量的非法解 （2-2）f(j) = 2+5+8=15 > 13=f(i)，所以接受新解j i=j; f(i)=f(j)=15; 而且s=i; 要注意求解的是最大值，因此适应值越大越优 （2-3）返回（2-1）继续执行。 (a) 假设第二轮得到的新解j=(11010)，由于f(j) = 2+5+3=10 < 15=f(i)，所以需要计算接受概率P(T)=exp((f(j)-f(i))/T) = exp(-0.5) = 0.607，假设random(0,1)>P(T)，则不接受新解 (b) 假设第三轮得到的新解j=(10110)，由于f(j) = 2+8+3=13 < 15=f(i)，所以需要计算接受概率P(T)=exp((f(j)-f(i))/T) = exp(-0.3) = 0.741，假设random(0,1)<P(T)，则接受新解 按照一定的概率接受劣解，也是跳出局部最优的一种手段 （2-4）这时候，T温度下的“平衡”已达到（即已经完成 了3次的邻域产生），结束内层循环
•E(i)和E(j)——固体在状态i和j下的内能 •△E=E(j)-E(i)——内能的增量
•K——波尔兹曼(Boltzmann)常数
•同一温度下，导致能量增加的增加量△E=E(j)-E(i)越大， 接受的概率越小；而且随着温度T的降低，接受系统能量增 大的变化的概率将会越小。P197图10.2
10.1 模拟退火算法思想
10.5 禁忌搜索基本流程
(1)初始化：在搜索空间中随机生成一个初始解i， 禁忌表H初始化为空，历史最优解s=i。 (2)若当前解为最优解或迭代次数达最大，算法结 束，否则转(3)。
(3)从当前解i出发，在当前禁忌表H的限制下，构 造出解i的邻域A，然后从A中选出适应值最好的解j 来替换解i，同时更新禁忌表H，更新s。转(3)。 需解决两个问题：
第一步：初始化。假设初始解为 i=(11001)，初始温度为T=10。计 算f(i)=2+5+6=13，最优解s=i 第三步：降温，假设温度降为 T=9。如果没有达到结束标准，则 返回第二步继续执行
假设在继续运行的时候，从当前解 i=(10110)得到一个新解j=(00111)，这 时候的函数值为f(j)=8+3+6=17，这是 一个全局最优解。可见上面过程中接 受了劣解是有好处的。
第10章 模拟退火与禁忌搜索
Contents
1 2
模拟退火算法思想
模拟退火基本流程 模拟退火应用举例 禁忌搜索算法思想 禁忌搜索基本流程
3
4 5 6
禁忌搜索应用举例
10.1 模拟退火算法思想
模拟退火算法是什么？是怎样提出来的？ 模拟退火算法的基本思想是怎样的？
模拟退火算法（Simulated Annealing，SA）是一种模拟物理退火的过程而设计的优化算法。 它的基本思想最早在1953年就被Metropolis提出， 但直到1983年Kirkpatrick等人才设计出真正 模拟退火算法采用类似于物理退火的过程， 意义上的模拟退火算法并进行应用。 先在一个高温状态下（相当于算法随机搜索），然后逐渐退火， 在每个温度下（相当于算法的每一次状态转移）徐徐冷却 （相当于算法局部搜索），最终稳定在一个最优状态 （相当于算法找到最优解）。
基本要素
设置方法
1、均匀抽样一组状态，以各状态目标值的方差定初温 2、随机产生一组状态，以两两状态间最大差值定初温 3、利用经验公式给出初温
初始温度
邻域函数
候选解一般采用按照某一概率密度函数对解空间进行 随机采样来获得。 概率分布可以是均匀分布、正态分布、指数分布等等
一般采用Metropolis准则
•禁忌表的更新包括两方面： (1)刷新被禁忌对象的 禁忌时间，好让其满足禁忌期限后解禁；(2)添加 新的禁忌对象到禁忌表中。
10.5 禁忌搜索基本流程
开始 初始化：随机生成一个解i，设置代数 k=0，禁忌表H为空，最优解s = i 满足终止条件？ 否 构造解i的邻域A = N(i,H) 从邻域A中找出适应值最好 的解j,令i=j，并且更新H f(i)<f(s) 是 s=i k=k+1 否 是 procedure TS //Initialization Randomly generate a solution i, and evaluate it f(i); s=i; k=0; H={}; while not stop //Generate the neighbors of solution i // based on the tabu list H A = N(i,H); i = SelectBestSolution(A); Update the tabu list H; if f(i) < f(s) s=i; end if k=k+1; end while print s end procedure //功能：禁忌搜索算法伪代码 //说明：本例以求问题最小值为目标 //参数：i为当前解； s为最优解；H为禁忌表；k为 // 当前代数
10.2 模拟退火基本流程
开始 初始化：随机选择一个解i，计算适应值f(i)。 设置代数k=0，初始温度t0=T，令最优解s=i。 满足终止条件？ 否 在tk温度下达到平衡？ 否 从i的邻域中随机选择一个解j， 计算j的适应值f(j) f(j)<f(i) 否 计算接受概率P(tk)=e-[(f(j)-f(i))/tk] 否 random(0,1)<P(tk) 是 i = j; f(i) = f(j); 更新s 降温冷却：tk+1=drop(tk); 令k=k+1 结束 是 是 是
内层平衡也称Metropolis抽样稳定 准则，用于决定在各温度下产生候 选解的数目
内层平衡
算法的终止条件
终止条件
10.3 模拟退火应用举例
例10.1 已知背包的装载量为c=8，现有n=5个物 品，它们的重量和价值分别是(2, 3, 5, 1, 4)和(2, 5, 8, 3, 6)。试使用模拟退火算法求解该背包问题， 写出关键的步骤。
10.1 模拟退火算法思想
•Metroplis准则：物体在某一温度T下从状态i转移到状态j 的概率 PijT 公式如下：
, E ( j ) E (i ) E ( j ) E ( i1 ) E P ( ) ( ) KT KT e , 其他 e
T ij
•e——自然对数
物理退火过程
物理退火过程
• • • • • •
模拟退火算法
• • • • • • •
物体内部的状态 状态的能量 温度 熔解过程 退火冷却过程 状态的转移
问题的解空间 解的质量 控制参数 设定初始温度 控制参数的修改 解在邻域中的变化 最优解
类比关系
•
能量最低状态
模拟退火算法
10.1 模拟退火算法思想
10.4 禁忌搜索相关概念
禁忌表（Tabu List，TL）

是用来存放（记忆）禁忌对象的表。它是禁忌搜 索得以进行的基本前提。禁忌表本身是有容量限 制的，它的大小对存放禁忌对象的个数有影响， 会影响算法的性能。
禁忌对象（Tabu Object，TO）

是指禁忌表中被禁的那些变化元素。禁忌对象的 选择可以根据具体问题而制定。例如在旅行商问 题（Traveling Salesman Problem，TSP）中可以 将交换的城市对作为禁忌对象，也可以将总路径 长度作为禁忌对象。
•算法首先生成问题解空间上的一个随机数，然后对其进行 扰动，模拟固体内部粒子在一定温度下的状态转移。算法 对扰动后得到的解进行评估，将其与当前解进行比较并根 据Metropolis准则进行替换。 •算法会在同一温度下进行多次扰动，以模拟固体内部的多 种能量状态。算法参数T代表温度，每一代逐渐减小以此 来模拟温度下降的过程。 •每一代中，算法根据当前温度下的Metropolis转移准则对 解进行扰动。这样的操作在不同的温度下不断重复，直到 温度降低到某个指定的值。这时得到的解将作为最终解， 相当于固体能量最低状态。
接受概率
1, E PijT ( E ( j ) E (i ) ) ( ) KT KT e e ,
if E ( j ) E (i ) otherwise
冷却控制
t0 lg(1 k ) t 2、快速模拟退火算法的降温方式 t k 0 1 k
1、经典模拟退火算法的降温方式 t k 1、检验目标函数的均值是否稳定 2、连续若干步的目标值变化较小 3、预先设定的抽样数目，内循环代数 1、设置终止温度的阈值 2、设置外循环迭代次数 3、算法搜索到的最优值连续若干步保持不变 4、检验系统熵是否稳定