模拟退火算法的教程

3模拟退火算法的原理
❖ 根据Metropolis准则，粒子在温度T时趋于平衡的概率为 exp(-ΔE/(kT))，其中E为温度T时的内能，ΔE为其改变量，k 为Boltzmann常数。用固体退火模拟组合优化问题，将内能 E模拟为目标函数值f，温度T演化成控制参数t，即得到解组 合优化问题的模拟退火算法：由初始解i和控制参数初值t开 始，对当前解重复“产生新解→计算目标函数差→接受或舍 弃”的迭代，并逐步衰减t值，算法终止时的当前解即为所得 近似最优解，这是基于蒙特卡罗迭代求解法的一种启发式随 机搜索过程。
kB 0为Boltzmann常数。Z (T )为概率分布的标准化因子：
Z
(T
)
sD
exp
E(s) kBT
2物理退火过程的数学表示 在同一个温度T，选定两个能量E1<E2，有
P{E
E1}
P{E
E2}
1 Z (T )
exp
E1 kBT
1 exp
E2 E1 kBT
可知： >0
<1
（1）在同一个温度，分子停留在能量小状态的概率
1 模拟退火算法的思想
❖ 缓慢降温（退火，annealing）时，可达到最低能 量状态，较为柔韧；但如果快速降温（淬火， quenching），会导致不是最低能态的非晶形，较 硬易断。
❖ 大自然知道慢工出细活： 缓缓降温，使得物体分子在每一温度时，能够有足 够时间找到安顿位置，则逐渐地，到最后可得到最 低能态，系统最稳定。
❖ 组合优化与物理退火的相似性比较
组合优化问题
金属物体
解 最优解 设定初温 Metropolis抽样过程 控制参数的下降 目标函数
粒子状态 能量最低的状态
熔解过程 等温过程
冷却 能量
从某一初始温度开始，伴随温度的不断下降，结合 概率突跳特性在解空间中随机寻找全局最优解
2模拟退火算法的原理
❖ 根据Metropolis准则，粒子在温度T时趋于平衡的概率为 exp(-ΔE/(kT))，其中E为温度T时的内能，ΔE为其改变量，k 为Boltzmann常数。用固体退火模拟组合优化问题，将内能 E模拟为目标函数值f，温度T演化成控制参数t，即得到解组 合优化问题的模拟退火算法：由初始解i和控制参数初值t开 始，对当前解重复“产生新解→计算目标函数差→接受或舍 弃”的迭代，并逐步衰减t值，算法终止时的当前解即为所得 近似最优解，这是基于蒙特卡罗迭代求解法的一种启发式随 机搜索过程。
若在温度T，当前状态i → 新状态j 若Ej<Ei，则接受 j 为当前状态； 否则，若概率 p=exp[-(Ej-Ei)/kBT] 大于[0,1)区间的随机数， 则仍接受状态 j 为当前状态；若不成立则保留状态 i 为当前
状态。
1
p
2物理退火过程的数学表示
❖ Metropolis准则（1953）——以概率接受新状态 p=exp[-(Ej-Ei)/kBT] 在高温下，可接受与当前状态能量差较大的新状态； 在低温下，只接受与当前状态能量差较小的新状态。
模拟退火算法
Simulated Annealing Algorithm
信息与计算科学
卿铭
1 模拟退火算法的思想
模拟退火算法来源于固体退火原理，将固体加温至 充分高，再让其徐徐冷却；加温时，固体内部粒子 随温升变为无序状，内能增大，而徐徐冷却时粒子 渐趋有序，在每个温度都达到平衡态，最后在常温 时达到某种稳定状态，基态，内能减为最小。
2物理退火过程的数学表示 ❖ Metropolis准则（1953）——以概率接受新状态
固体在恒定温度下达到热平衡的过程可以用Monte Carlo 方法（计算机随机模拟方法）加以模拟，虽然该方法简单， 但必须大量采样才能得到比较精确的结果，计算量很大受新状态
全局最优解，即在局部最优解能概率性地跳出并最终趋于全 局最优。 ❖模拟退火算法是通过赋予搜索过程一种时变且最 终趋于零的概率突跳性，从而可有效避免陷入局部 极小并最终趋于全局最优的串行结构的优化算法。
❖模拟退火算法是一种通用的优化算法，理论上算 法具有概率的全局优化性能,目前已在工程中得到了 广泛应用。
2物理退火过程的数学表示
能量最低状态
非能量最低状态
若|D|为状态空间D中状态的个数，D0是具有最低能
量的状态集合：
当温度很高时，每个状态概率基本相同，接近平均
值1/|D|；
状态空间存在超过两个不同能量时，具有最低能量
状态的概率超出平均值1/|D| ；
当温度趋于0时，分子停留在最低能量状态的概率 趋于1。
大于停留在能量大状态的概率
（2）温度越高，不同能量状态对应的概率相差越小；
温度足够高时，各状态对应概率基本相同。
（3）随着温度的下降，能量最低状态对应概率越来
越大；温度趋于0时，其状态趋于1
模拟退火算法基本思想：在一定温度下，搜索从一个状态
随机地变化到另一个状态；随着温度的不断下降直到最低温度， 搜索过程以概率1停留在最优解
❖ 退火过程由冷却进度表(Cooling Schedule)控制，包括控制 参数的初值t及其衰减因子Δt、每个t值时的迭代次数L和停止 条件S。
2物理退火过程的数学表示
在温度T，分子停留在状态r满足Boltzmann概率分布
P{E
E(r)}
1 Z (T )
exp
E(r) kBT
E表示分子能量的一个随机变量，E(r)表示状态r的能量，
1 模拟退火算法的思想
❖ 物理退火过程
加温过程——增强粒子的热运动，消除系统原先可能存在 的非均匀态； 等温过程——对于与环境换热而温度不变的封闭系统，系 统状态的自发变化总是朝自由能减少的方向进行，当自由 能达到最小时，系统达到平衡态； 冷却过程——使粒子热运动减弱并渐趋有序，系统能量逐 渐下降，从而得到低能的晶体结构。
模拟退火算法(Simulated Annealing，SA)最早的思想是由N.
Metropolis等人于1953年提出。1983 年,S. Kirkpatrick 等 成功地将退火思想引入到组合优化领域。它是基于MonteCarlo迭代求解策略的一种随机寻优算法，其出发点是基于
物理中固体物质的退火过程与一般组合优化问题之间的相似 性。模拟退火算法从某一较高初温出发，伴随温度参数的不 断下降,结合概率突跳特性在解空间中随机寻找目标函数的