第3章模拟退火算法

定理3.2.2 fij＞0的充分必要条件是i→j 当fii＝1时，状态i称为常返的， 当fii＜1时称为非常返的． 定理3.2.3 状态j是常返的，则以概率 1，系统无穷次返回状态j．状态j是非常 返的，则以概率1，系统只有有限次返回 状态j
定义
ui = ∑ nf
n =1
∞
(n) ii
(3.2.7)
第3章 模拟退火算法 (Simulated Annealing)
•Metropolis在1953年提出 •Kirkpatrick在1983年应用在组 合优化问题
3．1
模拟退火算法及模型
1.退火是一种物理过程
一种金属物体在加热至一定的温度 后，它的所有分子在状态空间D中 自由运动 随着温度的下降，这些分子逐渐停 留在不同的状态 在温度最低时，分子重新以一定的 结构排列
3 研究由(3．1)确定的函数随T变化的趋势 选定两个能量E1＜E2，在同一个温度T，有 Pr(Ē=E1)－Pr(Ē=E2)＞0, ∀T＞0 (3．2) 在同一个温度，(3.2)表示分子停留在能量小 状态的概率比停留在能量大状态的概率要大 当温度相当高时，(3．1)的概率分布使得每 个状态的概率基本相同，接近平均值 1／|D|，|D|为状态空间D中状态的个数 结合(3．2)，具有最低能量状态的波兹曼概 率接近并超出平均值1／|D|
7 模拟退火算法的数学模型
在给定邻域结构后，模拟退火过程是从 一个状态到另一个状态不断地随机游动 可用马尔可夫(Markov)链描述这一过程
转移概率(transition probability)
当温度t为一确定值时，两个状态的转移 概率定义为：pij
∀j ≠ i ⎧ Gij ( t ) Aij ( t ), ⎪ | D| pij ( t ) = ⎨ 1 − ∑ Gil ( t ) Ail ( t ), j=i ⎪ l =1 , l ≠ i ⎩
分子的概率变化趋势图
在能量最低状态
非能量最低状态ຫໍສະໝຸດ 温度最低时，只有能量最低的点的概率不 为零
4 可以将组合优化问题同金属物体退火进 行类比 组合优化问题 金属物体 解 状态 最优解 能量最低的状态 费用函数 能量 由以上的类比及(3．1)，组合优化的最 优解可以类比为退火过程中能量的最低状 态，也就是温度达到最低点时，(3．1)概 率分布中具有最大概率的状态
则模拟退火时齐算法的马氏链有平稳分布 v=(v1，v2，…，v|D|)，满足
vi ( t ) =
Ai0 j ( t ) ∑
j∈D
Ai0 i ( t )
, ∀i ∈ D
(3.3.1)
其中i0∈DOPT 最优状态集合
3 很容易验证: (3.1.7)满足定理3.3.3的(3)(4)(5)． (2)要求任何两个状态或互为邻居或互 不为邻居，当互为邻居时，它们的产生 概率相同．当任何两个状态或互为邻居 或互不为邻居时，如下面的产生概率：
3．2 马尔可夫链 一、概念 马尔可夫链:随机变量序列{X(k)}k=1,2,… 满足：
一步转移概率 pij(n-1)=Pr(X(n)=j|X(n-1)=i)
当状态空间有限时，称为有限马氏链 时齐(homogeneous)的马氏链： 当pij(n-1)= pij(n)，∀n成立时 n步转移概率pij(n)= Pr(X(n)=j|X(0)=i) 状态i可达状态j: i→j：当存在n，使 pij(n)>0；状态i和状态j相通:i↔j 从i到达j的首达时刻随机变量为： Tij =min{n|X(0)=i,X(n)=j,n≥1}, 其概率 fij(n)=Pr(Tij=n|X(0)=i) 迟早到达概率 fij = ∑∞n=1 fij(n)
Pr{Ē=E(rmin)}关于温度T是单调下降的： 当rmin为D中具有最低能量的状态时，有 ∂Pr{Ē=E(rmin)}/ ∂T＜0 当T趋向于0时, Pr{Ē=E(rmin)}→1/|DO|, T→0 当温度趋向0时，(3．1)决定的概率渐近l ／|DO|，D0为具有最低能量的状态集合。 由此可以得到，在温度趋向0时，分子停 留在最低能量状态的概率趋向1
2 由统计力学的研究表明，在温度T，分子 停留在状态r满足波尔兹曼(Boltzmann)概 率分布 E (r) 1 Pr{ E = E ( r )} = exp( − ) k B T (3．1) Z (T ) E(r)为状态r的能量，kB>0为波尔兹曼常 数，Ē为分子能量的一个随机变量，Z(T) 为概率分布的标准化因子 E (s) Z ( T ) = ∑ exp( − ) k BT s∈ D T→∞, Z(T) →|D|
(3.1.6)
接受概率(acceptance probability)
Aij(t)称为接受概率, 表示在状态i产生j 后，接受j的概率 模拟退火算法中的接受概率：
f (i) ≥ f ( j) ⎧ 1, Aij ( t ) = ⎨ exp( − Δfij / t ), f ( i ) < f ( j ) ⎩
(3.1.7)
分别称：产生矩阵G(t)、接受矩阵 A(t)和一步转移概率矩阵P(t) P(t) ( 式 3.1.5) 、 G(t) (3.1.6) 和 A(t)(3.1.7) 为模拟退火算法的主要模 型．
8 模拟退火算法主要可以分为两类
第 1 类 为 时 齐 (homogeneous) 算 法 ， 在 (3.1.5)中对每—个固定的t，计算对应的马 尔可夫链变化，直至达到一个稳定状态， 然后再使温度下降 第2类是非时齐(inhomogeneous)算法， 由一个马尔可夫链组成，要求在两个相邻 的转移中，温度t是下降的
(3.1.5)
产生概率(generation probability)
Gij(t)称为从i到j的产生概率．表示在状 态i时，j状态被选取的概率 如j为i的邻居，等概率选取，则j被选中 的概率:
⎧1 / | N ( i ) |, j ∈ N ( i ) Gij ( t ) = ⎨ j ∉ N (i) ⎩ 0,
6 定理3.3.6 若Aij(t) ，Gij(t)满足定理 3.3.3除（2）外的条件，且条件（2）改 为任何两个状态i和j或互为邻居或互不 为，且Gij满足：
状态空间D对邻域连通，则平稳分布是
7例3.3.1四个状态1，2，3，4的邻居分 别为： N(1)={1,2},N(2)={1,2,3,4},N(3)={2,3,4}, N(4)={2,3,4} 易证它们互为邻居或互不为邻居，但 G12=1/2≠G21=1/4,说明定理3.3.6成立的 条件比定理3.3.3要广泛
k →∞
多步转移概率：pij(m,k):m步在i，第k步 在j 定义3.4.2若存在向量v=(v1,v2, …,v|D|)， 满足
且有 则称马氏链为强遍历（strongly ergodic） (渐进稳定性，收敛于一个随机分布)
定理3.4.3 在温度t时，一步转移概率（3.1.5）中的A(t) 按（3.1.7）定义，即
3．4
非时齐算法收敛性简介
非时齐算法一步转移概率： pij(k-1,k)=Pr(X(k)=j|X(k-1)=i)
∀j ≠ i ⎧ Gij ( tk ) Aij ( tk ), ⎪ | D| =⎨ 1 − ∑ Gil ( tk ) Ail ( tk ), j=i ⎪ l =1 , l ≠ i ⎩ 其中tk-1 ≥ tk lim tk = 0
平均返回步数 正常返:当ui＜∞时为正常返，当ui＝∞ 时为零常返． 定理3.2.3表明常返是以概率1无穷次返回 同一状态，(3.2.7)表明有些常返状态(正常 返)的平均返回次数(步数)是有限的，而有 些是无穷的
一个状态i称为周期(periodic) t (t正整 数)的，如果pij(n)除n＝t，2t，3t，…外 均为0，且t是满足这个条件的最大整 数．不存在周期的状态称为非周期状态 非周期的正常返状态称为遍历状态 一个集合C是闭集： ∀i∈C，j∉C，有pij=0。即i不可达j 除整个状态空间外，没有别的闭集的 马氏链称为不可约(irreducible)的马氏 链
9无论从实际和直观，描述模拟退火过程的马尔可 夫链应满足下列条件： (1)可达性．无论起点如何，任何一个状态都可以 到达．这样使我们有得到最优解的可能 (2)渐近不依赖起点．由于起点的选择有非常大的 随机性，我们的目的是达到全局最优，因此，应 渐近的不依赖起点 ( 3 )分布稳定性．包含两个内容：其一是当温度不 变时，其马尔可夫链的极限分布存在；其二是当 温度渐近0时，其马尔可夫链也有极限分布． ( 4 )收敛到最优解．当温度渐近0时，最优状态的 极限分布和为1
定理3.2.6 有限状态时齐的马氏链是不可 约的一个充分条件为：任给两个状态i和j， 存在n，使得 pij(n)＞0． 定理3.2.7 若i和j相通，即i↔j，则它们或 同为非周期的或同为周期的．
3．3 时齐算法的收敛性
1 讨论(3.1.5)中A(t)和G(t)所满足的条 件，使得定理3.2.5的平稳分布可以解析 地表达
满足（1）和（2）的Gij=Gji ,L为正数 （2）的其他条件需要邻域是连通的
4定理3.3.4 在满足定理3.3.3的条件下， 当满足 ∀i,j∈D,f(i)<f(j)⇒limt→0Aij(t)=0时，则有
5 定理3.3.3和定理3.3.4给出了时齐算法的全 局收敛应满足的充分条件，但这些条件的限 制是比较强的，如(3.1.6)的发生概率就不一 定满足定理3.3.3的(2)
i =1
v j = ∑ v i pij
∞
定理3.2.5 非周期不可约时齐马氏链 是正常返的充分必要条件是存在唯一 平稳分布{vj | j＝1，2，…}，满足，
v j = ∑ vi p
i =1
∞
( n) ij
= ∑ vi pij
i =1
∞
v j = lim p
n→∞
( n) ij