组合最优化简介

weili@
主要内容
•组合最优化问题概论
•现代最优化计算方法
–禁忌搜索（tabu search）
–模拟退火（simulated annealing）
–遗传算法（genetic algorithms）
–人工神经网络（neural networks）
–拉格朗日松弛算法（Lagrange slack arithmetic）
•组合最优化（combinatorial optimization ）
–是通过对数学方法的研究去寻找离散事件的最优编排、分组、次序或筛选等
–组合最优化问题的数学模型
其中，f(x)为目标函数，g(x)为约束函数，x 为决策变量，D 表示有限个点组成的集合
D
x 0
g(x) .t .s )
x (f min ∈≥
•组合最优化（combinatorial optimization ）
–一个组合最优化问题可用三参数（D,F,f ）表示，其中D 表示决策变量的定义域，F 表示可行解区域F 中的任何一个元素称为该问题的可行解，f 表示目标函数。

满足的可行解称为该问题的最优解
–组合最优化的特点是：可行解集合为有限点集
–有可行解一定有最优解
}0)x (g ,D x |x {F ≥∈=}F x |x)(f {min )x (f *∈=*x
•组合最优化问题
例1.（最优投资问题）设一个人的财富为b ，现有n 只价格为、预期收益分别为的股票，如何选择投资策略使得该人投资收益最大？解：用数学模型表示为：
)n ,2,1i (a i L =)n ,2,1i (c i L =(3)
n ,2,1i },1,0{ x
(2) ,b x a .t .s (1)
x c max i n 1
i i i n
1
i i i L =∈≤∑∑==
•组合最优化问题
例2.（旅行商问题）一个商人欲到n 个城市推销商品，每两个城市i 和j 之间的距离为，如何选择一条道路使得商人每个城市走一遍后回到起点且所走路经最短。

注：旅行商问题还可以细分为对称和非对称距离两大类问题。

当时，称为对称距离旅行商问题，否则称为非对称距离旅行商问题。

ij d j ,i ,d d ji ij ∀=
•组合最优化问题
例2.（旅行商问题）解：用数学模型表示为：
(8)
n ,2,1i },1,0{ x (7)
}n 1,2,{i s 2,-n s 2 ,1-s x
(6)
n 1,2,j ,1x
(5) n 1,2,i ,1x .t .s (4) x d max i s j i,ij n
1
i ij n
1
j ij j
i ij
ij L L L L =∈=⊂≤≤≤====∑∑∑∑∈==≠
•局部领域搜索算法的推广，是人工智能在组合优化算法中的一个成功应用
•Glover在1986年首次提出这一概念，进而形成一套完整算法，该算法的特点是采用了禁忌技术
•禁忌就是禁止重复前面的工作
•为了回避局部领域搜索陷入局部最优的主要不足，禁忌搜索算法用一个禁忌表记录下已经到达过的局部最优点，在下一次搜索中，利用禁忌表中的信息不再或有选择地搜索这些点，以此来跳出局部最优点。

•应用实例：
–图节点着色问题
–车间作业调度问题
•参考文献：
–Glover F. Tabu search: part I. ORSA Journal on Computing,
1989, 1, 190~206
–Glover F. Tabu search: part II. ORSA Journal on Computing, 1990, 2, 4~32
模拟退火算法（simulated annealing）
•是一个全局最优算法
•最早由Metropolis在1953年提出，Kirkpatrick在1983年成功地应用在组合最优化问题中
•退火是一种物理过程，一种金属物体在加热至一定的温度后，它的所有分子在状态空间D中自由运动，随着温度的下降，这些分子逐渐停留在不同的状态，在温度最低时，分子重新以一定的结构排列
•组合优化问题同金属物体退火类比：
组合优化问题金属物体
解状态
最优解能量最低的状态
费用函数能量
模拟退火算法（simulated annealing）
•应用实例：
–下料问题
•参考文献：
–Kirkpatrick S, Gelatt Jr C D, Vecchi M P. Optimization by simulated annealing. Science, 1983, 220: 671~680
–Aarts E H L, van Laarhoven P J M. Simulated Annealing:
Theory and Application. Dordrecht: D Reidel Publishing
Company, 1987
•在70年代初期由美国密歇根大学（Michigan Uni.）的Holland教授发展起来的，1975年，Holland发表了第一本比较系统论述遗传算法的专著《Adaptation in Natural and Artificial Systems》
•遗传算法主要借用生物进化中“适者生存”的规律，“适者生存”揭示了大自然生物进化过程中的一个规律：最适合自然环境的群体往往产生了更大的后代群体
•遗传算法在求解很多组合优化问题时，不需要有很强的技巧和对问题有非常深入的了解
•应用实例：
–排序、布局问题
–生产批量问题
•参考文献：
–Holland J H. Adaptation in Natural and Artificial Systems. MIT Press, 1975
–Goldberg D E. Genetic Algorithms in Search, Optimization and Machine Learning. Addison-Wesley Publishing Company, 1999
•神经网络的研究可以追溯到19世纪，James在1890年的《Psychology(Briefer Course)》一书中描述了神经网络的基本原理：大脑皮层每一点的活力是由其他点势能释放的综合效能产生，这一势能同下面的因素有关：1）相关其他点的兴奋次数；2）兴奋得强度；3）与其不相连的其他点所接受的能量•神经网络的基本原理是构造人工神经网络模型的一个基本依据•人工神经网络的早期工作可以追溯到1943年McCulloch和Pitts 建立的第一个模型
•20世纪80年代，Hopfield将人工神经网络成功地应用在组合优化问题
•应用实例：
–识别问题
–旅行商问题
•参考文献：
–McCulloch W, Pitts W. A logical calculus of the ideas imminent in nervous activity. Bulletin of Mathematical Biophysics, 1943, 5: 115~133
–Hopfield J, Tank D. ‘Neural’computation of decisions in
optimization problems. Biological Cybernetics, 1985, 52:
141~152
•禁忌搜索、模拟退火、遗传算法和人工神经网络以极小优化目标函数为例，给出的都是最优值的上界，拉格朗日松弛算法是求解下界的一种方法
•评价一个算法好坏的一个标准是考察它所计算的目标值同最优目标值的差别，由于组合优化问题的难度，求解最优值时非常困难的，解决这个难点的一个有效方法是通过计算上下界，用上界和下界的差来评价算法，拉格朗日松弛算法的实现比较简单，不仅可以用来评价算法的效果，同时可以用在其他算法中以提高算法的效率
•拉格朗日松弛算法的基本原理是：将造成问题难的约束吸收到目标函数中，并使得目标函数仍保持线性性，由此使得问题容易求解
•应用实例：
–集合覆盖问题
–单机排序问题
•参考文献：
–Fisher M L. The Lagrangian relaxation method for solving
integer programming problems, Management Science, 1981, 27(1): 1~18
–Xing W, Zhang J, Jiang Q et al. Capacitated single flexible
manufacturing cell with setups: model, complexity and
Lagrangean relaxation. In: Ding-Zhu Du et al ed. Operations Research and Its Applications. 1995, 162~170。