组合优化问题(一)
组合优化
0 0 3 4 4 7
0 0 3 4 5 7
0 0 3 4 5 7
启发式算法
• 在实际应用中，可以通过数值模拟的方法 来衡量算法的性能，从而免去了理论证明 的困难和局限，使我们可以充分地利用经 验和技巧，自由地调整算法的步骤和参 数，设计出性能尽可能好的算法。这样的 算法称为启发式算法（heuristic）
k 0 w • 实例 0 0 C 5, n 4 p1 3, p2 4, p3 5, p4 6 1 0 w1 2, w2 3, w3 4, w4 5 2 0 • 最优值为 7，最优 3 0 解为物品1，2 放入 4 0 背包 5 0
1 2 3 4
0 0 3 3 3 3
• 由初始条件和递推关系可逐步求得 I (n, C)， 外层循环为 k 0,, n ，内层循环为 w 0,, C • 该动态规划时间复杂性为 Ο(nC) ，背包问题 的实例规模为 Ο(n log2 B), B max{ p j , wj , C} ， 因此它是一个伪多项式算法
背包问题的动态规划
中国邮递员问题
• 一位邮递员从邮局选好邮件去投 递，然后返回邮局。他必须经过 由他负责投递的每条街道至少一 次。如何为这位邮递员设计一条 投递线路，使其耗时最少。
中国邮递员问题
• Euler环游（一笔画）
• 经过图中所有边恰好一 次的回路称为Euler 回路 ，含有Euler回路的图称 为Euler 图 • 图是Euler 图的充要条件 是图中没有奇度顶点
P NP 假设下
• NP 类中的问题既不是没有多项式时间算法的问题 ，也不是最难的问题。
P NP 假设下
P 与NP-hard
• P问题
• 图的最短路 • 图的最大流、最小割 • 背包问题 • 划分问题 • 图的独立集、团、顶 点覆盖 P 问题 线性规划 （二维）匹配 指派 Euler圈 中国邮递员 最小生成树 NP-hard问题 整数规划 三维匹配 二次指派 Hamiltion圈 TSP 最小Steiner树
组合优化问题及算法
启发式算法
邻域概念
TSP问题解的另一种表示法为
D={S=(i1,i2,…,in)是1,2,…,n的一个排列} 可以定义它的邻域映射为2-opt，即S中的两个 元素对换。
如4个城市的TSP问题，当S=(1,2,3,4)时， N(S)={(2,1,3,4),(3,2,1,4),(4,2,3,1),(1,3, 2,4),(1,4,3,2),(1,2,4,3)}.
i 1
xi {0,1},
i 1,, n
一些例子
2. 旅行商问题(TSP，traveling salesman problem)
一个商人欲到n个城市推销商品，每两个城市i和j之
间的距离为dij，如何选择一条道路使得商人每个城市正 好走一遍后回到起点且所走路径最短。
n
min dij xij
i j
n
组合优化问题及算法
引言
组合最优化（combinatorial optimization)是通过 对数学方法的研究去寻找离散事件的最优编排、分组、次 序或筛选等，是运筹学(operations research)中的一个 重要分支。所研究的问题涉及信息技术、经济管理、工业 工程、交通运输、通信网络等领域。该问题可用数学模型 描述为：
邻域的构造依赖于问题决策变量的表示，邻 域的结构在现代化优化算法中起重要作用。
启发式算法
邻域概念
例如，前面例子2给出的TSP问题模型。由解空间 D={x{0,1}n(n-1)}，可以定义它的一种邻域为：
N (x) {y |yx| |yijxij|k, y D }
i,j
k为一个正整数。 TSP问题解的另一种表示法为 D={S=(i1,i2,…,in)是1,2,…,n的一个排列}
组合优化问题简介
组合优化问题简介在我们的日常生活和工作中，经常会遇到各种各样需要做出最优选择的情况。
比如，在旅行时规划最佳路线，以使花费的时间和费用最少；在生产线上安排工序，以提高生产效率和降低成本；在物流运输中选择最优的配送方案，以减少运输时间和成本等等。
这些问题都属于组合优化问题。
组合优化问题是一类在离散的、有限的可行解集合中，寻找最优解的问题。
这里的“组合”意味着解决方案是由多个元素的组合而成，而“优化”则表示我们要找到其中最好的那个组合。
让我们以一个简单的例子来理解组合优化问题。
假设你要从城市 A 前往城市 C，中间需要经过城市 B。
从 A 到 B 有三条路线可选择，分别需要花费 2 小时、3 小时和 4 小时；从 B 到 C 也有三条路线可选择，分别需要花费 1 小时、2 小时和 3 小时。
那么，要找到从 A 到 C 的最短时间路线，就需要考虑所有可能的组合，即 3×3=9 种组合，然后从中挑选出总时间最短的那一种。
组合优化问题具有一些显著的特点。
首先，可行解的数量通常是有限的，但可能非常庞大。
就像上面的例子，仅仅是两个阶段的选择就有 9 种可能，如果涉及更多的阶段和更多的选择，可行解的数量会呈指数级增长，这使得直接枚举所有可能的解变得非常困难，甚至在计算上是不可行的。
其次，组合优化问题的目标函数通常是明确的。
在上述例子中，目标就是找到从 A 到 C 的总时间最短的路线，这个目标是清晰可度量的。
再者，很多组合优化问题具有实际的应用背景和重要的经济价值。
例如，在资源分配问题中，如何将有限的资源分配给不同的项目或任务，以实现最大的效益；在网络设计中，如何规划网络拓扑结构，以最小化建设成本和提高网络性能；在排班问题中，如何安排员工的工作时间表，以满足业务需求并减少人力成本等。
常见的组合优化问题包括旅行商问题（TSP）、背包问题、装箱问题、指派问题等。
旅行商问题是一个经典的组合优化问题。
假设有一个旅行商要访问n 个城市，每个城市只能访问一次，最后回到出发城市。
组合优化
4 组合优化组合优化问题在实践中有着广泛的应用，同时也是计算机科学中的重要研究课题。
本章对于八皇后问题、SAT 问题、装箱问题、背包问题及TSP 问题等五个经典的组合优化问题，给出其定义、串行算法描述、并行算法描述以及并行算法的MPI 源程序。
1.1 八皇后问题1.1.1 八皇后问题及其串行算法所谓八皇后问题（Eight Queens Problem ），是在8*8格的棋盘上，放置8个皇后。
要求每行每列放一个皇后,而且每一条对角线和每一条反对角线上最多只能有一个皇后，即对同时放置在棋盘的任意两个皇后11(,)i j 和22(,)i j ，不允许1212()()i i j j -=-或者1122()()i j i j +=+的情况出现。
八皇后问题的串行解法为如下的递归算法： 算法16.1 八皇后问题的串行递归算法/* 从chessboard 的第row 行开始放置皇后 */ procedure PlaceQueens(chessboard, row) Beginif row > 8 thenOutputResult(chessboard) /* 结束递归并输出结果 */ else for col = 1 to 8 do /* 判断是否有列、对角线或反对角线冲突 */（1）no_collision = true （2）i = 1（3）while no_collision and i < row do（3.1）if collides(i, chessboard[i], row, col) thenno_collision = falseend if （3.2）i = i + 1 end while （4）if no_collision then（4.1）chessboard[row] = col /* 在当前位置放置一个皇后 */（4.2）go(step + 1, place) /* 递归地从下一行开始放置皇后 */end ifend for end ifEnd /* PlaceQueens */1.1.2八皇后问题的并行算法该算法是将八皇后所有可能的解置于相应的棋盘上，主进程负责生成初始化的棋盘，并将该棋盘发送到某个空闲的从进程，由该从进程求出该棋盘上满足初始化条件的所有的解。
组合优化问题
组合优化问题在我们的日常生活和工作中，常常会遇到各种各样需要做出最优选择的情况。
比如，在安排旅行路线时，如何以最短的时间和最少的费用游览最多的景点；在生产线上，如何安排工人的工作任务，以最大化生产效率；在物流配送中，怎样规划车辆的行驶路线，使得运输成本最低。
这些问题都属于组合优化问题。
组合优化问题是一类在离散的、有限的可行解集合中，寻找最优解的问题。
这里的“组合”指的是可行解通常是由多个元素组合而成，而“优化”则意味着我们要找到其中最好的那个解，也就是使得某个目标函数达到最大值或最小值的解。
让我们以一个简单的例子来理解组合优化问题。
假设有一家快递公司，需要为快递员规划送货路线。
公司有 5 个送货地点，分别是 A、B、C、D、E。
每个地点之间的距离已知，快递员需要从公司出发，访问所有地点并最终返回公司。
那么，如何规划路线才能使得总行程最短呢？这就是一个典型的组合优化问题。
在这个例子中，可能的路线组合数量是非常庞大的。
如果我们简单地列举所有可能的路线，然后计算每条路线的长度，最后找出最短的那条，这种方法在送货地点数量较少时或许可行，但当送货地点数量增加时，计算量会呈指数级增长，很快就变得无法处理。
组合优化问题具有一些显著的特点。
首先，可行解的数量通常是有限的，但可能非常巨大。
这就给寻找最优解带来了巨大的挑战。
其次，目标函数通常是复杂的，可能不是简单的线性函数，而是包含了各种约束条件和复杂的关系。
再者，组合优化问题的解空间往往是不连续的，这与连续优化问题有很大的不同。
解决组合优化问题的方法有很多种。
其中，精确算法能够保证找到问题的最优解，但对于大规模的问题，计算时间往往过长。
常见的精确算法包括分支定界法和动态规划法。
分支定界法通过不断地分支和界定可行解的范围，逐步缩小搜索空间，最终找到最优解。
动态规划法则是将复杂的问题分解为多个子问题，并通过保存子问题的解来避免重复计算。
然而，在实际应用中，由于精确算法的计算复杂性，我们往往更多地使用启发式算法和元启发式算法来求解组合优化问题。
组合优化
组合优化组合（最）优化问题是最优化问题的一类。
最优化问题似乎自然地分成两类：一类是连续变量的问题，另一类是离散变量的问题。
具有离散变量的问题，我们称它为组合的。
在连续变量的问题里，一般地是求一组实数，或者一个函数；在组合问题里，是从一个无限集或者可数无限集里寻找一个对象——典型地是一个整数，一个集合，一个排列，或者一个图。
一般地，这两类问题有相当不同的特色，并且求解它们的方法也是很不同的。
概念定义编辑组合优化（Combinatorial Optimization）问题的目标是从组合问题的可行解集中求出最优解，通常可描述为：令Ω={s1，s2，…，sn}为所有状态构成的解空间，C(si)为状态si对应的目标函数值，要求寻找最优解s*，使得对于所有的si∈Ω，有C(s*)=minC(si)。
组合优化往往涉及排序、分类、筛选等问题，它是运筹学的一个重要分支。
问题分类编辑典型的组合优化问题有：旅行商问题（Traveling Salesman Problem－TSP）；加工调度问题（Scheduling Problem，如Flow-Shop，Job-Shop）；0-1背包问题（Knapsack Problem）；装箱问题（Bin Packing Problem）；图着色问题（Graph Coloring Problem）；聚类问题（Clustering Problem）等。
这些问题描述非常简单，并且有很强的工程代表性，但最优化求解很困难，其主要原因是求解这些问题的算法需要极长的运行时间与极大的存储空间，以致根本不可能在现有计算机上实现，即所谓的“组合爆炸”。
正是这些问题的代表性和复杂性激起了人们对组合优化理论与算法的研究兴趣。
组合优化
组合优化问题一个通俗的定义：所谓组合优化，是指在离散的、有限的数学结构上，寻找一个（或一组）满足给定约束条件并使其目标函数值达到最大或最小的解。
—般来说，组合优化问题通常带有大量的局部极值点，往往是不可微的、不连续的、多维的、有约束条件的、高度非线性的NP完全（难）问题，因此，精确地求解组合优化问题的全局最优解的“有效”算法一般是不存在的。
组合优化问题集覆盖问题（set-covering problem）装箱问题（bin-packing problem）背包问题（knapsack problem）指派问题（assignment problem）旅行商问题（traveling salesman problem）影片递送问题（film delivery problem）最小生成树问题（minimum span tree problem） 图划分问题（graph partitioning problem）作业调度问题（job-shop scheduling problem）组合优化问题组合优化问题——装箱问题货运装箱问题截铜棒问题布匹套裁问题。
装箱问题属于NP－难问题组合优化问题——背包问题0/1背包问题：给出几个体积为S 1，S 2，…，S n 的物体和容量为C 的背包；要求找出n 个物件的一个子集使其尽可能多地填满容量为C 的背包。
数学形式：最大化满足∑=n i i i X S 1,1C X S ni i i≤∑=组合优化问题——背包问题广义背包问题：输入由背包容积C和两个向量：物品体积S＝(S1，S2，…，Sn)和物品价值P＝(P1，P2，…，Pn)组成。
设X为一整数集合（物品的标识），X＝1，2，3，…，n，T为X的子集，则问题就是找出满足约束条件，并使总价值最大的子集T。
数学形式：最大化满足∑=niiiXP1,1CXSniii≤∑=niXi≤≤∈1},1,0{组合优化问题——背包问题在应用问题中，设S的元素是n项经营活动各自所需的资源消耗，C是所能提供的资源总量，P的元素是人们从每项经营活动中得到的利润或收益，则背包问题就是在资源有限的条件下，追求总的最大收益的资源有效分配问题。
组合优化问题的分析与求解
组合优化问题的分析与求解在我们的日常生活和工作中，经常会遇到各种各样需要做出最优决策的情况。
比如，物流运输中如何规划路线以最小化成本，生产线上如何安排工序以最大化效率，资源分配中如何分配有限的资源以满足最大的需求等等。
这些问题都属于组合优化问题，它们的共同特点是在有限的可行解集合中，寻找一个最优的解。
组合优化问题是一个具有广泛应用和重要意义的研究领域。
它不仅在数学、计算机科学、运筹学等学科中有着深厚的理论基础，还在工程、管理、经济等实际领域中发挥着重要的作用。
解决组合优化问题，可以帮助我们提高生产效率、降低成本、优化资源配置，从而实现更好的经济效益和社会效益。
那么，什么是组合优化问题呢？简单来说，组合优化问题就是在给定的约束条件下，从有限个可行解中找出一个最优解的问题。
这些可行解通常是由一些离散的元素组成，比如整数、集合、排列等。
而最优解则是指在满足约束条件的前提下，使得某个目标函数达到最大值或最小值的解。
组合优化问题的一个典型例子是旅行商问题（Travelling Salesman Problem，TSP）。
假设有一个旅行商要访问 n 个城市，每个城市只能访问一次，最后要回到出发城市。
已知城市之间的距离，那么如何规划旅行路线，使得旅行的总距离最短？这个问题看似简单，但实际上是一个非常复杂的组合优化问题，因为可能的路线数量随着城市数量的增加呈指数增长。
再比如背包问题（Knapsack Problem）。
有一个背包，其容量有限，同时有一系列物品，每个物品有一定的价值和重量。
如何选择物品放入背包，使得背包中物品的总价值最大，同时不超过背包的容量限制？这也是一个常见的组合优化问题。
为了求解组合优化问题，人们提出了许多方法。
其中，精确算法是一种能够保证找到最优解的方法，但它们通常只适用于规模较小的问题。
例如，分支定界法就是一种常见的精确算法。
它通过不断地将问题分解为子问题，并对每个子问题进行评估和剪枝，逐步缩小搜索范围，最终找到最优解。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
无约束优化问题
用Matlab解无约束优化问题
1. 一 元 函 数 无 约 束 优 化 问 题 :
min f（ x）
x1 x x 2
常用格式如下： （1）x= fminbnd (fun,x1,x2) （2）x= fminbnd (fun,x1,x2 ，options) （3）[x，fval]= fminbnd（...） （4）[x，fval，exitflag]= fminbnd（...） （5）[x，fval，exitflag，output]= fminbnd（...） 其中（3）、（4）、（5）的等式右边可选用（1）或 （2）的等式右边。 函数fminbnd的算法基于黄金分割法和二次插值法，它 要求目标函数必须是连续函数，并可能只给出局部最优解。
4. 用fminunc 函数 (1)输入命令 [x,fval,exitflag,output]=fminunc(f, [-1.2 2]) 运行结果 x =1.0000 1.0000 fval =9.5505e-008 exitflag = 1 output = iterations: 24 funcCount: 152 stepsize: 1.3832 firstorderopt: 0.0375 algorithm: 'medium-scale: Quasi-Newton line search'
3、运行结果: x= 0.5000 -1.0000 y = 1.3029e-10
例4
R o s e n b r o c k 函 数 f （ x 1 ， x 2 ） = 1 0 0 （ x 2- x 1 ） + ( 1 - x 1) 不同算法（搜索方向和步长搜索）求数值最优解. 初 值 选 为 x0=（ -1.2 , 2） .
例3 min f(x)=(4x12+2x22+4x1x2+2x2+1)*exp(x1)
1、编写M-文件 fun1.m: function f = fun1 (x) f = exp(x(1))*(4*x(1)^2+2*x(2)^2+4*x(1)*x(2)+2*x(2)+1); 2、输入M文件wliti3.m如下: x0 = [-1, 1]; x=fminunc(‘fun1’,x0); y=fun1(x)
2
2
2
的 最 优 解 （ 极 小 ） 为 x*=（ 1， 1） 极 小 值 为 f*=0.试 用 ，
1.为获得直观认识，先画出 Rosenbrock 函数的三维图形, 输入以下命令： [x,y]=meshgrid(-2:0.1:2,-1:0.1:3); z=100*(y-x.^2).^2+(1-x).^2; mesh(x,y,z)
Rosenbrock函数不同算法的计算结果
搜索方向 步长搜索 混合二、三次插值 BFGS 三次插值 混合二、三次插值 DFP 三次插值 (0.8994， 0.7995) ( - 1 . 1 6 3 4 ，1 . 3 6 1 0 ) 最速下降 混合二、三次插值 (0.9446， 0.8920) （ 0.9959， 0.9916 最优解 (0.9996， 0.9992) 最优值 2.3109 迭代次数 155
2. 画出 Rosenbrock 函数的等高线图,输入命令： contour(x,y,z,20) hold on plot(-1.2,2,' o '); text(-1.2,2,'start point') plot(1,1,'o') text(1,1,'solution')
3.用fminsearch函数求解
p 1， q 1， x 1 分 别 表 示 甲 的 价 格 、 成 本 、 销 量 ； p 2， q 2， x 2 分 别 表 示 乙 的 价 格 、 成 本 、 销 量 ； a ij， b i ， λ
,ci（ i， j = 1， 2） 是 待 定 系 数 .
基本假设
1．价格与销量成线性关系
利润既取决于销量和价格，也依赖于产量和成本。按照市场规律， 甲 的 价 格 p1 会 随 其 销 量 x1 的 增 长 而 降 低 ， 同 时 乙 的 销 量 x2 的 增 长 也 会使甲的价格有稍微的下降，可以简单地假设价格与销量成线性关系， 即：
5
1.9151
202
10
10
可以看出，最速下降法的结果最差.因为最速下降法 特别不适合于从一狭长通道到达最优解的情况.
例5
产销量的最佳安排
某厂生产一种产品有甲、乙两个牌号，讨论在产销 平衡的情况下如何确定各自的产量，使总利润最大. 所 谓产销平衡指工厂的产量等于市场上的销量.
符号说明
z ( x 1 ,x 2 ) 表 示 总 利 润 ；
2、多元函数无约束优化问题
标准型为：min F(X)
命令格式为: （1）x= fminunc（fun,X0 ）；或x=fminsearch（fun,X0 ） （2）x= fminunc（fun,X0 ，options）； 或x=fminsearch（fun,X0 ，options） （3）[x，fval]= fminunc（...）； 或[x，fval]= fminsearch（...） （4）[x，fval，exitflag]= fminunc（...）； 或[x，fval，exitflag]= fminsearch （5）[x，fval，exitflag，output]= fminunc（...）； 或[x，fval，exitflag，output]= fminsearch（...）
2
建 立 无 约 束 优 化 模 型 为 ： m i n y = - ( 3 2 x ) x ， 0 < x < 1 .5
2
先编写M文件fun0.m如下: function f=fun0(x) f=-(3-2*x).^2*x; 主程序为wliti2.m: [x,fval]=fminbnd('fun0',0,1.5); xmax=x fmax=-fval 运算结果为: xmax = 0.5000,fmax =2.0000.即剪掉的正方形的 边长为0.5米时水槽的容积最大,最大容积为2立方米.
p 1 = b 1 - a 1 1 x 1 - a 12 x 2 ， b 1 ， a 11 ， a 12 > 0 ， 且 a 11 > a 12 ；
同 理 ， p 2 = b 2 - a 2 1 x 1 - a 2 2 x 2 ， b 2 ， a 21 ， a 22 > 0 ， 且 a 22 > a 2 1 .
典型的组合优化问题有旅行商问题、加 工调度问题、0-1背包问题、装箱问题、 图着色问题等。 组合优化问题的数学模型为：
m in f ( x ) s .t . g ( x ) 0 x D
例 1
求
f = 2e
x
sin x 在 0<x<8 中 的 最 小 值 与 最 大 值
主程序为wliti1.m: f='2*exp(-x).*sin(x)'; fplot(f,[0,8]); %作图语句 [xmin,ymin]=fminbnd (f, 0,8) f1='-2*exp(-x).*sin(x)'; [xmax,ymax]=fminbnd (f1, 0,8)
说明: •fminsearch是用单纯形法寻优. fminunc的算法见以下几点说明： [1] fminunc为无约束优化提供了大型优化和中型优化算法。 由options中的参数LargeScale控制： LargeScale=’on’(默认值),使用大型算法 LargeScale=’off’(默认值),使用中型算法 [2] fminunc为中型优化算法的搜索方向提供了4种算法，由 options中的参数HessUpdate控制： HessUpdate=’bfgs’（默认值），拟牛顿法的BFGS公式； HessUpdate=’dfp’，拟牛顿法的DFP公式； HessUpdate=’steepdesc’，最速下降法 [3] fminunc为中型优化算法的步长一维搜索提供了两种算法， 由options中参数LineSearchType控制： LineSearchType=’quadcubic’(缺省值)，混合的二次和三 次多项式插值； LineSearchType=’cubicpoly’，三次多项式插 •使用fminunc和 fminsearch可能会得到局部最优解.
模型求解
1.建立M-文件fun.m: function f = fun(x) y1=((100-x(1)- 0.1*x(2))-(30*exp(-0.015*x(1))+20))*x(1); y2=((280-0.2*x(1)- 2*x(2))-(100*exp(-0.02*x(2))+30))*x(2); f=-y1-y2; 2.输入命令: x0=[50,70]; x=fminunc(‘fun’,x0), z=fun(x)
q 2 r2 e
模型建立
总利润为： z(x1,x2)=(p1-q1)x1+(p2-q2)x2 若根据大量的统计数据,求出系数b1=100,a11=1,a12=0.1,b2=280, a21=0.2,a22=2,r1=30,λ 1=0.015,c1=20, r2=100,λ 2=0.02,c2=30,则 问题转化为无约束优化问题：求甲,乙两个牌号的产量x1，x2，使 总利润z最大. 为简化模型,先忽略成本,并令a12=0,a21=0,问题转化为求: z1 = ( b1 - a11x1 ) x1 + ( b2 - a22x2 ) x2 的极值. 显然其解为x1 = b1/2a11 = 50, x2 = b2/2a22 = 70, 我们把它作为原问题的初始值.
输入命令: f='100*(x(2)-x(1)^2)^2+(1-x(1))^2';