最优化理论与方法-第一章
合集下载
最优化理论与方法(南京大学)-lec1-Introduction
☆ Mathematical Programming (Optimization Problem)
• Linear Programming(线性规划) • Nonlinear Programming(非线性规划)
– Unconstrained Problems(无约束最优化方法) – Constrained Problems(约束最优化方法) ☆ Variational Inequality (VI)(变分不等式)
• Monotone VI • Non-monotone VI
5
Optimization Problem
(Mathematical) Optimization Problem
minimize f x subject to gi x bi , i 1,L ,m
g x x1,L , xn : optimization variables (优化变量)
2
Optimization Process
real world problem
analysis
validation, sensitivity analysis
algorithm, model, solution technique
numerical methods
verification 验证
computer implementation
the roads, the travel times between intersections can be considered as
constant, but if the traffic is heavy the travel times can increase
体运行时间) for handling a (long) sequence of tasks(处理一个任务序
• Linear Programming(线性规划) • Nonlinear Programming(非线性规划)
– Unconstrained Problems(无约束最优化方法) – Constrained Problems(约束最优化方法) ☆ Variational Inequality (VI)(变分不等式)
• Monotone VI • Non-monotone VI
5
Optimization Problem
(Mathematical) Optimization Problem
minimize f x subject to gi x bi , i 1,L ,m
g x x1,L , xn : optimization variables (优化变量)
2
Optimization Process
real world problem
analysis
validation, sensitivity analysis
algorithm, model, solution technique
numerical methods
verification 验证
computer implementation
the roads, the travel times between intersections can be considered as
constant, but if the traffic is heavy the travel times can increase
体运行时间) for handling a (long) sequence of tasks(处理一个任务序
最优化理论与方法概述
第一页，编辑于星期五：十点 四分。
1. 最优化问题
最优化问题：求一个一元函数或多元函数的极 值。 在微积分中，我们曾经接触过一些比较简单 的极值问题。下面通过具体例子来看看什么是最 优化问题。
第二页，编辑于星期五：十点 四分。
1.1 最优化问题的例子
例1 对边长为a的正方形铁板，在四个角处剪去相等
、大豆粉的量（磅）。
min Z 0.0164x1 0.0463x2 0.1250x3 s.t. x1 x2 x3 100
0.380 0.380
x1 x1
0.001x2 0.001x2
Байду номын сангаас
0.002x3 0.002x3
0.012 100 0.008100
0.09x2 0.50x3 0.22100
例：求目标函数 f (x) x12 x22 x32 2x1x2 2x2x3 3x3 的梯度和Hesse矩阵。
解：因为
则 又因为：
f X
x1
2
x1
2
x2
f X
x2
2x2
2
x1
2 x3
3
f X 2x1 2x2, 2x2 2x1 2x3 3, 2x3 2x2 T
f X
x3
2
x3
恒有 f x* f x 则称 x*是最优化问题的整体最优解。
定义2：局部最优解：若 x* D，存在某邻域 N ( x*，) 使得对于
一切 x N ( x* ) D ，恒有 f x* f x 则称 x *是最优化问题
的局部最优解。其中 N ( x* ) { x | x x* , 0}
配料
每磅配料中的营养含量
钙
蛋白质
纤维
1. 最优化问题
最优化问题：求一个一元函数或多元函数的极 值。 在微积分中，我们曾经接触过一些比较简单 的极值问题。下面通过具体例子来看看什么是最 优化问题。
第二页，编辑于星期五：十点 四分。
1.1 最优化问题的例子
例1 对边长为a的正方形铁板，在四个角处剪去相等
、大豆粉的量（磅）。
min Z 0.0164x1 0.0463x2 0.1250x3 s.t. x1 x2 x3 100
0.380 0.380
x1 x1
0.001x2 0.001x2
Байду номын сангаас
0.002x3 0.002x3
0.012 100 0.008100
0.09x2 0.50x3 0.22100
例：求目标函数 f (x) x12 x22 x32 2x1x2 2x2x3 3x3 的梯度和Hesse矩阵。
解：因为
则 又因为：
f X
x1
2
x1
2
x2
f X
x2
2x2
2
x1
2 x3
3
f X 2x1 2x2, 2x2 2x1 2x3 3, 2x3 2x2 T
f X
x3
2
x3
恒有 f x* f x 则称 x*是最优化问题的整体最优解。
定义2：局部最优解：若 x* D，存在某邻域 N ( x*，) 使得对于
一切 x N ( x* ) D ，恒有 f x* f x 则称 x *是最优化问题
的局部最优解。其中 N ( x* ) { x | x x* , 0}
配料
每磅配料中的营养含量
钙
蛋白质
纤维
最优化计算方法第1章
路漫漫其悠远
具体内容
• 第一章 绪论 • 第二章 基本概念和理论基础 • 第三章 线性规划 • 第四章 最优化搜索算法结构与一维搜索 • 第五章 无约束最优化方法 • 第六章 约束最优化方法
路漫漫其悠远
教材及主要参考书目
《最优化计算方法》陈开周编，西电出版社 《最优化理论与方法》袁亚湘等编，科学出版社 《最优化理论与算法》陈宝林编，清华大学出版社 《数学规划讲义》马仲蓄等编，人大出版社 《实用线性规划》D.M希梅尔布劳著 《无约束最优化计算方法》邓乃杨等编
可能的方案 追求的目标
最优化就是从所有可能的方 案中选择最合理的一种以达 到最优目标的学科
后者是前者的函数. 如果第一要素与时间无关就称为静态最优化问题，否则 称为动态最优化问题。
本课程主要讨论静态最优化问题。
路漫漫其悠远
历史与现状
• 公元前500年，古希腊在讨论建筑美学中就已发现了长方 形长与宽的最佳比例为1.618,称为黄金分割比。其倒数 至今在优选法中仍得到广泛应用。
由于现实系统的客观物质条件限制，模型必须包括把 决策变量限制在它们可行值之内的约束条件，而这通常是 用约束的数学函数形式来表示的。 目标函数
其作为系统决策变量的一个数学函数来衡量系统的效 率，即系统追求的目标。
路漫漫其悠远
优化模型的分类
根据问题的不同特点分类 无约束最优化问题 约束最优化问题
• 等式约束优化问题
性的。
根据函数性质分类 动态与静态 随机与确定 单目标与多目标
路漫漫其悠远
优化模型的分类
解法的分类 解析方法:利用函数的分析性质去构造迭代公式，使之收敛
到极值点。 直接方法：按一定的数学原理，用尽量少的计算量，直接比
较函数值的大小。
具体内容
• 第一章 绪论 • 第二章 基本概念和理论基础 • 第三章 线性规划 • 第四章 最优化搜索算法结构与一维搜索 • 第五章 无约束最优化方法 • 第六章 约束最优化方法
路漫漫其悠远
教材及主要参考书目
《最优化计算方法》陈开周编，西电出版社 《最优化理论与方法》袁亚湘等编，科学出版社 《最优化理论与算法》陈宝林编，清华大学出版社 《数学规划讲义》马仲蓄等编，人大出版社 《实用线性规划》D.M希梅尔布劳著 《无约束最优化计算方法》邓乃杨等编
可能的方案 追求的目标
最优化就是从所有可能的方 案中选择最合理的一种以达 到最优目标的学科
后者是前者的函数. 如果第一要素与时间无关就称为静态最优化问题，否则 称为动态最优化问题。
本课程主要讨论静态最优化问题。
路漫漫其悠远
历史与现状
• 公元前500年，古希腊在讨论建筑美学中就已发现了长方 形长与宽的最佳比例为1.618,称为黄金分割比。其倒数 至今在优选法中仍得到广泛应用。
由于现实系统的客观物质条件限制，模型必须包括把 决策变量限制在它们可行值之内的约束条件，而这通常是 用约束的数学函数形式来表示的。 目标函数
其作为系统决策变量的一个数学函数来衡量系统的效 率，即系统追求的目标。
路漫漫其悠远
优化模型的分类
根据问题的不同特点分类 无约束最优化问题 约束最优化问题
• 等式约束优化问题
性的。
根据函数性质分类 动态与静态 随机与确定 单目标与多目标
路漫漫其悠远
优化模型的分类
解法的分类 解析方法:利用函数的分析性质去构造迭代公式，使之收敛
到极值点。 直接方法：按一定的数学原理，用尽量少的计算量，直接比
较函数值的大小。
最优化设计 课后习题答案
最优化方法-习题解答张彦斌计算机学院2014年10月20日Contents1第一章最优化理论基础-P13习题1(1)、2(3)(4)、3、412第二章线搜索算法-P27习题2、4、643第三章最速下降法和牛顿法P41习题1，2，374第四章共轭梯度法P51习题1，3，6(1)105第五章拟牛顿法P73-2126第六章信赖域方法P86-8147第七章非线性最小二乘问题P98-1，2，6188第八章最优性条件P112-1，2,5,6239第九章罚函数法P132，1-(1)、2-(1)、3-(3),62610第十一章二次规划习题11P178-1（1），5291第一章最优化理论基础-P13习题1(1)、2(3)(4)、3、4 1.验证下列各集合是凸集:(1)S={(x1,x2)|2x1+x2≥1,x1−2x2≥1};需要验证：根据凸集的定义，对任意的x(x1,x2),y(y1,y2)∈S及任意的实数λ∈[0,1],都有λx+(1−λ)y∈S.即,(λx1+(1−λ)y1,λx2+(1−λ)y2)∈S证：由x(x1,x2),y(y1,y2)∈S得到，{2x1+x2≥1,x1−2x2≥12y1+y2≥1,y1−2y2≥1(1)1把(1)中的两个式子对应的左右两部分分别乘以λ和1−λ,然后再相加，即得λ(2x1+x2)+(1−λ)(2y1+y2)≥1,λ(x1−2x2)+(1−λ)(y1−2y2)≥1(2)合并同类项，2(λx1+(1−λ)y1)+(λx2+(1−λ)y2)≥1,(λx1+(1−λ)y1)−2(λx2+(1−λ)y2)≥1(3)证毕.2.判断下列函数为凸（凹）函数或严格凸（凹）函数：(3)f(x)=x21−2x1x2+x22+2x1+3x2首先二阶导数连续可微，根据定理1.5，f在凸集上是（I）凸函数的充分必要条件是∇2f(x)对一切x为半正定；（II）严格凸函数的充分条件是∇2f(x)对一切x为正定。
最优化理论与方法电子科技大学
说明: 将例2的 min 改为 max, 即 min(-2x1 - 2x2 ). 此目标 函数的下降方向与例2的相反, 由图可知此线性规划没有 最优解.
最优化理论与方法电子科技大学
例3 将例1的目标函数改为 f(x)= -3x1 -2x2 ,而约束条件
不变, 即求
f(x)= -3x1 - 2x2
解 可行集如图:
最优化理论与方法电子科技大学
(2) 转变“≤”约束为等式约束 引入 xn+p ≥0 , 使
称变量 xn+p为松驰变量. (3) 转变“≥”约束为等式约束
引入 xn+q ≥0 , 使
称变量 xn+q为剩余变量.
最优化理论与方法电子科技大学
(4) 消除自由变量
标准形式要求 xi ≥0, 模型中如果出现 xi 可任取值, 则称 xi 为自由变量, 此时可作如下处理:
最优化理论与方法电子科技大学
再绘出目标函数的等值线.当目标函数值为z0时, 其等值线为 –x1 - 2x2 = z0
这是一条直线, 当 z0 取不同值时, 可得到其他等值线. 因具有相同的斜率, 所以等值线是彼此平行的直线. 例如, 当z0=0时, 得一通过坐标原点的等值线
–x1 - 2x2 = 0
最优化理论与方法电子科技大学
二． 最优化问题的数学模型与分类
1. 根据问题不同特点分类
( 1 ) 无约束极小化问题 求 x =(x1，x2，…，xn)T 使函数 f(x) 达到最小, 记为
mxiRnn f (x) 或 min f (x) （2）约束极小化问题
记为
min f (x)
s.t. g i (x) 0, i = 1,2, …, m hj(x) = 0, j = 1, 2, …, n
最优化理论与方法电子科技大学
例3 将例1的目标函数改为 f(x)= -3x1 -2x2 ,而约束条件
不变, 即求
f(x)= -3x1 - 2x2
解 可行集如图:
最优化理论与方法电子科技大学
(2) 转变“≤”约束为等式约束 引入 xn+p ≥0 , 使
称变量 xn+p为松驰变量. (3) 转变“≥”约束为等式约束
引入 xn+q ≥0 , 使
称变量 xn+q为剩余变量.
最优化理论与方法电子科技大学
(4) 消除自由变量
标准形式要求 xi ≥0, 模型中如果出现 xi 可任取值, 则称 xi 为自由变量, 此时可作如下处理:
最优化理论与方法电子科技大学
再绘出目标函数的等值线.当目标函数值为z0时, 其等值线为 –x1 - 2x2 = z0
这是一条直线, 当 z0 取不同值时, 可得到其他等值线. 因具有相同的斜率, 所以等值线是彼此平行的直线. 例如, 当z0=0时, 得一通过坐标原点的等值线
–x1 - 2x2 = 0
最优化理论与方法电子科技大学
二． 最优化问题的数学模型与分类
1. 根据问题不同特点分类
( 1 ) 无约束极小化问题 求 x =(x1，x2，…，xn)T 使函数 f(x) 达到最小, 记为
mxiRnn f (x) 或 min f (x) （2）约束极小化问题
记为
min f (x)
s.t. g i (x) 0, i = 1,2, …, m hj(x) = 0, j = 1, 2, …, n
最优化方法 1第一章
xyz 2 (3a yz ) 0， 2 xyz 2 (3 a zx) 0， 2 xyz 2 (3 a xy ) 0．
2 2
比较以上三式可得 3a yz 3a zx 3a xy 从而x=y=z=a，右侧面积固定的长方 体的最大体积客观存在，因此侧面积固定 的长方体中以正方体体积最大．
j 1
18
按经典极值问题解法可能出现不能解决的情况：
（1）当变量个数增加且方程组又是非线性，求解此方程 只有在相当特殊情况下才能人工解出．通常高等数学中的 求极值问题的变量个数一般不超过三个． （2）当限制条件出现不等式，无论变量数多少，按经典 极值方法求解根本无法解决． 要解决上述问题，直到本世纪50年代最优化理论建立 以及电子计算机的迅速发展才为求解各种最优化问题提供 了雄厚的基础和有效手段．而且最优化方法作为一门崭新 的应用学科，有关理论和方法有待于进一步发展与完善。
解设长方体的长宽高分别为体积为则依题意知体积为限制条件为由拉格朗日乘数法考虑函数xyzvvfxyzxyz??2260xyzyzxzxya??????62222?13令62222axyzxyzxyzzyxf??????202020xyzfyzyzfxzzxfxyxy??????????????????由题意可知应是正数由此将上面三个等式分别乘以并利用条件得到222230230230xyzayzxyzazxxyzaxy?????????????????
2 x1 5 x 2 40
x1 0 ， x2 0
即求
max f ( x1 , x 2 ) x1 x 2 ，
2 x1 5 x2 40， x1 0，x2 0．
16
第一个例子代表无约束极值问题： 一般地可表示为 min f ( x1 , x 2 , , x n )或 max f ( x1 , x 2 , , x n ) n 这里 f ( x1 , x 2 , , x n ) 是定义在 R 上的可微函数． 求极值的方法是从如下含有n个未知数的非线性方程组
2 2
比较以上三式可得 3a yz 3a zx 3a xy 从而x=y=z=a，右侧面积固定的长方 体的最大体积客观存在，因此侧面积固定 的长方体中以正方体体积最大．
j 1
18
按经典极值问题解法可能出现不能解决的情况：
（1）当变量个数增加且方程组又是非线性，求解此方程 只有在相当特殊情况下才能人工解出．通常高等数学中的 求极值问题的变量个数一般不超过三个． （2）当限制条件出现不等式，无论变量数多少，按经典 极值方法求解根本无法解决． 要解决上述问题，直到本世纪50年代最优化理论建立 以及电子计算机的迅速发展才为求解各种最优化问题提供 了雄厚的基础和有效手段．而且最优化方法作为一门崭新 的应用学科，有关理论和方法有待于进一步发展与完善。
解设长方体的长宽高分别为体积为则依题意知体积为限制条件为由拉格朗日乘数法考虑函数xyzvvfxyzxyz??2260xyzyzxzxya??????62222?13令62222axyzxyzxyzzyxf??????202020xyzfyzyzfxzzxfxyxy??????????????????由题意可知应是正数由此将上面三个等式分别乘以并利用条件得到222230230230xyzayzxyzazxxyzaxy?????????????????
2 x1 5 x 2 40
x1 0 ， x2 0
即求
max f ( x1 , x 2 ) x1 x 2 ，
2 x1 5 x2 40， x1 0，x2 0．
16
第一个例子代表无约束极值问题： 一般地可表示为 min f ( x1 , x 2 , , x n )或 max f ( x1 , x 2 , , x n ) n 这里 f ( x1 , x 2 , , x n ) 是定义在 R 上的可微函数． 求极值的方法是从如下含有n个未知数的非线性方程组
最优化理论与算法(第一章)
最优化理论与算法（数学专业研究生）第一章 引论§1.1 引言一、历史与现状最优化理论最早可追溯到古老的极值问题，但成为一门独立的学科则是在20世纪四十年代末至五十年代初。
其奠基性工作包括Fritz John 最优性条件（1948），Kuhn-Tucker 最优性条件（1951），和Karush 最优性条件(1939)。
近几十年来最优化理论与算法发展十分迅速，应用也越来越广泛。
现在已形成一个相当庞大的研究领域。
关于最优化理论与方法，狭义的主要指非线性规划的相关内容，而广义的则涵盖：线性规划、非线性规划、动态规划、整数规划、几何规划、多目标规划、随机规划甚至还包括变分、最优控制等动态优化内容。
本课程所涉及的内容属于前者。
二、最优化问题的一般形式 1、无约束最优化问题min ()nx Rf x ∈ （1.1） 2、约束最优化问题min ()()0, ..()0, i i f x c x i E s t c x i I=∈⎧⎨≥∈⎩ （1.2）这里E 和I 均为指标集。
§1.2数学基础一、 范数 1. 向量范数max i x x ∞= （l ∞范数） （1.3）11ni i x x ==∑ （1l 范数） （1.4）12221()ni i x x ==∑ （2l 范数） （1.5）11()np pi pi xx ==∑ （p l 范数） （1.6）12()TAxx Ax = （A 正定） （椭球范数） （1.7）事实上1－范数、2－范数与∞-范数分别是 p －范数当 p ＝1、2和p →∞时情形。
2．矩阵范数定义1.1 方阵A 的范数是指与A 相关联并记做A 的一个非负数，它具有下列性质： ① 对于0A ≠都有0A >，而0A =时0A =； ② 对于任意k R ∈，都有kA k A =； ③ A B A B +≤+； ④ AB A B ≤； 若还进一步满足： ⑤ pp AxA x ≤则称之为与向量范数p相协调（相容）的方阵范数。
最优化方法第一章
19
最优化的数学模型的一般形式:
f ( x) min s.t. ci ( x) 0 ci ( x ) 0 i 1, , m i m 1, , p
T n
(1.1.1)
其中
x ( x1 , x 2 , , x n ) R f : R n R1 ci : R R
分析：在长度确定的原料上截取三种不同规格的圆钢,
可
以归纳出8种不同的下料方案：
圆钢（米） Ⅰ Ⅱ Ⅲ Ⅳ Ⅴ Ⅵ Ⅶ Ⅶ
2．9
2．1 1．5 料头（米）
1
0 3 0
2
0 1 0.1
0
2 2 0.2
1
2 0 0.3
0
1 3 0.8
1
1 1 0.9
0
3 0 1.１
0
0 4 1.4
问题归纳为如何混合使用这8种不同的下料方案, 来制造100 套钢架, 且要使剩余的余料总长为最短.
15
原料
化学成分 A B C 单位成本（元）
化学成分含量（%） 产品中化学成分的最低含量（%）
甲 12 2 3 ３ 乙 3 3 15 ２ 4 2 5
数学模型：
min z 3 x1 2 x2 x1 x2 1 12 x 3 x 4 2 1 s.t . 2 x1 3 x2 2 3 x 15 x 0 2 1 x1 0, x2 0
4
其它参考书： (5)卢名高、刘庆吉编著, 《最优化应用技术》, 石油 工业出版社,2002 (6)唐焕文, 秦学志,《实用最优化方法》, 大连理工大 学出版社, 2004 (7)钱颂迪, 《运筹学》, 清华大学出版社, 1990 (8)解可新、韩健, 《最优化方法》, 天津大学出版社, 2004
最优化的数学模型的一般形式:
f ( x) min s.t. ci ( x) 0 ci ( x ) 0 i 1, , m i m 1, , p
T n
(1.1.1)
其中
x ( x1 , x 2 , , x n ) R f : R n R1 ci : R R
分析：在长度确定的原料上截取三种不同规格的圆钢,
可
以归纳出8种不同的下料方案：
圆钢（米） Ⅰ Ⅱ Ⅲ Ⅳ Ⅴ Ⅵ Ⅶ Ⅶ
2．9
2．1 1．5 料头（米）
1
0 3 0
2
0 1 0.1
0
2 2 0.2
1
2 0 0.3
0
1 3 0.8
1
1 1 0.9
0
3 0 1.１
0
0 4 1.4
问题归纳为如何混合使用这8种不同的下料方案, 来制造100 套钢架, 且要使剩余的余料总长为最短.
15
原料
化学成分 A B C 单位成本（元）
化学成分含量（%） 产品中化学成分的最低含量（%）
甲 12 2 3 ３ 乙 3 3 15 ２ 4 2 5
数学模型：
min z 3 x1 2 x2 x1 x2 1 12 x 3 x 4 2 1 s.t . 2 x1 3 x2 2 3 x 15 x 0 2 1 x1 0, x2 0
4
其它参考书： (5)卢名高、刘庆吉编著, 《最优化应用技术》, 石油 工业出版社,2002 (6)唐焕文, 秦学志,《实用最优化方法》, 大连理工大 学出版社, 2004 (7)钱颂迪, 《运筹学》, 清华大学出版社, 1990 (8)解可新、韩健, 《最优化方法》, 天津大学出版社, 2004
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
通常以第 c 层意义的正确性作为衡 量一个算法是否合格的标准。
2. 可读性
算法另一方面，晦涩难读的程序 易于隐藏较多错误而难以调试；
3．健壮性
当输入的数据非法时，算法应当恰当 地作出反映或进行相应处理，而不是产 生莫名奇妙的输出结果。并且，处理出 错的方法不应是中断程序的执行，而应 是返回一个表示错误或错误性质的值， 以便在更高的抽象层次上进行处理。
4．有输入 作为算法加工对象的量值， 通常体现为算法中的一组变量。有些输入 量需要在算法执行过程中输入，而有的算 法表面上可以没有输入，实际上已被嵌入 算法之中；
5．有输出 它是一组与“输入”与 确 定关系的量值，是算法进行信息加 工后得到的结果，这种确定关系即 为算法的功能。
二、算法设计的原则 设计算法时，通常应考虑达到以下目标：
1.3 计算复杂性的概念
算法计算量的度量之例——TSP枚举法
计算量的统计： 城市数n 第一城市为始终点，计算一条路径（1,i2, ,in,1）长度的基本运算 为两两城市间距离的n个数求和,共有(n 1)!条路径,
求和运算次数为：(n 1)!n n!;
枚举所有路径进行(n 1)!次比较可得最优路径,基本计算总次数为
计算 1 24 10 4.3 4.9 时间 sec sec min hour day
29 30 31
136.5 10.8 325 day year year
随城市增多，计算时间增加很快。 到31个城市时，要计算325年。
35
1.3 计算复杂性的概念
描述算法的好坏——计算复杂性—— 讨论计算时间与问题规模之间的关系
最优化理论与方法
（现代优化计算方法）
1
内容
概论 递归、分治、贪心、回溯 禁忌搜索、爬山算法 模拟退火、蚁群算法 遗传算法 神经网络 元胞自动机 随机算法
2
背景
传统实际问题的特点 连续性问题——主要以微积分为基础，且问题规模较小
传统的优化方法 追求准确——精确解 理论的完美——结果漂亮 主要方法：线性与非线性规划、动态规划、多目标规划、整 数规划等；排队论、库存论、对策论、决策论等。
数学模型：
min f (x) s.t.g(x) 0,
x D.
目标函数 约束函数 有限点集, 决策变量
7
1.1 组合优化问题
组合优化问题的三参数表示：
(D, F, f ) D :决策变量定义域
F x | x D, g(x) 0,可行域,有限点集
f :目标函数 x F :可行解（点）
s.t. xij 1.i 1, 2, , n, j 1
n
xij 1. j 1, 2, , n,
i 1
xij s 1, 2 s n 1, s 1, 2,
i, js
xij 0,1, i, j 1, 2, , n, i j.
其中
(1.4) 总路长 (1.5) 只从城市i出来一次 (1.6) 只走入城市j一次
现代优化方法 追求满意——近似解 实用性强——解决实际问题
现代优化算法的评价方法 算法复杂性
4
现代优化(启发式)方法种类
禁忌搜索（tabu search） 模拟退火（simulated annealing） 遗传算法（genetic algorithms） 神经网络（neural networks） 蚁群算法（群体（群集）智能，Swarm
其中 B : 装下全部物品需要的箱子， 1, 第i物品装在第b个箱子，
xib 0，第i物品不装在第b个箱子.
14
1.1 组合优化问题
例4 约束机器排序问题（bin packing） n 个加工量为{di|i = 1, 2, ⋯, n} 的产品在
一台机器上加工,机器在第t个时段的工作 能力为ct , 求完成所有产品加工的最少时 段数。
Intelligence） 拉格朗日松弛算法（lagrangean relaxation）
5
1 现代优化计算方法概述
1.1 组合优化问题 1.2 算法 1.3 计算复杂性的概念 1.4 启发式算法
6
1.1 组合优化问题
组合优化（combinatorial optimization）:解决离散问 题的优化问题——运筹学分支。通过数学方法的研究 去寻找离散事件的最优编排、分组、次序或筛选等。
4．高效率与低存储量需求
通常，效率指的是算法执行 时间；存储量指的是算法执行过程 中所需的最大存储空间。两者都与 问题的规模有关。
算法的描述方法.
（1）自然语言 （2）流程图 （3）程序设计语言
例. 求正整数m、n的最大公因数。 解一.
（1）求余数：用m除以n，得余数r(0≤r﹤n)。
（2） 判断余数：若余数r=0，输出n，结束。 否则，转（3）。
9
1.1 组合优化问题
数学模型：
n
max ci xi i 1
(1.1)总价值
n
s.t. ai xi b, i 1
xi 0,1, i 1,, n.
(1.2)包容量限制 (1.3)决策变量
其中xi
1，装第i物品 0，不装第i物品
D 0,1n.
10
1.1 组合优化问题
1．有穷性 对于任意一组合法输入值， 在执行有穷步骤之后一定能结束，即： 算法中的每个步骤都能在有限时间内完成；
2．确定性 对于每种情况下所应执行的 操作，在算法中都有确切的规定，使算法 的执行者或阅读者都能明确其含义及如何 执行。并且在任何条件下，算法都只有一 条执行路径；
3．可行性 算法中的所有操作都必须足 够基本，都可以通过已经实现的基本操作 运算有限次实现之；
总计算量:n! (n 1)!
43
1.3 计算复杂性的概念
实例的输入长度：
设对i, j有dij K , 则 L n(n 1)(log（ 2 K 1） 2) log（ 2 n 1） 2
实例的输入长度是n的多项式函数 枚举法的基本计算量是n的阶乘函数，
随n的增加，比指数函数增加得还快.
44
1.3 计算复杂性的概念
实例I , 实例规模：l(I )，算法A 基本计算总次数：CA (I)
存在函数g ( x)和一个常数，使得对于该问题的任意实例Ｉ 都满足 CA(I) g(l(I )) （ＸＸ）
则二者关系表示为：CA (I ) O(g(l(I ))) g ( x)的性质决定了算法的性能。
以目前二进制计算机中的存储和计算为基础，以 理论的形式系统描述，是评估算法性能的基础。
36
1.3 计算复杂性的概念
问题（problem）：要回答的一般性提问，通常含有若 干个满足一定条件的参数（或自由变量）。可以从两 方面描述： （1）对所有参数的一般性描述； （2）答案（或解）必须满足的性质。
45
1.3 计算复杂性的概念
定义 多项式算法 给定问题P，算法A，对一个实例I，存在多项式 函数g(x)，使（XX ）成立，称算法A对实例I是 多项式算法； 若存在多项式函数g(x)，使（XX ）对问题P的任 意实例I都成立，称算法A为解决该问题P的多项 式算法. 当g(x)为指数函数时，称A为P的指数时间算法。
实例（instance）:给问题的所有参数指定具体值，得 到问题的一个实例。这些具体值称为数据；这些数据 输入计算机所占的空间称为实例的长度（size）.
37
1.3 计算复杂性的概念
一类最优化问题是由一些类似的具体问题（实例） 组成的，每一个具体问题可表达成二元组 （F,C）.
F为可行解集合;C是费用函数，是由F到R（实数集） 的映像。
1．正确性 2. 可读性 3．健壮性 4．高效率与低存储量需求
1．正确性
首先，算法应当满足以特定的“规格说明”方 式给出的需求。
其次，对算法是否“正确”的理解有四个层 次： a．程序中不含语法错误；
b．程序对于几组输入数据能够得出满足要求 的结果；
c．程序对于精心选择的、典型、苛刻且 带有刁难性的几组输入数据能够得出满足 要求的结果； d．程序对于一切合法的输入数据都能得 出满足要求的结果；
, n, (1.7) 在任意城市子集中不形成回路
(1.8) 决策变量
dij:城市i与城市j之间的距离 , s :集合s中元素的个数，
1, 走城市i和城市j之间的路径，
xij
0，不走城市i和城市j之间的路径.
对称距离TSP : dij d ji , i, j
非对称距离TSP : dij d ji , i, j
（3）更新被除数和除数：m←n，n←r，转(1)。
解二.
开始
输入m、n
r=m%n
是 r=0?
否 m←n，n←r
输出n
解三.
Euclid(int m, int n) { int r; while(n!=0)
{ r=m%n; m=n; n=r; }
printf(“%d”, m) }
1.3 计算复杂性的概念
记x的输入规模（编码长度）为l(x)，则 l(x) log2 (| x | 1) 2 其中2是考虑了1个符号位和1个数据分隔位。
39
如何估算 算法的时间复杂度？
算法 = 控制结构 + 原操作
算法的执行时间 =
∑元操作(i)的执行次数×元操作(i)的执行时间
从算法中选取一种对于所研究的 问题来说是 基本操作 的原操作，以 该基本操作 在算法中重复执行的次 数 作为算法运行时间的衡量准则。
问题是在F中找到一个点f*，使对F中任意的f，有 C(f*) C(f),称f*为这一具体问题的最优解（或
全局最优解 ）.
38
1.3 计算复杂性的概念
2. 可读性
算法另一方面，晦涩难读的程序 易于隐藏较多错误而难以调试；
3．健壮性
当输入的数据非法时，算法应当恰当 地作出反映或进行相应处理，而不是产 生莫名奇妙的输出结果。并且，处理出 错的方法不应是中断程序的执行，而应 是返回一个表示错误或错误性质的值， 以便在更高的抽象层次上进行处理。
4．有输入 作为算法加工对象的量值， 通常体现为算法中的一组变量。有些输入 量需要在算法执行过程中输入，而有的算 法表面上可以没有输入，实际上已被嵌入 算法之中；
5．有输出 它是一组与“输入”与 确 定关系的量值，是算法进行信息加 工后得到的结果，这种确定关系即 为算法的功能。
二、算法设计的原则 设计算法时，通常应考虑达到以下目标：
1.3 计算复杂性的概念
算法计算量的度量之例——TSP枚举法
计算量的统计： 城市数n 第一城市为始终点，计算一条路径（1,i2, ,in,1）长度的基本运算 为两两城市间距离的n个数求和,共有(n 1)!条路径,
求和运算次数为：(n 1)!n n!;
枚举所有路径进行(n 1)!次比较可得最优路径,基本计算总次数为
计算 1 24 10 4.3 4.9 时间 sec sec min hour day
29 30 31
136.5 10.8 325 day year year
随城市增多，计算时间增加很快。 到31个城市时，要计算325年。
35
1.3 计算复杂性的概念
描述算法的好坏——计算复杂性—— 讨论计算时间与问题规模之间的关系
最优化理论与方法
（现代优化计算方法）
1
内容
概论 递归、分治、贪心、回溯 禁忌搜索、爬山算法 模拟退火、蚁群算法 遗传算法 神经网络 元胞自动机 随机算法
2
背景
传统实际问题的特点 连续性问题——主要以微积分为基础，且问题规模较小
传统的优化方法 追求准确——精确解 理论的完美——结果漂亮 主要方法：线性与非线性规划、动态规划、多目标规划、整 数规划等；排队论、库存论、对策论、决策论等。
数学模型：
min f (x) s.t.g(x) 0,
x D.
目标函数 约束函数 有限点集, 决策变量
7
1.1 组合优化问题
组合优化问题的三参数表示：
(D, F, f ) D :决策变量定义域
F x | x D, g(x) 0,可行域,有限点集
f :目标函数 x F :可行解（点）
s.t. xij 1.i 1, 2, , n, j 1
n
xij 1. j 1, 2, , n,
i 1
xij s 1, 2 s n 1, s 1, 2,
i, js
xij 0,1, i, j 1, 2, , n, i j.
其中
(1.4) 总路长 (1.5) 只从城市i出来一次 (1.6) 只走入城市j一次
现代优化方法 追求满意——近似解 实用性强——解决实际问题
现代优化算法的评价方法 算法复杂性
4
现代优化(启发式)方法种类
禁忌搜索（tabu search） 模拟退火（simulated annealing） 遗传算法（genetic algorithms） 神经网络（neural networks） 蚁群算法（群体（群集）智能，Swarm
其中 B : 装下全部物品需要的箱子， 1, 第i物品装在第b个箱子，
xib 0，第i物品不装在第b个箱子.
14
1.1 组合优化问题
例4 约束机器排序问题（bin packing） n 个加工量为{di|i = 1, 2, ⋯, n} 的产品在
一台机器上加工,机器在第t个时段的工作 能力为ct , 求完成所有产品加工的最少时 段数。
Intelligence） 拉格朗日松弛算法（lagrangean relaxation）
5
1 现代优化计算方法概述
1.1 组合优化问题 1.2 算法 1.3 计算复杂性的概念 1.4 启发式算法
6
1.1 组合优化问题
组合优化（combinatorial optimization）:解决离散问 题的优化问题——运筹学分支。通过数学方法的研究 去寻找离散事件的最优编排、分组、次序或筛选等。
4．高效率与低存储量需求
通常，效率指的是算法执行 时间；存储量指的是算法执行过程 中所需的最大存储空间。两者都与 问题的规模有关。
算法的描述方法.
（1）自然语言 （2）流程图 （3）程序设计语言
例. 求正整数m、n的最大公因数。 解一.
（1）求余数：用m除以n，得余数r(0≤r﹤n)。
（2） 判断余数：若余数r=0，输出n，结束。 否则，转（3）。
9
1.1 组合优化问题
数学模型：
n
max ci xi i 1
(1.1)总价值
n
s.t. ai xi b, i 1
xi 0,1, i 1,, n.
(1.2)包容量限制 (1.3)决策变量
其中xi
1，装第i物品 0，不装第i物品
D 0,1n.
10
1.1 组合优化问题
1．有穷性 对于任意一组合法输入值， 在执行有穷步骤之后一定能结束，即： 算法中的每个步骤都能在有限时间内完成；
2．确定性 对于每种情况下所应执行的 操作，在算法中都有确切的规定，使算法 的执行者或阅读者都能明确其含义及如何 执行。并且在任何条件下，算法都只有一 条执行路径；
3．可行性 算法中的所有操作都必须足 够基本，都可以通过已经实现的基本操作 运算有限次实现之；
总计算量:n! (n 1)!
43
1.3 计算复杂性的概念
实例的输入长度：
设对i, j有dij K , 则 L n(n 1)(log（ 2 K 1） 2) log（ 2 n 1） 2
实例的输入长度是n的多项式函数 枚举法的基本计算量是n的阶乘函数，
随n的增加，比指数函数增加得还快.
44
1.3 计算复杂性的概念
实例I , 实例规模：l(I )，算法A 基本计算总次数：CA (I)
存在函数g ( x)和一个常数，使得对于该问题的任意实例Ｉ 都满足 CA(I) g(l(I )) （ＸＸ）
则二者关系表示为：CA (I ) O(g(l(I ))) g ( x)的性质决定了算法的性能。
以目前二进制计算机中的存储和计算为基础，以 理论的形式系统描述，是评估算法性能的基础。
36
1.3 计算复杂性的概念
问题（problem）：要回答的一般性提问，通常含有若 干个满足一定条件的参数（或自由变量）。可以从两 方面描述： （1）对所有参数的一般性描述； （2）答案（或解）必须满足的性质。
45
1.3 计算复杂性的概念
定义 多项式算法 给定问题P，算法A，对一个实例I，存在多项式 函数g(x)，使（XX ）成立，称算法A对实例I是 多项式算法； 若存在多项式函数g(x)，使（XX ）对问题P的任 意实例I都成立，称算法A为解决该问题P的多项 式算法. 当g(x)为指数函数时，称A为P的指数时间算法。
实例（instance）:给问题的所有参数指定具体值，得 到问题的一个实例。这些具体值称为数据；这些数据 输入计算机所占的空间称为实例的长度（size）.
37
1.3 计算复杂性的概念
一类最优化问题是由一些类似的具体问题（实例） 组成的，每一个具体问题可表达成二元组 （F,C）.
F为可行解集合;C是费用函数，是由F到R（实数集） 的映像。
1．正确性 2. 可读性 3．健壮性 4．高效率与低存储量需求
1．正确性
首先，算法应当满足以特定的“规格说明”方 式给出的需求。
其次，对算法是否“正确”的理解有四个层 次： a．程序中不含语法错误；
b．程序对于几组输入数据能够得出满足要求 的结果；
c．程序对于精心选择的、典型、苛刻且 带有刁难性的几组输入数据能够得出满足 要求的结果； d．程序对于一切合法的输入数据都能得 出满足要求的结果；
, n, (1.7) 在任意城市子集中不形成回路
(1.8) 决策变量
dij:城市i与城市j之间的距离 , s :集合s中元素的个数，
1, 走城市i和城市j之间的路径，
xij
0，不走城市i和城市j之间的路径.
对称距离TSP : dij d ji , i, j
非对称距离TSP : dij d ji , i, j
（3）更新被除数和除数：m←n，n←r，转(1)。
解二.
开始
输入m、n
r=m%n
是 r=0?
否 m←n，n←r
输出n
解三.
Euclid(int m, int n) { int r; while(n!=0)
{ r=m%n; m=n; n=r; }
printf(“%d”, m) }
1.3 计算复杂性的概念
记x的输入规模（编码长度）为l(x)，则 l(x) log2 (| x | 1) 2 其中2是考虑了1个符号位和1个数据分隔位。
39
如何估算 算法的时间复杂度？
算法 = 控制结构 + 原操作
算法的执行时间 =
∑元操作(i)的执行次数×元操作(i)的执行时间
从算法中选取一种对于所研究的 问题来说是 基本操作 的原操作，以 该基本操作 在算法中重复执行的次 数 作为算法运行时间的衡量准则。
问题是在F中找到一个点f*，使对F中任意的f，有 C(f*) C(f),称f*为这一具体问题的最优解（或
全局最优解 ）.
38
1.3 计算复杂性的概念