第九章 最优化方法
《最优化方法》课件
5
2. 学习本课程所需的数学知识
向量、向量的模（范数）、向量的运算、 线性相关与无关、基. 矩阵的运算及性质、矩阵的秩、特征值、正定性。 向量函数、连续性、可微性、 梯度、海森矩阵、向量函数（多元函数）的Taylor定 理
6
3. 学习要求
掌握主要的优化模型的数学计算方法. 了解优化方法的数学原理. 了解现代优化方法. 熟练掌握应用数学软件计算优化问题.
3
二次大战以后，在军事运筹小组中工作过的一部分科 学家开始转入民用部门，他们把对军事系统最优化的研究 成果拓展到各种民用系统的研究上。
1947年美国数学家G.B.Dantzig在研究美国空军资源 配置时,提出了求解线性规划的有效方法—单纯形法。二 十世纪五十年代初，应用计算机求解线性规划获得成功。
2
运筹学这一名词最早出现于1938年。当时英，美等国盟军 在与德国的战争中遇到了许多错综复杂的战略和战术问题难以 解决，比如
(１)防空雷达的布置问题：
(２)护航舰队的编队问题：
为了应付上述各种复杂问题，英美等国逐批召集不同专业 背景的科学家，在三军组织了各种研究小组，研究的问题都是 军事性质的，在英国称为“Operational Research”，其他英语 国家称为“Operations Research”，意思是军事行动研究。这些 研究小组运用系统优化的思想，应用数学技术分析军事问题， 取得了非常理想的效果。
至五十年代末，一些工业先进国家的大型企业已经较 普遍地使用运筹学方法解决在生产经营管理中遇到的实际 问题，并取得了良好的效果，至六十年代中期，运筹学开 始应用于一些服务性行业和公用事业。
4
我国运筹学的研究始于五十年代中期，当时由钱学森教 授将运筹学从西方国家引入我国，以华罗庚教授为首的一大 批科学家在有关企事业单位积极推广和普及运筹学方法，在 建筑，纺织，交通运输，水利建设和邮电等行业都有不少应 用。关于邮递员投递的最佳路线问题就是由我国年轻的数学 家管梅谷于1962年首先提出的，在国际上统称为中国邮递员 问题。我国运筹学的理论和应用研究在较短时间内赶上了世 界水平。
最优化方法
最优化方法1. 简介最优化方法是一种通过调整变量值以最小化或最大化某个目标函数来优化系统性能的数学方法。
最优化方法广泛应用于各个领域，包括经济学、工程学、计算机科学等。
本文将介绍最优化方法的基本概念、常用算法以及其在实际问题中的应用。
2. 最优化问题最优化问题可以分为无约束最优化和约束最优化问题。
无约束最优化问题是在没有任何限制条件的情况下，寻找使目标函数值最小或最大的变量值。
约束最优化问题则在一定的约束条件下寻找最优解。
在最优化问题中，目标函数通常是一个多元函数，而变量则是目标函数的输入参数。
最优化的目标可以是最小化或最大化目标函数的值。
常见的优化问题包括线性规划、非线性规划、整数规划等。
3. 常用最优化算法3.1 梯度下降法梯度下降法是最常用的最优化算法之一。
它通过计算目标函数相对于变量的梯度（即偏导数），以负梯度方向更新变量值，逐步接近最优解。
梯度下降法的优点是简单易实现，但可能收敛速度较慢，且容易陷入局部最优解。
3.2 牛顿法牛顿法是一种基于目标函数的二阶导数（即海森矩阵）信息进行更新的最优化算法。
相较于梯度下降法，牛顿法的收敛速度更快，并且对于某些非凸优化问题更具优势。
然而，牛顿法的计算复杂度较高，且可能遇到数值不稳定的问题。
3.3 共轭梯度法共轭梯度法是一种用于解决线性方程组的最优化算法。
它利用共轭方向上的信息以减少最优化问题的迭代次数。
共轭梯度法适用于大规模线性方程组的求解，并且在非线性优化问题中也得到了广泛应用。
3.4 遗传算法遗传算法是一种通过模拟生物进化过程寻找最优解的优化算法。
它通过交叉、变异等操作生成新的解，并通过适应度评估筛选出优秀的解。
遗传算法适用于搜索空间较大、复杂度较高的优化问题。
4. 最优化方法的应用最优化方法在各个领域都有广泛的应用。
在经济学领域，最优化方法可以用于优化生产资源的配置、最小化成本或最大化利润等问题。
它可以帮助决策者制定最优的决策方案，提高效益。
第九章经典最优化方法
第九章经典最优化方法9.1 最优化的基本概念最优化方法是一门古老而又年青的学科。
这门学科的源头可以追溯到17世纪法国数学家拉格朗日关于一个函数在一组等式约束条件下的极值问题（求解多元函数极值的Lagrange乘数法）。
19世纪柯西引入了最速下降法求解非线性规划问题。
直到20世纪三、四十年代最优化理论的研究才出现了重大进展，1939年前苏联的康托洛维奇提出了解决产品下料和运输问题的线性规划方法；1947年美国的丹奇格提出了求解线性规划的单纯形法，极大地推动了线性规划理论的发展。
非线性规划理论的开创性工作是在1951年由库恩和塔克完成的，他们给出了非线性规划的最优性条件。
随着计算机技术的发展，各种最优化算法应运而生。
比较著名的有DFP和BFGS无约束变尺度法、HP广义乘子法和WHP约束变尺度法。
最优化问题本质是一个求极值问题，几乎所有类型的优化问题都可概括为如下模型：给定一个集合（可行集）和该集合上的一个函数（目标函数），要计算此函数在集合上的极值。
通常，人们按照可行集的性质对优化问题分类：如果可行集中的元素是有限的，则归结为“组合优化”或“网络规划”，如图论中最短路、最小费用最大流等；如果可行集是有限维空间中的一个连续子集，则归结为“线性或非线性规划”；如果可行集中的元素是依赖时间的决策序列，则归结为“动态规划”；如果可行集是无穷维空间中的连续子集，则归结为“最优控制”。
线性规划与非线性规划是最优化方法中最基本、最重要的两类问题。
一般来说，各优化分支有其相应的应用领域。
线性规划、网络规划、动态规划通常用于管理与决策科学；最优控制常用于控制工程；非线性规划更多地用于工程优化设计。
前面提到的算法是最优化的基本方法，它们简单易行，对于性态优良的一般函数，优化效果较好。
但这些经典的方法是以传统微积分为基础的，不可避免地带有某种局限性，主要表现为：①大多数传统优化方法仅能计算目标函数的局部最优点，不能保证找到全局最优解。
最优化方法-线性规划
引言
对线性规划贡献最大的是美国数学家G.B.Dantig(丹捷格)，他 在1947年提出了求解线性规划的单纯形法（Simple Method），并同时给出了许多很有价值的理论，为线性规划 奠定了理论基础。在1953年，丹捷格又提出了改进单纯形法， 1954年Lemke(兰母凯)提出了对偶单纯形法（dual simplex method）。 在1976年， R. G. Bland 提出避免出现循环的方法后，使线 性规划的理论更加完善。但在1972年，V. Klee和G .Minmty 构造了一个例子，发现单纯形法的迭代次数是指数次运算，不 是好方法——并不是多项式算法（多项式算法被认为是好算 法），这对单纯形法提出了挑战。
min Ζ ’=-Ζ =-(c1x1+c2x2+…+cnxn)
（三）若xj<0，令xj=xj’-xj”,xj’≥0,xj”≥0 利用矩阵和向量的符号，线性规划问题可以写为
minΖ =CX s.t. AX=b X≥0 minΖ =CX s.t. Σ xjPj=b C=(c1,c2, …,cn)
a11 a12 …a1n A= ┆ ┆ ┆ am1 am2 …amn b1 b2 ┆ bm x1 x2 X= ┆ xn
化一般问题为标准形式： (一)若ak1x1+ak2x2+…aknxn≤bk 加一变量xn+k≥0（松驰变量），改写为 ak1x1+ak2x2+…aknxn+xn+k=bk 若ak1x1+ak2x2+…aknxn≥bk 减一变量xn+k≥0(剩余变量），改写为 ak1x1+ak2x2+…aknxn-xn+k=bk (二) 若目标函数为maxΖ =c1x1+c2x2+…+cnxn
第九章经典最优化方法
第九章经典最优化方法9.1 最优化的基本概念最优化方法是一门古老而又年青的学科。
这门学科的源头可以追溯到17世纪法国数学家拉格朗日关于一个函数在一组等式约束条件下的极值问题（求解多元函数极值的Lagrange乘数法）。
19世纪柯西引入了最速下降法求解非线性规划问题。
直到20世纪三、四十年代最优化理论的研究才出现了重大进展，1939年前苏联的康托洛维奇提出了解决产品下料和运输问题的线性规划方法；1947年美国的丹奇格提出了求解线性规划的单纯形法，极大地推动了线性规划理论的发展。
非线性规划理论的开创性工作是在1951年由库恩和塔克完成的，他们给出了非线性规划的最优性条件。
随着计算机技术的发展，各种最优化算法应运而生。
比较著名的有DFP和BFGS无约束变尺度法、HP广义乘子法和WHP约束变尺度法。
最优化问题本质是一个求极值问题，几乎所有类型的优化问题都可概括为如下模型：给定一个集合（可行集）和该集合上的一个函数（目标函数），要计算此函数在集合上的极值。
通常，人们按照可行集的性质对优化问题分类：如果可行集中的元素是有限的，则归结为“组合优化”或“网络规划”，如图论中最短路、最小费用最大流等；如果可行集是有限维空间中的一个连续子集，则归结为“线性或非线性规划”；如果可行集中的元素是依赖时间的决策序列，则归结为“动态规划”；如果可行集是无穷维空间中的连续子集，则归结为“最优控制”。
线性规划与非线性规划是最优化方法中最基本、最重要的两类问题。
一般来说，各优化分支有其相应的应用领域。
线性规划、网络规划、动态规划通常用于管理与决策科学；最优控制常用于控制工程；非线性规划更多地用于工程优化设计。
前面提到的算法是最优化的基本方法，它们简单易行，对于性态优良的一般函数，优化效果较好。
但这些经典的方法是以传统微积分为基础的，不可避免地带有某种局限性，主要表现为：①大多数传统优化方法仅能计算目标函数的局部最优点，不能保证找到全局最优解。
最优化方法
)
x k 1 x k k [2 f ( x k )]1 f ( x k )
x k 1 x k k Ak f ( x k )
(k 0,1,2, )
→ 变尺度法
4.3
变尺度法
变尺度法是在牛顿法的思想上进行了重大改进 的一类方法
1. 基本思想 变量的尺度变换是放大或缩小各个坐标。通过尺 度变换可以把函数的偏心程度降到最低限度。
例4－2 0 T 解 取初始点 x [2,2]
2 2 f ( x ) x 25 x 求目标函数 的极小点。 1 2
1 0 2 2 1 0 2 0 1 0 x x f ( x ) f ( x ) 2 0 1 50
（2）对一般函数而言，梯度法的收敛速度并不快， 因为最速下降方向仅仅是指某点的一个局部性质 （3）梯度法相邻两次搜索方向的正交性，决定了迭
代全过程的搜索路线呈锯齿状，在远离极小点时逼近 速度较快，而在接近极小点时逼近速度较慢 （4）梯度法的收敛速度 与目标函数的性质密切相 关。对于等值线(面)为同 心圆（球）的目标函数， 一次搜索即可达到极小点
开始
给定 x 0 ,
k 0
d k [ 2 f ( x k )]1 f ( x k )
x k 1 x k k d k
k k 1
k : min f ( xk d k )
是
x * x k 1
x
k 1
x
k
否
结束
阻尼牛顿法称序框图
牛顿法和阻尼牛顿法统称为牛顿型方法。 这类方法的主要缺点是每次迭代都要计算函数 的二阶导数矩阵，并对该矩阵求逆。这样工作 量很大。特别是矩阵求逆，当维数高时工作量 更大 。
最优化方法
平行线法
当两个因素中，一个难以调变，另一个易于调变
将难以调变因素固定在其范围的0.618处，寻另 一因素最优值
将难以调变因素固定在其范围的0.382，寻另一 因素最优值 比较两试验结果，去除试验区域 对剩余部分重复上述操作至最优点
三因素的优化
设x3为较难调变的，那么将x3先后固定在0.618和 0.382处，就得到两个平行平面 这两个平行平面把立方体截成三块，对每一平 行平面求出最优点，设最优点为P1和P2。然后 比较P1和P2上的试验结果。
黄金分割法（0.618法）
方法起源
来回调试方法
来回调试法图列
如何安排试验点？
方法
第一个试验点x1设在范围（a，b）的0.618位 置上，第二个试验点x2取成x1的对称点，即： X1=a+0.618(b-a) (1) X2=a+b-X1 (2) 也可 X2＝a+0.382(b-a) (3) 称a为试验的小头，b为试验的大头，上述公式可 表示为 第一点＝小＋0.618（大－小） (1)’ 第二点＝大＋小－第一点 (2)’
初始单纯形法
经验法 初始点P0离最优点尽可能地近。在使各点尽可 能分散的情况下，确定其它点。初始单纯形的 边长的范围可为：0.5～1.5。如能估计出初始 点离最优点尽较近，可使边长为较小值。 正规单纯形 n维单纯形，n+1个顶点分别为 p0,p1,p2,.....pn
设边长为a 则有 P0（x1, x2, ……, xn) P1 (x1+p, x2+q, x3+q, ……, xn+q) P2 (x1+q, x2+p, x3+q, ……, xn+q) Pn-1(x1+q, x2+q, ……, xn-1+p, xn+q) Pn (x1+q, x2+q, ……, xn-1+q, xn+p) 其中
最优化方法
动态规划的步骤
• 定义状态变量 • 定义状态转移方程 • 初始化状态 • 自下而上求解最优解
动态规划方法的实际应用案例
资源分配问题
• 如生产线分配、车辆调度等 • 动态规划方法可以帮助制定最优的资源分配方案
路径规划问题
• 如货物的运输、人员的出行等 • 动态规划方法可以帮助制定最优的路径规划方案
• 优化方法的意义 • 提高资源利用效率 • 降低生产成本 • 提高决策水平
优化问题的分类与复杂性
• 优化问题的分类 • 根据目标函数类型分类 • 线性规划 • 非线性规划 • 根据约束条件类型分类 • 线性约束 • 非线性约束 • 根据变量类型分类 • 整数变量 • 连续变量
• 优化问题的复杂性 • 问题的复杂程度与求解难度成正比
模拟退火算法
模拟退火算法的基本原理与特点
模拟退火算法的基本原理
• 受物理学中退火过程的启发求解问题 • 通过随机搜索和温度控制逐步找到最优解
模拟退火算法的特点
• 算法具有较强的全局搜索能力 • 可以处理复杂的非线性问题
模拟退火算法的实现步骤与关键技术
模拟退火算法的实现步骤
• 初始化参数 • 当前解不是最优解时，随机产生新解 • 计算新解与当前解的差值 • 根据温度和差值判断是否接受新解 • 降低温度 • 判断是否满足收敛条件
CREATE TOGETHER
DOCS
谢谢观看
THANK YOU FOR WATCHING
CREATE TOGETHER
DOCS
DOCS SMART CREATE
最优化方法概述与实践
01
最优化方法的定义与意义
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第九章 最优化方法本章主要介绍线性规划、0-1规划、非线性规划等问题的MATLAB 求解。
9.1 线性规划（Linear Programming ，简写为LP ）问题线性规划问题就是求多变量线性函数在线性约束条件下的最优值。
满足约束条件的解称为可行解，所有可行解构成的集合称为可行域，满足目标式的可行解称为最优解。
MATLAB 解决的线性规划问题的标准形式为：min z f x ¢=? ..A x b s t Aeq x beq lb x ubì祝ïïï?íïï＃ïïî 其中,,,,,f x b beq lb ub 为列向量，,A Aeq 为矩阵。
其它形式的线性规划问题都可经过适当变换化为此标准形式。
在MATLAB 中求解线性规划问题函数为linprog ，其使用格式为：[x, fval, exitflag, output, lambda] = linprog(f, A, b, Aeq, beq, lb, ub) 输入部分：其中各符号对应线性规划问题标准形式中的向量和矩阵，如果约束条件中有缺少，则其相应位置用空矩阵[]代替。
输出部分：其中x 为最优解，用列向量表示；fval 为最优值；exitflag 为退出标志，若exitflag=1表示函数有最优解，若exitflag=0表示超过设定的迭代最大次数，若exitflag=-2，表示约束区域不可行，若exitflag=-3，表示问题无解，若exitflag=-4，表示执行迭代算法时遇到NaN ，若exitflag=-5，表示原问题和对偶问题均不可行，若exitflag=-7，表示搜索方向太小，不能继续前进；output 表明算法和迭代情况；lambda 表示存储情况。
例1 用linprog 函数求下面的线性规划问题12312312312123min 54620324423230.. 0,00x x x x x x x x x x x s t x x x ---ì-+?ïïïï++?ïïï+?ïïíï£ïïï£ïïïï£ïî 输入如下： >> f = [-5, -4,-6]; A = [1 -1 1; 3 2 4; 3 2 0]; b = [20; 42; 30]; lb = zeros(3,1);[x,fval,exitflag,output,lambda] = linprog(f,A,b,[],[],lb)注意：由于该问题没有等式约束，所以输入格式中相应的位置用[]代替，变量没有上限约束，所以ub 也用[]代替，但由于其在最后，可以不写。
输出结果如下： Optimization terminated. x = % 最优解 0.0000 15.0000 3.0000 fval = %最优值 -78.0000exitflag = %函数收敛于解 1 output = iterations: 6algorithm: 'large-scale: interior point' cgiterations: 0message: 'Optimization terminated.' lambda =ineqlin: [3x1 double] eqlin: [0x1 double] upper: [3x1 double] lower: [3x1 double]例2 一家家具公司生产桌子和椅子，用于生产的全部劳动力共计450个工时，原料是400个单位的木材。
每张桌子使用15个工时的劳动力，20个单位的木材，售价为80元。
每张椅子使用10个工时，用料5个单位，售价45元。
问为达到最大效益，应如何安排生产？解 设生产桌子x 个，椅子y 个，建立如下模型：max 80452054001510450.. 00x yx y x y s t x y +ì+?ïïïï+?ïíï³ïïï³ïî 输入如下： >> f = [-80,-45]; A = [20, 5; 15, 10]; b = [400, 450]; lb = zeros(2,1);[x, fval, exitflag] = linprog(f,A,b,[],[],lb) 结果如下：Optimization terminated. x = 14.0000 24.0000 fval = -2.2000e+003 exitflag = 1注意：由于linprog 是求目标函数的最小值，如求目标函数f 的最大值，可先求出f -的最小值fval ，则-fval 就是f 的最大值。
本例只输出最优解、最优值和退出标志，可见生产14个桌子，24个椅子，可获得最大利润2200元。
9.2 0-1规划0-1规划是一种特殊形式的整数规划，它的决策变量仅取值0或1.一般用0表示放弃，1表示选取，故0-1规划可以用来处理选址问题、指派问题、装箱问题、项目评价、资金分配、生产计划安排等问题。
在MATALB 中求解0-1规划问题函数为bintprog ，其针对下述0-1规划：min z f x ¢=? .. 0/1,1,2,,i A x b s t Aeq x beq x i nL ì祝ïïï?íïï==ïïî其中,,,f x b beq 为列向量，,A Aeq 为矩阵。
使用格式为：[x, fval, exitflag, output] = bintprog(f, A, b, Aeq, beq)输入部分：其中各符号对应0-1规划问题标准形式中的向量和矩阵，如果约束条件中有缺少，则其相应位置用空矩阵[]代替。
输出部分：其中x 为最优解，用列向量表示；fval 为最优值；exitflag 为退出标志，若exitflag=1表示函数有最优解，若exitflag=-1表示超过设定的迭代最大次数，若exitflag=-2，表示问题不可行，若exitflag=-4，表示搜索节点数超过了设定的搜索节点最大个数，若exitflag=-5，表示搜索时间超过了设定的指令运行的最大秒数，若exitflag=-6，表示LP 求解器在某节点处求解LP 松弛问题时的迭代次数超过了设定的迭代次数；output 包含使用算法、迭代次数、搜索过的节点数、算法执行时间、算法终止原因。
例3 求解下述0-1规划问题。
123451234512345max 22643225.. 2422501(1,2,,5)i z x x x x x x x x x x s t x x x x x x i =++--+-++≤⎧⎪+---≤⎨⎪==⎩L 或 利用bintprog 函数求解如下： >> f=-[1;2;2;-6;-4];A=[3,2,-1,4,2; 2,4, -2,-1,-2]; b=[5;5] ;[x,fval,exit,output]=bintprog(f,A,b) 输出结果：Optimization terminated. x = 1 1 1 0 0 fval = -5 exit = 1 output =iterations: 4 nodes: 1 time: 0.0781algorithm: 'LP-based branch-and-bound' branchStrategy: 'maximum integer infeasibility' nodeSrchStrategy: 'best node search' message: 'Optimization terminated.这表明，当123451,1,1,0,0x x x x x =====时，目标函数取最大值5。
例4 资金分配问题，某企业在今后3年内有5个工程考虑开工，每项工程的期望收入和年度费用如表所示。
假定每一项已经批准的工程要在整3年内完成。
企业应如何选择工程，使企业总收入最大？解 设决策变量为12345,,,,x x x x x ：其中01i x =或，0i x =表示放弃第i 项工程，1i x =表示选择第i 项工程。
该问题的数学模型为：12345123451234512345max 20402015305437825794625.. 8102102510(i=1,2,3,4,5)=++++++++≤⎧⎪++++≤⎪⎨++++≤⎪⎪=⎩或i z x x x x x x x x x x x x x x x s t x x x x x x利用bintprog 函数求解如下： f=-[20;40;20;15;30];A=[5,4,3,7,8;1,7,9,4,6;8,10,2,1,10]; b=[25;25;25];[x,fv,exit]=bintprog(f,A,b) 输出结果如下： Optimization terminated. x = 1 1 1 1 0 fv = -95 exit = 1上述结果表明，该企业选择第1，第2，第3，第4项工程，可以获得最大利润95千元。
指派问题：设有n 项工作分配给n 个人去做，每人做一项，由于个人的工作效率不同，因而完成同一工作所需时间也不同，设人员i 完成工作j 所需时间为ij C （称为效率矩阵），问如何分配工作，使得完成所有工作所用的总时间最少？这类问题称为指派问题（Assignment Problem ），也称最优匹配问题，它是一类典型的0-1规划问题。
例5 有4个工人被分派做4项工作，每项工作只能一人做，每人只能做一项工作。
现设每个工人做每项工作的耗时如表所示，求总耗时最少的分配方案。
表1时间表 时间单位：小时解 设决策变量为(,1,2,3,4)ij x i j =，只取0或1。
1ij x =表示工人i 完成工作j ；0ij x =表示工人i 不做工作j 。
于是，上述问题的数学模型如下：11121314212223243132333441424344min 15182124192322182617161919212317z x x x x x x x x x x x x x x x x =+++++++++++++++111,1,2,3,4.. 1,1,2,3,4nij j nij i x i s t x j ==⎧==⎪⎪⎨⎪==⎪⎩∑∑ 下面给出Matlab 计算程序。