最优化原理与方法复习

最优化原理与方法复习

第1章最优化问题的基本概念§最优化的概念最优化就是依据最优化原理和方法，在满足相关要求的前提下，以尽可能高的效率求得工程问题最优解决方案的过程。§最优化问题的数学模型 1.最优化问题的一般形式?findx1,x2,?,xn?minf(x,x,?,x)?12 n? (x,x,?,x)?0u?1,2,?,pu12n??hv(x1,x2,?,xn)? 0v?1,2,?,q? 2.最优化问题的向量表达式?findX?minf(X)?? (X)?0??H(X)?0?式中：X?[x1,x2,?,xn]T G(X)?[g1(X),g2(X),?,gp(X)]T

H(X)?[h1(X),h2(X),?,hp(X)]T 3.优化模型的三要素设计变量、约束条件、目标函数称为优化设计的三要素！设计空间：设计变量所确定的空间。设计空间中的每一个点都代表一个设计方

案。§优化问题的分类按照优化模型中三要素的不同表现形式，优化问题有多种分类方法：1按照模型中是否存在约束条件，分为约束优化和无约束优化问题2按照目标函数和约束条件的性质分为线性优化和非线性优化问题3按照目标函数个数分为单目标优化和多目标优化问题4按照设计变量的性质不同分为连续变量优化和离散变量优化问题第2章最优化问题的数学基础§n元函数的可微性与梯度一、可微与梯度的定义1.可微的定义设f(X)是定义在n维空间Rn的子集D上的n元实值函数，且X0?D。若存在n维向量L，对于任意n维向量P，都有f(X0?P)?f(X0)?LTPlim?0 P?0P则称f(X)在X0处可微。 2.梯度设有函数F(X)，X?[x1,x2,?,xn]T，在其定义域内连续可导。我们把F(X)在定义域内某点X处的所有一阶偏导数构成的列向量，定义为F(X)在点X处的梯度。记

为：??F?F?F?k?F(X)??,,?,? ?x ?x?x2n??1T梯度有3个性质：⑴函数在某点的梯度方向为函数过该点的等值线的法线方向；⑵函数值沿梯度方向增加最快，沿负梯度方向下降最快；⑶梯度描述的只是函数某点邻域内的局部信息。§极小点及其判别条件一、相关概念 1.极小点与最优解设f(X)是定义在n维空间Rn的子集D上的n 元实值函数，若存在X*?D及实数??0，使得?X?N(X*,?)?D(X?X*)都有f(X*)?f(X)，则称X*为f(X)的局部极小点；若f(X*)?f(X)，则称X*为f(X)的严格局部极小点。若?X?D，都有f(X*)?f(X)，则称X*为f(X)的全局极小点，若f(X*)?f(X)，则称X*为f(X)的全局严格极小点。?findX?minf(X)?对最优化问题?而言(X)?0??H(X)?0?满足所有约束条件的向量X?[x1,x2,?,xn]T称为上述最优化问题的一个可行解，全体可行解组成的集合称为可行解集。在可行解集中，满足：

f(X*)?minf(X)的解称为优化问题的最优解。 2.凸集和凸函数凸集：设D?Rn，若对所有的X1、X2?D，及??[0,1]，都有?X1?(1??)X2?D，则称D为凸集。凸函数：设f:D?Rn?R1，D是凸集，如果对于所有的X1、X2?D，及??[0,1]，都有f[?X1?(1??)X2]??f(X1)?(1??)f(X2)，则称f(X)为D上的凸函数。二、局部极小点的判别条件驻点：设f(X)是定义在n维空间Rn的子集D上的n元实值函数，X*是D的内点，若?f(X*)?0，则称X*为f(X)的驻点。局部极小点的判别：设f(X)是定义在n维空间Rn的子集D 上的n元实值函数，具有连续的二阶偏导数。若X*是f(X)的驻点，且?2f(X*)是正定矩阵，则X*是f(X)的严格局部极小点。三、全局极小点的判别 1.凸规划?minf(X)对于优化问题：? (X)?0i?1,2,?,pi?若f(X)、gi(X)都是凸函数，则称该优化问题为凸规划。 2.全局极小点的判别若优化问题为凸规划，则该优化问题的可行集为凸集，其

任何局部最优解都是全局最优解。第3章无约束优化方法§下降迭代算法及终止准则一、数值优化方法的基本思想?k基本思想就是在设计空间内选定一个初始点X，从该点出发，按照某一方向S前进一定的步长?k，得到一个使目标函数值有所下降的新设计点Xk?1，然后以该点为新的初始点，重复上面过程，直至得到满足精度要求的最优点X*。该思想可用下式表示：Xk?1?Xk??kSk 二、迭代计算的终止准则工程中常用的迭代终止准则有3种：⑴点距准则相邻两次迭代点之间的距离充分小时，迭代终止。数学表达为：Xk?1?Xk?? ⑵函数下降量准则相邻两次迭代点的函数值之差充分小，迭代终止。数学表达为：f(Xk?1)?f(Xk)??

⑶梯度准则目标函数在迭代点处的梯度模充分小时，迭代终止。数学表达为：?f(Xk?1)?? 三、算法的收敛速度对于某一确定的下降算法，其优劣如何评价？人们通常采用收敛速度来

评价。下面给出度量收敛速度的几个概念。阶收敛设序列Xk收敛于解X*，若存在常数P?0及L、k0，使当k?k0时下式：Xk?1?X*?LXk?X* p??成立，则称Xk为P阶收敛。 2.线性收敛设序列Xk收敛于解X*，若存在常数k0、L及??(0,1)，使当k?k0时下式：Xk?1?X*?L?k ????成立，则称Xk 为线性收敛。3.超线性收敛设序列Xk收敛于解X*，若任给??0都存在k0?0，使当k?k0时下式：Xk?1?X*??Xk?X* ??????成立，则称Xk为超线性收敛。§一维最优化方法一、确定初始区间的进退法任选一个初始点x0和初始步长h，此可确定两点x1?x0和x2?x1?h，通过比较这两点函数值f(x1)、f(x2)的大小，来决定第三点x3的位置。比较这三点函数值是否呈“高——低——高”排列特征，若是则找到了单峰区间，否则向前或后退继续寻求下一点。进退法依据的基本公式：x1?x0 x2?x1?h x3?x2?h 具体

步骤为：⑴任意选取初始点x0和恰当的初始步长h；⑵令x1?x0，取x2?x1?h，计算f(x1)、f(x2)；⑶若f(x1)?f(x2)，说明极小点在x2右侧，应加大步长向前搜索。转⑷；若f(x1)?f(x2)，说明极小点在x1左侧，应以x1点为基准反向小步搜索。转⑹；⑷大步向前搜索：令h?2h，取x3?x2?h，计算f(x3)；⑸若f(x2)?f(x3)，则f(x1)、f(x2)、f(x3)呈“高——低——高”排列，说明[x1,x3]即为所求的单峰区间；若f(x2)?f(x3)，说明极小点在x3右侧，应加大步长向前搜索。此时要注意做变换：舍弃原x1点，以原x2点为新的x1点，原x3点为新的x2点。转⑷，直至出现“高——低——高”排列，则单峰区间可得；⑹反向小步搜索：为了保证x3点计算公式的一致性，做变换：将1原x2点记为新x1点，原x1点记为新x2点，令h??h，取x3?x2?h，转⑸4例：用进退法确定函数f(x)?x2?6x?9的单峰区间[a，b]，设初始点x0?0，h?1。解：

①?x0?0②?x1?x0?0h?1 x2?x1?h?1f(x1)?9f(x2)?4

③?f(x1)?f(x2) 说明极小点在x2点右侧，应加大步长向前搜索④令h?2h?2?1?2，取x3?x2?h?1?2?3 则f(x3)?0 ⑤?f(x2)?f(x3) 说明极小点在x3点右侧，应加大步长向前搜索舍弃原x1?0的点，令x1?1x2?3，则f(x1)?4f(x2)?0 令h?2h?2?2?4，取x3?x2?h?3?4?7 则f(x3)?16?f(x2)?0 f(x1)、f(x2)、f(x3)呈“高——低——高”排列

?[x1,x3]为单峰区间，即区间[1，7]即为所求二、黄金分割法黄金分割法是基于区间消去思想的一维搜索方法，其搜索过程必须遵循以下的原则：⑴对称取点的原则：即所插入的两点在区间内位置对称；⑵插入点继承的原则：即插入的两点中有一个是上次缩减区间时的插入点；⑶等比收缩的原则：即每一次区间消去后，单

峰区间的收缩率?保持不变。设初始区间为[a，b]，则插入点的计算公式为：x1?a?(b?a) x2?a?(b?a) 黄金分割法的计算步骤如下：①给定初始区间[a，b]和收敛精度?；②给出中间插值点并计算其函数值：x1?a?(b?a)f(x1) x2?a?(b?a)f(x2)；③比较f(x1)、f(x2)，确定保留区间得到新的单峰区间[a，b]；④收敛性判别：计算区间[a，b]长度并与?比较，若b?a??，输出x*?否则转⑤；⑤在保留区间内继承一点、插入一点，转②。例：使用黄金分割法求解优化问题：minf(x)?x2?2x，?3?x?5解：①x1?a?(b?a)??3??(5?3)?②x2?a?(b?a)??3??(5?3)?(a?b) 2??。f(x1)? f(x2)? ③∵f(x2)?f(x1) ∴舍弃§牛顿法牛顿法分为基本牛顿法和阻尼牛顿法两种。对于迭代式Xk?1kkkk?k?X??S，当取??1且搜索方向S??[?2f(Xk)]?1?f(Xk)时构成的寻优算法，称为求解无约束优化问题的基本

牛顿法；?kk?1kkk?k为从Xk对于迭代式X?X??S，取搜索方向S??[?2f(Xk)]?1?f(Xk)，出发、沿牛顿方向做一维搜索获得的最优步长，所构成的寻优算法，称为求解无约束优化问题的阻尼牛顿法。?k搜索方向S??[?2f(Xk)]?1?f(Xk)称为牛顿方向。这里需要注意的是会求海塞阵的逆矩阵。§变尺度法我们把具有Xk?1?Xk??kAk?f(Xk)迭代模式的寻优算法称为变尺度法。其搜索方向表达式为：Sk??Ak?f(Xk)，称为拟牛顿方向，其中Ak称为变尺度矩阵。在迭代开始的时候，A0?I；随着迭代过程的继续，Ak??[?2f(Xk)]?1?f(Xk)。因此，变尺度法从梯度法出发，随着迭代过程的继续最终趋向于牛顿法。§共轭梯度法一、共轭方向的概念设H为对称正定矩阵，若有两个n维向量S1和S2，满足S1T?H?S2?0，则称向量S1与S2关于矩阵H共轭，共轭向量的方向称为共轭方向。若有一组非零向量

S1，S2，?，Sn满足SiT?H?Sj?0(i?j)，则称这组向量关于矩阵H共轭。对于n元正定二次函数，依次沿着一组共轭方向进行一维搜索，最多n次即可得到极值点。二、共轭方向的形成对于函数f(X)?f(x1,x2,?,xn)?1TXHX?BTX?C 2沿任意方向S0在设计空间上任意做两条平行线，分别与目标函数等值线切于点X1、X2，令S1?X2?X1，则S0、S1关于矩阵H共轭。三、共轭梯度法对于迭代式Xk?1?Xk??kSk，取搜索方向Sk?1???f(Xk?1)??kSk其中：S0???f(X0)，?k??f(Xk?1)?f(X)k22 共轭梯度法相邻两轮搜索方向是一对共轭方向。§鲍威尔法基本迭代公式仍旧是：Xk?1?Xk??kSk 基本鲍威尔法每轮搜索分为两步：一环的搜索+在该环搜索完毕后生成的新方向上的一维搜索。对于基本鲍威尔法，相邻两轮搜索生成的搜索方向是共轭的。修正鲍威尔法与基本鲍威尔法类似，所

不同的是每环搜索后生成的新方向要利用鲍威尔条件判别其可用性。注意掌握鲍威尔条件的表达式和应用！每环搜索方向组的生成：1．第一环的搜索方向组就是各坐标轴方向2．下一环的搜索方向组本环搜索方向组和本环生成的新方向共同确定，方法是：若本环的搜索结果满足鲍威尔条件，则将本环搜索方向组中使目标函数下降量最大的方向去掉，并将本环生成的新方向递补进去，就形成下一环的搜索方向组；若本环的搜索结果不满足鲍威尔条件，则下一环的搜索方向组仍旧沿用本环搜索方向组不变。下一环搜索起点的确定：下一环搜索起点本环搜索结果确定，方法是：若本环的搜索结果满足鲍威尔条件，则以本环搜索终点为起点，沿新生成的方向作一维搜索，得到的新点作为本轮的搜索终点，也是下一轮的搜索起点；若本环的搜索结果不满足鲍威尔条件，则取本环搜索终点和反射点中目标函数值小的点作为本轮

的搜索终点，也是下一轮的搜索起点。kkk这里需要注意的是反射点的计算：Xn?2X?X?2n0 kkk式中：Xn?2是本环起点X0相对于本环终点Xn 沿新生成方向的反射点。2例：对于无约束目标函数minf(X)?x12?2x2?4x1?2x1x2，利用修正Powell法从?1?X0???出发求最优解。?1??1?1解：令X0?X0??? P1?P0?(e1,e2) ?1??1??1???11 X1?X0??????? 01?????3?11??2令f?(X1 得：则：X1??? )?0?1??0??3?11 X2?X1??????? 11???????3?11令f?(X2)?0 得：?? 则：X2??? ???3??1??2?11该环生成的新搜索方向为：S1?X2?X0????????? ???1???对S1进行有效性判别：?3??1??5?111反射点X4?2X2?X0?2???????? ???1??2?111 f1?f(X0)?? f3?f(X4)??3 f2?f(X2)??7 1111?1?f(X0)?f(X2)??7?(?)? )?f(X1)?

?3?(?7)?4，?2?f(X1故最大下降量?m??1?4 故：f3?f1和(f1?2f2?f3)(f1?f2??m)2?方向S1可用1以X2为起点，沿S1方向作一维搜索：1?m(f1?f3)2均成立2?3??2??3?2??11X3?X2??S1?????????? ? ???????11minf(X3)?f(X2??S1)

得??2/5? ??1故，本轮寻优的终点为：X1?X3??? ??做收敛性判别：X1?X0??，应继续搜索??21下一轮寻优过程的起点为：X0?X3??? ??下一轮寻优过程的搜索方向组为：(e2,S1) 继续依样搜索直至满足收敛精度

第4章约束优化方法约束优化方法要求大家重点掌握惩罚函数法，包括内点法、外点法、混合法。一、外点法构造惩罚函数：min?(X,r)?f(X)?rkk??max[gu?1pu(X),0]?? r2k?[h(X)]vv?1q2 外点法既可以处理不等式约束优化问题，又可以处理等式约束优化问题。需要注意的是：惩罚

因子rk随迭代次数的增加是递增的，当rk??时得到的解就是原问题的最优解。例：用外点法求解2minf(X)?x12?x2?2x1??x2?0 22解：构造惩罚函数?(X,rk)?x12?x2?2x1?1?rk?max[3?x2,0]? 22k2?x?x?2x?1?r(3?x)当3?x2?0时?1212k??(X,r)??2 2?当3?x2?0时?x1?x2?2x1?1令???2x1?2?0 ?x1???2x2?2rk(x2?3)?

0 ?x1 X为内点时无约束最优解3rk**?1x2?limx2?3故得：x1?1x2??x1kk??1?rf(x*)?9 二、内点法构造惩罚函数：p1kk 或：?(X,r)?f(X)?r?ln[?gu(X)] ?(X,r)?f(X) ?r?u?1u?1gu(X)kkp内点法只能处理不等式约束优化问题，不能处理等式约束优化问题。需要注意的是：惩罚因子rk随迭代次数的增加是递减的，当rk?0时得到的解就是原问题的最优解。例：用内点法求解约束优化问题f(X)?x1?x2?x2?0?x1?0 解：构

造惩罚函数?(X,rk)?x1?x2?rkln[x2?x12]?rklnx1 令?2x1??1k?1?rk??r??0 2?x1x1x2?x1??1?1?rk??0 ?x2x2?x12 1?8rk?1(1?8rk?1)2得x1?，x2??rk 416?0?当rk?0时，得x*??? f(x*)?0 ?0?三、混合法构造惩罚函数：q1k?(X,r)?f(X)?r??r2?[hv(X)]2

u?1gu(X)v?1kk1p

或：?(X,r)?f(X)?rkk1?ln[?gu?1pu(X)]?rk2 ?[h(X)]vv?1q2 混合法的特点是：对于不等式约束按照内点法构造惩罚项，对于等式约束按照外点法构造惩罚项。混合法既可以处理不等式约束优化问题，也可以处理等式约束优化问题。例：用混合惩罚函数法求解约束优化问题2min f(X)?x12?3x2??x1?0x2?0 2?rkln[1?x1]?解：构造惩罚函数?(X,rk)?x12?3x2?x212x2 kr1??k2x?r?11?x1?k??0

令??(X,r)??2x2???3?2x?2?rk???31?1?2rk

得：x1?，x2? 122(k?1)r?1?当rk?0时，得x*??? f(x*)?1 ?0? 第5章遗传算法本章要求重点掌握遗传算法的5个要素、遗传算法的寻优机制。一、遗传算法的5个要素1.编码将优化问题的解编码，用以模拟生物个体的基因组成； 2.初始种群生成将优化问题多个随机可行解汇成集合，用以模拟进化的生物种群；3.个体适应度评估将优化问题目标函数加以变换，生成适应度函数来评价种群个体的适应度，用以模拟生物个体对环境的适应能力； 4.遗传操作包含选择、交叉、变异选择：一种使适应度函数值大的个体有更大的存活机会的机制，用以模拟环境对生物个体的自然选择；交叉：不同个体间相互交换信息，用以模拟高级生物有性繁殖过程中的基因重组过程；变异：模拟生物在遗传过程中基因复制差错而产生新个体的现象。 5.控制参数的设定种群规模：M?30~160；群

体中个体适应度函数的评交叉概率：pc?~ 变异概率：pm?~最大进化代数：T?100~1000 二、遗传算法的寻优机制寻优机制见右侧的基本遗传算法流程图。仔细看看遗传算法人工模拟进化的例题。变异基本遗传算法流程图交叉选择初始群体的生结束是收敛？编码否遗传操作作业练习： 1. 确定下列函数的初始区间。⑴minf(x)?x3?6x 取x0?，h?答案：[，2] 1⑵minf(x)?x2?x 取x0?，h?答案：[，] 42. 用黄金分割法求解minf(x)?x3?6x，取??、初始搜索区间[，2]。11?)6? f(x*)?? x*?(a?b)??( 用梯度法求解minf(X)?x12?4x2，X0?[4,4]T ?? 答案：X?X??f(X*)?f(X2)? ???*224. 用阻尼牛顿法求解minf(X)?x12?2x1x2??x1?2x2，X0?[1,2]T ?1/2? 答案：X?X??? f(X*)?f(X1)??3/4 ?1?*125. 用共轭

梯度法求解minf(X)?x12?x2?x1x2?10x1?4x2，X0?[1,1]T ?8? 答案：X*??? f(X*)??52 ?6?26. 用Powell法求解minf(X)?x12?x2?x1x2?10x1?4x2，X0?[1,1]T ???8?*2 答案：x*?? f(X)?f(X)??52 ???????6?7. 用外点法求解：?2?2?3?minf(x)?x12?2x22*答案：x???，f(x*)? ?x2?1?0?1???3??8. 用混合罚函数法求解：minf(x)?x1??lnx1?0x1?x2?1?0?1?

答案：x???f(x*)?1 ?0?*