最优化原理与方法复习
最优化方法归纳总结
最优化方法归纳总结最优化方法归纳总结篇一：最优化方法综述最优化方法综述1.引论1.1应用介绍最优化理论与算法是一个重要的数学分支，它所研究的问题是讨论在众多的方案中什么样的方案最优以及怎样找出最优方案。
这类问题普遍存在。
例如，工程设计中怎样选择设计参数，使得设计方案满足设计要求，又能降低成本；资源分配中，怎样分配有限资源，使得分配方案既能满足各方面的基本要求，又能获得好的经济效益；生产评价安排中，选择怎样的计划方案才能提高产值和利润；原料配比问题中，怎样确定各种成分的比例，才能提高质量，降低成本；城建规划中，怎样安排工厂、机关、学校、商店、医院、住户和其他单位的合理布局，才能方便群众，有利于城市各行各业的发展；农田规划中，怎样安排各种农作物的合理布局，才能保持高产稳产，发挥地区优势；军事指挥中，怎样确定最佳作战方案，才能有效地消灭敌人，保存自己，有利于战争的全局；在人类活动的各个领域中，诸如此类，不胜枚举。
最优化这一数学分支，正是为这些问题的解决，提供理论基础和求解方法，它是一门应用广泛、实用性强的学科。
1.2优化的问题的基本概念工程设计问题一般都可以用数学模型来描述，即转化为数学模型。
优化设计的数学模型通常包括设计变量、目标函数和约束条件。
三个基本要素。
设计变量的个数决定了设计空间的维数。
确定设计变量的原则是：在满足设计基本要求的前提下，将那些对设计目标影响交大的而参数选为设计变量，而将那些对设计目标影响不大的参数作为设计变量，并根据具体情况，赋以定值，以减少设计变量的个数。
用来评价和追求最优化设计方案的函数就称为目标函数，目标函数的一般表达式为f?x??f?x1,x2,?xn?。
优化设计的目的，就是要求所选择的设计变量使目标函数达到最佳值。
所谓最佳值就是极大值或极小值。
在设计空间中，虽然有无数个设计点，即可能的设计方案，但是一般工程实际问题对设计变量的取值总是有一些限制的，这些限制条件显然是设计变量的函数，一般称之为优化设计问题的约束条件或约束函数。
最优化原理复习知识点
最优化原理复习知识点最优化就是依据最优化原理和方法，在满足相关要求的前提下，以尽可能高的效率求得工程问题最优解决方案的过程。
1.可微的定义设)(X f 是定义在n 维空间n R 的子集D 上的n 元实值函数，且D X ∈0。
若存在n 维向量L ，对于任意n 维向量P ，都有0)()(lim 000=--+→PP L X f P X f T P 则称)(X f 在0X 处可微。
设)(X f 是定义在n 维空间n R 的子集D 上的n 元实值函数，若存在D X ∈*及实数0>δ，使得)(),(**X X D X N X ≠?∈?δ都有)()(*X f X f ≤，则称*X 为)(X f 的局部极小点；若)()(*X f X f <，则称*X 为)(X f 的严格局部极小点。
若D X ∈?，都有)()(*X f X f ≤，则称*X 为)(X f 的全局极小点，若)()(*X f X f <，则称*X 为)(X f 的全局严格极小点。
凸集：设n R D ?，若对所有的D X X ∈21、，及]1,0[∈α，都有D X X ∈-+21)1(αα，则称D 为凸集。
凸函数：设1:R R D f n →?，D 是凸集，如果对于所有的D X X ∈21、，及]1,0[∈α，都有)()1()(])1([2121X f X f X X f αααα-+≤-+，则称)(X f 为D 上的凸函数。
局部极小点的判别：设)(X f 是定义在n 维空间n R 的子集D 上的n 元实值函数，具有连续的二阶偏导数。
若*X 是)(X f 的驻点，且)(*2X f ?是正定矩阵，则*X 是)(X f 的严格局部极小点。
物理意义基本思想就是在设计空间内选定一个初始点k X ，从该点出发，按照某一方向k S （该方向的确定原则是使函数值下降）前进一定的步长k α，得到一个使目标函数值有所下降的新设计点1+k X ，然后以该点为新的初始点，重复上面过程，直至得到满足精度要求的最优点*X 。
最优化复习重点
1/ 2 0 ∴ ∇ f (x ) = 0 1/ 8
2 1 −1
∴ x 2 = x 1 − ∇ 2 f ( x 1 )−1 ∇f ( x 1 ) = [0,0]T
条件。 例 3 试写出下述问题的 K − T 条件。 min
2 2 f ( x ) = 3 x1 − 3 x1 x 2 + 2 x 2 2 2 x1 − 2 x1 + 2 x 2 + x 2 ≤ 3 2 s . t . x1 + 2 x 2 = 4 x 2 + 2 x2 ≥ 0
解：
1 T （1）基变量为 x 2 , x4 , x5 ，基本可行解为 x = ( 。 （2）因为变量 x1 的检验数 σ 1 = 2 > 0 ，所以不是最优单纯 ） 型表。 型表。
x1 − 2 2 2 2 x 2 x 3 x4 x5 0 2 1 0
障碍函数
ϕ ( x , µ ) = ( x1 − 2 x2 ) + 2 x2 + u
2
1
2 2 x2 + 6 − 3 x1
或
2 ϕ ( x , µ ) = ( x1 − 2 x2 )2 + 2 x2 − u ln( 2 x2 + 6 − 3 x1 )
将下面的线性规划问题化为标准型。 例5 将下面的线性规划问题化为标准型。
min z = 2 x1 + x 2 − 3 x 3 x1 + x 2 − 2 x 3 ≤ 4 2 x1 − x 3 ≥ 2 s .t . 2 x2 + x3 ≤ 5 x 1 , x 2 ≥ 0 , x 3 无无无 解： 令 x 3 = x 4 − x 5 . max z = −2 x1 − x2 + 3 x4 − 3 x5 x1 + x 2 − 2 x4 + 2 x5 + x6 = 4 2x − x + x − x = 2 1 4 5 7 s .t . 2 x 2 + x4 − x5 + x8 = 5 x1 , x 2 , x4 , x5 , x6 , x7 , x8 ≥ 0
最优化理论与方法复习要求2021
最优化理论与方法复习要求2021《最优化理论与方法》复习内容要求和题型一、复习内容要求1、最佳化问题及其分类，最优求解的有关概念，最佳化问题的算法的通常运算格式及其收敛性和暂停准则。
2、建立一个实际最优化问题的数学模型的思想和方法，包括线性规划、非线性规划、动态规划及多目标规划模型。
3、掌控单纯形法的理论依据、基本思想和最优性检验定理，娴熟用大m法和两阶段解线性规划问题，特别就是结构的新问题与原问题的求解的关系。
4、了解内点法的基本思想，掌握线性规划和0-1规划问题的计算机求解方法。
5、晓得化解特定线性规划问题的数学分析（不含分支定界法、隐枚举法、单上作业法和匈牙利法）的思想方法。
6、了解非线性规划问题及数学模型，了解非线性规划的相关概念及理论，知道非线性规划的最优性条件。
7、掌控一维搜寻的黄金分割法（0.618法）与fibonacci法，晓得二分法，特别注意这些算法的适用于条件。
8、掌握最速下降法、牛顿类算法、fr共轭梯度法的算法步骤，并熟练使用它们求解多维无约束非线性规划，特别注意这些算法的异同点及它们与一维优化的关系。
9、介绍惩罚函数法的算法思想，熟练掌握用内、外点法解多维约束非线性规划问题，特别注意它们的优劣点及适用于条件。
10、了解乘子法的算法思想，熟练掌握乘子法求解多维约束非线性规划问题，特别注意它与惩罚函数法的异同。
11、介绍动态规划的基本概念、最优性原理与基本方程，特别注意动态规划问题与静态规划问题（线性和非线性规划）的优劣及一些静态规划问题如何化成动态规划问题。
12、掌控动态规划的建模步骤，介绍逆发推数学分析和顺发推数学分析的优劣。
13、了解有效解、弱有效解等多目标规划问题的重要概念，注意与单目标规划问题解概念的区别。
14、掌控多目标规划的几种评价函数法：理想点法、线性平均值法和很大极小法，介绍分层排序法解层次多目标规划的解思路，可以用这种方法求解直观的层次多目标问题。
15、掌控多目标规划计算机解方法。
最优化原理和方法(试题+答案)
《最优化原理与算法》试卷（第一套）刘迟
一、填空题（每小题5分）
1.若()()⎪⎪⎭
⎫ ⎝⎛+⎪⎪⎭⎫ ⎝⎛⎪⎪⎭⎫ ⎝⎛=212121312112)(x x x x x x x f ，则=∇)(x f ，=∇)(2x f .
2.设f 连续可微且0)(≠∇x f ，若向量d 满足 ，则它是f 在x 处的一个下降方向。
4. 设R R f n →:二次可微，则f 在x 处的牛顿方向为 .
5.举出一个具有二次终止性的无约束二次规划算法： .
参考答案
一、填空题
1. ⎪⎪⎭⎫ ⎝⎛++++3421242121x x x x ⎪⎪⎭
⎫ ⎝⎛4224 2. 0)(<∇d x f T
4. )()(1
2x f x f ∇∇--
5. 牛顿法、修正牛顿法等（写出一个即可）
第二套 叶正亮
1.拟牛顿法主要是为了解决牛顿法的什么不足？（3点即可）
A ，每次迭代不能保证下降，b ，起始点要求严格c ，迭代求不出方向d ，构造困难，计算复杂
2.求解多目标最优化问题的评价函数法包括（线性加权法，极大极小法，乘除法，理想点发，平方和加权法）
3.设{X k
}为由，求解D x →min f （x ）的算法A 产生的迭代序列，假设算法A 为下降算法，则对}3,2,1,0{ ，∈∀k ，恒有（ )1()(k k X f X f ≤+ ）。
最优化原理复习纲要
复习第一章 绪论一. 基本概念二. 知识点局部极小点、全局极小点、凸集、极点、极方向、凸函数Farkas Gordan 图解法、点与闭凸集的分离定理、引理、择一定理、凸函数的一阶、二阶充要条件.第四章 无约束最优化问题的一般结构方向导数、一维搜索、局部收敛与全局收敛、收敛速率、算法的二次终止性一. 基本概念4.1.4.一阶必要条件、二阶必要条件、二阶充分条件、定理、最速下降算法二. 知识点精确一维搜索、非精确一维搜索、单峰函数黄金分割法.第五章 一维搜索一. 基本概念二. 知识点共轭方向Newton Newton 方程、法算法、共轭梯度法、拟牛顿法的基本性质第六章 使用导数的最优化方法一. 基本概念二. 知识点KKT Lagrangian 下降方向、可行方向、凸规划、有效约束(起作用约束)、点、函数第八章 约束问题的最优性条件一. 基本概念二. 知识点KKT 一阶必要条件（条件）、二阶必要条件、二阶充分条件第十章 可行方向法知识点:Zoutendijk可行方向法、投影阵及其基本性质(外)罚函数、(内)罚函数、第十一章 乘子法一. 基本概念二. 知识点()(外)罚函数算法、内罚函数算法、罚函数法相关理论结果{}{}{}1111(1)(;)(;)(;);(2)()()();(3)()()().k k k k k k k k k k k k P x P xP x S x S xS x f x f x f x σσσ++++≤≥≤，即序列非减，即序列非增，即序列非减111100,min{(;}.)k k k k k k x xP x σσσσσ+++<<设和分别为取罚参数及时无约束问题的全局最优解，则下列不等式成立：。
最优化原理知识点
1.优化设计数学模型的三要素是什么？试写出其数学表达式。
2.常用的迭代终止准则有哪些？(1)点距准则 ||Xk+1-Xk||≤ε(2)值差准则 |f(Xk+1)-f(Xk)|≤ε(3)梯度准则 ||▽ f(Xk+1) ||≤ε3.设计的变量和设计空间的关系是什么？由n个设计变量x1,x2,…xn为坐标所组成的实空间称作设计空间。
4.梯度和方向导数的关系是什么？梯度▽ F(X) 是一个向量，梯度方向是函数具有最大变化率的方向（方向导数最大的方向）。
5.如何判断矩阵的正定性？若有HTHX>0，则称矩阵H是正定矩阵；矩阵A正定的条件是A的各阶主子式大于零。
6.为什么说正定二次函数在最优化理论中具有特殊意义？因为许多最优化理论和最优化方法都是根据正定二次函数提出并加以证明的,而且所有对正定二次函数适用并有效的最优化算法,经证明,对一般非线性函数也是适用和有效的。
7.什么是库恩-塔克条件？其几何意义又是什么？等式约束：不等式约束：8.为什么二次插值法的收敛速度要比黄金分割法快？而在相同τ下的实际精度没有黄金分割法高？9.试写出梯度法（最速下降法）的迭代算法公式，并简要叙述该算法的特点。
公式：方法特点：1）初始点可任选，每次迭代计算量小，存储量少，程序简短。
即使从一个不好的初始点出发，开始的几步迭代，目标函数值下降很快，然后慢慢逼近局部极小点；2）任意相邻两点的搜索方向是正交的，它的迭代路径为绕道逼近极小点。
当迭代点接近极小点时，步长变得很小，越走越慢。
梯度法只具有线性收敛速度。
10.梯度法计算速度慢的原因是什么？为什么一些好的算法第一步迭代都以负梯度作为搜索方向？在迭代点向函数极小点靠近的过程，走的是曲折的路线，形成“之”字形的锯齿现象，而且越接近极小点锯齿越细。
11.牛顿方向如何得到？有何优点？12.共轭方向如何产生？有何优点？13.线性规划的基本解、基本可行解和最优解之间有什么关系？14.在解的转换中，如何保证目标函数值不仅下降，而且下降的最多？15.非线性约束最优化问题的求解方法有哪两类？各有什么特点？16.约束优化方法中的可行方向法产生可行方向应满足什么条件？试用文字描述并用公式表达。
《最优化方法》课程复习考试
《最优化方法》复习提要 第一章 最优化问题与数学预备知识§1. 1 模型无约束最优化问题 12min (),(,,,)T n n f x x x x x R =∈．约束最优化问题（},,2,1,0)(;,,2,1,0)(,|{l j x h m i x g R x x S j i n ===≥∈=∧）min ();...f x s t x S ⎧⎨∈⎩ 即 m i n ();..()0,1,2,,,()0,1,2,,.i j f x s t g x i m h x j l ⎧⎪≥=⎨⎪==⎩其中()f x 称为目标函数，12,,,n x x x 称为决策变量，S 称为可行域，()0(1,2,,),()0(1,2,,)i j g x i m h x j l ≥===称为约束条件．§1. 2 多元函数的梯度、Hesse 矩阵及Taylor 公式定义 设:,n n f R R x R →∈．如果n ∃维向量p ，n x R ∀∆∈，有()()()T f x x f x p x o x +∆-=∆+∆．则称()f x 在点x 处可微，并称()T df x p x =∆为()f x 在点x 处的微分．如果()f x 在点x 处对于12(,,,)T n x x x x =的各分量的偏导数(),1,2,,if x i n x ∂=∂都存在，则称()f x 在点x 处一阶可导，并称向量12()()()()(,,,)Tnf x f x f x f x x x x ∂∂∂∇=∂∂∂ 为()f x 在点x 处一阶导数或梯度．定理1 设:,n n f R R x R →∈．如果()f x 在点x 处可微，则()f x 在点x 处梯度()f x ∇ 存在，并且有()()T df x f x x =∇∆．定义 设:,n n f R R x R →∈．d 是给定的n 维非零向量，de d=．如果 0()()lim()f x e f x R λλλλ→+-∈存在，则称此极限为()f x 在点x 沿方向d 的方向导数，记作()f x d∂∂． 定理2 设:,n n f R R x R →∈．如果()f x 在点x 处可微，则()f x 在点x 处沿任何非零方向d 的方向导数存在，且()()T f x f x e d ∂=∇∂，其中de d=． 定义 设()f x 是n R 上的连续函数，n x R ∈．d 是n 维非零向量．如果0δ∃>，使得(0,)λδ∀∈，有()f x d λ+<（>）()f x ．则称d 为()f x 在点x 处的下降（上升）方向．定理3 设:,n n f R R x R →∈，且()f x 在点x 处可微，如果∃非零向量n d R ∈，使得()T f x d ∇<（>）0，则d 是()f x 在点x 处的下降（上升）方向． 定义 设:,n n f R R x R →∈．如果()f x 在点x 处对于自变量12(,,,)T n x x x x =的各分量的二阶偏导数2()(,1,2,,)i j f x i j n x x ∂=∂∂都存在，则称函数()f x 在点x 处二阶可导，并称矩阵22221121222222122222212()()()()()()()()()()n n n n n f x f x f x x x x x x f x f x f x f x x x x x x f x f x f x x x x x x ⎛⎫∂∂∂ ⎪∂∂∂∂∂ ⎪ ⎪∂∂∂ ⎪∇=∂∂∂∂∂ ⎪ ⎪⎪ ⎪∂∂∂⎪∂∂∂∂∂⎝⎭为()f x 在点x 处的二阶导数矩阵或Hesse 矩阵． 定义 设:,n m n h R R x R →∈，记12()((),(),,())T m h x h x h x h x =，如果 ()(1,2,,)i h x i m =在点x 处对于自变量12(,,,)T n x x x x =的各分量的偏导数()(1,2,,;1,2,,)i jh x i m j n x ∂==∂都存在，则称向量函数()h x 在点x 处是一阶可导的，并且称矩阵111122221212()()()()()()()()()()n n m n m m m n h x h x h x xx x h x h x h x x x x h x h x h x h x xx x ⨯∂∂∂⎛⎫ ⎪∂∂∂⎪⎪∂∂∂⎪∂∂∂∇= ⎪ ⎪⎪∂∂∂ ⎪ ⎪∂∂∂⎝⎭为()h x 在点x 处的一阶导数矩阵或Jacobi 矩阵，简记为()h x ∇．例2 设,,n n a R x R b R ∈∈∈，求()T f x a x b =+在任意点x 处的梯度和Hesse 矩阵．解 设1212(,,,),(,,,)TTn n a a a a x x x x ==，则1()nk k k f x a x b ==+∑，因()(1,2,,)k kf x a k n x ∂==∂，故得()f x a ∇=．又因2()0(,1,2,,)i jf x i j n x x ∂==∂∂，则2()f x O ∇=．例3 设n n Q R ⨯∈是对称矩阵，,n b R c R ∈∈，称1()2TT f x x Qx b x c =++为二次函数，求()f x 在任意点x 处的梯度和Hesse 矩阵．解 设1212(),(,,,),(,,,)T T ij n n n n Q q x x x x b b b b ⨯===，则121111(,,,)2n nnn ij i j k k i j k f x x x q x x b x c ====++∑∑∑，从而111111111()()()nn j j j j j j n n n nj j n nj j j j n f x q x b q x x bf x Qx b f x b q x b q x x ====⎛⎫⎛⎫∂⎛⎫+ ⎪ ⎪ ⎪∂⎛⎫ ⎪ ⎪⎪ ⎪ ⎪ ⎪ ⎪∇===+=+ ⎪ ⎪ ⎪ ⎪ ⎪∂⎝⎭ ⎪ ⎪ ⎪+ ⎪ ⎪ ⎪∂⎝⎭⎝⎭⎝⎭∑∑∑∑．再对1()(1,2,,)nij j i j i f x q x b i n x =∂=+=∂∑求偏导得到2()(,1,2,,)ij i jf x q i j n x x ∂==∂∂，于是1112121222212()n n n n nn q q q q q q f x Q q q q ⎛⎫⎪ ⎪∇== ⎪⎪⎝⎭． 例 4 设()()t f x td ϕ=+，其中:n f R R →二阶可导，,,n n x R d R t R ∈∈∈，试求(),()t t ϕϕ'''．解 由多元复合函数微分法知 2()(),()()T T t f x td d t d f x td d ϕϕ'''=∇+=∇+． 定理4 设:,n n f R R x R →∈，且()f x 在点x 的某邻域内具有二阶连续偏导数，则()f x 在点x 处有Taylor 展式21()()()(),(01)2T T f x x f x f x x x f x x x θθ+∆=+∇∆+∆∇+∆∆<<．证明 设()(),[0,1]t f x t x t ϕ=+∆∈，则(0)(),(1)()f x f x x ϕϕ==+∆．按一元函数Taylor 公式()t ϕ在0t =处展开，有21()(0)(0)(),(0)2t t t t ϕϕϕϕθθ'''=++<<．从例4得知2(0)(),()()()T T f x x x f x x x ϕϕθθ'''=∇∆=∆∇+∆∆．令1t =，有21()()()(),(01)2T T f x x f x f x x x f x x x θθ+∆=+∇∆+∆∇+∆∆<<．根据定理1和定理4，我们有如下两个公式()()()()()T f x f x f x x x o x x =+∇-+-，221()()()()()()()()2T T f x f x f x x x x x f x x x o x x =+∇-+-∇-+-．§1. 3 最优化的基本术语定义 设:n f R R →为目标函数，n S R ⊆为可行域，x S ∈．（1） 若x S ∀∈，都有()()f x f x ≥，则称x 为()f x 在S 上的全局（或整体）极小点，或者说，x 是约束最优化问题min ()x Sf x ∈的全局（或整体）最优解，并称()f x为其最优值．（2） 若,x S x x ∀∈≠，都有()()f x f x >，则称x 为()f x 在S 上的严格全局（或整体）极小点．（3） 若x ∃的δ邻域(){}(0)n N x x R x x δδδ=∈-<>使得()x N x S δ∀∈，都有()()f x f x ≥，则称x 为()f x 在S 上的局部极小点，或者说，x 是约束最优化问题min ()x Sf x ∈的局部最优解．（4） 若x ∃的δ邻域()(0)N x δδ>使得(),x N x S x x δ∀∈≠，都有()()f x f x >，则称x 为()f x 在S 上的严格局部极小点．第二章 最优性条件§2.1 无约束最优化问题的最优性条件定理 1 设:n f R R →在点x 处可微，若x 是问题min ()f x 的局部极小点，则()0f x ∇=．定义 设:()n f S R R ⊆→在int x S ∈处可微，若()0f x ∇=，则称x 为()f x 的平稳点．定理2 设:n f R R →在点x 处具有二阶连续偏导数，若x 是问题min ()f x 的局部极小点，则()0f x ∇=，且2()f x ∇半正定．定理3 设:n f R R →在点x 处具有二阶连续偏导数，若()0f x ∇=，且2()f x ∇正定，则x 是问题min ()f x 的严格局部极小点． 注：定理2不是充分条件，定理3不是必要条件．例1 对于无约束最优化问题2312min ()f x x x =-，其中212(,)T x x x R =∈，显然 2212()(2,3),T f x x x x R ∇=-∀∈，令()0f x ∇=，得()f x 的平稳点(0,0)T x =，而且2222020(),()0600f x f x x ⎛⎫⎛⎫∇=∇= ⎪ ⎪-⎝⎭⎝⎭．易见2()f x ∇为半正定矩阵．但是，在x 的任意δ邻域x x δ-<，总可以取到(0,)2T x δ=，使()()f x f x <，即x 不是局部极小点．例2 对于无约束最优化问题42241122min ()2f x x x x x =++，其中212(,)T x x x R =∈， 易知3223112122()(44,44)Tf x x x x x x x ∇=++，从而得平稳点(0,0)T x =，并且 22221212221212001248(),()008412x x x x f x f x x x x x ⎛⎫+⎛⎫∇=∇=⎪ ⎪+⎝⎭⎝⎭． 显然2()f x ∇不是正定矩阵．但是，22212()()f x x x =+在x 处取最小值，即x 为严格局部极小点．例3 求解下面无约束最优化问题332122111min ()33f x x x x x =+--，其中212(,)T x x x R =∈， 解 因为21212222201(),()0222x x f x f x x x x ⎛⎫-⎛⎫∇=∇= ⎪ ⎪--⎝⎭⎝⎭，所以令()0f x ∇=，有2122210,20.x x x ⎧-=⎪⎨-=⎪⎩解此方程组得到()f x 的平稳点(1)(2)(3)(4)1111,,,0202x x x x --⎛⎫⎛⎫⎛⎫⎛⎫==== ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭⎝⎭．从而2(1)2(2)2020(),()0202f x f x ⎛⎫⎛⎫∇=∇= ⎪ ⎪-⎝⎭⎝⎭，2(3)2(4)2020(),()0202f x f x --⎛⎫⎛⎫∇=∇= ⎪ ⎪-⎝⎭⎝⎭．由于2(1)()f x ∇和2(4)()f x ∇是不定的，因此(1)x 和(4)x 不是极值点．2(3)()f x ∇是负定的，故(3)x 不是极值点，实际上它是极大点．2(2)()f x ∇是正定的，从而(2)x 是严格局部极小点．定理4 设:n f R R →是凸函数，且()f x 在点n x R ∈处可微，若()0f x ∇=，则x 为min ()f x 的全局极小点．推论5 设:n f R R →是凸函数，且()f x 在点n x R ∈处可微．则x 为min ()f x 的全局极小点的充分必要条件是()0f x ∇=． 例 4 试证正定二次函数1()2TT f x x Qx b x c =++有唯一的严格全局极小点1x Q b -=-，其中Q 为n 阶正定矩阵．证明 因为Q 为正定矩阵，且(),n f x Qx b x R ∇=+∀∈，所以得()f x 的唯一平稳点1x Q b -=-．又由于()f x 是严格凸函数，因此由定理4知，x 是()f x 的严格全局极小点．§2.2 等式约束最优化问题的最优性条件定理1 设:n f R R →在点x 处可微，:(1,2,,)n j h R R j l →=在点x 处具有一阶连续偏导数，向量组12(),(),,()l h x h x h x ∇∇∇线性无关．若x 是问题min ();..()0,1,2,,j f x s t h x j l ⎧⎨==⎩的局部极小点，则,1,2,,j v R j l ∃∈=，使得1()()0lj j j f x v h x =∇-∇=∑．称(,)()()T L x v f x v h x =-为Lagrange 函数，其中12()((),(),,())T l h x h x h x h x =．称12(,,,)T l v v v v =为Lagrange 乘子向量．易见(,)x v L L x v L ∇⎛⎫∇= ⎪∇⎝⎭，这里1(,)()(),(,)()lx j j v j L x v f x v h x L x v h x =∇=∇-∇∇=-∑．定理 2 设:n f R R →和:(1,2,,)n j h R R j l →=在点n x R ∈处具有二阶连续偏导数，若l v R ∃∈，使得(,)0x L x v ∇=，并且，,0n z R z ∀∈≠，只要()0,1,2,,T j z h x j l ∇==，便有2(,)0T xx z L x v z ∇>，则x 是问题min ();..()0,1,2,,j f x s t h x j l ⎧⎨==⎩的严格局部极小点．例1 试用最优性条件求解 221212min ();..()80.f x x x s t h x x x ⎧=+⎨=-=⎩解 Lagrange 函数为221212(,)(8)L x v x x v x x =+--，则1221122(,)2(8)x vx L x v x vx x x -⎛⎫⎪∇=- ⎪ ⎪--⎝⎭， 从而得(,)L x v 的平稳点(8,8,2)T 和(8,8,2)T --，对应有(8,8),2T x v ==和(8,8),2T x v =--=．由于221222(,),()222xx x v L x v h x x v--⎛⎫⎛⎫⎛⎫∇==∇= ⎪⎪ ⎪--⎝⎭⎝⎭⎝⎭． 因此1212(){(,)|(,)()0}T M x z z z z h x =∇=121221{(,)|0}T z z z x z x =+= 1212{(,)|}T z z z z ==-．并且(),0z M x z ∀∈≠，有222211221(,)24280T xx z L x v z z z z z z ∇=-+=>．利用定理2，所得的两个可行点(8,8)T x =和(8,8)T x =--都是问题的严格局部极小点．§2.3 不等式约束最优化问题的最优性条件定义 设,,,0n n S R x clS d R d ⊆∈∈≠，若0δ∃>，使得，,(0,)x d S λλδ+∈∀∈， 则称d 为集合S 在点x 处的可行方向． 这里{|,(),0}n clS x x R SN x δδ=∈≠∅∀>．令 {|0,0,,(0,)}D d d x d S δλλδ=≠∃>+∈∀∈使，0{|()0}T F d f x d =∇<．定理 1 设n S R ⊆是非空集合，:,,()f S R x S f x →∈在点x 处可微．若x 是问题min ()x Sf x ∈的局部极小点，则 0F D =∅．对于min ();..()0,1,2,,,i f x s t g x i m ⎧⎨≥=⎩ （1）其中:,:(1,2,,)n n i f R R g R R i m →→=．令(){|()0,1,2,,}i I x i g x i m ===，其中x 是上述问题（1）的可行点．定理 2 设x 是问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(())i g x i I x ∉在点x 处连续，如果x 是问题（1）的局部极小点，则 00F G =∅，其中0{|()0,()}T i G d g x d i I x =∇>∈．定理 3 设x 是问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(())i g x i I x ∉在点x 处连续，若x 是问题（1）的局部极小点，则存在不全为0的非负数0,(())i u u i I x ∈，使0()()()0iii I x u f x u g x ∈∇-∇=∑． （x 称为Fritz John 点）如果()(())i g x i I x ∉在点x 处也可微，则存在不全为0的非负数01,,,m u u u ，使01()()0,()0,1,2,,.mi i i i iu f x u g x u g x i m =⎧∇-∇=⎪⎨⎪==⎩∑ （x 称为Fritz John 点） 例1 设1311222min ();..()(1)0,()0.f x x s t g x x x g x x =-⎧⎪=--≥⎨⎪=≥⎩试判断(1,0)T x =是否为Fritz John 点． 解 因为12100(),(),()011f x g x g x -⎛⎫⎛⎫⎛⎫∇=∇=∇= ⎪ ⎪ ⎪-⎝⎭⎝⎭⎝⎭，且(){1,2}I x =，所以为使Fritz John 条件01210000110u u u -⎛⎫⎛⎫⎛⎫⎛⎫--= ⎪ ⎪ ⎪ ⎪-⎝⎭⎝⎭⎝⎭⎝⎭成立，只有00u =才行．取0120,0u u u α===>即可，因此x 是Fritz John 点．定理 4 设x 是问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(())i g x i I x ∉在点x 处连续，并且()(())i g x i I x ∇∈线性无关．若x 是问题（1）的局部极小点，则存在0(())i u i I x ≥∈，使得()()()0iii I x f x u g x ∈∇-∇=∑． （x 称为K-T 点）如果()(())i g x i I x ∉在点x 处也可微，则存在0(1,2,,)i u i m ≥=，使得1()()0,()0,1,2,,.mi i i i if x ug x u g x i m =⎧∇-∇=⎪⎨⎪==⎩∑ （x 称为K-T 点） 例2 求最优化问题21211222min ()(1);..()20,()0f x x x s t g x x x g x x ⎧=-+⎪=--+≥⎨⎪=≥⎩的K-T 点． 解 因为1122(1)10(),(),()111x f x g x g x --⎛⎫⎛⎫⎛⎫∇=∇=∇= ⎪ ⎪ ⎪-⎝⎭⎝⎭⎝⎭，所以K-T 条件为111211222122(1)0,10,(2)0,0,0,0.x u u u u x x u x u u -+=⎧⎪+-=⎪⎪--+=⎨⎪=⎪⎪≥≥⎩ 若20u =，则11u =-，这与10u ≥矛盾．故20u >，从而20x =；若120x -+=，则12u =-，这与10u ≥矛盾．故10u =，从而211,1u x ==； 由于120,0u u ≥≥，且(1,0)T x =为问题的可行点，因此x 是K-T 点． 定理5 设在问题（1）中，()f x 和()(1,2,,)i g x i m -=是凸函数，x 是可行点，并且()f x 和()(())i g x i I x ∈在点x 处可微．若x 是问题（1）的K-T 点，则x 是问题（1）的全局极小点．§2.4 一般约束最优化问题的最优性条件考虑等式和不等式约束最优化问题min ();..()0,1,2,,,()0,1,2,,,i j f x s t g x i m h x j l ⎧⎪≥=⎨⎪==⎩（1） 其中:,:(1,2,,),:(1,2,,)n n n i j f R R g R R i m h R R j l →→=→=．并把问题（1）的可行域记为S ．,(){|()0,1,2,,}i x S I x i g x i m ∀∈==．定理 1 设x 为问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(1,2,,)j h x j l =在点x 处具有一阶连续偏导数，()(())i g x i I x ∉在点x 处连续，并且向量组12(),(),,()l h x h x h x ∇∇∇线性无关．若x 是问题（1）的局部极小点，则 00F G H =∅，这里0{|()0}T F d f x d =∇<，0{|()0,()}T i G d g x d i I x =∇>∈，0{|()0,1,2,,}T j H d h x d j l =∇==．定理 2 设x 为问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(1,2,,)j h x j l =在点x 处具有一阶连续偏导数，()(())i g x i I x ∉在点x 处连续．若x 为问题（1）的局部极小点，则存在不全为0的数0,(())i u u i I x ∈和(1,2,,)j v j l =，且0,0(())i u u i I x ≥∈，使0()1()()()0liijji I x j u f x u g x v h x ∈=∇-∇-∇=∑∑． （x 称为Fritz John 点）若()(())i g x i I x ∉在点x 处也可微，则存在不全为0的数0,(1,2,,)i u u i m =和(1,2,,)j v j l =，且0,0(1,2,,)i u u i m ≥=，使011()()()0,()0,1,2,,.m li i j j i j i iu f x u g x v h x u g x i m ==⎧∇-∇-∇=⎪⎨⎪==⎩∑∑ （x 称为Fritz John 点）例1 设2212311222212min ();..()0,()0,()(1)0.f x x x s t g x x x g x x h x x x ⎧=+⎪=-≥⎪⎨=≥⎪⎪=--+=⎩试判断(1,0)T x =是否为Fritz John 点．解 (){2}I x =，且2200(),(),()011f x g x h x ⎛⎫⎛⎫⎛⎫∇=∇=∇= ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭，且(){1,2}I x =，因此为使Fritz John 条件022*******u u v ⎛⎫⎛⎫⎛⎫⎛⎫--= ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭⎝⎭成立，只有00u =才行．所以取020,1,1u u v ===-，即知x 是Fritz John 点．定理 3 设x 为问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(1,2,,)j h x j l =在点x 处具有一阶连续偏导数，()(())i g x i I x ∉在点x 处连续，且向量组()(()),()(1,2,,)i j g x i I x h x j l ∇∈∇=线性无关．若x 是问题（1）的局部极小点，则存在数0(())i u i I x ≥∈和(1,2,,)j v j l =，使()1()()()0liijji I x j f x u g x v h x ∈=∇-∇-∇=∑∑． （x 称为K-T 点）如果()(())i g x i I x ∉在点x 处也可微，则存在数0(1,2,,)i u i m ≥=和(1,2,,)j v j l =，使11()()()0,()0,1,2,,.m li i j j i j i if x ug x vh x u g xi m ==⎧∇-∇-∇=⎪⎨⎪==⎩∑∑ （x 称为K-T 点） 令 1212()((),(),,()),()((),(),,())T T m l g x g x g x g x h x h x h x h x ==，1212(,,,),(,,,)T T m l u u u u v v v v ==，称u 与v 为广义Lagrange 乘子向量或K-T 乘子向量．()()()0,()0,0.T T Tf xg x uh x v u g x u ⎧∇-∇-∇=⎪=⎨⎪≥⎩令(,,)()()()T T L x u v f x u g x v h x =--为广义Lagrange 函数．称(,,)L x u v 为广义Lagrange 函数．则K-T 条件为(,,)0,()0,0.x TL x u v u g x u ∇=⎧⎪=⎨⎪≥⎩定理 4 设在问题（1）中，()f x 和()(1,2,,)i g x i m -=是凸函数，()(1,2,,)j h x j l =是线性函数，x 是可行点，并且()f x 和()(())i g x i I x ∈在点x 处可微．若x 是问题（1）的K-T 点，则x 是问题（1）的全局极小点．例2 求解最优化问题221221212min ()(3)(1);..()0,()230.f x x x s t g x x x h x x x ⎧=-+-⎪=-+≥⎨⎪=+-≥⎩ 解 广义Lagrange 函数为222121212(,,)()()()(3)(1)()(23)L x u v f x ug x vh x x x u x x v x x =--=-+---+-+-．因为111(,,)2(3)22L x u v x ux v x ∂=-+-∂，22(,,)2(1)L x u v x u v x ∂=---∂．所以K-T 条件及约束条件为112212212122(3)220,2(1)0,()0,0,230,0.x ux v x u v u x x x x x x u -+-=⎧⎪---=⎪⎪-+=⎪⎨-+≥⎪⎪+-=⎪≥⎪⎩ 下面分两种情况讨论． （1） 设0u =，则有12122(3)20,2(1)0,230.x v x v x x --=⎧⎪--=⎨⎪+-=⎩ 由此可解得12718,,555x x v ===-，但71(,)55T x =不是可行点，因而不是K-T 点．（2） 设0u >，则有112212122(3)220,2(1)0,0,230.x ux v x u v x x x x -+-=⎧⎪---=⎪⎨-+=⎪⎪+-=⎩ 由此可得211230x x --+=，解得11x =或13x =-。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
最优化原理与方法复习第1章最优化问题的基本概念§最优化的概念最优化就是依据最优化原理和方法，在满足相关要求的前提下，以尽可能高的效率求得工程问题最优解决方案的过程。
§最优化问题的数学模型 1.最优化问题的一般形式?findx1,x2,?,xn?minf(x,x,?,x)?12 n? (x,x,?,x)?0u?1,2,?,pu12n??hv(x1,x2,?,xn)? 0v?1,2,?,q? 2.最优化问题的向量表达式?findX?minf(X)?? (X)?0??H(X)?0?式中：X?[x1,x2,?,xn]T G(X)?[g1(X),g2(X),?,gp(X)]TH(X)?[h1(X),h2(X),?,hp(X)]T 3.优化模型的三要素设计变量、约束条件、目标函数称为优化设计的三要素！设计空间：设计变量所确定的空间。
设计空间中的每一个点都代表一个设计方案。
§优化问题的分类按照优化模型中三要素的不同表现形式，优化问题有多种分类方法：1按照模型中是否存在约束条件，分为约束优化和无约束优化问题2按照目标函数和约束条件的性质分为线性优化和非线性优化问题3按照目标函数个数分为单目标优化和多目标优化问题4按照设计变量的性质不同分为连续变量优化和离散变量优化问题第2章最优化问题的数学基础§n元函数的可微性与梯度一、可微与梯度的定义1.可微的定义设f(X)是定义在n维空间Rn的子集D上的n元实值函数，且X0?D。
若存在n维向量L，对于任意n维向量P，都有f(X0?P)?f(X0)?LTPlim?0 P?0P则称f(X)在X0处可微。
2.梯度设有函数F(X)，X?[x1,x2,?,xn]T，在其定义域内连续可导。
我们把F(X)在定义域内某点X处的所有一阶偏导数构成的列向量，定义为F(X)在点X处的梯度。
记为：??F?F?F?k?F(X)??,,?,? ?x ?x?x2n??1T梯度有3个性质：⑴函数在某点的梯度方向为函数过该点的等值线的法线方向；⑵函数值沿梯度方向增加最快，沿负梯度方向下降最快；⑶梯度描述的只是函数某点邻域内的局部信息。
§极小点及其判别条件一、相关概念 1.极小点与最优解设f(X)是定义在n维空间Rn的子集D上的n 元实值函数，若存在X*?D及实数??0，使得?X?N(X*,?)?D(X?X*)都有f(X*)?f(X)，则称X*为f(X)的局部极小点；若f(X*)?f(X)，则称X*为f(X)的严格局部极小点。
若?X?D，都有f(X*)?f(X)，则称X*为f(X)的全局极小点，若f(X*)?f(X)，则称X*为f(X)的全局严格极小点。
?findX?minf(X)?对最优化问题?而言(X)?0??H(X)?0?满足所有约束条件的向量X?[x1,x2,?,xn]T称为上述最优化问题的一个可行解，全体可行解组成的集合称为可行解集。
在可行解集中，满足：f(X*)?minf(X)的解称为优化问题的最优解。
2.凸集和凸函数凸集：设D?Rn，若对所有的X1、X2?D，及??[0,1]，都有?X1?(1??)X2?D，则称D为凸集。
凸函数：设f:D?Rn?R1，D是凸集，如果对于所有的X1、X2?D，及??[0,1]，都有f[?X1?(1??)X2]??f(X1)?(1??)f(X2)，则称f(X)为D上的凸函数。
二、局部极小点的判别条件驻点：设f(X)是定义在n维空间Rn的子集D上的n元实值函数，X*是D的内点，若?f(X*)?0，则称X*为f(X)的驻点。
局部极小点的判别：设f(X)是定义在n维空间Rn的子集D 上的n元实值函数，具有连续的二阶偏导数。
若X*是f(X)的驻点，且?2f(X*)是正定矩阵，则X*是f(X)的严格局部极小点。
三、全局极小点的判别 1.凸规划?minf(X)对于优化问题：? (X)?0i?1,2,?,pi?若f(X)、gi(X)都是凸函数，则称该优化问题为凸规划。
2.全局极小点的判别若优化问题为凸规划，则该优化问题的可行集为凸集，其任何局部最优解都是全局最优解。
第3章无约束优化方法§下降迭代算法及终止准则一、数值优化方法的基本思想?k基本思想就是在设计空间内选定一个初始点X，从该点出发，按照某一方向S前进一定的步长?k，得到一个使目标函数值有所下降的新设计点Xk?1，然后以该点为新的初始点，重复上面过程，直至得到满足精度要求的最优点X*。
该思想可用下式表示：Xk?1?Xk??kSk 二、迭代计算的终止准则工程中常用的迭代终止准则有3种：⑴点距准则相邻两次迭代点之间的距离充分小时，迭代终止。
数学表达为：Xk?1?Xk?? ⑵函数下降量准则相邻两次迭代点的函数值之差充分小，迭代终止。
数学表达为：f(Xk?1)?f(Xk)??⑶梯度准则目标函数在迭代点处的梯度模充分小时，迭代终止。
数学表达为：?f(Xk?1)?? 三、算法的收敛速度对于某一确定的下降算法，其优劣如何评价？人们通常采用收敛速度来评价。
下面给出度量收敛速度的几个概念。
阶收敛设序列Xk收敛于解X*，若存在常数P?0及L、k0，使当k?k0时下式：Xk?1?X*?LXk?X* p??成立，则称Xk为P阶收敛。
2.线性收敛设序列Xk收敛于解X*，若存在常数k0、L及??(0,1)，使当k?k0时下式：Xk?1?X*?L?k ????成立，则称Xk 为线性收敛。
3.超线性收敛设序列Xk收敛于解X*，若任给??0都存在k0?0，使当k?k0时下式：Xk?1?X*??Xk?X* ??????成立，则称Xk为超线性收敛。
§一维最优化方法一、确定初始区间的进退法任选一个初始点x0和初始步长h，此可确定两点x1?x0和x2?x1?h，通过比较这两点函数值f(x1)、f(x2)的大小，来决定第三点x3的位置。
比较这三点函数值是否呈“高——低——高”排列特征，若是则找到了单峰区间，否则向前或后退继续寻求下一点。
进退法依据的基本公式：x1?x0 x2?x1?h x3?x2?h 具体步骤为：⑴任意选取初始点x0和恰当的初始步长h；⑵令x1?x0，取x2?x1?h，计算f(x1)、f(x2)；⑶若f(x1)?f(x2)，说明极小点在x2右侧，应加大步长向前搜索。
转⑷；若f(x1)?f(x2)，说明极小点在x1左侧，应以x1点为基准反向小步搜索。
转⑹；⑷大步向前搜索：令h?2h，取x3?x2?h，计算f(x3)；⑸若f(x2)?f(x3)，则f(x1)、f(x2)、f(x3)呈“高——低——高”排列，说明[x1,x3]即为所求的单峰区间；若f(x2)?f(x3)，说明极小点在x3右侧，应加大步长向前搜索。
此时要注意做变换：舍弃原x1点，以原x2点为新的x1点，原x3点为新的x2点。
转⑷，直至出现“高——低——高”排列，则单峰区间可得；⑹反向小步搜索：为了保证x3点计算公式的一致性，做变换：将1原x2点记为新x1点，原x1点记为新x2点，令h??h，取x3?x2?h，转⑸4例：用进退法确定函数f(x)?x2?6x?9的单峰区间[a，b]，设初始点x0?0，h?1。
解：①?x0?0②?x1?x0?0h?1 x2?x1?h?1f(x1)?9f(x2)?4③?f(x1)?f(x2) 说明极小点在x2点右侧，应加大步长向前搜索④令h?2h?2?1?2，取x3?x2?h?1?2?3 则f(x3)?0 ⑤?f(x2)?f(x3) 说明极小点在x3点右侧，应加大步长向前搜索舍弃原x1?0的点，令x1?1x2?3，则f(x1)?4f(x2)?0 令h?2h?2?2?4，取x3?x2?h?3?4?7 则f(x3)?16?f(x2)?0 f(x1)、f(x2)、f(x3)呈“高——低——高”排列?[x1,x3]为单峰区间，即区间[1，7]即为所求二、黄金分割法黄金分割法是基于区间消去思想的一维搜索方法，其搜索过程必须遵循以下的原则：⑴对称取点的原则：即所插入的两点在区间内位置对称；⑵插入点继承的原则：即插入的两点中有一个是上次缩减区间时的插入点；⑶等比收缩的原则：即每一次区间消去后，单峰区间的收缩率?保持不变。
设初始区间为[a，b]，则插入点的计算公式为：x1?a?(b?a) x2?a?(b?a) 黄金分割法的计算步骤如下：①给定初始区间[a，b]和收敛精度?；②给出中间插值点并计算其函数值：x1?a?(b?a)f(x1) x2?a?(b?a)f(x2)；③比较f(x1)、f(x2)，确定保留区间得到新的单峰区间[a，b]；④收敛性判别：计算区间[a，b]长度并与?比较，若b?a??，输出x*?否则转⑤；⑤在保留区间内继承一点、插入一点，转②。
例：使用黄金分割法求解优化问题：minf(x)?x2?2x，?3?x?5解：①x1?a?(b?a)??3??(5?3)?②x2?a?(b?a)??3??(5?3)?(a?b) 2??。
f(x1)? f(x2)? ③∵f(x2)?f(x1) ∴舍弃§牛顿法牛顿法分为基本牛顿法和阻尼牛顿法两种。
对于迭代式Xk?1kkkk?k?X??S，当取??1且搜索方向S??[?2f(Xk)]?1?f(Xk)时构成的寻优算法，称为求解无约束优化问题的基本牛顿法；?kk?1kkk?k为从Xk对于迭代式X?X??S，取搜索方向S??[?2f(Xk)]?1?f(Xk)，出发、沿牛顿方向做一维搜索获得的最优步长，所构成的寻优算法，称为求解无约束优化问题的阻尼牛顿法。
?k搜索方向S??[?2f(Xk)]?1?f(Xk)称为牛顿方向。
这里需要注意的是会求海塞阵的逆矩阵。
§变尺度法我们把具有Xk?1?Xk??kAk?f(Xk)迭代模式的寻优算法称为变尺度法。
其搜索方向表达式为：Sk??Ak?f(Xk)，称为拟牛顿方向，其中Ak称为变尺度矩阵。
在迭代开始的时候，A0?I；随着迭代过程的继续，Ak??[?2f(Xk)]?1?f(Xk)。
因此，变尺度法从梯度法出发，随着迭代过程的继续最终趋向于牛顿法。
§共轭梯度法一、共轭方向的概念设H为对称正定矩阵，若有两个n维向量S1和S2，满足S1T?H?S2?0，则称向量S1与S2关于矩阵H共轭，共轭向量的方向称为共轭方向。
若有一组非零向量S1，S2，?，Sn满足SiT?H?Sj?0(i?j)，则称这组向量关于矩阵H共轭。
对于n元正定二次函数，依次沿着一组共轭方向进行一维搜索，最多n次即可得到极值点。
二、共轭方向的形成对于函数f(X)?f(x1,x2,?,xn)?1TXHX?BTX?C 2沿任意方向S0在设计空间上任意做两条平行线，分别与目标函数等值线切于点X1、X2，令S1?X2?X1，则S0、S1关于矩阵H共轭。