第2章最优化的基本理论和基本方法最优性条件 2.1 无约束优化

合集下载

最优化基础理论与方法分析

目录1．最优化的概念与分类 (2)2. 最优化问题的求解方法 (3)2.1线性规划求解 (3)2.1.1线性规划模型 (3)2.1.2线性规划求解方法 (3)2.1.3 线性规划算法未来研究方向 (3)2.2非线性规划求解 (4)2.2.1一维搜索 (4)2.2.2无约束法 (4)2.2.3约束法 (4)2.2.4凸规划 (5)2.2.5二次规划 (5)2.2.6非线性规划算法未来研究方向 (5)2.3组合规划求解方法 (5)2.3.1 整数规划 (5)2.3.2 网络流规划 (7)2.4多目标规划求解方法 (7)2.4.1 基于一个单目标问题的方法 (7)2.4.2 基于多个单目标问题的方法 (8)2.4.3多目标规划未来的研究方向 (8)2.5动态规划算法 (8)2.5.1 逆推解法 (8)2.5.2 顺推解法 (9)2.5.3 动态规划算法的优点及研究方向 (9)2.6 全局优化算法 (9)2.6.1 外逼近与割平面算法 (9)2.6.2 凹性割方法 (9)2.6.3 分支定界法 (9)2.6.4 全局优化的研究方向 (9)2.7随机规划 (9)2.7.1 期望值算法 (10)2.7.2 机会约束算法 (10)2.7.3 相关机会规划算法 (10)2.7.4 智能优化 (10)2.8 最优化软件介绍 (11)3 最优化算法在电力系统中的应用及发展趋势 (12)3.1 电力系统的安全经济调度问题 (12)3.1.1电力系统的安全经济调度问题的介绍 (12)3.1.2电力系统的安全经济调度问题优化算法的发展趋势 (12)2. 最优化问题的求解方法最优化方法是近几十年形成的，它主要运用数学方法研究各种优化问题的优化途径及方案，为决策者提供科学决策的依据。

最优化方法的主要研究对象是各种有组织系统的管理问题及其生产经营活动。

最优化方法的目的在于针对所研究的系统，求得一个合理运用人力、物力和财力的最佳方案，发挥和提高系统的效能及效益，最终达到系统的最优目标。

系统工程导论第二章系统工程的基础理论与方法论第一节系统最优化理论

n 。最后，也要考虑到xij
的产品数量属性，即 xij 0,i 1, 2, m, j 1, 2, n ，因此，该运
输方案可由以下模型求解得到：
2.1 系统最优化理论
mn
min
cij xij
i 1 j 1
（2-3）
n
s.t. xij ai ,i 1, 2, m j 1 m xij bj , j 1, 2, n i 1 xij 0,i 1, 2, m, j 1, 2, n
2.1 系统最优化理论
mn
解
首先，在假设运输量为
xij
的条件下其总的运费为 i 1
j 1
cij
xij
。
其次，要考虑到从任意产地运出的量要等于该产地的产量，即
n
xij ai ,i 1, 2,
j 1
m 。第三，还要考虑到运到任意销地的量要等
m
于该销地能销出的量，即 xij bi , j 1, 2, i 1
不同的方案、设计、措施以达到最优目的。（2）目标函数，如例
2-1
中的 max
, 10x1 18x2
例
2-2
中的min
mn
cij xij
。目标函数通常是决策变
i 1 j 1
量的函数，表达了“何为最优”的准则和目标，规定了优化问题
的实际意义。
2.1 系统最优化理论
（3）约束条件，如例 2-1 和例 2-2 中由“s.t”规定的部分。约束条件指决策变量取值时受到的各种资源和条件的限制，表达了一种“有条件优化”的概念，通常为决策变量的等式或不等式方程。如果决策变量的取值是连续的，且目标函数和约束条件都是决策变量的线性函数，则称为线性规划问题。如果决策变量的取值为整数点，则称为整数规划问题；如果部分决策变量取值连续而其余取值为整数，则称为混合整数规划问题；如果目标函数和约束条件中存在任何的非线性因子，则称为非线性规划问题。

北航最优化方法最新最全答案2015版

将此问题化成线性规划.
minimize f (x)
x∈Rn
subject to Ax = b
x ≥ 0.
5
解: 引入变量 t ，所给问题等价于
minimize t subject to f (x) = t,
Ax = b, x ≥ 0.
考虑问题
minimize t
subject to f (x) ≤ t, Ax = b,
4. 单纯形法的练习：习题2.10，习题2.11，习题2.12，习题2.13，习题2.20(说明单纯形法的效率的一般性例子中，自变量为三个时所得问题)，习题2.21(说明单纯形法采用最小相对费用系数进基原则确定进基变量时，如果所求解问题是退化的，则单纯形法会出现循环！)，习题2.31.
5. 两阶段法的练习：习题2.14-习题2.16；大 M 法的练习：习题2.18.
2u1 − 2v1 + u3 − v3 = 3, ui, vi, s ≥ 0, i = 1, 2, 3.
方法2: 引入非负变量 t1, t2, t3 ，将原问题转化成等价问题
minimize t1 + t2 + t3 subject to x + y ≤ 1,
2x + z = 3, |x| = t1, |y| = t2, |z| = t3.
(c)
minimize subject to
x1 + 4x2 + x3 x1 − 2x2 + x3 = 4 x1 − x3 = 1
x2 ≥ 0, x3 ≥ 0.
解:
(c) 由于变量 x1 无限制，可利用约束 x1 = x3 + 1 对其消去. 因此，得其标准形

《最优化方法》课程复习考试

《最优化方法》复习提要第一章最优化问题与数学预备知识§1. 1 模型无约束最优化问题 12min (),(,,,)T n n f x x x x x R =∈．约束最优化问题（},,2,1,0)(;,,2,1,0)(,|{l j x h m i x g R x x S j i n ===≥∈=∧）min ();...f x s t x S ⎧⎨∈⎩ 即 m i n ();..()0,1,2,,,()0,1,2,,.i j f x s t g x i m h x j l ⎧⎪≥=⎨⎪==⎩其中()f x 称为目标函数，12,,,n x x x 称为决策变量，S 称为可行域，()0(1,2,,),()0(1,2,,)i j g x i m h x j l ≥===称为约束条件．§1. 2 多元函数的梯度、Hesse 矩阵及Taylor 公式定义设:,n n f R R x R →∈．如果n ∃维向量p ，n x R ∀∆∈，有()()()T f x x f x p x o x +∆-=∆+∆．则称()f x 在点x 处可微，并称()T df x p x =∆为()f x 在点x 处的微分．如果()f x 在点x 处对于12(,,,)T n x x x x =的各分量的偏导数(),1,2,,if x i n x ∂=∂都存在，则称()f x 在点x 处一阶可导，并称向量12()()()()(,,,)Tnf x f x f x f x x x x ∂∂∂∇=∂∂∂ 为()f x 在点x 处一阶导数或梯度．定理1 设:,n n f R R x R →∈．如果()f x 在点x 处可微，则()f x 在点x 处梯度()f x ∇ 存在，并且有()()T df x f x x =∇∆．定义设:,n n f R R x R →∈．d 是给定的n 维非零向量，de d=．如果 0()()lim()f x e f x R λλλλ→+-∈存在，则称此极限为()f x 在点x 沿方向d 的方向导数，记作()f x d∂∂．定理2 设:,n n f R R x R →∈．如果()f x 在点x 处可微，则()f x 在点x 处沿任何非零方向d 的方向导数存在，且()()T f x f x e d ∂=∇∂，其中de d=．定义设()f x 是n R 上的连续函数，n x R ∈．d 是n 维非零向量．如果0δ∃>，使得(0,)λδ∀∈，有()f x d λ+<（>）()f x ．则称d 为()f x 在点x 处的下降（上升）方向．定理3 设:,n n f R R x R →∈，且()f x 在点x 处可微，如果∃非零向量n d R ∈，使得()T f x d ∇<（>）0，则d 是()f x 在点x 处的下降（上升）方向．定义设:,n n f R R x R →∈．如果()f x 在点x 处对于自变量12(,,,)T n x x x x =的各分量的二阶偏导数2()(,1,2,,)i j f x i j n x x ∂=∂∂都存在，则称函数()f x 在点x 处二阶可导，并称矩阵22221121222222122222212()()()()()()()()()()n n n n n f x f x f x x x x x x f x f x f x f x x x x x x f x f x f x x x x x x ⎛⎫∂∂∂ ⎪∂∂∂∂∂ ⎪ ⎪∂∂∂ ⎪∇=∂∂∂∂∂ ⎪ ⎪⎪ ⎪∂∂∂⎪∂∂∂∂∂⎝⎭为()f x 在点x 处的二阶导数矩阵或Hesse 矩阵．定义设:,n m n h R R x R →∈，记12()((),(),,())T m h x h x h x h x =，如果 ()(1,2,,)i h x i m =在点x 处对于自变量12(,,,)T n x x x x =的各分量的偏导数()(1,2,,;1,2,,)i jh x i m j n x ∂==∂都存在，则称向量函数()h x 在点x 处是一阶可导的，并且称矩阵111122221212()()()()()()()()()()n n m n m m m n h x h x h x xx x h x h x h x x x x h x h x h x h x xx x ⨯∂∂∂⎛⎫ ⎪∂∂∂⎪⎪∂∂∂⎪∂∂∂∇= ⎪ ⎪⎪∂∂∂ ⎪ ⎪∂∂∂⎝⎭为()h x 在点x 处的一阶导数矩阵或Jacobi 矩阵，简记为()h x ∇．例2 设,,n n a R x R b R ∈∈∈，求()T f x a x b =+在任意点x 处的梯度和Hesse 矩阵．解设1212(,,,),(,,,)TTn n a a a a x x x x ==，则1()nk k k f x a x b ==+∑，因()(1,2,,)k kf x a k n x ∂==∂，故得()f x a ∇=．又因2()0(,1,2,,)i jf x i j n x x ∂==∂∂，则2()f x O ∇=．例3 设n n Q R ⨯∈是对称矩阵，,n b R c R ∈∈，称1()2TT f x x Qx b x c =++为二次函数，求()f x 在任意点x 处的梯度和Hesse 矩阵．解设1212(),(,,,),(,,,)T T ij n n n n Q q x x x x b b b b ⨯===，则121111(,,,)2n nnn ij i j k k i j k f x x x q x x b x c ====++∑∑∑，从而111111111()()()nn j j j j j j n n n nj j n nj j j j n f x q x b q x x bf x Qx b f x b q x b q x x ====⎛⎫⎛⎫∂⎛⎫+ ⎪ ⎪ ⎪∂⎛⎫ ⎪ ⎪⎪ ⎪ ⎪ ⎪ ⎪∇===+=+ ⎪ ⎪ ⎪ ⎪ ⎪∂⎝⎭ ⎪ ⎪ ⎪+ ⎪ ⎪ ⎪∂⎝⎭⎝⎭⎝⎭∑∑∑∑．再对1()(1,2,,)nij j i j i f x q x b i n x =∂=+=∂∑求偏导得到2()(,1,2,,)ij i jf x q i j n x x ∂==∂∂，于是1112121222212()n n n n nn q q q q q q f x Q q q q ⎛⎫⎪ ⎪∇== ⎪⎪⎝⎭．例 4 设()()t f x td ϕ=+，其中:n f R R →二阶可导，,,n n x R d R t R ∈∈∈，试求(),()t t ϕϕ'''．解由多元复合函数微分法知 2()(),()()T T t f x td d t d f x td d ϕϕ'''=∇+=∇+．定理4 设:,n n f R R x R →∈，且()f x 在点x 的某邻域内具有二阶连续偏导数，则()f x 在点x 处有Taylor 展式21()()()(),(01)2T T f x x f x f x x x f x x x θθ+∆=+∇∆+∆∇+∆∆<<．证明设()(),[0,1]t f x t x t ϕ=+∆∈，则(0)(),(1)()f x f x x ϕϕ==+∆．按一元函数Taylor 公式()t ϕ在0t =处展开，有21()(0)(0)(),(0)2t t t t ϕϕϕϕθθ'''=++<<．从例4得知2(0)(),()()()T T f x x x f x x x ϕϕθθ'''=∇∆=∆∇+∆∆．令1t =，有21()()()(),(01)2T T f x x f x f x x x f x x x θθ+∆=+∇∆+∆∇+∆∆<<．根据定理1和定理4，我们有如下两个公式()()()()()T f x f x f x x x o x x =+∇-+-，221()()()()()()()()2T T f x f x f x x x x x f x x x o x x =+∇-+-∇-+-．§1. 3 最优化的基本术语定义设:n f R R →为目标函数，n S R ⊆为可行域，x S ∈．（1）若x S ∀∈，都有()()f x f x ≥，则称x 为()f x 在S 上的全局（或整体）极小点，或者说，x 是约束最优化问题min ()x Sf x ∈的全局（或整体）最优解，并称()f x为其最优值．（2）若,x S x x ∀∈≠，都有()()f x f x >，则称x 为()f x 在S 上的严格全局（或整体）极小点．（3）若x ∃的δ邻域(){}(0)n N x x R x x δδδ=∈-<>使得()x N x S δ∀∈，都有()()f x f x ≥，则称x 为()f x 在S 上的局部极小点，或者说，x 是约束最优化问题min ()x Sf x ∈的局部最优解．（4）若x ∃的δ邻域()(0)N x δδ>使得(),x N x S x x δ∀∈≠，都有()()f x f x >，则称x 为()f x 在S 上的严格局部极小点．第二章最优性条件§2.1 无约束最优化问题的最优性条件定理 1 设:n f R R →在点x 处可微，若x 是问题min ()f x 的局部极小点，则()0f x ∇=．定义设:()n f S R R ⊆→在int x S ∈处可微，若()0f x ∇=，则称x 为()f x 的平稳点．定理2 设:n f R R →在点x 处具有二阶连续偏导数，若x 是问题min ()f x 的局部极小点，则()0f x ∇=，且2()f x ∇半正定．定理3 设:n f R R →在点x 处具有二阶连续偏导数，若()0f x ∇=，且2()f x ∇正定，则x 是问题min ()f x 的严格局部极小点．注：定理2不是充分条件，定理3不是必要条件．例1 对于无约束最优化问题2312min ()f x x x =-，其中212(,)T x x x R =∈，显然 2212()(2,3),T f x x x x R ∇=-∀∈，令()0f x ∇=，得()f x 的平稳点(0,0)T x =，而且2222020(),()0600f x f x x ⎛⎫⎛⎫∇=∇= ⎪ ⎪-⎝⎭⎝⎭．易见2()f x ∇为半正定矩阵．但是，在x 的任意δ邻域x x δ-<，总可以取到(0,)2T x δ=，使()()f x f x <，即x 不是局部极小点．例2 对于无约束最优化问题42241122min ()2f x x x x x =++，其中212(,)T x x x R =∈，易知3223112122()(44,44)Tf x x x x x x x ∇=++，从而得平稳点(0,0)T x =，并且 22221212221212001248(),()008412x x x x f x f x x x x x ⎛⎫+⎛⎫∇=∇=⎪ ⎪+⎝⎭⎝⎭．显然2()f x ∇不是正定矩阵．但是，22212()()f x x x =+在x 处取最小值，即x 为严格局部极小点．例3 求解下面无约束最优化问题332122111min ()33f x x x x x =+--，其中212(,)T x x x R =∈，解因为21212222201(),()0222x x f x f x x x x ⎛⎫-⎛⎫∇=∇= ⎪ ⎪--⎝⎭⎝⎭，所以令()0f x ∇=，有2122210,20.x x x ⎧-=⎪⎨-=⎪⎩解此方程组得到()f x 的平稳点(1)(2)(3)(4)1111,,,0202x x x x --⎛⎫⎛⎫⎛⎫⎛⎫==== ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭⎝⎭．从而2(1)2(2)2020(),()0202f x f x ⎛⎫⎛⎫∇=∇= ⎪ ⎪-⎝⎭⎝⎭，2(3)2(4)2020(),()0202f x f x --⎛⎫⎛⎫∇=∇= ⎪ ⎪-⎝⎭⎝⎭．由于2(1)()f x ∇和2(4)()f x ∇是不定的，因此(1)x 和(4)x 不是极值点．2(3)()f x ∇是负定的，故(3)x 不是极值点，实际上它是极大点．2(2)()f x ∇是正定的，从而(2)x 是严格局部极小点．定理4 设:n f R R →是凸函数，且()f x 在点n x R ∈处可微，若()0f x ∇=，则x 为min ()f x 的全局极小点．推论5 设:n f R R →是凸函数，且()f x 在点n x R ∈处可微．则x 为min ()f x 的全局极小点的充分必要条件是()0f x ∇=．例 4 试证正定二次函数1()2TT f x x Qx b x c =++有唯一的严格全局极小点1x Q b -=-，其中Q 为n 阶正定矩阵．证明因为Q 为正定矩阵，且(),n f x Qx b x R ∇=+∀∈，所以得()f x 的唯一平稳点1x Q b -=-．又由于()f x 是严格凸函数，因此由定理4知，x 是()f x 的严格全局极小点．§2.2 等式约束最优化问题的最优性条件定理1 设:n f R R →在点x 处可微，:(1,2,,)n j h R R j l →=在点x 处具有一阶连续偏导数，向量组12(),(),,()l h x h x h x ∇∇∇线性无关．若x 是问题min ();..()0,1,2,,j f x s t h x j l ⎧⎨==⎩的局部极小点，则,1,2,,j v R j l ∃∈=，使得1()()0lj j j f x v h x =∇-∇=∑．称(,)()()T L x v f x v h x =-为Lagrange 函数，其中12()((),(),,())T l h x h x h x h x =．称12(,,,)T l v v v v =为Lagrange 乘子向量．易见(,)x v L L x v L ∇⎛⎫∇= ⎪∇⎝⎭，这里1(,)()(),(,)()lx j j v j L x v f x v h x L x v h x =∇=∇-∇∇=-∑．定理 2 设:n f R R →和:(1,2,,)n j h R R j l →=在点n x R ∈处具有二阶连续偏导数，若l v R ∃∈，使得(,)0x L x v ∇=，并且，,0n z R z ∀∈≠，只要()0,1,2,,T j z h x j l ∇==，便有2(,)0T xx z L x v z ∇>，则x 是问题min ();..()0,1,2,,j f x s t h x j l ⎧⎨==⎩的严格局部极小点．例1 试用最优性条件求解 221212min ();..()80.f x x x s t h x x x ⎧=+⎨=-=⎩解 Lagrange 函数为221212(,)(8)L x v x x v x x =+--，则1221122(,)2(8)x vx L x v x vx x x -⎛⎫⎪∇=- ⎪ ⎪--⎝⎭，从而得(,)L x v 的平稳点(8,8,2)T 和(8,8,2)T --，对应有(8,8),2T x v ==和(8,8),2T x v =--=．由于221222(,),()222xx x v L x v h x x v--⎛⎫⎛⎫⎛⎫∇==∇= ⎪⎪ ⎪--⎝⎭⎝⎭⎝⎭．因此1212(){(,)|(,)()0}T M x z z z z h x =∇=121221{(,)|0}T z z z x z x =+= 1212{(,)|}T z z z z ==-．并且(),0z M x z ∀∈≠，有222211221(,)24280T xx z L x v z z z z z z ∇=-+=>．利用定理2，所得的两个可行点(8,8)T x =和(8,8)T x =--都是问题的严格局部极小点．§2.3 不等式约束最优化问题的最优性条件定义设,,,0n n S R x clS d R d ⊆∈∈≠，若0δ∃>，使得，,(0,)x d S λλδ+∈∀∈，则称d 为集合S 在点x 处的可行方向．这里{|,(),0}n clS x x R SN x δδ=∈≠∅∀>．令 {|0,0,,(0,)}D d d x d S δλλδ=≠∃>+∈∀∈使，0{|()0}T F d f x d =∇<．定理 1 设n S R ⊆是非空集合，:,,()f S R x S f x →∈在点x 处可微．若x 是问题min ()x Sf x ∈的局部极小点，则 0F D =∅．对于min ();..()0,1,2,,,i f x s t g x i m ⎧⎨≥=⎩ （1）其中:,:(1,2,,)n n i f R R g R R i m →→=．令(){|()0,1,2,,}i I x i g x i m ===，其中x 是上述问题（1）的可行点．定理 2 设x 是问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(())i g x i I x ∉在点x 处连续，如果x 是问题（1）的局部极小点，则 00F G =∅，其中0{|()0,()}T i G d g x d i I x =∇>∈．定理 3 设x 是问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(())i g x i I x ∉在点x 处连续，若x 是问题（1）的局部极小点，则存在不全为0的非负数0,(())i u u i I x ∈，使0()()()0iii I x u f x u g x ∈∇-∇=∑．（x 称为Fritz John 点）如果()(())i g x i I x ∉在点x 处也可微，则存在不全为0的非负数01,,,m u u u ，使01()()0,()0,1,2,,.mi i i i iu f x u g x u g x i m =⎧∇-∇=⎪⎨⎪==⎩∑ （x 称为Fritz John 点）例1 设1311222min ();..()(1)0,()0.f x x s t g x x x g x x =-⎧⎪=--≥⎨⎪=≥⎩试判断(1,0)T x =是否为Fritz John 点．解因为12100(),(),()011f x g x g x -⎛⎫⎛⎫⎛⎫∇=∇=∇= ⎪ ⎪ ⎪-⎝⎭⎝⎭⎝⎭，且(){1,2}I x =，所以为使Fritz John 条件01210000110u u u -⎛⎫⎛⎫⎛⎫⎛⎫--= ⎪ ⎪ ⎪ ⎪-⎝⎭⎝⎭⎝⎭⎝⎭成立，只有00u =才行．取0120,0u u u α===>即可，因此x 是Fritz John 点．定理 4 设x 是问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(())i g x i I x ∉在点x 处连续，并且()(())i g x i I x ∇∈线性无关．若x 是问题（1）的局部极小点，则存在0(())i u i I x ≥∈，使得()()()0iii I x f x u g x ∈∇-∇=∑．（x 称为K-T 点）如果()(())i g x i I x ∉在点x 处也可微，则存在0(1,2,,)i u i m ≥=，使得1()()0,()0,1,2,,.mi i i i if x ug x u g x i m =⎧∇-∇=⎪⎨⎪==⎩∑ （x 称为K-T 点）例2 求最优化问题21211222min ()(1);..()20,()0f x x x s t g x x x g x x ⎧=-+⎪=--+≥⎨⎪=≥⎩的K-T 点．解因为1122(1)10(),(),()111x f x g x g x --⎛⎫⎛⎫⎛⎫∇=∇=∇= ⎪ ⎪ ⎪-⎝⎭⎝⎭⎝⎭，所以K-T 条件为111211222122(1)0,10,(2)0,0,0,0.x u u u u x x u x u u -+=⎧⎪+-=⎪⎪--+=⎨⎪=⎪⎪≥≥⎩ 若20u =，则11u =-，这与10u ≥矛盾．故20u >，从而20x =；若120x -+=，则12u =-，这与10u ≥矛盾．故10u =，从而211,1u x ==；由于120,0u u ≥≥，且(1,0)T x =为问题的可行点，因此x 是K-T 点．定理5 设在问题（1）中，()f x 和()(1,2,,)i g x i m -=是凸函数，x 是可行点，并且()f x 和()(())i g x i I x ∈在点x 处可微．若x 是问题（1）的K-T 点，则x 是问题（1）的全局极小点．§2.4 一般约束最优化问题的最优性条件考虑等式和不等式约束最优化问题min ();..()0,1,2,,,()0,1,2,,,i j f x s t g x i m h x j l ⎧⎪≥=⎨⎪==⎩（1）其中:,:(1,2,,),:(1,2,,)n n n i j f R R g R R i m h R R j l →→=→=．并把问题（1）的可行域记为S ．,(){|()0,1,2,,}i x S I x i g x i m ∀∈==．定理 1 设x 为问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(1,2,,)j h x j l =在点x 处具有一阶连续偏导数，()(())i g x i I x ∉在点x 处连续，并且向量组12(),(),,()l h x h x h x ∇∇∇线性无关．若x 是问题（1）的局部极小点，则 00F G H =∅，这里0{|()0}T F d f x d =∇<，0{|()0,()}T i G d g x d i I x =∇>∈，0{|()0,1,2,,}T j H d h x d j l =∇==．定理 2 设x 为问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(1,2,,)j h x j l =在点x 处具有一阶连续偏导数，()(())i g x i I x ∉在点x 处连续．若x 为问题（1）的局部极小点，则存在不全为0的数0,(())i u u i I x ∈和(1,2,,)j v j l =，且0,0(())i u u i I x ≥∈，使0()1()()()0liijji I x j u f x u g x v h x ∈=∇-∇-∇=∑∑．（x 称为Fritz John 点）若()(())i g x i I x ∉在点x 处也可微，则存在不全为0的数0,(1,2,,)i u u i m =和(1,2,,)j v j l =，且0,0(1,2,,)i u u i m ≥=，使011()()()0,()0,1,2,,.m li i j j i j i iu f x u g x v h x u g x i m ==⎧∇-∇-∇=⎪⎨⎪==⎩∑∑ （x 称为Fritz John 点）例1 设2212311222212min ();..()0,()0,()(1)0.f x x x s t g x x x g x x h x x x ⎧=+⎪=-≥⎪⎨=≥⎪⎪=--+=⎩试判断(1,0)T x =是否为Fritz John 点．解 (){2}I x =，且2200(),(),()011f x g x h x ⎛⎫⎛⎫⎛⎫∇=∇=∇= ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭，且(){1,2}I x =，因此为使Fritz John 条件022*******u u v ⎛⎫⎛⎫⎛⎫⎛⎫--= ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭⎝⎭成立，只有00u =才行．所以取020,1,1u u v ===-，即知x 是Fritz John 点．定理 3 设x 为问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(1,2,,)j h x j l =在点x 处具有一阶连续偏导数，()(())i g x i I x ∉在点x 处连续，且向量组()(()),()(1,2,,)i j g x i I x h x j l ∇∈∇=线性无关．若x 是问题（1）的局部极小点，则存在数0(())i u i I x ≥∈和(1,2,,)j v j l =，使()1()()()0liijji I x j f x u g x v h x ∈=∇-∇-∇=∑∑．（x 称为K-T 点）如果()(())i g x i I x ∉在点x 处也可微，则存在数0(1,2,,)i u i m ≥=和(1,2,,)j v j l =，使11()()()0,()0,1,2,,.m li i j j i j i if x ug x vh x u g xi m ==⎧∇-∇-∇=⎪⎨⎪==⎩∑∑ （x 称为K-T 点）令 1212()((),(),,()),()((),(),,())T T m l g x g x g x g x h x h x h x h x ==，1212(,,,),(,,,)T T m l u u u u v v v v ==，称u 与v 为广义Lagrange 乘子向量或K-T 乘子向量．()()()0,()0,0.T T Tf xg x uh x v u g x u ⎧∇-∇-∇=⎪=⎨⎪≥⎩令(,,)()()()T T L x u v f x u g x v h x =--为广义Lagrange 函数．称(,,)L x u v 为广义Lagrange 函数．则K-T 条件为(,,)0,()0,0.x TL x u v u g x u ∇=⎧⎪=⎨⎪≥⎩定理 4 设在问题（1）中，()f x 和()(1,2,,)i g x i m -=是凸函数，()(1,2,,)j h x j l =是线性函数，x 是可行点，并且()f x 和()(())i g x i I x ∈在点x 处可微．若x 是问题（1）的K-T 点，则x 是问题（1）的全局极小点．例2 求解最优化问题221221212min ()(3)(1);..()0,()230.f x x x s t g x x x h x x x ⎧=-+-⎪=-+≥⎨⎪=+-≥⎩ 解广义Lagrange 函数为222121212(,,)()()()(3)(1)()(23)L x u v f x ug x vh x x x u x x v x x =--=-+---+-+-．因为111(,,)2(3)22L x u v x ux v x ∂=-+-∂，22(,,)2(1)L x u v x u v x ∂=---∂．所以K-T 条件及约束条件为112212212122(3)220,2(1)0,()0,0,230,0.x ux v x u v u x x x x x x u -+-=⎧⎪---=⎪⎪-+=⎪⎨-+≥⎪⎪+-=⎪≥⎪⎩ 下面分两种情况讨论．（1）设0u =，则有12122(3)20,2(1)0,230.x v x v x x --=⎧⎪--=⎨⎪+-=⎩ 由此可解得12718,,555x x v ===-，但71(,)55T x =不是可行点，因而不是K-T 点．（2）设0u >，则有112212122(3)220,2(1)0,0,230.x ux v x u v x x x x -+-=⎧⎪---=⎪⎨-+=⎪⎪+-=⎩ 由此可得211230x x --+=，解得11x =或13x =-。

最优化方法(约束优化问题的最优性条件)

最优解不一定是kt点kt带入约束条件可知满足约束条件并且有效约束集合为二阶连续可微ii为kt点且严格互补松弛条件成立
最优化方法补充内容10
约束优化问题的最优性条件
先看等式约束问题
回顾以前学的知识
什么定理？
推广到一般的情况
几何解释
二阶充分条件
不等式约束问题
不等式约束问题和等式约束问题之间是否存在什么关系？间是否存在什么关系？
Fritz-John一阶必要条件一阶必要条件
举例验证
KT条件条件
• KKT最优化条件是Karush[1939]以及Kuhn和Tucker[1951]先后独立发表出來的。这组最优化条件在Kuhn和Tucker 发表之后才逐渐受到重视，因此许多书只记载成「Kuhn-Tucker 最优化条件 (Kuhn-Tucker conditions)」。
有效约束和非有效约束
再换句话说，再换句话说，不等式约束问题的在最优解处的某个小邻域内，个小邻域内，看以看成等式约束问题
回想最优解的定义，回想最优解的定义，可行的概念对于不等式约束是怎么样的概念？于不等式约束是怎么样的概念？
min f ( x) s.t. c( x) ≥ 0
可行域为 Q = { x | c( x) ≥ 0 }。
x1 + λ1 = 3 ⇒ x1 + λ 3 = 0 ⇒ λ 3 = − x1 < 0 ∴ λ1 − λ 3 = 3 x1 + λ1 − λ 2 = 3 矛盾。这与 λ3 ≥ 0 矛盾。 x +λ −λ = 3 1 3 2 (4) 若 x1 ≠ 0 , x2 ≠ 0 : λ1 (4 − x1 − x 2 ) = 0 λ2 x1 = 0 ∴ λ2 = λ3 = 0 λ3 x2 = 0 x1 + λ1 = 3 x1 + x2 ≤ 4 ⇒ x1 = x2 ∴ λ , λ , λ , x , x ≥ 0 x 2 + λ1 = 3 1 2 3 1 2 若 x1 + x 2 < 4 ⇒ λ1 = 0 ⇒ x1 = x2 = 3

多变量最优化

1.提出问题-变量
问题1中的全部变量包括：
s=19英寸彩电的售出数量（台）； t=21英寸彩电的售出数量（台）； p=19英寸彩电的平均销售价格（美元/台）； q=21英寸彩电的平均销售价格（美元/台）； C=生产彩电的成本（美元）； R=彩电销售的收入（美元）； P=彩电销售的利润（美元）。
1.提出问题-常量
给出：若在Sf 的某个点内 (x1,L达,x到n)极大值或极小
值，设在这点f 可微，则在这个点上
。f也就0 是说
，在极值点有
f x1
(x1,
L
,
xn)
0
f xn
(x1,
L
,
xn)
0
（2-1）
据此我们可以在求极大或极小点时，不考虑那些在S内
部使 f 的某一个偏导数不为0的点。因此，要求极大或
极小点，我们就要求解方程组(2-1)给出的n个未知数、
图2.1 彩电问题的利润y关于19英寸彩电的生产量s和 21英寸彩电的生产量t的3维图象
图2.2 彩电问题中关于19英寸彩电的生产量x1和 21英寸彩电的生产量x2的利润函数有的水平集图
5.回答第一步中提出的问题
简单来说，这家公司今年可以通过生产4735台19 英寸彩电和7043台21英寸彩电来获得最大利润，每年获得的净利润为553641美元。
利用计算机代数系统求解问题有几项优点：它可以提高效率，结果更准确。
4.利用第二步确定的标准过程求解
图2.2给出了函数P的3维图象，图象显示，y在内部达到最大值；图2.3给出了P的水平集图，从中我们可以估计出y的最大值出现在x1=5000,x2=7000附近。函数y是一个抛物面，其最高点为方程组的唯一解。

最优化基础理论与方法

最优化基础理论与⽅法⽬录1．最优化的概念与分类 (2)2. 最优化问题的求解⽅法 (3)2.1线性规划求解 (3)2.1.1线性规划模型 (3)2.1.2线性规划求解⽅法 (3)2.1.3 线性规划算法未来研究⽅向 (3)2.2⾮线性规划求解 (4)2.2.1⼀维搜索 (4)2.2.2⽆约束法 (4)2.2.3约束法 (4)2.2.4凸规划 (5)2.2.5⼆次规划 (5)2.2.6⾮线性规划算法未来研究⽅向 (5)2.3组合规划求解⽅法 (5)2.3.1 整数规划 (5)2.3.2 ⽹络流规划 (7)2.4多⽬标规划求解⽅法 (7)2.4.1 基于⼀个单⽬标问题的⽅法 (7)2.4.2 基于多个单⽬标问题的⽅法 (8)2.4.3多⽬标规划未来的研究⽅向 (8)2.5动态规划算法 (8)2.5.1 逆推解法 (8)2.5.2 顺推解法 (9)2.5.3 动态规划算法的优点及研究⽅向 (9)2.6 全局优化算法 (9)2.6.1 外逼近与割平⾯算法 (9)2.6.2 凹性割⽅法 (9)2.6.3 分⽀定界法 (9)2.6.4 全局优化的研究⽅向 (9)2.7随机规划 (9)2.7.1 期望值算法 (10)2.7.2 机会约束算法 (10)2.7.3 相关机会规划算法 (10)2.7.4 智能优化 (10)2.8 最优化软件介绍 (11)3 最优化算法在电⼒系统中的应⽤及发展趋势 (12)3.1 电⼒系统的安全经济调度问题 (12)3.1.1电⼒系统的安全经济调度问题的介绍 (12)3.1.2电⼒系统的安全经济调度问题优化算法的发展趋势 (12)2. 最优化问题的求解⽅法最优化⽅法是近⼏⼗年形成的，它主要运⽤数学⽅法研究各种优化问题的优化途径及⽅案，为决策者提供科学决策的依据。

最优化⽅法的主要研究对象是各种有组织系统的管理问题及其⽣产经营活动。

最优化⽅法的⽬的在于针对所研究的系统，求得⼀个合理运⽤⼈⼒、物⼒和财⼒的最佳⽅案，发挥和提⾼系统的效能及效益，最终达到系统的最优⽬标。

第2章最优化的基本理论和基本方法最优性条件 2.2 有约束优化(第5次课等式约束优化,作业问题讲解)

11

2x1 2x2
1

0
c1(x) = 2 - x12 - x2 2 = 0 解得x1=-1，x2 =-1，λ1=-1/2；
x1=1，x2 =1，λ1=1/2 。它们是可能的局部解。
图解：
c1(x)
O
c1(x*)
f(x*) x*
f(x)
f(x) = x1 + x2 = -2
先满足一阶必要条件
i 1
如果对所有 z Z(x*),z 0 有 zT x2L(x*,*)z 0
则 x=x*为问题的局部解。
例 min f(x) = x1 + x2
st c1(x) = 2 - x12 - x2 2 = 0
已经求出了可能的局部解
2 f (x) 0
2c1(x)

i，i= 1, 2, ..., l为拉格朗日乘子（或乘数）。
拉格朗日乘子法
l
xL(x, ) f (x) i ci (x) 0
i 1
ci(x) = 0, i=1, 2, ..., l 。空格
解上述方程组，得x*即是可能的局部解。
（式一是L(x, λ)对各个xi 的偏导数为0， λ视为常数）
zTx2L(x*,*) z 0
【这里
l

2 x
L(
x*,
*)

2
f
(
x*)

i* 2ci (x*)
i 1
】
Z(x*) {z | z Rn,ci (x*)T z 0,i 1,2, ,l}
局部解的充分条件 (选学)
定理对于等式约束最优化问题

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

1
2
n
几何解释： z=f(x,y)=x2 +y2, (x,y)=(0,0)为局部解
几何解释： z=f(x,y)=x2 +y2, (x,y)=(0,0)为局部解
§1.2 局部解的二阶必要条件
定理2 设f(x)在x=x*=(x1*, x2*, ..., xn*)T 处对x的各个分量具有连续的二阶偏导数连续, 若x=x*为f(x)的局部解，则f(x)的海赛矩阵 2 f (x*)为半正定矩阵
对于无约束的凸优化问题，驻点就是全局最优解。（驻点是满足梯度为0的点）因此，局部解也是最优解（ f(x)可导时）。
无约束优化的三个基本定理。
凸优化情况
作业
薛毅p140, 4.1,(2) 4.2 这两个题目有是凸规划的吗？
练习
f(x)= 2x12+5x22 +x32 +2x2x3 + 2x1x3 -6x2+3 求f的局部解和分条件
min f(x)=x3, xR, f(x)=x3, f在x=0可导，f (x)= 0， f(x)= 0，半正定。但易见x=0不是局部解。
§1 无约束最优化（薛毅第4章第1节）
问题：
min f(x),
x1 x= x 2 ∈Rn x n
(2-1)
考虑问题的局部解。
费马引理
费马引理：基本定理，单变量局部解的必要条件
若f(x)在x=x0可导，则f(x)在x=x0为局部解的必要条件是 f ' ( x 0 ) 0 。
满足一阶和二阶必要条件，但不是局部解的例子。仅是必要条件不是充分条件。
局部解的充分条件不是必要条件
f(x) = x4, 在x=0处，二阶导数为0，不正定，但仍是局部解。
§1.3 对于凸优化问题-无约束情况
min f(x), x=∈Rn 若目标函数为Rn上的凸函数，则这是一个凸优化问题。
第2章最优化的基础理论和基本方法
图解法只适用于：低维，简单的情况，以下讲一般方法。它包括经典最优化方法-高数中极值，并有扩充、一般化。
在以下的特殊情况下，一般可求最优解 1. 变量个数少时，用图解法有时可求最优解 2. 线性规划 3. 凸规划（含目标函数为凸函数的无约束情况）。其他情况下求最优解难度较大。一般只考虑求局部解。（注意：有求近似最优解的优化算法-全局优化算法）关于局部解的充分条件和必要条件，称为最优性条件。这是最优化的最基础的理论和最基本的方法。
所以：x*=(2,-2)T是优化问题的局部解。
例2 求解优化问题： min f(x1,x2)=x12-(x2-1)2。解： 2 2 f ( x) 2 f ( x) 0 f ( x) 2 x1 2 x1 x1x 2 x1 2 f ( x) 2( x2 1) f ( x ) 2 2 x 2 x 2 令它们为0，解得： 2 0 2 f (x) 0 - 2 不是半正定 x1=0，x2=1。所以：x=(0,1)T不是问题的局部解。问题没有局部解。
可用于不是局部解的判断，后面有例子。
§1.3 局部解的充分条件
定理3 对多元函数f(x)=f (x1, x2, ..., xn)，设二阶偏导数都连续，若f在x*= (x1*, x2*, ..., xn*)T处 (1)梯度 f ( x* ) 0 (2)海赛矩阵 2f ( x* )为正定矩阵则x* 为f的（严格）局部解。
f (x)
f ' (x 0 ) 0
x0
x
§1.1 局部解的必要条件
定理1：若f(x) 在x=x*=(x1*, x2*, ..., xn*)T处对x 的各个分量的偏导数存在，则x=x*为f(x)的局部解的必要条件是：f(x)的梯度 f (x* ) 0 或者表示为：也可表示为： f ( x1*, x 2 *,, x n *) 0 f x ( x1*, x 2 *,, x n *) 0 x1 ... ... f x ( x1*, x 2 *,, x n *) 0 ... ... f ( x1*, x 2 *,, x n *) 0 f x ( x1*, x 2 *,, x n *) 0 x n
例子
例1 求解问题：min f(x1,x2)= x12+x22 - 4 (x1-x2) 解： 2 2 f ( x) 2 f ( x) 0 f ( x) 2 x1 4 2 x1 x1x 2 x1 2 f ( x ) 2 x2 4 f ( x) 2 2 x 2 x 2 令 f ( x ) 0 ，解得： 2 0 2 f (x) 0 2 为正定矩阵 x1=2，x2=-2。