最优化方法 第三章(约束最优性条件)
合集下载
2 等式约束最优化问题的最优性条件
将等式约束最优化问题转化为无约束最优化问题求解. 将等式约束最优化问题转化为无约束最优化问题求解.
等式约束最优化问题的最优性条件
一阶必要条件
• Example
Solution:
等式约束最优化问题的最优性条件
等式约束最优化问题的最优性条件
等式约束最优化问题的最优性条件
等式约束最优化问题的最优性条件
二阶充分条件二阶充分条件定理322的几何意义二阶充分条件二阶充分条件在lagrange函数的驻点处如果lagrange函数关于x的hesse矩阵在约束曲面的切平面上正定并不需要在r上正定则就是问题321的严格局部极小点
约束最优化问题的最优性条件
一般约束最优化问题
m in
s.t.
n
cj ( x) = 0,
j =1 l
Байду номын сангаас
∇λ L(x,λ) = −c(x).
等式约束最优化问题的最优性条件
一阶必要条件
, (2) f ( x) 与 ci ( x)(i =1 2,⋯l ) 在 x* 的某邻域内一阶连续可微； , Lagrange (3) ∇ci ( x)(i =1 2,⋯l ) 线性无关； * 定理 则存在一组不全为零的实数 λ1 , λ* ,⋯λ* 2 l
定理 3.2.1
若(1) x*是问题(3.2.1)的局部最优解；
使得： f ( x* ) − ∑λ*∇ci ( x* ) = 0. ∇ i
l i =1
等式约束最优化问题的最优性条件
一阶必要条件 定理3.2.1说明： 定理3.2.1说明： 3.2.1说明
l x ∇f ( x) − ∑λj∇c j ( x) = 0 若 为方程组 j =1 λ c ( x) = 0, j = 1,2,..., l j
约束最优化问题的最优性条件
ci ( x ) ≥ 0
i ∈ I = {l + 1, , m}
一阶必要条件
定理6: (Kuhn-Tucker一阶必要条件)
*
I * = i ci x * = 0, i ∈ I ; 设 x 为问题(3)的局部最优解, f ( x ), ci ( x ) (1 ≤ i ≤ m ) 在 x * 点可微, 对于i ∈ E ∪ I *
*
λ f (x ) ∑ λ ci (x ) = 0
m * 0 *
λ c (x ) = 0 i = 1,2, , m
* i i *
i =1
* i
*
λ ≥ 0 i = 0,1,2, , m
* i
例2: 验证是否满足Fritz-John条件:
min f ( x1 , x2 ) = x1 s.t
*
3 c1 ( x1 , x2 ) = x1 x2 ≥ 0
* 则存在一组不全为零的实数 λ1 , λ* , λ* 使得: 2 l
f x * ∑ λ*ci x * = 0 i
i =1
( )
l
( )
二阶充分条件
定理2: 对等式约束问题,若: (1) f ( x ) 与 ci ( x )(1 ≤ i ≤ l ) 是二阶连续可微函数; (3) s ∈ R n且 s ≠ 0 , 且 s T ci (x * ) = 0 , i = 1,2, l 均有 s T 2 L (x * , λ* )s > 0 xx 则 x* 是等式约束问题的严格局部极小点. (2) x * ∈ R n 与 λ* ∈ R l 使: L(x* , λ* ) = 0 ;
{ ( ) }
的ci (x * ) 线性无关, 则存在非零向量 * λ* = (λ1 , , λ* ) 使得: m
4一般约束最优化问题的最优性条件.
*
T
, c 2 x
1,1, 0
*
T
.
令 6
即： f x * 2c1 x * 2c2 x * . * 0, i 1,2,3,4,5. c x 令i 0，i 3， 4， 5，则 i i
* x 所以， 是K-T点．
Fritz John 最优性条件—一阶必要条件
一般约束最优化问题的最优性条件
Fritz John 最优性条件—一阶必要条件
一般约束最优化问题的最优性条件
Fritz John 最优性条件—一阶必要条件
缺点
一般约束最优化问题的最优性条件
Kuhn-Tucker 最优性条件—一阶必要条件
一般约束最优化问题的最优性条件
c 3 x x1 0
c4 x x 2 0 c5 x x 3 0
试验证最优点 x * 1, 1, 1T为K-T点．
一般约束最优化问题的最优性条件
解： I * 1, 2, f x * 6,2,4T ,
c1 x
2,2, 2
一般约束最优化问题的最优性条件
Kuhn-Tucker 最优性条件—一阶充分条件
一般约束最优化问题的最优性条件
Kuhn-Tucker 最优性条件—一阶充分条件
一般约束最优化问题的最优性条件
Kuhn-Tucker 最优性条件—一阶充分条件
一般约束最优化问题的最优性条件
Kuhn-Tucker 最优性条件—一阶充分条件
一般约束最优化问题的最优性条件
几何最优性条件—一阶必要条件 定义 I ( x ) {i | gi ( x ) 0, i 1,2,..., m}. 定理3.4.1
T
, c 2 x
1,1, 0
*
T
.
令 6
即： f x * 2c1 x * 2c2 x * . * 0, i 1,2,3,4,5. c x 令i 0，i 3， 4， 5，则 i i
* x 所以， 是K-T点．
Fritz John 最优性条件—一阶必要条件
一般约束最优化问题的最优性条件
Fritz John 最优性条件—一阶必要条件
一般约束最优化问题的最优性条件
Fritz John 最优性条件—一阶必要条件
缺点
一般约束最优化问题的最优性条件
Kuhn-Tucker 最优性条件—一阶必要条件
一般约束最优化问题的最优性条件
c 3 x x1 0
c4 x x 2 0 c5 x x 3 0
试验证最优点 x * 1, 1, 1T为K-T点．
一般约束最优化问题的最优性条件
解： I * 1, 2, f x * 6,2,4T ,
c1 x
2,2, 2
一般约束最优化问题的最优性条件
Kuhn-Tucker 最优性条件—一阶充分条件
一般约束最优化问题的最优性条件
Kuhn-Tucker 最优性条件—一阶充分条件
一般约束最优化问题的最优性条件
Kuhn-Tucker 最优性条件—一阶充分条件
一般约束最优化问题的最优性条件
Kuhn-Tucker 最优性条件—一阶充分条件
一般约束最优化问题的最优性条件
几何最优性条件—一阶必要条件 定义 I ( x ) {i | gi ( x ) 0, i 1,2,..., m}. 定理3.4.1
最优化问题的约束条件处理方法
最优化问题的约束条件处理方法在最优化问题中，约束条件是限制优化目标的条件。
对于一个最优化问题而言，约束条件的处理是至关重要的，因为它直接影响到问题的可行解集合以及最终的优化结果。
本文将介绍几种常见的约束条件处理方法，以帮助读者更好地理解和应用最优化算法。
一、等式约束条件处理方法等式约束条件是指形如f(x) = 0的约束条件，其中f(x)是一个函数。
处理等式约束条件的常用方法是拉格朗日乘子法。
该方法通过引入拉格朗日乘子，将等式约束条件转化为目标函数的一部分，从而将原问题转化为无约束问题。
具体而言，我们可以构造拉格朗日函数：L(x,λ) = f(x) + λ·g(x)其中，g(x)表示等式约束条件f(x) = 0。
通过对拉格朗日函数求导，我们可以得到原问题的最优解。
需要注意的是，拉格朗日乘子法只能处理等式约束条件，对于不等式约束条件需要使用其他方法。
二、不等式约束条件处理方法不等式约束条件是指形如g(x) ≥ 0或g(x) ≤ 0的约束条件，其中g(x)是一个函数。
处理不等式约束条件的常用方法是罚函数法和投影法。
1. 罚函数法罚函数法通过将约束条件转化为目标函数的一部分，从而将原问题转化为无约束问题。
具体而言，我们可以构造罚函数：P(x) = f(x) + ρ·h(x)其中，h(x)表示不等式约束条件g(x) ≥ 0或g(x) ≤ 0。
通过调整罚函数中的惩罚系数ρ，可以使得罚函数逼近原问题的最优解。
罚函数法的优点是简单易实现，但需要注意选择合适的惩罚系数，以避免陷入局部最优解。
2. 投影法投影法是一种迭代算法，通过不断投影到可行域上来求解约束最优化问题。
具体而言，我们首先将原问题的可行域进行投影，得到一个近似可行解，然后利用该近似可行解来更新目标函数的取值，再次进行投影，直到收敛为止。
投影法的优点是能够处理各种类型的不等式约束条件，并且收敛性良好。
三、混合约束条件处理方法混合约束条件是指同时包含等式约束条件和不等式约束条件的问题。
最优化方法 第三章(罚函数法)
这种惩罚策略，对于在无约束的求解过程中企图违反约
束的迭代点给予很大的目标函数值，迫使无约束问题的 极小点或者无限地向可行域D靠近，或者一直保持在可 行域D内移动，直到收敛到原来约束最优化问题的极小 点。
不改变可行域局部极小值，可以将 约束域之外的局部极小值变大。
p ( x) 0, x D p ( x) 0, x D
k k
k 1
k 1
xk 1是F x, M k 1 的最优解.
k 1 k k 1 k 0 M k 1 M k p ( x ) p ( x ) p ( x ) p ( x )
M k 1 M k
(3) f ( x k 1 ) M k p( x k 1 ) F ( x k 1 , M k ) F ( x k , M k ) f ( x k ) M k p( x k )
gi ( x) gi ( x) max gi ( x), 0 = 罚函数p(x)的构造 2 m l p( x) (max gi ( x), 0) 2 h 2 j ( x)
i 1 j 1
(1) p(x)连续 (2) p( x) 0, x D (3) p( x) 0, x D
二、外点法 外点罚函数法算法步骤 1：给定初始点 x 0 ，初始罚因子M1 0 (可取M1 1 ), 精度 0, k : 1. 2：以 x k 1初始点，求解无约束优化问题
min F ( x, M k ) f ( x) M k p( x)
得到极小点 x* ( M k )，记为 x k ， 其中
p( x) (max gi ( x), 0) h 2 j ( x)
2 i 1 j 1 m l
约束问题的最优化方法
m
⑤ .Φ ( x, r ) = f ( x) − r ∑ ln[− g u ( x)]
(k )
其中：惩罚（加权）因子 降低系数 c：
r ( 0 ) > r (1) > ....r ( k )
0< c <1
r ( k −1) ⋅ c = r ( k )
xk * → x *
当lim r ( k ) → 0
x ∈ D ⊂ Rn s.t. g u ( x ) ≥ 0, u = 1,2,..., p hv ( x ) = 0, v = 1,2,..., q min F ( x )
一. 约束优化问题解法分类： 约束优化方法按求解原理的不同可以分为直接法和间接法两类。
直接解法：随机方向搜索法、复合形法、可行方向法
其中：g u ( x) ≥ 0, u = 1,2,...m
③ .Φ ( x, r ) = f ( x) − ∑ ru ( k )
(k ) u =1
m
1 g u ( x)
④ .Φ ( x, r ) = f ( x) + r
(k )
(k )
(k )
1 ∑ 2 u =1 [ g u ( x )]
m u =1
k →∞
则Φ ( x, r ( k ) ) → f ( x) ,
) x12 + x22 例： 用内点法求 min f ( x=
s.t. g ( x ) = 1 − x1 ≤ 0
的约束最优解。
2 解: 首先构造内点惩罚函数:φ ( x , r ) = x12 + x2 − r k ln( x1 − 1)
(k ) u =1 m
lim r2 H [hv ( x ( k ) )] = 0
最优化：最优性条件
g i ( x ) T d 0 和 h j ( x ) T d 0, 即d LFD( x, D ) 注意：尽管 LFD( x, D )具有代数表示, 但上面的命题表明 LFD( x, D )是SFD( x, D )的一个子集,因此还不能用 LFD( x, D )替换定理 9.1.1中的SFD( x, D )
令 xk x k d k , 由定义9.1.2知, {xk } D.
为理解序列可行方向, 我们来看看它的几何解释：
xk
D
D
●
dk
●
xdຫໍສະໝຸດ xkdk●●
d
x
(a ) 点x在D内部
(b) 点x在D的边界上
序列可行方向实际 上就是可行方向
显然,
序列可行方向包含可行 方向和边界的切线方向
FD( x, D) SFD( x, D) (只需取d k d )
定义9.1.1 设x D, d R n .若存在数 0, 使得 x d D, (0, ], 则称d是D在x处的一个可行方向.
记x处所有可行方向的集合为FD( x, D)
若记x处函数f 的所有下降方向 集合为GD( x ) * 容易看出, 如果x 是(9.1)的最优 解, 则在该点不存在既下降又 可行的方向, 即
等式 h j ( x) 0 : h j ( x)T d 0
由上面分析可知：d FD( x, D ), 则有 h j ( x )T d 0, j E T g ( x ) d 0, i I 且 g i ( x ) 0 i
但反之不一定成立.
为方便起见, 记
可行域：D {x : g i ( x ) 0, i I ; h j ( x ) 0, j E}
最优化方法第三章-孙文瑜
第3章线性搜索与信赖域方法本章内容31线性搜索320618法和fibonacci法33逐次插值逼近法34精确线性搜索方法的收敛性35不精确线性搜索方法36信赖域方法的思想和算法框架37信赖域方法的收敛性38解信赖域子问题31线性搜索线性搜索是多变量函数最优化方法的基础在多变量函数最优化中迭代格式为其关键是构造搜索方向d出发沿搜索方向d达到极小即使得或者选取0使得这样的线性搜索称为精确线性搜索所得到的线性搜索算法分成两个阶段第一阶段确定包含理想的步长因子或问题最优解的搜索区间第二阶段采用某种分割技术或插值方法缩小这个区进退法确定初始搜索区间的一种简单方法叫进退法本思想是从一点出发按一定步长试图确定出函数值呈现高低高的三点具体地说就是给出初始点出发加大步长再向前搜为出发点沿反方向同样搜索直到目标函数上升就停止
Fnk k ak (1 )(bk a k ) Fnk 1
Fn k 1 k a k (bk a k ), k 1,2,, n 1 Fn k 1 Fn k k ak (bk a k ), k 1,2,, n 1 Fn k 1
25
2018/12/11
3.2.2 Fibonacci法
另一种与0 .618 法相类似的分割方法叫Fibonacci 法. 它与0 .618 法的主要区别之一在于: 搜索区间长度的 缩短率不是采用0 .618 而是采用Fibonacci 数. Fibonacci 数列满足 F0 F1 1
Fk 1 Fk Fk 1 , k 1,2 Fibonacci 法中的计算公式为
N
1
2
1 2
Y
* (t * )
a t1 , t1 t 2 ,
1
Fnk k ak (1 )(bk a k ) Fnk 1
Fn k 1 k a k (bk a k ), k 1,2,, n 1 Fn k 1 Fn k k ak (bk a k ), k 1,2,, n 1 Fn k 1
25
2018/12/11
3.2.2 Fibonacci法
另一种与0 .618 法相类似的分割方法叫Fibonacci 法. 它与0 .618 法的主要区别之一在于: 搜索区间长度的 缩短率不是采用0 .618 而是采用Fibonacci 数. Fibonacci 数列满足 F0 F1 1
Fk 1 Fk Fk 1 , k 1,2 Fibonacci 法中的计算公式为
N
1
2
1 2
Y
* (t * )
a t1 , t1 t 2 ,
1
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
然成立；
此时 ，目标函数的一阶变分
的“零梯度条件”类似。
，与无约束优化
一、最优性条件
定理 (等式约束二阶必要条件)
l
y ( f ( x ) v j h j ( x ))y 0
T
2
2
j 1
y V ( x ) x h j ( x)x 0, j 1, , l
l
f ( x ) v j h j ( x ) 0
j 1
拉格朗日函数
l
L( x, v) f ( x) v j h j ( x)
j 1
一、最优性条件
等式约束一阶必要条件的含义
目标函数的梯度
属于约束函数在 x 处的梯度
张成的子空间，共面，在正交补空间投影为0；
单个约束
j 1
y V ( x ) x h j ( x)x 0, j 1, , l
或者
l
L ( x, v ) f ( x ) v j h j ( x )
j 1
的关于y的矩阵在 x 处关于正定，则 x 是满足约束的局
部最小点。
2
xx L( x, v)
一、最优性条件
拉格朗日乘子的意义----灵敏度
仅考虑一个线性约束的等式优化问题
x
x x
min f ( x)
s.t. aT x b
x
aT x b
f ( x ) a
cos t f ( x x) f ( x ) f ( x )T x o( x )
aT x o( x ) b o( x )
使得
f ( x )
l
w g ( x ) v h ( x ) 0
iI ( x )
i
wi 0, i I ( x )
i
j 1
j
j
, l)
一、最优性条件
定理中的条件gi (x) (i I ( x )) 在 x 处连续加强为连续可微，
则上述结论等价于
m
l
i 1
j 1
是在 x 处的积极约束（active constraint）或称紧约束、
起用作约束。积极约束指标的全体组成的集合，称为 x
处的积极约束指标集，记为 I ( x )，
I ( x ) {i | gi ( x ) 0, i 1, 2,
, m}
一、最优性条件
例：设 g1 ( x) 2 x12 x2 0, g2 ( x) x12 x22 1 0,
f ( x ) wi gi ( x ) v j h j ( x ) 0
wi 0, i 1,..., m
wi gi ( x ) 0, i 1,..., m
当 i I ( x ) 时， gi ( x ) 0，可知， wi 0,
wig ( x ) 0(i I ( x )) 自然消失。
得到
i 1
x1 3
1
1
0
1 2 3 0
1
0
1
x2 3
K-T点计算：不知道 x
的位置
一、最优性条件
x1 3
1
1
0
1 2 3 0
最优性条件
一
约
束
优
化
五
二
可行方向法
三
罚函数法
四
乘子法
二次逼近法
一、最优性条件
约束优化问题的分类
min f x
xR n
s.t.
gi x 0, i I 1,
, me ,
hi x 0, i E me 1,
等式约束问题
不等式约束问题
一、最:
由1 (4 x1 x2 ) 0 可得 1 0
1 2 3 2 3
与2 0 矛盾。
( 2) 若 x1 0 , x2 0 :
3 0
x1 1 2 3
f x wi gi x 0
gi x d 0
wi 0, w 0
T
T
无解
一、最优性条件
一般约束优化的二阶最优性条件
(二阶必要条件) 若目标函数和约束函数二阶连续可微，
m
l
i 1
j 1
L( x, w, v) f ( x) wi gi ( x) v j h j ( x)
一、最优性条件
min f x
事实上，对于不等式约束优化问题，
s.t.
在点 x 处，下降方向需满足
gi x 0, i I
f x d 0
T
可行方向需满足 gi x d 0
T
若 x 为局部极小值点，则在该点处一定不存在可行下降方
向，即
Gordan引理
f x d 0
1
0
1
x1 3
f ( x) 2
, g1 ( x) 1 , g 2 ( x) 0 , g3 ( x) 1 ,
x2 3
由K-T条件
3
f ( x ) i gi ( x ) 0,
2 x1 0
3 x2 0
g1 ( x) 4 x1 x2 0
g2 ( x) x1 0
g3 ( x) x2 0
再加上问题本身的约束条件
x1 x2 4 0, x1 0, x2 0
(1 3)
联立(1-1),(1-2)和(1-3),求x和相应的乘子
x
O
一、最优性条件
如果 x 是不等式约束问题的局部最小点，那么仍是
该问题不考虑在 x 处的非积极约束后新问题的局部
极小值点；
非积极约束不重要，可以在最优性条件中忽略这些
非积极约束；
在局部最小点处，积极约束可以转化为等式约束进
行处理；
min
f x
min f x
s.t.
gi x 0, i I ,
xR n
s.t.
gi x 0, i I 1,
, me ,
hi x 0, i E me 1,
, m .
可行域：D { x | g ( x) 0, h( x) 0}, 其中的元素可行点；
设可行解 x D, 若 gi ( x ) 0，则称不等式约束gi ( x ) 0
wi gi ( x ) 0, i 1,..., m
x L( x* , w* , v* ) 0.
m
l
w* 0, v* R l
L( x, w, v) f ( x) wi gi ( x) v j h j ( x)
wi gi ( x ) 0
i 1
j 1
拉格朗日函数
一、最优性条件
目标函数的梯度
正交于一阶可行变分子空间，即
V ( x ) x h j ( x)x 0, j 1, , l
l
f ( x ) v j h j ( x ) 0
j 1
一阶可行变分子空间是指由变分
构成的子空间，这些
变分使得约束函数展开到一阶时，在向量 x x x 处仍
y V ( x ) x h j ( x )T x 0, g i ( x )T x 0, i I
有
yT 2xx L( x , w, v) y 0
(二阶充分条件) 若目标函数和约束函数二阶连续可微，
y V ( x )
yT 2xx L( x , w, v) y 0 则 x
定理 (等式约束一阶必要条件) 考虑等式约束优化问题, x 为
可行点，f (x) 在 x 处可微, hj (j=1,…,l)在 x 处连续可微，向量
集 h j ( x ) j 1, , l 线性无关。若 x 是等式约束问题的局部最
优解，则存在数 v j ( j 1, , l ) ，使得
代入法（消元法）
g ( x, y) 0 y ( x)
拉格朗日乘子法
F f ( x, y) g ( x, y)
z f ( x, ( x))
一、最优性条件
推广到多元函数，多等式约束问题
min f ( x)
s.t. h j ( x) 0, j 1, 2,..., l
gi (x) (i I ( x )) 在 x 处连续, hj (j=1,…,l)在 x 处连续可微
向量集 gi ( x ), h j ( x ) i I ( x ), j 1,
, l 线性无关。
若 x 是局部最优解，则存在数wi (i I ( x )) 和 v j ( j 1,
cos t
f ( x x) f ( x )
可推广至非
b
b
线性约束
拉格朗日乘子为最优目标费用随约束的增长而递减的变化率。
l
多个线性约束情形： cos t i bi o( x )
i 1
一、最优性条件
不等式约束优化问题的最优性条件
min f x
s.t.
xR
n
hi x 0, i E.
xR n
gi x 0, i I ( x ),
hi x 0, i E
一、最优性条件
一般约束优化的一阶最优性必要条件
定理 (一阶必要条件) 考虑一般约束优化问题 , x 为可行点
此时 ，目标函数的一阶变分
的“零梯度条件”类似。
，与无约束优化
一、最优性条件
定理 (等式约束二阶必要条件)
l
y ( f ( x ) v j h j ( x ))y 0
T
2
2
j 1
y V ( x ) x h j ( x)x 0, j 1, , l
l
f ( x ) v j h j ( x ) 0
j 1
拉格朗日函数
l
L( x, v) f ( x) v j h j ( x)
j 1
一、最优性条件
等式约束一阶必要条件的含义
目标函数的梯度
属于约束函数在 x 处的梯度
张成的子空间，共面，在正交补空间投影为0；
单个约束
j 1
y V ( x ) x h j ( x)x 0, j 1, , l
或者
l
L ( x, v ) f ( x ) v j h j ( x )
j 1
的关于y的矩阵在 x 处关于正定，则 x 是满足约束的局
部最小点。
2
xx L( x, v)
一、最优性条件
拉格朗日乘子的意义----灵敏度
仅考虑一个线性约束的等式优化问题
x
x x
min f ( x)
s.t. aT x b
x
aT x b
f ( x ) a
cos t f ( x x) f ( x ) f ( x )T x o( x )
aT x o( x ) b o( x )
使得
f ( x )
l
w g ( x ) v h ( x ) 0
iI ( x )
i
wi 0, i I ( x )
i
j 1
j
j
, l)
一、最优性条件
定理中的条件gi (x) (i I ( x )) 在 x 处连续加强为连续可微，
则上述结论等价于
m
l
i 1
j 1
是在 x 处的积极约束（active constraint）或称紧约束、
起用作约束。积极约束指标的全体组成的集合，称为 x
处的积极约束指标集，记为 I ( x )，
I ( x ) {i | gi ( x ) 0, i 1, 2,
, m}
一、最优性条件
例：设 g1 ( x) 2 x12 x2 0, g2 ( x) x12 x22 1 0,
f ( x ) wi gi ( x ) v j h j ( x ) 0
wi 0, i 1,..., m
wi gi ( x ) 0, i 1,..., m
当 i I ( x ) 时， gi ( x ) 0，可知， wi 0,
wig ( x ) 0(i I ( x )) 自然消失。
得到
i 1
x1 3
1
1
0
1 2 3 0
1
0
1
x2 3
K-T点计算：不知道 x
的位置
一、最优性条件
x1 3
1
1
0
1 2 3 0
最优性条件
一
约
束
优
化
五
二
可行方向法
三
罚函数法
四
乘子法
二次逼近法
一、最优性条件
约束优化问题的分类
min f x
xR n
s.t.
gi x 0, i I 1,
, me ,
hi x 0, i E me 1,
等式约束问题
不等式约束问题
一、最:
由1 (4 x1 x2 ) 0 可得 1 0
1 2 3 2 3
与2 0 矛盾。
( 2) 若 x1 0 , x2 0 :
3 0
x1 1 2 3
f x wi gi x 0
gi x d 0
wi 0, w 0
T
T
无解
一、最优性条件
一般约束优化的二阶最优性条件
(二阶必要条件) 若目标函数和约束函数二阶连续可微，
m
l
i 1
j 1
L( x, w, v) f ( x) wi gi ( x) v j h j ( x)
一、最优性条件
min f x
事实上，对于不等式约束优化问题，
s.t.
在点 x 处，下降方向需满足
gi x 0, i I
f x d 0
T
可行方向需满足 gi x d 0
T
若 x 为局部极小值点，则在该点处一定不存在可行下降方
向，即
Gordan引理
f x d 0
1
0
1
x1 3
f ( x) 2
, g1 ( x) 1 , g 2 ( x) 0 , g3 ( x) 1 ,
x2 3
由K-T条件
3
f ( x ) i gi ( x ) 0,
2 x1 0
3 x2 0
g1 ( x) 4 x1 x2 0
g2 ( x) x1 0
g3 ( x) x2 0
再加上问题本身的约束条件
x1 x2 4 0, x1 0, x2 0
(1 3)
联立(1-1),(1-2)和(1-3),求x和相应的乘子
x
O
一、最优性条件
如果 x 是不等式约束问题的局部最小点，那么仍是
该问题不考虑在 x 处的非积极约束后新问题的局部
极小值点；
非积极约束不重要，可以在最优性条件中忽略这些
非积极约束；
在局部最小点处，积极约束可以转化为等式约束进
行处理；
min
f x
min f x
s.t.
gi x 0, i I ,
xR n
s.t.
gi x 0, i I 1,
, me ,
hi x 0, i E me 1,
, m .
可行域：D { x | g ( x) 0, h( x) 0}, 其中的元素可行点；
设可行解 x D, 若 gi ( x ) 0，则称不等式约束gi ( x ) 0
wi gi ( x ) 0, i 1,..., m
x L( x* , w* , v* ) 0.
m
l
w* 0, v* R l
L( x, w, v) f ( x) wi gi ( x) v j h j ( x)
wi gi ( x ) 0
i 1
j 1
拉格朗日函数
一、最优性条件
目标函数的梯度
正交于一阶可行变分子空间，即
V ( x ) x h j ( x)x 0, j 1, , l
l
f ( x ) v j h j ( x ) 0
j 1
一阶可行变分子空间是指由变分
构成的子空间，这些
变分使得约束函数展开到一阶时，在向量 x x x 处仍
y V ( x ) x h j ( x )T x 0, g i ( x )T x 0, i I
有
yT 2xx L( x , w, v) y 0
(二阶充分条件) 若目标函数和约束函数二阶连续可微，
y V ( x )
yT 2xx L( x , w, v) y 0 则 x
定理 (等式约束一阶必要条件) 考虑等式约束优化问题, x 为
可行点，f (x) 在 x 处可微, hj (j=1,…,l)在 x 处连续可微，向量
集 h j ( x ) j 1, , l 线性无关。若 x 是等式约束问题的局部最
优解，则存在数 v j ( j 1, , l ) ，使得
代入法（消元法）
g ( x, y) 0 y ( x)
拉格朗日乘子法
F f ( x, y) g ( x, y)
z f ( x, ( x))
一、最优性条件
推广到多元函数，多等式约束问题
min f ( x)
s.t. h j ( x) 0, j 1, 2,..., l
gi (x) (i I ( x )) 在 x 处连续, hj (j=1,…,l)在 x 处连续可微
向量集 gi ( x ), h j ( x ) i I ( x ), j 1,
, l 线性无关。
若 x 是局部最优解，则存在数wi (i I ( x )) 和 v j ( j 1,
cos t
f ( x x) f ( x )
可推广至非
b
b
线性约束
拉格朗日乘子为最优目标费用随约束的增长而递减的变化率。
l
多个线性约束情形： cos t i bi o( x )
i 1
一、最优性条件
不等式约束优化问题的最优性条件
min f x
s.t.
xR
n
hi x 0, i E.
xR n
gi x 0, i I ( x ),
hi x 0, i E
一、最优性条件
一般约束优化的一阶最优性必要条件
定理 (一阶必要条件) 考虑一般约束优化问题 , x 为可行点