第五章 约束非线性优化--最优性条件及算法

分析：
(1) 如果 I ( x*)中只有一个指标，不妨 设 g1 ( x)为积极约束。
则不存在向量d 使得 f ( x*)T d 0 T g ( x *) d0 1 成立。
12
g1 ( x*)
则不存在向量d 使得 f ( x*) d 0 成立。 T g1 ( x*) d 0
x1 d 1 d2
①可行方向与积极约束: 可行方向:
g2 ( x ) 0
设 x0 Q， d 为一个向量。如果存在 实数 0， 使得对任意的 [ 0 , ] 有 x 0 d Q , 则称 d 为 x 0 处的 一个可行方向。
7
积极约束: 设点 x Q , 对于不等式约束g i ( x) 0，如果
g1 ( x) 4 x1 x2
g1 ( x ) [ 1 , 1 ]T
g2 ( x ) x1 , g2 ( x ) [ 1 ,Fra Baidu bibliotek0 ]T 。
g3 ( x ) x2 , g3 ( x ) [ 0 , 1 ]T 。
18
由 K T条件得
x1 3 1 1 0 x 3 1 1 2 0 3 1 0 2
9
定理1:
给定点 x Q , 记点 x 的积极约束指标集为 I ( x)。给定向量d ， 如果对任意的i I ( x) 有g i ( x)T d 0 , 则d 是点 x 的可行方向。
证明: 令 x' x t d , t 0。 则对任意的i I ( x ) , 有
gi ( x' ) gi ( x ) t gi ( x )T d o( || td ||2 ) t gi ( x )T d o( || td ||2 ) 0
f ( x ) j h j ( x ) 0
* * * j 1
5
l
f ( x ) j h j ( x ) 0
* * * j 1
l
几何意义：考虑一个约束的情况：
-▽f(x*)
-▽f(x')
h(x)
这里 x* 最优，▽f(x*)与 ▽h(x*) 共线，而x' 非最优 ▽f(x')与▽h(x')不共线。
由 K T条件及约束条件得
x1 1 2 3 x 3 1 3 2 1 (4 x1 x 2 ) 0 2 x1 0 3 x2 0 x1 x 2 4 , , , x , x 0 1 2 3 1 2
约束极值问题也可记为
min f ( x ) s .t . g( x ) 0
3
2 约束极值及最优性条件——Kuhn-Tucker 条件 （1）等式约束性问题的最优性条件 考虑 min f(x) s.t. h(x)=0 回顾高等数学中所学的条件极值： 问题 即： 求z=f(x,y)极值，在ф(x,y)=0的条件下。 min f(x,y)
证略
则向量d 是点 x 处的可行下降方向。
③极值点的必要条件: 定理3: 设 x* Q ， I ( x*)是其积极约束指标集。
f ( x ) 和 g i ( x ) ( i I ( x*) ) 在点 x * 处可微， g i ( x ) ( i I ( x*) ) 在点 x * 处连续。
s.t. ф(x,y)=0
引入Lagrange乘子：λ Lagrange函数 L(x,y;λ)= f(x,y)+ λ ф(x,y)
4
若(x*,y*)是条件极值，则存在λ* ，使 fx(x*,y*)+ λ* фx (x*,y*) =0 fy(x*,y*)+ λ* фy(x*,y*) =0 Ф (x*,y*)=0 推广到多元情况，可得到对于等式约束的情况： min f(x) 分量形式： s.t. hj(x)=0 j=1,2, …,l 若x*是其的最优解 , 则存在υ*∈ Rl 使
x' Q , 即 d 为可行方向。
可行下降方向:
设点 x Q ， 给定向量d ，如果d 既是点 x 处的可行方向， 又是该点的下降方向， 则称 d 为点 x 处的可行下降方向。
10
定理2: 给定点 x Q , 记点 x 的积极约束指标集为 I ( x)。给定
向量 d ，如果d 满足 g i ( x)T d 0 T f ( x ) d 0 i I ( x)
I ( x ) { 1 , 2 }。
x2 g2 ( x ) 0
g3 ( x ) 0
O
g1 ( x ) 0
x
x1
②如何判断一个方向是可行方向 定理1:
给定点 x Q , 记点 x 的积极约束指标集为 I ( x)。给定向量d ， 如果对任意的i I ( x) 有g i ( x)T d 0 , 则d 是点 x 的可行方向。
g i ( x) 0 , 则称 g i ( x) 0 是点 x 处的积极约束。
或起作用约束（紧约束\积极约束\有效约束）。
记 I ( x) { i | g i ( x) 0 ,1 i l } , 称 I ( x)为点 x 处的积极 约束指标集。
例: 设 g1 ( x) x2 2x12 0 , g 2 ( x) 1 x12 x22 0 ,
g i ( x) (i I ( x*) ) 在点 x * 处连续,{ g i ( x*) | i I ( x*) } 线性无关。若x *是约束极值问题（ 1 ）的局部极小点， 则存在一组实数i 使其满足
f ( x*) l g ( x*) 0 i i i 1 () g ( x *) 0 , i 1 , 2 , , l i i 0, i 1, 2 , , l i () 式称为K T条件（库恩 塔克条件），满足 () 式的点
x2 1 3 x2 2 0 2 x2 0 1 2 3
(3) 一般情况：设{gi ( x*) | i I ( x*) } 线性无关。 则存在非负实数i ( i I ( x*) ), 使得
f ( x*) i gi ( x*) 0
iI ( x *)
( 2)
( 2) 式可改写为
l f ( x*) i gi ( x*) 0 i 1 i g i ( x*) 0 , i 1 , 2 , , l 0, i 1 , 2 , , l i
( 3)
15
i gi ( x*) 0 , i 1 , 2 , , l i 0 , gi ( x*) 0 ; i 0, i 1 , 2 , , l i 0 , gi ( x*) 0 ;
定理4(K-T条件): 设 x* Q ，f ( x) 和 g i ( x) (i I ( x*) ) 在x * 处可微，
()
17
3. K T点的计算
例: 求约束极值问题 min
s.t.
的 K T 点。
f ( x) x12 x22 6 x1 6 x2 8 x1 x2 4 x1 0 x 0 2
解： f ( x ) 2 [ x1 3 , x2 3 ]T 。
如果 x * 是约束极值问题 (1)的局部极小点，则在 点 x * 处没有可行下降方向。
11
K T 条件（库恩 塔克条件）
设I ( x*)是其积极约束指标集 , 点 x * 是约束极值问题 (1) 的局部极小点 , 则在点x * 处不存在可行下降方向 d。
则由定理2可知，不存在向量 d ，使下式成立 gi ( x*)T d 0 T f ( x *) d0 i I ( x*) 。
称为K T点。
16
( 4) 对于有等式约束的极值 问题
min f ( x ) h( x ) 0 s .t . g( x ) 0
K T条件可写为
m l f ( x*) u j h j ( x*) i g i ( x*) 0 j 1 i 1 i gi ( x*) 0 , i 1 , 2 , , l i 0, i 1 , 2 , , l
T
g1 ( x ) 0
x*
f ( x*)
则有
f ( x*) g1 ( x*) , 0。
即
f ( x*) g1 ( x*) 0。
13
( 2) 如果 I ( x*)中有两个指标，不妨设g1 ( x )和 g2 ( x )为积极约束。 并设g1 ( x*)和g2 ( x*) 线性无关。
g 3 ( x) x1 0。 令x ( 2 2 T , ) ，求点 x 的积极约束指标集。 2 2
2 2( 解： g1 ( x ) 2 2 2 g2 ( x ) 1 ( ) ( 2
2 2 ) 0, 2 2 2 ) 0, 2
8
2 g3 ( x ) 0。 2
令 Q { x | h( x ) 0 , g ( x ) 0 } , 称 Q 为此约束极值问题的
可行域。
2
min f ( x ) hi ( x ) 0 s .t . g j ( x) 0 i 1 , 2 , , m j 1 , 2 , , l
hi ( x ) 0 hi ( x ) 0 hi ( x ) 0
g2 ( x*) g1 ( x ) 0
g1 ( x*)
g2 ( x ) 0
x*
f ( x*)
存在1 ， 2 0 , 使得 f ( x*) 1g1 ( x*) 2g2 ( x*)。
14

f ( x*) 1g1 ( x*) 2g2 ( x*) 0。
x'
▽h(x*)
▽ h(x')
最优性条件即：
f ( x*) j h j ( x*)
* j 1
6
h
(2)不等式约束极值问题的最优性条件
min f ( x) s.t. g ( x) 0
(1)
g1 ( x ) 0
x0 d2 d1
可行域为 Q { x | g ( x) 0 }。
第五章 约束非线性规划
约束极值及最优性条件
等式约束 不等式约束 一般约束问题
约束极值问题的算法
外点法 内点法 乘子法
1
一 、约束极值问题的最优性条件
1、约束极值问题的表示
min f ( x ) hi ( x ) 0 s .t . g j ( x) 0 i 1 , 2 , , m j 1 , 2 , , l
以下分情况讨论：
19
(1) 若 x1 x 2 0 :
x1 1 2 3 x 3 1 3 由 1 (4 x1 x 2 ) 0 可得 1 0。 2 1 (4 x1 x 2 ) 0 1 2 3 2 3 2 x1 0 这与 2 0 矛盾。 3 x2 0 ( 2) 若 x1 0 , x 2 0 : x1 x 2 4 , , , x , x 0 3 0 1 2 3 1 2
记 h( x ) ( h1 ( x ) , h2 ( x ) ,, hm ( x ) )T , g( x ) ( g1 ( x ) , g2 ( x ) ,, gl ( x ) )T ,
则约束极值问题可记为 min f ( x )
h( x ) 0 s .t . g( x ) 0