数值最优化6(最优性条件)

x1 1 3 x1 x2 x2 1 3
若 x1 x 2 4 1 0 x1 x2 3
x1 x2 6 4 矛盾。 x1 x2 4 x1 x2 2 1 1
[ 2 , 2 ]T 为K T 点。
g3 ( x ) x2 , g3 ( x ) [ 0 , 1 ]T 。
由 K T条件得
x1 3 1 1 0 x 3 1 1 2 0 3 1 0 2
由 K T条件及约束条件得
定理9.2.4
设f是凸函数, g i , i I都是凹函数， h j , j E都是线性函数 . 又设在x* D处K K T条件成立.则x * 是问题(9.1)的全局 最优解.
注：对凸规划问题，K-K-T条件也是充分条件！
练习： 求约束极值问题
min s .t .
2 2 f ( x ) x1 x2 6 x1 6 x2 8
约束问题的二阶最优性条件 定理9.2.2（二阶必要条件）
设f , g i ( x), h j ( x)二次连续可微， x * 是问题(9.1)的一个 局部最优解且在该点处 LICQ成立.设* R m1 , * R m m1 满足(9.7).则
wT 2 x L( z*)w 0, (w S ( z*)) 其中z* ( x*,*, *).
i i jE j j
i
0, i I ( x))
定义Lagrange函数：
L( x, , ) f ( x) T g I ( x) T hE ( x)
f ( x) i gi ( x) j h j ( x)
iI iE
约束问题的一阶最优性条件——KKT条件
d T h j ( x*) 0, (j E ) T * d g ( x *) 0 , ( i I ( x *) 且 i i 0) d T g ( x*) 0, (i I ( x*)且* 0) i i
S ( z*) LFD( x*, D)
反过来如何？
约束问题最优解的必要条件(几何最优性条件)
定理9.1.2
设x* D且满足
f ( x*)T d 0, (0 d SFD( x*, D))
则x* D是问题(9.1)的一个严格局部最优解 .
证明： 反设x* D不是问题(9.1)的一个严格局部最优解 .则
存在x ( k ) x *，令d ( k ) ( x ( k ) x*) / x ( k ) x * , 设d ( k ) d . 令 k x ( k ) x * 0.则d SFD( x*, D).但
x处的有效约束 有效约束： 若i A( x)，称相应的约束为
LICQ： 若{h j ( x), g i ( x), i I ( x), j E}线性无关，则称
在x处线性无关约束品性成 立
2 例 设 约束条件为g1 ( x) x2 2 x12 0 , g 2 ( x) 1 x12 x2 0,
FD( x, D) SFD( x, D) LFD( x, D)
定理9.1.3 若gi , h j , i I , j E都是线性函数，则
FD( x, D) SFD( x, D) LFD( x, D)
引理9.1.1
若在x D处LICQ成立，则
SFD( x, D) LFD( x, D)
h( x) x12 ( x2 2) 2 4 0
Байду номын сангаас
如何判断K-K-T点是否是局部最优解？
约束问题的二阶最优性条件
设x* D是问题(9.1)的局部最优解.并设在x * 处
SFD( x, D) LFD( x, D) （约束品性） 记z* ( x*,*, *), S ( z*)是满足如下条件的 d Rn的集合：
I ( x ) { 1 , 2 }。
x2 g2 ( x ) 0
g3 ( x ) 0
O
g1 ( x ) 0
x
x1
线性化可行方向：
LFD( x, D) {d R n | d T gi ( x) 0, d T h j ( x) 0, i I ( x), j E}
x1 1 2 3 x 3 1 3 2 1 (4 x1 x 2 ) 0 2 x1 0 3 x2 0 x1 x 2 4 , , , x , x 0 1 2 3 1 2
以下分情况讨论：
约束问题的一阶最优性条件——KKT条件
.并设在x * 处 定理9.2.1 设x* D是问题(9.1)的局部最优解
SFD( x, D) LFD( x, D)
（约束品性）
则存在Lagrange 乘子向量 * Rm1 , * Rmm1 , 使得
x L( x*, *, *) 0, (9.7) h j ( x*) 0, j E , * 0, g ( x*) 0, * g ( x*) 0, (i I ). i i i i
可行点：
xD
n 可行方向： x D, d R , x d D, ( (0, ])
FD (x, D)
序列可行方向： x D, d R n , x k d ( k ) D, (k )
且d ( k ) d , k 0
SFD (x, D)
FD( x, D) SFD( x, D)
第八章 约束问题解 的最优性条件
约束最优化问题的一般形式
min f ( x) s.t.g i ( x) 0, (i I {1,2,, m1}) h j ( x) 0, ( j E {m1 1, m2 2,, m})
n 可行域： D {x R | gi ( x) 0, i I , hj ( x) 0, j E}
这与 2 0 矛盾。 ( 3) 若 x1 0 , x 2 0 :
2 0
x1 1 3 x1 3 0 3 x1 0 1 3 3
这与 3 0 矛盾。
(4) 若 x1 0 , x 2 0 : 2 3 0
可行方向 序列可行方向
可行下降方向： 设点 x D ， 给定向量d ，如果d 既是点 x处的可行方向，又是该 点的下降方向， 则称 d 为点 x处的可行下降方向。
注：最优解处不存在可行的下降方向。
约束问题最优解的必要条件(几何最优性条件)
定理9.1.1
设x* D是问题(9.1)的一个局部最优解 .则
2 2 T g 3 ( x) x1 0。 令x ( , ) ，求点 x 的有效集， 2 2 并判断在x处是否LICQ成立？
解： g1 ( x )
2 2( 2 2 2 g2 ( x ) 1 ( ) ( 2 2 2 ) 0, 2 2 2 ) 0, 2
2 g3 ( x ) 0。 2
x* D是问题(9.1)的局部最优解
对所有d LFD( x*, D) 有f ( x*)T d 0
* * g ( x * ) i i j hj ( x*) 0, (i 0, i I ( x*)) jE
f ( x*)
iI ( x*)
即令* i 0, i I \ I ( x*),得 x L( x*,*, *) 0
特别地，若在 x * 处LICQ成立；或函数 gi , h j (i I , j E ) 都是线性函数，则上面 的K K T条件成立 .
例9.2.1 求下面问题的 K K T点： min f ( x) x1
2 s.t. g ( x) 16 ( x1 4) x2 0 2
几何最优性必要条件的等价形式
引理9.1.2： 不等式f ( x)T d 0对所有d LFD( x, D)
均成立的充要条件是： 存在i , j , i I ( x), j E使得
f ( x)
iI ( x )
g ( x) h ( x) 0, (
x1 x2 4 x1 0 x 0 2
的 K T 点。
解： f ( x ) 2 [ x1 3 , x2 3 ]T 。
g1 ( x) 4 x1 x2 g1 ( x ) [ 1 , 1 ]T
g2 ( x ) x1 , g2 ( x ) [ 1 , 0 ]T 。
f ( x ( k ) ) f ( x*) 0 k x x*
f ( x*)T d 0,(k )
矛盾！
设点 x D , 记 I ( x) {i I | gi ( x) 0}, A( x) E I ( x)
有效集： A( x)称为可行点 x处的有效集或积极集
f ( x*)T d 0, (d SFD( x*, D))
(k ) f ( x *) f ( x * d ) 证明： k
f ( x*) k f ( x*)T d (k ) o( k )
k f ( x*)T d (k ) o( k ) 0 o( k ) T (k ) f ( x*) d 0 k f ( x*)T d 0,(k )
定理9.2.3（二阶充分条件）
设x* D, * Rm1 , * Rmm1 满足(9.7).若
wT 2 x L( z*)w 0, (0 w S ( z*)) 其中z* ( x*,*, *),则x *是问题(9.1)的一个严格局部最优解 .
注：用于判断K-K-T点是否是局部最优解！
(1) 若 x1 x 2 0 : 由 1 (4 x1 x 2 ) 0 可得 1 0。