2.2 最优性条件与对偶定理

* *
一般等式约束优化问题
min f ( X ) s.t. hi ( X ) 0 i 1, , q
最优性条件
f ( X ) i hi ( X * ) 0
* * i 1
q
hi ( X * ) 0 i 1,, q
两变量一不等式约束的简单优化问题
min f ( X ) s.t. g ( X ) 0
对凸规划问题，KKT条件也是最优解的充分条件
KKT条件的直观导出
两变量一等式约束的简单问题
min f ( X ) s.t. h( X ) 0
f (X ) k
k大时等高线与约束曲线相交 k小时等高线与约束曲线相离 解x*所在等高线与约束曲线相切 最优性条件
f ( X * ) *h( X * ) 0 ቤተ መጻሕፍቲ ባይዱ( X * ) 0
p
q
称之为原始问题
对偶定理
Lagrange对偶问题
u j R , j 1,, q
i R ,i 1,, p X R
max
min ( f ( X ) i g i ( X ) j h j ( X )) n
i 1 j 1
p
q
弱对偶定理
原始问题的最优值以对偶问题的最优值为下界
i 1 j 1 p q
λ, μ称为Lagrange 乘子
例题：分别求解如下优化问题的Lagrange原始问题和 对偶问题的最小值
min f ( x) x s.t. 1 x 0;
2
练习题：
min xi s.t.
3 2
x
i 1
2
i 1 3
i
1;
min xi
i 1 2
q
g i ( X * ) 0, i 1, , p i * 0; i 1, , p i * g i ( X * ) 0, i 1, , p h j ( X * ) 0, j 1, , q
令如下拉格朗日函数，则得前文拉格朗日函数形式的KKT条件
L( X , λ, μ) f ( X ) i gi ( X ) j h j ( X )
X
,
,
X
是否成立。成立说明为 凸问题的最优解，否则 不是。
拉格朗日函数描述的KKT条件
广义Lagrange函数
L( X , λ, μ) f ( X ) i gi ( X ) j h j ( X )
i 1 j 1 p q
λ, μ称为Lagrange 乘子
Karush-Kuhn-Tucker定理
λ,μ
对 min L( X, λ , μ)为凸问题且函数为连续 可微情况，有
X
min L( X, λ , μ) X L( X, λ , μ)＝0，
X
此时Lagrange 对偶问题可写成简化形 式，即Wolf对偶： max L( X, λ , μ)
X , λ ,μ
s.t. X L( X, λ , μ)＝0
最优性条件
f (X ) k
f ( X * ) *g ( X * ) 0 g ( X * ) 0; * 0
f ( X * ) *g ( X * ) 0; g ( X * ) 0; * 0;
合成如下：
f ( X * ) *g ( X * ) 0 g ( X * ) 0; * 0; * g ( X * ) 0
对一般的约束优化问题
min f ( X ) s.t. gi ( X ) 0, i 1,, p, h j ( X ) 0 j 1,, q
最优性(KKT)条件
p * i 1
f ( X * ) i gi ( X * ) ui hi ( X * ) 0
* i 1
若最优化问题的 f ( X )、各g i ( X )和h j ( X )在点X *处可微，所有 g i ( X * )、 h j ( X * )向量线性无关，则 X *为规划问题最优解的必 要条件是：
L( X * , λ* , μ* ) 0 X * g i ( X ) 0 i 1, , p h j ( X * ) 0, j 1, , q * λi 0 i 1, , p * λi g i ( X * ) 0 i 1, , p(互为松紧条件）
max min L( X , λ, μ) min max L( X , λ, μ)
,
X X
,
对偶间隙
强对偶定理
在一定条件下，即存在 X *、λ*、μ*满足鞍点条件 max L( X * , λ, μ) L( X * , λ* , μ* ) min L( X , λ* , μ* ) 时有 :
对偶定理及最优性条件
基于Lagrange函数的去约束化方法
min f ( X ) s.t. gi ( X ) 0, i 1,, p, h j ( X ) 0 j 1,, q
p q
Lagrange函数
L( X , λ, μ) f ( X ) i gi ( X ) j h j ( X )
三变量两等式约束的优化问题
min f ( X ) s.t. h1 ( X ) 0, h2 ( X ) 0
f (X ) k
k大时等高曲面与两约束曲面交线相交 k小时等高曲面与两约束曲面交线相离 在解x*点与两约束曲面的交线相切
最优性条件
f ( X * ) 1 h1 ( X * ) 2 h2 ( X * ) 0 h1 ( X * ) 0; h2 ( X * ) 0;
i 1 j 1
λ, μ称为Lagrange 乘子
优化问题的Lagrange函数表达（去约束化）
min n
X R i R ,i 1,, p u j R , j 1,, q
max ( f ( X ) i g i ( X ) j h j ( X ))
i 1 j 1
L( X , λ, μ)为可微凸函数的一种情 况是：f ( X )、g( X )为可微凸函数， h( X )为线性函数。
求得Langrange 对偶问题的可行解 λ *和μ*，代入求得原始问题的 可行解X*。 比较原始问题和对偶问 题的目标函数值是否相 等，即 min max L( X, λ, μ) max min L( X, λ, μ)
λ,μ X
min max L( X , λ, μ) max min L( X , λ, μ)
X λ, μ λ、μ X
Lagrange对偶问题的求解
X
L( X , λ, μ) f ( X ) i gi ( X ) j h j ( X )
i 1 j 1
p
q
先把λ和μ看成常数，求解min L( X, λ , μ),消去X；再求解max L( X* , λ , μ)
4
s.t.
x
i 1
2
i
1;
x1 2 x2 1;
将拉格朗日函数与罚函数结合起来构造更适当的增广目 标函数。由于无法知道最优的Lagrange乘子，因此仍 将问题转换为一系列无约束优化问题来逼近最优乘子和 最优解。据试验，它的效果优于单纯的罚函数法。