约束最优化方法-43页PPT精选文档

s.t.
g1(x1, x2 ) x12 x22 5 0

g2 (x1, x2 ) x1 2x2 4 0

g3(x1, x2 ) x1 0

g4 (x1, x2 ) x2 0
g3=0
x2
▽g2(x*) -▽f(x*)
(3,2)T
2 1
x*
▽g1(x*)
二、不等式约束问题的Khun-Tucker条件： （续）
f ( x)
m
uig i ( x) 0

i
u i 0, i 1,2, , m


ui g i (x) 0


2(x1 3) u1 2x1 u2 u3 0(1)

2(x2 2) u1 2x2 2u2 u4 0(2)
f T ( x ) B f T ( x ) B 1 N 为既约梯度
一、解线性约束问题的既约梯度法 （续）
寻找下降可行方向：
d
(1) d 为可行方向

Ad 0


d
j
0,当 x j
0时 .
proof . :" " d 为可行方向，即
0 , 当 （ 0， ）时，
i

g
i
(x

)

i1
l
v
j

h
j
(
x

)

0
j1

u
i

0
i 1,2 , , m

u
i

g
i
(
x

)

0
若 ( fgh ) 为凸规划，满足可微性 则 x l .opt . x 是 K T 点。
及 CQ
一、解线性约束问题的既约梯度法
1、问题：（
min f(x) 分量形式：
s.t. hj(x)=0
j=1,2, …,l
若x*是(fh)的l.opt. ,则存在υ*∈ Rl使
l
f(x*)
* j hj(x*)0
j1
矩阵形式：
f(x*)h(x*) * 0 x
一、等式约束性问题的最优性条件： (续) 几何意义是明显的：考虑一个约束的情况：
如果
x l .opt .那么

u
i

0,i
I,
v
j

R,
j

1,2 ,
,l
l
f ( x )
u
i

g
i
(
x

)

v
j

h
j
(
x

)

0
i I
j1
如果还有 g i ( x )( i I ) 在 x 亦可微，那么



f
(
x

)

m
u
向 d 的方案 :
dN

:
d
j


rj
x j r j
当 r j 0时 当 r j 0时
其中： r j 为 r N 的分量。
d B B 1 Nd N
定理：按上述方案产生
方向 d , 那么
1 若 d 0 , d 为 ( P )的下降可行方向；
2 若 d 0 x ~ K T 点。
g 2 ( x ) (1,2) T
f
(x*)

( 2( x1*

3
),
2
(

x
* 2

2)) T
(2,2)T
计算可得
u
* 1

1 3
u
* 2

2使
3
f
(x*)
1 3
g1
(x
)

2 3
g
2
(x

)

0
用K-T条件求解：
f(x) 2 2((x x2 1 3 2)) ,g1(x) 2 2x x1 2 ,g2(2) 1 2 g3(x) 01 ,g4 01
在ㄡ 点使f(x)下降的方向（- ▽f(ㄡ ) 方向）指向约束集合内 部，因此ㄡ不是l.opt. 。
二、不等式约束问题的Khun-Tucker条件： （续）
定理（最优性必要条件）： （K-T条件）
问题(fg), 设S={x|gi(x) ≤0},x*∈S,I为x*点处的起作用集，设f,
gi(x) ,i ∈I在x*点可微， gi(x) ,i I在x*点连续。
问题 求z=f(x,y)极值
即
在ф(x,y)=0的条件下。
引入Lagrange乘子：λ
min f(x,y) S.t. ф(x,y)=0
Lagrange函数 L(x,y;λ)= f(x,y)+ λ ф(x,y)
一、等式约束性问题的最优性条件： (续) 若(x*,y*)是条件极值，则存在λ* ，使
fx(x*,y*)+ λ* фx (x*,y*) =0 fy(x*,y*)+ λ* фy(x*,y*) =0 Ф (x*,y*)=0 推广到多元情况，可得到对于(fh)的情况：
g2(x)=0 x*
g1(x)=0
g1(x*)=0, g1为起作用约束
Kuhn-Tucker 条件
二、不等式约束问题的Khun-Tucker条件： （续）
特别 有如下特征：如图
-▽f(x*) -▽f(ㄡ ) X*
▽g(x*)
▽g(ㄡ )
在x* ： ▽f(x*)+u* ▽g(x*)=0 u*>0
要使函数值下降，必须使g(x)值变大，则
考虑问题
min f(x)
(fg) s.t. gi(x) ≤0 i=1,2, …,m
设 x*∈S={x|gi(x) ≤0 i=1,2, …,m}
令
I={i| gi(x*) =0 i=1,2, …,m} 称I为 x*点处的起作用集（紧约束集）。
如果x*是l.opt. ,对每一个约束函数来说，只有当它是起作用约 束时，才产生影响，如：
B f T ( x )( B 1 Nd N ) N f T ( x ) d N
( N f T ( x ) B f T ( x ) B 1 N )d N

r
T N
d
N

0
一、解线性约束问题的既约梯度法 （续）
( 3 ) 结合 (1 )、( 2 )的一种产生下降可行方
①两约束曲线的交点：g1与g2,g1与g3,g1与g4,g2与g3,g2与g4,g3与 g4。
②目标函数与一条曲线相交的情况： g1，g2, g3, g4
对每一个情况求得满足(1)~(6)的点(x1,x2)T及乘子u1,u2,u3,u4,验 证当满足可得，且ui≥ 0时，即为一个K-T点。
下面举几个情况：
设gi (x)(i I )在x可微, gi (x)(i I )在x连续，hj，（j 1,2,,l） 在x的某邻域内连续可微。（CQ,约束规格）。 向量组{，gi (x )(i I ),,h1(x ),,hl (x )}线性无关。
三、一般约束问题的Kuhn-Tucker 条件 (续)
二、不等式约束问题的Khun-Tucker条件： （续） ●
目标函f数 (x)与g1(x) 0相切的情况： I {1},则u2 u3 u4 0
解22((xx21
3)2x1u1 2)2x2u1
0 0
x12 x22 50
得( 1435, 1230)S
故均不K是 T点

u1,u2 ,u3 ,u4 0 u1(x12 x22 5) 0(3)
u2 (x1 2x2 4) 0(4)

u3 x1 0(5)
6个方程6个未知量

u4 x2 0(6)
二、不等式约束问题的Khun-Tucker条件： （续）
可能的K-T点出现在下列情况：

0}
则 （ 0， ）时
有 x d 0 即 x d S .故 d 为可行方向。
一、解线性约束问题的既约梯度法 （续）
考虑分解
d


d d
B N
.
根据 Ad [ B
N
]
d d
B N


Bd
B

Nd
N

0
得到 d B B 1 Nd N
i 1
u
* i

0
i 1,2, , m

u
i

g
i
(
x

)

0
i 1,2, , m (互补松弛条件 )

满足 K T 条件的点 x * 称 K T 点。
二、不等式约束问题的Khun-Tucker条件： （续）
例
min f (x1, x2 ) (x1 3)2 (x2 2)2
A ( x d ) Ax Ad b , 又 Ax b , 0 , Ad 0
x j d j 0,故 d j 0.
" " 0 ,由 Ad 0 , A ( x d ) Ax b .
取

min{
xj dj
|d j
约束最优化方法