第四章 惩罚函数法

惩罚函数法
例 运行结果
x y 1 0 min f ( x, y ) x y , s.t . 2 x y 2 0
2 2
最优化方法之约束非线性规划
惩罚函数法-乘子法
乘子法基本思想是从原问题的Lagrange函数出发,再加上适 当的罚函数,从而解序列无约束优化子问题.外点罚函数的主要 缺点是增广目标函数的病态性质,其原因是由罚因子 k 引起. 而乘子法在考虑Lagrange函数后,再加上适当惩罚函数可以克服 这一缺点.
即x( )不满足约束条件.这表明x( )是从可行域外部趋向于x* . 这是一个通常现象,因此称这种解法为外罚函数法(外点法).
外罚函数算法
step1.选定初值.取x0 Rn , 0, 1 0, 1, k 1;
step2.解无约束优化子问题.以xk 1为初始点求解
step3.检验终止条件.若 k P( xk ) , 则算法终止;否则令 k 1 k , k k 1, 转step2.
在1969年由Powell和Hestenes同时独立提出等式约束问题的 乘子法,1973年Rockfellar再推广到不等式约束的情况.
最优化方法之约束非线性规划
惩罚函数法-乘子法
考虑等式约束问题 min f ( x ) L L L L L L (1) s.t . c( x ) 0
其中c( x ) c1 ( x ), c2 ( x ), ..., cl ( x ) .设 R l 为Lagrange乘子向量, 则问题(1)的Lagrange函数为
考虑对(2)采用外点罚函数法求解, 其增广目标函数为
m( x , , ) L( x , )
* *

2
c( x )T c( x ).
可以证明,当 适当大时, x*是m( x, * , )的极小点.
最优化方法之约束非线性规划
惩罚函数法-乘子法
由于事先不知道,因此我们先考虑
下面考虑一般约束优化问题(1)
min f ( x ), x R n . ci ( x ) 0, i E {1, 2, ..., l } s .t . ci ( x ) 0, i I {l 1, ..., m }.
n
(1)
记可行域为D { x R | ci ( x) 0(i E ), ci ( x) 0(i I )},
最优化方法之约束非线性规划
惩罚函数法
现在设计惩罚函数P( x )要满足
0, x1 x2 2 0, P( x) 0, x1 x2 2 0.
令P( x) ( x1 x2 2)2 就可达到目的. 考察目标函数和上述罚函数的组合 L( x1 , x2 , ) x12 x22 ( x1 x2 2)2 ,
3 从而驻点为x0 0, .由约束条件知第二个分量为0得 2
0 3, 从而x0 x* . 0 从上述例题可以发现乘子法并不要求罚因子 趋于无穷大, 只要
求 大于某个正数 * , 就能通过解无约束优化问题的解来得到约束优 化问题的解.另外 *是事先不知道的,因此在修正 的同时, 还要修正
最优化方法之约束非线性规划
惩罚函数法-乘子法
解. 考虑增广 Lagrange函数为
M ( x , , ) L( x , )

2
2 x2
f (x ) x2

2
x x ( 3) x 2
2 2 2 1
2
2
2 x2
当 * 3, * 2, *时,
T
L( x, ) f ( x) T c( x).
考虑问题(1)的转化.设x*是(1)的极小点, *是相应的Lagrange乘子
向量,则由最优性条件得
▽x L( x* , * ) 0,▽ L( x* , * ) c( x* ) 0,
最优化方法之约束非线性规划
D0 { x Rn : ci ( x) 0, i 1, 2,..., m}非空.
最优化方法之约束非线性规划
惩罚函数法
与外点罚函数法相类似,我们构造如下增广目标函数
L( x, r ) f ( x ) rB( x )
其中B( x )是障碍函数.当x在D0中趋向于边界时, 至少有 一个趋于0,而B( x )要求趋于无穷大,因此可取 m 1 B( x ) i 1 ci ( x )
T
* , 其目的是希望{k } * .
min L( x, rk ) f ( x) rB( x)
最优化方法之约束非线性规划
惩罚函数法
内点罚函数算法
step1.选定初值.取x0 D0 , r1 0, 缩小系数c (0,1), 令k 1; step2.解无约束优化子问题.以xk 1为初始点求解 min L( x , rk ) f ( x ) rB( x ) 令其极小点为xk ; step3.检验终止条件.若rk B( xk ) , 则算法终止; 否则令 rk 1 crk , k k 1, 转step2.
2 M ( x , * , ) x1
2
2
2 x2
0 0 * 的整体极小点为 ,同时也是原问题的整体极小点x . 0 0
最优化方法之约束非线性规划
惩罚函数法-乘子法
求解 min M ( x, , )得
M M 2 x1 0, ( 2) x2 ( 3) 0, x1 x2
先通过一个例子来说明惩罚函数的构造.
引例.求解约束优化问题 min f ( x1 , x2 ) x12 x2 2 s.t. x1 x2 2 0.
* 由等式约束得 x 2 x , 代入目标函数求出 x 解. 1 2 2 1,
从而得问题整体极小点为x* (1,1)T .
第四章 约束非线性优化
最优化方法之约束非线性规划
-惩罚是手段,不是目的-
惩罚函数法
本节考虑一般约束最优化问题
min f ( x ), x R n . ci ( x ) 0, i E {1, 2, ..., l } s .t . ci ( x ) 0, i I {l 1, ..., m }. (1)
优化问题就转化成求解一系列无约束优化问题
min L( x, k ) 其中{ k }是正的数列,且 k .
最优化方法之约束非线性规划
惩罚函数法
由引例可以看出 时, L( x, )的极小点x( )趋向于x* .但
x1 ( ) x2 ( ) 2 2 0. 2 1
2 先固定 , 通过极小化求出x , 然后适当改变，再求新 M ( x , , ) L( x , )

c( x )T c( x ).
的x , 直至求出符合要求的x*和 *为止.
Ex.求解约束优化问题
2 2 min f ( x ) x1 3 x2 x2 ,
s.t . x2 0
其中 0是充分大的正数, 称为罚因子.求这个组合函数的极小点, L( x1 , x2 , ) L( x1 , x2 , ) 2 . 由 0, 得x1 ( ) x2 ( ) 2 1 x1 x2
最优化方法之约束非线性规划
惩罚函数法
x1 ( ) 1 * 令 , 我们有 x . x2 ( ) 1
当rk 0 时， xrk x* = (1, 0), x*确为最优解。
*
内点法的优点是结构简单, 适应性强.
内点法的缺点是:一是当rk 0时, 增广目标函数是严重病态的; 二是算法要求选取一个可行域内点作为初始点,这比较麻烦.
最优化方法之约束非线性规划
内点法源代码
惩罚函数法
最优化方法之约束非线性规划
用解析法求解 min G( x, rk ) ，令
xint D
rk G ( x1 1) 2 0 x1 ( x1 1) 2
r G 1 k2 0 x 2 x2
最优化方法之约束非线性规划
解得
* xr ( x1 , x 2 ) ( 1 rk , rk ) k
惩罚函数法-乘子法
且对x D { x | c( x ) 0}有
L( x , ) f ( x ) f ( x ) f ( x )
* * * *

T
c( x ) L( x, * ).
这表明, 如果已经知道 * , 那么问题(1)就等价转化为
min L( x , * ) L L L L L L (2) s.t . c( x ) 0
构造罚函数
P ( x ) ci 2 ( x )
i 1 l i l 1 2 [min{0, c ( x )}] i m
最优化方法之约束非线性规划
惩罚函数法
和增广目标函数
L( x, ) f ( x ) P ( x )
其中 0是罚因子.当x D为可行点时, L( x, ) f ( x ),
最优化方法之约束非线性规划
令其极小点为xk ;
min L( x, k )
惩罚函数法
最优化方法之约束非线性规划
惩罚函数法
外罚函数法的优点是形式和程序均简单, 算法直接使用 无约束优化的程序即可.但它的缺点有三条 : (1). xk ( )往往不是可行点, 这对于某些实际问题是不能接受的; (2). k 太大造成L( x , k )的Hesse矩阵条件数变大, 数值计算带来 很大困难,甚至不可能; (3). P ( x )一般不可微, 不宜直接使用梯度法,从而收敛慢.
最优化方法之约束非线性规划
惩罚函数法
内点法
内点法又称内罚函数法或障碍函数法,这类算法只考虑解不等式 约束优化问题. min f ( x ), x R n s .t . ci ( x ) 0, i 1, 2, ..., m .
记可行域D { x R n : ci ( x ) 0, i 1, 2, ..., m }.内点法基本思想是迭代 点总在可行域D内移动, 可行域的边界被筑起了一道很高的"围墙". 当迭代点靠近边界时,增广目标函数值陡然增大,以示惩罚,从而不让 迭代点穿越边界.因此,内点法只能适用于内点集非空的情形,即
目标函数不受额外惩罚;当x D不是可行点时, L( x, ) f ( x),
目标函数受额外惩罚. 越大,惩罚越重.当 充分大时, 要使
L( x, )极小, P( x )应充分小, 从而L( x, )的极小点充分逼近可行域D,
L( x, )的极小值逼近f ( x )在D上的极小值.这样求解一般约束
最优化方法之约束非线性规划
惩罚函数法
Ex1.用内点法求解问题 min
s.t .
解：定义障碍函数
1 f ( x1 , x2 ) ( x1 1)3 x2 3 x1 1 0, x2 0.
1 1 1 G ( x, rk ) ( x1 1) 3 x 2 rk ( ) 3 x1 1 x 2
或对数型障碍函数Leabharlann Baidu
B( x ) ln(ci ( x ))
参数r 0称为罚因子当 . x在D0中时, B( x)的值是有限的正数.
最优化方法之约束非线性规划
i 1
n
惩罚函数法
当x接近边界时, B( x )趋向无穷大, 增广目标函数也趋向于无穷大, 因此得到很重的惩罚.
另一方面,约束极小点一般在边界点上达到,因此与外点罚函数法 相反,内点法的罚因子序列{rk } 0( rk 0).这样, 求解不等式约束优 化问题转化为求解序列无约束优化子问题