第十一章+乘子法

第十一章 乘子法

min ()..()0,{1,,}

()0,{1,,}

n

x R

i i f x s t c x i E l c x i I l l m ∈=∈=≤∈=++ （11.0.1）

思想：将约束问题（11.0.1）转化为无约束问题来求解。

一、惩罚函数法 （一）罚函数法

例1：考虑如下的约束问题：

2

min ()..()10n x R

f x x s t c x x ∈==+≤， （11.1.1）

其可行域为(,1]?∞?，最优解为*1x =?。 现考虑通过将（11.1.1）转化为无约束问题来求解（11.1.1），也就是说希望构造相应的无约

束问题，使得该无约束问题的解恰好是原约束问题（11.1.1）的解。从直观上来看，要做到这一点就必须增大在非可行域处的目标函数值，因此我们可构造如下的惩罚函数：

2

222(),

()0(,)()[()],()02,10(1),

10

2f x c x P x f x c x c x x x x x x σσσ≤??

=?+>??

?+≤?

=?+++>??

其无约束问题

min (,)n

x R

P x σ∈ 的最优解为

()2x σ

σσ

=?

+，

当σ→+∞时，有

*()1x x σ→?=，

即约束问题的最优解。

罚函数的几何意义：

1．常见罚函数的构造：

罚函数应大致满足以下条件：

在可行域内，等于原约束问题的目标函数 在可行域外，取较大的目标函数值

具有连续的偏导数

（1）对于不等式约束问题

min ()..()0n

x R

f x s t c x ∈≤，

其罚函数常定义为

2

2

(),()0(,)()[()],()02()(max{0,()})

2

f x c x P x f x c x c x f x c x σσσ

≤??

=?+>??

=+

其中σ充分大.

（2）对于等式约束问题

min ()..()0n

x R

f x s t c x ∈=，

其罚函数常定义为

2(,)()(())2

P x f x c x σ

σ=+

,

其中σ充分大.

（3）对于一般约束问题（11.0.1），其罚函数定

义为

(,)()()2

P x f x S x σ

σ=+

其中σ为惩罚因子，()2S x σ

为惩罚项，

22

()[()][max{0,()}]i i i E

i I

S x c x c x ∈∈=+∑∑，

期望

*lim (,)lim[()()]2

x P x f x S x σσσ

σ→∞

→∞

==+

2．罚函数法

（1）选择序列k σ→∞，初始点(0)x ，置精度要求

ε，令k=1；

（2）以(1)k x ?为初始点，求解无约束问题

min (,)()()2

k

k x

P x f x S x σσ=+

（11.1.12）

得到最优解()k x ；

（3）若()

()k k S x σε≤，则停止计算（()k x 作为原约

束问题的最优解），否则令k=k+1，转（2）.

（二）罚函数法的收敛性质

定理11.1.2：设(),()()i f x c x i E I ∈∪具有连续的一阶偏导数，*x 是约束问题（11.0.1）的全局最优解，惩罚因子k σ→∞。若()k x 是罚函数(,)k P x σ的全局解，则{()k x }的任一聚点必是约束问题（11.0.1）的全局解。

定理11.1.3：设(),()()i f x c x i E I ∈∪具有连续的一阶偏导数，约束问题（11.0.1）的全局解存在，

惩罚因子k σ→∞。若()k x 是罚函数(,)k P x σ的全局解，且()*k x x →，在*x 处(*)((*))i c x i E I x ?∈∪线性无关，则*x 是约束问题（11.0.1）的全局解，且

()*()*lim (),lim max{0,()},k k i i k k k i i k c x i E

c x i I

σλσλ→∞

→∞

=∈=∈

其中*λ是*x 处的Lagrange 乘子。

（三）罚函数的病态性质

当k σ很大时，

通常罚函数(,)k P x σ是一个病态函数，即其Hesse 矩阵2

(,)x k P x σ?的条件数很大。

注：k σ不能太大，也不能太小。k σ太大，收敛快，但无约束问题的求解不精确；k σ太小，收敛慢，但无约束问题的求解较精确，通常

10.12k k σ?=×。

（四）内罚函数（障碍罚函数）

前面的罚函数法一般称之为外罚函数法，因为其得到的()k x 均在可行域的外面，只有等惩罚因子k σ→∞时，()k x 才回到可行域内。 1． 内罚函数的构造

min ()..()0n x R

f x s t c x ∈≤

内罚函数：(,)()()P x r f x rB x =+

()rB x —惩罚项，()B x —障碍函数，r —惩罚因子，

当x 从可行域内部趋于边界时，()B x 趋于无穷大,

0r →。

（1） 倒数障碍函数

11

()()m

i i B x c x =?=∑

（2） 对数障碍函数（较常用）

1()ln[()]

m

i i B x c x ==??∑

例2：考虑如下约束问题

min ()..()10f x x s t c x x =?=+≤

显然，可行域为1x ≤?，最优解为*1x =?。 现分别用倒数障碍函数和对数障碍函数来解它。 倒数障碍函数法：

(,))11*1

r

P x r x x x r x x =??

?==??→?=+ 对数障碍函数法：

(,)ln(1)()11*

P x r x r x x x r r x =?????==??→?=

内罚函数法的几何意义（例2）

2． 内罚函数法

（1）选择序列0k r →，初始点(0)

0x D ∈，置精度要

求ε，令k=1，这里0{|()0,}i D x c x i I =<∈； （2）以(1)k x ?为初始点，求解无约束问题

min (,)()()k k x

P x r f x r B x =+ （11.1.12） 得到最优解()k x ；

（3）若()

()k k r B x ε≤，则停止计算（()k x 作为原约

束问题的最优解），否则令k=k+1，转（2）.

注：

1）D0要求非空，即可行域的内部非空；2）()k x不出D的边界；

3）不能处理等式约束问题；

4）当r充分小时，内罚函数也是病态的。

二、等式约束问题的乘子法 （一）罚函数法的改进

考虑简单的等式约束问题：

1212min ()(,)..()(,)0f x f x x s t c x c x x ===

（11.2.1）

其罚函数法为

2min (,)()()2

x

P x f x c x σ

σ=+

（11.2.2）