罚函数

增广目标函数
增广目标函数由两个部分构成， 增广目标函数由两个部分构成，一部 分是原问题的目标函数， 分是原问题的目标函数，另一部分是 由约束函数构造出的“惩罚” 由约束函数构造出的“惩罚”项， 惩罚”项的作用是对“违规” “惩罚”项的作用是对“违规”的点 进行“惩罚”。 进行“惩罚”
罚函数的分类
内点法
如果从可行域内部的一点X 出发， 如果从可行域内部的一点X（0）出发， 按无约束极小化方向进行迭代（ 按无约束极小化方向进行迭代（在进 行以为搜索时要适当控制步长， 行以为搜索时要适当控制步长，以免 迭代点跑到R 之外）， ），则随着障碍因 迭代点跑到R0之外），则随着障碍因 的逐步减小， 子rk的逐步减小，即： r1>r2>…>rk>…>0 障碍项所起的作用也越来越小， 障碍项所起的作用也越来越小，因 而：
罚函数法主要有两种形式： 罚函数法主要有两种形式：外点法和内 点法。 点法。 外点法的迭代点一般在可行域的外部移 随着迭代次数的增加， 惩罚” 动，随着迭代次数的增加，“惩罚” 的力度也越来越大， 的力度也越来越大，从而迫使迭代点 向可行域靠近； 向可行域靠近；
罚函数的分类
内点法从满足约束条件的可行域的内点 开始迭代， 开始迭代，并对企图穿越可行域边界 的点予以“惩罚” 的点予以“惩罚”，当迭代点越接近 边界， 惩罚”就越大， 边界，“惩罚”就越大，从而保证迭 代点的可行性。 代点的可行性。
外点法
X=(-1/8,M=3: X=(-1/8,-29/192)T M=4: X=(-1/10,-23/200)T X=(-1/10,可知X(M)从R的外面逐步逼近R的边界， 可知X(M)从 的外面逐步逼近R的边界， X(M) 当 时 ∞X(M)趋于原问题 M → ，X(M)趋于原问题 的极小值解X 的极小值解Xmin=(0,0)T
l
rk
∑
j =1
1 g j(X
l
(k )
)
≤ ε
或
rk ∑ log( g j ( X
j =1
(k )
)) ≤ ε
内点法
如果满足上述准则，则以X 如果满足上述准则，则以X(k)为原问题的 近似极小解X 否则， 近似极小解Xmin；否则，取rk+1<rk,令k： =k+1，转向第三步继续进行迭代。 =k+1，转向第三步继续进行迭代。 收敛准则也可采用不同的形式，例如： 收敛准则也可采用不同的形式，例如：
X
或
(k )
−X
( k −1)
<ε
) <ε
f (X
(k )
) − f (X
( k −1)
内点法 例题： 例题：试用内点法求解
minf(X)=1/3(x1+1)3+x2 g1(X)=x1-1≧0 g2(X)=x2≧0
内点法 解：构造障碍函数
1 r r 3 P ( X , r ) = ( x1 + 1) + x2 + + 3 x1 − 1 x2 _ ∂ P r 2 = ( x 1 + 1) − = 0 2 ∂ x_1 ( x 1 − 1)
2 1
外点法
对于不满足约束条件的点X=(x 对于不满足约束条件的点X=(x1，x2)T,有 -x12+x2<0, x1<0 令： ∂P = ∂P =0 ∂x1 ∂x2 minP(X,M)的解为 得minP(X,M)的解为 1 1 1 T X (M ) = (− ),( − ) 2 2(1+ M ) 4(1+ M ) 2M 取M=1,2,3,4,可得出以下结果： M=1,2,3,4,可得出以下结果： 可得出以下结果 M=1： X=（ 1/4,-7/16） M=1： X=（-1/4,-7/16）T X=(-1/6,M=2: X=(-1/6,-2/9)T
内点法 核心： 核心：
仿照外点法， 仿照外点法，通过函数叠加的办法改 造目标函数，使改造后的函数，在可 造目标函数，使改造后的函数， 行域R内部离边界线较远处， 行域R内部离边界线较远处，与目标 函数f(X)尽可能相近，而在接近R f(X)尽可能相近 函数f(X)尽可能相近，而在接近R的 边界面时可以有任意大的值。 边界面时可以有任意大的值。
内点法
(4)以 (k为初始点， (4)以X(k-1) ∈R0为初始点，对障碍函数 进行无约束极小化( 进行无约束极小化(在R0内)：
min P( X , rk ) = P( X
x∈R0
_
_
(k )
, rk )
X
(k )
= X ( rk ) ∈ R0
内点法
(5)检验是否满足收敛准则 (5)检验是否满足收敛准则
内点法 内点法的迭代步骤： 内点法的迭代步骤：
(1)取 >0(例如取 =1),允许误差 例如取r 允许误差ε>0 (1)取r1>0(例如取r1=1),允许误差ε>0 (2)找出一可行内点 找出一可行内点X 并令k (2)找出一可行内点X(0)∈R0,并令k：=1 (3)构造障碍函数 构造障碍函数， (3)构造障碍函数，障碍项可采用倒数 函数式（ ），也可采用对数函 函数式（如2式），也可采用对数函 数式（ 数式（如3式）。
外点法
解：构造罚函数： P(X,M)=x1+x2 +M{[min(0,(-x12+x2))] +M{[min(0,(2+[min(0,x )]2} 1
∂P ∂x1 = 1 + 2M [min(0,(− x12 + x2 )(−2 x1 ))] + 2M [min(0, x1 )]
∂P
∂x2
= 1 + 2 M [min(0, ( − x + x 2 )]
内点法
_
的解X(r 求出 min P( X , rk ) 的解X(rk)也逐步逼 近原问题的极小解X 近原问题的极小解Xmin。若原问题的 极小解在可行域的边界上，则随着r 极小解在可行域的边界上，则随着rk 的减小，障碍作用逐步降低， 的减小，障碍作用逐步降低，所求 出的障碍函数的极小解不断靠近边 直至满足某一精度要求为止。 界，直至满足某一精度要求为止。
∑ψ
j= 1
L
( g j ( X )) = 0
外点法
当X￠R时， 0 <
∑ψ ( g ( X )) < ∞
j j=1
L
我们取一个充分大的数M>0，将 ϕ(X) 我们取一个充分大的数M>0， M>0 L 改为 P( X , M ) = f ( X ) + M ∑ψ ( g j ( X ))
j =1
或等价
L
内点法
或 P( X , rk ) = （3 ）
_
f ( X ) − rk ∑log(g j ( X )),(rk > 0)
j =1
L
R0 = { X / g j ( X ) > 0, j = 1, 2, … l}
式子右端第二项称为障碍项。易见， 式子右端第二项称为障碍项。易见， 的边界上，P(X， 在R的边界上，P(X，rk)为正无穷 大。
−g j ( X ) ≥ ε
(k )
则取Mk+1>Mk,令k:=k+1,并转向第2步， 则取M k:=k+1,并转向第2 并转向第 否则停止迭代得
X min ≈ X
(k )
外点法 例题： 例题：求解非线性规划
minf（ minf（X）=x1+x2 g1（X）=-x12+x2≥0 g2(X)=x1≧0
罚函数法
罚函数法求解带约束的非线形规划问 题的基本思想是： 题的基本思想是：利用问题的目标函 数和约束函数构造出带参数的增广目 数和约束函数构造出带参数的增广目 标函数， 标函数，把约束非线性规划问题转化 为一系列无约束非线性规划问题， 为一系列无约束非线性规划问题，进 而用无约束最优化方法求解约束问题。 而用无约束最优化方法求解约束问题。
P(X, M) = f (X) + M∑[min(0, gj (X))]
j=1
L
2
外点法
从而可以使minP(X,M)的解X 从而可以使minP(X,M)的解X（M）为原 minP(X,M)的解 问题的极小解或近似极小解。 问题的极小解或近似极小解。若求得 R,则它必定是原问题的极 的X（M）∈R,则它必定是原问题的极 小解。事实上，对于所有X∈R 小解。事实上，对于所有X∈R
外点法
对于式子（ ），为求最优解， 对于式子（1），为求最优解，构造一个函数 为求最优解
ψ(t)=0， ψ(t)=0， ψ(t)=∞， ψ(t)=∞，
当t≧0， t≧0， 当t ＜0 。（2）
先把gj(x) 视为t，显然 当X∈R时，ψ(gj(X))=0 j=1,2,…,L (X))=∞。 当X￠R时，ψ(gi(X))=∞。
外点法
再构造函数
ϕ ( X ) = f ( X )∑ϕ(g j (X))
j=1
l
现求解无约束问题minψ(X)
（3 ） 若该问题有解，假定其解为X 若该问题有解，假定其解为X*,则（2）式应 这就是说X ∈R。 有ψ(gj(X*))=0 。这就是说X*∈R。 因而，X*不仅是问题（3）的极小解，也是 因而， 不仅是问题（ 的极小解， 原问题（ 的极小解. 原问题（1）的极小解.这样就把有约束问 式化为求解无约束问题（ 题（1）式化为求解无约束问题（3）式
外点法
趋于无穷大时， 当0<M1<M2<…<Mk<…趋于无穷大时，点 {X（ 就从可行域R 列{X（Mk）}就从可行域R的外部趋于 原问题的极小点X 原问题的极小点Xmin（此处假设点列 {X（ 收敛） {X（Mk）}收敛） 外点法的计算步骤： 外点法的计算步骤： >0，允许误差ε>0,并令k ε>0,并令 （1）取M1>0，允许误差ε>0,并令k： =1。 =1。