罚函数法
合集下载
第二节 罚函数法
0 Step1: 给定初始点 x ∈ int S ，初始罚因子 r1 ，缩小系数
β ∈ (0,1) ，允许误差 ε > 0 ，置 k = 1 ；
k −1 x 为初点，求解无约束优化问题 Step2: 以
min G ( x, r ) = f ( x) + rB( x) s.t. x ∈ int S
设其极小点为 x ；
G ( x, r ) = f ( x) − r ∑ ln g i ( x)
m
-----对数障碍函数
由 G( x, r ) 的定义， r 取值越小，问题
min G ( x, r ) = f ( x) + rB( x) s.t. x ∈ int S
的最优解越接近约束优化问题的最优解。 2. 内点罚函数法的计算步骤
k min H ( x) x Step4: 以 为初始点求解无约束问题 x∈Sk k +1 的最优解
x k +1 ，其中
H k +1 ( x) = −∑ gi ( x) + rk +1 ∑ gi ( x)
i∈I k i∈J k
， Sk = {x | gi ( x) > 0, i ∈ J k }
令 rk + 2 = βrk +1 , k = k + 1, 返回 Step2. 注：该算法中，对于 k = 0,1,2,L ，有 I k +1 ⊂ I k , J k +1 ⊃ J k ，且 最后某个 I k = ∅ 。 三. 广义乘子法 1. 对于等式约束优化问题
φ ( x, y , ω , σ ) = f ( x ) − ∑ ω j ( g j ( x ) − y j ) +
2 j =1 l
β ∈ (0,1) ，允许误差 ε > 0 ，置 k = 1 ；
k −1 x 为初点，求解无约束优化问题 Step2: 以
min G ( x, r ) = f ( x) + rB( x) s.t. x ∈ int S
设其极小点为 x ；
G ( x, r ) = f ( x) − r ∑ ln g i ( x)
m
-----对数障碍函数
由 G( x, r ) 的定义， r 取值越小，问题
min G ( x, r ) = f ( x) + rB( x) s.t. x ∈ int S
的最优解越接近约束优化问题的最优解。 2. 内点罚函数法的计算步骤
k min H ( x) x Step4: 以 为初始点求解无约束问题 x∈Sk k +1 的最优解
x k +1 ，其中
H k +1 ( x) = −∑ gi ( x) + rk +1 ∑ gi ( x)
i∈I k i∈J k
， Sk = {x | gi ( x) > 0, i ∈ J k }
令 rk + 2 = βrk +1 , k = k + 1, 返回 Step2. 注：该算法中，对于 k = 0,1,2,L ，有 I k +1 ⊂ I k , J k +1 ⊃ J k ，且 最后某个 I k = ∅ 。 三. 广义乘子法 1. 对于等式约束优化问题
φ ( x, y , ω , σ ) = f ( x ) − ∑ ω j ( g j ( x ) − y j ) +
2 j =1 l
罚函数-原理与应用
定理3.37
定理3.37 设对给定的参数μ,F(x,μ)的无约
束极小值为xμ。那么，xμ成为f(x)的约束极小点的
充要条件是：xμ是原问题的可行点。
罚函数法算法
2.罚函数算法
1) 取初始点X0为非可行点,μ0＞0(通常取μ0=1), ε＞0,c＞1(通常取
c=10),k=0
2) 以Xk为出发点，求解无约束极小化问题：
= 12 + 222 + 21 + (1 + 2 − 1)2
(, )
= 12 + 222 + 21
+ (1 + − 1)2
例题
= 2, 2 = 100
(1) = (−0.2,0.4), ( (1) ,μ0 ) = 1.5237
任选一种无约束极小化算法，可解得F(X, μ0)的
问题转化为：
minF(x)
min() = 12 + 222 + 21
..
(3-98)
基本原理
F(x)的等价表达式：
F(x,μ)=x+μ[max(0,-0+2)]²
其中，μ是一个充分大的正数。记
α(x)=[max(0,-x+2)]²
(3-98)
(3-99)
通常将μα(x)称之为罚函数，记为
点正是X=2
解题步骤
一般情况下：
设原问题为
minf(x)
(3-100)
s.t. gi(x)≤0,i=1,2,…,m (3-101)
hj(x)=0,j=1,2,…,l (3-102)
则可以构造无约束极小化问题：
minF(x,μ)=f(x)+μα(x) (3-103)
最优化方法 第三章(罚函数法)
这种惩罚策略，对于在无约束的求解过程中企图违反约
束的迭代点给予很大的目标函数值，迫使无约束问题的 极小点或者无限地向可行域D靠近，或者一直保持在可 行域D内移动，直到收敛到原来约束最优化问题的极小 点。
不改变可行域局部极小值，可以将 约束域之外的局部极小值变大。
p ( x) 0, x D p ( x) 0, x D
k k
k 1
k 1
xk 1是F x, M k 1 的最优解.
k 1 k k 1 k 0 M k 1 M k p ( x ) p ( x ) p ( x ) p ( x )
M k 1 M k
(3) f ( x k 1 ) M k p( x k 1 ) F ( x k 1 , M k ) F ( x k , M k ) f ( x k ) M k p( x k )
gi ( x) gi ( x) max gi ( x), 0 = 罚函数p(x)的构造 2 m l p( x) (max gi ( x), 0) 2 h 2 j ( x)
i 1 j 1
(1) p(x)连续 (2) p( x) 0, x D (3) p( x) 0, x D
二、外点法 外点罚函数法算法步骤 1：给定初始点 x 0 ，初始罚因子M1 0 (可取M1 1 ), 精度 0, k : 1. 2：以 x k 1初始点，求解无约束优化问题
min F ( x, M k ) f ( x) M k p( x)
得到极小点 x* ( M k )，记为 x k ， 其中
p( x) (max gi ( x), 0) h 2 j ( x)
2 i 1 j 1 m l
罚函数
增广目标函数
增广目标函数由两个部分构成， 增广目标函数由两个部分构成，一部 分是原问题的目标函数， 分是原问题的目标函数，另一部分是 由约束函数构造出的“惩罚” 由约束函数构造出的“惩罚”项， 惩罚”项的作用是对“违规” “惩罚”项的作用是对“违规”的点 进行“惩罚”。 进行“惩罚”
罚函数的分类
内点法
如果从可行域内部的一点X 出发， 如果从可行域内部的一点X（0）出发， 按无约束极小化方向进行迭代（ 按无约束极小化方向进行迭代（在进 行以为搜索时要适当控制步长， 行以为搜索时要适当控制步长，以免 迭代点跑到R 之外）， ），则随着障碍因 迭代点跑到R0之外），则随着障碍因 的逐步减小， 子rk的逐步减小，即： r1>r2>…>rk>…>0 障碍项所起的作用也越来越小， 障碍项所起的作用也越来越小，因 而：
罚函数法主要有两种形式： 罚函数法主要有两种形式：外点法和内 点法。 点法。 外点法的迭代点一般在可行域的外部移 随着迭代次数的增加， 惩罚” 动，随着迭代次数的增加，“惩罚” 的力度也越来越大， 的力度也越来越大，从而迫使迭代点 向可行域靠近； 向可行域靠近；
罚函数的分类
内点法从满足约束条件的可行域的内点 开始迭代， 开始迭代，并对企图穿越可行域边界 的点予以“惩罚” 的点予以“惩罚”，当迭代点越接近 边界， 惩罚”就越大， 边界，“惩罚”就越大，从而保证迭 代点的可行性。 代点的可行性。
外点法
X=(-1/8,M=3: X=(-1/8,-29/192)T M=4: X=(-1/10,-23/200)T X=(-1/10,可知X(M)从R的外面逐步逼近R的边界， 可知X(M)从 的外面逐步逼近R的边界， X(M) 当 时 ∞X(M)趋于原问题 M → ，X(M)趋于原问题 的极小值解X 的极小值解Xmin=(0,0)T
两层多目标规划的罚函数法
两层多目标规划的罚函数法
罚函数法是一种实现多目标规划的技术，未必能够让所有的目标的期望都达到所需的最优解，但可以在改善其中一个现实的某个目标的前提下使另一个现实的目标不会受到过多的损害而达到较为满意的解。
多层多目标规划的罚函数法可以看作是“层次式多目标规划”。
由于优化问题可以分解成各类子问题，将多层多目标规划模型称为层次模型，也可以分解为多个子问题，给出较优解需要解决的每层子问题。
多层多目标规划的罚函数法是一种求解多层多目标规划的算法，它使用一种“层次式结构”将多层次的多目标优化问题分解成若干子问题，每层子问题之间的关系可用引入的罚函数的方式统一表达。
其求解步骤为：首先根据多层多目标规划的需求，从多层角度将优化问题分为若干层次，将每层次设置原问题和对应目标函数，然后定义目标函数上的罚函数，使得罚函数与原问题对应，最后设置多目标函数，求解多目标优化问题。
因此，多层多目标规划的罚函数法可以将多层多目标优化问题分解为若干层次的子问题，并使用罚函数来控制多层问题之间的关系，以得到期望的解。
但是，考虑到多层多目标规划的复杂性，罚函数法还存在一些局
限性，比如对子问题之间的关系没有足够的控制，因此在实际应用中要注意使用适当的参数来控制罚函数，以获得更好的计算结果。
罚函数法
外罚函数法算法
Step1: 给出 x0 ∈ Rn (可是不可行点)， > 0(ε =10−4 ) ε 罚因子 σ1(σ1 =1) , 放大系数 C(C =10) , k =1. Step2: 以 xk−1 为初始点求无约束问题： ~ m P( x,σk ) = f ( x) +σk P( x) 得 xk = x(σk ). in ~ Step3: 若 σk P(xk ) < ε , 则 x* = xk ,停； 否则转step4 Step4: 令 σk+1 = Cσk , k = k +1, 转step2.
Q f (xk ) ≤ P(xk ,σk ) ≤ f x
设其极限为 f . ∴ { f (xk )} 亦为单调有界序列， ~ ∴ lim σk P(xk ) = lim [P(xk ,σk ) − f (xk )] = p0 − f 0 k→+∞ k→+∞ ~ Q σk →+∞ ∴ lim P(xk ) = 0 k→+∞ ~ ~ ~ 且 P(x) 连续； P(~) = 0 即 ~ 为可行解 x ∴ x Q x →x
0
( )
*
Q x 为最优解；∴ f x* ≤ f (~) x ~, f (x) 连续； f (~) = lim f (x ) ≤ f (x* ) ∴ x Q xk → x k k→+∞ * ~) 即 ~ 为(3)的整体最优解． ∴ f x = f (x x
k *
( )
( )
外罚函数法评价
(1) 如果有了求解无约束问题的好算法，利用 外罚函数法求解约束问题很方便． (2) 每个近似解 x(σk ) 往往不是可行解，这是某 些实际问题所无法接受的． 内罚函数法可以解决． (3) 由收敛性定理 σk 取越大越好， σk 越大将 而 造成增广目标函数 P( x,σ ) 的Hesse阵条件数越 大，趋于病态，给无约束问题求解增加很大困 难，甚至无法求解．乘子法可解决这个问题．
罚函数法
x ∂ 2φ ' ∂ (∂y x ) 2
就是Hesse矩阵，这时大于零（或小于零）与Hesse的正 矩阵，这时大于零（或小于零） 就是 矩阵 的正 或负定）是一致的， 定（或负定）是一致的，二者都可作为判定泛函数极值的 充分条件。 充分条件。
式中： 式中：x(t)---m维状态函数向量； w(t)---r维决策函数向量； f---微分形式状态方程； t---时间变量； t0---初始时刻； tf---终止时刻。
目标函数随状态变量和决策变量的不同而 不同，也就是说目标函数是函数都是函数。在 不同，也就是说目标函数是函数都是函数。 数学上，这种函数称为泛函， 数学上，这种函数称为泛函，求泛值的问题称 为变分问题。 为变分问题。 因此， 因此，连续系统的最优化问题就是一个变 分问题。 分问题。由于求泛函的极小问题也是一种极值 问题。 问题。 对于无约束问题， 对于无约束问题，根据极值存在的充分必 要条件求极值；对于有约束的最优化问题， 要条件求极值；对于有约束的最优化问题，则 先利用拉格朗日函数或罚函数， 先利用拉格朗日函数或罚函数，将其转化成无 约束最优化问题后再求解。 约束最优化问题后再求解。
动态系统参数的最优化又称连续系统最优化，因 为优化问题的解是t的连续函数。 动态参数优化问题的一般模型：
min J = min{
∫
tf
t0
F [ x ( t ), w ( t ), t ] dt + s [ x ( t f ), t f ]}
dx ( t ) s .t . = f [ x ( t ), w ( t ), t ] dt g [ x ( t ), w ( t ), t ] ≥ 0 c [ x ( t ), w ( t ), t ] = 0 初始条件： x (t 0 ) = x 0
就是Hesse矩阵，这时大于零（或小于零）与Hesse的正 矩阵，这时大于零（或小于零） 就是 矩阵 的正 或负定）是一致的， 定（或负定）是一致的，二者都可作为判定泛函数极值的 充分条件。 充分条件。
式中： 式中：x(t)---m维状态函数向量； w(t)---r维决策函数向量； f---微分形式状态方程； t---时间变量； t0---初始时刻； tf---终止时刻。
目标函数随状态变量和决策变量的不同而 不同，也就是说目标函数是函数都是函数。在 不同，也就是说目标函数是函数都是函数。 数学上，这种函数称为泛函， 数学上，这种函数称为泛函，求泛值的问题称 为变分问题。 为变分问题。 因此， 因此，连续系统的最优化问题就是一个变 分问题。 分问题。由于求泛函的极小问题也是一种极值 问题。 问题。 对于无约束问题， 对于无约束问题，根据极值存在的充分必 要条件求极值；对于有约束的最优化问题， 要条件求极值；对于有约束的最优化问题，则 先利用拉格朗日函数或罚函数， 先利用拉格朗日函数或罚函数，将其转化成无 约束最优化问题后再求解。 约束最优化问题后再求解。
动态系统参数的最优化又称连续系统最优化，因 为优化问题的解是t的连续函数。 动态参数优化问题的一般模型：
min J = min{
∫
tf
t0
F [ x ( t ), w ( t ), t ] dt + s [ x ( t f ), t f ]}
dx ( t ) s .t . = f [ x ( t ), w ( t ), t ] dt g [ x ( t ), w ( t ), t ] ≥ 0 c [ x ( t ), w ( t ), t ] = 0 初始条件： x (t 0 ) = x 0
惩罚函数法
解出x1,x2
5M 4 M 5 x1 x2 2.5 2M 1 2
此时x1,x2则满足约束条件，是原问题的解。
§2惩罚函数法
§2惩罚函数法
§2惩罚函数法
§2惩罚函数法
§2惩罚函数法
§2惩罚函数法 例：内点法求解约束问题 min f (u ) au(a 0) s.t.g (u ) b u 0(b 0)
§2惩罚函数法
§2惩罚函数法
§2罚函数法
§2惩罚函数法
§2惩罚函数法
§2惩罚函数法
s.t. h (xi)=x1+ x2-5=0
该问题只有等式约束 解：首先建立罚函数：
F ( x, M ) f ( x) Mp( x)
P( x)
(max( 0, g
i 1
l
i
( x )))
2
( h j ( x ))
j 1
m
2
( x1 x 2 5) 2
F ( x, M ) ( x1 4) 2 ( x2 4) 2 M ( x1 x2 5) 2
此时的x1,x2不满足约束条件，不是原问题的解。
当x 不属于 S 时
F§2惩罚函数法 ( x2 4) 2 M ( x1 x2 5) 2 ( x, M ) ( x1 4) 2
F 2( x1 4) 2M ( x1 x 2 5) 0 x1 F 2( x 2 4) 2M ( x1 x 2 5) 0 x 2
*
rk a 2 (b u )
rk a
F (u , rk ) f (u ) rk a (b rk 0
1 1 au rk g (u ) bu
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
No γk+1 = β γk
闸函数法： （续）
求初始内点： 1 x (1) , k 1, 转2 ； 2 令I k {i | g i ( x ( k ) ) 0}
(k ) 若 I , 则 x 为初始内点。 k 转 3 ； (k ) (k ) 否则，取j使g j ( x ) max{ g i ( x ) | i I k }
2 x
0
0
g ( x , ) 2 最优值(原问题)
3.闸函数法： （续）
定义 ( ) inf{ f ( x) B( x) | x S 0 } 有类似于罚函数法的理论结果： 定理： ( fg ), f , g连续，S 0 Φ , 最优解x S 0 则 1 min{ f ( x) | x S} inf{ ( ) | 0} lim ( )
(t ), (t )的典型取法： (t ) [max {0, t}] p (t ) | t | p
p为正整数。
当p 2时，称2次罚函数.(常用：因2次是最低次的光滑函数)
1.罚函数概念 （续）
Ex. min x s.t. x 2 0
2
( x 2) 2 , x 2 二次罚函数 : ( x) [max{ 0, x 2}] 0, x 2 如图 当 时, min 解析解 : 辅助函数 x ( x 2) 2 x 2 (4 1) x 4 , g ( x, ) f ( x) ( x) x ,x 2 4 1 当x 2时, g ( x, )的驻点x 2 2 故x 2 opt. 当x 2时, g ( x, )的最小值点~ x 2 x2 f ( x) ( x) f ( x ) x 2
3.闸函数法： （续）
1 典型取法： (t ) t 或： (t ) | ln( t ) | 0 x S0 惩罚项：B ( x ) x S 0 S 0 由于当x S 0时B ( x ) 0且B ( x ) x 故需要随着 x S 0 , 0 辅助问题 min f ( x ) B ( x )
f : Rn R h : Rn Rl
D R n 是一个集合，常由简单约束构成。
用Lagrange函数代替f ( x) :
5.广义乘子法： （续）
乘子罚函数：
( x, v, ) f ( x) vi hi ( x) i hi2 ( x)
i 1 i 1
l
l
x
2 f ( x ), ( )
关于 0的单调非降函数；
( x )
关于 0的单调非增函数
2.罚函数法： （续） 定理： ( fgh), S {x | g ( x ) 0, h( x ) 0} Φ ,
在引理假设下，设存在单调增加的正数列{ k }
即0 1 2 k .有{x k } k x
罚函数法框图 算法：
初始x(1), σ1>0, β>1, ε >0,k=1
k=k+1 以x(k)为初始点，解 min f(x)+ σ k P(x) 得到，x(k+1)
No
σk+1 = β σk
yes σk P(x(k+1))< ε 停；x(k+1)—l.opt.
3.闸（障碍）函数法： （内罚函数法） min f ( x) f : R n R ( fg ) n m s.t. g ( x) 0 g : R R 记S {x | g ( x) 0}, S 0 {x | g ( x) 0}
那么， 1 inf{ f ( x ) | x S } sup{ ( ) | 0} lim ( )
2 x ~ opt.且 ( ) 0
( x )
推论：在定理条件下，若 0使 ( x ) 0, 则x opt.
调整v ( k ) 及 ( k )。
广义乘子法： （续）
可以证明： 存在 ，当 时 min ( x, v , ) s.t. x D 的最优解，即原问题的解。 一般问题： min f ( x) min f ( x) s.t. g ( x) z 0 ( fghD)s.t. g ( x) 0 引入松弛变量 h( x ) 0 h( x ) 0 x x D { | x D, z 0} x D z 存在v
基本思想： 从S 0中的一个点（内点）出发，在目标函数中加入惩罚项， 使迭代保持在S 0内。 构造闸函数( Barrier Function) : B ( x) ( g i ( x))
i 1 m
使
0, x S 0 B( x) , x S 0 (边界)
为方便应有B ( x)连续。
构造罚函数：
( x) ( g i ( x)) (h j ( x))
i 1 j 1
m
l
目的：使满足约束的x有 ( x) 0 不满足约束的x有 ( x) 0
1.罚函数概念 （续）
0 , 当t 0时 其中： (t ) 0 当t 0时 0 , 当t 0时 (t ) 0 当t 0时 取 0, 可构造 0 可行 ( x) 惩罚项 不可行 f ( x) ( x) 辅助函数 min f ( x) ( x) 辅助问题
3.闸函数法： （续）
min x Ex. min s.t. x 2 0 1 闸函数B ( x ) ,x 2 x2 min g ( x, ) x x 2 解 s.t. x2 目： min g j ( x ) s.t. g i ( x ) 0, i I k 以x ( k ) 为初始内点，得到解x ( k 1) 转4 ；
( k 1) 若 g ( x ) 0, 停，说明S 0 . j 4 否则 置 k k 1 , 转 2 。
图示
外罚函数法 2.外罚函数法： （fgh）
定义：（） inf { f ( x) ( x)}
x
下确界
引理：设f , g , h连续， ( x)为罚函数，连续。 再设 0，x D, 使：（） f ( x ) ( x ) 则 1 inf { f ( x) | x S} sup{（） | 0}
0
2 若 0, x S 0 , 使 ( ) f ( x ) B( x )
那么， {x }的极限点是( fg )的opt.且 lim B( x ) 0
0
闸函数法 算法：
x(1) ∈ S0, γ1>0, β∈ [0,1], ε >0,k=1 k=k+1 min f(x)+ γk B(x) s.t. x∈ S0 从x(k）出发， 求得，x(k+1) yes γk B(x(k+1))< ε 停；x(k+1)—解
4.罚函数法与闸函数法的缺点： 1°当罚函数法（闸函数法）的μ →∞ （ μ → 0+）时，惩罚项 →+ ∞• 0或0• + ∞形式，在计算上有困难； 2°计算一系列无约束问题，故计算量大。 5.乘子法：
( fhD) x D
min f ( x) s.t. h( x) 0
其中：v R l 为乘子， R l 为罚因子。
(k ) (k ) min ( x , v , ) 求解 s.t. x D
得到x ( k 1) , k 0,1,2,
若h( x ( k 1) ) 0 否则
得到解x ( k 1) 及乘子v ( k ) ;
约束最优化方法
罚函数法
序列无约束最优化方法SUMT ( Sequential Unconstrained Minimizati on Technique ) 1.罚函数概念：
n min f ( x) f : R R n m ( fgh) s.t. g ( x) 0 g : R R n l h( x ) 0 h : R R