罚函数法(SUMT法)
合集下载
第二节 罚函数法
0 Step1: 给定初始点 x ∈ int S ，初始罚因子 r1 ，缩小系数
β ∈ (0,1) ，允许误差 ε > 0 ，置 k = 1 ；
k −1 x 为初点，求解无约束优化问题 Step2: 以
min G ( x, r ) = f ( x) + rB( x) s.t. x ∈ int S
设其极小点为 x ；
G ( x, r ) = f ( x) − r ∑ ln g i ( x)
m
-----对数障碍函数
由 G( x, r ) 的定义， r 取值越小，问题
min G ( x, r ) = f ( x) + rB( x) s.t. x ∈ int S
的最优解越接近约束优化问题的最优解。 2. 内点罚函数法的计算步骤
k min H ( x) x Step4: 以 为初始点求解无约束问题 x∈Sk k +1 的最优解
x k +1 ，其中
H k +1 ( x) = −∑ gi ( x) + rk +1 ∑ gi ( x)
i∈I k i∈J k
， Sk = {x | gi ( x) > 0, i ∈ J k }
令 rk + 2 = βrk +1 , k = k + 1, 返回 Step2. 注：该算法中，对于 k = 0,1,2,L ，有 I k +1 ⊂ I k , J k +1 ⊃ J k ，且 最后某个 I k = ∅ 。 三. 广义乘子法 1. 对于等式约束优化问题
φ ( x, y , ω , σ ) = f ( x ) − ∑ ω j ( g j ( x ) − y j ) +
2 j =1 l
β ∈ (0,1) ，允许误差 ε > 0 ，置 k = 1 ；
k −1 x 为初点，求解无约束优化问题 Step2: 以
min G ( x, r ) = f ( x) + rB( x) s.t. x ∈ int S
设其极小点为 x ；
G ( x, r ) = f ( x) − r ∑ ln g i ( x)
m
-----对数障碍函数
由 G( x, r ) 的定义， r 取值越小，问题
min G ( x, r ) = f ( x) + rB( x) s.t. x ∈ int S
的最优解越接近约束优化问题的最优解。 2. 内点罚函数法的计算步骤
k min H ( x) x Step4: 以 为初始点求解无约束问题 x∈Sk k +1 的最优解
x k +1 ，其中
H k +1 ( x) = −∑ gi ( x) + rk +1 ∑ gi ( x)
i∈I k i∈J k
， Sk = {x | gi ( x) > 0, i ∈ J k }
令 rk + 2 = βrk +1 , k = k + 1, 返回 Step2. 注：该算法中，对于 k = 0,1,2,L ，有 I k +1 ⊂ I k , J k +1 ⊃ J k ，且 最后某个 I k = ∅ 。 三. 广义乘子法 1. 对于等式约束优化问题
φ ( x, y , ω , σ ) = f ( x ) − ∑ ω j ( g j ( x ) − y j ) +
2 j =1 l
优化设计5惩罚函数法
惩罚函数法
目前，人们对无约束问题的最优化方法要比对约束优化方法研 究的更为深入和成熟，并且形成了有效的、可靠的解法。因 此，在求解约束化问题时，自然会想到是否可以利用某种方法 将约束优化问题转化为无约束最优化问题来解决,显然这种转化 必须在一定的前提条件下进行。一方面这种转化不能破坏原约 束问题的约束条件；另一方面还必须使它归结到原约束优化问 题的同一最优解上去。这种将约束优化问题转化成无约束化问 题，然后用无约束最优化方法进行求优的途径就是约束优化问 题求优的间接解.
4
内点惩罚函数法
内点惩罚函数法的基本原理
内点惩罚函数法(简称内点法)将新目标函数定义在可行城内．这样 它的初始点以及后面产生的迭代点序列也必在可行城内，它是求解 不等式约束优化问题的一种十分有效的方法。下面我们选用一个简 单的例子来说明内点法的一些几何概念和基本原理。 设数学模型为：
min F(x) x X D R1 D: g(X) x 1 0 用内点法来求解此约束问题先构造泛函，取
适用于不等式约束函数比较简单的情况
然后构造罚函数，并求无约束极小值
5
代替计算机无约束搜索求优，惩罚函数无约束最优点序列
6
7
8
9
可以看出内点惩罚函数法就是以不同的加权参数(罚因子)来构造一 序列无约束的新目标函数，求这一序列惩罚函数法的无约束极值 点 X • (r(k) ) ，使它逐渐逼近原约束问题的最优解，而不论原约束问题 最优解在可行域内还是在可行域的边界上，其整个搜索过程都在约束 区域内进行。
k 0
r(ห้องสมุดไป่ตู้) 1
u1
G[gu(X)]
0
的满足要求。
12
13
采用内点法应注意几个问题
目前，人们对无约束问题的最优化方法要比对约束优化方法研 究的更为深入和成熟，并且形成了有效的、可靠的解法。因 此，在求解约束化问题时，自然会想到是否可以利用某种方法 将约束优化问题转化为无约束最优化问题来解决,显然这种转化 必须在一定的前提条件下进行。一方面这种转化不能破坏原约 束问题的约束条件；另一方面还必须使它归结到原约束优化问 题的同一最优解上去。这种将约束优化问题转化成无约束化问 题，然后用无约束最优化方法进行求优的途径就是约束优化问 题求优的间接解.
4
内点惩罚函数法
内点惩罚函数法的基本原理
内点惩罚函数法(简称内点法)将新目标函数定义在可行城内．这样 它的初始点以及后面产生的迭代点序列也必在可行城内，它是求解 不等式约束优化问题的一种十分有效的方法。下面我们选用一个简 单的例子来说明内点法的一些几何概念和基本原理。 设数学模型为：
min F(x) x X D R1 D: g(X) x 1 0 用内点法来求解此约束问题先构造泛函，取
适用于不等式约束函数比较简单的情况
然后构造罚函数，并求无约束极小值
5
代替计算机无约束搜索求优，惩罚函数无约束最优点序列
6
7
8
9
可以看出内点惩罚函数法就是以不同的加权参数(罚因子)来构造一 序列无约束的新目标函数，求这一序列惩罚函数法的无约束极值 点 X • (r(k) ) ，使它逐渐逼近原约束问题的最优解，而不论原约束问题 最优解在可行域内还是在可行域的边界上，其整个搜索过程都在约束 区域内进行。
k 0
r(ห้องสมุดไป่ตู้) 1
u1
G[gu(X)]
0
的满足要求。
12
13
采用内点法应注意几个问题
一、惩罚函数法(SUMT)
（4）应注意的问题
(a) 在step2中，可用无约束优化问题的算法求解
min
x R n
k
(
x
)
f ( x ) k p( x )
(b) 在实际计算中，判断x* (k ) D 用 g j ( x* (k )) （ j 1,2,, m）或 k p( x) .
(c)
k 1 k
x
)
算法步骤相同
(8) 算法收敛性：
f（x ） f（x ）
k 1
k
p（x ） p（x ）
k 1
k
k（1 x ） （k x ）
k 1
k
结论 1. 若点列{ x } 是由外点法产生的，则有 k
列 { x }的任何极限点一定是所求问题的极小点。 k
都是 R 上的连续函数，则由外点法产生的点 n
解：构造增广函数k ( x)如下： k ( x) （x 1）2 k min2{ x 2,0}
( x 1)2
（x 1）2 k ( x 2)2
if x 2 if x 2
dk (
dx
x)
（2 x 1）
（2 x 1）
2k
(
x
因子的缩小系数）, k : k 1,转 step 2。
(4) 例子：试用内点法（内部惩罚函数法）求解如下优化问题 min f ( x) 1 x3 3 s.t. x 1 0
解：构造增广函数 k ( x)如下：
k(x)
x3
k
1 x1
由
d k ( x)
dx
x2
k
（2）q( x) if x D
最优化方法 第三章(罚函数法)
这种惩罚策略，对于在无约束的求解过程中企图违反约
束的迭代点给予很大的目标函数值，迫使无约束问题的 极小点或者无限地向可行域D靠近，或者一直保持在可 行域D内移动，直到收敛到原来约束最优化问题的极小 点。
不改变可行域局部极小值，可以将 约束域之外的局部极小值变大。
p ( x) 0, x D p ( x) 0, x D
k k
k 1
k 1
xk 1是F x, M k 1 的最优解.
k 1 k k 1 k 0 M k 1 M k p ( x ) p ( x ) p ( x ) p ( x )
M k 1 M k
(3) f ( x k 1 ) M k p( x k 1 ) F ( x k 1 , M k ) F ( x k , M k ) f ( x k ) M k p( x k )
gi ( x) gi ( x) max gi ( x), 0 = 罚函数p(x)的构造 2 m l p( x) (max gi ( x), 0) 2 h 2 j ( x)
i 1 j 1
(1) p(x)连续 (2) p( x) 0, x D (3) p( x) 0, x D
二、外点法 外点罚函数法算法步骤 1：给定初始点 x 0 ，初始罚因子M1 0 (可取M1 1 ), 精度 0, k : 1. 2：以 x k 1初始点，求解无约束优化问题
min F ( x, M k ) f ( x) M k p( x)
得到极小点 x* ( M k )，记为 x k ， 其中
p( x) (max gi ( x), 0) h 2 j ( x)
2 i 1 j 1 m l
罚函数法
No γk+1 = β γk
闸函数法： （续）
求初始内点： 1 x (1) , k 1, 转2 ； 2 令I k {i | g i ( x ( k ) ) 0}
(k ) 若 I , 则 x 为初始内点。 k 转 3 ； (k ) (k ) 否则，取j使g j ( x ) max{ g i ( x ) | i I k }
2 x
0
0
g ( x , ) 2 最优值(原问题)
3.闸函数法： （续）
定义 ( ) inf{ f ( x) B( x) | x S 0 } 有类似于罚函数法的理论结果： 定理： ( fg ), f , g连续，S 0 Φ , 最优解x S 0 则 1 min{ f ( x) | x S} inf{ ( ) | 0} lim ( )
(t ), (t )的典型取法： (t ) [max {0, t}] p (t ) | t | p
p为正整数。
当p 2时，称2次罚函数.(常用：因2次是最低次的光滑函数)
1.罚函数概念 （续）
Ex. min x s.t. x 2 0
2
( x 2) 2 , x 2 二次罚函数 : ( x) [max{ 0, x 2}] 0, x 2 如图 当 时, min 解析解 : 辅助函数 x ( x 2) 2 x 2 (4 1) x 4 , g ( x, ) f ( x) ( x) x ,x 2 4 1 当x 2时, g ( x, )的驻点x 2 2 故x 2 opt. 当x 2时, g ( x, )的最小值点~ x 2 x2 f ( x) ( x) f ( x ) x 2
罚函数法
外罚函数法算法
Step1: 给出 x0 ∈ Rn (可是不可行点)， > 0(ε =10−4 ) ε 罚因子 σ1(σ1 =1) , 放大系数 C(C =10) , k =1. Step2: 以 xk−1 为初始点求无约束问题： ~ m P( x,σk ) = f ( x) +σk P( x) 得 xk = x(σk ). in ~ Step3: 若 σk P(xk ) < ε , 则 x* = xk ,停； 否则转step4 Step4: 令 σk+1 = Cσk , k = k +1, 转step2.
Q f (xk ) ≤ P(xk ,σk ) ≤ f x
设其极限为 f . ∴ { f (xk )} 亦为单调有界序列， ~ ∴ lim σk P(xk ) = lim [P(xk ,σk ) − f (xk )] = p0 − f 0 k→+∞ k→+∞ ~ Q σk →+∞ ∴ lim P(xk ) = 0 k→+∞ ~ ~ ~ 且 P(x) 连续； P(~) = 0 即 ~ 为可行解 x ∴ x Q x →x
0
( )
*
Q x 为最优解；∴ f x* ≤ f (~) x ~, f (x) 连续； f (~) = lim f (x ) ≤ f (x* ) ∴ x Q xk → x k k→+∞ * ~) 即 ~ 为(3)的整体最优解． ∴ f x = f (x x
k *
( )
( )
外罚函数法评价
(1) 如果有了求解无约束问题的好算法，利用 外罚函数法求解约束问题很方便． (2) 每个近似解 x(σk ) 往往不是可行解，这是某 些实际问题所无法接受的． 内罚函数法可以解决． (3) 由收敛性定理 σk 取越大越好， σk 越大将 而 造成增广目标函数 P( x,σ ) 的Hesse阵条件数越 大，趋于病态，给无约束问题求解增加很大困 难，甚至无法求解．乘子法可解决这个问题．
惩罚函数法简介
惩罚函数法简介罚函数法它将有约束最优化问题转化为求解无约束最优化问题：其中M为足够大的正数，起"惩罚"作用，称之为罚因子，F(x,M)称为罚函数。
定理对于某个确定的正数M,若罚函数F(x,M)的最优解x*满足有约束最优化问题的约束条件，则x*是该问题的最优解。
序列无约束最小化方法罚函数法在理论上是可行的，在实际计算中的缺点是罚因子M的取值难于把握，太小起不到惩罚作用；太大则由于误差的影响会导致错误。
改进这些缺点，可根据上述定理加以改进，先取较小的正数M，求出F(x,M)的最优解x*。
当x*不满足有约束最优化问题的约束条件时，放大M(例如乘以10)重复进行，直到x*满足有约束最优化问题的约束条件时为止。
种类传统的罚函数法一般分为外部罚函数法和内部罚函数法。
外部罚函数法是从非可行解出发逐渐移动到可行区域的方法。
内部罚函数法也称为障碍罚函数法，这种方法是在可行域内部进行搜索，约束边界起到类似围墙的作用，如果当前解远离约束边界时，则罚函数值是非常小的，否则罚函数值接近无穷大的方法。
由于进化计算中通常采用外部罚函数法，因此本文主要介绍外部罚函数法。
在进化计算中，研究者选择外部罚函数法的原因主要是该方法不需要提供初始可行解。
需要提供初始可行解则是内部罚函数法的主要缺点。
由于进化算法应用到实际问题中可能存在搜索可行解就是NP难问题，因此这个缺点是非常致命的。
外部罚函数的一般形式为B(x)=f(x)+[∑riGi+∑cjHj]其中B(x)是优化过程中新的目标函数，Gi和Hj分别是约束条件gi(x)和hj(x)的函数，ri和cj是常数，称为罚因子。
Gi和Hj最常见的形式是Gi=max[0,gi(x)]aHj=|hj(x)|b其中a和b一般是1或者2。
理想的情况下，罚因子应该尽量小，但是如果罚因子低于最小值时可能会产生非可行解是最优解的情况（称为最小罚因子规则）。
这是由于如果罚因子过大或者过小都会对进化算法求解问题产生困难。
罚函数法
α α
i =1 i =1 j =1
m+ p
m
p
α
p ⎡m α⎤ F ( x , M ) = f ( x ) + M ⎢ ∑ max{0, gi ( x )}α + ∑ h j ( x ) ⎥ j =1 ⎣ i =1 ⎦
(2.1)
或 p( x ) = c ( x )
∞
= max ci ( x ) = max{max{0, gi ( x )}, i = 1," , m, h j ( x ) , j = 1," , p} ，则
k k k k
(2.2)
F ( xk , M k ) → F * ， f ( xk ) → f *
则 M k p ( x ) = F ( x , M k ) − f ( x ) → F − f ，再由 M k → +∞ 得
k k k
*
*
p( x k ) → 0
k k k k
(2.3)
故当 k 充分大时 x ∈ Sδ 。由 Sδ 为紧集，因此{ x }存在收敛子列 { x }k∈J ，设 x → x ( k ∈ J ) 。由已知 条件知 f ( x ) 和 p ( x ) 是连续函数，由(2.3)得 p ( x ) = 0 ，故 x ∈ S ，再由(2.2)得
*
K
知， {F ( x , M k )} 和 { f ( x )} 是单调增序列，并且
k
k
f ( x* ) = F ( x* , M k ) ≥ F ( x k , M k ) ≥ f ( x k )
即 {F ( x , M k )} 和 { f ( x )} 有上界，故 {F ( x , M k )} 和 { f ( x )} 收敛，设
i =1 i =1 j =1
m+ p
m
p
α
p ⎡m α⎤ F ( x , M ) = f ( x ) + M ⎢ ∑ max{0, gi ( x )}α + ∑ h j ( x ) ⎥ j =1 ⎣ i =1 ⎦
(2.1)
或 p( x ) = c ( x )
∞
= max ci ( x ) = max{max{0, gi ( x )}, i = 1," , m, h j ( x ) , j = 1," , p} ，则
k k k k
(2.2)
F ( xk , M k ) → F * ， f ( xk ) → f *
则 M k p ( x ) = F ( x , M k ) − f ( x ) → F − f ，再由 M k → +∞ 得
k k k
*
*
p( x k ) → 0
k k k k
(2.3)
故当 k 充分大时 x ∈ Sδ 。由 Sδ 为紧集，因此{ x }存在收敛子列 { x }k∈J ，设 x → x ( k ∈ J ) 。由已知 条件知 f ( x ) 和 p ( x ) 是连续函数，由(2.3)得 p ( x ) = 0 ，故 x ∈ S ，再由(2.2)得
*
K
知， {F ( x , M k )} 和 { f ( x )} 是单调增序列，并且
k
k
f ( x* ) = F ( x* , M k ) ≥ F ( x k , M k ) ≥ f ( x k )
即 {F ( x , M k )} 和 { f ( x )} 有上界，故 {F ( x , M k )} 和 { f ( x )} 收敛，设
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第三章 非线性规划
第六节 罚函数法(SUMT法)
( NP) min f (X )
s.t
.
gi hj
( (
X X
) )
0, 0,
i j
1, 2,L 1, 2,L
,m ,p
外点罚函数法(外点法) 内点罚函数法(内点法) 混合点罚函数法(混合点法)
第三章 非线性规划
一.外点罚函数法(外点法)
罚函数的特点：
罚因子 i1 惩罚项
f (X ),
XD
(X , M) f (X) + 很大的正数, X D
( NP) 求解 min( X , M ) 设其最优解为 X*(M)， XRn
研究 X*(M) 与(NP)的最优解 X* 之间的关系
线性规划3-6
一.外点法迭代原理
(NP) min f (X )
i 1
s.t. gi ( X ) 0
i 1,2, , m
设 min( X , M ) 最优解为 X (M )
m
构造罚函数： ( X , M ) f ( X ) M [min( 0, gi ( X ))]2
罚函数的特点：
罚因子 i1 惩罚项
f (X ),
X D可行域
(X , M) f (X) + 很大的正数, X D
(当M取值很大时)
D
min ( X , M ) 至少i0使gi0 ( X ) 0
XRn
惩罚项 Mgi20 ( X )
线性规划3-6
一.外点法迭代原理
(NP) min f (X )
基本思想：
s.t. gi ( X ) 0
通过建立罚函数,将约束极值问题转化成 i 1,2, ,m
一系列无约束极值问题去求解
m
构造罚函数： ( X , M ) f ( X ) M [min( 0, gi ( X ))]2
10 若 X (M ) D (可行域)，则 X *(M) 是 (NP) 最优解。
20 若 X (M ) D, 当M很大时， X *(M)也会相当靠近
(NP) 可行域D的边界，是(NP)的最优解X *的近似解 (通常约束极值问题的最优解X *在可行域的边界上)
线性规划3-6
一.外点法迭代原理
m
( X , M ) f ( X ) M [min( 0, gi ( X ))]2
i 1
s.t. gi ( X ) 0
i 1,2, , m
设 min( X , M ) 最优解为 X (M )
XRn
D
研究 X*(M) 与(NP)的最优解 X* 之间的关系
10 若 X (M ) D (可行域)，则 X *(M) 是 (NP) 最优解。
(NP) min f (X )
( X , M ) f ( X ) M [min(0, gi ( X ))]2
设min( X , M )的最优解为 X (M ) XRn
s.t. gi ( X ) 0
i 1,2, , m
20 若 X (M ) D, 当M很大时， X *(M)也会相当靠近
(NP) 可行域D的边界，是(NP)的最优解X *的近似解 证明： X ( M ) D, 至少存在 i0 使 gi0 (X(M)) 0
( NP) min f (X )
s.t
.
gi hj
( (
X X
) )
0, 0,
i j
1, 2,L 1, 2,L
,m ,p
外点法迭代原理 外点法迭代步骤 外点法举例 外点法的优缺点
一.外点法迭代原理
(NP) min f (X )
s.t. gi ( X ) 0
i 1,2, , m
i 1,2, , m
20 若 X (M ) D, 当M很大时， X *(M)也会相当靠近
(NP) 可行域D的边界，是(NP)的最优解X *的近似解
证明： X ( M ) D, 至少存在 i0 使 gi0 (X(M)) 0
当M很大时，有 gi0 ( X (M )) 0
gi0 (X ) 0
D X gi0 (X)
gi0 ( X ) 0 M越大， 越小，X*(M) 越靠近D
X(M)
gi0 (X ) 0
的边界，即越靠近X*。 增大罚 因子M的作用是将X*(M)拉向D的 边界(即X*)。
线性规划3-6
一.外点法迭代原理
(NP) min f (X )
m
( X , M ) f ( X ) M [min( 0, gi ( X ))]2
gi0 ( X (M ))
gi0 ( X (M )) 0
线性规划3-6
一.外点法迭代原理
(NP) min f (X )
( X , M ) f ( X ) M [min(0, gi ( X ))]2
设min( X , M )的最优解为 X (M ) XRn
s.t. gi ( X ) 0
一.外点法迭代原理
(NP) min f (X )
m
( X , M ) f ( X ) M [min( 0, gi ( X ))]2
i 1
s.t. gi ( X ) 0
i 1,2, , m
设 min( X , M ) 最优解为 X (M )
XRn
研究 X*(M) 与(NP)的最优解 X* 之间的关系
证明：
Q X (M ) 是 min( X , M ) 的最优解， 有：
XRn
Q
f
(X) XDI
(X , M) ( X (M), M)
N
XNX ( M )Df( X (M ))
X*(M) 是(NP)的最优解。
f (X ),
XD
( X , M ) f ( X ) 线很性大规的划正3-数6 , X D
又 Q X (M ) 是 min( X , M ) 的最优解， XRn
( X (M ), M ) f ( X (M )) M [min(0, gi ( X (M )))]2是局部极小值
当M很大时，[min(0, gi ( X (M )))]2 会相当小。
即gi20 ( X (M )) [min(0, gi ( X (M )))]2 2
( NP) min f (X )
s.t
.
gi hj
( (
X X
) )
0, 0,
i j
1, 2,L 1, 2,L
,m ,p
线性规划3-6
一.外点法迭代原理
(NP) min f (X )
基本思想：
s.t. gi ( X ) 0
通过建立罚函数,将约束极值问题转化 i 1,2, ,m
成一系列无约束极值问题去求解.
第六节 罚函数法(SUMT法)
( NP) min f (X )
s.t
.
gi hj
( (
X X
) )
0, 0,
i j
1, 2,L 1, 2,L
,m ,p
外点罚函数法(外点法) 内点罚函数法(内点法) 混合点罚函数法(混合点法)
第三章 非线性规划
一.外点罚函数法(外点法)
罚函数的特点：
罚因子 i1 惩罚项
f (X ),
XD
(X , M) f (X) + 很大的正数, X D
( NP) 求解 min( X , M ) 设其最优解为 X*(M)， XRn
研究 X*(M) 与(NP)的最优解 X* 之间的关系
线性规划3-6
一.外点法迭代原理
(NP) min f (X )
i 1
s.t. gi ( X ) 0
i 1,2, , m
设 min( X , M ) 最优解为 X (M )
m
构造罚函数： ( X , M ) f ( X ) M [min( 0, gi ( X ))]2
罚函数的特点：
罚因子 i1 惩罚项
f (X ),
X D可行域
(X , M) f (X) + 很大的正数, X D
(当M取值很大时)
D
min ( X , M ) 至少i0使gi0 ( X ) 0
XRn
惩罚项 Mgi20 ( X )
线性规划3-6
一.外点法迭代原理
(NP) min f (X )
基本思想：
s.t. gi ( X ) 0
通过建立罚函数,将约束极值问题转化成 i 1,2, ,m
一系列无约束极值问题去求解
m
构造罚函数： ( X , M ) f ( X ) M [min( 0, gi ( X ))]2
10 若 X (M ) D (可行域)，则 X *(M) 是 (NP) 最优解。
20 若 X (M ) D, 当M很大时， X *(M)也会相当靠近
(NP) 可行域D的边界，是(NP)的最优解X *的近似解 (通常约束极值问题的最优解X *在可行域的边界上)
线性规划3-6
一.外点法迭代原理
m
( X , M ) f ( X ) M [min( 0, gi ( X ))]2
i 1
s.t. gi ( X ) 0
i 1,2, , m
设 min( X , M ) 最优解为 X (M )
XRn
D
研究 X*(M) 与(NP)的最优解 X* 之间的关系
10 若 X (M ) D (可行域)，则 X *(M) 是 (NP) 最优解。
(NP) min f (X )
( X , M ) f ( X ) M [min(0, gi ( X ))]2
设min( X , M )的最优解为 X (M ) XRn
s.t. gi ( X ) 0
i 1,2, , m
20 若 X (M ) D, 当M很大时， X *(M)也会相当靠近
(NP) 可行域D的边界，是(NP)的最优解X *的近似解 证明： X ( M ) D, 至少存在 i0 使 gi0 (X(M)) 0
( NP) min f (X )
s.t
.
gi hj
( (
X X
) )
0, 0,
i j
1, 2,L 1, 2,L
,m ,p
外点法迭代原理 外点法迭代步骤 外点法举例 外点法的优缺点
一.外点法迭代原理
(NP) min f (X )
s.t. gi ( X ) 0
i 1,2, , m
i 1,2, , m
20 若 X (M ) D, 当M很大时， X *(M)也会相当靠近
(NP) 可行域D的边界，是(NP)的最优解X *的近似解
证明： X ( M ) D, 至少存在 i0 使 gi0 (X(M)) 0
当M很大时，有 gi0 ( X (M )) 0
gi0 (X ) 0
D X gi0 (X)
gi0 ( X ) 0 M越大， 越小，X*(M) 越靠近D
X(M)
gi0 (X ) 0
的边界，即越靠近X*。 增大罚 因子M的作用是将X*(M)拉向D的 边界(即X*)。
线性规划3-6
一.外点法迭代原理
(NP) min f (X )
m
( X , M ) f ( X ) M [min( 0, gi ( X ))]2
gi0 ( X (M ))
gi0 ( X (M )) 0
线性规划3-6
一.外点法迭代原理
(NP) min f (X )
( X , M ) f ( X ) M [min(0, gi ( X ))]2
设min( X , M )的最优解为 X (M ) XRn
s.t. gi ( X ) 0
一.外点法迭代原理
(NP) min f (X )
m
( X , M ) f ( X ) M [min( 0, gi ( X ))]2
i 1
s.t. gi ( X ) 0
i 1,2, , m
设 min( X , M ) 最优解为 X (M )
XRn
研究 X*(M) 与(NP)的最优解 X* 之间的关系
证明：
Q X (M ) 是 min( X , M ) 的最优解， 有：
XRn
Q
f
(X) XDI
(X , M) ( X (M), M)
N
XNX ( M )Df( X (M ))
X*(M) 是(NP)的最优解。
f (X ),
XD
( X , M ) f ( X ) 线很性大规的划正3-数6 , X D
又 Q X (M ) 是 min( X , M ) 的最优解， XRn
( X (M ), M ) f ( X (M )) M [min(0, gi ( X (M )))]2是局部极小值
当M很大时，[min(0, gi ( X (M )))]2 会相当小。
即gi20 ( X (M )) [min(0, gi ( X (M )))]2 2
( NP) min f (X )
s.t
.
gi hj
( (
X X
) )
0, 0,
i j
1, 2,L 1, 2,L
,m ,p
线性规划3-6
一.外点法迭代原理
(NP) min f (X )
基本思想：
s.t. gi ( X ) 0
通过建立罚函数,将约束极值问题转化 i 1,2, ,m
成一系列无约束极值问题去求解.