《惩罚函数法》PPT课件
合集下载
第二节 罚函数法
0 Step1: 给定初始点 x ∈ int S ，初始罚因子 r1 ，缩小系数
β ∈ (0,1) ，允许误差 ε > 0 ，置 k = 1 ；
k −1 x 为初点，求解无约束优化问题 Step2: 以
min G ( x, r ) = f ( x) + rB( x) s.t. x ∈ int S
设其极小点为 x ；
G ( x, r ) = f ( x) − r ∑ ln g i ( x)
m
-----对数障碍函数
由 G( x, r ) 的定义， r 取值越小，问题
min G ( x, r ) = f ( x) + rB( x) s.t. x ∈ int S
的最优解越接近约束优化问题的最优解。 2. 内点罚函数法的计算步骤
k min H ( x) x Step4: 以 为初始点求解无约束问题 x∈Sk k +1 的最优解
x k +1 ，其中
H k +1 ( x) = −∑ gi ( x) + rk +1 ∑ gi ( x)
i∈I k i∈J k
， Sk = {x | gi ( x) > 0, i ∈ J k }
令 rk + 2 = βrk +1 , k = k + 1, 返回 Step2. 注：该算法中，对于 k = 0,1,2,L ，有 I k +1 ⊂ I k , J k +1 ⊃ J k ，且 最后某个 I k = ∅ 。 三. 广义乘子法 1. 对于等式约束优化问题
φ ( x, y , ω , σ ) = f ( x ) − ∑ ω j ( g j ( x ) − y j ) +
2 j =1 l
β ∈ (0,1) ，允许误差 ε > 0 ，置 k = 1 ；
k −1 x 为初点，求解无约束优化问题 Step2: 以
min G ( x, r ) = f ( x) + rB( x) s.t. x ∈ int S
设其极小点为 x ；
G ( x, r ) = f ( x) − r ∑ ln g i ( x)
m
-----对数障碍函数
由 G( x, r ) 的定义， r 取值越小，问题
min G ( x, r ) = f ( x) + rB( x) s.t. x ∈ int S
的最优解越接近约束优化问题的最优解。 2. 内点罚函数法的计算步骤
k min H ( x) x Step4: 以 为初始点求解无约束问题 x∈Sk k +1 的最优解
x k +1 ，其中
H k +1 ( x) = −∑ gi ( x) + rk +1 ∑ gi ( x)
i∈I k i∈J k
， Sk = {x | gi ( x) > 0, i ∈ J k }
令 rk + 2 = βrk +1 , k = k + 1, 返回 Step2. 注：该算法中，对于 k = 0,1,2,L ，有 I k +1 ⊂ I k , J k +1 ⊃ J k ，且 最后某个 I k = ∅ 。 三. 广义乘子法 1. 对于等式约束优化问题
φ ( x, y , ω , σ ) = f ( x ) − ∑ ω j ( g j ( x ) − y j ) +
2 j =1 l
惩罚函数法
内点法的程序框图如下：
k k 1
r k 1 cr k
否
X 0 X *(rk )
开始
输入 X 0、r0、c、
k←0
求 min(X , rk )
满足收敛条件？ 是
X * X *(rk ) f ( X *) f X *(rk )
结束
3.外点惩罚函数法
求解策略
外点惩罚函数法简称外点法。这种方法和内点相反，
3.外点惩罚函数法
外点法程序框图：
Yes
X * X *(rk )
Yes
f ( X *) f X *(rk )
结束
开始
输入 X 0, r0, c,1,2
k 0
求 min ( X , rk ) 得X *(rk )
Q max g j ( X *(rk ))
Q 1 ?
No
X * (r k ) X * (r k1) 2
(X , r) f (X ) rmax 0, g j (X ) rhk (X )
j 1
k 1
式中：r为惩罚因子，它是由小到大，且趋近于∞的数列
3.外点惩罚函数法
l
2m
2
即 r0＜r1＜r2＜··· ,hk (X ) 、max 0, g j (X )分别对
应为对应于不等式约束和等k式1 约束函数j1的惩罚项， 其中
当 r , lim(1 1 ) 1。
r 4r
当逐步增大r值，直至趋近于无穷时，逼近原问题的约束最优
解，当r=0.25,0.5,1,2时，惩罚函数 (X , r) 的等值线图
下如
3.外点惩罚函数法
当r逐渐增大时，极值
点 X *(r)的序列将沿一直线轨 迹 ( X *(r), r) 1 X *(r) 在可 行域外逐步逼近2 最优2 点。
k k 1
r k 1 cr k
否
X 0 X *(rk )
开始
输入 X 0、r0、c、
k←0
求 min(X , rk )
满足收敛条件？ 是
X * X *(rk ) f ( X *) f X *(rk )
结束
3.外点惩罚函数法
求解策略
外点惩罚函数法简称外点法。这种方法和内点相反，
3.外点惩罚函数法
外点法程序框图：
Yes
X * X *(rk )
Yes
f ( X *) f X *(rk )
结束
开始
输入 X 0, r0, c,1,2
k 0
求 min ( X , rk ) 得X *(rk )
Q max g j ( X *(rk ))
Q 1 ?
No
X * (r k ) X * (r k1) 2
(X , r) f (X ) rmax 0, g j (X ) rhk (X )
j 1
k 1
式中：r为惩罚因子，它是由小到大，且趋近于∞的数列
3.外点惩罚函数法
l
2m
2
即 r0＜r1＜r2＜··· ,hk (X ) 、max 0, g j (X )分别对
应为对应于不等式约束和等k式1 约束函数j1的惩罚项， 其中
当 r , lim(1 1 ) 1。
r 4r
当逐步增大r值，直至趋近于无穷时，逼近原问题的约束最优
解，当r=0.25,0.5,1,2时，惩罚函数 (X , r) 的等值线图
下如
3.外点惩罚函数法
当r逐渐增大时，极值
点 X *(r)的序列将沿一直线轨 迹 ( X *(r), r) 1 X *(r) 在可 行域外逐步逼近2 最优2 点。
罚函数法(SUMT法)(ppt文档)
( NP) 求解 min( X , M ) 设其最优解为 X*(M)， XRn
研究 X*(M) 与(NP)的最优解 X* 之间的关系
线性规划3-6
一.外点法迭代原理
(NP) min f (X )
m
( X , M ) f ( X ) M [min( 0, gi ( X ))]2
i 1
gi (X ) 0 gi (X )
30 若 gi ( X (k ) ( Mk )) , i 1,2, ,m, 则迭代终止，X X (k ) ( M k ) 否则取Mk+1=C Mk , 其中C = 5~10
D
X
X(k)(Mk )
gi (X ) 0
令 k:= k+1 转20
M4 1000 X (4) (1000)
D
g2(X ) 0
g1( X ) 0
X(k)(Mk )
X
x1
线性规划3-6
一.外点法迭代原理
(NP) min f (X )
s.t. gi ( X ) 0
线性规划3-6
第三章 非线性规划
一.外点罚函数法(外点法)
( NP) min f (X )
s.t
.
gi hj
( (
X X
) )
0, 0,
i j
1, 2, 1, 2,
,m ,p
外点法迭代原理 外点法迭代步骤 外点法举例 外点法的优缺点
二.外点法迭代步骤
(NP) min f (X )
通过迭代逐渐增大罚因子M：
(NP)min f (X )
s.t. gi ( X ) 0
罚函数课件
CHAPTER
06
罚函数的未来发展与研究方向
罚函数的改进与优化
动态调整罚因子
根据问题的复杂性和数据特性，动态调整罚因子的大小，以获得 更好的优化效果。
多目标优化罚函数
将多目标优化问题转化为单目标优化问题，通过设计合理的罚函 数，实现多个目标的平衡优化。
引入机器学习算法
利用机器学习算法对罚函数进行训练和优化，提高罚函数对复杂 问题的适应性。
02
在机器学习中，罚函数常用于解决模型的过拟合问题。通过在损失函数中加入 正则化项（即惩罚项），使得模型在训练过程中不仅要最小化损失函数，还要 尽量满足某些正则化条件（如参数的范数约束）。
03
常见的正则化项包括L1正则化、L2正则化以及弹性网正则化等。这些正则化项 在模型训练过程中起着重要的角色，能够有效地防止过拟合，提高模型的泛化 能力。
罚函数在深度学习中的实现方式
软阈值化
在优化过程中，将权重向量的元素值与阈值进行比较，将 超过阈值的元素置为零，实现L1正则化。
权重衰减项
在损失函数中添加权重衰减项，使得权重向量的平方和变 小，实现L2正则化。
自定义罚函数
根据具体问题定义自己的罚函数，并在损失函数中添加该 罚函数项，以实现特定的正则化效果。
系数估计
Ridge回归使用L2范数作为 惩罚项，对系数进行估计， 能够得到更平滑、更稳定的 模型。
模型选择
Ridge回归在选择模型时， 通常需要预先设定一个阈值 或交叉验证来确定惩罚参数 的大小。
L1与L2罚函数的比较
稀疏性
Lasso回归具有稀疏性，能够自动选 择重要变量，而Ridge回归则不具备 这一特性。
罚函数与其他算法的结合
与进化算法结合
第四章 惩罚函数法
最优化方法之约束非线性规划
令其极小点为xk ;
min L( x, k )
惩罚函数法
最优化方法之约束非线性规划
惩罚函数法
外罚函数法的优点是形式和程序均简单, 算法直接使用 无约束优化的程序即可.但它的缺点有三条 : (1). xk ( )往往不是可行点, 这对于某些实际问题是不能接受的; (2). k 太大造成L( x , k )的Hesse矩阵条件数变大, 数值计算带来 很大困难,甚至不可能; (3). P ( x )一般不可微, 不宜直接使用梯度法,从而收敛慢.
最优化方法之约束非线性规划
惩罚函数法
Ex1.用内点法求解问题 min
s.t .
解：定义障碍函数
1 f ( x1 , x2 ) ( x1 1)3 x2 3 x1 1 0, x2 0.
1 1 1 G ( x, rk ) ( x1 1) 3 x 2 rk ( ) 3 x1 1 x 2
D0 { x Rn : ci ( x) 0, i 1, 2,..., m}非空.
最优化方法之约束非线性规划
惩罚函数法
与外点罚函数法相类似,我们构造如下增广目标函数
L( x, r ) f ( x ) rB( x )
其中B( x )是障碍函数.当x在D0中趋向于边界时, 至少有 一个趋于0,而B( x )要求趋于无穷大,因此可取 m 1 B( x ) i 1 ci ( x )
下面考虑一般约束优化问题(1)
min f ( x ), x R n . ci ( x ) 0, i E {1, 2, ..., l } s .t . ci ( x ) 0, i I {l 1, ..., m }.
令其极小点为xk ;
min L( x, k )
惩罚函数法
最优化方法之约束非线性规划
惩罚函数法
外罚函数法的优点是形式和程序均简单, 算法直接使用 无约束优化的程序即可.但它的缺点有三条 : (1). xk ( )往往不是可行点, 这对于某些实际问题是不能接受的; (2). k 太大造成L( x , k )的Hesse矩阵条件数变大, 数值计算带来 很大困难,甚至不可能; (3). P ( x )一般不可微, 不宜直接使用梯度法,从而收敛慢.
最优化方法之约束非线性规划
惩罚函数法
Ex1.用内点法求解问题 min
s.t .
解：定义障碍函数
1 f ( x1 , x2 ) ( x1 1)3 x2 3 x1 1 0, x2 0.
1 1 1 G ( x, rk ) ( x1 1) 3 x 2 rk ( ) 3 x1 1 x 2
D0 { x Rn : ci ( x) 0, i 1, 2,..., m}非空.
最优化方法之约束非线性规划
惩罚函数法
与外点罚函数法相类似,我们构造如下增广目标函数
L( x, r ) f ( x ) rB( x )
其中B( x )是障碍函数.当x在D0中趋向于边界时, 至少有 一个趋于0,而B( x )要求趋于无穷大,因此可取 m 1 B( x ) i 1 ci ( x )
下面考虑一般约束优化问题(1)
min f ( x ), x R n . ci ( x ) 0, i E {1, 2, ..., l } s .t . ci ( x ) 0, i I {l 1, ..., m }.
约束优化-惩罚函数法38页PPT
1、不要轻言放弃，否则对不起自己。
2、要冒一次险!整个生命就是一场冒险。走得最远的人，常是愿意 去做，并愿意去冒险的人。“稳妥”之船，从未能从岸边走远。-戴尔．卡耐基。
梦 境
3、人生就像一杯没有加糖的咖啡，喝起来是苦涩的，回味起来却有 久久不会退去的余香。
约束优化-惩罚函数法 4、守业的最好办法就是不断的发展。 5、当爱不能完美，我宁愿选择无悔，不管来生多么美丽，我不愿失 去今生对你的记忆，我不求天长地久的美景，我只要生生世世的轮 回里有你。
41、学问是异常珍2、只有在人群中间，才能认识自 己。——德国
43、重复别人所说的话，只需要教育； 而要挑战别人所说的话，则需要头脑。—— 玛丽·佩蒂博恩·普尔
44、卓越的人一大优点是：在不利与艰 难的遭遇里百折不饶。——贝多芬
45、自己的饭量自己知道。——苏联
2、要冒一次险!整个生命就是一场冒险。走得最远的人，常是愿意 去做，并愿意去冒险的人。“稳妥”之船，从未能从岸边走远。-戴尔．卡耐基。
梦 境
3、人生就像一杯没有加糖的咖啡，喝起来是苦涩的，回味起来却有 久久不会退去的余香。
约束优化-惩罚函数法 4、守业的最好办法就是不断的发展。 5、当爱不能完美，我宁愿选择无悔，不管来生多么美丽，我不愿失 去今生对你的记忆，我不求天长地久的美景，我只要生生世世的轮 回里有你。
41、学问是异常珍2、只有在人群中间，才能认识自 己。——德国
43、重复别人所说的话，只需要教育； 而要挑战别人所说的话，则需要头脑。—— 玛丽·佩蒂博恩·普尔
44、卓越的人一大优点是：在不利与艰 难的遭遇里百折不饶。——贝多芬
45、自己的饭量自己知道。——苏联
罚函数法
α α
i =1 i =1 j =1
m+ p
m
p
α
p ⎡m α⎤ F ( x , M ) = f ( x ) + M ⎢ ∑ max{0, gi ( x )}α + ∑ h j ( x ) ⎥ j =1 ⎣ i =1 ⎦
(2.1)
或 p( x ) = c ( x )
∞
= max ci ( x ) = max{max{0, gi ( x )}, i = 1," , m, h j ( x ) , j = 1," , p} ，则
k k k k
(2.2)
F ( xk , M k ) → F * ， f ( xk ) → f *
则 M k p ( x ) = F ( x , M k ) − f ( x ) → F − f ，再由 M k → +∞ 得
k k k
*
*
p( x k ) → 0
k k k k
(2.3)
故当 k 充分大时 x ∈ Sδ 。由 Sδ 为紧集，因此{ x }存在收敛子列 { x }k∈J ，设 x → x ( k ∈ J ) 。由已知 条件知 f ( x ) 和 p ( x ) 是连续函数，由(2.3)得 p ( x ) = 0 ，故 x ∈ S ，再由(2.2)得
*
K
知， {F ( x , M k )} 和 { f ( x )} 是单调增序列，并且
k
k
f ( x* ) = F ( x* , M k ) ≥ F ( x k , M k ) ≥ f ( x k )
即 {F ( x , M k )} 和 { f ( x )} 有上界，故 {F ( x , M k )} 和 { f ( x )} 收敛，设
i =1 i =1 j =1
m+ p
m
p
α
p ⎡m α⎤ F ( x , M ) = f ( x ) + M ⎢ ∑ max{0, gi ( x )}α + ∑ h j ( x ) ⎥ j =1 ⎣ i =1 ⎦
(2.1)
或 p( x ) = c ( x )
∞
= max ci ( x ) = max{max{0, gi ( x )}, i = 1," , m, h j ( x ) , j = 1," , p} ，则
k k k k
(2.2)
F ( xk , M k ) → F * ， f ( xk ) → f *
则 M k p ( x ) = F ( x , M k ) − f ( x ) → F − f ，再由 M k → +∞ 得
k k k
*
*
p( x k ) → 0
k k k k
(2.3)
故当 k 充分大时 x ∈ Sδ 。由 Sδ 为紧集，因此{ x }存在收敛子列 { x }k∈J ，设 x → x ( k ∈ J ) 。由已知 条件知 f ( x ) 和 p ( x ) 是连续函数，由(2.3)得 p ( x ) = 0 ，故 x ∈ S ，再由(2.2)得
*
K
知， {F ( x , M k )} 和 { f ( x )} 是单调增序列，并且
k
k
f ( x* ) = F ( x* , M k ) ≥ F ( x k , M k ) ≥ f ( x k )
即 {F ( x , M k )} 和 { f ( x )} 有上界，故 {F ( x , M k )} 和 { f ( x )} 收敛，设
第五章惩罚函数法详解
㈣关于几个参数的选择
⑴初始罚因子r(0)的选取
如果 值选得太大，则在一开始罚函数的惩罚项的 值将远远超出原目标函数的值，因此，它的第一次无约束极 小点将远离原问题的约束最优点。在以后的迭代中，需要很 长时间的搜索才能使序列无约束极小点逐渐向约束最优点逼近。
如果 值选得太小，则在一开始惩罚项的作用甚小，
而在可行域内部惩罚函数
与原目标函数F(x)很相近，
只在约束边界附近罚函数值才突然增高。这样，使其罚函数
在在约束边界附近出现深沟谷地，罚函数的性态变得恶劣。
如下图，对于有深沟谷地性态差的函数，不仅搜索所需的 时间长，而且很难使迭代点进入最优的邻域，以致极易使 迭代点落入非可行域而导致计算的失败。
或
r（0）=1~50
函数
的一系(x,列r(k最) ) 优点，
xk* (k 0,1,2, )
显见，无约束最优点序列将逐渐趋近于原约
束优化问题的最优点x*。
㈡内点罚数法的形式及特点
⑴具有不等式约束的优化问题的数学模型
S.T. :
u=1，2……，p
⑵构造如下形式的内点罚函数
p
(x, r (k) ) F (x) r (k)
而且，当x越趋近于约束边界时，由于惩罚项 r(k) 1
增大，所以罚函数 (x, r(的k) )值越大。当x←b时，罚g１函(x)
数的值将趋近于+∞。因此，当初始点取在可行域内，求
函数 (x, r(k)的) 极小值时，只要适当控制搜索步长，
防止迭代点跨入非可行域，则所搜索到的无约束极小点 x*必可保持在可行域内。
⑹由终止准则，若满足则转步骤⑺，否则转⑸⑺,输出最优解(x*,F*)
入口
给定：x(0) ∈D,r(0),C,ε1,ε2
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
那么该点x就不会是(*)的最优解。
这样的存在迫使最优解在可行域内取得。 随着的增大或更特殊地取为+∞，则问题(*)就成为：
min (x12+x22) 当(x1+x2-2)=0.
这恰为所要求解的原问题.
引例求解思想的理论支持
问题 min (x12+x22)+(x1+x2-2)2
最优解的解析式为：
x1() x2 () 221
一般地，对于等式约束问题， min f(x) s.t. hj(x)=0, j=1:n
将此问题改造成一个新问题(**)：
n
min F( x),f(x )h2 j(x),其 中 为一个大正数 j1
这个新问题的最优解 必定使～x得hj( )接近于0 ～x 否则的话式子中的第二项就会是一个很大的正数 现在的这个点 就不～会x 是这个无约束问题的极小点
[max2 {(x0 )},2-]s.....[.maxm {(x 0),}2 -]s
h12(x)h22(x).....h .n2(x)）
m
n
f(x )( [mai( x x ){ } 2 0 ] ,h -j2 s (x ))
i 1
j 1
P( x)
F(x, )-----增广目标函数
P(x)-----惩罚函数（惩罚项） ----罚因子
min x12+x22 s.t. x1+x2-2=0
由图解法易见最优解为(1,1)T
将这个问题改造为一个无约束问题如下：
min (x12+x22)+(x1+x2-2)2 (*)
为一个充分大的正的参数
min x12+x22 s.t. x1+x2-2=0
分析： 任意点x若不满足原问题的约束，则(*)第二项就会非常大
[max2({x0 )},2-]s.....[.maxm {(x 0),}2 -]s
h12(x)h22(x).....h .l2(x)）
m
n
f(x )( [mai( x x ){ } 2 0 ] ,h -j2 s (x ))
i 1
j 1
minF( x),f(x ) • （ [max1{ (x0 )},2-]s
取0,1,10时F的极小点如图
总体上就是从D外边向D里边(或是边界)“跑”！
混合约束问题改造为相应无约束优化问题的方法
对于混合约束问题 min f(x)
也可以转化为
s.t. si(x) ≥0,i=1:m hj(x)=0,j=1:n.
minF( x),f(x )• （ [max1({x0 )},2-]s
的充要条件是x是原约束问题的可行点。
Proof (必要性) 显然
(充分性)若x是原问题的极小点,则 对于原问题的任意容许点x,总有
因为使得hj(x)=0的那些x就能使得F(x,)的值比F( ,）小
～x
n
min F( x),f(x )h2 j(x),其 中 为一个大正数 j1
新目标函数的特征： 在任意原问题的可行点x’处：F(x’, )=f(x’); 在任意原问题的不可行点x”处： F(x”, )=f(x”)+大正数。
不等式约束问题改造为相应无约束优化问题的方法
而这些点其实是两大块：原可行域D和Rn-D
当任取一点x0时F(x0,)显然是要比 F(x, )(xD)大的， 所以min F(x, )时总体上就是从D外边向D里 ·x0 边(或是边界)“跑s.t. x-2≥0
构造F(x,)=(x-1)2+[max(0,-(x-2)]2
外部罚函数法初步框架
给定初始点x(0)，初始惩罚因子1，放大系数c>1,置k=1 STEP 1:以x(k-1)为初始点求解 min F(x,k),得极小点x(k) STEP 2:若x(k) 符合原问题的最优解要求，stop STEP 3: k+1= c·k,置k=k+1转(i)
定理(外部罚函数法的终止准则) 无约束问题F(x,)的极小点x恰是原约束问题的极小点
引例的计算机处理方法
先给定，求解问题
min (x12+x22)+(x1+x2-2)2.
判断得到的点是否是原问题的解，若还不是， 则增大再求上述问题，若还不是，继续。
比如本例：取为0,1,10,100,1000时的解如图,趋于(1,1)T.
引例的计算机处理方法
引例求解思想推广到一般的等式约束问题
惩罚函数法
（Penalty Function Mehthod）
南京邮电大学 理学院 信息与计算科学系
数学模型
min f(x) s.t. s1(x) ≥0
…… sm(x) ≥0 h1(x)=0
…… hn(x)=0
求解约束问题的方法分类
➢将这种约束问题转化为无约束问题（罚函数法等） 因无约束问题已有较好的求解方法比如BFGS,DFP
当 时 ( x 1 ( ) ,x 2 ( ， ) ) T ( 1 , 1 ) T
问题“粗放”想法的进一步深入分析
➢ 理论上特殊地取为+∞，则
min (x12+x22)+(x1+x2-2)2 (*)
为一个较大的正的参数 的最优解即是原问题的最优解，但是为+∞在计算机上无法实 现。 ➢实际上充分大时，(*)的最优解即可为原问题的最优解。
根据这样的原则，对不等式约束问题可以类似构造：
min f(x) s.t. si(x) ≥0,i=1;m 转化为(易验证满足上述原则)
miF n(x ) ,f( x) • （ [ma1( x x){} 2 0],-s
[ma2( x x){} 2 0 ].,.-. s .[..mam x (x){} 0 2 ） ],-s
将约束条件对问题的限制作用按一定的规则转换到目标函数上，然后对 转换后得到的新的无约束问题求解,然后将求解的结果反映到原问题.
➢直接从这种约束问题出发来求解。 仿照无约束优化问题的求解思想，构造“下降迭代算法”但是构造的方
向满足下降要求前，首先要满足可行域！所以这类方法我们称为可行下降 方向法。
直观引例
m
f(x) [maxi{(0 x),}-2]s i1
mi n F(x, ) f(x)•（[max{01,(-xs)}2]
[max{02,(-xs)}2]..... . [max{0m ,-(sx)}2]）
m
f (x) [max{0i,(-xs)}2] i1
转换原则的解释 在极小化新无约束问题时所考虑的是整个空间上的点，
这样的存在迫使最优解在可行域内取得。 随着的增大或更特殊地取为+∞，则问题(*)就成为：
min (x12+x22) 当(x1+x2-2)=0.
这恰为所要求解的原问题.
引例求解思想的理论支持
问题 min (x12+x22)+(x1+x2-2)2
最优解的解析式为：
x1() x2 () 221
一般地，对于等式约束问题， min f(x) s.t. hj(x)=0, j=1:n
将此问题改造成一个新问题(**)：
n
min F( x),f(x )h2 j(x),其 中 为一个大正数 j1
这个新问题的最优解 必定使～x得hj( )接近于0 ～x 否则的话式子中的第二项就会是一个很大的正数 现在的这个点 就不～会x 是这个无约束问题的极小点
[max2 {(x0 )},2-]s.....[.maxm {(x 0),}2 -]s
h12(x)h22(x).....h .n2(x)）
m
n
f(x )( [mai( x x ){ } 2 0 ] ,h -j2 s (x ))
i 1
j 1
P( x)
F(x, )-----增广目标函数
P(x)-----惩罚函数（惩罚项） ----罚因子
min x12+x22 s.t. x1+x2-2=0
由图解法易见最优解为(1,1)T
将这个问题改造为一个无约束问题如下：
min (x12+x22)+(x1+x2-2)2 (*)
为一个充分大的正的参数
min x12+x22 s.t. x1+x2-2=0
分析： 任意点x若不满足原问题的约束，则(*)第二项就会非常大
[max2({x0 )},2-]s.....[.maxm {(x 0),}2 -]s
h12(x)h22(x).....h .l2(x)）
m
n
f(x )( [mai( x x ){ } 2 0 ] ,h -j2 s (x ))
i 1
j 1
minF( x),f(x ) • （ [max1{ (x0 )},2-]s
取0,1,10时F的极小点如图
总体上就是从D外边向D里边(或是边界)“跑”！
混合约束问题改造为相应无约束优化问题的方法
对于混合约束问题 min f(x)
也可以转化为
s.t. si(x) ≥0,i=1:m hj(x)=0,j=1:n.
minF( x),f(x )• （ [max1({x0 )},2-]s
的充要条件是x是原约束问题的可行点。
Proof (必要性) 显然
(充分性)若x是原问题的极小点,则 对于原问题的任意容许点x,总有
因为使得hj(x)=0的那些x就能使得F(x,)的值比F( ,）小
～x
n
min F( x),f(x )h2 j(x),其 中 为一个大正数 j1
新目标函数的特征： 在任意原问题的可行点x’处：F(x’, )=f(x’); 在任意原问题的不可行点x”处： F(x”, )=f(x”)+大正数。
不等式约束问题改造为相应无约束优化问题的方法
而这些点其实是两大块：原可行域D和Rn-D
当任取一点x0时F(x0,)显然是要比 F(x, )(xD)大的， 所以min F(x, )时总体上就是从D外边向D里 ·x0 边(或是边界)“跑s.t. x-2≥0
构造F(x,)=(x-1)2+[max(0,-(x-2)]2
外部罚函数法初步框架
给定初始点x(0)，初始惩罚因子1，放大系数c>1,置k=1 STEP 1:以x(k-1)为初始点求解 min F(x,k),得极小点x(k) STEP 2:若x(k) 符合原问题的最优解要求，stop STEP 3: k+1= c·k,置k=k+1转(i)
定理(外部罚函数法的终止准则) 无约束问题F(x,)的极小点x恰是原约束问题的极小点
引例的计算机处理方法
先给定，求解问题
min (x12+x22)+(x1+x2-2)2.
判断得到的点是否是原问题的解，若还不是， 则增大再求上述问题，若还不是，继续。
比如本例：取为0,1,10,100,1000时的解如图,趋于(1,1)T.
引例的计算机处理方法
引例求解思想推广到一般的等式约束问题
惩罚函数法
（Penalty Function Mehthod）
南京邮电大学 理学院 信息与计算科学系
数学模型
min f(x) s.t. s1(x) ≥0
…… sm(x) ≥0 h1(x)=0
…… hn(x)=0
求解约束问题的方法分类
➢将这种约束问题转化为无约束问题（罚函数法等） 因无约束问题已有较好的求解方法比如BFGS,DFP
当 时 ( x 1 ( ) ,x 2 ( ， ) ) T ( 1 , 1 ) T
问题“粗放”想法的进一步深入分析
➢ 理论上特殊地取为+∞，则
min (x12+x22)+(x1+x2-2)2 (*)
为一个较大的正的参数 的最优解即是原问题的最优解，但是为+∞在计算机上无法实 现。 ➢实际上充分大时，(*)的最优解即可为原问题的最优解。
根据这样的原则，对不等式约束问题可以类似构造：
min f(x) s.t. si(x) ≥0,i=1;m 转化为(易验证满足上述原则)
miF n(x ) ,f( x) • （ [ma1( x x){} 2 0],-s
[ma2( x x){} 2 0 ].,.-. s .[..mam x (x){} 0 2 ） ],-s
将约束条件对问题的限制作用按一定的规则转换到目标函数上，然后对 转换后得到的新的无约束问题求解,然后将求解的结果反映到原问题.
➢直接从这种约束问题出发来求解。 仿照无约束优化问题的求解思想，构造“下降迭代算法”但是构造的方
向满足下降要求前，首先要满足可行域！所以这类方法我们称为可行下降 方向法。
直观引例
m
f(x) [maxi{(0 x),}-2]s i1
mi n F(x, ) f(x)•（[max{01,(-xs)}2]
[max{02,(-xs)}2]..... . [max{0m ,-(sx)}2]）
m
f (x) [max{0i,(-xs)}2] i1
转换原则的解释 在极小化新无约束问题时所考虑的是整个空间上的点，