第五章_惩罚函数法
合集下载
惩罚函数
综合等式约束和不等式约束情况，可以得到一
般约束优化问题的外点罚函数公式为：
实际计算中，因为惩罚因子 不可能达到无 穷大，故所得的最优点也不可能收敛到原问题 的最优点，而是落在它的外面，显然，这就不
能严格满足约束条件。为了克服外点惩罚函数 法的这一缺点，对那些必须严格满足的约束 （如强度、刚度等性能约束）引入约束裕 度 ，即将这些约束边界向可行域内紧缩， 移动一个微量，得到
一、惩罚函数介绍
如何把它转化为无约束求解
二维约束问题
对于机械优化设计一般式
外点惩罚函数
外点惩罚函数法的一般形式：
考虑不等式约束优化设计时：对 构造一般形式的外点惩罚函数为：
其中： （1）当满足所有约束条件时惩罚项为，即
考虑等式约束优化问题：
构造点罚函数：
同样，若X满足所有等式约束则惩罚项为0,；若 不能满足，则 且随着惩罚因 子的增大而增大。
这样用重新定义的约束函数来构造惩罚函数，
得到最优设计方案。
内点惩罚函数法
外点法和内点的区别
内点法将惩罚函数定义于可行域内且求解无
约束优化问题的搜索点总是保持在可行域内，一 般只用于不等式约束情况；外点法即可用于求解 不等式约束优化问题，又可用于求解等式约束优 化问题，主要特点是惩罚函数定义在可行域的外 部，从而在求解系列无约束优化问题的过程中， 从可行域外部逐渐逼近原约束优化问题最优解。
结论： （1）一般的优化方法,如惩罚函数法,当优化 变量的初始值取值范围不同时,往往会直接 影响优化结果,在使用当中应该加以注意和改 进。 （2）二次优化的惩罚函数法,将整个优化过程 分为连续变量惩罚函数法的初始优化、带离 散变量的惩罚函数再优化和网格法检验三步 进行,消除了优化变量初始值对优化结果的 影响，使优化结果更为准确、合理,是一种 很有参考价值的实用优化方法。
混合惩罚函数法5
*
g u x
2
mБайду номын сангаас(k )
f (x ,
r
(k )
) f (x )
因为：r max 0,
u 1
g u x 0
2
所以： x * r (u ) , r ( k ) f ( x * , (r ( k ) ))
(拟合曲线近似描述离散点的变化规律)
（1） 平均法：
找出这些离散点的公共值。这些离散点 相对于公共值，上下偏差代数和为零。以 这些公共值构造的代表表征这些离散数值 的规律。
具体步骤如下：
a)有m组数值,预选一个用以拟合的方程式。 将此组数值分别代入y ax 2 bx c 得到m个方程。
s
j
( x)
f ( x)
f
j
( x)
(s项最小函数 q - s项最大函数)
④乘除法 2)主要目标法 3)协调曲线法 4)设计分析法
见教材
P96~ 97
四 优化结果分析
优化设计计算完成后,必须对计算好结果, 进行仔细分析.比较,检查其合理性,发现和改正 一切可能的错误,以便得到一个符合工程实际的 最优化设计方案,检查优化设计结果可行性和全 理性. 1)与原始设计方案的目标函数作比较,通过 作图,曲线或列表,等原始方案的目标函数进 行比较,查看优化结果是否正常. 2)检查最优设计变量满足约束条件
2.内惩罚函数法 内惩罚函数法是求解不等式约束优化的一 种十分有效的方法，它要求初始点必须在可行 域内，迭代过程中所产生的多点均为可行设计 方案，因此使设计人员有挑选的余地，但这种 方法与外点法相比一般收敛较慢，递减系数C 应满足0<c<1 c=0.1~0.7
g u x
2
mБайду номын сангаас(k )
f (x ,
r
(k )
) f (x )
因为：r max 0,
u 1
g u x 0
2
所以： x * r (u ) , r ( k ) f ( x * , (r ( k ) ))
(拟合曲线近似描述离散点的变化规律)
（1） 平均法：
找出这些离散点的公共值。这些离散点 相对于公共值，上下偏差代数和为零。以 这些公共值构造的代表表征这些离散数值 的规律。
具体步骤如下：
a)有m组数值,预选一个用以拟合的方程式。 将此组数值分别代入y ax 2 bx c 得到m个方程。
s
j
( x)
f ( x)
f
j
( x)
(s项最小函数 q - s项最大函数)
④乘除法 2)主要目标法 3)协调曲线法 4)设计分析法
见教材
P96~ 97
四 优化结果分析
优化设计计算完成后,必须对计算好结果, 进行仔细分析.比较,检查其合理性,发现和改正 一切可能的错误,以便得到一个符合工程实际的 最优化设计方案,检查优化设计结果可行性和全 理性. 1)与原始设计方案的目标函数作比较,通过 作图,曲线或列表,等原始方案的目标函数进 行比较,查看优化结果是否正常. 2)检查最优设计变量满足约束条件
2.内惩罚函数法 内惩罚函数法是求解不等式约束优化的一 种十分有效的方法，它要求初始点必须在可行 域内，迭代过程中所产生的多点均为可行设计 方案，因此使设计人员有挑选的余地，但这种 方法与外点法相比一般收敛较慢，递减系数C 应满足0<c<1 c=0.1~0.7
惩罚函数法及广义乘子法
转化求解法（一）：罚函数法
内罚函数法
Step1 选取初始数据。给定初始点 x0 ，in初tS始参数
允(0许,1)误差 ，令 0
k 1
，缩1 小 系0 数
Step2 求解无约束问题，以x k 为1 初始点，求解无约束问题
设其最优解为 。x k
min s.t.
G(x,rk)f(x)kB(x)
xintS
(1)
hj (x) 0, j 1,2,L ,l
其中 f ( x ) ，gi(x)(i1 ,2,L,m )和 hj(x)(j1,2,L,l)
都是定
min f (x)
。
s.t. gi(x) 0,i 1,2,L ,m
hj (x) 0, j 1,2,L ,l
为约x束k 问题
转化求解法（一）：罚函数法
外罚函数法例题
转化求解法（一）：罚函数法
外罚函数法例题
转化求解法（一）：罚函数法
外罚函数法例题
转化求解法（一）：罚函数法
外罚函数法例题
4.6-2 内惩罚函数法
基本是想
在迭代中总是从可行点出发，并保持在可行域内部进行搜索。 因此，这种方法适用于只有不等式约束的最优化问题
（一）、等式约束下的广义乘子法
等式约束的最优问题
min s.t.
f
(x)
2
l
h2j
(x)
j1
hj (x) 0, j 1,2,L ,l
m x iR n nF (x , k) ，f设(x 其) 最k 优P 解(x ) 为 。
xk
Step3 检查是否满足终止准则，若 kP(xk，)则迭代终止，
min s.t.
f (x) gi(x) 0的, 近i 似1,最2,优L解,m；, 否则，
罚函数法
外罚函数法算法
Step1: 给出 x0 ∈ Rn (可是不可行点)， > 0(ε =10−4 ) ε 罚因子 σ1(σ1 =1) , 放大系数 C(C =10) , k =1. Step2: 以 xk−1 为初始点求无约束问题： ~ m P( x,σk ) = f ( x) +σk P( x) 得 xk = x(σk ). in ~ Step3: 若 σk P(xk ) < ε , 则 x* = xk ,停； 否则转step4 Step4: 令 σk+1 = Cσk , k = k +1, 转step2.
Q f (xk ) ≤ P(xk ,σk ) ≤ f x
设其极限为 f . ∴ { f (xk )} 亦为单调有界序列， ~ ∴ lim σk P(xk ) = lim [P(xk ,σk ) − f (xk )] = p0 − f 0 k→+∞ k→+∞ ~ Q σk →+∞ ∴ lim P(xk ) = 0 k→+∞ ~ ~ ~ 且 P(x) 连续； P(~) = 0 即 ~ 为可行解 x ∴ x Q x →x
0
( )
*
Q x 为最优解；∴ f x* ≤ f (~) x ~, f (x) 连续； f (~) = lim f (x ) ≤ f (x* ) ∴ x Q xk → x k k→+∞ * ~) 即 ~ 为(3)的整体最优解． ∴ f x = f (x x
k *
( )
( )
外罚函数法评价
(1) 如果有了求解无约束问题的好算法，利用 外罚函数法求解约束问题很方便． (2) 每个近似解 x(σk ) 往往不是可行解，这是某 些实际问题所无法接受的． 内罚函数法可以解决． (3) 由收敛性定理 σk 取越大越好， σk 越大将 而 造成增广目标函数 P( x,σ ) 的Hesse阵条件数越 大，趋于病态，给无约束问题求解增加很大困 难，甚至无法求解．乘子法可解决这个问题．
机械优化设计第五节约束优化-惩罚函数法3-5
外点法求解时，惩罚函数的形式为：
(k ) ( x, r ) f ( x) r max 0, gu ( x) r hv ( x) u 1 v 1
(k ) (k ) m p 2 2
k 1, 2
r
(1) ( 2)
(k )
内点法对企图从内部穿越可行域的点施以惩 g x 0 时，则障碍项的 罚。设计点离边界越近 值急剧增大,并趋向无穷大,于是惩罚越大,于是惩 罚函数 ( x r ( k ) )亦随之急剧增大至无穷大.
u
就好像在可行域的边界上设置很高的障 碍，从而保障迭代点一直在可行域内而又趋向 于约束最优点。当 k r ( k ) 0时，才能求得 原约束问题的最优解。 参数的选取和确定：
(0)
（2）初始惩罚因子 r
(0)
的选择
) . 初始惩罚因子 r ( 0的选择对于计算效率影响很大
若r x, 项）的作用就会很小，
x, r ( k )
( 0 ) 值得太小，则在惩罚函数中障碍项（惩罚
r
(k )
f ( x)
这时求惩罚函数 的无约束极值点。 犹如求原目标函数 f ( x)本身的无约束极值点而 这个极值点 x又不大可能接近 f ( x) 的约束极值点,
D.收敛条件： 同时满足:(1)相邻两次惩罚函数值相对变化 足够小； (2)相邻两次惩罚函数无约束最优 点的距离足够小。
(k ) x r
* (k ) ( k 1) ( k 1) , r x r , r 1 * ( k 1) ( k 1) x r , r
内点惩罚函数法
P q
式中： ( X , r
(K )
) ——增广目标函数；
j 1
k 1
r(K )Fra bibliotek,m(K )
——惩罚因子；
G[ g j ( X )], H[hk ( X )] ——惩罚项；
内点惩罚函数法的一般形式： p ( X , r (K ) ) f ( X ) r (K )
j 1
1 g j (X )
；
3.构造惩罚函数，调用无约束优化方法，求解
min ( X , r ( K ) ) 的极值点；
4.检验迭代终止条件
* * XK XK 1 1 ,
1 104 ~ 105
2
或
k*
* k
* k 1
2 10 ~ 10
3
4
* X 若满足，则输出 K ；
内点惩罚函数法
1.惩罚函数法的基本思想：
根据约束特性构造惩罚函数，并将其加到目 标函数中去，将约束非线性规划问题转化为一 系列无约束极值子问题，然后按无约束优化方 法来求解。这种“惩罚”策略，给于无约束极 值问题求解过程中企图违反约束的那些迭代点 以很大的目标函数值，而子问题的目的是极小 化目标函数，这样迫使无约束子问题的极小点 趋向于满足约束条件。重复此过程使得它们的 解在极限情况下趋向原问题的约束极小值。
惩罚函数法属于间接法，它先建立一个新函数 即惩罚函数，把有约束问题转化为一系列无约 束优化问题来处理，这种转化必须满足两个前 提条件：
1.不破坏原约束优化问题的约束条件；
2. 最优解必须归结到原约束优化问题最优解上
( X , r ( K ) ) f ( X ) r ( K ) G[ g j ( X )] m( K ) H [hk ( X )]
式中： ( X , r
(K )
) ——增广目标函数；
j 1
k 1
r(K )Fra bibliotek,m(K )
——惩罚因子；
G[ g j ( X )], H[hk ( X )] ——惩罚项；
内点惩罚函数法的一般形式： p ( X , r (K ) ) f ( X ) r (K )
j 1
1 g j (X )
；
3.构造惩罚函数，调用无约束优化方法，求解
min ( X , r ( K ) ) 的极值点；
4.检验迭代终止条件
* * XK XK 1 1 ,
1 104 ~ 105
2
或
k*
* k
* k 1
2 10 ~ 10
3
4
* X 若满足，则输出 K ；
内点惩罚函数法
1.惩罚函数法的基本思想：
根据约束特性构造惩罚函数，并将其加到目 标函数中去，将约束非线性规划问题转化为一 系列无约束极值子问题，然后按无约束优化方 法来求解。这种“惩罚”策略，给于无约束极 值问题求解过程中企图违反约束的那些迭代点 以很大的目标函数值，而子问题的目的是极小 化目标函数，这样迫使无约束子问题的极小点 趋向于满足约束条件。重复此过程使得它们的 解在极限情况下趋向原问题的约束极小值。
惩罚函数法属于间接法，它先建立一个新函数 即惩罚函数，把有约束问题转化为一系列无约 束优化问题来处理，这种转化必须满足两个前 提条件：
1.不破坏原约束优化问题的约束条件；
2. 最优解必须归结到原约束优化问题最优解上
( X , r ( K ) ) f ( X ) r ( K ) G[ g j ( X )] m( K ) H [hk ( X )]
罚函数法
x ∂ 2φ ' ∂ (∂y x ) 2
就是Hesse矩阵，这时大于零（或小于零）与Hesse的正 矩阵，这时大于零（或小于零） 就是 矩阵 的正 或负定）是一致的， 定（或负定）是一致的，二者都可作为判定泛函数极值的 充分条件。 充分条件。
式中： 式中：x(t)---m维状态函数向量； w(t)---r维决策函数向量； f---微分形式状态方程； t---时间变量； t0---初始时刻； tf---终止时刻。
目标函数随状态变量和决策变量的不同而 不同，也就是说目标函数是函数都是函数。在 不同，也就是说目标函数是函数都是函数。 数学上，这种函数称为泛函， 数学上，这种函数称为泛函，求泛值的问题称 为变分问题。 为变分问题。 因此， 因此，连续系统的最优化问题就是一个变 分问题。 分问题。由于求泛函的极小问题也是一种极值 问题。 问题。 对于无约束问题， 对于无约束问题，根据极值存在的充分必 要条件求极值；对于有约束的最优化问题， 要条件求极值；对于有约束的最优化问题，则 先利用拉格朗日函数或罚函数， 先利用拉格朗日函数或罚函数，将其转化成无 约束最优化问题后再求解。 约束最优化问题后再求解。
动态系统参数的最优化又称连续系统最优化，因 为优化问题的解是t的连续函数。 动态参数优化问题的一般模型：
min J = min{
∫
tf
t0
F [ x ( t ), w ( t ), t ] dt + s [ x ( t f ), t f ]}
dx ( t ) s .t . = f [ x ( t ), w ( t ), t ] dt g [ x ( t ), w ( t ), t ] ≥ 0 c [ x ( t ), w ( t ), t ] = 0 初始条件： x (t 0 ) = x 0
就是Hesse矩阵，这时大于零（或小于零）与Hesse的正 矩阵，这时大于零（或小于零） 就是 矩阵 的正 或负定）是一致的， 定（或负定）是一致的，二者都可作为判定泛函数极值的 充分条件。 充分条件。
式中： 式中：x(t)---m维状态函数向量； w(t)---r维决策函数向量； f---微分形式状态方程； t---时间变量； t0---初始时刻； tf---终止时刻。
目标函数随状态变量和决策变量的不同而 不同，也就是说目标函数是函数都是函数。在 不同，也就是说目标函数是函数都是函数。 数学上，这种函数称为泛函， 数学上，这种函数称为泛函，求泛值的问题称 为变分问题。 为变分问题。 因此， 因此，连续系统的最优化问题就是一个变 分问题。 分问题。由于求泛函的极小问题也是一种极值 问题。 问题。 对于无约束问题， 对于无约束问题，根据极值存在的充分必 要条件求极值；对于有约束的最优化问题， 要条件求极值；对于有约束的最优化问题，则 先利用拉格朗日函数或罚函数， 先利用拉格朗日函数或罚函数，将其转化成无 约束最优化问题后再求解。 约束最优化问题后再求解。
动态系统参数的最优化又称连续系统最优化，因 为优化问题的解是t的连续函数。 动态参数优化问题的一般模型：
min J = min{
∫
tf
t0
F [ x ( t ), w ( t ), t ] dt + s [ x ( t f ), t f ]}
dx ( t ) s .t . = f [ x ( t ), w ( t ), t ] dt g [ x ( t ), w ( t ), t ] ≥ 0 c [ x ( t ), w ( t ), t ] = 0 初始条件： x (t 0 ) = x 0
分享：惩罚函数法（内点法、外点法）求解约束优化问题最优值
分享：惩罚函数法（内点法、外点法）求解约束优化问题最优值1 用外点法求下列问题的最优解方法一：外点牛顿法：clcm=zeros(1,50);a=zeros(1,50);b=zeros(1,50);f0=zeros(1,50);% a b为最优点坐标，f0为最优点函数值，f1 f2最优点梯度。
syms x1 x2 e; %e为罚因子。
m(1)=1;c=10;a(1)=0;b(1)=0; %c为递增系数。
赋初值。
f=x1^2+x2^2+e*(1-x1)^2;f0(1)=1;fx1=diff(f,'x1');fx2=diff(f,'x2');fx1x1=diff(fx1,'x1');fx1x2=diff(fx1,'x2');fx2x1=diff(fx2,'x1');fx2x2=diff(fx2,'x2');%求偏导、海森元素。
for k=1:100 %外点法e迭代循环.x1=a(k);x2=b(k);e=m(k);for n=1:100 %梯度法求最优值。
f1=subs(fx1); %求解梯度值和海森矩阵f2=subs(fx2);f11=subs(fx1x1);f12=subs(fx1x2);f21=subs(fx2x1);f22=subs(fx2x2);if(double(sqrt(f1^2+f2^2))<=0.001) %最优值收敛条件a(k+1)=double(x1);b(k+1)=double(x2);f0(k+1)=double(subs (f));break;elseX=[x1 x2]'-inv([f11 f12;f21 f22])*[f1 f2]';x1=X(1,1);x2=X(2,1);endendif(double(sqrt((a(k+1)-a(k))^2+(b(k+1)-b(k))^2))<=0.001)&&(double(abs((f0(k+1)-f0(k))/f0(k)))<=0.001) %罚因子迭代收敛条件a(k+1) %输出最优点坐标，罚因子迭代次数，最优值b(k+1)kf0(k+1)break;elsem(k+1)=c*m(k);endend方法二：外点梯度法：clcm=zeros(1,50);a=zeros(1,50);b=zeros(1,50);f0=zeros(1,50);syms d x1 x2 e;m(1)=1;c=10;a(1)=0;b(1)=0;f=x1^2+x2^2+e*(1-x1)^2; f0(1)=1;fx1=diff(f,'x1');fx2=diff(f,'x2');for k=1:100x1=a(k);x2=b(k);e=m(k);for n=1:100f1=subs(fx1);f2=subs(fx2);if(double(sqrt(f1^2+f2^2))<=0.002)a(k+1)=double(x1);b(k+1)=double(x2);f0(k+1)=double(subs (f));break;elseD=(x1-d*f1)^2+(x2-d*f2)^2+e*(1-(x1-d*f1))^2;Dd=diff(D,'d'); dd=solve(Dd); x1=x1-dd*f1; x2=x2-dd*f2;endendif(double(sqrt((a(k+1)-a(k))^2+(b(k+1)-b(k))^2))<=0.001)&&(double(abs((f0(k+1)-f0(k))/f0(k)))<=0.001) a(k+1)b(k+1)kf0(k+1)break;elsem(k+1)=c*m(k);endend2,点法求下列问题的最优解内点牛顿法clcm=zeros(1,50);a=zeros(1,50);b=zeros(1,50);f0=zeros(1,50);syms x1 x2 e;m(1)=1;c=0.2;a(1)=2;b(1)=-3;f=x1^2+x2^2-e*(1/(2*x1+x2-2)+1/(1-x1)); f0(1)=15;fx1=diff(f,'x1');fx2=diff(f,'x2');fx1x1=diff(fx1,'x1');fx1x2=diff(f x1,'x2');fx2x1=diff(fx2,'x1');fx2x2=diff(fx2,'x2');for k=1:100x1=a(k);x2=b(k);e=m(k);for n=1:100f1=subs(fx1);f2=subs(fx2);f11=subs(fx1x1);f12=subs(fx1x2);f21=subs(fx2x1);f22=subs(fx2x2);if(double(sqrt(f1^2+f2^2))<=0.002)a(k+1)=double(x1);b(k+1)=double(x2);f0(k+1)=double(subs (f));break;elseX=[x1 x2]'-inv([f11 f12;f21 f22])*[f1 f2]';x1=X(1,1);x2=X(2,1);endendif(double(sqrt((a(k+1)-a(k))^2+(b(k+1)-b(k))^2))<=0.001)&&(double(abs((f0(k+1)-f0(k))/f0(k)))<=0.001) a(k+1)b(k+1)kf0(k+1)break;elsem(k+1)=c*m(k);endend。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
小结
由以上可见，如果选择一个可行点作初 始点 x ( 0 ) ，令其罚因子 r ( k ) 由大变小， 通过求罚函数 ( x, r ( k ) ) 的一系列最优点，
显见，无约束最优点序列将逐渐趋近于原约 束优化问题的最优点x*。
* xk (k 0,1,2, )
㈡内点罚数法的形式及特点
⑴具有不等式约束的优化问题的数学模型
㈢初始点x(0)的选取
由于内点法的搜索是在可行域内进行，显然初始点必须 是域内可行点。须满足
确定初始点常用如下两种方法
⑴自定法 即根据设计者的经验或已有的计算资料自行决 定某一可行点作为初始点。 ⑵搜索法 任选一个设计点 为初始点。通过对初始点 约束函数值的检验，按其对每个约束的不满足程度加以调 整，将 点逐步引入到可行域内，成为可行初始点， 这就是搜索法。
5.3.4.2 外点法
外点法可以解不等式约束优化问题或等式约束优化问题
㈠引例
设有一维不等式优化问题的数学模型
S.T. :
用外点法构造惩罚函数，具体构造形式如下 x≥b x<b
写成另一种形式
如上图，此处的惩罚函数也是由原目标函数F(x)与惩罚 项而组成。惩罚项中包含有可调整的参数r(k)与约束函数。 由惩罚项的构造可知，若迭代点在可行域的内部，惩罚 项的值为0，惩罚函数值与原目标函数值相等；而若在非可 行域（即可行域的外部），惩罚项是以约束函数的平方加 大的，即迭代点违反约束越严重，惩罚项的值增加的越大。 因此，在非可行域内，必有 且罚因子r（k）越 大，惩罚作用越明显。 由图，对于某r(k)值，求出惩罚函数 的最优点 当取罚因子 为递增数列，随k的增加，罚函数的无约束最 优点序列为
1 g１( x)
⑶若对于罚因子的取值由初始的 逐渐变小 时，惩罚函数 ( x, r ( k ) ) 愈逼近于原目标函数F（x），罚 函数曲线越来越接近于原F（x）=ax直线，如图所示，对 * * 应罚函数 ( x, r ( k ) ) 的最优点列 x0 , x1 , 不断趋近于原约 束优化问题的最优点x*=b
S.T. :
u=1，2……，p
1 u 1 g u ( x)
p
⑵构造如下形式的内点罚函数
( x, r ) F ( x ) r
(k )
(k )
关于惩罚因子规定为正，即 。且在优化过程中 是减小的，为确保为递减数列，取常数C
r ( k ) Cr ( k 1) , 称系数C为罚因子降低系数
㈣关于几个参数的选择
⑴初始罚因子r(0)的选取
如果 值选得太大，则在一开始罚函数的惩罚项的 值将远远超出原目标函数的值，因此，它的第一次无约束极 小点将远离原问题的约束最优点。在以后的迭代中，需要很 长时间的搜索才能使序列无约束极小点逐渐向约束最优点逼近。
如果 值选得太小，则在一开始惩罚项的作用甚小， 而在可行域内部惩罚函数 与原目标函数F(x)很相近， 只在约束边界附近罚函数值才突然增高。这样，使其罚函数 在在约束边界附近出现深沟谷地，罚函数的性态变得恶劣。
5.3.4 惩罚函数法
惩罚函数法简介 内点法 外点法 混合法 总结
惩罚函数法简介
惩罚函数法是一种使用很广泛、很有效的间接法。
基本原理： 把约束优化问题转化成无约束优化问题来求解。 两个前提条件： 一是不破坏原约束的约束条件 二是最优解必须归结到原约束问题的最优解上去
按照惩罚函数的构成方式，惩罚函数法分为三种： 外点法、内点法、混合法
S.T. :
h1(x)=x1+x2-10=0
如右图，h1(x)为该约束 问题的可行域，这条直线以 外的整个x1ox2平面为非可 行域。目标函数等值线与该 直线的切点为最优点
最优点
按外点法的基本思想，构造惩罚函数 x∈D x∈D 在可行域上，惩罚项的值为零，惩罚函数值与原目标函数 值相同；在非可行域上，惩罚函数的值恒为正，罚函数大于 原目标函数，即在可行域外惩罚项起到了惩罚作用。 对于m(k)，随着k的增大，得无约束最优点列
惩罚函数
r(k) 、m(k)-----罚因 子
惩罚项
5.3.4.1 内点法
㈠引例
设有一维不等式约束优化问题的数学模型
S.T. :
由图可见，目标函数的可行域为x≥b，在可行域内目标函数 单调上升，它的最优解显然是 x*=b ，F*=ab
对引例的惩罚函数进行分析，以对内点法有初步认识： ⑴本问题是不等式约束优化问题，故只有一项惩罚项 ，一个罚因子 ⑵规定罚因子 为某一正数，当迭代点是在可行域内 时，则惩罚项的值必为正值，因此必有
(0) * xk 1 xk
-
k k 1
㈦内点罚函数的特点
内点法只适用于解不等式约束优化问题。由于内点法 需要在可行域内部进行搜索，所以初始点必须在可行域 内部选取可行设计点。 内点法的突出优点在于每个迭代点都是可行点 因此，当迭代达到一定阶段时，尽管尚没有达到最优点， 但也可以被接受为一个较好的近似解。
㈢对几个问题的讨论
（1）初始点x(0)的选取 在可行域及非可行域内均可。
（2）初始罚因子r(0)和递增系数C的选取
外点法中，这两者的选择对算法的成败和计算速度有显著 的影响。
选取过小，则序贯 无约束求解的次数就增 多，收敛速度慢；反之， 则在非可行域中，发函 数比原目标函数要大得 多，特别在起作用约束 边界处产生尖点，函数 性态变坏，从而限制了 某些无约束优化方法的 使用，致使计算失 败。 C的选取影响不大，通 常C=5-10
x∈Rn 任选初始点x(0)，初始法罚因子r(0)>0,罚因子递增系数C>1 对于r(k)为某一值，同过对惩罚函数的无约束求优，可 得最优点 。随着k的增大，得无约束最优点列
在k←∞的过程中，点列将趋近于原问题的最优点
实线为原目标 函数等值线
虚线为罚函数 等值线
总结 由上图可见，两种等值线在可行域内部及边界上是重合 的；而在非可行域中，罚函数的等值线升高了。即只有在 可行域外部惩罚项才起到惩罚的作用。r(k)值越大，惩罚作 用越大。 由上b图可知，在起作用约束边界处罚函数等值线变得越 密集和越陡峭。随r(k)的增大，最优点列将越接近于原约束 优化问题的最优点x*。但须注意，近似的最优点是落在边 界处非可行域一侧。
如下图，对于有深沟谷地性态差的函数，不仅搜索所需的 时间长，而且很难使迭代点进入最优的邻域，以致极易使 迭代点落入非可行域而导致计算的失败。
或
r（0）=1~50
⑵递减系数C的选择 罚因子递减系数C的选择，一般认为对算法的成败影响 不大。规定0<C<1。 若C值选得较小，罚因子下降快，可以减少无约束优化 的次数，但因前后两次无约束最优点之间的距离较远，有 可能使后一次无约束优化本身的迭代次数增多，而且使序 列最优点的间隔加大，对约束最优点的逼近不利。 相反，若C值取得较大，则无约束优化次数就要增多。
该序列将趋近与原约束问题的最优点x*，x*=b。 值得注意的是，尽管 增加直至趋于无穷大，但最终 的近似最优点x*仍在可行域的外部。 即外点法构造的罚函数是使迭代点从可行域的外部逐 渐逼近约束最优点，这正是外点法名称的由来。
㈡外点罚函数法的形式及特点
先讨论解不等式约束优化问题 设有不等式约束优化问题
=0 关于惩罚项 r ( k )
u 1 p
0<C<1
或
1 ，由于在可行域内有 g u ( x) 0 ， g u ( x)
且 r ( k ) 永远取正值，故在可行域内惩罚项永为正。 r ( k ) 的值越小则惩罚项的值越小。
由于在约束边界上有 ，因此，当设计点趋 于边界时，惩罚项的值将趋于无穷大。由此可知，在可 行域内，始终有 。 当 时 ，却有 ，所以整个最 优化的实质就是用罚函数 去逼近原目标函数F(x); 当设计点逐渐由内部趋近于边界时，由于惩罚项无穷 增大，则罚函数也将无穷增大。 从函数图形上来看，犹如在可行域的边界上筑起一 道陡峭的高墙，使迭代点自动保持在可行域内，用此办 法来保证搜索过程自始至终不离开可行域。所以，内点法 也常称为围墙函数法。
而且，当x越趋近于约束边界时，由于惩罚项 r ( k )
增大，所以罚函数 ( x, r ( k ) ) 的值越大。当x←b时，罚函 数的值将趋近于+∞。因此，当初始点取在可行域内，求 函数 ( x, r ( k ) ) 的极小值时，只要适当控制搜索步长， 防止迭代点跨入非可行域，则所搜索到的无约束极小点 x*必可保持在可行域内。
通常建议取C=0.1--0.5
㈤终止准则
随着罚因子 的值不断减小，罚函数的序列无约 束最优点将越来越趋近于原约束优化问题的最优点。 设惩罚函数 的无约束最优点列为
对应的罚函数值为
终止准则可用下述两者之一
⑴相邻两次惩罚函数无约束最优点之间的距离已足够的小。
设ε1为收敛精度，一般取ε1=10-4-10-5，则需要满足
⑵相邻两次惩罚函数值的相对变化量已足够小。 设ε2为收敛精度，一般取ε2=10-3-10-4，则需要满足
㈥算法步骤
⑴构造内点惩罚函数 ⑵选择可行初始点 数C，收敛精度 与 ⑶求无约束优化问题， ⑸臵k←k+1， ，初始罚因子 ，臵k←0 ，罚因子降低系 。
有最优点
⑷当k=0时转步骤⑸，否则转步骤⑹ ，并转步骤⑶ ⑹由终止准则，若满足则转步骤⑺，否则转⑸ ⑺ , 输出最优解(x*,F*)
终止准则可用下述两者之一
⑴相邻两次惩罚函数无约束最优点之间的距离已足够的小。
设ε1为收敛精度，一般取ε1=10-4-10-5，则需要满足
⑵相邻两次惩罚函数值的相对变化量已足够小。 设ε2为收敛精度，一般取ε2=10-3-10-4，则需要满足
㈣算法步骤与流程图
入口
给定：x(0) ∈R ,r(0),C,ε1,ε2
算法步骤 ⑴在n维空间任取初始点x（0） ⑵选取初始罚因子r(0),递增系数C，并臵k←0 ⑶求 ，得最优点