第四章约束问题的最优化方法
合集下载
第四章约束问题的最优化方法
当limr(k) 0 k
则(x, r(k) ) f (x) , xk * x *
例： 用内点法求
min
f
(x)
x2 1
x2 2
s.t. g( x) 1 x1 0 的约束最优解。
解:
首先构造内点惩罚函数: (
x,
r)
x2 1
x2 2
rk
ln(x1
1)
用解析法求函数的极小值，运用极值条件：
二. 直接解法：
基本思想：合理选择初始点，确定搜索方向，以迭代公式 x(k+1)= x(k)+α(k)S(k)在可行域中寻优，经过若干次迭代，收敛至最优点。 适用范围：只能求解不等式约束优化问题的最优解。
基本要点：选取初始点、确定搜索方向及适当步长。
搜索原则：每次产生的迭代点必须满足可行性与适用性两个条件。 可行性：迭代点必须在约束条件所限制的可行域内，即满足
1
u1 gu (x)
② .(x, r(k) )
m
f (x) r(k)
1
u1 gu (x)
③ .(x, r (k) )
f (x)
m
r (k) u u 1
1 gu (x)
其中：gu (x) 0,u 1,2,...m
其中：gu (x) 0,u 1,2,...m
gu(x)0, u=1,2,…,p
适用性：当前迭代点的目标函数值较前一点是下降的，即满足 F(xk+1)<F(xk)
收敛条件：
• 边界点的收敛条件应该符合 K-T 条件；
• 内点的收敛条件为： xk1 xk 1
和
机械优化设计-第04章 多维有约束优化方法
第四章：多维有约束优化方法4.1概述一、多维有约束问题的数学模型机械优化设计问题绝大多数是属于多维有约束非线性规划，其数学模型可表示为式中a i、b i分别为x i的下界和上界。
在求解约束优化问题时，虽然可以利用第三章的无约束优化方法，再加上约束的逻辑判断，使搜索点保持在可行域内逐步逼近约束最优解，但这样处理太复杂，缺乏严格的科学性。
因此，出现了一些直接求解约束优化问题的方法，其基本思路也是数值迭代法。
目前，约束优化方法虽然不如无约束优化方法那样多而完善，但对求解工程优化问题已有很多较好的方法。
二、多维有约束优化方法的分类（1)直接法直接法包括：网格法、分层降维枚举法、复合形法、随机试验法、随机方向法、可变容差法和可行方向法。
(2)间接法间接法包括：罚函数法、内点罚函数法、外点罚函数法、混合罚函数法、精确罚函数法、广义乘子法、广义简约梯度法和约束变尺度法。
直接法不需要利用目标函数和约束函数的梯度，就可直接利用迭代点和目标函数值的信息来构造搜索方向。
间接法要利用目标、约束函数的梯度，其中也包括利用差分来近似梯度的应用。
很多约束优化方法是先转变成无约束优化方法来求解。
可见，无约束优化方法也是也是约束优化方法的基础。
4.2复合形法一、方法概述基本思路：在可行域中选取K个设计点（n+1≤K≤2n）作为初始复合形的顶点。
比较各顶点目标函数值的大小，去掉目标函数值最大的顶点(称最坏点)，以坏点以外其余各点的中心为映射中心，用坏点的映射点替换该点，构成新的复合形顶点。
反复迭代计算，使复合形不断向最优点移动和收缩，直至收缩到复合形的顶点与形心非常接近，且满足迭代精度要求为止。
初始复合形产生的全部K个顶点必须都在可行域内。
二、初始复合形的产生复合形法是一种在可行域内收索最优点大直接解法。
(1)确定可行点作为初始复合形的第一个顶点：式中：通过调整随机数，使第一个初始点控制在可行域范围内。
(2)产生其余（K－1）个随机点。
最优化方法4-1第四章 约束最优化方法-KKT条件
（I） x*为问题的局部最优解且 I*={i| c i (x*)=0, 1≤i≤m };
(II) f(x)和 c i (x)（i∈I*）在 x*点可微；
（III）c i (x)（i∈I\ I*）在 x*点连续
则 S={p∈Rn | ▽f(x*)Tp<0}
与 G={ p∈Rn |▽c i(x* )Tp>0, i∈I*} 的交是空集，
（iii）▽ci(x*)(i=1,2,…,l)线性无关；
则存在一组不全为零的实数 1*… l*使得
l
▽f(x*)- i *▽c i(x*)=0 1
定义 n+l 元函数：
l
L(x, )=f(x)- Tc(x)=f(x)- ici(x) i1 为 lagrange 函数，
1
1 2
x1 x2 1 0
的 KT 点为 x* (0, 3)T,相应乘子为* (1 ,0)T。
6
例 2：验证(2,1)T 为下面约束优化问题的 K-T 点.
min
f ( x1 , x2 ) ( x1 3)2 ( x2 2)2
恰好给出等式约束问题的一阶必要条件
及 c i(x*)=0，i=1, …,l
点（X*, *）称为 lagrange 函数 L（x, ）的驻点。
几何意义是明显的：考虑一个约束的情况：
-▽f(x*)
-▽f(x ) x
▽c(x )
c(x)
▽c(x*)
这里 x* 是局部最优解，
▽f(x*)与▽c(x*) 共线，
称 为 lagrange 乘子向量。
lagrange 函数的梯度为
▽L(x, )=(▽xL,▽ L)T
(II) f(x)和 c i (x)（i∈I*）在 x*点可微；
（III）c i (x)（i∈I\ I*）在 x*点连续
则 S={p∈Rn | ▽f(x*)Tp<0}
与 G={ p∈Rn |▽c i(x* )Tp>0, i∈I*} 的交是空集，
（iii）▽ci(x*)(i=1,2,…,l)线性无关；
则存在一组不全为零的实数 1*… l*使得
l
▽f(x*)- i *▽c i(x*)=0 1
定义 n+l 元函数：
l
L(x, )=f(x)- Tc(x)=f(x)- ici(x) i1 为 lagrange 函数，
1
1 2
x1 x2 1 0
的 KT 点为 x* (0, 3)T,相应乘子为* (1 ,0)T。
6
例 2：验证(2,1)T 为下面约束优化问题的 K-T 点.
min
f ( x1 , x2 ) ( x1 3)2 ( x2 2)2
恰好给出等式约束问题的一阶必要条件
及 c i(x*)=0，i=1, …,l
点（X*, *）称为 lagrange 函数 L（x, ）的驻点。
几何意义是明显的：考虑一个约束的情况：
-▽f(x*)
-▽f(x ) x
▽c(x )
c(x)
▽c(x*)
这里 x* 是局部最优解，
▽f(x*)与▽c(x*) 共线，
称 为 lagrange 乘子向量。
lagrange 函数的梯度为
▽L(x, )=(▽xL,▽ L)T
最优化理论第四章约束问题最优性条件
定理4.2
设x* s, f ( x), g i ( x), (i I )在x*可微，g i ( x), (i I )在x *连续，
如果x*是问题 2 的局部最优解，则F0 G0 =。 （证明从略）
2.2 定理4.3 （Fritz，John条件）
* 设x* s，I i g i ( x* ) 0 ，f , g i (i I )在x*处可微，g （ i i I）在x 处连续，
第
四
章
约束问题的最优性 条件（P206）
min f(x) 约束优化： s.t. gi (x) 0, h ( x) 0, j
x Rn i 1,..., m j 1,..., l
s x gi ( x) 0, i 1,..., m; h j ( x), j 1,..., l
iI
①K-T条件
* 进一步条件，若g（ i I ）在 x 处可微，K-T条件为： i m （ f x*） - wi gi ( x* ) 0 ② i 1 ② * m n方程组 wi gi ( x ) 0, i 1,..., m ③ ③ ④ wi 0, i 1,..., m * 给定x ，验证是否符合K-T条件用① 应用 * x 未定，求解K-T点，求解② +③
2.4
定理4.5 （约束问题最优解的一阶充分条件）
问题（2）中，f 是凸函数，g （ ）是凹函数，s为可行域，x* s, i i 1,..., m I i gi ( x* ) 0 , f 和gi (i I )在点x*可微，gi (i I )在点x*连续，且在x*处 K - T 条件成立，则x*为全局最优解。 x 1， 0 为全局最优解（例子）
第四章 约束非线性优化
* * 则存在非零向量 * (1* , 2 , ..., m )T 使得
m * 0 f ( x * ) i*ci ( x * ) 0, i 1 *c ( x * ) 0, * 0, i 1, 2, ..., m; * 0. i 0 i i
f ( x* d ) f ( x* ) 且 ci ( x * d ) 0
对于0 = 都成立,这与已知x*为局部极小矛盾.
最优化方法之约束非线性规划 怀化学院数学系
最优性条件
定理4.1( Fritz John一阶必要条件)
设x*为(1)的局部极小点且f ( x ), ci ( x )(1 i m )在点x*可微,
i 1 m
最优化方法之约束非线性规划
怀化学院数学系
最优性条件
Gordan引理的几何意义为:
不存在向量d 使aiT d 0( i 1, ..., m ),是指向量a1 , a2 , ..., am不同时
处于过原点的任何超平面的同一侧.
这时,总可以适当放大或缩小各向量的长度,使变化后 各向量的组合为零向量. 引理4.3(几何最优性条件) 在问题(1)中,假定x*为(1)的局部
% % 不等式约束ci ( x ) 0为x的有效约束;反之，若有ci ( x ) 0, % % 则称不等式约束ci ( x ) 0为x的非有效约束.称所有在x处的 有效约束的下标组成的集合
% % I ( x ) {i | ci ( x ) 0} {1, 2, ..., m}
% % 为x处的有效约束指标集, 简称x处的有效集. 在讨论两个重要引理前先给出凸锥的定义. 定义4.2 设非空集合C Rn , 某一点x C .对d Rn和t 0, 当x d C时,必有x td C , 则称C为以x为顶点的锥.当C
m * 0 f ( x * ) i*ci ( x * ) 0, i 1 *c ( x * ) 0, * 0, i 1, 2, ..., m; * 0. i 0 i i
f ( x* d ) f ( x* ) 且 ci ( x * d ) 0
对于0 = 都成立,这与已知x*为局部极小矛盾.
最优化方法之约束非线性规划 怀化学院数学系
最优性条件
定理4.1( Fritz John一阶必要条件)
设x*为(1)的局部极小点且f ( x ), ci ( x )(1 i m )在点x*可微,
i 1 m
最优化方法之约束非线性规划
怀化学院数学系
最优性条件
Gordan引理的几何意义为:
不存在向量d 使aiT d 0( i 1, ..., m ),是指向量a1 , a2 , ..., am不同时
处于过原点的任何超平面的同一侧.
这时,总可以适当放大或缩小各向量的长度,使变化后 各向量的组合为零向量. 引理4.3(几何最优性条件) 在问题(1)中,假定x*为(1)的局部
% % 不等式约束ci ( x ) 0为x的有效约束;反之，若有ci ( x ) 0, % % 则称不等式约束ci ( x ) 0为x的非有效约束.称所有在x处的 有效约束的下标组成的集合
% % I ( x ) {i | ci ( x ) 0} {1, 2, ..., m}
% % 为x处的有效约束指标集, 简称x处的有效集. 在讨论两个重要引理前先给出凸锥的定义. 定义4.2 设非空集合C Rn , 某一点x C .对d Rn和t 0, 当x d C时,必有x td C , 则称C为以x为顶点的锥.当C
最优化方法与理论第四章 例题
解 Lagrange 函数为
x1 x2 5.
x1 x2 5 0
L( x1 , x2 , ) ( x1 2) 2 ( x2 1) 2 ( x1 x2 5) ，
令 L( x1 , x2 , ) 0 ，即
2( x1 2) 0, 2( x2 1) 0, x x 5 0. 2 1
T
定理 4.5(几何最优性条件)
若 x * 是约束问题（4.7）的局部最优点，则点 x * 的容
许方向锥与下降方向锥的交集是空集.
定理 4.5 表明：在最优点处，一定不存在下降容许方向.换句话说，在最优点处，或 者不存在下降方向，或者任何下降方向都不是容许方向.
定理 4.5 表明：不等式方程组
T ) p 0, i I si ( x T f ( x ) p 0
无解.
引理 4.8（Gordan） 设 a1 , a2 ,, am 是 n 维向量，则不存在向量 p 使得
aiT p 0, i 1, 2,, m
成立的必要条件是，存在不全为零的非负数 1 , 2 ,, m 使得
T
(2)K-T 条件为
2( x1 2) 2 x1 0 , 2 x2 0 2( x2 1) 2 2 (9 x1 x2 ) 0, 0.
① ② ③
由③，若 0 ，代入①得 x1 2, x2 1 .由于[2,1]T∈D，所以[2,1]T 是 K-T 点.又 因是凸规划问题，所以[2,1]T 是最优解.
x1 x2 5.
x1 x2 5 0
L( x1 , x2 , ) ( x1 2) 2 ( x2 1) 2 ( x1 x2 5) ，
令 L( x1 , x2 , ) 0 ，即
2( x1 2) 0, 2( x2 1) 0, x x 5 0. 2 1
T
定理 4.5(几何最优性条件)
若 x * 是约束问题（4.7）的局部最优点，则点 x * 的容
许方向锥与下降方向锥的交集是空集.
定理 4.5 表明：在最优点处，一定不存在下降容许方向.换句话说，在最优点处，或 者不存在下降方向，或者任何下降方向都不是容许方向.
定理 4.5 表明：不等式方程组
T ) p 0, i I si ( x T f ( x ) p 0
无解.
引理 4.8（Gordan） 设 a1 , a2 ,, am 是 n 维向量，则不存在向量 p 使得
aiT p 0, i 1, 2,, m
成立的必要条件是，存在不全为零的非负数 1 , 2 ,, m 使得
T
(2)K-T 条件为
2( x1 2) 2 x1 0 , 2 x2 0 2( x2 1) 2 2 (9 x1 x2 ) 0, 0.
① ② ③
由③，若 0 ，代入①得 x1 2, x2 1 .由于[2,1]T∈D，所以[2,1]T 是 K-T 点.又 因是凸规划问题，所以[2,1]T 是最优解.
最优化计算方法(工程优化)第4章
f (x*) 0, 2 f x 正定，则 x 为 f (x) 的严格局部极小
点。
如果 2 f x 负定，则 x 为 f (x) 的严格局部极大点。
无约束优化的最优性条件----凸优化的一阶条件
定理(一阶充要条件)
设 f : Rn R 是凸函数且在 x 处连续可微，则 x 为 f (x)的全局极小点的充要条件是 f (x*) 0.
f (x p) f (x)+f (x)T p o( )
P是什么方向时，函数值 f (x p) 下降最快？也就是
p是什么方向时，f (x)T p 取得最小值？
f (x)T p f (x) p cos(f (x), p)
当 cos(f (x), p) 1 时，f (x)T p 最小，最小值为
令 f x 0, 即：
利用一阶条件 求驻点
利用二阶条件 判断驻点是否 是极小点
x12 1 0
x22
2x2
0
得到驻点： 1 1 1 1
x1
0 ,
x2
2 ,
x3
0
,
x4
2
.
无约束优化的最优性条件
函数 f x 的Hesse阵：
2
f
x
2x1
0
0
2
x2
2
利用二阶条件 判断驻点是否 是极小点
2 0
0 2
的行列式小于0；
x1, x4是鞍点；
2
f
x2
2 0
0
2
是正定矩阵；
x2 是极小点；
2
f
x3
2 0
0 2
是负定矩阵；
x3 是极大点。
• 对某些较简单的函数，这样做有时是可行的；
点。
如果 2 f x 负定，则 x 为 f (x) 的严格局部极大点。
无约束优化的最优性条件----凸优化的一阶条件
定理(一阶充要条件)
设 f : Rn R 是凸函数且在 x 处连续可微，则 x 为 f (x)的全局极小点的充要条件是 f (x*) 0.
f (x p) f (x)+f (x)T p o( )
P是什么方向时，函数值 f (x p) 下降最快？也就是
p是什么方向时，f (x)T p 取得最小值？
f (x)T p f (x) p cos(f (x), p)
当 cos(f (x), p) 1 时，f (x)T p 最小，最小值为
令 f x 0, 即：
利用一阶条件 求驻点
利用二阶条件 判断驻点是否 是极小点
x12 1 0
x22
2x2
0
得到驻点： 1 1 1 1
x1
0 ,
x2
2 ,
x3
0
,
x4
2
.
无约束优化的最优性条件
函数 f x 的Hesse阵：
2
f
x
2x1
0
0
2
x2
2
利用二阶条件 判断驻点是否 是极小点
2 0
0 2
的行列式小于0；
x1, x4是鞍点；
2
f
x2
2 0
0
2
是正定矩阵；
x2 是极小点；
2
f
x3
2 0
0 2
是负定矩阵；
x3 是极大点。
• 对某些较简单的函数，这样做有时是可行的；
工程优化方法及应用 第四章1-2节
2 x x -0f x 1/2
1 0 0
Page 8
第2次迭代：
-1 f x , -2
1
|| f x1 || 5 0.5,
1
2+1 x x -1f x = 1/2+2 1 ( )=f x1 -f x1 =f 2+ ,1/2+2
2、其基本思想和逻辑结构可以推广到约束问题；
3、约束问题可以转化成无约束问题求解。
f ( x), x D min f ( x) min F ( x), 其中F ( x) n xD 类
解析法：对简单问题，求解必要条件或充分条件； 零阶法：只需计算函数值 f(x) 迭代算法 一阶法：需计算 ▽f(x) 梯度法 二阶法：需计算 ▽2f(x) 建立迭代算法的关键：确定迭代格式
3
5/2+22 3 x x -2f ( x )= = ， 3/2 2 5/4
继续迭代可得到函数的近似最优解。
Page 10
2 2 例 用最速下降法求函数 f ( x1 , x2 )＝x1 的极小点（迭代两 4 x2 T 次）。 并验证相邻两个搜索方向是正交的。初始点 x 0 1,1 。
No
Page 6
Yes stop. x* =xk
dk= －▽f(xk ) min f(xk+λdk) s.t. λ >0 得最佳步长因子λk 令： xk+1=xk+λkdk 解
最速下降法的算例
取 x 0 1,1T , =0.5. 解：函数的梯度为
Page 7
2 2 min f ( x ) x 2 x 例 利用最速下降法求解 1 2 2 x1 x2 4 x1 ,
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
这种方法是1968年由美国学者A．V．Fiacco和G．P．Mcormick 提出的，把不等式约束引入数学模型中，为求多维有约束非线性规 划问题开创了一个新局面。
适用范围：求解等式约束优化问题和一般约束优化问题。
§4.2 内点惩罚函数法（障碍函数法）
一. 基本思想： 内点法将新目标函数 Φ( x , r ) 构筑在可行域 D 内，随着惩罚 因子 r(k) 的不断递减，生成一系列新目标函数 Φ (xk ,r(k))，在可 行域内逐步迭代，产生的极值点 xk*(r(k)) 序列从可行域内部趋向
新目标函数： ( x, r1 , r2 ) f ( x) r1 G[ gu ( x)] r2 H [hv ( x)] u 1 v 1 其中r Ggu ( x) 和 r H hv ( x) 称为加权转化项，并根据它们在惩 v 1 u 1 罚函数中的作用，分别称为障碍项和惩罚项。
3. 调用无约束优化方法，求新目标函数的最优解 xk* 和 Φ(xk , r(k) ) ； 4. 判断是否收敛：运用终止准则
①
x( k 1) * (r ( k 1) ) xk * (r ( k ) ) 1
②
( x( k 1) * (r ( k 1) )) ( xk * (r ( k ) )) ( x( k 1) * (r ( k 1) ))
[ x* (r k ), r k ] [ x* (r k 1 ), r k 1 ] 1 * k 1 k 1 [ x (r ), r ]
x * (r k ) x* (r k 1 ) 2
五.
方法评价：
用于目标函数比较复杂，或在可行域外无定义的场合下： 由于优化过程是在可行域内逐步改进设计方案，故在解决工程
k 1 k k 1
1
k
k
2
特点：① 在可行域内进行； ② 若可行域是凸集，目标函数是定义在凸集上的凸函数，
则收敛到全局最优点；否则，结果与初始点有关。
三.
间接解法：
目的：将有约束优化问题转化为无约束优化问题来解决。 前提：一不能破坏约束问题的约束条件，二使它归结到原约束问题的 同一最优解上去。 惩罚函数法： 通过构造罚函数把约束问题转化为一系列无约束最优化问题，进 而用无约束最优化方法去求解。惩罚函数法是一种使用很广泛、很有 效的间接解法。 基本思想：以原目标函数和加权的约束函数共同构成一个新的目标函 数 Φ( x, r1 ,r2 )，将约束优化问题转化为无约束优化问题。通 过不断调整加权因子，产生一系列Φ函数的极小点序列 x(k)* (r1(k),r2(k)) k= 0,1,2… ，逐渐收敛到原目标函数的约束最优解。
§4.1
引言
无约束优化方法是优化方法中最基本最核心的部分。但是，在工 程实际中，优化问题大都是属于有约束的优化问题，即其设计变量的 取值要受到一定的限制，用于求解约束优化问题最优解的方法称为约 束优化方法。 根据约束条件类型的不同可以分为三种，其数学模型分别如下： 1、不等式约束优化问题（IP型）
x D Rn s.t. g u ( x ) 0, u 1,2,..., p min F ( x )
6 u 1
gu x
1
取 x 0 1,30 , r 0 3 , c 0.7
T
调用 Powell 法求序列无约束优化极值，以逐渐逼近原问题的极 值点。
4. 求解过程分析：
§4.3 外点惩罚函数法 (衰减函数法）
一. 基本思想： 外点法将新目标函数
Φ( x , r ) 构筑在可行域 D 外，
3. 降低系数 c 的选择：
在构造序列惩罚函数时，惩罚因子r是一个逐次递减到0的数列 ，相邻两次迭代的惩罚因子的关系为 :
r r cr k 1
(k 1,2,...)
式中的c称为惩罚因子的缩减系数，c为小于1的正数。一般的 看法是，c值的大小在迭代过程中不起决定性作用，通常的取值范 围在0.1~0.7之间。 4. 收敛条件：
f ( x* (r 0 )) 2.022
f ( x* (r 0 )) 1.336
f ( x* (r 0 )) 1
内点法的迭代过程在可行域内进行，“障碍项”的作用 是阻止迭代点越出可行域。
三. 1. 2.
步骤： 选取合适的初始点 x(0) ，以及 r(0)、c、计算精度 ε1、ε2 ，令 k=0； 构造惩罚（新目标）函数；
g 3 x 1 0.25x2 0 7 x1 x2 0 45 7 2 g 5 x 1 x1 x2 0 45 1 2 g 6 x 1 x1 x2 0 320
3.
优化方法：
选用内点惩罚法，惩罚函数形式为：
x,r k f x r k
m u 1
m
⑤ .( x, r ) f ( x) r ln[ gu ( x)]
(k )
其中：惩罚（加权）因子 降低系数 c：
r ( 0) r (1) ....r ( k )
0< c <1
r ( k 1) c r ( k )
xk * x *
当lim r ( k ) 0
k
1 x* ( r k ) 0 2
2
当 r0 4
r 0 1.2
r 0 0.36 r0 0
x* (r 0 ) [2 0]T
x* (r 0 ) [1.422 0]T
x* (r 0 ) [1.156 0]T
x* (r 0 ) [1 0]T
f ( x* (r 0 )) 4
k
则( x, r (k ) ) f ( x),
2 2 例： 用内点法求 min f ( x) x1 x2
s.t. g ( x) 1 x1 0
的约束最优解。
2 解: 首先构造内点惩罚函数: ( x, r ) x12 x2 r k ln( x1 1)
用解析法求函数的极小值，运用极值条件： 2 x1 r 0 x x1 1 1 k 1 1 2r 联立求解得： x1 (r k ) 2 x 0 2 2 x2 x (r k ) 0 2 1 1 2r x1 (r ) 时不满足约束条件 g ( x) 1 x1 0 应舍去 。 2 * k 1 1 2r k 无约束极值点为： x (r )
ts b
要求：在满足强度、刚度和稳定性等条件下，设计一个最轻结构。
1. 2.
设计分析：（略） 数学模型：
设计变量： X x1 ,x2 t f ,h
T T
目标函数： min.
f x 120 x1 x2
约束函数： g1 x x1 0
g 2 x x2 0 g 4 x 1
(k ) 1 u 1 m
lim r2 H[hv ( x( k ) )] 0
k
lim [( x ( k ) , r1 , r2 ) f ( x ( k ) )] 0
(k ) (k ) k
分类： 根据约束形式和定义的泛函及罚因子的递推方法等不同，罚函 数法可分为内点法、外点法和混合罚函数法三种。
(k )
(k )
1 u 1 g ( x ) u
m
1. 初始点 x (0) 的选择： 要求：① 在可行域内； ② 不要离约束边界太近。如太靠近某一约束边界，构造 的惩罚函数可能由于障碍项的值很大而变得畸形，使求解无约 束优化问题发生困难. 方法： ① 人工估算，需要校核可行性； ② 计算机随机产生，也需校核可行性。 2. 惩罚因子初始值 r(0) 的选择： 惩罚因子的初值应适当，否则会影响迭代计算的正常进行。 一般而言，太大，将增加迭代次数；太小，会使惩罚函数的性态 变坏，甚至难以收敛到极值点。对于不同的问题，都要经过多次 试算，才能决定一个适当 r0。
2
若均满足，停止迭代，有约束优化问题的最优点为 x* = xk*；
若有一个准则不满足，则令 x ( 0 ) xk * (r ( k ) ), r ( k 1) c r ( k ) , k k 1
并转入第 3 步，继续计算。
四.
几个参数的选择：
( x ,索方向及适当步长。
搜索原则：每次产生的迭代点必须满足可行性与适用性两个条件。 可行性：迭代点必须在约束条件所限制的可行域内，即满足 gu(x)0, u=1,2,…,p 适用性：当前迭代点的目标函数值较前一点是下降的，即满足 F(xk+1)<F(xk)
收敛条件：
• 边界点的收敛条件应该符合 K-T 条件； • 内点的收敛条件为： x x 和 f x f x f x
1 u 1 g ( x ) u
m
其中：gu ( x) 0, u 1,2,...m
③ .( x, r ) f ( x) ru ( k )
(k ) u 1
m
1 g u ( x)
④ .( x, r ) f ( x) r
(k )
(k )
(k )
1 [ g ( x)]2 u 1 u
原目标函数的约束最优点 x* 。
内点法只能用来求解具有不等式约束的优化问题。
二.
惩罚函数的形式：
(k ) (k ) m
1 ① . ( x, r ) f ( x) r u 1 g ( x ) u
② . ( x, r ) f ( x) r
(k ) (k )
其中：gu ( x) 0, u 1,2,...m
一. 约束优化问题解法分类： 约束优化方法按求解原理的不同可以分为直接法和间接法两类。
直接解法：随机方向搜索法、复合形法、可行方向法
间接解法：内点惩罚函数法、外点惩罚函数法、混合惩罚函数法 二. 直接解法：