第5章约束优化方法(二)
合集下载
北航刘红英数学规划教材课后习题参考答案
ri(x)∇ri(x)
=
2A(x)T r(x),
∇2f (x)
= =
2 2
∑m ∑mi=1
i=1
ri(x)∇2ri(x) ri(x)∇2ri(x)
+ +
2
∑n
i=1
∇ri
(x)(∇ri
(x))T
2A(x)T A(x).
1.6 考虑向量值函数 f (x) : Rn → Rm ，设 f 的每个分量函数 fi(x) 在 x′ 都可微. 写出 f 在 x′ 的Taylor展式，请用 A(x)T 表示 ∇f (x)T (= [∇f1(x), · · · , ∇fm(x)]).
maximize 200x + 60y + 206z
subject to 3x + y + 5z ≤ 8000000
5x + y + 3z ≤ 5000000
x, y, z ≥ 0, 且 x, y, z 是整数.
忽略掉整性要求后，调用 Matlab 中的 linprog.m 函数求解，得最优解 x = 0, y = 500000, z = 1500000，自动满足整性要求.
的最优值相同，将这个问题的最优解投影到 (x, y, z) 所在的空间可以得到原问题的解. 这个问题可以写成线性规划问题：
minimize t1 + t2 + t3 subject to x + y ≤ 1,
2x + z = 3, −t1 ≤ x ≤ t1, −t2 ≤ y ≤ t2, −t3 ≤ z ≤ t3.
解:
(a) ∇f (x) = a, ∇2f (x) = 0n×n; (b) ∇f (x) = (A + AT )x, ∇2f (x) = A + AT ;
数学建模：第五章 运筹与优化模型
1
例1、某工厂制造A.B两种产品，制造A每吨 需用煤9t，电力4kw，3个工作日；制造B每吨需 用煤5t，电力5kw，10个工作日。已知制造产品A 和B每吨分别获利7000元和12000元，现工厂只有 煤360t，电力200kw，工作日300个可以利用，问 A、B两种产品各应生产多少吨才能获利最大？ 解：设 x1 x 2 ,（单位为吨）分别表示A、B产 品的计划生产数； f表示利润（单位千元） 则问题归结为如下线性规划问题：
a21 x1 a22 x2 a2 n xn (, )b2
am1 x1 am 2 x2 amn xn (, )bm
x1 , x2 ,, xn 0
7
例3：生产组织与计划问题 设有m种资源，第i(i=1,2…,m)种资源的现存量 为 bi ，现要生产n种产品，已知生产j(j=1,2…,n)种 产品时，每单位产品需要第i种资源量为 a ij ，而每 单位j种产品可得利润 c j ，问如何组织生产才能使 利润最大？ 解：用 x j 表示生产第j(j=1,2,…,n)种产品 的计划数， 上述问题可归结为如下的数学问题：
z 14.3750
即 第1年项目A,D分别投资3.8268和6.1732(万元)；
第2年项目A,C分别投资3.5436和3(万元)；
第3年项目A,B分别投资0.4008和4(万元)； 第4年项目A投资4.0752(万元)； 第5年项目D投资0.4609(万元)； 5年后总资金 14。375万元，即盈利43.75%.
x 模型建立 设该容器底边长和高分别为 x1米、 2米， 则问题的数学模型为
min f ( X ) 40 x1 x2 20 x1 （容器的费用）
2
x12 x 2 12, （容器体积） 2 s.t . 12 x1 x 2 2 x1 68, （容器重量） x 0, x 0. 2 1
约束问题的优化方法
XR
变形的复合形
可行的新点，用新点代替最坏点， 构成新的复合形，复合形的形状 每改变一次，就向最优点移动一
XC
XL
初始复合形
步，直至逼近最优点。从复合形
法工作原理可看出，实现复合形 法最关键的是:构造复合形和复 合形变换等问题。
XH
0
x1
图4-4复合形法的算法原理
《车辆优化设计与实践》教学课件
4.3.2 方法实现的关键技术
初始点更优的新点，至此完成一
轮迭代。然后，以新点为新的初
始点，即令 X 0 X 。重复以
0
上过程，经过若干次迭代计算后，
最终取得约束最优解。
X X
X1 X0
x1 图4-1 随机方向法的原理
《车辆优化设计与实践》教学课件
4.2.2 方法实现的关键技术
实现随机方向法的关键包括初始点的选择，可行搜方 向的产生和搜索步长的选择等问题。 (1)初始点形成 随机方向法的初始点 X 0必须是一个可行点，即满足全 部不等式约束条件：g j (X 0 ) 0 ( j 1, 2, , m)。当约束条件 较为复杂，用人工不易选择可行初始点时，可用随机 选择的方法来产生。计算随机点的步骤如下： 1）输入设计变量的下限值和上限值，即
式计算随机单位向量 e j
ej
1
rr12jj
1
n
i 1
rij
22
rnj
( j 1, 2, , k)
（4-3）
《车辆优化设计与实践》教学课件
2）取一X 试j 验X步0 长0e0，j 按（4下-4式）计算K个随机点 显然，K个随机点分布在以初始点X 0为中心，以试验 步长 0为半径的超球面上。 3）检验K个随机点X j( j 1, 2, , k)是否为可行点，除 去非可行点，计算余下的可行随机点的目标函数值， 比较其大小，选出目标函数值最小的点 X L。 4）比较X L 和 X 0两点的目标函数值，若 f (X L ) f (X 0 )，则 取X L 和X 0的连线方向 f ( X L ) f ( X 0 ) 作为可行搜索方向 为止。如果缩小到很小（例如 0 106），仍然找不到 一个X L 使 f (X L ) f (X 0 )则说明 X 0 是一个局部极小点，此 时可更换初始点，转步骤1）。
机械优化设计 第5章 约束优化方法
2. 将(0,1)中的随机数 i 变换到(-1,1)中去;
yi 2i 1
3. 构成随机方向
y1
e
1
y2
n
i 1
yi2
...
yn
i 1,2,...,n
例: 对于三维问题: 1 0.2,2 0.6,3 0.8 变换得: y1 0.6, y2 0.2, y3 0.6
一. 基本思路
搜索方向----采用随机产生的方向 ① 若该方向不适用、可行，则 产生另一方向；
②若该方向适用、可行，则以加 速步长前进；
③若在某处产生的方向足够多， 仍无一适用、可行，则采用收缩 步长；
④若步长小于预先给定的误差限 则终止迭代。
2019/12/12
5
二.随机方向的构成
1.用RND(X)产生n个随机数 i , i 1,2,..., n(0 i 1)
j =1
给定内点 X 0 ,0 , m,
α =α 0, F0=F(X0)
K=0, j=0
0 初始步长； m 在一迭代点处允许产生的方向数； 终止误差限(步长)
产生随机方向
X X 0 S
否
X∈D
是
F=F（X）
否 F<F0 是
X0=X, F0=F
否 j =0
是
K=K+1
2019/12/12
2
二.迭代步骤
X (0) X (3) X (4)
X (1) X (2)
2019/12/12
3
三.存在问题
有时会出现死点, 导致输出“伪最优 点”.
* 为辨别真伪, 要用K-T条件进行检查.
约束优化方法的讲解
根据它们在惩罚函数中的作用，分别称障碍项和惩罚 项。 障碍项的作用是当迭代点在可行域内时，在迭代过程 中将阻止迭代点越出可形域。 惩罚项的作用是当迭代点在非可行域或不满足等式约 束条件时，在迭代过程中将迫使迭代点逼近约束边界或 等式约束曲面。 按照惩罚函数在优化过程中迭代点是否可行，分为： 内点法、外点法及混合法。
2）按经验公式
r0 f x0 1 0 g x j 1 j
m
计算r0 值。这样选取的r0 ，可以是惩罚函数中的障 碍项和原目标函数的值大致相等，不会因障碍项的值 太大则其支配作用，也不会因障碍项的值太小而被忽 略掉。 3.惩罚因子的缩减系数c的选取 在构造序列惩罚函数时，惩罚因子r是一个逐次递 减到0的数列，相邻两次迭代的惩罚因子的关系为：
(k=0,1,2,…)
逐步趋向最优解，直到满足终止准则才停止迭代。
直接解法的原理简单，方法实用，其特点是：
1）由于整个过程在可行域内进行，因此，迭代计算不论 何时终止，都可以获得比初始点好的设计点。 2）若目标函数为凸函数，可行域为凸集，则可获得全域 最优解，否则，可能存在多个局部最优解，当选择的初始 点不同，而搜索到不同的局部最优解。 3）要求可行域有界的非空集。
a) 可行域是凸集；b)可行域是非凸集
间接解法的求解思路：
将约束函数进行特殊的加权处理后，和目标函数结合起来， 构成一个新的目标函数，即将原约束优化问题转化为一个 或一系列的无约束优化问题。
x, 1 , 2 f x 1G hk x g j x 2 H
当迭代点离约束边界越远时，惩罚项愈大，这可看 成是对迭代点不满足约束条件的一种惩罚。
例6-6 用外点法求问题
hk x 0
2）按经验公式
r0 f x0 1 0 g x j 1 j
m
计算r0 值。这样选取的r0 ，可以是惩罚函数中的障 碍项和原目标函数的值大致相等，不会因障碍项的值 太大则其支配作用，也不会因障碍项的值太小而被忽 略掉。 3.惩罚因子的缩减系数c的选取 在构造序列惩罚函数时，惩罚因子r是一个逐次递 减到0的数列，相邻两次迭代的惩罚因子的关系为：
(k=0,1,2,…)
逐步趋向最优解，直到满足终止准则才停止迭代。
直接解法的原理简单，方法实用，其特点是：
1）由于整个过程在可行域内进行，因此，迭代计算不论 何时终止，都可以获得比初始点好的设计点。 2）若目标函数为凸函数，可行域为凸集，则可获得全域 最优解，否则，可能存在多个局部最优解，当选择的初始 点不同，而搜索到不同的局部最优解。 3）要求可行域有界的非空集。
a) 可行域是凸集；b)可行域是非凸集
间接解法的求解思路：
将约束函数进行特殊的加权处理后，和目标函数结合起来， 构成一个新的目标函数，即将原约束优化问题转化为一个 或一系列的无约束优化问题。
x, 1 , 2 f x 1G hk x g j x 2 H
当迭代点离约束边界越远时，惩罚项愈大，这可看 成是对迭代点不满足约束条件的一种惩罚。
例6-6 用外点法求问题
hk x 0
运筹学-约束最优化方法
若AT的各个行向量线性无 关.根据Kuhn-Tucker条件, 在该线性规划的最优点y* 处存在乘子向量x*≥0,使得
即Ax*=b 对偶规划约束条件 及(ATy*-c)T x*=0 线性规划互补松弛条件
29
5.1.3 一般约束问题的最优性条件
定理1.3.1 在上述问题中,若 (i)x*为局部最优解, 有效集I*={i|ci(x*)=0,i∈I}; (ii)f(x),ci(x)(1≤i≤m)在x*点可微; (iii)对于i∈E∪I*, 线性无关, 则存在向量l*=(l1*,· · · ,lm*)使得
解:本问题是求点(1,1)T到如图三角形区域的最短 距离.显然唯一最优解为x*=(1/2,1/2)T.
19
例题(Fritz-John条件)
min f(x)=(x1-1)2+(x2-1)2 s.t. c1(x1,x2)=(1-x1-x2)3≥0 c2(x)=x1≥0 c3(x)=x2≥0 即
35
惩罚函数法
惩罚是手段，不是目的
KT条件中li*ci(x*)=0 称为互补松弛条件. 它表明li*与ci(x*)不能 同时不为0.
28
线性规划情形
对于线性规划问题 min f(y)=-bTy s.t. -ATy≥-c 其中 y∈Rm,A∈Rm×n, b∈Rm,c∈Rn 问题有n个约束条件. 各个约束条件关于y 的梯度为-AT的行向 量(-pi).
借助于Farkas引理,可推出存在li*≥0(i∈I*), 使得
类似与Fritz-John条件的证明,可以证明KuhnTucker条件. 有效约束函数的梯度线性无关称为KuhnTucker约束规范. 如果该约束规范不满足,最优点不一定是KT点.
工程设计中的优化方法
X =[ x1, x2, x3, x4 ]T，X∈R4
②目标函数 优化目标为质量最轻。 梁的跨度已知，故可用梁的截面面积作为目 标函数。截面面积之半可近似为
f (X) = x1x3 + x2x4 （忽略了-2x3x4项,厚度的乘积） 使质量最轻就是使f (X)的值最小。
③约束条件 设计的箱形梁需满足一定的强度、 刚度、稳定性以及几何要求。推导得
优化目标函数就是求目标函数的极小值或极大 值，即
min f (X) 或 max f (X)。
• 用效果函数(如性能指标、利润等)作目标函数，则是求极大值； • 用费用函数(如能源、材料、经费等)作目标函数，则求极小值。
单目标和多目标优化问题
• 单目标优化问题：只包含一个优化目标的问题 • 多目标优化问题：存在两个或两个以上优化目
优化结果：取出三种跨度的优化结果见表5-1。
所用数据为：F1=120kN， F2=12kN，[σ]=140MPa
表5-1 箱形梁设计结果比铰
跨度 l(cm)
常规设计（mm）
x1
x2
x3
x4
1050 760 340 6 10 1350 880 390 6 10 1650 1010 440 6 10
优化设计(mm)
无约束优化方法
无约束优化方法分为解析法和数值计算法两类。
• 解析法 用求导数或变分方法求出极值存在的 必要条件，再求出它们的解析解。然后按照充 分条件或问题的实际物理意义确定最优解。
仅适用于目标函数和约束条件较为简单明确的情况。
• 数值法 利用函数在某一局部区域的性质和一 些己知点的数值，确定下一步的计算点，经过 迭代搜索，最后达到最优点。可解决复杂的优 化设计问题，是优化设计采用的主要方法。
②目标函数 优化目标为质量最轻。 梁的跨度已知，故可用梁的截面面积作为目 标函数。截面面积之半可近似为
f (X) = x1x3 + x2x4 （忽略了-2x3x4项,厚度的乘积） 使质量最轻就是使f (X)的值最小。
③约束条件 设计的箱形梁需满足一定的强度、 刚度、稳定性以及几何要求。推导得
优化目标函数就是求目标函数的极小值或极大 值，即
min f (X) 或 max f (X)。
• 用效果函数(如性能指标、利润等)作目标函数，则是求极大值； • 用费用函数(如能源、材料、经费等)作目标函数，则求极小值。
单目标和多目标优化问题
• 单目标优化问题：只包含一个优化目标的问题 • 多目标优化问题：存在两个或两个以上优化目
优化结果：取出三种跨度的优化结果见表5-1。
所用数据为：F1=120kN， F2=12kN，[σ]=140MPa
表5-1 箱形梁设计结果比铰
跨度 l(cm)
常规设计（mm）
x1
x2
x3
x4
1050 760 340 6 10 1350 880 390 6 10 1650 1010 440 6 10
优化设计(mm)
无约束优化方法
无约束优化方法分为解析法和数值计算法两类。
• 解析法 用求导数或变分方法求出极值存在的 必要条件，再求出它们的解析解。然后按照充 分条件或问题的实际物理意义确定最优解。
仅适用于目标函数和约束条件较为简单明确的情况。
• 数值法 利用函数在某一局部区域的性质和一 些己知点的数值，确定下一步的计算点，经过 迭代搜索，最后达到最优点。可解决复杂的优 化设计问题，是优化设计采用的主要方法。
第2章 最优化的基本理论和基本方法 最优性条件 2.2 有约束优化(第5次课 等式约束优化,作业问题讲解)
11
2x1 2x2
1
0
c1(x) = 2 - x12 - x2 2 = 0 解得x1=-1，x2 =-1，λ1=-1/2；
x1=1，x2 =1，λ1=1/2 。它们是可能的局部解。
图解：
c1(x)
O
c1(x*)
f(x*) x*
f(x)
f(x) = x1 + x2 = -2
先满足 一阶 必要 条件
i 1
如果对所有 z Z(x*),z 0 有 zT x2L(x*,*)z 0
则 x=x*为问题的局部解。
例 min f(x) = x1 + x2
st c1(x) = 2 - x12 - x2 2 = 0
已经求出了 可能的局部解
2 f (x) 0
2c1(x)
i，i= 1, 2, ..., l为拉格朗日乘子（或乘数）。
拉格朗日乘子法
l
xL(x, ) f (x) i ci (x) 0
i 1
ci(x) = 0, i=1, 2, ..., l 。 空格
解上述方程组，得x*即是可能的局部解。
（式一是L(x, λ)对各个xi 的偏导数为0， λ视为常数）
zTx2L(x*,*) z 0
【这里
l
2 x
L(
x*,
*)
2
f
(
x*)
i* 2ci (x*)
i 1
】
Z(x*) {z | z Rn,ci (x*)T z 0,i 1,2, ,l}
局部解的充分条件 (选学)
定理 对于等式约束最优化问题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
5.3.5 惩罚函数法
间接法: 约束优化问题
无约束优化问题
这种转化必须满足如下两个前提条件： ❖①不破坏原约束问题的约束条件; ❖②最优解必须归结到原约束问题的最优解上去。
参数型 惩罚函数法有两种类型 非参数型
约束优化问题
min F ( X ) X D Rn D : gu ( X ) 0, u 1, 2, ..., p
0
x2
1
r(k) x22
0
------ ① ------ ②
由式①得: x1 1 r(k)
由式②得: x2 r(k)
x1*
lim
r(k) 0
x1
lim
r(k) 0
1
r(k) 1
x2*
lim
r(k) 0
x2
lim
r(k) 0
r(k) 0
X*
1 0
,
F * 8 2.667 3
r(k)
10
无约束优化问题
min ( X , r(k), m(k) ) X D Rn
新目标函数 min ( X , r(k), m(k) ) 惩罚函数
p
q
F (X ) r(k) G gu(X ) m(k) (k) －罚因子，是大于零的一系列可调参数
惩罚项
1
0.1 0.01 0.001 0
X
* k
2.040 1.414 1.147 1.049 1.016
3.162
1
0.316 0.100
0.032
1 0
*k 25.305 9.105 5.094 3.272 2.857 2.667
(补充作业)内点法的解析计算法
❖ 例题:用对数形式的内点法求解:
r(k1) C r(k) , 0 C 1
lim
k
X
* k
X*
10
一、内点法
2. 内点罚函数法的形式及特点 （1）一般形式 （2）特点
①内点法只适用于解不等式约束优化问题。
②初始点X(0)必须在可行域内部选取。
③内点法的突出优点在于每个迭代点都是可行点，当迭代到达 一定阶段时，尽管尚没有到达最优点，但也可以被接受为一个 较好的近似解。
f(x)
x D R1
D : g1( x) x b 0
(x, r(0) ) ( x, r(1) )
r (0) 0.1 ( x, r(k) )
解：首先构造罚函数
( x, r (k) ) F ( x) r (k) 1 ax r (k) 1
g1( x)
xb
r(1) 0.01
o
b
x
x* xk* x1*
罚函数中，既包含了原目标函数F(X)，又包含了约束函数gu(X)和 hv(X)。问题 的关键是恰当地构造函数G[gu(X)]和H[hv(X)]。在对无约束优化问题的求解过程 中，通过不断地调整罚因子，就能使目标函数的最优解逐渐趋近于原约束优化
问题的最优解。
2
5.3.5 惩罚函数法
r(k), m(k) －罚因子，是大于零的一系列可调参数
r (0) , m(0)
r (1) , m(1)
r (2) , m(2)
......
r (k ) , m(k)
( X , r(0), m(0) )
X
* 0
( X , r(1), m(1) )
X1*
( X , r(2), m(2) )
X
* 2
...... ( X, r(k), m(k))
X
* k
X*
X*
③“内点”的含义
“围墙函数法”
o
“障碍函数法”
(x, r(0) ) ( x, r(1) )
r (0) 0.1 ( x, r(k) ) r(1) 0.01
b
x
x* xk* x1*
x0*
9
一、内点法
2. 内点罚函数法的形式及特点
（1）一般形式
min F ( X )
X D Rn
D : gu ( X ) 0, u 1, 2, ..., p
按照该数学模型解出的最优点X*，至少比原设计点X(k)多满足一个
约束条件。重复数次，直到所有的约束条件都得到满足，最终可
取得在可行域内部的初始点x(0)。
12
4. 关于几个参数的选择
(1) 初始罚因子r(0)的选取。
初始罚因子r(0)选择得是否恰当，将对解题的成败和速度产生相当大的影响。
如果r(0)值选得太大，效率低。则在一开始罚函数中的惩罚项的值将远远超出原目标函 数的值，因此，它的第一次无约束极小点将远离原问题的约束最优点。在以后的迭代 中，需要很长时间的搜索才能使序列无约束极小点逐渐向约束最优点逼近。
3. 初始点X(0)的确定
(1) 自定法 (2) 搜索法
11
初始点x(0)的确定 (1) 自定法 : (2) 搜索法: 先任取一个设计点X(k)； 计算X(k)点的诸约束函数值gu(X(k))，u＝1，2，…，p
若： gu ( X (k) ) 0 u 1, 2,L , s
gu ( X (k) ) 0 u s 1, s 2,L , p
r(k)
x1
x2
2x1 4x2
0 x1 x2 1
r(k)
0
x1 x2 1
------ ① ------ ②
x1 2x2 代入②式得
r(k) 4x2 3x2 1 0
19
(补充作业)内点法的解析计算法
❖ 解(续)
4 x2
r(k) 3x2 1
0
12x22 4x2 r(k) 0
序列无约束极小化方法：SUMT法 （Sequential Unconstrained Minimization Technique）
内点罚函数法(内点法) 罚函数法 外点罚函数法(外点法)
混合罚函数法(混合法)
3
一、内点惩罚函数法
基本思想：将新目标函数定义于可行域内，序列迭代点在可 行域内逐步逼近原目标函数约束边界上的最优点。
hv ( X ) 0, v 1, 2, ..., q
无约束优化问题 min ( X , r(k), m(k) ) X D Rn
1
5.3.5 惩罚函数法
约束优化问题
min F ( X ) X D Rn D : gu ( X ) 0, u 1, 2, ..., p
hv ( X ) 0, v 1, 2, ..., q
根据经验，一般可取初始罚因子r(0)＝1~50。也有资料提出如下建议，按惩罚项的初始值 与目标函数的初始值F(X(0))相近的原则确定r(0)，即取:
F (X (0)) r(0)
p
G gu ( X (0) )
13
u1
4. 关于几个参数的选择
(1) 初始罚因子r(0)的选取。
(2) 递减系数C的选择。一般认为对算法的成败和速度影响不大。
若r(0)取得过小，导致计算的失败。则在一开始惩罚项的作用甚小，在可行域内部的惩 罚函数φ(X，r(0))与原目标函数F(X)很相近，只是在约束边界附近罚函数值才突然增高。 这样，使得其罚函数φ(X，r(k))在约束边界附近出现深沟谷地，罚函数的性态变得恶劣。 一般来说，对于有深沟谷地性态差的函数，不仅搜索所需的时间长，而且很难使迭代 点进入最优点的邻域，以至极易使迭代点落入非可行域而导致计算的失败。即使是用 最稳定的无约束算法，迭代点仍有逸出可行域的危险。
r(k ) Cr (k1) , 0 C 1
lim r(k ) 0
k 4
内点惩罚函数法的思路: 当X由可行域内靠近任一约束边界时,惩罚项值趋于无穷大，所 以它就像围墙一样阻止迭代点越出约束边界。
x2
条件1：不破坏原约束问题的约束条件
5
x1 o
条件2：最优解必须归结到原约束问题的最优解上去
1. 引例
p
q
( X , r(k), m(k) ) F ( X ) r(k) G gu ( X ) m(k) H hv ( X )
u 1
v 1
❖ 设有一维不等式约束优化问题的数学模型
min F ( x) ax
f(x)
x D R1
D : g1( x) x b 0
x*=b, F*=ab
min ( X , r (k) ) X R2
F(X)
r(k)
1 g1( X )
1 g2(X )
1 3
x1
13
x2
r(k)
1 x1 1
1 x2
17
(补充)内点法的解析计算法
解:
(X ,r(k))
1 3
x1
13
x2
r
(
k
)
1 x1 1
1 x2
x1
x1
12
r(k)
x1 12
x0*
8
一、内点法
分析:
①r(k)>0,且迭代点∈D时,总有:
f(x)
(x, r(k)) F (x)
②r(k)是递减序列
r(0) r(1) ...... r(k) r(k) ...... 0
( x, r (0) ) ( x, r (1) )
x0*
x1*
(x, r(k)) xk*
r(k)→0时, (x, r(k) ) F (x)
min(X , r(k) ) min F(X ) r(k) 1/ gu (X )
随着r ( k )的减小, 惩罚作用趋于消失,
lim r(k)
k
1 0 gu (X )
lim( X , r(k) ) F ( X )
k
( X , r(k) )的最优解就逼近原问题的约束最优解
间接法: 约束优化问题
无约束优化问题
这种转化必须满足如下两个前提条件： ❖①不破坏原约束问题的约束条件; ❖②最优解必须归结到原约束问题的最优解上去。
参数型 惩罚函数法有两种类型 非参数型
约束优化问题
min F ( X ) X D Rn D : gu ( X ) 0, u 1, 2, ..., p
0
x2
1
r(k) x22
0
------ ① ------ ②
由式①得: x1 1 r(k)
由式②得: x2 r(k)
x1*
lim
r(k) 0
x1
lim
r(k) 0
1
r(k) 1
x2*
lim
r(k) 0
x2
lim
r(k) 0
r(k) 0
X*
1 0
,
F * 8 2.667 3
r(k)
10
无约束优化问题
min ( X , r(k), m(k) ) X D Rn
新目标函数 min ( X , r(k), m(k) ) 惩罚函数
p
q
F (X ) r(k) G gu(X ) m(k) (k) －罚因子，是大于零的一系列可调参数
惩罚项
1
0.1 0.01 0.001 0
X
* k
2.040 1.414 1.147 1.049 1.016
3.162
1
0.316 0.100
0.032
1 0
*k 25.305 9.105 5.094 3.272 2.857 2.667
(补充作业)内点法的解析计算法
❖ 例题:用对数形式的内点法求解:
r(k1) C r(k) , 0 C 1
lim
k
X
* k
X*
10
一、内点法
2. 内点罚函数法的形式及特点 （1）一般形式 （2）特点
①内点法只适用于解不等式约束优化问题。
②初始点X(0)必须在可行域内部选取。
③内点法的突出优点在于每个迭代点都是可行点，当迭代到达 一定阶段时，尽管尚没有到达最优点，但也可以被接受为一个 较好的近似解。
f(x)
x D R1
D : g1( x) x b 0
(x, r(0) ) ( x, r(1) )
r (0) 0.1 ( x, r(k) )
解：首先构造罚函数
( x, r (k) ) F ( x) r (k) 1 ax r (k) 1
g1( x)
xb
r(1) 0.01
o
b
x
x* xk* x1*
罚函数中，既包含了原目标函数F(X)，又包含了约束函数gu(X)和 hv(X)。问题 的关键是恰当地构造函数G[gu(X)]和H[hv(X)]。在对无约束优化问题的求解过程 中，通过不断地调整罚因子，就能使目标函数的最优解逐渐趋近于原约束优化
问题的最优解。
2
5.3.5 惩罚函数法
r(k), m(k) －罚因子，是大于零的一系列可调参数
r (0) , m(0)
r (1) , m(1)
r (2) , m(2)
......
r (k ) , m(k)
( X , r(0), m(0) )
X
* 0
( X , r(1), m(1) )
X1*
( X , r(2), m(2) )
X
* 2
...... ( X, r(k), m(k))
X
* k
X*
X*
③“内点”的含义
“围墙函数法”
o
“障碍函数法”
(x, r(0) ) ( x, r(1) )
r (0) 0.1 ( x, r(k) ) r(1) 0.01
b
x
x* xk* x1*
x0*
9
一、内点法
2. 内点罚函数法的形式及特点
（1）一般形式
min F ( X )
X D Rn
D : gu ( X ) 0, u 1, 2, ..., p
按照该数学模型解出的最优点X*，至少比原设计点X(k)多满足一个
约束条件。重复数次，直到所有的约束条件都得到满足，最终可
取得在可行域内部的初始点x(0)。
12
4. 关于几个参数的选择
(1) 初始罚因子r(0)的选取。
初始罚因子r(0)选择得是否恰当，将对解题的成败和速度产生相当大的影响。
如果r(0)值选得太大，效率低。则在一开始罚函数中的惩罚项的值将远远超出原目标函 数的值，因此，它的第一次无约束极小点将远离原问题的约束最优点。在以后的迭代 中，需要很长时间的搜索才能使序列无约束极小点逐渐向约束最优点逼近。
3. 初始点X(0)的确定
(1) 自定法 (2) 搜索法
11
初始点x(0)的确定 (1) 自定法 : (2) 搜索法: 先任取一个设计点X(k)； 计算X(k)点的诸约束函数值gu(X(k))，u＝1，2，…，p
若： gu ( X (k) ) 0 u 1, 2,L , s
gu ( X (k) ) 0 u s 1, s 2,L , p
r(k)
x1
x2
2x1 4x2
0 x1 x2 1
r(k)
0
x1 x2 1
------ ① ------ ②
x1 2x2 代入②式得
r(k) 4x2 3x2 1 0
19
(补充作业)内点法的解析计算法
❖ 解(续)
4 x2
r(k) 3x2 1
0
12x22 4x2 r(k) 0
序列无约束极小化方法：SUMT法 （Sequential Unconstrained Minimization Technique）
内点罚函数法(内点法) 罚函数法 外点罚函数法(外点法)
混合罚函数法(混合法)
3
一、内点惩罚函数法
基本思想：将新目标函数定义于可行域内，序列迭代点在可 行域内逐步逼近原目标函数约束边界上的最优点。
hv ( X ) 0, v 1, 2, ..., q
无约束优化问题 min ( X , r(k), m(k) ) X D Rn
1
5.3.5 惩罚函数法
约束优化问题
min F ( X ) X D Rn D : gu ( X ) 0, u 1, 2, ..., p
hv ( X ) 0, v 1, 2, ..., q
根据经验，一般可取初始罚因子r(0)＝1~50。也有资料提出如下建议，按惩罚项的初始值 与目标函数的初始值F(X(0))相近的原则确定r(0)，即取:
F (X (0)) r(0)
p
G gu ( X (0) )
13
u1
4. 关于几个参数的选择
(1) 初始罚因子r(0)的选取。
(2) 递减系数C的选择。一般认为对算法的成败和速度影响不大。
若r(0)取得过小，导致计算的失败。则在一开始惩罚项的作用甚小，在可行域内部的惩 罚函数φ(X，r(0))与原目标函数F(X)很相近，只是在约束边界附近罚函数值才突然增高。 这样，使得其罚函数φ(X，r(k))在约束边界附近出现深沟谷地，罚函数的性态变得恶劣。 一般来说，对于有深沟谷地性态差的函数，不仅搜索所需的时间长，而且很难使迭代 点进入最优点的邻域，以至极易使迭代点落入非可行域而导致计算的失败。即使是用 最稳定的无约束算法，迭代点仍有逸出可行域的危险。
r(k ) Cr (k1) , 0 C 1
lim r(k ) 0
k 4
内点惩罚函数法的思路: 当X由可行域内靠近任一约束边界时,惩罚项值趋于无穷大，所 以它就像围墙一样阻止迭代点越出约束边界。
x2
条件1：不破坏原约束问题的约束条件
5
x1 o
条件2：最优解必须归结到原约束问题的最优解上去
1. 引例
p
q
( X , r(k), m(k) ) F ( X ) r(k) G gu ( X ) m(k) H hv ( X )
u 1
v 1
❖ 设有一维不等式约束优化问题的数学模型
min F ( x) ax
f(x)
x D R1
D : g1( x) x b 0
x*=b, F*=ab
min ( X , r (k) ) X R2
F(X)
r(k)
1 g1( X )
1 g2(X )
1 3
x1
13
x2
r(k)
1 x1 1
1 x2
17
(补充)内点法的解析计算法
解:
(X ,r(k))
1 3
x1
13
x2
r
(
k
)
1 x1 1
1 x2
x1
x1
12
r(k)
x1 12
x0*
8
一、内点法
分析:
①r(k)>0,且迭代点∈D时,总有:
f(x)
(x, r(k)) F (x)
②r(k)是递减序列
r(0) r(1) ...... r(k) r(k) ...... 0
( x, r (0) ) ( x, r (1) )
x0*
x1*
(x, r(k)) xk*
r(k)→0时, (x, r(k) ) F (x)
min(X , r(k) ) min F(X ) r(k) 1/ gu (X )
随着r ( k )的减小, 惩罚作用趋于消失,
lim r(k)
k
1 0 gu (X )
lim( X , r(k) ) F ( X )
k
( X , r(k) )的最优解就逼近原问题的约束最优解