第五章+约束优化计算方法

合集下载

现代设计方法-优化设计5-约束优化课件PPT

现代设计方法-优化设计5-约束优化课件PPT
end
20
21
22
4. 可行方向法
可行方向法是用梯度去求解约束非线性最优化问题的一种有 代表性的直接解法,是求解大型约束优化问题的主要方法之 一。其收敛速度快,效果好,但程序比较复杂,计算困难且 工作量大。
数学基础:梯度法、方向导数、K-T条件 线性规划,约束一维搜索
适用条件:目标函数和约束函数一阶连续可微, 只有不等式约束。
约束梯度法 31
序列线性规划法
(4)可行方向法的迭代步骤
1)给定初始内点X(0),收敛精度ε和约束允差δ,置
k=0;
2)确定点X(k)的起作用约束集合
Ik X (k) , u gu X (k) ,u 1,2,, m
➢ 当Ik为空集(表示约束都不起作用),且点X(k)在可
行域内时,如果 f X,(k)则令
现代设计方法
优化设计部分
黄正东,吴义忠
二0一三年二月
1
本章主要内容
➢ 优化设计概述 ➢ 优化设计的数学基础 ➢ 一维探索优化方法 ➢ 无约束优化方法 ➢ 约束问题优化方法 ➢ 优化设计若干问题
2
约束问题优化方法
➢ 优化设计概述 ➢ 优化设计的数学基础 ➢ 一维探索优化方法 ➢ 无约束优化方法 ➢ 约束问题优化方法 ➢ 优化设计若干问题
11
初始复合形法生成
1.随机测试找到一个可行点
2.随机生成其它点
3.计算可行点的中心点
4.中心点不可行时,不计最远点 重新计算中心
5.将不可行点向中心拉靠
6.初始复合1形2
(2) 算法 (反射、扩张、收缩、压缩)
Step 1: 反射
(1) 计算 (2) 计算
f ( X h ) max{ f ( X j ), j 1,2,..., k}

约束问题的最优化方法

约束问题的最优化方法

可用于处理等式约束。
§5.3 外点惩罚函数法
三. 几个参数的选择:
r(0) 的选择:
r(0) 过大,会使惩罚函数的等值线变形或偏心,求极值困难。r (0) 过小,迭代次数太多。
建议 :r0 max ru0 u 1,2,...m
其中:ru0
m gu
0.02 x0 f
x0
x(0) 的选择:
2
若均满足,停止迭代,有约束优化问题的最优点为 x* = xk*; 若有一个准则不满足,则令 x(0) xk * (r(k) ),r(k1) c r(k) , k k 1 并转入第 3 步,继续计算。
§5.2 内点惩罚函数法
算法框图
§5.2 内点惩罚函数法
四. 几个参数的选择: 1. 惩罚因子初始值 r(0) 的选择:
§5.1 引言
有解的条件: ① f(x) 和 g(x) 都连续可微; ② 存在一个有界的可行域; ③ 可行域为非空集; ④ 迭代要有目标函数的下降性和设计变量的可行性。
三. 间接解法的基本思想: 目的:将有约束优化问题转化为无约束优化问题来解决。
方法:以原目标函数和加权的约束函数共同构成一个新的目标函数
(略) 2. 数学模型:
设计变量 : X x1,x2 T t f ,h T
目标函数 : min. f x 120x1 x2
单位长度的质量
§5.2 内点惩罚函数法
约束函数 : g1x x1 0 g 2 x x2 0 g3 x 1 0.25x2 0
g4
x
1
7 45
x1x2
0
g5
x
§5.3 外点惩罚函数法 (衰减函数法)
一. 基本思想:
外点法将新目标函数 Φ( x , r ) 构筑在可行域 D 外, 随着惩罚因子 r(k) 的不断递增, 生成一系列新目标函数 Φ(xk ,r(k)),在可行域外逐步迭 代,产生的极值点 xk*(r(k)) 序 列从可行域外部趋向原目标函 数的约束最优点 x* 。

约束优化常见算法

约束优化常见算法

第五章约束优化常见算法定义5.1设∈为一可行点, ∈,若存在 > 0, 使对∀∈[0, ]均有+ ∈, 则称是可行域在可行解处的可行方向, 可行域在可行解ˉ处的所有可行方向记为FD(, ), 简记为FD()定理5.1设是问题(5.1)的可行解,在点处有 =, > ,其中,则非零向量为处的可行方向的充要条件是≥0, = 0。

Zoutendijk方法:如果非零向量同时满足∇ < 0,≥0, = 0,则是在处的下降可行方向。

因此,Zoutendijk 法把确定搜索方向归结为求解线性规划问题:min ∇s.t ≥0= 0‖‖≤1.(5.2)其中增加约束条件‖‖≤1是为了获得一个有限解。

在(5.2)中,显然 = 0是可行解, 因此最优目标值小于或等于零.如果∇ < 0,则得到下降可行方向;如果最优值为零, 则有如下结果.定理5.2考虑问题(5.1),设是可行解,在点处有 = , > ,其中,则为Kuhn-Tucker点的充要条件是问题(5.2)的最优目标值为零。

Rosen投影梯度法定义5.2设为阶矩阵,若 =且= ,则称为投影矩阵。

定理5.3设是问题(5.1)的可行解,在点处,有1 = 1,2 > 2,其中,又设为行满秩矩阵,则 = −是一个投影矩阵, 且若∇()0,则 = − ∇()是下降可行方向.定理5.4设是问题(5.1)的一个可行解, ,,的定义同定理5.3, 且为行满秩矩阵,令= ∇() =其中和分别对应于和. 若 ∇() = 0,则1 如果≥0,那么是K-T点;2 如果中含有负分量,不妨设< 0,这时从1中去掉对应的行,得到,令,= −∇()那么为下降可行方向。

梯度投影法计算步骤1.给定给定初始可行点, 置 = 1。

2.在点处,将和分别分解成,和,, 使得 = ,> .3.令如果是空的,令 = (单位矩阵), 否则令 = −.4.令= − ∇ (). 若()0, 则转步6; 若() = 0,则进行步5.若是空的,则停止计算,得到;否则,令= ∇ () =如果≥0,则停止计算,为K-T点;如果中包含负分量,则选择一个负分量,比如,修正,去掉中对应的行,返回步3。

第5章 约束优化方法(已排)

第5章 约束优化方法(已排)

d [0.984,0.179]
T
1
d1
19
(3)沿d0方向进行一维搜索 0 0.984 1 0 0 x x 0d 0 1 0.179
f ( x1 ) ( )
由上式可求得:
0 6.098
g3(x1)=0
x1在约束边界g3(x)=0上:
23
3 1 1 0 1 0 2 1 0
1 3,
*
2 0
6 x , f ( x * ) 11 5
24
5.2 惩罚函数法
将有不等式约束的优化问题转化为无约束优化问题来求解。 前提:一是不能破坏约束问题的约束条件,二是使它归结到 原约束问题的同一最优解上去。
2
新点在可行域外的情况
5
x2
x0
f ( x )
0
g3(x )=0
xk x k+1 g1 (x )=0 g2(x )=0
0
x1
3
沿线性约束面的搜索
6
x2

x0
f ( x )
0
g3(x)=0
xk
f1 ( x )
xk+1 x g1(x )=0
0
g2(x)=0 x1
4
沿非线性约束面的搜索
7
2.产生可行方向的条件
第 5章

约束优化方法
min f ( x ), x R n s.t. g j ( x ) 0 j 1,2, , m hk ( x ) 0 k 1,2, , l
机械优化设计中的问题,大多数属于约束优化设计问题,其
数学模型为
根据求解方式的不同,约束优化设计问题可分为:直接解 法,间接解法。 直接解法通常适用于仅含不等式约束的问题,思路是在m个不 等式约束条件所确定的可行域内,选择一个初始点,然后决定可行 搜索方向d,且以适当的步长 目标函数值下降的可行的新点,即完成一次迭代。再以新点为起点, 重复上述搜索过程,直至满足收敛条件。

第五章约束优化方法

第五章约束优化方法
1.检验k个随机点是否为可行点,除去非可行点,计算 余下的可行点的目标函数值,比较其大小,选出目标 函数最小的点XL 。
2. 比较XL 和X0两点的目标函数值,
• 若f(XL) <f(X0),则取XL 和X0连线方向为可行搜索方向; • 若f(XL) >f(X0),则步长α0 缩小,转步骤1)重新计算, 直至f(XL) <f(X0)为止。 • 如果α0 缩小到很小,仍然找不到一个XL,使f(XL) <f(X0)则说明X0是一个局部极小点,此时可更换初始点,转 步骤1)。
基本思路如图所示。
随机方向法的基本思路
第二节 约束随机方向法
3.2 随机方向的构成
1.用RND(X)产生n个随机数 i , i 1,2,..., n(0 i 1)
2. 将(0,1)中的随机数 i变换到(-1,1)中去(归一化);
yi 2i 1 i 1,2,...,n
3. 构成随机方向 例: 对于三维问题 1 0.2,2 0.6,3 0.8
xmin=xk; alpha=1.3; end x0,xk,fx0,fxk else alpha=-alpha; end end end x1=x0; fx1=feval(f,x1); gx=feval(g_cons,x1); k1 end
3.7 随机方向法的Matlab程序
例: 求
function opt_random1_test1 %opt_random1_test1.m clc; clear all;
由于复合形的形状不必保持规则的图形,对目标函数和约 束函数无特殊要求,因此这种方法适应性强,在机械优化设 计中应用广泛。
第四节 复合形法
4.1 基本思路
在可行域内选取若干初始点并以之为顶点构成

第5章 约束优化方法

第5章 约束优化方法

5.4 惩罚函数法
• 5.4.1 概述 • (1)惩罚函数法的基本思路 • 对于约束优化问题: • min f(X) X∈Rn • s.t. gu(X)≤0 u=1,2,…,q • hv(X)=0 v=1,2,…,p<n • 惩罚函数法的基本思路,是将以上的目标函数和所有约束函数, 组合构造成一个新的目标函数。 • φ(X,r)=f(X)+rP(X) • P(X)-由所有约束函数gu(X)、hv(X)定义的某种型式的泛函数; • r-按给定规律变化的惩罚因子。 • 原约束优化问题就转化为: • min φ(X,r)={f(X)+rP(X)}

q
2

5.4.3.3 外点法的迭代步骤
• (1) 选择参数:
• 初始惩罚因子r(0)>0 • 递增系数C • 初始点X(0) • (4) 检验迭代终止准则 • 如果满足 • Q≤ε1=10-3~10-4

• • • • • • •
• 则停止迭代。否则转入下一 步 惩罚因子的控制量Rmax • (5) 检验r(k)>Rmax? 令计算次数k=1 • 若r(k)>Rmax再检验 (2) 求解: min φ(X,r(k)) 得: X*(r(k)) • ‖X*(r(k-1))-X*(r(k))‖≤ ε2=10-5~10-7 (3) 计算X*(r(k))点违反约束的 最大量: • 若满足则停止迭代 Q1=max { gu ( X*(r(k)) ) , • 否则取 u=1,…,q} • r(k+1)=Cr(k); Q2=max{|hv(X*(r(k)))|, X(0)=X*(r(k)); v=1,…,p} • k=k+1,转向步骤(2)。 Q=max [Q1,Q2]

运筹学-约束最优化方法

运筹学-约束最优化方法

若AT的各个行向量线性无 关.根据Kuhn-Tucker条件, 在该线性规划的最优点y* 处存在乘子向量x*≥0,使得
即Ax*=b 对偶规划约束条件 及(ATy*-c)T x*=0 线性规划互补松弛条件
29
5.1.3 一般约束问题的最优性条件
定理1.3.1 在上述问题中,若 (i)x*为局部最优解, 有效集I*={i|ci(x*)=0,i∈I}; (ii)f(x),ci(x)(1≤i≤m)在x*点可微; (iii)对于i∈E∪I*, 线性无关, 则存在向量l*=(l1*,· · · ,lm*)使得

解:本问题是求点(1,1)T到如图三角形区域的最短 距离.显然唯一最优解为x*=(1/2,1/2)T.
19
例题(Fritz-John条件)
min f(x)=(x1-1)2+(x2-1)2 s.t. c1(x1,x2)=(1-x1-x2)3≥0 c2(x)=x1≥0 c3(x)=x2≥0 即

35
惩罚函数法
惩罚是手段,不是目的
KT条件中li*ci(x*)=0 称为互补松弛条件. 它表明li*与ci(x*)不能 同时不为0.

28
线性规划情形
对于线性规划问题 min f(y)=-bTy s.t. -ATy≥-c 其中 y∈Rm,A∈Rm×n, b∈Rm,c∈Rn 问题有n个约束条件. 各个约束条件关于y 的梯度为-AT的行向 量(-pi).

借助于Farkas引理,可推出存在li*≥0(i∈I*), 使得
类似与Fritz-John条件的证明,可以证明KuhnTucker条件. 有效约束函数的梯度线性无关称为KuhnTucker约束规范. 如果该约束规范不满足,最优点不一定是KT点.

第五章约束问题的最优化方法

第五章约束问题的最优化方法
g1 ( x ) x1 x2 4,
g1 ( x) [ 1 , 1 ]T
g2 ( x) x1 ,
g2 ( x) [ 1 , 0 ]T 。
g3 ( x) x2 ,
g3 ( x) [ 0 , 1 ]T 。
18
由K T条件得
x1 3 1 1 0 x 3 1 1 2 0 3 1 0 2
第七讲 约束非线性规划
约束极值及最优性条件
等式约束 不等式约束 一般约束问题
约束极值问题的算法
外点法 内点法 乘子法
1
一 、约束极值问题的最优性条件
1、约束极值问题的表示 min f ( x ) hi ( x ) 0 i 1 , 2 ,, m s .t . g j ( x ) 0 j 1 , 2 , , l
8
2 g3 ( x ) 0。 2
I ( x ) { 1 , 2 }。
x2 g2 ( x ) 0
g3 ( x ) 0
O
g1 ( x ) 0
x
x1
②如何判断一个方向是可行方向?
9
定理1:
给 定 点x Q , 记 点 x 的 积 极 约 束 指 标 集 为 I ( x )。 给 定 向 量 d , 如果对任意的 i I ( x ) 有 gi ( x )T d 0 , 则 d 是 点 x 的 可 行 方 向 。
则 向 量d 是 点 x 处 的 可 行 下 降 方 向 。
证略
③极值点的必要条件: 定理3:
设 x* Q, I ( x*)是其积极约束指标集。
f ( x) 和 gi ( x) (i I ( x*)) 在点x * 处可微,
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
若为非可行点,则将α缩小0.7倍,直至可行为止。然 后再重复可行点的步骤。
2.扩张
机械优化设计
3.收缩
机械优化设计
机械优化设计
机械优化设计
三. 终止判别条件
各顶点与好点函数值之差的均方根应不大于误差限
{1 k
k
1
[F ( X ( j) ) F( X L )]2}2
j 1
给定K,δ,α,ε,ai , bi i =1,2,…n
s.t.
g j(x) 0
j 1, 2,L , m
hk ( x) 0 k 1, 2,L ,l
构成一个新的目标函数,称为惩罚函数
m
l
(
x,
r(k
1
)
,
r(k 2
)
)
f
(
x)
r(k
1
)
G[
g
j
(
x)]
r( 2
k
)
H[hk ( x)]
i1
j1
机械优化设计
求解该新目标函数的无约束极小值,以期得到原问题 的约束最优解。按一定的法则改变罚因子r1 和r2的值, 求得一序列的无约束最优解,不断地逼近原约束优化问 题的最优解。
机械优化设计
a) 可行域是凸集;b)可行域是非凸集
机械优化设计
间接解法的求解思路:
将约束函数进行特殊的加权处理后,和目标函数结合起来, 构成一个新的目标函数,即将原约束优化问题转化为一个 或一系列的无约束优化问题。
m
l
x, 1, 2 f x 1G g j x 2H hk x
机械优化设计
第五章 约束优化计算方法
5.1 引言 5.2 随机方向搜索法 5.3 复合形法 5.4 惩罚函数法
5.1 引言
机械优化设计
机械优化设计中的问题,大多数属于约束优化设 计问题,其数学模型为
min f ( x), x [x1, x2 xn ]T s.t. gi ( x) 0 (i 1,2,L , m)
如前所述,在求解无约束问题的单纯形法中,不 需计算目标函数的梯度,而是靠选取单纯形的顶点井 比较各顶点处目标函数值的大小,来寻找下一步的探 索方向的。在用于求解约束问题的复合形法中,复合 形各顶点的选择和替换,不仅要满足目标函数值的下 降,还应当满足所有的约束条件。
机械优化设计
它的基本思路是在可行域内构造一个具有k个顶点的初 始复合形。对该复合形各顶点的目标函数值进行比较,找到 目标函数最大的顶点(最坏点),然后按一定的法则求出目 标函数值有所下降的可行的新点,并用此点代替最坏点,构 成新的复合形,复合形的形状没改变一次,就向最优点移动 一步,直至逼近最优点。
间接解法是将约束优化问题转化为一系列无约束优化问题来 解的一种方法。
由于间接解法可以选用已研究比较成熟的无约束优化方 法,并且容易处理同时具有不等式约束和等式约束的问题。 因而在机械优化设计得到广泛的应用。
间接解法中具有代表性的是惩罚函数法。
直接解法的基本思想:
在由m个不等式约束条件gu(x)≤0所确定的可行域φ内,选择 一个初始点x(0),然后确定一个可行搜索方向S,且以适当的步 长沿S方向进行搜索,取得一个目标函数有所改善的可行的新点 x(1),即完成了一次迭代。以新点为起始点重复上述搜索过程, 每次均按如下的基本迭代格式进行计算:
机械优化设计
x(k+1)= x(k)+α(k) S(k) (k=0,1,2,…) 逐步趋向最优解,直到满足终止准则才停止迭代。
机械优化设计
直接解法通常适用于仅含不等式约束的问题,思路是在m个不 等式约束条件所确定的可行域内,选择一个初始点,然后决定可行
搜索方向 S且以适当的步长 ,进行搜索,得到一个使目标函数
2) 为避免降维, K应取大些; 但过大, 计算量也大.
2. 初始复合形顶点的确定 1) 用试凑方法产生---适于低维情况; 2) 用随机方法产生 ①用随机方法产生K个顶点
机械优化设计
先用随机函数产生 n个随机数 i (0 ,i然后1)
变换到预定的区间 ai中去xi. bi
xi (bi ai )i ai ,i1,2,...,n
这便得到了一个顶点,要连续产生K个顶点.
机械优化设计
初始复合形生成的方法:
1)由设计者决定k个可形点,构成初始复合形。设计变量少 时适用。
2)由设计者选定一个可形点,其余的k-1个可形点用随机法 产生。
xi a ri (b a )
xc
1 L
L
xj
j 1
xL1 xc 0.5 xL1 xc
惩罚项必须具有以下极限性质:
m
lim
k
r(
1
k
)
G[gi ( x)] 0
i1
l
lim
k
r( 2
k
)
H[hj ( x)] 0
j1

从而有lim k
(
x,
r(
1
k
)
,
r( 2
k
)
)
f (x(k))
0
机械优化设计
根据约束形式和定义的泛函及罚因子的递推方法 等不同,罚函数法可分为内点法、外点法和混合罚 函数法三种。这种方法是1968年由美国学者A.V. Fiacco和G.P.Mcormick提出的,把不等式约束引 入数学模型中,为求多维有约束非线性规划问题开 创了一个新局面。
基本思路如图所示。
机械优化设计
机械优化设计
随机方向探索法的一般迭代计算公式为:
X(k+1)=X(k)+aS(k)
(k=0,1,2,…)
式中a为步长,S(k) 为第k次迭代的随机探索方向。
因此,随机方向探索法的计算过程可归结为:
机械优化设计
5.3 复合形法
复合形法是求解约束非线性最优化问题的一种 重要的直接方法。它来源于用于求解无约束非线性最 优化问题的单纯形法,实际上是单纯形法在约束问题 中的发展。
j 1
k 1
加权转化项
将约束优化问题转换为无约束优化问题。求解无约 束优化问题的极小值,从而得到原约束优化问题的最 优解。
机械优化设计
将有约束的优化问题转化为无约束优化问题来求解。 前提:一是不能破坏约束问题的约束条件,二是使它归结 到原约束问题的同一最优解上去。
min f ( x), x Rn
机械优化设计
根据求解方式的不同,约束优化设计问题可分为:直接 解法、间接解法。
(1)直接法 直接法包括:网格法、复合形法、随机试验法、
随机方向法、可变容差法和可行方向法。 (2)间接法 间接法包括:罚函数法、内点罚函数法、外点罚
函数法、混合罚函数法、广义乘子法、广义简约梯度 法和约束变尺度法等。
机械优化设计
产生初始复合形顶点 Xj , j=1,2,…,K
四. 复合形法的 迭代步骤
计算复合形各顶点的函数值 F(Xj), j=1,2,…,K
比较复合形各顶点的函数值 ,找出好点XL,坏点XH
XH=XR

满足终止条件?

1 K
XCΒιβλιοθήκη K1Xj,
j 1
j
H

X R X C ( X C X H ), FR F ( X R )
机械优化设计
2)计算除去最坏点XH 外的(k-1)个顶点的中心XC
1 L
xc k 1 j1 x j
3)从统计的观点来看,一般情况下,最坏点XH和中心点XC 的连线方向为目标函数的下降方向。
xR xC a xC xH
机械优化设计
4)判别反射点XR的位置
若XR 为可行点,则比较XR 和XH 两点的目标函数值, 如果f(XR) <f(XH),则用XR取代XH ,构成新的复合形, 完成一次迭代;如果f(XR) >=f(XH),则将α缩小0.7倍,重 新计算新的反射点,若仍不行,继续缩小α,直至f(XR) <f(XH)为止。
机械优化设计
1. 内点法
这种方法将新目标函数定义于可行域内,序列迭代点在 可行域内逐步逼近约束边界上的最优点。内点法只能用来求解 具有不等式约束的优化问题。
对于只具有不等式约束的优化问题:
min f ( x) s.t. g j ( x) 0 ( j 1,2,L , m) 转化后的惩罚函数形式为:
机械优化设计
直接解法的原理简单,方法实用,其特点是: 1)由于整个过程在可行域内进行,因此,迭代计算不论 何时终止,都可以获得比初始点好的设计点。 2)若目标函数为凸函数,可行域为凸集,则可获得全域 最优解,否则,可能存在多个局部最优解,当选择的初始 点不同,而搜索到不同的局部最优解。 3)要求可行域有界的非空集。
由于复合形的形状不必保持规则的图形,对目标函数和 约束函数无特殊要求,因此这种方法适应性强,在机械优化 设计中应用广泛。
机械优化设计
二.初始复合形的构成
机械优化设计
1. 复合形顶点数K的选择
建议: n 1 K 2n
n 小取大值, n 大取小值
* 1) 为保证迭代点能逼近极小点, 应使
K n1
j 1
k 1
新目标函数
加权因子
然后对新目标函数进行无约束极小化计算。
机械优化设计
5.2 随机方向法
机械优化设计
基本思想:利用计算机产生的随机数所构成的随 机方向进行搜索,产生的新点必须在可行域内,即满 足直接法的特性。
随机方向法,是约束最优化问题的一种常用的直 接求解方法。
机械优化设计
随机方向法的基本思路:
(2)复合形法适用于仅含不等式约束的问题。
机械优化设计
§5-5 惩罚函数法
惩罚函数法是一种很广泛、很有效的间接解法。它 的基本原理是将约束优化问题中的不等式和不等式约 束函数经加权后,和原目标函数结合为新的目标函 数——惩罚函数。
相关文档
最新文档