第十一讲 非线性规划(三)(运筹学-清华大学,林谦)

第二十三讲
§1 不使用导数的无约束寻优 方法 （15）
iv)缩减 如果f[Xn+3 (k)]>f[Xh(k)]，需将所有矢量[Xi(k)－Xl(k)]缩 减一半（i=1，2，…，n+1），即都向最小点靠近。
Xi(k)= Xl(k)+0.5[Xi(k)－Xl(k)] i=1，2，…，n+1
v)其余情况 令Xn+3 (k)取代Xh(k)。
Xn+5 (k)＝Xn+2 (k)+β[Xh(k)－Xn+2 (k)] 0<β<1为收缩系数，一般取0.5 且用Xn+5 (k)取代Xh(k)。
page 15 4 March 2020
Prof. Wang School of Economics & Management
Operations Research
若都不能使f f[X]↓，就仍令原X(0)为新元素，
然后按同样方法把X2(0)试采改变一个△X2(0)值，直到变化n 次，找到一个新点X(1)，便完成了“探测搜索”。
第二步：以新点为基点，连接 X (0) X (1) ，按此矢量方向进行 模式搜索或加速移步，模式搜索得到X(2)后，再进行II型探 测搜索，就得到新点X(3)，
不用导数的方法又称最优化搜索法，一般情况，利用导 数迭代寻优比搜索法速度快。然而利用导数寻优常常面 临两个困难：
·在多变量或复杂函数中，求导困难。
·执行方法前准备工作太多。
因此，对使用者来说，非导数型搜索法还是常用的。
page 2 4 March 2020
Prof. Wang School of Economics & Management
)
－xh(kj
)


j=1，2，…，n
其中，j — 各坐标方向。
初始多面体通常选为正多面体，然后通过计算进行四步操 作：
page 13 4 March 2020
Prof. Wang School of Economics & Management
Operations Research
第二十三讲
Operations Research
第二十三讲
§1 不使用导数的无约束寻优 方法 （10）
其思路为，首先取3个点（n+1=2+1）X(1)，X(2)，X(3)，并 计算函数值f(X(1))，f(X(2))，f(X(3))。然后比较大小（这三 个点称为初始正多面体）。发现f(X(3))最大，舍去f(X(3))，
这样便又构成新的多面体，重复上述步骤继续下去，直到 多面体小到给定精度为止。其结束规则为：
1


n
1
1
n1 i 1
[
f
[
X
(k i
)
]

f
[
X
(k) n2
]]2

2


其中， — 给定精度
page 16 4 March 2020
Prof. Wang School of Economics & Management
page 7 4 March 2020
Prof. Wang School of Economics & Management
Operations Research
第二十三讲
§1 不使用导数的无约束寻优 方法 （7）
若f[X(3)<[f[X(1)]]，说明模式搜索成功，否则失败。
第三步：若模式搜索成功，继续向前搜索；否则，返回上 一点，缩小步长继续探测搜索。
Operations Research
第二十三讲
§1 不使用导数的无约束寻优 方法 （16）
3．Powell法（鲍威尔法）（略）
page 17 4 March 2020
Prof. Wang School of Economics & Management
X(n)为起点（ 令X(0)= X(n)）重新按上述步骤搜索。
page 4 4 March 2020
Prof. Wang School of Economics & Management
Operations Research
第二十三讲
§1 不使用导数的无约束寻优 方法 （4）
这种方法简单、直
观，但对于山脊形
第二十三讲
§1 不使用导数的无约束寻优 方法 （6）
先 令 x1(0) 改 变 △ x1(0), 即 x1(1)=x1(0)+△x1(0) ， 若 f[X]↓ ， 则 以 x1(0)+△x1(0)作为X新元素分量； 否则，令x1(1)= x1(0)－△x1(0)，若f[X]↓就令x1(0)－△x1(0)为新元 素分量；
然后以X(1)为起点，沿e2坐标搜索，得最优解X(2)，即
min(
X(1)+
e2)=
f(X(2))，
∴X(2)=
X(1)+
(1)e2
┇
直到en为止，得X(n)：
min f(X(n－1)+ en)= f(X(n－1)+ (n－1)en)=f(X(n)) 即 X(n)= X(n－1)+ (n－1)en 若‖X(n)－X(0)‖<1，则停止，得最优解X(n)=X*，否则，以
min
f(X(0)+
e1)=f(X(0)+
(0)e1)=f(X(1))
即
X(1)= X(0)+ (0)e1
page 3 4 March 2020
Prof. Wang School of Economics & Management
Operations Research
第二十三讲
§1 不使用导数的无约束寻优 方法 （3）
-1 X(6) • ••X(•4) •
1
23 基矢量X(b)
x1
探测搜索步骤
-2
成功
-3
图4-12 模式搜索法例题
失败 模式搜索步骤
成功 失败
page 9 4 March 2020
Prof. Wang School of Economics & Management
Operations Research
Operations Research
第二十三讲
§1 不使用导数的无约束寻优 方法 （2）
1．直接搜索法
①坐标轮换法
该法是在寻优过程中，每次先让其它变量不变，轮流的顺 次令某一个变量变化并取函数f(X)极小点（或极大点）。
起始点为X(0)，先沿第1个坐标方向e1进行搜索，得最佳步
长(0)及最优点X(1)，使满足：
§1 不使用导数的无约束寻优 方法 （13）
i)反射
Xn+3 (k)＝Xn+2 (k)＋ (Xn+2 (k)－Xh(k)) >0称反射系数， =1时可保持正多面体；≠1说明反射点 可伸缩，通常取 =1。
ii)扩大 令
若f[Xn+3 (k)]≤f[Xl(k)]，则扩大战果， Xn+4 (k)＝Xn+2 (k)＋［Xn+3 (k)－Xn+2 (k)］ >１为扩大系数，通常取=2。
是搜索第k阶段（k=0，1，…）上n维欧氏空间的第i个顶点， 其目标函数为f[Xi(k)]
首先计算n+1个顶点函数值并找出函数最大及最小的点Xh和 Xl，即：
page 12 4 March 2020
Prof. Wang School of Economics & Management
Operations Research
Operations Research
第二十三讲
§1 不使用导数的无约束寻优 方法 （11）
②可变多面体法
该法在迭代过程中，不保持每步都为正多面体，而是根据 情况改变形状，故称可变多面体法。
其算法步骤如下：
设 Xi(k) =[x i1(k)，…，x ij(k)，…，x in(k)]T， i=1，…，n+1
第二十三讲
§1 不使用导数的无约束寻优 方法 （12）
f[Xh(k)]=max{ f[X1(k)]，…，f[Xn+1(k)]}
f[Xl(k)]=min{ f[X1(k)]，…，f[Xn+1 (k)]}
找出去掉Xh后的n个项点的形心坐标
x n2，j
1 n
n1 i1
xi(jk
Operations Research
第二十三讲
第十一讲 非线性规划（三）
§1 不使用导数的无约束寻优方法
page 1 4 March 2020
Prof. Wang School of Economics & Management
Operations Research
第二十三讲
§1 不使用导数的无约束寻优 方法 （1）
·在选择的极小化方向上的“模式搜索”。又称II型搜索。
第一步：先给出X的初始值X(0)及每步增量ΔX值，然后按增 量变化，求出下一个较好点。其方法为（都以求极小点为 例）：
page 6 4 March 2020
Prof. Wang School of Economics &Βιβλιοθήκη BaiduManagement
Operations Research
§1 不使用导数的无约束寻优 方法 （5）
② 步 长 加 速 法 (Hooke and Jeeves method) 或 模 式 搜 索 法 （Pattern Search method）。
该法为改进坐标轮换法而设计，方法搜索简单（不在某方 向上取极值点）。其主要分两步进行：
·环绕基点的“探测搜索”，称I型搜索。
找出余下两点X(1)和X(2)的形心点，连结X(3)与形心点并延
长找出X(3)关于形心点的对称点X(4)，再用X(1)，X(2)和X(4)
构成新的正多面体，继续前述步骤，直到找出极小点为
止。图4-13中描绘了寻找f(X)极小点的正多面体序列。
page 11 4 March 2020
Prof. Wang School of Economics & Management
x2 3
• X(0)
起 始 点 选 X(0)=[2.00 ， 2.80]T ， 初 始 △ X 选 为[0.60，0.84]T
f[X(0)]=f[2.00
，
• 2 • X(2) • X(1)
1• • • X(3)
2.80]=0.059
-3 -2 X(7-)1 X(5) 0
•
该例题求解过程如 图4-12所示。
x2
函数或自变量间有
大的交互作用不适
用。
最优点 终点
例如 图4-11 所 示 函 数就不宜用该法寻 优。
X(0) 图4-11
x1
page 5 4 March 2020
Prof. Wang School of Economics & Management
Operations Research
第二十三讲
[例4-15]求解下述无约束极值问题
max f[X]=max
1
(x1 1)2 x22
page 8 4 March 2020
Prof. Wang School of Economics & Management
Operations Research
第二十三讲
§1 不使用导数的无约束寻优
方法 （8）
page 14 4 March 2020
Prof. Wang School of Economics & Management
Operations Research
第二十三讲
§1 不使用导数的无约束寻优 方法 （14）
若f[Xn+4 (k)]< f[Xl(k)]则Xn+4 (k)取代Xh(k)，说明扩大成果成功。 若f[Xn+4 (k)]≥f[Xl(k)]则用Xn+3 (k)取代Xh(k)说明扩大成果失败。 iii) 收缩 若所有的i≠h，存在f[Xn+3 (k)]>f[Xi(k)]说明反射点值 仍较大，则应收缩进去，即
第二十三讲
§1 不使用导数的无约束寻优
方法 （9）
2．可变多面体法
x2
①正多面体法
例如，已知两维变 量函 数f(X)的 等 位 线示于图4-13，内 圈比外圈函数低。
10
9
11
7 5
8 12 6
1
4
2 3
x1
图4-13 极小化f(X)时得到的正单纯形序列
page 10 4 March 2020
Prof. Wang School of Economics & Management