无约束优化方法 坐标轮换法
− 10x2
+ 60
的最优解。迭代精度
ε
= 0.1
，初始点
x (1) 0
= [0
0]T
z 课后练习题： 用坐标轮换法求目标函数（迭代两轮）
f
(x)
=
x2 1
+
1
6
x
2 2
+ 10 x1
x2
的最优解。迭代精度 ε
= 0.1
，初始点
x (1) 0
= [4
3]T
算法特点：
1）不需对目标函数求导，方法简单； 2）收敛速度通常较低（其有效性取决于目标 函数的性态），仅适于低维的情况。
基本迭代格式：
x = x + α e (k)
(k)
(k)
i
i−1
ii
(k = 1,2,3";i = 1,2,"n)
收敛准则：
ε x − x ≤ (k )
(k)
0
n
图4-12 坐标轮换法的基本原理示意图
计算步骤：
1）对于n个变量的函数，若在第k轮沿着第i个坐标
方向进行搜索，其迭代公式为：
α xk i
《机械优化设计》
第四章 无约束优化方法 §4-7 坐标轮换法
§4-3 坐标轮换法
间接法：梯度法；牛顿法；变尺度法 共同点：求导数
直接法：直接用函数值 搜索方向如何定？
坐标轮换法的基本思想：
把n维无约束优化问题转化为一系列一维优化问题来求 解，即沿着n个坐标轴方向e1,e2……en顺次进行一维搜索， 每n次搜索记为一轮，轮换迭代，求解极值点。
如:(1)等值线为椭圆,且长短轴分别平行于坐标轴时 --高效
X0
x2
o
X*
x2
x1
o
x1
(2)等值线为如图脊线时 --无效
(3)一般情况 --低效
=
xk i −1
+
ek
ii
2）求最优搜索步长
α
k i
3）本轮所有方向搜索完毕，判断迭代终止条件：
x
k n
−
x
k 0
≤ε
4）满足上式：
x∗
=
x
k n
否则，进行下一轮迭代。
图4-13 坐标轮换法
程序框图
z 例题： 用坐标轮换法求目标函数 （迭代两轮）
f
(x)
=
x2 1
+
x2 2
−
x1 x2
− 4 x1
(07)第四章-无约束优化方法(鲍威尔法)
《机械优化设计》§4-8 鲍威尔(Powell)方法¾基本思想：把n维无约束优化问题转化为n个沿坐标轴方向e 1,e 2……e n 的一维优化问题来求解。
坐标轮换法坐标轮换法：1e s x¾特点：z 方法简单，思路简明z 收敛速度太慢，效率太低鲍威尔算法的流程图{n次搜索判定并确定下轮方向组{构造新方向并一维搜索{计算条件参数准备信息判断终止条件5. 鲍威尔法的特点：（1）收敛速度快，可靠性高；（2）对非正定函数，也很有效；（3）计算步骤较复杂。
6. 鲍威尔法与坐标轮换法的主要区别：（1）每轮的搜索次数；（2）每轮的搜索方向组的构造方式。
0.01ε=的最优解。
迭代精度。
z例题（书P85）：用改进的鲍威尔法求目标函数22121212(,)10(5)()f x x x x x x =+−+−解：（一）第1轮迭代计算1）从出发，沿e 1方向进行一维搜索：(1)1100/22 4.5455α==得：(1)1[4.54550]T=x 初始点(1)0[00]T=x 12[10];[01]T T ==e e (1)(1)1120(5)20f ααα′=−+=min :(1)1()f x (1)0x (1)(1)(1)1011α=+x x e (1)2(1)2(1)11110(5)()()f ααα=−+=选取基本搜索方向组：(1)(1)1101;000αα⎡⎤⎡⎤⎡⎤=+=⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦2）从出发，沿e 2方向进行一维搜索：(1)20.826α=得：(1)2[4.54550.826]T=x (1)(1)2220(0.455)2( 4.545)0f ααα′=−+−=min :(1)(1)2(1)2(1)2222()10(4.5455)(4.545)()f f ααα=+−+−=x (1)1x (1)(1)(1)(1)21222(1)24.5454.5450;01ααα⎡⎤⎡⎤⎡⎤=+=+=⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦xx e (1)2()15.215f =x (1)(1)212()()22.72715.2157.512f f Δ=−=−=x x 3）计算函数值以及下降量(1)0()250f =x (1)1()22.727f =x (1)(1)101()()25022.727227.27f f Δ=−=−=x x (1)()if x i Δ4）求最大下降量121max{,}227.723m Δ=ΔΔ=Δ=mΔ5）计算映射点及其函数值(1)()f x (1)x (1)(1)(1)24.545509.09220.82640 1.653⎡⎤⎡⎤⎡⎤=−=−=⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦x x x (1)00()250F f ==x (1)()385.239f =x 6）计算判别条件式(1)22()15.215F f ==x (1)3()385.239F f ==x 30?F F <故不满足鲍威尔条件，则下一轮仍用原方向组。
无约束常用优化方法
步长 ，作前进（或后退）试探．如试探成功（目
标函数值有所减小），则按步长序列
，加
大步长（注意每次加大步长都是由初始点算起），直
至试探失败（目标函数值比前一次的有所增加）时，
则取其前一次的步长作为沿这个坐标轴方向搜索的最
优步长，并计算出该方向上的终止点，而后以这个终
止点为始点再进行下一坐标轴方向的搜索，并重复上
处
显然 是二次函数，并且还是正定二次函数，所以 是凸函数且存在唯一全局极小点．为求此极小点，令
即可解得
即
（5.9）
对照基本迭代公式,易知，式（5.9）中的搜索方向
步长因子
方向
是直指点 处近似二次函数
的极小点的方向．此时称此方向为从点 出发的
Newton方向．从初始点开始，每一轮从当前迭代点出发，
沿Newton方向并取步长 的算法称为Newton法．
另外，共轭梯度法不要求精确的直线搜 索．但是，不精确的直线搜索可能导致迭代 出来的向量不再共轭，从而降低方法的效 能．克服的办法是，重设初始点，即把经过 n次迭代得到的Xn作为初始点重新迭代．
五、坐标轮换法
在坐标轮换法中，沿各个坐标轴方向进行一维搜索
时，常选用最优步长法或加速步长法．加速步长法从
初始点出发，沿搜索（坐标轴）方向先取一个较小的
三、共轭方向法
1、概念
通常，我们把从任意点
出发，依次沿某组共轭
方向进行一维搜索的求解最优化问题的方法，叫做共
轭方向法．
2、特点
• 一般地，在n维空间中可以找出n个互相共轭的方向，对于n元正 定二次函数，从任意初始点出发，顺次沿这n个共轭方向最多作n 次直线搜索就可以求得目标函数的极小点．这就是共轭方向法的 算法形成的基本思想．
(06)第四章-无约束优化方法(坐标轮换法)
第四章 无约束优化方法 §4-7 坐标轮换法
§4-3 坐标轮换法
间接法：梯度法；牛顿法；变尺度法 共同点：求导数 直接法：直接用函数值 搜索方向如何定？
坐标轮换法的基本思想：
把n维无约束优化问题转化为一系列一维优化问题来求 解，即沿着n个坐标轴方向e1,e2……en顺次进行一维搜索， 每n次搜索记为一轮，轮换迭代，求解极值点。 基本迭代格式：
(1) T x = [0 0] ε = 0.1 初始点 0 的最优解。迭代精度 ，
z
课后练习题： 用坐标轮换法求目标函数（迭代两轮）
f ( x ) = x12 + 16 x 22 + 10 x1 x 2
(1) T x = [4 3] ε = 0.1 初始点 0 的最优解。迭代精度 ，
算法特点：
1）不需对目标函数求导，方法简单； 2）收敛速度通常较低（其有效性取决于目标 函数的性态），仅适于低维的情况。
x
(k ) i
=x
(k ) i −1
+α e
(k ) i i
(k = 1,2,3"; i = 1,2," n)
收敛准则：
(k ) x0( k ) − xn ≤ε
图4-12 坐标轮换法的基本原理示意图
计算步骤：
1）对于n个变量的函数，若在第k轮沿着第i个坐标 方向进行搜索，其迭代公式为： k k k i i −1 i i k 2）求最优搜索步长 α
x = x +α e
i
3）本轮所有方向搜索完毕，判断迭代终止条件：
x −x
k n
k 0
≤ε
k n
4）满足上式：
x =x
∗
04 无约束优化方法
F 1A C
向上的极小点，而非原函数的 -2 -1
0
1
2
3
x1
极小点。
解决办法：阻尼牛顿法。
7
二.阻尼牛顿法
1.迭代公式
沿牛顿方向-[H(X(k))]-1f(X(k))作一维搜索,迭代公式：
X (k1) X (k ) k [H ( X (k ) )]1f ( X (k ) )
其中λ k使
f ( X (k ) k s(k ) ) min f ( X (k ) k s(k ) )
S1
1 0 ,S2
0 1
正交不共轭
19
2.正定二次函数的特点
(1)正定二次二元函数的等值线是椭圆线簇,椭圆线簇的中心
即目标函数的极值点。
(2)过同心椭圆线簇中心作任意直线,此直线与诸椭圆交点处
的切线相互平行。
反之过两平行线与椭圆切点X(a)和
x2
X(b)的连线必通过椭圆的中心。因此
只要沿方向X(a)—X(b)进行一维搜索，
1、坐标轮换法具有程序简单，易于掌握的优点，但它的计
算效率较低，因此它虽然步步在登高，但相当于沿两个垂直方
向在爬山，路途迂迴曲折，收敛很慢，因此它适用于维数较低
(一般n<10)的目标函数求优。
2、有“脊线”的目标函数等值线的情形,沿坐标轴方向函数值
不一定下降。
脊线
x2
A
p
0
x1
13
五、练习 用最优步长法求解 f (X)=(x1-2)4+(x1-2x2)2的极小点。 初始点X(0)=[0,3]T，要求迭代一轮。 请注意沿坐标轴移动的方向。
22
二、迭代过程
以二维问题为例： ① X(0)
无约束优化之坐标轮换法
无约束优化方法——坐标轮换法一.基本原理坐标轮换法是每次允许一个变量变化，其余变量保持不变，即沿坐标方向轮流进行搜索的寻优方法。
它把多变量的优化问题轮流的转化成单变量的优化问题，因此又称变量轮换法。
在搜索的过程中可以不需要目标函数的导数，只需目标函数值信息。
它比利用目标函数导数建立搜索方向的方法简单的多。
以二元函数飞f（x1,x2）为例说明坐标轮换法的寻优过程。
从初始点x00出发，沿第一个坐标方向搜索，即d10=e1得x10=x00+a01*d01按照一维搜索方法确定最佳步长因子a01满足minf(x00+a*d01),然后从x01出发沿d02=e2方向搜索得x02=x01+a02*d02,其中步长因子a02满足minf(x01+a*d02),x02为一轮（k=0）的终点。
检验始、终点之间的距离是否满足精度要求，即判断||x02-x00||<e的条件是否满足。
若满足则x*=x02,否则令x10=x02,重新一次沿坐标方向进行下一轮的搜索。
对于n个变量的函数，若在第k 轮沿第i个坐标方向dki进行搜索，其迭代公式为xki=xk(i-1)+aki+dki(k=0,1,2…,i=0,1,2…n)其中搜索方向取坐标方向，即dki=ei(i=1,…n)。
若||xkn-x00||<e,则x*=xkn,否则x(k+1)0=xkn,进行下一轮搜索，一直到满足精度为止。
注：上述xki中，其中k为上标，i为下标二．例题及程序1.用坐标轮换法求f(1x,2x)=10(1x+2x-5)^2+(1x-2x)^2极小值2.程序(1)function y=f(x)y=10*(x(1)+x(2)-5)^2+(x(1)-x(2))^2; ………………………..%定义f文件(2)d1=e1;syms a1;x1=x0+a1*d1;y1=f(x1);z1=diff(y1,a1);subs(z1);a1=solve(z1);%求沿e1方向最佳步长x1=x0+a1*d1;d2=e2;syms a2;x2=x1+a2*d2;y2=f(x2);z2=diff(y2,a2);subs(z2);a2=solve(z2);%求沿e2方向最佳步长x2=x1+a2*d2;m=x2-x0;m=double(m);t=norm(m); ……….%定义f2文件(3)x0=[0;0];e=0.001;e1=[1;0];e2=[0;1];f2; ………………%定义f3文件(4)f3;while (t>=e)x0=x2;f2;endx2=double(x2);xo=x2;xo…………………%定义f4文件三．程序框图四．计算结果及说明运用MATLAB运算结果如上所示，运算结果比较精确，跟课本上用鲍威尔方法计算结果比较相近。
第四章 无约束方法
e2
e3
x1
x2
Powell修正算法：在构成第K+1 2015-6-23 18 法构造基本方向组。
二）Powell修正算法 2)Powell对基本算法的改进
在获得新方向构成新方向组时,不是轮换 地去掉原来的方向,而是经判别后,在n+1个 方向中留下最接近共轭的n个方向。 这样可以避免新方向组中的各方向出现 线性相关的情形，保证新方向组比前一方 向组具有更好的共轭性质。
x3
o
X0 e1 e2
s
e3
s2
e3，s1，s2
x1
x2
s3
Xn
15
2015-6-23
补充：共轭方向的基本概念
1)定义
设A为n*n阶正定对称矩阵， S1 , S 2 是两个n维 向量，若存在 T S1 AS2 0 则称 S1和S 2对A共轭。
例：
4
2 1 2
2 2 6 4 3
3
无约束优化问题是：
求n维设计变量 使目标函数
x [ x1 x2
f ( x ) min
xn ]
T
min f ( x)
x Rn
目前已研究出很多种无约束优化方法，它们的 主要不同点在于构造搜索方向上的差别。 （1）间接法（导数法）——确定搜索方向时用到一 阶或（和）二阶导数的方法。如梯度法、（阻尼） 牛顿法、变尺度法、共轭梯度法等。 （2）直接法——其搜索方向直接取定或由计算目标 函数值所得的信息来确定；即不使用导数信息，如 坐标轮换法、鲍威尔法等。
结 束
X0=X*
N
F3<F
1
Y
求Δ 及方向标号m
N Y
第四章 无约束方法详解
[tt,ff]=opt_step_quad(xk1',dirk, th,epsx,epsf,maxiter); xk1=xk1+tt*dirk'; end xk0=xk1; xn=xk1; fn=ffx(xn); aa=norm(dir); if(aa<1e-30) aa=1e-30; end end
xn ]T
使目标函数 f ( x) min
min f ( x) x Rn
目前已研究出很多种无约束优化方法，它们的 主要不同点在于构造搜索方向上的差别。
（1）间接法（导数法）——确定搜索方向时用到一 阶或（和）二阶导数的方法。如梯度法、（阻尼） 牛顿法、变尺度法、共轭梯度法等。
（2）直接法——其搜索方向直接取定或由计算目标 函数值所得的信息来确定；即不使用导数信息，如 坐标轮换法、鲍威尔法等。
2020/9/23
5
无约束优化直接解法
坐标轮换法 鲍维尔（Powell）法 鲍维尔（Powell）修正算法
2020/9/23
6
§4-2 坐标轮换法（无约束优化直接解法）
一）搜索方向
依次沿n个正交坐标轴的方向搜索：
ee12
[1 [0
0 1
... ...
0]T 0]T
...
en [0 0 ... 1]T
坐标轮换法的Matlab程序由三部分组成。第一部分为坐标 轮换法计算函数coordinat(xk0,th,epsx, epsf,maxiter)，函数引用 变量说明见程序注释。最优步长采用二次插值法计算，函数名 为opt_step_quad(xk0,dir0, th,TolX, TolFun,maxiter)，该函数调 用区间搜索函数opt_range_serach(xk0,dir0,th)得出二次差值需 要的三个坐标点，区间搜索函数采用进退法。 第二部分为用户应用程序； 第三部分为定义目标函数，调用方式为fn=ffx(x)。 下面是坐标轮换法的Matlab计算程序：
第六节_无约束优化方法 鲍威尔
结论：从不同的点出 发沿某一方向分别对 函数作两次一维搜索 ，得到两个极小点， 那么这两个极小点的 连线方向与该方向对 G共轭
二、鲍威尔基本算法
鲍 威 尔 基 本 算 法 的 搜 索 过 程 （ 二 维 ）
二、鲍威尔基本算法
鲍 威 尔 基 本 算 法 的 搜 索 过 程 （ 三 维 ）
鲍威尔基本算法的步骤：
m max[ F ( xik1 ) F ( xik )] Fm1 Fm （1≤m≤n）
k k k x d x 及与之相对应的两个点 m 1 和 m ，并以 m 表示两点
的连线方向。
（4）关键点函数值
k k k xn 2 x x 1 n 0
k F1 F ( x0 ) k F3 F ( xn 1 ) k F2 F ( xn )
7.9883 x* x 5.9981
5 2
f * f ( x*) 7.95025
§4.5
3. 方法评价：
坐标轮换法
• 方法简单，容易实现。 • 当维数增加时，效率明显下降。
收敛慢，以振荡方式逼近最优点。
•
受目标函数的性态影响很大。 如图 a) 所示，二次就收敛到极值点； 如图 b) 所示，多次迭代后逼近极值点；
按照以下两种情况处理： 1) 上式中至少一个不等式成立，则第k+1轮的 基本方向仍用老方向组d1k、d2k、 • • • 、 dnk。 k+1轮的初始点取 x0k+1=xnk F2<F3 x0k+1=xn+1k F2F3
2）两式均不成立，则淘汰函数值下降最大的方向， 并用第k轮的新生方向补入k+1轮基本方向组的最后， 即k+1轮的方向组为d1k、d2k 、 • • • 、 dm-1k、 dm+1k 、 • • • 、dnk、 dk 。
第三章无约束最优化方法3
第三章⽆约束最优化⽅法3第⼋节坐标轮换法把⼀个多维问题转化为⼀系列较少维数的问题称为降维。
降维⽅法有⼏种，坐标轮换法是⽤得较多的⼀种，这是⼀种不需要求函数导数的直接探索⽬标函数最优解的⽅法。
直接法、降维法⼀、坐标轮换法的基本思想其基本思想就是通过每次仅对多元函数的⼀个变量沿其坐标轴进⾏⼀维探索，其余各变量均固定不动，并依次轮换进⾏⼀维探索的坐标轴，完成第⼀轮探索后再重新进⾏第⼆轮探索，直到找到⽬标函数在全域上的最⼩点为⽌，以达到将⼀个多维的⽆约束最优化问题，转化为⼀系列的⼀维问题来求解的⽬的。
为简明起见，现以⼆元函数来说明基本步骤： 1.从初始点(0)(0)(0)(0)12(,,)n Xx x x =出发，依次沿各坐标轴⽅向搜索最优点，保持其余n-1个变量不变。
例：如果(0)(0)(0)(0)(0)123(,,,)(3,5,23,21)n Xx x x x ==，如果沿x 1轴⽅向搜索，则搜索过后改变的仅仅是x 1的值3，其余坐标的值均保持不变。
假设搜索到的值是8，则下⼀个点的值为(1)(1)(0)(0)(0)1123(,,,)(8,5,23,21)n X x x x x ==。
迭代点的序列为：(0)(1)(0)(0)(0)(0)0123(,,,)n X X x x x x →=(1)(1)(0)(0)(0)1123(,,,)n X x x x x = (1)(1)(1)(0)(0)2123(,,,)n X x x x x =(1)(1)(1)(1)(0)3123(,,,)n X x x x x =(1)(1)(1)(1)(1)(1)(2)1230(,,,)n n X x x x x X X =→→上标表⽰搜索的轮次，下标表⽰对应的坐标，亦即该轮次的第⼏次迭代。
经过⼀轮（n 次）迭代后，得到⼀个新点，然后进⾏下⼀轮迭代。
只到满⾜精度。
⼆、步长()k i α可以有以下⼏种取法1.随机选择()k iα值的⽅法2. 加速步长法为⽅向的初始试验了加快探索过程，可以采⽤加速步长法。
机械优化设计第四节无约束--坐标轮换法3-5解析
5
7.954 , 5.978 T 0.035 7.989 , 5.978T 0.018 7.989 , 5.996 T 0.04
计算第五轮的有
(5) (5)
x2 x0 (7.989 7.954)2 (5.996 5.978)2 0.0394
近似优化解为：
* (5) 7.989 x x2 5.996
*
f * f (x ) 8.000093
2.4、共轭方向法
1、共轭方向
坐标轮换法的收敛速度很慢，原因在于其搜索方向总是
平行于坐标轴，不适应函数变化情况如图所示若把一轮的起
点 与末点 (1)
(1)
x1
x2
连起来形成 一个新的搜索方向
S2
,
S2 与
S1 有何关系。
如图所示，设给定两个平行方向 S1 ,从两个任意初始点分别
)
e
i
否
in
是
(k) (k)
xn x0
否
是
k k 1
(0)
(k)
x xn
*
*
x x f f (x )
出口
特点： 简单易行，但由于它只能轮流沿几个坐标
方向前进，因而效率低下，特别是维数较高n>10 或目标函数性质不好的情况下收敛速度慢。本方 法的收敛效率在很大程度上取决于目标函数等值 线的形状。当椭圆簇的长短轴与坐标轴斜交，迭 代次数将大大增加，收敛速度很缓慢。目标函数
S2
*
x
S1
x
2
x1
S1
如图所示，同心椭圆簇具有 这样一个特点，就是二条任 意平行线的切点的连线必通 过椭圆族的中心。
沿这两个平行方向进行一维搜索求得极小点