(06)第四章-无约束优化方法(坐标轮换法)
合集下载
《无约束优化方法》PPT课件
进行一维搜索，其终点 x k 1 与始点 x k 的梯度值差
gk1 gk 与 d k 的共轭方向 d j 正交。
精选ppt
18
图4-9 共轭梯度法的几何说明
精选ppt
精选ppt
20
精选ppt
21
精选ppt
22
精选ppt
23
精选ppt
24
第六节变尺度法
变尺度法的基本思想：
前面讨论的梯度法和牛顿法，它们的迭代公式可以看作下列 公式的特例。
3
第二节 最速下降法
优化设计追求目标函数值最小，若搜索方向取该点的负梯度 方向，使函数值在该点附近的范围内下降最快。
按此规律不断走步，形成以下迭代算法：
xk1xkak f xk
以负梯度方向为搜索方向，所以称最速下降法或梯度法。
搜索方向确定为负梯度方向，还需确定步长因子a k
即求一维搜索的最佳步长，既有
xk 1xkkH f xk
变尺度法是对牛顿法的修正，它不是计算二阶导数的矩阵和 它的逆矩阵，而是设法构造一个对称正定矩阵H来代替Hesse 矩阵的逆矩阵。并在迭代过程中，使其逐渐逼近H-1 。
由于对称矩阵H在迭代过程中是不断修正改变的，它对于一 般尺度的梯度起到改变尺度的作用，因此H又称变尺度矩阵。
数值法
可以处理复杂函数及没有数学表达式 的优化设计问题
xk1xk akdk
搜索方向问题是无约束优化方法的关键。
各种无约束优化方法的区别：确定搜索方向的方法不同。
利用目标函数的一阶或二阶导数
无约束优化方法分类 （最速下降法、共轭梯度法、牛顿法）
利用目标函数值
（精坐选标ppt轮换法、鲍威尔等）
2
精选ppt
gk1 gk 与 d k 的共轭方向 d j 正交。
精选ppt
18
图4-9 共轭梯度法的几何说明
精选ppt
精选ppt
20
精选ppt
21
精选ppt
22
精选ppt
23
精选ppt
24
第六节变尺度法
变尺度法的基本思想：
前面讨论的梯度法和牛顿法，它们的迭代公式可以看作下列 公式的特例。
3
第二节 最速下降法
优化设计追求目标函数值最小，若搜索方向取该点的负梯度 方向，使函数值在该点附近的范围内下降最快。
按此规律不断走步，形成以下迭代算法：
xk1xkak f xk
以负梯度方向为搜索方向，所以称最速下降法或梯度法。
搜索方向确定为负梯度方向，还需确定步长因子a k
即求一维搜索的最佳步长，既有
xk 1xkkH f xk
变尺度法是对牛顿法的修正，它不是计算二阶导数的矩阵和 它的逆矩阵，而是设法构造一个对称正定矩阵H来代替Hesse 矩阵的逆矩阵。并在迭代过程中，使其逐渐逼近H-1 。
由于对称矩阵H在迭代过程中是不断修正改变的，它对于一 般尺度的梯度起到改变尺度的作用，因此H又称变尺度矩阵。
数值法
可以处理复杂函数及没有数学表达式 的优化设计问题
xk1xk akdk
搜索方向问题是无约束优化方法的关键。
各种无约束优化方法的区别：确定搜索方向的方法不同。
利用目标函数的一阶或二阶导数
无约束优化方法分类 （最速下降法、共轭梯度法、牛顿法）
利用目标函数值
（精坐选标ppt轮换法、鲍威尔等）
2
精选ppt
第四章常用的无约束优化方法
教学重点
1．鲍威尔法 2．梯度法 3．牛顿法
2
机械优化设计
概述
一、无约束优化方法的数学模型 有约束优化问题模型
L min F ( X * ) = F ( x1，x2， ，xn ), X ∈ R n D : g j ( X ) ≥ 0 j = 1,2,L, m hk ( X ) = 0 k = 1, 2,L, l
12
机械优化设计
一、Powell基本算法 Powell基本算法 1）开始采用坐标轴方向； 开始采用坐标轴方向； 2）每轮迭代产生一个新方向取代原来的第一 方向， 轮迭代后可产生n个彼此共轭的方向； 方向，n轮迭代后可产生n个彼此共轭的方向； 若目标函数为正定二次函数， 3）若目标函数为正定二次函数，n轮结束后 即可到达最优点。 即可到达最优点。
r (k ) r (k ) r (k ) r (k ) r (k ) r (k ) S 1 , S 2 , . . . , S m -1 , S m + 1 , . . . , S n , S n + 1 ,
22
第k+1环的方向组为：
机械优化设计
给定X 给定 0,Si=ei i=1,2,…n, ε
Powell 修正算法
K=0 i=1 方向搜索得一维最优点X 自Xi-1始，沿Si方向搜索得一维最优点 i
N
若powell法中不 需要换向，则 是否仍为共轭 方向法？ 检查两次前后 sn+1是否对函数 的海塞矩阵共 轭即可。
Y
i< n Xn-X0 ≤ε
i=i+1
Y
输出X*=Xn 输出 F*=F（X*） （ ）
x2
x2
o
x1
(2)等值线为如图脊线时--无效 (2)等值线为如图脊线时--无效 -o
无约束常用优化方法
步长 ，作前进（或后退）试探．如试探成功（目
标函数值有所减小），则按步长序列
，加
大步长（注意每次加大步长都是由初始点算起），直
至试探失败（目标函数值比前一次的有所增加）时，
则取其前一次的步长作为沿这个坐标轴方向搜索的最
优步长，并计算出该方向上的终止点，而后以这个终
止点为始点再进行下一坐标轴方向的搜索，并重复上
处
显然 是二次函数，并且还是正定二次函数，所以 是凸函数且存在唯一全局极小点．为求此极小点，令
即可解得
即
（5.9）
对照基本迭代公式,易知，式（5.9）中的搜索方向
步长因子
方向
是直指点 处近似二次函数
的极小点的方向．此时称此方向为从点 出发的
Newton方向．从初始点开始，每一轮从当前迭代点出发，
沿Newton方向并取步长 的算法称为Newton法．
另外，共轭梯度法不要求精确的直线搜 索．但是，不精确的直线搜索可能导致迭代 出来的向量不再共轭，从而降低方法的效 能．克服的办法是，重设初始点，即把经过 n次迭代得到的Xn作为初始点重新迭代．
五、坐标轮换法
在坐标轮换法中，沿各个坐标轴方向进行一维搜索
时，常选用最优步长法或加速步长法．加速步长法从
初始点出发，沿搜索（坐标轴）方向先取一个较小的
三、共轭方向法
1、概念
通常，我们把从任意点
出发，依次沿某组共轭
方向进行一维搜索的求解最优化问题的方法，叫做共
轭方向法．
2、特点
• 一般地，在n维空间中可以找出n个互相共轭的方向，对于n元正 定二次函数，从任意初始点出发，顺次沿这n个共轭方向最多作n 次直线搜索就可以求得目标函数的极小点．这就是共轭方向法的 算法形成的基本思想．
(06)第四章-无约束优化方法(坐标轮换法)
《机械优化设计》
第四章 无约束优化方法 §4-7 坐标轮换法
§4-3 坐标轮换法
间接法：梯度法；牛顿法；变尺度法 共同点：求导数 直接法：直接用函数值 搜索方向如何定？
坐标轮换法的基本思想：
把n维无约束优化问题转化为一系列一维优化问题来求 解，即沿着n个坐标轴方向e1,e2……en顺次进行一维搜索， 每n次搜索记为一轮，轮换迭代，求解极值点。 基本迭代格式：
(1) T x = [0 0] ε = 0.1 初始点 0 的最优解。迭代精度 ，
z
课后练习题： 用坐标轮换法求目标函数（迭代两轮）
f ( x ) = x12 + 16 x 22 + 10 x1 x 2
(1) T x = [4 3] ε = 0.1 初始点 0 的最优解。迭代精度 ，
算法特点：
1）不需对目标函数求导，方法简单； 2）收敛速度通常较低（其有效性取决于目标 函数的性态），仅适于低维的情况。
x
(k ) i
=x
(k ) i −1
+α e
(k ) i i
(k = 1,2,3"; i = 1,2," n)
收敛准则：
(k ) x0( k ) − xn ≤ε
图4-12 坐标轮换法的基本原理示意图
计算步骤：
1）对于n个变量的函数，若在第k轮沿着第i个坐标 方向进行搜索，其迭代公式为： k k k i i −1 i i k 2）求最优搜索步长 α
x = x +α e
i
3）本轮所有方向搜索完毕，判断迭代终止条件：
x −x
k n
k 0
≤ε
k n
4）满足上式：
x =x
∗
第四章 无约束优化方法 §4-7 坐标轮换法
§4-3 坐标轮换法
间接法：梯度法；牛顿法；变尺度法 共同点：求导数 直接法：直接用函数值 搜索方向如何定？
坐标轮换法的基本思想：
把n维无约束优化问题转化为一系列一维优化问题来求 解，即沿着n个坐标轴方向e1,e2……en顺次进行一维搜索， 每n次搜索记为一轮，轮换迭代，求解极值点。 基本迭代格式：
(1) T x = [0 0] ε = 0.1 初始点 0 的最优解。迭代精度 ，
z
课后练习题： 用坐标轮换法求目标函数（迭代两轮）
f ( x ) = x12 + 16 x 22 + 10 x1 x 2
(1) T x = [4 3] ε = 0.1 初始点 0 的最优解。迭代精度 ，
算法特点：
1）不需对目标函数求导，方法简单； 2）收敛速度通常较低（其有效性取决于目标 函数的性态），仅适于低维的情况。
x
(k ) i
=x
(k ) i −1
+α e
(k ) i i
(k = 1,2,3"; i = 1,2," n)
收敛准则：
(k ) x0( k ) − xn ≤ε
图4-12 坐标轮换法的基本原理示意图
计算步骤：
1）对于n个变量的函数，若在第k轮沿着第i个坐标 方向进行搜索，其迭代公式为： k k k i i −1 i i k 2）求最优搜索步长 α
x = x +α e
i
3）本轮所有方向搜索完毕，判断迭代终止条件：
x −x
k n
k 0
≤ε
k n
4）满足上式：
x =x
∗
第4章无约束优化方法
，
它表示沿着方向dk做一维搜索， 它的终点xk+1与始点xk的梯度之差
与dk的共轭方向dj正交。
4.5 共轭梯度法
共轭梯度法递推公式：
2 || g || d k 1 g k 1 k 1 2 d k || g k ||
，
(k 0,1, 2,
, n 1)
4.5 共轭梯度法
共轭梯度法步骤：
4.5 共轭方向及共轭方向法
2 1 0 例：求G= 1 2 1的一组共轭向量系d 0、d 1、d 2。 0 1 2
，
d
i 1
vi 1 i 1,r d
r 0
i
r
i 1, j
(d j )T Gvi 1 j T (d ) Gd j
d
0 T
Gd 1 0
4.5 共轭方向及共轭方向法
•共轭方向
设G是n n对称正定矩阵，若n维空间中有m个非零向量d 0、d1、 、d m 1 满足 (d i )T Gd j 0
，
(i, j 0,1,
, m 1) (i j )
则称d 0、d1、 、d m 1对G共轭，或称它们是G的共轭方向。
第四章
4.1 4.2 4.3 4.4 4.5 4.6 4.7
无约束优化方法
概述 最速下降法 牛顿型方法 变尺度法 共轭方向及共轭方向法
共轭梯度法
鲍威尔方法
4.1 概述
数值解法：是利用已有的信息，通过计算点一步
一步地直接移动，逐步逼近最后达到最优点。
xk 1 xk k d k (k 0,1, )
4）收敛速度与目标函数值的性质有关，对等值 线是同心圆的目标函数来说，经过一次迭代就可 以达到极值点。
它表示沿着方向dk做一维搜索， 它的终点xk+1与始点xk的梯度之差
与dk的共轭方向dj正交。
4.5 共轭梯度法
共轭梯度法递推公式：
2 || g || d k 1 g k 1 k 1 2 d k || g k ||
，
(k 0,1, 2,
, n 1)
4.5 共轭梯度法
共轭梯度法步骤：
4.5 共轭方向及共轭方向法
2 1 0 例：求G= 1 2 1的一组共轭向量系d 0、d 1、d 2。 0 1 2
，
d
i 1
vi 1 i 1,r d
r 0
i
r
i 1, j
(d j )T Gvi 1 j T (d ) Gd j
d
0 T
Gd 1 0
4.5 共轭方向及共轭方向法
•共轭方向
设G是n n对称正定矩阵，若n维空间中有m个非零向量d 0、d1、 、d m 1 满足 (d i )T Gd j 0
，
(i, j 0,1,
, m 1) (i j )
则称d 0、d1、 、d m 1对G共轭，或称它们是G的共轭方向。
第四章
4.1 4.2 4.3 4.4 4.5 4.6 4.7
无约束优化方法
概述 最速下降法 牛顿型方法 变尺度法 共轭方向及共轭方向法
共轭梯度法
鲍威尔方法
4.1 概述
数值解法：是利用已有的信息，通过计算点一步
一步地直接移动，逐步逼近最后达到最优点。
xk 1 xk k d k (k 0,1, )
4）收敛速度与目标函数值的性质有关，对等值 线是同心圆的目标函数来说，经过一次迭代就可 以达到极值点。
第4章 无约束优化方法
求
令
4 S 0 f X 0 2
0 则有 X 1 X 0 0 S 0 1 0 4 1 2 1 2
1 4
0
f X 1 1 4 0 2 1 2 0 2 1 4 0 1 2 0 4 1 4 0 f 0
因
5
还需继续迭代
（2）第二次迭代 同理有
1 1 1 f X , S 2 2 2 1 2 1 2 1 1 X X 1 S 1 0.5 2 0.5 2 1
4.2.3 变尺度法
基本思想： （1） 用简单矩阵代替二阶导数矩阵的逆矩阵 （2) 用坐标变换简化目标函数 引入矩阵变换U，令 X X k UY 代入式泰勒展开式得
T 1 T T 2 k k Y Y U f X UY f X UY f X k 2
2 f X k
S 2 f X k f X k
1
由此构成的算法称基本牛顿法，Sk 称牛顿方向。
分析可知： ⑴ 对于正定二次函数，Xk+1是精确极小点，方向 Sk 是直指函数的极小点。 ⑵ 用基本牛顿法求解正定二次函数时，无论从哪个初始 点出发，计算所得牛顿方向直指极小点，而且步长等于1。 ⑶ 对于一般非线性函数，点Xk+1只是原函数的一个近似极 小点。故将此点作为下一个迭代Xk+1。 ⑷ 但是对于非正定函数，由上式得到 的点Xk+1，不能始终保持函数的下降性，
1 0 0
第四章 无约束方法详解
[tt,ff]=opt_step_quad(xk1',dirk, th,epsx,epsf,maxiter); xk1=xk1+tt*dirk'; end xk0=xk1; xn=xk1; fn=ffx(xn); aa=norm(dir); if(aa<1e-30) aa=1e-30; end end
xn ]T
使目标函数 f ( x) min
min f ( x) x Rn
目前已研究出很多种无约束优化方法，它们的 主要不同点在于构造搜索方向上的差别。
（1）间接法（导数法）——确定搜索方向时用到一 阶或（和）二阶导数的方法。如梯度法、（阻尼） 牛顿法、变尺度法、共轭梯度法等。
（2）直接法——其搜索方向直接取定或由计算目标 函数值所得的信息来确定；即不使用导数信息，如 坐标轮换法、鲍威尔法等。
2020/9/23
5
无约束优化直接解法
坐标轮换法 鲍维尔（Powell）法 鲍维尔（Powell）修正算法
2020/9/23
6
§4-2 坐标轮换法（无约束优化直接解法）
一）搜索方向
依次沿n个正交坐标轴的方向搜索：
ee12
[1 [0
0 1
... ...
0]T 0]T
...
en [0 0 ... 1]T
坐标轮换法的Matlab程序由三部分组成。第一部分为坐标 轮换法计算函数coordinat(xk0,th,epsx, epsf,maxiter)，函数引用 变量说明见程序注释。最优步长采用二次插值法计算，函数名 为opt_step_quad(xk0,dir0, th,TolX, TolFun,maxiter)，该函数调 用区间搜索函数opt_range_serach(xk0,dir0,th)得出二次差值需 要的三个坐标点，区间搜索函数采用进退法。 第二部分为用户应用程序； 第三部分为定义目标函数，调用方式为fn=ffx(x)。 下面是坐标轮换法的Matlab计算程序：
四常用无约束最优化方法(精品PPT)
（3）用终止准则检测是否满足：若满足，则打印最优
解 X k 1 ，f ( X k1 ) ，结束；否则，置 k k 1，转
（2）．
，
最速下降法算法流程如图4.2所示．
Company Logo
最速下降法算 法流程如图所 示．
图4.2
开始 选定X0
f0 f (X0) g0 g(X0)
X ls(X 0 ,g0 )
Company Logo
§4.1 最速下降法
对于问题（4.1）为了求其最优解，按最优化算法的基
本思想是从一个给定的初始点
X
出发，通过基本迭代公
0
式 X k1 X k tk Pk，按照特定的算法产生一串
点列{X k } ，如果点列收敛，则该点列的极限点为问题
（4.1）的最优解．
一、最速下降法基本原理
1个迭代点
X
k
，即
1
X k1 X k tk f ( X k ) ，
其中步长因子 tk 按下式确定
也可记为
fin
t
f
(Xk
tf
(Xk
))
，
X k1 ls( X k , f ( X k )) ． （4.3）
显然，令k 0, 1, 2, 就可以得到一个点列 X0, X1, X2 ，
g( X ) AX b ，(4.5)
因此，
gk g( X k ) AX k b．(4.6)
现在从X k 出发沿 g k 作直线搜索以确定 X k1 ，于是
X k1 X k tk gk ， (4.7) 其中tk 是最优步长因子．
Company Logo
又因式（4.2），有 g( X k1 )T gk 0 ，再利用式
解 X k 1 ，f ( X k1 ) ，结束；否则，置 k k 1，转
（2）．
，
最速下降法算法流程如图4.2所示．
Company Logo
最速下降法算 法流程如图所 示．
图4.2
开始 选定X0
f0 f (X0) g0 g(X0)
X ls(X 0 ,g0 )
Company Logo
§4.1 最速下降法
对于问题（4.1）为了求其最优解，按最优化算法的基
本思想是从一个给定的初始点
X
出发，通过基本迭代公
0
式 X k1 X k tk Pk，按照特定的算法产生一串
点列{X k } ，如果点列收敛，则该点列的极限点为问题
（4.1）的最优解．
一、最速下降法基本原理
1个迭代点
X
k
，即
1
X k1 X k tk f ( X k ) ，
其中步长因子 tk 按下式确定
也可记为
fin
t
f
(Xk
tf
(Xk
))
，
X k1 ls( X k , f ( X k )) ． （4.3）
显然，令k 0, 1, 2, 就可以得到一个点列 X0, X1, X2 ，
g( X ) AX b ，(4.5)
因此，
gk g( X k ) AX k b．(4.6)
现在从X k 出发沿 g k 作直线搜索以确定 X k1 ，于是
X k1 X k tk gk ， (4.7) 其中tk 是最优步长因子．
Company Logo
又因式（4.2），有 g( X k1 )T gk 0 ，再利用式
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
《机械优化设计》
第四章 无约束优化方法 §4-7 坐标轮换法
§4-3 坐标轮换法
间接法：梯度法；牛顿法；变尺度法 共同点：求导数 直接法：直接用函数值 搜索方向如何定？
坐标轮换法的基本思想：
把n维无约束优化问题转化为一系列一维优化问题来求 解，即沿着n个坐标轴方向e1,e2……en顺次进行一维搜索， 每n次搜索记为一轮，轮换迭代，求解极值点。 基本迭代格式：
如:(1)等值线为椭圆,且长短轴分别平行于坐标轴时 --高效
X0
x2
X*
x2
o
x1
o
(2)等值线为如图脊线时 --无效 (3)一般情况 --低效
x1
(1) T x = [0 0] ε = 0.1 初始点 0 的最优解。迭代精度 ，
z
课后练习题： 用坐标轮换法求目标函数（迭代两轮）
f ( x ) = x12 + 16 x 22 + 10 x1 x 2
(1) T x = [4 3] ε = 0.1 初始点 0 的最优解。迭代精度 ，
算法特点：
1）不需对目标函数求导，方法简单； 2）收敛速度通常较低（其有效性取决于目标 函数的性态），仅适于低维的情况。
x
(k ) i
=x
(k ) i −1
+α e
(k ) i i
(k = 1,2,3"; i = 1,2," n)
收敛准则：
(k ) x0( k ) − xn ≤ε
图4-12 坐标轮换法的基本原理示意图
计算步骤：
1）对于n个变量的函数，若在第k轮沿着第i个坐标 方向进行搜索，其迭代公式为： k k k i i −1 i i k 2）求最优搜索步长 α
x = x +α e
i
3）本轮所有方向搜索完毕，判断迭代终止条件：
x −x
k n
k 0
≤ε
k n
4）满足上式：
x =x
∗Leabharlann 否则，进行下一轮迭代。图4-13 坐标轮换法 程序框图
z
例题： 用坐标轮换法求目标函数
（迭代两轮）
f ( x ) = x12 + x 22 − x1 x 2 − 4 x1 − 10 x 2 + 60
第四章 无约束优化方法 §4-7 坐标轮换法
§4-3 坐标轮换法
间接法：梯度法；牛顿法；变尺度法 共同点：求导数 直接法：直接用函数值 搜索方向如何定？
坐标轮换法的基本思想：
把n维无约束优化问题转化为一系列一维优化问题来求 解，即沿着n个坐标轴方向e1,e2……en顺次进行一维搜索， 每n次搜索记为一轮，轮换迭代，求解极值点。 基本迭代格式：
如:(1)等值线为椭圆,且长短轴分别平行于坐标轴时 --高效
X0
x2
X*
x2
o
x1
o
(2)等值线为如图脊线时 --无效 (3)一般情况 --低效
x1
(1) T x = [0 0] ε = 0.1 初始点 0 的最优解。迭代精度 ，
z
课后练习题： 用坐标轮换法求目标函数（迭代两轮）
f ( x ) = x12 + 16 x 22 + 10 x1 x 2
(1) T x = [4 3] ε = 0.1 初始点 0 的最优解。迭代精度 ，
算法特点：
1）不需对目标函数求导，方法简单； 2）收敛速度通常较低（其有效性取决于目标 函数的性态），仅适于低维的情况。
x
(k ) i
=x
(k ) i −1
+α e
(k ) i i
(k = 1,2,3"; i = 1,2," n)
收敛准则：
(k ) x0( k ) − xn ≤ε
图4-12 坐标轮换法的基本原理示意图
计算步骤：
1）对于n个变量的函数，若在第k轮沿着第i个坐标 方向进行搜索，其迭代公式为： k k k i i −1 i i k 2）求最优搜索步长 α
x = x +α e
i
3）本轮所有方向搜索完毕，判断迭代终止条件：
x −x
k n
k 0
≤ε
k n
4）满足上式：
x =x
∗Leabharlann 否则，进行下一轮迭代。图4-13 坐标轮换法 程序框图
z
例题： 用坐标轮换法求目标函数
（迭代两轮）
f ( x ) = x12 + x 22 − x1 x 2 − 4 x1 − 10 x 2 + 60