第4章 无约束优化方法(已排)
合集下载
《无约束优化方法》PPT课件
进行一维搜索，其终点 x k 1 与始点 x k 的梯度值差
gk1 gk 与 d k 的共轭方向 d j 正交。
精选ppt
18
图4-9 共轭梯度法的几何说明
精选ppt
精选ppt
20
精选ppt
21
精选ppt
22
精选ppt
23
精选ppt
24
第六节变尺度法
变尺度法的基本思想：
前面讨论的梯度法和牛顿法，它们的迭代公式可以看作下列 公式的特例。
3
第二节 最速下降法
优化设计追求目标函数值最小，若搜索方向取该点的负梯度 方向，使函数值在该点附近的范围内下降最快。
按此规律不断走步，形成以下迭代算法：
xk1xkak f xk
以负梯度方向为搜索方向，所以称最速下降法或梯度法。
搜索方向确定为负梯度方向，还需确定步长因子a k
即求一维搜索的最佳步长，既有
xk 1xkkH f xk
变尺度法是对牛顿法的修正，它不是计算二阶导数的矩阵和 它的逆矩阵，而是设法构造一个对称正定矩阵H来代替Hesse 矩阵的逆矩阵。并在迭代过程中，使其逐渐逼近H-1 。
由于对称矩阵H在迭代过程中是不断修正改变的，它对于一 般尺度的梯度起到改变尺度的作用，因此H又称变尺度矩阵。
数值法
可以处理复杂函数及没有数学表达式 的优化设计问题
xk1xk akdk
搜索方向问题是无约束优化方法的关键。
各种无约束优化方法的区别：确定搜索方向的方法不同。
利用目标函数的一阶或二阶导数
无约束优化方法分类 （最速下降法、共轭梯度法、牛顿法）
利用目标函数值
（精坐选标ppt轮换法、鲍威尔等）
2
精选ppt
gk1 gk 与 d k 的共轭方向 d j 正交。
精选ppt
18
图4-9 共轭梯度法的几何说明
精选ppt
精选ppt
20
精选ppt
21
精选ppt
22
精选ppt
23
精选ppt
24
第六节变尺度法
变尺度法的基本思想：
前面讨论的梯度法和牛顿法，它们的迭代公式可以看作下列 公式的特例。
3
第二节 最速下降法
优化设计追求目标函数值最小，若搜索方向取该点的负梯度 方向，使函数值在该点附近的范围内下降最快。
按此规律不断走步，形成以下迭代算法：
xk1xkak f xk
以负梯度方向为搜索方向，所以称最速下降法或梯度法。
搜索方向确定为负梯度方向，还需确定步长因子a k
即求一维搜索的最佳步长，既有
xk 1xkkH f xk
变尺度法是对牛顿法的修正，它不是计算二阶导数的矩阵和 它的逆矩阵，而是设法构造一个对称正定矩阵H来代替Hesse 矩阵的逆矩阵。并在迭代过程中，使其逐渐逼近H-1 。
由于对称矩阵H在迭代过程中是不断修正改变的，它对于一 般尺度的梯度起到改变尺度的作用，因此H又称变尺度矩阵。
数值法
可以处理复杂函数及没有数学表达式 的优化设计问题
xk1xk akdk
搜索方向问题是无约束优化方法的关键。
各种无约束优化方法的区别：确定搜索方向的方法不同。
利用目标函数的一阶或二阶导数
无约束优化方法分类 （最速下降法、共轭梯度法、牛顿法）
利用目标函数值
（精坐选标ppt轮换法、鲍威尔等）
2
精选ppt
(05)第四章-无约束优化方法(梯度法-牛顿法和变尺度法)
第四章
第四章
无约束优化问题标准形式：
无约束优化问题标准形式：
§
§
§
§
§
§
图最速下降法的收敛过程
αα
2
2
例4－1 求目标函数
取初始点
[2,2]
=
x
例4－2 求目标函数解取初始点[2,2]
=x
算出一维搜索最佳步长
§
例4－3 用梯度法求下面无约束优化问题：
例4－3 用梯度法求下面无约束优化问题：
例4－3 用梯度法求下面无约束优化问题：
例4－3 用梯度法求下面无约束优化问题：
例4－3 用梯度法求下面无约束优化问题：
梯度法的特点
x
给定0,ε
一般迭代式：
§4.3
§4.3
§4.3
§4.3
α0
d 0
x
x 1
x*
1
α1d 1
1()
f −∇x d 1
4-4 共轭方向法
假设目标函数f (x ) 在极值点附近的二次近似函数为
沿某个下降方向
如果能够选定这样的搜索方向，那么对于二
α
0d0
x0x1x*
1
α
1
d1
1
()
f
−∇x d
1。
无约束多维问题的优化方法
T
k 1
X X 0
F
k 0
i0
X, f
f 0 f X
t Si 2
结束
9
2013-2-28
3)最优步长法 最优步长法是利用一维探索方方，如黄金分割 法或二次插值法，来确定最优步长 i 值 在第k轮探索的第i次迭代中其步长为：
min f
X
i 1
Si f
f ( x 0 ) 104 2 x1 4 f ( x ) 100 50 x2 x0 沿负梯度方向进行一维搜索，有
0
2 4 0 x x 0 f ( x ) 2 100 0
1 0 0
0为一维搜索最佳步长，应满足极值必要条件
4.1 坐标轮换法
坐标轮换法又称为“变量轮换法”，“交替法”或 “降维法”。是一种常用的降维方法。是一种不需要 求函数导数，直接探索目标函数最优解的方法。
一）基本思想
每次仅对多元函数的一个变量沿其坐标轴进行 一维探索，其余各变量均固定不动，并依次轮换进 行一维探索的坐标轴，完成第一轮探索后再重新进 行第二轮探索，直到找到目标函数在全域上的最小 点为止。以达到将一个多维的无约束最优化问题， 转化为一系列的一维问题来求解的目的。
2 4 0 1.919 877 x 2 100 0 0.307 178 5 102
1
f ( x1 ) 3.686 164
T 继续作下去，经10次迭代后，得到最优解 x 0 0
f ( x ) 0
这一问题的目标函数f(x)的等值线为一簇椭圆。
全过程的搜索路线呈锯齿状，在远离极小点时逼近速度 较快，而在接近极小点时逼近速度较慢。 （4）梯度法的收敛速度 与目标函数的性质密切相 关。对于等值线(面)为同 心圆（球）的目标函数， 一次搜索即可达到极小点。
第四章 无约束优化设计
f (X )
在点
(k ) T
X (k )
处展开成二次近似式：
(k )
) f ( X
)
X X
对上式求梯度，并设 得： 令： 有：
( k 1)
X ( k 1)
1 (k ) T 2 X X f ( X (k ) ) X X (k ) 2
是函数的极小点
f ( X ( k 1) ) f ( X ( k ) ) 2 f ( X ( k ) ) X ( k 1) X ( k ) 0
f ( X
( 0)
4 ) 2
S
( 0)
f ( X
( 0)
4 ) 2 X
( 0)
新的迭代点与函数值:
X
(1)
aS
( 0)
1 4a 1 2a
f ( X (1) ) (1 4a) 2 2(1 2a) 2 2(1 4a)(1 2a) 4(1 4a) Φ(a)
4-2
X
(1)
牛顿法
( 0)
（4）沿搜索方向作一维搜索：
X
( 0)
aS
1 3 1 3a a 1 1 1 a
f ( X (1) ) (1 3a) 2 2(1 a) 2 2(1 3a)(1 a) 4(1 3a) Φ(a)
X * X ( k 1) , f ( X * ) f ( X ( k 1) )
k 否则，令： k 1 转（2）继续迭代。
4-2
牛顿法
例题：用牛顿法求解无约束优化问题，已知：X (0) 1,1T 0.1
最优化计算方法(工程优化)第4章
f (x*) 0, 2 f x 正定，则 x 为 f (x) 的严格局部极小
点。
如果 2 f x 负定，则 x 为 f (x) 的严格局部极大点。
无约束优化的最优性条件----凸优化的一阶条件
定理(一阶充要条件)
设 f : Rn R 是凸函数且在 x 处连续可微，则 x 为 f (x)的全局极小点的充要条件是 f (x*) 0.
f (x p) f (x)+f (x)T p o( )
P是什么方向时，函数值 f (x p) 下降最快？也就是
p是什么方向时，f (x)T p 取得最小值？
f (x)T p f (x) p cos(f (x), p)
当 cos(f (x), p) 1 时，f (x)T p 最小，最小值为
令 f x 0, 即：
利用一阶条件 求驻点
利用二阶条件 判断驻点是否 是极小点
x12 1 0
x22
2x2
0
得到驻点： 1 1 1 1
x1
0 ,
x2
2 ,
x3
0
,
x4
2
.
无约束优化的最优性条件
函数 f x 的Hesse阵：
2
f
x
2x1
0
0
2
x2
2
利用二阶条件 判断驻点是否 是极小点
2 0
0 2
的行列式小于0；
x1, x4是鞍点；
2
f
x2
2 0
0
2
是正定矩阵；
x2 是极小点；
2
f
x3
2 0
0 2
是负定矩阵；
x3 是极大点。
• 对某些较简单的函数，这样做有时是可行的；
点。
如果 2 f x 负定，则 x 为 f (x) 的严格局部极大点。
无约束优化的最优性条件----凸优化的一阶条件
定理(一阶充要条件)
设 f : Rn R 是凸函数且在 x 处连续可微，则 x 为 f (x)的全局极小点的充要条件是 f (x*) 0.
f (x p) f (x)+f (x)T p o( )
P是什么方向时，函数值 f (x p) 下降最快？也就是
p是什么方向时，f (x)T p 取得最小值？
f (x)T p f (x) p cos(f (x), p)
当 cos(f (x), p) 1 时，f (x)T p 最小，最小值为
令 f x 0, 即：
利用一阶条件 求驻点
利用二阶条件 判断驻点是否 是极小点
x12 1 0
x22
2x2
0
得到驻点： 1 1 1 1
x1
0 ,
x2
2 ,
x3
0
,
x4
2
.
无约束优化的最优性条件
函数 f x 的Hesse阵：
2
f
x
2x1
0
0
2
x2
2
利用二阶条件 判断驻点是否 是极小点
2 0
0 2
的行列式小于0；
x1, x4是鞍点；
2
f
x2
2 0
0
2
是正定矩阵；
x2 是极小点；
2
f
x3
2 0
0 2
是负定矩阵；
x3 是极大点。
• 对某些较简单的函数，这样做有时是可行的；
第4章 无约束优化方法
求
令
4 S 0 f X 0 2
0 则有 X 1 X 0 0 S 0 1 0 4 1 2 1 2
1 4
0
f X 1 1 4 0 2 1 2 0 2 1 4 0 1 2 0 4 1 4 0 f 0
因
5
还需继续迭代
（2）第二次迭代 同理有
1 1 1 f X , S 2 2 2 1 2 1 2 1 1 X X 1 S 1 0.5 2 0.5 2 1
4.2.3 变尺度法
基本思想： （1） 用简单矩阵代替二阶导数矩阵的逆矩阵 （2) 用坐标变换简化目标函数 引入矩阵变换U，令 X X k UY 代入式泰勒展开式得
T 1 T T 2 k k Y Y U f X UY f X UY f X k 2
2 f X k
S 2 f X k f X k
1
由此构成的算法称基本牛顿法，Sk 称牛顿方向。
分析可知： ⑴ 对于正定二次函数，Xk+1是精确极小点，方向 Sk 是直指函数的极小点。 ⑵ 用基本牛顿法求解正定二次函数时，无论从哪个初始 点出发，计算所得牛顿方向直指极小点，而且步长等于1。 ⑶ 对于一般非线性函数，点Xk+1只是原函数的一个近似极 小点。故将此点作为下一个迭代Xk+1。 ⑷ 但是对于非正定函数，由上式得到 的点Xk+1，不能始终保持函数的下降性，
1 0 0
04 无约束优化方法
F 1A C
向上的极小点，而非原函数的 -2 -1
0
1
2
3
x1
极小点。
解决办法：阻尼牛顿法。
7
二.阻尼牛顿法
1.迭代公式
沿牛顿方向-[H(X(k))]-1f(X(k))作一维搜索,迭代公式：
X (k1) X (k ) k [H ( X (k ) )]1f ( X (k ) )
其中λ k使
f ( X (k ) k s(k ) ) min f ( X (k ) k s(k ) )
S1
1 0 ,S2
0 1
正交不共轭
19
2.正定二次函数的特点
(1)正定二次二元函数的等值线是椭圆线簇,椭圆线簇的中心
即目标函数的极值点。
(2)过同心椭圆线簇中心作任意直线,此直线与诸椭圆交点处
的切线相互平行。
反之过两平行线与椭圆切点X(a)和
x2
X(b)的连线必通过椭圆的中心。因此
只要沿方向X(a)—X(b)进行一维搜索，
1、坐标轮换法具有程序简单，易于掌握的优点，但它的计
算效率较低，因此它虽然步步在登高，但相当于沿两个垂直方
向在爬山，路途迂迴曲折，收敛很慢，因此它适用于维数较低
(一般n<10)的目标函数求优。
2、有“脊线”的目标函数等值线的情形,沿坐标轴方向函数值
不一定下降。
脊线
x2
A
p
0
x1
13
五、练习 用最优步长法求解 f (X)=(x1-2)4+(x1-2x2)2的极小点。 初始点X(0)=[0,3]T，要求迭代一轮。 请注意沿坐标轴移动的方向。
22
二、迭代过程
以二维问题为例： ① X(0)
第4章无约束优化方法(已排)
5
开始
给定 x 0 ,
k 0
d k f ( xk )
xk1 xk k d k
k
: min
f
(xk
d k )
是
x* x k 1
否 x k 1 x k
结束
k k 1
6
例4-1
求目标函数
f
(x)
x2 1
25x22 的极小点。
解 取初始点 x0 [2, 2]T
12
利用有 限的信
息！
13
4.2 牛顿法及其改进
基本思想 ：
在xk邻域内用一个二次函数( x)来近似代替原目标函数，
并将(x) 的极小点作为对目标函数 f ( x)
求优的下一个迭代点 xk1 。经多次迭代，使之逼近目标函
数 f (x) 的极小点。
f ( x) ( x) f ( xk ) f ( xk )T ( x xk )
2 2
2 0
0
4
0
1
100 0
50
15
经过一次迭代即求得极小点 x 0 0 ，
函数极小值 f ( x) 0。
从牛顿法迭代公式的推演中可以看到，迭代点的位 置是按照极值条件确定的，其中并未含有沿下降方向搜 寻的概念。因此对于非二次函数，如果采用上述牛顿迭 代公式，有时会使函数值上升 。
0
26 52
0.5
从而算得一步计算后设计点的位置及其目标函数：
10
y1
2 40 10 200
0 0
( y1) 0
开始
给定 x 0 ,
k 0
d k f ( xk )
xk1 xk k d k
k
: min
f
(xk
d k )
是
x* x k 1
否 x k 1 x k
结束
k k 1
6
例4-1
求目标函数
f
(x)
x2 1
25x22 的极小点。
解 取初始点 x0 [2, 2]T
12
利用有 限的信
息！
13
4.2 牛顿法及其改进
基本思想 ：
在xk邻域内用一个二次函数( x)来近似代替原目标函数，
并将(x) 的极小点作为对目标函数 f ( x)
求优的下一个迭代点 xk1 。经多次迭代，使之逼近目标函
数 f (x) 的极小点。
f ( x) ( x) f ( xk ) f ( xk )T ( x xk )
2 2
2 0
0
4
0
1
100 0
50
15
经过一次迭代即求得极小点 x 0 0 ，
函数极小值 f ( x) 0。
从牛顿法迭代公式的推演中可以看到，迭代点的位 置是按照极值条件确定的，其中并未含有沿下降方向搜 寻的概念。因此对于非二次函数，如果采用上述牛顿迭 代公式，有时会使函数值上升 。
0
26 52
0.5
从而算得一步计算后设计点的位置及其目标函数：
10
y1
2 40 10 200
0 0
( y1) 0
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
到。所以无约束优化问题的解法是优化设计方法的基本组成部 分，也是优化方法的基础。
1
无约束优化问题是： 求n维设计变量
x [ x1 x2
f ( x ) min
xn ]T
使目标函数：
min f ( x)
分类： （1）不使用导数信息 （2）要使用导数。
x Rn
各种无约束优化解法的区别：搜索方向的不同
继续作下去，经10次迭代后，得到最优解 x 0 0 T
f ( x ) 0
7
这一问题的目标函数f(x)的等值线为一簇椭圆。
2 2 f ( x ) x 25 x 将上例中目标函数 1 2 引入变换
y1=x1, y2=5x2 则函数f(x)变为： ( y1 , y2 ) y12 y22 其等值线由椭圆变成一簇同心圆。
a
min ( ) a
3
根据一元函数极值的必要条件和多元复合函数求导公式，得
'( ) f [ x k f ( x )] f ( x k ) 0
k k T
[f ( x )] f ( x ) 0
k 1 T k
(d k 1 )T d k 0
在最速下降法中，相邻两个迭代点上的函数梯度相互垂 直。而搜索方向就是负梯度方向，因此相邻两个搜索方向互 相垂直。这就是说在迭代点向函数极小点靠近的过程，走的
( x k 1 ) 0
f ( x k ) 2 f ( x k )( x k 1 x k ) 0
12
x k 1 x k [2 f ( x k )]1 f ( x k ) (k 0,1,2, )
这就是多元函数求极值的牛顿法迭代公式。 对于二次函数 ，海赛矩阵是一个常矩阵，其中各元素 均为常数。因此，无论从任何点出发，只需一步就可找到 极小点。 例4－2
第 4章
无约束优化方法
第1章所列举的机械优化设计问题，都是在一定的限制条件
下追求某一指标为最小，它们都属于约束优化问题。工程问题 大都如此。
为什么要研究无约束优化问题：
(1)有些实际问题，其数学模型本身就是一个无约束优化问题。
(2)
通过熟悉它的解法可以为研究约束优化问题打下良好的基
础。
(3)约束优化问题的求解可以通过一系列无约束优化方法来达
5
例4-1 求目标函数 f ( x ) x1 25 x2 的极小点。 解 取初始点 x 0 [2,2]T 则初始点处函数值及梯度分别为
2 2
f ( x 0 ) 104 2 x1 4 f ( x ) 50 x2 x0 100
0
沿负梯度方向进行一维搜索，有
(k 0,1,2, )
x k 1 x k k Ak f ( x k )
17
4.3 变尺度法
变尺度法是在牛顿法的思想上进行了重大改进的一类 方法 1. 基本思想 变量的尺度变换是放大或缩小各个坐标。通过尺 度变换可以把函数的偏心程度降到最低限度。
2 2 f ( x ) x 25 x 例如在用最速下降法求 1 2 的极小
(k 0,1,2, )
(k 0,1,2, )
d k 1 Ak f ( x k )
迭代公式：
( k 0,1, 2,
)
x k 1 x k k Ak f ( x k )
(k 0,1,2, )
22
在例4－2中
2 1
f ( x ) x12 25 x22
x k 1 x k ak f ( x k ) (k 0,1,2, )
为了使目标函数值沿搜索方向 f ( x k )能够获得最大的下降 值，其步长因子 k 应取一维搜索的最佳步长。即有
f ( x k 1 ) f [ x k ak f ( x k )] min f [ x k af ( x k )]
速度很慢；
牛顿法收敛很快，对于二次函数只需迭代一次便 达到最优点，对非二次函数也能较快迭代到最优点， 但要计算二阶偏导数矩阵及其逆阵，对维数较高的优 化问题，其计算工作和存储量都太大。 能不能将两种算法的优点综合起来，扬长避短？
19
x k 1 x k k Ak f ( x k )
Ak 是需要构造n×n的一个对称方阵 ，
9
2 4 0 0 y 10 20 0 0
1
( ) 0
经变换后，只需一次迭代，就可找到最优解。 这是因为经过尺度变换：
y1 x1 y2 5 x2
等值线由椭圆变成圆。
1
10
梯度法的特点
（1）理论明确，程序简单，对初始点要求不严格。 （2）对一般函数而言，梯度法的收敛速度并不快，因为最
x k 1 x k k d k x k k [2 f ( x k )]1 f ( x k )
(k 0,1,2, )
k 阻尼因子 ，沿牛顿方向进行一维搜索的最佳步长，
由下式求得：
f ( x ) f ( x k d ) min f ( x kd )
4 0 100 0
13
x 0 0 ， 经过一次迭代即求得极小点
函数极小值
f ( x ) 0。
从牛顿法迭代公式的推演中可以看到，迭代点的位
置是按照极值条件确定的，其中并未含有沿下降方向搜
寻的概念。因此对于非二次函数，如果采用上述牛顿迭 代公式，有时会使函数值上升 。 阻尼牛顿法
基本思想
：
在xk邻域内用一个二次函数 ( x )来近似代替原目标函数，
并将 ( x ) 的极小点作为对目标函数 f ( x )
求优的下一个迭代点 x k 1 。经多次迭代，使之逼近目标函 数 f ( x ) 的极小点。
f ( x ) ( x ) f ( x k ) f ( x k ) T ( x x k ) 1 ( x x k )T 2 f ( x k )( x x k ) 2 设 x k 1为 ( x ) 的极小点
速下降方向仅仅是指某点的一个局部性质。
（3）梯度法相邻两次搜索方向的正交性，决定了迭代全过
程的搜索路线呈锯齿状，在远离极小点时逼近速度较快，而在 接近极小点时逼近速度较慢。
（4）梯度法的收敛速度与目标函数的性质密切相关。对于
等值线(面)为同心圆（球）的目标函数，一次搜索即可达到极
小点。
11
4.2 牛顿法及其改进
0 T 0 T y [2,10] x [2,2] 仍从 即 出发进行最速下降法寻优。
此时：
( y 0 ) 104
2 y1 4 ( y ) 2 y2 y0 20
0
沿负梯度方向进行一维搜索：
8
y 1 y 0 0 ( y 0 ) 2 4 2 40 10 0 20 10 20 0
k 1 k k k k
14
开始
给定 x 0 ,
k 0
d k [ 2 f ( x k )]1 f ( x k )
x k 1 x k k d k
k k 1
k : min f ( xk d k )
是
x * x k 1
x k 1 x k
2 4 0 x x 0 f ( x ) 2 100 0
1 0 0
0为一维搜索最佳步长，应满足极值必要条件
f ( x1 ) min (2 4 )2 25(2 100 ) 2 min ( )
6
'( ) 8(2 4 0 ) 5 000(2 100 0 ) 0
2 求目标函数 f ( x ) x12 25 x2 的极小点。
1 0 2 2 1 0 2 0 1 0 x x f ( x ) f ( x ) 2 0 1 50
解 取初始点 x 0 [2,2]T
QQT G I
上式说明：二次函数矩阵G的逆阵，可以通过尺度变换 矩阵Q来求得。 21
牛顿迭代公式：
x k 1 x k k [2 f ( x k )]1 f ( x k )
x k 1 x k k QQT f ( x k )
记： QQT A A 称为尺度变换矩阵 牛顿方向：
算出一维搜索最佳步长
626 0 0.020 030 72 31 252
第一次迭代设计点位置和函数值
2 4 0 1.919 877 x 2 2 100 0.307 178 5 10 0
1
f ( x1 ) 3.686 164
如Ak=I, 则得到梯度法 ；
如 A [ f ( x )] 则得到阻尼牛顿法 ；
k 2 k 1
当矩阵Ak 不断地迭代而能很好地逼近 [ 2 f ( x k )]1
时，就可以不再需要计算二阶导数。
变尺度法的关键在于尺度矩阵Ak的产生 。
对于二次函数:
1 T f ( x ) x Gx bT x c 2
x k 1 x k k d k (k 0,1,2, )
搜索方向的构成问题乃是无约束优化方法的关键。
2
4.1 梯度法
函数的负梯度方向是函数值下降最快的方向。 搜索方向d取该点的负梯度方向 f ( x )(最速下降方向) ，使函 数值在该点附近的范围内下降最快 。
x k 1 x k k d k (k 0,1,2, )
否
结束
阻尼牛顿法称序框图
15
牛顿法和阻尼牛顿法统称为牛顿型方法。这类方法的
主要缺点是每次迭代都要计算函数的二阶导数矩阵，并对