关于无约束优化各种方法
合集下载
无约束优化方法
无约束优化方法1. 最速下降法（Gradient Descent Method）最速下降法是一种基于梯度信息的迭代优化算法。
其基本思想是从任意初始点开始，沿着目标函数的梯度方向进行迭代，直到达到收敛条件。
最速下降法的迭代更新公式如下：x_{k+1}=x_k-t_k*∇f(x_k)其中，x_k是第k次迭代的解向量，t_k是第k次迭代的步长（也称为学习率），∇f(x_k)是目标函数在x_k处的梯度向量。
最速下降法的步骤如下：1）选取初始点x_0。
2）计算目标函数的梯度∇f(x_k)。
3）计算步长t_k。
4）更新解向量x_{k+1}。
5）判断迭代终止条件，如果满足则停止迭代；否则返回第2步。
最速下降法的优点是易于实现和理解，收敛性较好。
然而，最速下降法存在的问题是收敛速度较慢，特别是对于目标函数呈现狭长或弯曲形状的情况下。
这导致了在高维优化问题中，最速下降法的性能较差。
2. 牛顿法（Newton's Method）牛顿法是一种基于二阶导数信息的迭代优化算法。
它使用目标函数的一阶和二阶导数信息构造一个二次近似模型，然后求解该模型的最小值。
牛顿法的迭代更新公式如下：x_{k+1}=x_k-H_k^{-1}*∇f(x_k)其中，H_k是目标函数在x_k处的海森矩阵，∇f(x_k)是目标函数在x_k处的梯度向量。
牛顿法的步骤如下：1）选取初始点x_0。
2)计算目标函数的梯度∇f(x_k)和海森矩阵H_k。
3）计算更新方向H_k^{-1}*∇f(x_k)。
4）更新解向量x_{k+1}。
5）判断迭代终止条件，如果满足则停止迭代；否则返回第2步。
牛顿法的优点是收敛速度快，尤其是在目标函数曲率大的地方。
然而，牛顿法也存在一些问题。
首先，计算海森矩阵需要大量的计算资源，特别是在高维空间中。
其次，当海森矩阵不可逆或近似不可逆时，牛顿法可能会失效。
综上所述，最速下降法和牛顿法是两种常用的无约束优化方法。
最速下降法简单易实现，但收敛速度较慢；牛顿法收敛速度快，但计算量大且可能遇到海森矩阵不可逆的问题。
无约束优化方法
无约束优化方法
**一、最速下降法**
最速下降法（Gradient Descent）是一种迭代优化方法，它是在梯度下降算法的基础上，通过更新梯度的方式来实现最优化目标的过程。
它的思想是：从一个初始点出发，沿着梯度方向，使得目标函数值在末尾尽可能的小。
它可以用来优化非线性的最优化问题，此外，它还可以用于估计函数的最小值。
最速下降法中的基本概念是梯度和梯度下降。
梯度描述了梯度函数的变化情况，它可以衡量函数值在特定点的变化程度。
如果梯度更大，则说明函数值发生的变化更大。
梯度下降是按照梯度的反方向进行函数的，它的目标是出函数值较小的点，也就是最优解。
最速下降法的两个基本步骤是：
1）当前点求梯度之后，按梯度负方向，沿着函数曲面降低。
2）每次迭代，都是沿着相反于梯度的方向，更新当前点，并继续。
最速下降法的优势在于：它比较简单，实现方便，只需要计算梯度，就可以出最优解；且它不需要考虑约束条件，也不需要研究局部最优点，所以它的速度比较快。
但最速下降法也有一些缺点：它有可能陷入局部最优；它缺乏判断能力，只能当前梯度的方向。
最优化方法：第五章 常用无约束优化方法
g1
0.73846 0.04616
1.47692 0.42500 0.36923
0.11076 0.11076
束 优
f (X1) 0.06134， g2 f (X 2 ) 00..2828105028， g2 0.91335．
化 因为 方 法
g1T g0 0.0000，
g
T 2
g1
方
（4）计算 X k1 X k Pk，f k1 f ( X k1 )，gk1 g( X k1) .
法 （5）判别终止准则是否满足：若满足，则打印最优解X k1
，fk1 结束；否则，置k k 1 ，转（2）．
第 五 章 常 用 无 约 束 优 化 方 法
例5.2 试用Newton法求 f (x1，x2 ) x12 4x22 的极小点，初 始点取为 X 0 [1, 1]T ．
方 法
, X k1 f (X k1) ,结束；否则，置 k k 1，转（2）．
将最速下降法应用于正定二次函数
f (X ) 1 X T AX bT X c （5.4）
2
第
可以推出显式迭代公式．
五
设第k次迭代点为Xk，我们来求Xk+1的表达式．对式
章 （5.4）关于X求梯度，有
常
g(X ) AX b （5.5）
Pk [2 f (X k )]1f ( X k )
步长因子 tk 1
方向 Pk [2 f (X k )]1f (X k ) 是直指点 X k 处近似二次函数
Q(X )的极小点的方向．此时称此方向为从点 X k 出发的
Newton方向．从初始点开始，每一轮从当前迭代点出发，
第
沿Newton方向并取步长 的tk 算1 法称为Newton法．
无约束常用优化方法
步长 ，作前进（或后退）试探．如试探成功（目
标函数值有所减小），则按步长序列
，加
大步长（注意每次加大步长都是由初始点算起），直
至试探失败（目标函数值比前一次的有所增加）时，
则取其前一次的步长作为沿这个坐标轴方向搜索的最
优步长，并计算出该方向上的终止点，而后以这个终
止点为始点再进行下一坐标轴方向的搜索，并重复上
处
显然 是二次函数，并且还是正定二次函数，所以 是凸函数且存在唯一全局极小点．为求此极小点，令
即可解得
即
（5.9）
对照基本迭代公式,易知，式（5.9）中的搜索方向
步长因子
方向
是直指点 处近似二次函数
的极小点的方向．此时称此方向为从点 出发的
Newton方向．从初始点开始，每一轮从当前迭代点出发，
沿Newton方向并取步长 的算法称为Newton法．
另外，共轭梯度法不要求精确的直线搜 索．但是，不精确的直线搜索可能导致迭代 出来的向量不再共轭，从而降低方法的效 能．克服的办法是，重设初始点，即把经过 n次迭代得到的Xn作为初始点重新迭代．
五、坐标轮换法
在坐标轮换法中，沿各个坐标轴方向进行一维搜索
时，常选用最优步长法或加速步长法．加速步长法从
初始点出发，沿搜索（坐标轴）方向先取一个较小的
三、共轭方向法
1、概念
通常，我们把从任意点
出发，依次沿某组共轭
方向进行一维搜索的求解最优化问题的方法，叫做共
轭方向法．
2、特点
• 一般地，在n维空间中可以找出n个互相共轭的方向，对于n元正 定二次函数，从任意初始点出发，顺次沿这n个共轭方向最多作n 次直线搜索就可以求得目标函数的极小点．这就是共轭方向法的 算法形成的基本思想．
第三讲 无约束优化(多维无约束优化方法)
2019/10/21
5
1. 梯度法（最速下降法 ）
（2）迭代公式 ： X (k 1) X (k) k S (k) X k f X k
或
X (k1) X (k) k
f f
X k X k
f
X k
f ，f x1 x2
X (2) 1
S (1)
S为S（2）的共轭方向。
S即为S(1)的共轭方向。
2019/10/21
18
（2）共轭梯度法的基本原理
2）共轭方向的构造
S k1 f X k1 k S k
上式的意义是以新的负梯度方向 f X k1 ，加上原
负梯度的一部分k S k 来构造 S k1 。
2019/10/21
3
1. 梯度法（最速下降法 ）
数值迭代格式
X (k 1) X (k ) k S (k )
从数值迭代格式可以看出，构造一种算法的关键 是如何确定一个有利的搜索方向。
梯度方向是函数值上升最快的方向，负梯度 方向是函数值下降最快的方向。
2019/10/21
以负梯度方向作为搜索方向
4）牛顿法不能保证函数值稳定下降，严重时还会造 成点列发散导致迭代失败。
2019/10/21
1 27
3. 多维牛顿法（阻尼牛顿法）
问题的提出
因函数不一定是二次函数，基本牛顿法的步长因子 恒为1，有时会导致迭代发散而失效。
改进方法
仍取牛顿方向，但改用最优步长因子：
X (k1) X (k ) k [H ( X (k ) )]1f ( X (k) ) 一维搜索求最优步长
'X 0
最优化方法第六讲 无约束(多维)最优化
step4. 若 || f ( xk1) || ,停止，x* xk1 ;
否则，令 k : k 1, 转step 2 。
14
➢算法框图
给定初始点x0和精度 || f ( x0 ) ||
停止，输出x1
否
是
| x1 x0 |
是 停止，输出x0
否 否
2 f (x0) 0
计算x1
x0
f ( x0 ) 2 f (x0)
1
13 62
x2
x1
1d 1
(
36 , 31
8 31
)T
7
三、最速下降法的特点
1.性质. 设 f ( x) 有一阶连续偏导数，若 步长 满足 k
f ( xk d k ) min f ( xk d k )
k
则有 f ( xk d k )T d k 0。 k
证明：令 ( ) f ( xk d k )，所以
5
一、梯度法（最速下降法）：
1. 搜索方向：d k f ( xk ) ,也称为最速下降方向；
2. 搜 索 步 长: k 取 最 优 步 长, 即 满 足
f (xk
kd k )
min
f
(xk
d k ) 。
二、梯度法算法步骤：
1. 给定初始点 x1 Rn ,允许误差 0, 令k 1。
2. 计算搜索方向 d k f ( xk ) ;
Step3. 令 xk 1 xk kd k , 其中tk : f ( xk kd k ) min f ( xk d k )。
24
Step 4. 判断 xk 1 是否满足终止准则： yes: 计算 stop, 则x* : xk1
No : 转 step 5 。
04 无约束优化方法
F 1A C
向上的极小点，而非原函数的 -2 -1
0
1
2
3
x1
极小点。
解决办法：阻尼牛顿法。
7
二.阻尼牛顿法
1.迭代公式
沿牛顿方向-[H(X(k))]-1f(X(k))作一维搜索,迭代公式：
X (k1) X (k ) k [H ( X (k ) )]1f ( X (k ) )
其中λ k使
f ( X (k ) k s(k ) ) min f ( X (k ) k s(k ) )
S1
1 0 ,S2
0 1
正交不共轭
19
2.正定二次函数的特点
(1)正定二次二元函数的等值线是椭圆线簇,椭圆线簇的中心
即目标函数的极值点。
(2)过同心椭圆线簇中心作任意直线,此直线与诸椭圆交点处
的切线相互平行。
反之过两平行线与椭圆切点X(a)和
x2
X(b)的连线必通过椭圆的中心。因此
只要沿方向X(a)—X(b)进行一维搜索，
1、坐标轮换法具有程序简单，易于掌握的优点，但它的计
算效率较低，因此它虽然步步在登高，但相当于沿两个垂直方
向在爬山，路途迂迴曲折，收敛很慢，因此它适用于维数较低
(一般n<10)的目标函数求优。
2、有“脊线”的目标函数等值线的情形,沿坐标轴方向函数值
不一定下降。
脊线
x2
A
p
0
x1
13
五、练习 用最优步长法求解 f (X)=(x1-2)4+(x1-2x2)2的极小点。 初始点X(0)=[0,3]T，要求迭代一轮。 请注意沿坐标轴移动的方向。
22
二、迭代过程
以二维问题为例： ① X(0)
关于无约束优化各种方法
修正矩阵:
E(k)
x(k [g (
)[x(k ) ]T k ) ]T x(k )
H (k )g (k )[g (k ) ]T H (k ) [g (k ) ]T H (k )g (k )
变尺度法
DFP变尺度法现代公认的较好的算法之一。 DFP法、BFGS算法是基于牛顿法的思想又作了 重要改进。这种算法仅用到梯度，不必计算海赛阵及 其逆矩阵，但又能使搜索方向逐渐逼近牛顿方向，具 有较快的收敛速度。
akf
( xk )]
min a
f [xk
af
( xk )]
min( ) a
§4-1 最速下降法
f
( x ) k1
f [xk
akf
( xk )] min a
f [xk
af ( xk )解析法：根据极值点必要条件。
首次迭代时，H (0) I ， S (k) f (x(k) ) , 即为梯度法，
§3.5 牛顿法和变尺度法
这样避免计算二阶导数及Hesse矩阵的逆矩阵，而利用了牛顿法的优点。
§3.5 牛顿法和变尺度法
构造变尺度矩阵的递推公式：
H (k1) H (k) E(k) , 其中： E(k)为第k次迭代时的修正矩阵。
黄金分割法
牛顿法
抛物线法
§4-1 最速下降法
相邻 两个 搜索 方向 互相 垂直
最速下降法的搜索路径
f
( xk1)
f [xk
akf
( xk )] min a
f [xk
af ( xk )]
min( ) a
根据一元函数极值的必要条件及
复合函数求导公式得
'( ) f [ xk kf ( xk )] T f ( xk ) 0
E(k)
x(k [g (
)[x(k ) ]T k ) ]T x(k )
H (k )g (k )[g (k ) ]T H (k ) [g (k ) ]T H (k )g (k )
变尺度法
DFP变尺度法现代公认的较好的算法之一。 DFP法、BFGS算法是基于牛顿法的思想又作了 重要改进。这种算法仅用到梯度，不必计算海赛阵及 其逆矩阵，但又能使搜索方向逐渐逼近牛顿方向，具 有较快的收敛速度。
akf
( xk )]
min a
f [xk
af
( xk )]
min( ) a
§4-1 最速下降法
f
( x ) k1
f [xk
akf
( xk )] min a
f [xk
af ( xk )解析法：根据极值点必要条件。
首次迭代时，H (0) I ， S (k) f (x(k) ) , 即为梯度法，
§3.5 牛顿法和变尺度法
这样避免计算二阶导数及Hesse矩阵的逆矩阵，而利用了牛顿法的优点。
§3.5 牛顿法和变尺度法
构造变尺度矩阵的递推公式：
H (k1) H (k) E(k) , 其中： E(k)为第k次迭代时的修正矩阵。
黄金分割法
牛顿法
抛物线法
§4-1 最速下降法
相邻 两个 搜索 方向 互相 垂直
最速下降法的搜索路径
f
( xk1)
f [xk
akf
( xk )] min a
f [xk
af ( xk )]
min( ) a
根据一元函数极值的必要条件及
复合函数求导公式得
'( ) f [ xk kf ( xk )] T f ( xk ) 0
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
f ( x) 0
例4－2
求目标函数
f (x)
x2 1
25x22
的极小点。
解 取初始点 x0 [2, 2]T
则初始点处梯度： f ( x0 ) 104
f
(x0)
2x1
50
x2
x0
4 100
沿负梯度方向进行一维搜索，有
x1
x0
0 f
第四章 无约束优化方法
4-1 最速下降法 4-2 牛顿类方法 4-3 坐标轮换法 4-4 共轭方向法 4-5 鲍威尔方法
第四章 无约束优化方法
为什么要研究无约束优化问题?
（1）通过熟悉它的解法可以为研究约束优 化问题打下良好的基础。 （2）约束优化问题的求解可以通过一系列 无约束优化方法来达到。
例4－3 用梯度法求下面无约束优化问题：
梯度法的特点
（1）理论明确，程序简单，对初始点要求不严格。 （2）对一般函数而言，梯度法的收敛速度并不快，因
图 最速下降法的收敛过程
§4-1 最速下降法
方法特点
（1）初始点可任选，每次迭代计算量小，存储 量少，程序简短。即使从一个不好的初始点出 发，开始的几步迭代，目标函数值下降很快， 然后慢慢逼近局部极小点。
（2）任意相邻两点的搜索方向正交，它的迭代 路径为绕道逼近极小点。当迭代点接近极小点 时，步长变得很小，越走越慢。
α α
例4－1 求目标函数 f ( x) x12 x22 的极小点。
取初始点 x0 [2, 2]T
解：初始点处梯度：
f
(x0)
2 2
x1 x2
x
0
4 4
沿负梯度方向进行一维搜索，有 x1 x 0 f (x 0 )
例4－1 求目标函数 f ( x) x12 x22 的极小点。
[f ( xk1)]T f ( xk ) 0
(sk1)T sk 0
§4-1 最速下降法
在最速下降法中， 相邻两个迭代点上的函 数梯度相互垂直。
搜索方向就是负梯度方 向，因此相邻两个搜索 方向互相垂直。
形成“之”字形的锯齿 现象，而且越接近极小 点锯齿越细。
图 最速下降法的搜索路径
§4-1 最速下降法
xk1 xk k sk (k 0,1, 2, )
xk1 xk akf ( xk ) (k 0,1, 2, )
§4-1 最速下降法
为了使目标函数值沿搜索方向 f ( xk )能够获得 最大的下降值，其步长因子k 应取一维搜索的最佳
步长。即有
fHale Waihona Puke ( xk1)f [xk
(x0)
2 2
40 1000
如何求？
0为一维搜索最佳步长，应满足极值必要条件
f (x1) min(2 4)2 25(2 100)2 min()
坐标轮换
'() 8(2 40) 5 000(2 1000) 0
取初始点 x0 [2, 2]T
沿负梯度方向进行一维搜索，有 x1 x 0 f (x 0 )
x1
2 2
0
4 4
2 2
40
4
0
0为一维搜索最佳步长，应满足极值必要条件
f (x1 ) (2 4 0 )2 (2 4 0 )2 ( 0 )
算出一维搜索最佳步长
0
626 31 252
0.020
030
72
第一次迭代设计点位置和函数值
x1
2 40
2
100
0
1.919 877 0.307 178
5
102
f ( x1) 3.686 164
继续作下去，经10次迭代后，得到最优解 x 0 0 T
黄金分割法
牛顿法
抛物线法
§4-1 最速下降法
相邻 两个 搜索 方向 互相 垂直
最速下降法的搜索路径
f
( xk1)
f [xk
akf
( xk )] min a
f [xk
af ( xk )]
min( ) a
根据一元函数极值的必要条件及
复合函数求导公式得
'( ) f [ xk kf ( xk )] T f ( xk ) 0
目标函数
f ( x) min
min f ( x) x Rn
xk1 xk k sk (k 0,1,2, )
搜索方向的构成问题乃是无约束优化方法的关键。
（1）间接法（2）直接法
§4-1 最速下降法
搜索方向s取该点的负梯度方向 f (x)(最速下降 方向) ，使函数值在该点附近的范围内下降最快 。
(0 ) 4(2 40 ) 0
0 0.5
x1
x0
0f
(x0 )
0 0
第一次迭代设计点位置和函数值
f (x1) 0
f
( x1 )
2 2
x1 x2
x1
0 0
f ( x1) 0
因此，迭代终止：
x x1 0 0T
akf
( xk )]
min a
f [xk
af
( xk )]
min( ) a
§4-1 最速下降法
f
( x ) k1
f [xk
akf
( xk )] min a
f [xk
af ( xk )]
min( ) a
步长因子 k 求解方法：
解析法：根据极值点必要条件。
无约束优化问题标准形式：
求n维设计变量 x [x1 x2
xn ]T
使目标函数 f ( x) min min f ( x) x Rn
无约束优化问题极值存在的必要条件：
f 0
f
x1 f
0 0
x2
f
0
xn
无约束优化问题标准形式：
f (x) 0
坐标轮换
§4-1 最速下降法
这个问题的目标函数的等值线为一簇椭圆,迭代点从 x0
走的是一段锯齿形路线，见图。
例4－3 用梯度法求下面无约束优化问题：
例4－3 用梯度法求下面无约束优化问题：
例4－3 用梯度法求无约束优化问题：
例4－3 用梯度法求下面无约束优化问题：
例4－3 用梯度法求下面无约束优化问题：