05工程优化 第4章-1无约束最优化方法
合集下载
《无约束优化方法》PPT课件
进行一维搜索，其终点 x k 1 与始点 x k 的梯度值差
gk1 gk 与 d k 的共轭方向 d j 正交。
精选ppt
18
图4-9 共轭梯度法的几何说明
精选ppt
精选ppt
20
精选ppt
21
精选ppt
22
精选ppt
23
精选ppt
24
第六节变尺度法
变尺度法的基本思想：
前面讨论的梯度法和牛顿法，它们的迭代公式可以看作下列 公式的特例。
3
第二节 最速下降法
优化设计追求目标函数值最小，若搜索方向取该点的负梯度 方向，使函数值在该点附近的范围内下降最快。
按此规律不断走步，形成以下迭代算法：
xk1xkak f xk
以负梯度方向为搜索方向，所以称最速下降法或梯度法。
搜索方向确定为负梯度方向，还需确定步长因子a k
即求一维搜索的最佳步长，既有
xk 1xkkH f xk
变尺度法是对牛顿法的修正，它不是计算二阶导数的矩阵和 它的逆矩阵，而是设法构造一个对称正定矩阵H来代替Hesse 矩阵的逆矩阵。并在迭代过程中，使其逐渐逼近H-1 。
由于对称矩阵H在迭代过程中是不断修正改变的，它对于一 般尺度的梯度起到改变尺度的作用，因此H又称变尺度矩阵。
数值法
可以处理复杂函数及没有数学表达式 的优化设计问题
xk1xk akdk
搜索方向问题是无约束优化方法的关键。
各种无约束优化方法的区别：确定搜索方向的方法不同。
利用目标函数的一阶或二阶导数
无约束优化方法分类 （最速下降法、共轭梯度法、牛顿法）
利用目标函数值
（精坐选标ppt轮换法、鲍威尔等）
2
精选ppt
gk1 gk 与 d k 的共轭方向 d j 正交。
精选ppt
18
图4-9 共轭梯度法的几何说明
精选ppt
精选ppt
20
精选ppt
21
精选ppt
22
精选ppt
23
精选ppt
24
第六节变尺度法
变尺度法的基本思想：
前面讨论的梯度法和牛顿法，它们的迭代公式可以看作下列 公式的特例。
3
第二节 最速下降法
优化设计追求目标函数值最小，若搜索方向取该点的负梯度 方向，使函数值在该点附近的范围内下降最快。
按此规律不断走步，形成以下迭代算法：
xk1xkak f xk
以负梯度方向为搜索方向，所以称最速下降法或梯度法。
搜索方向确定为负梯度方向，还需确定步长因子a k
即求一维搜索的最佳步长，既有
xk 1xkkH f xk
变尺度法是对牛顿法的修正，它不是计算二阶导数的矩阵和 它的逆矩阵，而是设法构造一个对称正定矩阵H来代替Hesse 矩阵的逆矩阵。并在迭代过程中，使其逐渐逼近H-1 。
由于对称矩阵H在迭代过程中是不断修正改变的，它对于一 般尺度的梯度起到改变尺度的作用，因此H又称变尺度矩阵。
数值法
可以处理复杂函数及没有数学表达式 的优化设计问题
xk1xk akdk
搜索方向问题是无约束优化方法的关键。
各种无约束优化方法的区别：确定搜索方向的方法不同。
利用目标函数的一阶或二阶导数
无约束优化方法分类 （最速下降法、共轭梯度法、牛顿法）
利用目标函数值
（精坐选标ppt轮换法、鲍威尔等）
2
精选ppt
无约束最优化方法直接搜索法课件
x2
S(1)
S2(1
)
(1)
X3 X2 (1)
X* X2 (2) X1 (2)
S(2)
X0 (1)
X 1 (1)
S1(1) x1
• 鲍威尔基本算法的缺点
鲍威尔基本算法仅具有理论意义，不要说对于一般的 函数，就是对于二次函数，它也可能失效。因为在迭代过程 中的n个搜索方向有时会变成线性相关，而不能形成共轭方向， 从而张不成n维空间，导致随后的迭代搜索在降维(“退化”) 的空间中进行，可能求不到极小点，故需进行改进。
x 2 XL X2
Xn+3 Xn+2
Xn+1
Xห้องสมุดไป่ตู้ XH
X1 XG x1
6)扩张：当 fn+2 < f L 时，取扩张点Xn+3 ，即
Xn+3 = Xn+1 + (Xn+2 – Xn+1)
( =1.2~2.0 )
并计算 fn+3 = f (Xn+3 ) 。 若 fn+3 < fn+2 ，则以Xn+3 代替 X H ， fn+3 代替 fH ，构造一个新的单纯形；否则，以 X n+2 代 替XH ， fn+2 代替fH ，构造新的单纯形；然后返回到 3)。
鲍威尔条件：
若 f 3 < f 1, ( f1 - 且2f2 + f3) (f1 - f2 - △m(k))2 < 0.5 △m(k) (f1 - f3 )2 同时成立，则用 S ( k ) 替代 S m ( k ) ；否则，仍用 就是鲍威尔修正算法，通常所说的鲍威尔算法就是指这一修正算法。
• 鲍威尔算法的计算步骤及算法框图
无约束优化方法
第四章无拘束优化方法——最速降落法，牛顿型方法概括在求解目标函数的极小值的过程中，若对设计变量的取值范围不加限制，则称这种最优化问题为无拘束优化问题。
只管对于机械的优化设计问题，多半是有拘束的，无拘束最优化方法仍然是最优化设计的基本构成部分。
因为拘束最优化问题能够经过对拘束条件的办理，转变为无拘束最优化问题来求解。
为何要研究无拘束优化问题（1）有些实质问题，其数学模型自己就是一个无拘束优化问题。
（2）经过熟习它的解法能够为研究拘束优化问题打下优秀的基础。
（3）拘束优化问题的求解能够经过一系列无拘束优化方法来达到。
所以无拘束优化问题的解法是优化设计方法的基本构成部分，也是优化方法的基础。
依据构成搜寻方向所使用的信息性质的不一样，无拘束优化方法能够分为两类。
一：间接法——要使用导数的无拘束优化方法，如梯度法、（阻尼）牛顿法、变尺度法、共轭梯度法等。
二：直接法——只利用目标函数值的无拘束优化问题，如坐标轮换法、鲍威尔法纯真形法等。
无拘束优化问题的一般形式可描绘为：求 n 维设计变量X x1x2L x n T R n使目标函数 f ( X )min当前已研究出好多种无拘束优化方法，它们的主要不一样点在于结构搜寻方向上的差异。
无拘束优化问题的求解：1、分析法能够利用无拘束优化问题的极值条件求得。
马上求目标函数的极值问题变为求方程min f ( X * )0的解。
也就是＊使其知足求Ｘf ( X *)0x1f ( X*)x2f ( X*)x n解上述方程组，求得驻点后，再依据极值点所需知足的充足条件来判断能否为极小值点。
但上式是一个含有ｎ个未知量，ｎ个方程的方程组，在实质问题中一般是非线性的，很难用分析法求解，要用数值计算的方法。
由第二章的叙述我们知道，优化问题的一般解法是数值迭代的方法。
所以，与其用数值方法求解非线性方程组，还不如用数值迭代的方法直接求解无拘束极值问题。
2、数值方法数值迭代法的基本思想是从一个初始点 X (0)出发，依据一个可行的搜寻方向 d ( 0)搜寻，确立最正确的步长0使函数值沿 d (0 )方向降落最大，获得 X (1)点。
第4章 无约束优化方法
4-2 牛顿法及其改进
基本思想 ：
在Xk邻域内用一个二次函数 ( x ) 来近似代替原目 标函数，并将 ( x )的极小点作为对目标函数 f ( x )求 优的下一个迭代点 x k 1 。经多次迭代，使之逼近目 标函数 f ( x )的极小点。 牛顿法是求函数极值的最古老算法之一。
f ( X ) ( X ) f ( X k ) f ( X k )T ( X X k ) 1 ( X X k )T 2 f ( X k )( X X k ) 2
前途是光明的，道路是曲折的！
开始
给定
X 0 ,
k 0
s k f ( X k )
X k 1 X k k s k
k k k : min f ( X s ) k
k k 1
是
X k 1 X k
否
X * X k 1
结束
例4－1求目标函数
0
1. 基本思想
变量的尺度变换是放大或缩小各个坐标。通过尺 度变换可以把函数的偏心程度降到最低限度。
2 2 f ( X ) x 25 x 例如在用最速下降法求 1 2
设 X k 1为 ( X )的极小点 ( X k 1 ) 0
f ( X k ) 2 f ( X k )( X k 1 X k ) 0
X k 1 X k [2 f ( X k )]1 f ( X k ) (k 0,1,2, )
这就是多元函数求极值的牛顿法迭代公式。 对于二次函数 ，海赛矩阵H是一个常矩阵，其中 各元素均为常数。因此，无论从任何点出发，只 需一步就可找到极小点。
用直接法寻找极小点时，不必求函数的导数，只要 计算目标函数值。这类方法较适用于解决变量个数较少 的（n ≤20）问题，一般情况下比间接法效率低。 间接法除要计算目标函数值外，还要计算目标函数 的梯度，有的还要计算其海赛矩阵。
无约束优化方法
为了使目旳函数值沿搜索方向 f (xk ) 能够取得最大旳
下降值，其步长因子
应取一维搜索旳最佳步长。即有
k
f
( xk1)
f [xk
akf
( xk )]
min a
f [xk
af
( xk )]
min， ( ) a
根据一元函数极值旳必要条件和多元复合函数求导公式，得
'( ) f [ xk kf ( xk )] T f ( xk ) 0
第四章 无约束优化措施
第一节 概 述
数值解法：是从给定旳初始点x0出发，沿某一搜索方向d0
进行搜索。拟定最佳步长α，使函数值沿d0方向下降最大。 依此方式按下述公式不断进行，形成迭代旳下降算法。
x，k1 xk k d k (k 0,1, )
1）选择迭代方向即探索方向； 2）在拟定旳方向上选择合适步长迈步进行探索。 多种无约束优化措施旳区别就在于拟定其搜索方向dk旳措 施不同。所以搜索方向旳构成问题是无约束优化措施旳关键。
4）若 | xk1 xk | ，则停止迭代，
得最优解x* xk1;
否则，k k 1,转到第二步。
第四章 无约束优化措施
第二节 最速下降法
例：用最速下降法求目标函数 ，
f (x) x12 25x22
的极小点。
xk1 xk kf (xk )(k 0,1, )
第四章 无约束优化措施
解 取初始点 x0 [2,2]T f ( x0 ) 104
第四章 无约束优化措施
第四节 共轭方向及共轭方向法 •共轭方向旳形成
•格拉姆-斯密特向量系共轭化旳措施
i
d i1
vi1
，
dr i 1, r
工程优化方法及应用 第四章1-2节
2 x x -0f x 1/2
1 0 0
Page 8
第2次迭代：
-1 f x , -2
1
|| f x1 || 5 0.5,
1
2+1 x x -1f x = 1/2+2 1 ( )=f x1 -f x1 =f 2+ ,1/2+2
2、其基本思想和逻辑结构可以推广到约束问题；
3、约束问题可以转化成无约束问题求解。
f ( x), x D min f ( x) min F ( x), 其中F ( x) n xD 类
解析法：对简单问题，求解必要条件或充分条件； 零阶法：只需计算函数值 f(x) 迭代算法 一阶法：需计算 ▽f(x) 梯度法 二阶法：需计算 ▽2f(x) 建立迭代算法的关键：确定迭代格式
3
5/2+22 3 x x -2f ( x )= = ， 3/2 2 5/4
继续迭代可得到函数的近似最优解。
Page 10
2 2 例 用最速下降法求函数 f ( x1 , x2 )＝x1 的极小点（迭代两 4 x2 T 次）。 并验证相邻两个搜索方向是正交的。初始点 x 0 1,1 。
No
Page 6
Yes stop. x* =xk
dk= －▽f(xk ) min f(xk+λdk) s.t. λ >0 得最佳步长因子λk 令： xk+1=xk+λkdk 解
最速下降法的算例
取 x 0 1,1T , =0.5. 解：函数的梯度为
Page 7
2 2 min f ( x ) x 2 x 例 利用最速下降法求解 1 2 2 x1 x2 4 x1 ,
第4章 无约束优化方法
求
令
4 S 0 f X 0 2
0 则有 X 1 X 0 0 S 0 1 0 4 1 2 1 2
1 4
0
f X 1 1 4 0 2 1 2 0 2 1 4 0 1 2 0 4 1 4 0 f 0
因
5
还需继续迭代
（2）第二次迭代 同理有
1 1 1 f X , S 2 2 2 1 2 1 2 1 1 X X 1 S 1 0.5 2 0.5 2 1
4.2.3 变尺度法
基本思想： （1） 用简单矩阵代替二阶导数矩阵的逆矩阵 （2) 用坐标变换简化目标函数 引入矩阵变换U，令 X X k UY 代入式泰勒展开式得
T 1 T T 2 k k Y Y U f X UY f X UY f X k 2
2 f X k
S 2 f X k f X k
1
由此构成的算法称基本牛顿法，Sk 称牛顿方向。
分析可知： ⑴ 对于正定二次函数，Xk+1是精确极小点，方向 Sk 是直指函数的极小点。 ⑵ 用基本牛顿法求解正定二次函数时，无论从哪个初始 点出发，计算所得牛顿方向直指极小点，而且步长等于1。 ⑶ 对于一般非线性函数，点Xk+1只是原函数的一个近似极 小点。故将此点作为下一个迭代Xk+1。 ⑷ 但是对于非正定函数，由上式得到 的点Xk+1，不能始终保持函数的下降性，
1 0 0
《无约束优化方法》课件
收敛性分析
分析迭代点是否收敛到最优解，以及收敛速度的快慢。
04 算法实现和案例 分析
MATLAB实现
介绍MATLAB在无约束优化方 法中的应用，包括函数优化工 具箱的使用和自定义算法的实
现。
演示如何使用MATLAB求解无 约束优化问题，如最小二乘问
题、非线性规划问题等。
介绍MATLAB中常用的优化算 法，如梯度下降法、牛顿法、 拟牛顿法等，并给出相应的代 码实现。
04
总结Python在无约束优化方法中的优缺点，并给出相应的改进建议 。
案例分析：简单的二次函数优化
介绍二次函数优化的基本 概念和方法，包括最优解 的求解和性质分析。
演示如何使用MATLAB或 Python求解该问题，并 给出相应的代码实现和结 果分析。
ABCD
给出具体的二次函数优化 问题，如最小化f(x)=x^2 在区间[a,b]上的最小值。
深度学习优化
结合深度学习技术，对高维非线性问题进行 优化，解决复杂的问题。
目标函数
需要最小化或最大化的函数
约束条件
对目标函数的限制条件，无约束优化问题没有约束条件
02 无约束优化方法 简介
梯度法
总结词
基本、直观、简单
详细描述
梯度法是最早的无约束优化方法之一，它基于函数的梯度信息，通过沿着负梯 度的方向搜索来寻找最优解。由于其简单直观，被广泛应用于各种优化问题。
牛顿法
控制工程
用于系统优化、控制器设计和系统稳 定性分析，提高控制系统的性能。
无约束优化方法的未来发展方向
混合整数优化
将整数约束和连续变量优化结合起来，解决 更复杂的优化问题。
多目标优化
考虑多个目标函数，寻求多目标之间的平衡 ，满足多方面的需求。
分析迭代点是否收敛到最优解，以及收敛速度的快慢。
04 算法实现和案例 分析
MATLAB实现
介绍MATLAB在无约束优化方 法中的应用，包括函数优化工 具箱的使用和自定义算法的实
现。
演示如何使用MATLAB求解无 约束优化问题，如最小二乘问
题、非线性规划问题等。
介绍MATLAB中常用的优化算 法，如梯度下降法、牛顿法、 拟牛顿法等，并给出相应的代 码实现。
04
总结Python在无约束优化方法中的优缺点，并给出相应的改进建议 。
案例分析：简单的二次函数优化
介绍二次函数优化的基本 概念和方法，包括最优解 的求解和性质分析。
演示如何使用MATLAB或 Python求解该问题，并 给出相应的代码实现和结 果分析。
ABCD
给出具体的二次函数优化 问题，如最小化f(x)=x^2 在区间[a,b]上的最小值。
深度学习优化
结合深度学习技术，对高维非线性问题进行 优化，解决复杂的问题。
目标函数
需要最小化或最大化的函数
约束条件
对目标函数的限制条件，无约束优化问题没有约束条件
02 无约束优化方法 简介
梯度法
总结词
基本、直观、简单
详细描述
梯度法是最早的无约束优化方法之一，它基于函数的梯度信息，通过沿着负梯 度的方向搜索来寻找最优解。由于其简单直观，被广泛应用于各种优化问题。
牛顿法
控制工程
用于系统优化、控制器设计和系统稳 定性分析，提高控制系统的性能。
无约束优化方法的未来发展方向
混合整数优化
将整数约束和连续变量优化结合起来，解决 更复杂的优化问题。
多目标优化
考虑多个目标函数，寻求多目标之间的平衡 ，满足多方面的需求。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1 d = f x , 2
1
2+ x + d = ， 1/2+2
1 1
2
( )=f x1 + d 1 =f 2+ ,1/2+2
= 2+ 2 1/2+2 2 2+ 1/2+2 4 2+ ,
k
k
x k +1.
(4) 检查得到的新点 x k +1是否为极小点或近似极小点。 若是，则停止迭代。 否则，令 k : k 1，转(2)继续进行迭代。 在以上步骤中，选取步长可选用精确一维搜索或者非精确一 维搜索， 下降方向的选取正是下面我们要介绍的，下降方向选取的不 同，得到不同的算法。
最速下降法
( )=f x 2 + d 2 =f 5/2+2 ,3/2
= 5/2+2 2 3/2 2 5/2+2 3/2 4 5/2+2
2 2
=10 2 5 27/4 令 0= ' ( ) 20 5,
3 2 2
5/2 2 3 f x3 1/2 , x =x +2 d = +1/4 = ， 1 3/2 1 5/4
继续迭代可得到函数的近似最优解。
得 2 =1/4,
最速下降法的收敛性分析
无约束优化的最优性条件----一阶必要条件
定理(一阶必要条件) 设 f : R n R ，若 x 为 f ( x ) 的局部极小点，且在 N ( x*)
内连续可微，则
f ( x* ) 0.
无约束优化的最优性条件----二阶必要条件
定理（二阶必要条件） 若 x * 为 f x 的局部极小点，且在 N x * 内 f x 二次连续 可微，则 f ( x* ) 0, 2 f ( x* ) 半正定。
假设 f 连续可微，
负梯度方向
这是函数值减少 最快的方向
d f ( x ) f ( x k k d k ) min f ( x k d k )
k k
0
步长 k 由精确一维搜索得到。 从而得到第 k+1次迭代点，即
x k 1 x k +k d k x k , x4 不是极小点；
2 0 f x2 是正定矩阵； 0 2
2
x2 是极小点；
2 0 f x3 是负定矩阵； 0 2
2
x3 是极大点。
• 对某些较简单的函数，这样做有时是可行的； • 但对一般n元函数 f(x) 来说，由条件 f ( x) 0 得到的是一个 非线性方程组，解它相当困难。 • 为此，常直接使用迭代法。
k
的任何聚点都是 f (x)的全局最小点。
最速下降法的两个特征
1. 相邻两次迭代的方向互相垂直
令
( ) f ( xk d k ),
最速下降法
负梯度方向 d k f ( x k )是函数值减少最快的方向 ？ 令 p 是单位长度的向量， p 1, 0,
f ( x p) f ( x)+f ( x)T p o( )
P是什么方向时，函数值 f ( x p) 下降最快？也就是
f ( x)T p 取得最小值？ p是什么方向时，
函数 f x 的Hesse阵：
2
0 2 x1 f x 0 2 x2 2 在点 x1 , x2 , x3 , x4 处的Hesse阵依次为：
利用二阶条件 判断驻点是否 是极小点
2 f x2 0 2 0 2 2 2 f x3 , f x4 0 2 0
令 f x 0, 即：
x12 1 0 2 x2 2 x2 0
得到驻点：
1 1 1 1 x1 , x2 , x3 , x4 . 0 2 0 2
无约束优化的最优性条件
线搜索方法：迭代点沿某方向产生 根据迭代点是否 沿某个方向产生 信赖域方法： 迭代点在某区域内搜索产生
线搜索迭代法的步骤
(1) 选定某一初始点 x 0 ，并令 k: 0. (2) 确定搜索方向 d k .
k ，以产生下一个迭代点 (3) 从 x 出发，沿方向 d 求步长
*
求解 (1)的计算方法称为无约束最优化方法。
最优化方法中的基本方法---无约束优化方法
无约束最优化方法应用广泛，理论也比较成熟；
可将约束优化问题转化为无约束优化问题来处理；
f ( x), x D min f ( x) min F ( x), 其中F ( x) xD xR n , others.
2
=5 2 5 11/2 令 0= ' ( ) 10 5,
2 1 1
2 1 5/2 f x 2 2 , x =x +1d = +1/2 = ， 1 1/2 2 3/2
解析法要用到目标函数的梯度或者Hesse矩阵，容易想到 利用一阶必要条件将无约束优化问题转化成一个梯度为0确定 的方程组。 这里用到的一阶必要条件就是最优性条件。 所谓最优性条件，是指最优化问题的最优解所要满足的 必要条件或充分条件。 这些条件对于最优化算法的建立和最优化理论的推导都是 至关重要的。
0 0
=40 2 20 3 令 0= ' ( ) 80 20, 得 0 =1/4,
第2次迭代：
1
0 =1/4, d 0 = 4 , 2 x1 2 x2 4 f ( x ) , 2 2 x1 +4x2 4 2 f x1 1 , 1 0 0 1 x =x +0 d = +1/4 = ， 2 1 2 1/2
f ( x)T p f ( x) p cos(f ( x), p)
f ( x) f ( x) ，此时由f ( x) p f ( x) 可得 p f ( x)
T
当 cos(f ( x), p) 1 时，f ( x)T p 最小，最小值为
T
最速下降法
最速下降法是求多元函数极值的最古老的数值算 法，早在1847年法国数学家Cauchy提出该算法，后来 Curry作了进一步的研究。 该方法直观，简单，计算方便，而且后来的一些新的 有效的方法大多数是对它的改进，或受它的启发而得到 的。
解析法：利用函数的一阶或二阶导数的方法 收敛速度快，需要计算梯度或者Hesse矩阵 无约束优化方法 可求得目标函数的梯度时使用解析法 本章介绍解析法 直接法：仅利用函数值的信息，寻找最优解
不涉及导数，适用性强，但收敛速度慢 在不可能求得目标函数的梯度或偏导数时使用直接法
最优性条件(Optimality Conditions)
2 2
2 0 f x1 , 0 2
0 , 2 0 . 2
1 1 1 1 x1 , x2 , x3 , x4 . 0 2 0 2
无约束优化的最优性条件
2 0 2 2 0 f x1 , f x4 是不定矩阵； 0 2 0 2
无约束优化的最优性条件----二阶充分条件
定理(二阶充分条件)
f ( x* ) 0, 2 f x 正定，则 x 为 f ( x) 的严格局部极小
点。
设 f : R n R ，若在 N ( x*) 内 f ( x ) 二次连续可微，且
如果 2 f x 负定，则 x 为 f ( x ) 的严格局部极大点。
最速下降法的迭代格式
x 0 ， 0 并令 k: 0 (1) 选定某一初始点
(2) 若 f (3)
k
( x k ) , x* x k，否则转（3）；
k
d f ( x )
(4) 由精确一维搜索确定步长步长 问题求得最佳步长 令 xk 1 xk
k
，即由一个极小化
例 利用最速下降法求解 min f ( x ) x1 2 x2 2 x1 x2 4 x1 ,
2 2
2 x1 2 x2 4 解：函数的梯度为 f ( x) , 2 x1 +4x2
第1次迭代：
4 4 0 0 f x , d = f x , 2 2
f ( x* ) 0, 则 x 为 f ( x) 的唯一全局极小点。
无约束优化的最优性条件
例： 利用最优性条件求解下列问题： 利用一阶条件 求驻点 利用二阶条件 判断驻点是否 是极小点
解：
1 3 1 3 2 min f x x1 x2 x2 x1 3 3 f f 2 x1 1, x22 2 x2 , x1 x2
0
取 x 0 1,1 .
T
( )=f x 0 + d 0 =f 1+4 ,1 2
= 1+4 2 1 2 2 1+4 1 2 4 1+4
2 2
1+4 x + d = ， 1 2
收敛性定理： 设目标函数 f (x)连续可微，且水平集 L x f ( x) f ( x 0 ) 有界，则最速下降法或者在有限迭代步后终止；或者得 到点列 推论： 在收敛定理的假设下，若f (x)为凸函数，则最速下降法 或在有限迭代步后达到最小点；或得到点列 x ，它
1
2+ x + d = ， 1/2+2
1 1
2
( )=f x1 + d 1 =f 2+ ,1/2+2
= 2+ 2 1/2+2 2 2+ 1/2+2 4 2+ ,
k
k
x k +1.
(4) 检查得到的新点 x k +1是否为极小点或近似极小点。 若是，则停止迭代。 否则，令 k : k 1，转(2)继续进行迭代。 在以上步骤中，选取步长可选用精确一维搜索或者非精确一 维搜索， 下降方向的选取正是下面我们要介绍的，下降方向选取的不 同，得到不同的算法。
最速下降法
( )=f x 2 + d 2 =f 5/2+2 ,3/2
= 5/2+2 2 3/2 2 5/2+2 3/2 4 5/2+2
2 2
=10 2 5 27/4 令 0= ' ( ) 20 5,
3 2 2
5/2 2 3 f x3 1/2 , x =x +2 d = +1/4 = ， 1 3/2 1 5/4
继续迭代可得到函数的近似最优解。
得 2 =1/4,
最速下降法的收敛性分析
无约束优化的最优性条件----一阶必要条件
定理(一阶必要条件) 设 f : R n R ，若 x 为 f ( x ) 的局部极小点，且在 N ( x*)
内连续可微，则
f ( x* ) 0.
无约束优化的最优性条件----二阶必要条件
定理（二阶必要条件） 若 x * 为 f x 的局部极小点，且在 N x * 内 f x 二次连续 可微，则 f ( x* ) 0, 2 f ( x* ) 半正定。
假设 f 连续可微，
负梯度方向
这是函数值减少 最快的方向
d f ( x ) f ( x k k d k ) min f ( x k d k )
k k
0
步长 k 由精确一维搜索得到。 从而得到第 k+1次迭代点，即
x k 1 x k +k d k x k , x4 不是极小点；
2 0 f x2 是正定矩阵； 0 2
2
x2 是极小点；
2 0 f x3 是负定矩阵； 0 2
2
x3 是极大点。
• 对某些较简单的函数，这样做有时是可行的； • 但对一般n元函数 f(x) 来说，由条件 f ( x) 0 得到的是一个 非线性方程组，解它相当困难。 • 为此，常直接使用迭代法。
k
的任何聚点都是 f (x)的全局最小点。
最速下降法的两个特征
1. 相邻两次迭代的方向互相垂直
令
( ) f ( xk d k ),
最速下降法
负梯度方向 d k f ( x k )是函数值减少最快的方向 ？ 令 p 是单位长度的向量， p 1, 0,
f ( x p) f ( x)+f ( x)T p o( )
P是什么方向时，函数值 f ( x p) 下降最快？也就是
f ( x)T p 取得最小值？ p是什么方向时，
函数 f x 的Hesse阵：
2
0 2 x1 f x 0 2 x2 2 在点 x1 , x2 , x3 , x4 处的Hesse阵依次为：
利用二阶条件 判断驻点是否 是极小点
2 f x2 0 2 0 2 2 2 f x3 , f x4 0 2 0
令 f x 0, 即：
x12 1 0 2 x2 2 x2 0
得到驻点：
1 1 1 1 x1 , x2 , x3 , x4 . 0 2 0 2
无约束优化的最优性条件
线搜索方法：迭代点沿某方向产生 根据迭代点是否 沿某个方向产生 信赖域方法： 迭代点在某区域内搜索产生
线搜索迭代法的步骤
(1) 选定某一初始点 x 0 ，并令 k: 0. (2) 确定搜索方向 d k .
k ，以产生下一个迭代点 (3) 从 x 出发，沿方向 d 求步长
*
求解 (1)的计算方法称为无约束最优化方法。
最优化方法中的基本方法---无约束优化方法
无约束最优化方法应用广泛，理论也比较成熟；
可将约束优化问题转化为无约束优化问题来处理；
f ( x), x D min f ( x) min F ( x), 其中F ( x) xD xR n , others.
2
=5 2 5 11/2 令 0= ' ( ) 10 5,
2 1 1
2 1 5/2 f x 2 2 , x =x +1d = +1/2 = ， 1 1/2 2 3/2
解析法要用到目标函数的梯度或者Hesse矩阵，容易想到 利用一阶必要条件将无约束优化问题转化成一个梯度为0确定 的方程组。 这里用到的一阶必要条件就是最优性条件。 所谓最优性条件，是指最优化问题的最优解所要满足的 必要条件或充分条件。 这些条件对于最优化算法的建立和最优化理论的推导都是 至关重要的。
0 0
=40 2 20 3 令 0= ' ( ) 80 20, 得 0 =1/4,
第2次迭代：
1
0 =1/4, d 0 = 4 , 2 x1 2 x2 4 f ( x ) , 2 2 x1 +4x2 4 2 f x1 1 , 1 0 0 1 x =x +0 d = +1/4 = ， 2 1 2 1/2
f ( x)T p f ( x) p cos(f ( x), p)
f ( x) f ( x) ，此时由f ( x) p f ( x) 可得 p f ( x)
T
当 cos(f ( x), p) 1 时，f ( x)T p 最小，最小值为
T
最速下降法
最速下降法是求多元函数极值的最古老的数值算 法，早在1847年法国数学家Cauchy提出该算法，后来 Curry作了进一步的研究。 该方法直观，简单，计算方便，而且后来的一些新的 有效的方法大多数是对它的改进，或受它的启发而得到 的。
解析法：利用函数的一阶或二阶导数的方法 收敛速度快，需要计算梯度或者Hesse矩阵 无约束优化方法 可求得目标函数的梯度时使用解析法 本章介绍解析法 直接法：仅利用函数值的信息，寻找最优解
不涉及导数，适用性强，但收敛速度慢 在不可能求得目标函数的梯度或偏导数时使用直接法
最优性条件(Optimality Conditions)
2 2
2 0 f x1 , 0 2
0 , 2 0 . 2
1 1 1 1 x1 , x2 , x3 , x4 . 0 2 0 2
无约束优化的最优性条件
2 0 2 2 0 f x1 , f x4 是不定矩阵； 0 2 0 2
无约束优化的最优性条件----二阶充分条件
定理(二阶充分条件)
f ( x* ) 0, 2 f x 正定，则 x 为 f ( x) 的严格局部极小
点。
设 f : R n R ，若在 N ( x*) 内 f ( x ) 二次连续可微，且
如果 2 f x 负定，则 x 为 f ( x ) 的严格局部极大点。
最速下降法的迭代格式
x 0 ， 0 并令 k: 0 (1) 选定某一初始点
(2) 若 f (3)
k
( x k ) , x* x k，否则转（3）；
k
d f ( x )
(4) 由精确一维搜索确定步长步长 问题求得最佳步长 令 xk 1 xk
k
，即由一个极小化
例 利用最速下降法求解 min f ( x ) x1 2 x2 2 x1 x2 4 x1 ,
2 2
2 x1 2 x2 4 解：函数的梯度为 f ( x) , 2 x1 +4x2
第1次迭代：
4 4 0 0 f x , d = f x , 2 2
f ( x* ) 0, 则 x 为 f ( x) 的唯一全局极小点。
无约束优化的最优性条件
例： 利用最优性条件求解下列问题： 利用一阶条件 求驻点 利用二阶条件 判断驻点是否 是极小点
解：
1 3 1 3 2 min f x x1 x2 x2 x1 3 3 f f 2 x1 1, x22 2 x2 , x1 x2
0
取 x 0 1,1 .
T
( )=f x 0 + d 0 =f 1+4 ,1 2
= 1+4 2 1 2 2 1+4 1 2 4 1+4
2 2
1+4 x + d = ， 1 2
收敛性定理： 设目标函数 f (x)连续可微，且水平集 L x f ( x) f ( x 0 ) 有界，则最速下降法或者在有限迭代步后终止；或者得 到点列 推论： 在收敛定理的假设下，若f (x)为凸函数，则最速下降法 或在有限迭代步后达到最小点；或得到点列 x ，它