第3章 无约束最优化方法 3-1 最速下降法 3-2 牛顿法
最优化马昌凤第三章作业
最优化方法及其Matlab程序设计习题作业暨实验报告学院：数学与信息科学学院班级：12级信计一班姓名：李明学号：49第三章 最速下降法和牛顿法一、上机问题与求解过程1、用最速下降法求212221216423),(x x x x x x f --+=的极小值。
解：仿照书上编写最速下降法程序如下：function [x,val,k]=grad(fun,gfun,x0)%功能：用最速下降法求解无约束化问题：min f(x)%输入：x0是初始点，fun,gfun分别是目标函数和梯度%输出：x,val分别是近似嘴有点和最优值，k是迭代次数maxk=5000;rho=;sigma=;%一开始选择时选择的rho和sibma选择的数据不够合理，此处我参照书上的数据编写数据k=0;epsilon=1e-5;while(k<maxk)g=feval(gfun,x0);%计算梯度d=-g;%计算搜索方向if(norm(d)<epsilon),break;endm=0;mk=0;while(m<20)%Armijo搜索if(feval(fun,x0+rho^m*d)<feval(fun,x0)+sigma*rho^m*g'*d)mk=m;break;%直接利用Armijo搜索公式,一开始的时候没有记住公式编写出现错误endm=m+1;endx0=x0+rho^mk*d;k=k+1;endx=x0;val=feval(fun,x0)%求得每一个的函数值然后仿照书上建立两个目标函数和梯度的M文件：function f=fun(x)f=3*x(1)^2+2*x(2)^2-4*x(1)-6*x(2);function g=gfun(x)g=[6*x(1)-4,4*x(2)-6]';选取初始点为']0,0[，调用函数程序，得出最小极值点为']6667.0[，极小值为8333500.1,，在界面框中输入的程序如下：.5[x,val,k]=grad('fun','gfun',x0)val =x =k =10从结果可以看出迭代次数为10次，如果选取不同的初值点则迭代次数不一样，但是极小值相同。
最优化设计 课后习题答案
最优化方法-习题解答张彦斌计算机学院2014年10月20日Contents1第一章最优化理论基础-P13习题1(1)、2(3)(4)、3、412第二章线搜索算法-P27习题2、4、643第三章最速下降法和牛顿法P41习题1，2，374第四章共轭梯度法P51习题1，3，6(1)105第五章拟牛顿法P73-2126第六章信赖域方法P86-8147第七章非线性最小二乘问题P98-1，2，6188第八章最优性条件P112-1，2,5,6239第九章罚函数法P132，1-(1)、2-(1)、3-(3),62610第十一章二次规划习题11P178-1（1），5291第一章最优化理论基础-P13习题1(1)、2(3)(4)、3、4 1.验证下列各集合是凸集:(1)S={(x1,x2)|2x1+x2≥1,x1−2x2≥1};需要验证：根据凸集的定义，对任意的x(x1,x2),y(y1,y2)∈S及任意的实数λ∈[0,1],都有λx+(1−λ)y∈S.即,(λx1+(1−λ)y1,λx2+(1−λ)y2)∈S证：由x(x1,x2),y(y1,y2)∈S得到，{2x1+x2≥1,x1−2x2≥12y1+y2≥1,y1−2y2≥1(1)1把(1)中的两个式子对应的左右两部分分别乘以λ和1−λ,然后再相加，即得λ(2x1+x2)+(1−λ)(2y1+y2)≥1,λ(x1−2x2)+(1−λ)(y1−2y2)≥1(2)合并同类项，2(λx1+(1−λ)y1)+(λx2+(1−λ)y2)≥1,(λx1+(1−λ)y1)−2(λx2+(1−λ)y2)≥1(3)证毕.2.判断下列函数为凸（凹）函数或严格凸（凹）函数：(3)f(x)=x21−2x1x2+x22+2x1+3x2首先二阶导数连续可微，根据定理1.5，f在凸集上是（I）凸函数的充分必要条件是∇2f(x)对一切x为半正定；（II）严格凸函数的充分条件是∇2f(x)对一切x为正定。
4.3 4.4 最速下降法 牛顿法
3.搜索步长：取最优步长，即满足
f (X k1) f (X k kf (X k )) min()
( )
f ( X ) X
dX
d
[f ( X k
kf ( X k ))]T (f
( X k )) 0
f (X k1)T f (X k ) 0
令
d k1 f ( X k1)
d k f (X k )
• 初始点 X k 、搜索方向 d k 、迭代步长 k 为优化方
法算法的三要素。 • 搜索方向问题是无约束优化方法的关键，决定一个
算法的成 败、收敛速率的快慢等。 • 各种无约束优化方法的区别就是确定搜索方向的方
法不同。
最速下降法
1.基本思想
• 优化设计是追求 min f ( X ) ，即从某点 X 出发，
牛顿型方法
3.求目标函数 f x x12 25x22 的极小点。
解: 取初始点 x0 2,2T 1
x1 x0 2 f
x0
1f
x0
2 2
2 0
0 1
4 100
0 0
50
经过一次迭代即求得最小点 x* 0,0T
函数极小值 f x* 0
牛顿型方法
阻尼牛顿法
牛顿法的缺陷： 在确定极值点的过程中，并不含沿下降方向搜索的概念。
最速下降法
f (x) (1 20)2 (1 20)2 2(1 20)2 (0),
(0) 4(1 20)(2) 8(1 20). 令 (0) 0
即 解得
80(11220) 0
代入 X 1式得
X
1
1 1
20 20
0 0
,
求梯度公式
f
(X1)
最优化方法-最速下降法
计算步骤
设f (X )是可微函数，精度要求为
X f ( ) K 1
，
X 0 为初始点。
(1)计算梯度
f
(
X
)
k
，初始k=0；
(2)
Pk
f
(
X
)
k
(3)求解 k
min f ( X k Pk)
s.t. 0
设 k 是一维搜索的最优解；
(4)求下一个点
评价
由例题中可以发现两次迭代的搜索方向满足：
P P P P T 0, T 0,...,
01
12
即相邻两个搜索方向 PK 与 PK1 正交，这是最速下降
法的搜索方向的基本形质。因此，最速下降法的迭代
路线呈锯齿形，尤其是在极小点附近，锯齿现象尤为
严重，从而影响了迭代速度。
评价
锯齿现象
最优化技术
第三章 7节 最速下降法
主要内容
1原 理
2 计算步骤
3 例题分析 4评 价
原理
定义：用来求解无约束多元函数 min f（x）
极小化问题的一种迭代算法。
拓展：
最速下降法又称梯度法，是 1847 年由著名数学家
Cauchy 给出的，它是解析法中最古老的一种，其他解析 方法或是它的变形，或是受它的启发而得到的，因此它是 最优化方法的基础。
X
)
0
(1,1)T
3-最优步长
2
X P ( ) f 5
0
0 2
1
0
应用一维搜索技术，解得函数最小值点 0 =0.2
举例分析
4-下一搜索点
X1
关于无约束优化各种方法
E(k)
x(k [g (
)[x(k ) ]T k ) ]T x(k )
H (k )g (k )[g (k ) ]T H (k ) [g (k ) ]T H (k )g (k )
变尺度法
DFP变尺度法现代公认的较好的算法之一。 DFP法、BFGS算法是基于牛顿法的思想又作了 重要改进。这种算法仅用到梯度，不必计算海赛阵及 其逆矩阵，但又能使搜索方向逐渐逼近牛顿方向，具 有较快的收敛速度。
akf
( xk )]
min a
f [xk
af
( xk )]
min( ) a
§4-1 最速下降法
f
( x ) k1
f [xk
akf
( xk )] min a
f [xk
af ( xk )解析法：根据极值点必要条件。
首次迭代时，H (0) I ， S (k) f (x(k) ) , 即为梯度法，
§3.5 牛顿法和变尺度法
这样避免计算二阶导数及Hesse矩阵的逆矩阵，而利用了牛顿法的优点。
§3.5 牛顿法和变尺度法
构造变尺度矩阵的递推公式：
H (k1) H (k) E(k) , 其中： E(k)为第k次迭代时的修正矩阵。
黄金分割法
牛顿法
抛物线法
§4-1 最速下降法
相邻 两个 搜索 方向 互相 垂直
最速下降法的搜索路径
f
( xk1)
f [xk
akf
( xk )] min a
f [xk
af ( xk )]
min( ) a
根据一元函数极值的必要条件及
复合函数求导公式得
'( ) f [ xk kf ( xk )] T f ( xk ) 0
第三章无约束问题的最优化方法
§3.2 一维搜索方法
二次插值法. 基本原理：
f ( x k 1 ) f x k S k 是的一元函数，
拟用一元二次多项式p a b c 2逼近 f ,即用抛物线p 拟合曲线f ，以p 的极小值 p * 近似f 的最优点 *。
a
a1
b1
b
a
a1
b1 b
a
a1
b1
b
§3.2 一维搜索方法
黄金分割法： • 黄金分割法适用于[a,b]区间上的任何单谷函数求极小值问题。对 函数除要求“单谷”外不作其他要求，甚至可以不连续。因此，这种 方法的适应面相当广。 • 黄金分割法也是建立在区间消去法原理基础上的试探方法。 • 在搜索区间内[a,b]适当插入两点，将区间分成三段；利用区间消 去法，使搜索区间缩小，通过迭代计算，使搜索区间无限缩小，从而 得到极小点的数值近似解。 •
③． 缩短区间
• 若f(x)本身为二次函数，则在理论上按前式一次求值就可找到最优点 ；
•
若f(x)为高于二次的函数或为其他函数 ,可采用区间消去法逐步缩小区间 。 根据xp* ，x2，f(xp* )和f(x2)的相互关系，分4种情况进行区间缩小。
在已有的四x1,x2,x3,xp* 中选择新的三个点x1,x2,x3，再进行二次插值。
2 2 2 2
§3.2 一维搜索方法
②
令 dp b 2c 0 d b 1 c 得 * (1 2 1 ) 2c 2 c2
f 2 f1 c f3 f 1 2 1 1 其中 c1 , c2 3 1 2 3
确定初始单谷区间进退法示意图
y1←y2 y1 y2→y1 y3 y1←y2←y1 y2←y3
无约束优化方法PPT课件
从点xk出发，沿G某一共轭方向d k作一维搜索,到达xk 1
xk 1 xk ak d k
xk 1 xk ak d k 而在点xk、xk 1处的梯度分别为：
gk Gxk b gk1 Gxk1 b
gk1 gk G xk1 xk akGd k
等式两边同乘 d 0 T 得 d 0 T Gd1 0
d 0 d 1 是对G的共轭方向。
三、共轭方向法
1、选定初始点 x0 ，下降方向d 0 和收敛精度ε，k=0。
2、沿 d k 方向进行一维搜索，得 xk1 xk ak d k
3、判断 f xk1 是否满足，若满足则打印 xk1
xk1 xk k Hf xk
变尺度法是对牛顿法的修正，它不是计算二阶导数的矩阵和 它的逆矩阵，而是设法构造一个对称正定矩阵H来代替Hesse 矩阵的逆矩阵。并在迭代过程中，使其逐渐逼近H-1 。
由于对称矩阵H在迭代过程中是不断修正改变的，它对于一 般尺度的梯度起到改变尺度的作用，因此H又称变尺度矩阵。
第二节 最速下降法
优化设计追求目标函数值最小，若搜索方向取该点的负 梯度方向，使函数值在该点附近的范围内下降最快。 按此规律不断走步，形成以下迭代算法：
xk1 xk akf xk
以负梯度方向为搜索方向，所以称最速下降法或梯度法。
搜索方向确定为负梯度方向，还需确定步长因子ak
即求一维搜索的最佳步长，既有
共轭方向的概念是在研究二次函数
f x 1 xTGx bT x c
2 时引出的。 首先考虑二维情况
1 共轭方向
定义1：设G为 n n阶实对称正定矩阵，而 d i , d 为j 在n
最速下降法无约束最优化
《MATLAB 程序设计实践》课程考核实践一、编程实现以下科学计算法，并举一例应用之。
（参考书籍《精通MATLAB 科学计算》，王正林等著，电子工业出版社，2009年）“最速下降法无约束最优化”最速下降法：解： 算法说明：最速下降法是一种沿着N 维目标函数的负梯度方向搜索最小值的方法。
原理：由高等数学知识知道任一点的负梯度方向是函数值在该点下降最快的方向，那么利用负梯度作为极值搜索方向，达到搜寻区间最速下降的目的。
而极值点导数性质，知道该点的梯度=0，故而其终止条件也就是梯度逼近于0，也就是当搜寻区间非常逼近极值点时，即：当▽f(a ）→0推出f(a ）→极值）（x f ，f(a ）即为所求。
该方法是一种局部极值搜寻方法。
函数的负梯度表示如下：-g(x ）=-▽f(x)=-⎢⎣⎡∂∂1)(x x f 2)(x x f ∂∂ … T N x x f ⎥⎦⎤∂∂)(搜索步长可调整，通常记为αk （第k 次迭代中的步长）。
该算法利用一维的线性搜索方法，如二次逼近法，沿着负梯度方向不断搜索函数的较小值，从而找到最优解。
方法特点（1）初始值可任选，每次迭代计算量小，存储量少，程序简短。
即使从一个不好的初始点出发，开始的几步迭代，目标函数值下降很快，然后慢慢逼近局部极小点。
（2）任意相邻两点的搜索方向是正交的，它的迭代路径胃绕道逼近极小点。
当迭代点接近极小点时，步长变得很小，越走越慢。
（3）全局收敛，线性收敛，易产生扭摆现象而造成早停。
算法步骤：最速下降法的基本求解流程如下：第一步迭代次数初始化为k=0，求出初始点0x 的函数值f 0=f （0x ）。
第二步迭代次数加1，即k=k+1，用一维线性搜索方法确定沿负梯度方向-1-k g 的步长1k -α，其中1k -α=ArgMinaf （111k /----k k g g x α）。
第三步沿着负梯度方向寻找下一个接近最小值的点，其中步长为1k -α，得到下一点的坐标为：1111/-----=k k k k k g g x x α。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1
u f ( x)u m u
T 2
2
u R
n
则从任意的初始点 x 0 出发，阻尼牛顿法产 生的迭代点列 满足： （1）当 x k 为有穷点列时，其最后一个点 为 f ( x) 的唯一极小点。 （2）当 x k 为无穷点列时，收敛到 f ( x) 的
第3.2节 Newton法及其改进
第3.1节 最速下降法（Steepest Method）
对于最速下降法的几点说明 （1）第2.6节中介绍的关于下降算法的收敛 性定理对最速下降法都是成立的 。 （2）目标函数在负梯度方向下降得最快只 是局部性质。 （3）锯齿现象 （4）改进策略：在计算的开始阶段使用最 速下降法，在迭代数次后，改用其他算法。
本节的主要内容：
（1）牛顿法的基本思想
（2）阻尼牛顿法
（3）带保护措施的阻尼牛顿法
（4）吉尔-默里稳定牛顿法
（5）信赖域方法（一）
第3.2节 Newton法及其改进
（1）牛顿法的基本思想： * 在目标函数f ( x)的极小点 x 的近似点 x k 附近将 f ( x) 二阶Tayler展开，用展开的二次 函数去逼近 f ( x)，将这个二次函数的极小点 * x 作为 的一个新的近似点 x k 1 ，依次下去， 用一系列二次函数的极小点 xk 1 去逼近 f ( x) 的极小点 x * 。
第3.2节 Newton法及其改进
设 f ( x)二次连续可微，则 f ( x) 在 x k 处的二次 近似为： 1 T f ( x) qk ( x) f ( xk ) f ( xk ) ( x xk ) ( x xk )T 2 f ( xk )( x xk ) 2 令
f ( xk 1 ) f ( x * ) k 1 * f ( xk ) f ( x )
M m lim sup k 1 k M
其中M和m满足0 m n 1 M ， n和 1 2 分别是 f ( x)的最小特征值和最大特征值。
第3.2节 Newton法及其改进
[算法3.15]（求负曲率方向的算法） （1）令 j d j e jj , j 1,2,, n ； j | j 1,2,, n （2）求下标t，使得 t min （3）若 t 0 ，表明不能得到负曲率方向， T 停止；否则，求解方程组 L k d et 求得 x k 处的负曲率方向 d k 。
T
第3.2节 Newton法及其改进
（3）带保护措施的阻尼牛顿法（Goldstein 和Price，1967）
2 1
f ( x k ) f ( x k ) 2 1 cos f ( xk ) f ( xk ), f ( xk ) dk sin f ( x ) k
d f ( x) d 0
T 2
则称d为在x处的负曲率方向。
第3.2.4节 吉尔-默里稳定牛顿法
负曲率方向的性质： （1）若方向d为负曲率方向，则 d 也是负 曲率方向。 （2）在鞍点处，负曲率方向必是下降方向； （3）在一般点处，若负曲率方向d满足： ，则d与 均是下降方向； d f ( x) T d 0 ，则d是下降方向； f ( x) T d 0 ，则 是下降方向。 T d f ( x) d 0
x k 1 x
*
( 1) 2 ( 1)
2
1 n
1 n n 1
2
xk x *
第3.1节 最速下降法（Steepest Method）
[对于定理的说明] （1）在上面定理中，如果考虑的是如下一 1 f ( x ) x Gx b x ，其中G是 般二次目标函数 2 n阶对称正定矩阵，则有类似的证明方法证 明定理同样成立。 （2）当目标函数是二阶连续可微的一致凸 函数时，由上章的推导可知，采用精确线 性搜索的最速下降法产生的迭代点列至少 是线性收敛的。
xk 1 xk f ( xk ) f ( xk )
2
1
Newton方向：d k 2 f ( xk )f ( xk )
第3.2节 Newton法及其改进
[定理3.6]（Newton法收敛定理） 设 f ( x)二阶连续可微，x *是 f ( x) 的局部 2 * 最优解， ， f ( xk ) 正定，Hesse矩阵 f ( x ) 0 2 f ( x) 满足Lipschitz条件：即存在 0 ，使 得对所有的i，j，有 2 2 n f ( x) (i, j ) f ( y) (i, j ) x y , x, y R 2 2 f ( x ) f ( x) 的 i, j 元素。 其中 ( i , j ) 是Hesse矩阵 则当初始点 x 0 充分靠近 x * 时，对于一切的k， 牛顿迭代公式有定义，并且所得迭代点列 xk 收敛到 ，并且具有二阶收敛速度。 x*
第3.2.4节 吉尔-默里稳定牛顿法
Gill-Murray稳定牛顿法的基本思想：
当Hesse矩阵 f ( x) 在迭代点 x k 处 为不定矩阵时，对其进行强迫正定 T 的 LDL 分解；当 f ( xk ) 趋于零时， 采用负曲率方向使函数值下降。
2
第3.2.4节 吉尔-默里稳定牛顿法
第3.2节 Newton法及其改进
牛顿法面临的主要困难： * x （1）很难检验初始点 0 是否靠近最优解 x ， 因而不能保证Hesse矩阵是否正定，得到的 方向是下降方向，迭代点列的收敛性及收 敛速度。 （2）牛顿法对目标函数要求高（二阶连续可 微），且需较多的存储单元，每次迭代均 要进行矩阵求逆运算。
第3.2节 Newton法及其改进
阻尼牛顿法的优点与缺点： 阻尼牛顿法克服了牛顿法要求初始点充分靠 近目标函数的极小点的缺点，但只有当目标函数 的Hesse矩阵处处正定时，才具有全局收敛性。如 果Hesse矩阵不是处处正定，当初始点远离局部极 小点时，Hesse矩阵可能不正定，这时Hesse矩阵可 能奇异也可能是非奇异。若Hesse矩阵奇异，求解 方向的方程组可能无解，或者虽然有解，但求出 的方向不能使迭代过程继续进行下去；若Hesse矩 阵非奇异，但不正定，则求得的方向可能不是下 降方向。
f ( x0 )
2 1
，沿此方向进 4 f ( x d ) ( 2 ) 1 ，其极小点 行线性搜索， 0 0 为 0 ，因此迭代不能继续进行下去。
2 1 d f ( x ) f ( x0 ) 2,0 于是 0 0
1 0
第3.2节 Newton法及其改进
（4）吉尔-默里稳定牛顿法（Gill和Murray， 1974） （4-1） 对称矩阵的三角分解定理 （4-2）强迫矩阵正定的 LDLT 分解 （4-3）吉尔-默里稳定牛顿法
第3.2.4节 吉尔-默里稳定牛顿法
[定义3.14]设 f ( x) 在开集D上二次连续可微， 2 （i）如果Hesse矩阵 f ( x) 至少有一个负特 征值，则 x D 叫做不定点。 （ii）如果x是一个不定点，若方向d满足
qk ( x) f ( xk ) f ( xk )( x xk ) 0
2
即
f ( xk )( x xk ) f ( xk )
2
第3.2节 Newton法及其改进
若 2 f ( xk ) 正定（对称），则 2 f ( xk ) 1 存在。 Newton迭代公式
[推论3.8]设 f ( x)在开凸集D上二阶连续可微， x 且对任意的 ，存在常数 ，使得 m 0 0 D f ( x) L( x0 ) x | f ( x) f ( x0 ) 在水平集 2 T 2 n u f ( x ) u m u u R 上满足 则从任意的初始点 x 0 出发，牛顿法产生的迭 代点列 x k 满足 lim f ( xk ) 0，且收敛到 k f ( x) 的唯一极小点。
第三章 无约束最优化方法
d k H k f ( xk )
策略 表现形式 Hk I 线性近似 2 H k f ( xk ) 二次近似 用布鲁丹（Broyden）族 或黄（Huang）族 修正公式
方法 梯度法 Newton法
拟Newton法
第三章 无约束最优化方法
第3.1节
(1 n )
2
第3.1节 最速下降法（Steepest Method）
[定理3.3]（二次函数情形下最速下降法的收敛速 度定理） 1 T 考虑无约束最优化问题 min f ( x) x Gx 2 其中G是n阶对称正定矩阵。1和 n分别是G的最 大特征值和最小特征值。设 x *是问题的解点，则 最速下降法至少具有线性的收敛速度，并且满足 下面的界： 2 2 ( ) ( 1 ) * 1 n f ( xk 1 ) f ( x * ) [ f ( x ) f ( x )] k 2 2 ( 1) (1 n )
第3.1节 最速下降法（Steepest Method）
[引理3.2]（康德洛维奇Kntorovich不等式） 设G为n阶实对称正定矩阵，其特征值 为 1 n ，则对任意的 x 0 ，总成立 不等式 41n 。 ( x T x) 2
( x Gx)( x G x)
T T 1
最速下降法 第3.2节 Newton法及其改进 第3.3节 共轭方向法 第3.4节 拟牛顿法
第3.1节 最速下降法（Steepest Method）