无约束优化方法(最速下降法_牛顿法)
最速下降法与牛顿法结合求无约束最优值
plot3(x11,x22,f11,'r'),grid on;
for tk=1:k
h1=line( 'Color' ,[0 1 0], 'Marker' , '.' , 'MarkerSize' ,20, 'EraseMode' , 'xor' );
哈哈，我已经实现了最速下降法语牛顿发的结合，并且还可以动画演示其求解最优值的迭代过程。都已在程序上实现了。（matlab）.运行的时，最速下降精度不要弄得太小，到后面的牛顿精度就可以取任意值了。
tic
KLJ(:,k)=norm(T(:,k));
GG(k)=subs(f,[x1,x2],[x(1,k),x(2,k)]);
if norm(T(:,k))<E
disp('有这里你就进入牛顿法求最优了');
disp(' ');
disp('FX就是最速下的解 ')
f=a*x1^2+b*x2^2+c*x1*x2+d*x1+e*x2+g;
%画出原始图像
figure;
x11=-100:0.5:100;
x22=x11;
[x11,x22]=meshgrid(x11,x22);
f11=a.*x11.^2+b*x22.^2+c*x11.*x22+d.*x11+e.*x22+g;
牛顿法和拟牛顿法
重置 否
x (1 ) = x ( n + 1 )
例4.13：用DFP方法求解 min 2 x + x − 4 x1 + 2
2 1 2 2
初始点x
(1)
2 1 0 = , H1 = 1 0 1
λ1 =
5 18
2 1
8 9 4 9
SQP方法
• 良好的性质 • 广泛应用 • 与Lagrange-Newton 法的关系
总结
简单的“拟”可以 是革命性的进步!
1 v
( k )T
q (k )
∆H k =
p
(k )
⋅p
( k )T (k )
p
( k )TΒιβλιοθήκη q−Hkq q
(k )
⋅q
( k )T
Hk
( k )T
Hkq
(k )
计 算 步 骤：
x (1 ) , ε > 0
H1 = I n , d (1) = −∇f ( x(1) ), k = 1
∇f ( x ( k ) ) < ε
p ( k ) := x ( k +1) − x ( k ) ⇓ q ( k ) := ∇f ( x ( k +1) ) − ∇f ( x ( k ) ) q
(k )
≈ ∇ f (x
2
( k +1)
)p
(k )
p ( k ) = H k + 1q ( k )
p ( k ) ≈ ∇ 2 f ( x ( k +1) ) −1 q ( k )
FletcherDavidon(1959), Fletcher-Powell(1963) DFP 方法
无约束优化方法
无约束优化方法1. 最速下降法（Gradient Descent Method）最速下降法是一种基于梯度信息的迭代优化算法。
其基本思想是从任意初始点开始，沿着目标函数的梯度方向进行迭代，直到达到收敛条件。
最速下降法的迭代更新公式如下：x_{k+1}=x_k-t_k*∇f(x_k)其中，x_k是第k次迭代的解向量，t_k是第k次迭代的步长（也称为学习率），∇f(x_k)是目标函数在x_k处的梯度向量。
最速下降法的步骤如下：1）选取初始点x_0。
2）计算目标函数的梯度∇f(x_k)。
3）计算步长t_k。
4）更新解向量x_{k+1}。
5）判断迭代终止条件，如果满足则停止迭代；否则返回第2步。
最速下降法的优点是易于实现和理解，收敛性较好。
然而，最速下降法存在的问题是收敛速度较慢，特别是对于目标函数呈现狭长或弯曲形状的情况下。
这导致了在高维优化问题中，最速下降法的性能较差。
2. 牛顿法（Newton's Method）牛顿法是一种基于二阶导数信息的迭代优化算法。
它使用目标函数的一阶和二阶导数信息构造一个二次近似模型，然后求解该模型的最小值。
牛顿法的迭代更新公式如下：x_{k+1}=x_k-H_k^{-1}*∇f(x_k)其中，H_k是目标函数在x_k处的海森矩阵，∇f(x_k)是目标函数在x_k处的梯度向量。
牛顿法的步骤如下：1）选取初始点x_0。
2)计算目标函数的梯度∇f(x_k)和海森矩阵H_k。
3）计算更新方向H_k^{-1}*∇f(x_k)。
4）更新解向量x_{k+1}。
5）判断迭代终止条件，如果满足则停止迭代；否则返回第2步。
牛顿法的优点是收敛速度快，尤其是在目标函数曲率大的地方。
然而，牛顿法也存在一些问题。
首先，计算海森矩阵需要大量的计算资源，特别是在高维空间中。
其次，当海森矩阵不可逆或近似不可逆时，牛顿法可能会失效。
综上所述，最速下降法和牛顿法是两种常用的无约束优化方法。
最速下降法简单易实现，但收敛速度较慢；牛顿法收敛速度快，但计算量大且可能遇到海森矩阵不可逆的问题。
最速下降法与牛顿法及其区别
最速下降法与牛顿法及其区别摘要：无约束优化方法是优化技术中极为重要和基本内容之一。
它不仅可以直接用来求解无约束优化问题，而且很多约束优化问题也常将其转化为无约束优化问题，然后用无约束优化方法来求解。
最速下降法和牛顿法是比较常见的求解无约束问题的最优化方法，这两种算法作为基本算法，在最优化方法中占有重要的地位。
其中最速下降法又称梯度法，其优点是工作量少，存储变量较少，初始点要求不高；缺点是收敛慢，效率低。
牛顿法的优点是收敛速度快；缺点是对初始点要求严格，方向构造困难，计算复杂且占用内存较大。
同时，这两种算法的理论和方法渗透到许多方面，特别是在军事、经济、管理、生产过程自动化、工程设计和产品优化设计等方面都有着重要的应用。
因此，研究最速下降法和牛顿法的原理及其算法对我们有着及其重要的意义。
关键字：无约束优化最速下降法牛顿法Abstract: unconstrained optimization method is to optimize the technology is extremely important and basic content of. It not only can be directly used to solve unconstrained optimization problems, and a lot of constrained optimization problems are often transformed into unconstrained optimization problem, and then use the unconstrained optimization methods to solve. The steepest descent method and Newton-Raphson method is relatively common in the unconstrained problem optimization method, these two kinds of algorithm as the basic algorithm, the optimization method plays an important role in. One of the steepest descent method also known as gradient method, its advantages are less workload, storage variable is less, the initial requirements is not high; drawback is the slow convergence, low efficiency. Newtonian method has the advantages of fast convergence speed; drawback is the initial point of strict construction difficulties, directions, complicated calculation and larger memory. At the same time, these two kinds of algorithm theory and methods into many aspects, especially in the military, economic, management, production process automation, engineering design and product optimization design has important applications. Therefore, to study the steepest descent method and Newton-Raphson method principle and algorithm for us with its important significance.Keywords: unconstrained optimization steepest descent method一、算法的基本原理1.1 最速下降法的基本原理在基本迭代公式k k k k P t X X +=+1中，每次迭代搜索方向k P 取为目标函数)(X f 的负梯度方向，即)(k k X f P -∇=，而每次迭代的步长k t 取为最优步长，由此确定的算法称为最速下降法。
第3章 无约束最优化方法 3-1 最速下降法 3-2 牛顿法
1
u f ( x)u m u
T 2
2
u R
n
则从任意的初始点 x 0 出发，阻尼牛顿法产 生的迭代点列 满足： （1）当 x k 为有穷点列时，其最后一个点 为 f ( x) 的唯一极小点。 （2）当 x k 为无穷点列时，收敛到 f ( x) 的
第3.2节 Newton法及其改进
第3.1节 最速下降法（Steepest Method）
对于最速下降法的几点说明 （1）第2.6节中介绍的关于下降算法的收敛 性定理对最速下降法都是成立的 。 （2）目标函数在负梯度方向下降得最快只 是局部性质。 （3）锯齿现象 （4）改进策略：在计算的开始阶段使用最 速下降法，在迭代数次后，改用其他算法。
本节的主要内容：
（1）牛顿法的基本思想
（2）阻尼牛顿法
（3）带保护措施的阻尼牛顿法
（4）吉尔-默里稳定牛顿法
（5）信赖域方法（一）
第3.2节 Newton法及其改进
（1）牛顿法的基本思想： * 在目标函数f ( x)的极小点 x 的近似点 x k 附近将 f ( x) 二阶Tayler展开，用展开的二次 函数去逼近 f ( x)，将这个二次函数的极小点 * x 作为 的一个新的近似点 x k 1 ，依次下去， 用一系列二次函数的极小点 xk 1 去逼近 f ( x) 的极小点 x * 。
第3.2节 Newton法及其改进
设 f ( x)二次连续可微，则 f ( x) 在 x k 处的二次 近似为： 1 T f ( x) qk ( x) f ( xk ) f ( xk ) ( x xk ) ( x xk )T 2 f ( xk )( x xk ) 2 令
无约束常用优化方法
步长 ，作前进（或后退）试探．如试探成功（目
标函数值有所减小），则按步长序列
，加
大步长（注意每次加大步长都是由初始点算起），直
至试探失败（目标函数值比前一次的有所增加）时，
则取其前一次的步长作为沿这个坐标轴方向搜索的最
优步长，并计算出该方向上的终止点，而后以这个终
止点为始点再进行下一坐标轴方向的搜索，并重复上
处
显然 是二次函数，并且还是正定二次函数，所以 是凸函数且存在唯一全局极小点．为求此极小点，令
即可解得
即
（5.9）
对照基本迭代公式,易知，式（5.9）中的搜索方向
步长因子
方向
是直指点 处近似二次函数
的极小点的方向．此时称此方向为从点 出发的
Newton方向．从初始点开始，每一轮从当前迭代点出发，
沿Newton方向并取步长 的算法称为Newton法．
另外，共轭梯度法不要求精确的直线搜 索．但是，不精确的直线搜索可能导致迭代 出来的向量不再共轭，从而降低方法的效 能．克服的办法是，重设初始点，即把经过 n次迭代得到的Xn作为初始点重新迭代．
五、坐标轮换法
在坐标轮换法中，沿各个坐标轴方向进行一维搜索
时，常选用最优步长法或加速步长法．加速步长法从
初始点出发，沿搜索（坐标轴）方向先取一个较小的
三、共轭方向法
1、概念
通常，我们把从任意点
出发，依次沿某组共轭
方向进行一维搜索的求解最优化问题的方法，叫做共
轭方向法．
2、特点
• 一般地，在n维空间中可以找出n个互相共轭的方向，对于n元正 定二次函数，从任意初始点出发，顺次沿这n个共轭方向最多作n 次直线搜索就可以求得目标函数的极小点．这就是共轭方向法的 算法形成的基本思想．
最优化方法第四章B
将上式右边极小化, 即令
q(k) (s) f (xk ) 2 f (xk )s 0
得:
xk1 xk [ 2 f (xk )]1 f (xk )
(4.2.2) (4.2.3)
这就是牛顿法迭代公式.相应的算法称为牛顿法
令 Gk 2 f (xk ), gk f (xk ) , 则(4.2.3)也可写成
事实上, 由于精确线性搜索满足gkT1dk 0则
gT k 1
g
k
dkT1dk
0
(4.1.11)
这表明最速下降法中相邻两次的搜索方向是相互直
交的, 这就产生了锯齿形状.越接近极小点, 步长越
小, 前进越慢.
最速下降法的锯齿现象
x2 x1
x*
x3
最速下降法的收敛速度
精确线性搜索的最速下降法的收敛速度是线性的
dk
o(
x xk
)
(4.1.2)
显然, 若dk 满足 gkT dk 0 , 则是下降方向, 它使得
f (xk dk ) f (xk )
当
取定后,
g
T k
d
的值越小,
k
即
g
T k
dk
的值越大,
函
数f(x)在xk处下降量越大.
由Cauchy-Schwartz(柯西-施瓦)不等式
二次型 f (x1, x2 ,, xn ) 如果对于任意一组不全为零的 实数 c1 , c2 ,, cn都有 f (c1, c2 ,, cn ) 0 就称为正定的.
A是一个实对称矩阵，如果 实二次型
xT Ax
是正定的，则A称为正定矩阵.
第3章 无约束最优化方法 3-1 最速下降法 3-2 牛顿法
是局部性质。 n （3）锯齿现象 n （4）改进策略：在计算的开始阶段使用最
速下降法，在迭代数次后，改用其他算法。
第3.1节 最速下降法（Steepest Method）
n [引理3.2]（康德洛维奇Kntorovich不等式）
第3.2节 Newton法及其改进
n [推论3.8]设 且对任意的 在水平集
在开凸集D上二阶连续可微， ，存在常数 ，使得
上满足
则从任意的初始点 出发，牛顿法产生的迭
代点列 满足
，且收敛到
的唯一极小点。
第3.2节 Newton法及其改进
n 阻尼牛顿法的优点与缺点： 阻尼牛顿法克服了牛顿法要求初始点充分靠
n
，则d是下降方向；
n
，则 是下降方向。
第3.2.4节 吉尔-默里稳定牛顿法
n Gill-Murray稳定牛顿法的基本思想： n 当Hesse矩阵 在迭代点
处为不定矩阵时，对其进行强迫正 定的 分解；当 趋于零时， 采用负曲率方向使函数值下降。
第3.2.4节 吉尔-默里稳定牛顿法
n [算法3.15]（求负曲率方向的算法）
得到方向 ，令
。
n （6）精确线性搜索求 ，且令
n （7）若
，则进行步（8）；否则，
令
，转步（2）。
n （8）输出
，停止计算。
第3.2.4节 吉尔-默里稳定牛顿法
n [定理3.18]设 二阶连续可微，且存在
，使得
为有界闭
凸集。假定在吉尔-默里稳定牛顿法中取
，且初始点
，则吉尔-默里稳
定牛顿法产生的迭代序列 满足：
最优化方法第六讲 无约束(多维)最优化
step4. 若 || f ( xk1) || ,停止，x* xk1 ;
否则，令 k : k 1, 转step 2 。
14
➢算法框图
给定初始点x0和精度 || f ( x0 ) ||
停止，输出x1
否
是
| x1 x0 |
是 停止，输出x0
否 否
2 f (x0) 0
计算x1
x0
f ( x0 ) 2 f (x0)
1
13 62
x2
x1
1d 1
(
36 , 31
8 31
)T
7
三、最速下降法的特点
1.性质. 设 f ( x) 有一阶连续偏导数，若 步长 满足 k
f ( xk d k ) min f ( xk d k )
k
则有 f ( xk d k )T d k 0。 k
证明：令 ( ) f ( xk d k )，所以
5
一、梯度法（最速下降法）：
1. 搜索方向：d k f ( xk ) ,也称为最速下降方向；
2. 搜 索 步 长: k 取 最 优 步 长, 即 满 足
f (xk
kd k )
min
f
(xk
d k ) 。
二、梯度法算法步骤：
1. 给定初始点 x1 Rn ,允许误差 0, 令k 1。
2. 计算搜索方向 d k f ( xk ) ;
Step3. 令 xk 1 xk kd k , 其中tk : f ( xk kd k ) min f ( xk d k )。
24
Step 4. 判断 xk 1 是否满足终止准则： yes: 计算 stop, 则x* : xk1
No : 转 step 5 。
五种最优化方法
五种最优化方法 Prepared on 22 November 2020五种最优化方法1. 最优化方法概述最优化问题的分类1）无约束和有约束条件；2）确定性和随机性最优问题（变量是否确定）；3）线性优化与非线性优化（目标函数和约束条件是否线性）；4）静态规划和动态规划（解是否随时间变化）。
最优化问题的一般形式（有约束条件）：式中f(X)称为目标函数(或求它的极小，或求它的极大)，si(X)称为不等式约束，hj(X)称为等式约束。
化过程就是优选X，使目标函数达到最优值。
2.牛顿法简介1）解决的是无约束非线性规划问题；2）是求解函数极值的一种方法；3）是一种函数逼近法。
原理和步骤3. 最速下降法（梯度法）最速下降法简介1）解决的是无约束非线性规划问题；2）是求解函数极值的一种方法；3）沿函数在该点处目标函数下降最快的方向作为搜索方向；最速下降法算法原理和步骤4. 模式搜索法(步长加速法)简介1）解决的是无约束非线性规划问题；2）不需要求目标函数的导数，所以在解决不可导的函数或者求导异常麻烦的函数的优化问题时非常有效。
3）模式搜索法每一次迭代都是交替进行轴向移动和模式移动。
轴向移动的目的是探测有利的下降方向，而模式移动的目的则是沿着有利方向加速移动。
模式搜索法步骤5.评价函数法简介评价函数法是求解多目标优化问题中的一种主要方法。
在许多实际问题中，衡量一个方案的好坏标准往往不止一个，多目标最优化的数学描述如下：min (f_1(x),f_2(x),...,f_k(x)). g(x)<=0传统的多目标优化方法本质是将多目标优化中的各分目标函数，经处理或数学变换，转变成一个单目标函数，然后采用单目标优化技术求解。
常用的方法有“线性加权和法”、“极大极小法”、“理想点法”。
选取其中一种线性加权求合法介绍。
线性加权求合法6. 遗传算法智能优化方法是通过计算机学习和存贮大量的输入-输出模式映射关系，进而达到优化的一种方法，主要有人工神经网络法，遗传算法和模拟退火法等。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第四章 无约束优化方法——最速下降法，牛顿型方法概述在求解目标函数的极小值的过程中，若对设计变量的取值范围不加限制，则称这种最优化问题为无约束优化问题。
尽管对于机械的优化设计问题，多数是有约束的，无约束最优化方法仍然是最优化设计的基本组成部分。
因为约束最优化问题可以通过对约束条件的处理，转化为无约束最优化问题来求解。
为什么要研究无约束优化问题?（1）有些实际问题，其数学模型本身就是一个无约束优化问题。
（2）通过熟悉它的解法可以为研究约束优化问题打下良好的基础。
（3）约束优化问题的求解可以通过一系列无约束优化方法来达到。
所以无约束优化问题的解法是优化设计方法的基本组成部分，也是优化方法的基础。
根据构成搜索方向所使用的信息性质的不同，无约束优化方法可以分为两类。
一：间接法——要使用导数的无约束优化方法，如梯度法、（阻尼）牛顿法、变尺度法、共轭梯度法等。
二：直接法——只利用目标函数值的无约束优化问题，如坐标轮换法、鲍威尔法单纯形法等。
无约束优化问题的一般形式可描述为：求n 维设计变量 []12Tn n X x x x R =∈L使目标函数 ()min f X ⇒目前已研究出很多种无约束优化方法，它们的主要不同点在于构造搜索方向上的差别。
无约束优化问题的求解： 1、解析法可以利用无约束优化问题的极值条件求得。
即将求目标函数的极值问题变成求方程0)(min *=X f的解。
也就是求Ｘ＊使其满足解上述方程组，求得驻点后，再根据极值点所需满足的充分条件来判定是否为极小值点。
但上式是一个含有ｎ个未知量，ｎ个方程的方程组，在实际问题中一般是非线性的，很难用解析法求解，要用数值计算的方法。
由第二章的讲述我们知道，优化问题的一般解法是数值迭代的方法。
因此，与其用数值方法求解非线性方程组，还不如用数值迭代的方法直接求解无约束极值问题。
2、数值方法数值迭代法的基本思想是从一个初始点)0(X出发，按照一个可行的搜索方向)0(dρ搜索，确定最佳的步长0α使函数值沿)0(d ρ方向下降最大，得到)1(X 点。
依此一步一步地重复数值计算，最终达到最优点。
优化计算所采用的基本迭代公式为),2,1,0()()()1(Λρ=+=+k dXXK K K K α （4.2）在上式中， ()K d r 是第是 k+1 次搜索或迭代方向，称为搜索方向（迭代方向）。
由上面的迭代公式可以看出，采用数值法进行迭代求优时，需要确定初始点)(k X 、搜索方向)(k d ρ和迭代步长K α，称为优化方法迭代算法的三要素。
第三章我们已经讨论了如何在搜索方向)(k d ρ上确定最优步长K α的方法，本章我们将讨论如何确定搜索方向)(k d ρ。
最常用的数值方法是搜索方法，其基本思想如下图所示：0)(0)(0)(*2*1*=∂∂=∂∂=∂∂nx X f x X f x X fM无约束优化方法可以分为两类。
一类是通过计算目标函数的一阶或二阶导数值确定搜索方向的方法，称为间接法，如最速下降法、牛顿法、变尺度法和共轭梯度法。
另一类是直接利用目标函数值确定搜索方向的方法，称为直接法，如坐标轮换法、鲍威尔法和单形替换法。
各种无约束优化方法的区别在于确定其搜索方向0d 的方法不同。
4．1最速下降法最速下降法是一个求解极值问题的古老算法，1847年由柯西（Cauchy ）提出。
4.1.1最速下降法的基本原理由第二章优化设计的数学基础可知，梯度方向是函数增加最快的方向，负梯度方向是函数下降最快的方向，所以最速下降法以负梯度方向为搜索方向，每次迭代都沿着负梯度方向进行一维搜索，直到满足精度要求为止。
因此，最速下降法又称为梯度法。
由公式（4.2）),2,1,0()()()1(Λρ=+=+k d X X K K K K α可知，若某次选代中己取得点)(k X ，从该点出发，取负梯度方向)()()()()(k k k X f X f d ∇∇-=ρ 为搜索方向。
则最速下降法的迭代公式为()(1)()()()(0,1,2,)()k K K Kk f X XXk f X α+∇=-=∇L （4.3）当第ｋ次的迭代初始点)(k X 和搜索方向)(k d ρ已经确定的情况下，原目标函数成为关于步长α的一维函数。
即()()()()K K f X S ϕαα=+最优步长K α可以利用一维搜索的方法求得(1)()()()()min ()()()min ()k K k K k k f Xf Xd f X d ααϕααα+==+=+r r根据一元函数极值的必要条件和多元复合函数的求导公式，得()()()()()()0TK k K f X d f X ϕαα⎡⎤'=-∇+∇=⎣⎦r(1)()()()0TK K f X f X +⎡⎤∇∇=⎣⎦或写成 (1)()[]0K T k dd +=r r 由此可知，在最速下降法中相邻两个搜索方向互相正交。
也就是说在用最速下降法迭代求优的过程中，走的是一条曲折的路线，该次搜索方向与前一次搜索方向垂直，形成“之”字形的锯齿现象，如图4.1所示。
最速下降法刚开始搜索步长比较大，愈靠近极值点其步长愈小，收敛速度愈来愈慢。
特别是对于二维二次目标函数的等值线是较扁的椭圆时，这种缺陷更加明显。
因此所谓最速下降是指目标函数在迭代点附近出现的局部性质，从迭代过程的全局来看，负梯度方向并非是目标函数的最快搜索方向。
图4.1最速下降法的搜索路径此外，最速下降法的迭代公式也可以写成下面的形式(1)()()()(0,1,2,)K K k K X X f X k α+=-∇=L （4.4）将其与式4.3相比较，可知，此处K α等于4.3式中步长除以函数在()K X 点导数的模()()k f X∇，而此时的搜索方向()()()k k d f X =∇r也不再是个单位向量。
4.1.2最速下降法的迭代过程１） 给定初始点(0)X ，收敛精度ε，并令计算次数0k ⇐； ２） 计算)(k X 点的梯度()()K f X ∇及梯度的模()()k f X ∇，并令)()()()()(k k k X f X f d ∇∇-=ρ ３） 判断是否满足精度指标()()k f X ε∇≤；若满足，)(k X 为最优点，迭代停止，输出最优解*()k X X =和*()()()k f X f X =，否则进行下一步计算； ４） 以)(k X为出发点，沿)(k d ρ进行一维搜索，求能使函数值下降最多的步长K α，即()()()()min ()()k k k k K f Xd f X d ααα+=+r r５） 令(1)()()k k k K XXd α+=+r ，ｋ＝ｋ＋１，转到步骤2)。
最速下降法的程序框图如图4.2所示。
4.2最速下降法的程序框图例题4.1 用最速下降法求目标函数2212()(1)(1)f X x x =-+-的极小值，设初始点(0)T [0 0]X =，计算精度210ε-=。
解 （１）计算初始点(0)X 处目标函数的梯度和梯度的模11(0)22(0)()2(1)2() 2(1)()2 ()f X x x f X x f X x f X ∂⎡⎤⎢⎥∂--⎡⎤⎡⎤⎢⎥∇===⎢⎥⎢⎥-∂-⎢⎥⎣⎦⎣⎦⎢⎥∂⎣⎦∇=（２）由于(0)()f X ε∇=>，不满足精度指标，转下一步计算。
（３）确定搜索方向(0)(0)(0)2()2()f X df X -⎤∇=-==⎥-∇⎦r （４）计算新的迭代点 由公式（4.2）可得(1)(0)(0)00XXdαα⎡⎤=+=+=⎢⎥⎣⎦r 代入目标函数(1)22()1)1)f X =-+沿)(k d ρ方向进行一维搜索（或对α求导，并令其为零）(1)()1)1)df X d α=-+ 令(1)()0df X d α=，，求得最优步长0α。
（５）计算新迭代点(1)11X ⎡⎤===⎢⎥⎣⎦ （６）计算新迭代点的梯度及梯度的模1(1)22(1)0()2(1)0x f X x -⎡⎤⎡⎤∇==⎢⎥⎢⎥-⎣⎦⎣⎦(0)()0f X ε∇=<因已满足精度要求，停止迭代，得最优解为*11X ⎡⎤=⎢⎥⎣⎦，*()0f X =可见，对于目标函数的等值线为圆的情况，只要一次迭代就能达到极小值点*X。
这是因为圆周上任意一点的负梯度方向总是指向圆心的，如图4.3所示。
图4.3例题4.1目标函数极小值的搜索过程通过上面的分析可知最速下降法具有以下特点：（1）理论明确，程序简单，对初始点要求不严格，每次迭代所需的计算量和存储量也较小，适用于计算机计算。
（2）对一般函数而言，最速下降法的收敛速度并不快，因为最速下降方向仅仅是指某点的一个局部性质。
（3）最速下降法相邻两次搜索方向的正交性，决定了迭代全过程的搜索路线呈锯齿状，在远离极小点时逼近速度较快，而在接近极小点时逼近速度较慢。
（4）最速下降法的收敛速度与目标函数的性质以及初始点的选择密切相关。
对于等值线(面)为同心圆（球）的目标函数，一次搜索即可达到极小点。
若目标函数为二次函数，等值线为椭圆，当初始点选在长轴或短轴上时，一次搜索也可达到极小值点。
最速下降法的收敛速度和变量的尺度关系很大，这一点可从最速下降法收敛速度的估计式上看出来。
在适当条件下，有式中的海赛矩阵最大特征值上界；其最小特征值下界。
当相邻两个迭代点之间满足上式时（右边的系数为小于等于1的正的常数），我们称相应的迭代方法是具有线性收敛速度的迭代法。
因此，最速下降法是具有线性收敛速度的选代法。
鉴于应用最速下降法可以使目标函数在开头几步下降很快，所以它可与其它无约束优化方法配合使用。
即在开始阶段用梯度法求得一个较优的初始点，然后用其它收敛快的方法继续寻找极小点。
4．2牛顿法牛顿法是根据目标函数的等值线在极值点附近为同心椭圆族的特点，在极值点*X 邻域内用一个二次函数()X ϕ来近似代替原目标函数()f X ，并将()X ϕ的极小值点作为对目标函数()f X 求优的下一个迭代点，经多次迭代，使之逼近原目标函数()f X 的极小值点。
4.2.1牛顿法的基本原理设目标函数是连续二阶可微的，将函数在)(k X 点按泰勒级数展开，并保留到二次项，得()()()()2()()1()()()[()]()()()() 2K K T K K T K K f X X f Xf XX XX X f X X X ϕ≈=+∇-+-∇-此式是个二次函数，设(1)k X +为()X ϕ的极小值点，则(1)()0k Xϕ+∇=即()2()(1)()()()()0k k k k f X f X X X +∇+∇-=(1)()2()1()[()]()(0,1,2,)K K K K X X f X f X k +-=-∇∇=L （4.5）这就是多元函数求极值的牛顿法迭代公式。