第四章 温new

太原科技大学机电学院
二、迭代计算公式
f (X ) ≈ ϕ(X ) = f (X
(k )
) + ∇ f (X
T
(k )
)[ X − X
(k )
]
1 + [ X − X ( k ) ]T H ( X ( k ) )[ X − X ( k ) ] 2
太原科技大学机电学院
本节课后作业： 本节课后作业： 教材P65：习题4 教材P65：习题4-1、4-2 P65
太原科技大学机电学院
第二节 牛顿法
基本思想 迭代计算公式 计算步骤及算法框图 举例 牛顿法的特点
太原科技大学机电学院
一、基本思想
牛顿法是梯度法的进一步发展， 牛顿法是梯度法的进一步发展，梯度法在 确定搜索方向时考虑了目标函数的一阶导数， 确定搜索方向时考虑了目标函数的一阶导数， 而牛顿法进一步利用了二阶导数， 而牛顿法进一步利用了二阶导数 ，从而大大 加快了收敛速度。 加快了收敛速度。 基本思想——在迭代点 X (k) 的邻域内 基本思想 在迭代点 用一个二次函数φ( 用一个二次函数 (X)来近似代替原目标函数 f(X) ， 并以 (X) 的极小点作为原目标函数 并以φ( ( f(X)的极小点的近似值。若不满足精度要求， ( 的极小点的近似值。若不满足精度要求， 则将该近似值作为下一次迭代的初始点。 则将该近似值作为下一次迭代的初始点。如 此反复迭代， 此反复迭代，直至所求出的近似极小点满足 收敛精度的要求。 收敛精度的要求。
太原科技大学机电学院
S
(0)
0.243 ∇f ( X ) [4 16] =− =− = − (0) 2 2 0.970 ∇f ( X ) 4 + 16
(0) T
X (1) = X (0) + α (0) S (0)
2 −0.243 2 − 0.243α (0) (0) = +α = (0) 2 −0.970 2 − 0.970α
梯度法 牛顿法 共轭梯度法 变尺度法
太原科技大学机电学院
第一节 梯度法
基本思想 迭代计算公式 计算步骤与算法框图 应用举例 梯度法的特点
太原科技大学机电学院
一、基本思想
梯度法搜索方向采用负梯度方向 梯度法搜索方向采用 负梯度方向 最速下降方向） 又叫最速下降法。 （最速下降方向）， 又叫最速下降法。
S
(k )
第二步
∇f ( X ) =− ∇f ( X ( k ) )
太原科技大学机电学院
第三步
判断是否满足迭代收敛准则： 判断是否满足迭代收敛准则： ||∇ ( )||≤ ||∇f(X(k))||≤ ε？ 若满足，输出最优解： 若满足，输出最优解： X * =X (k)和 f * = f(X * ),结束; ),结束 结束; ( 否则，继续下一步迭代。 否则，继续下一步迭代。
太原科技大学机电学院
开 始 给定X 给定 (0) 、 ε，并置 ，并置k=0
算 法 框 图
∇f(X (k) )、 || ∇f(X (k) ) || 、 || ∇f(X (k) ) ||≤ ε？ ≤ ？ N
S
(k )
Y
X* =X(k) f* = f(X * ) 结 束
∇f ( X ( k ) ) =− ∇f ( X ( k ) )
(k ) (k )
T
取其单位向量为搜索方向如下： 取其单位向量为搜索方向如下：
S (k ) ∇f ( X ( k ) ) =− ∇f ( X ( k ) )
太原科技大学机电学院
∇f ( X
(k )
∂f ( X ) ∂f ( X ) ∂f ( X ) ) = + + ... + ∂x1 ∂x2 ∂xn
f(X (k) )
20 2.213 2.46×10 -1 × 2.73×10 -2 × 2.83×10 -3 × 2.94×10 -4 × 2.79×10 –5 × 2.596×10 ×
–6
∇f(X (k) )
[4 16]T [2.952 -0.738]T [0.444 1.776]T [0.328 -0.0784]T [0.0458 0.192]T [0.034 -0.00768]T [0.0044 0.0192]T [ 0.0032 -0.000768 ]T
(0) T
(0)
X
(1)
=X
+α S
(0)
(0)
0 0 (0) 0 = +α = (0) 2 −1 2 − α
太原科技大学机电学院
代入目标函数f(X)， 令 ， 代入目标函数 故
X
(1)
df dα
(0)
=0
得 α(0)=2
0 = 0
∇f ( X (1) ) = 3.043 > ε
不满足，应继续迭代搜索， 不满足，应继续迭代搜索，直到 满足迭代收敛准则。 满足迭代收敛准则。
太原科技大学机电学院
各次迭代结果表 k
0 1 2 3 4 5 6 7
X(k)
[2 2]T [1.476 -0.0923]T [0.222 0.222]T [0.164 -0.0098]T [0.0229 0.0240]T [0.0170 -0.00096]T [0.0022 0.0024]T [ 0.0016 -0.000096 ]T
本章主要内容:
梯度法、牛顿法、共轭梯度法和变尺度法。 梯度法、牛顿法、共轭梯度法和变尺度法。
本 章 重 点：
各种方法的基本思想、算法及步骤、特点。 各种方法的基本思想 、 算法及步骤 、 特点 。
本 章 难 点：
共轭梯度法、变尺度法。 共轭梯度法、变尺度法。
太原科技大学机电学院
第一节 第二节 第三节 第四节
|| ∇f(X (k) ) ||
16.492 3.043 1.831 0.337 0.197 0.0349 0.0197 0.0032
经过7 经过7次迭代后
∇f ( X
(7)
) = 0.0032 < ε , 满足迭代精度
太原科技大学机电学院
输出最优解： 输出最优解： 最优点 X 最优值
*
=X
(7)=[ 0.0016 *
太原科技大学机电学院
从 X(k) 点出发沿 S(k) 方向进行 一维搜索， 一维搜索，求最优步长α(k) ，即： min f(X(k) +αS(k) ) ( = f(X(k) +α(k)S(k) ) ( 第四步 从而得下一个新的迭代点
X
( k +1)
=X
(k )
+α S
(k )
(k )
+1，返回第二步。 令 k = k +1，返回第二步。
f (1) = f ( X (1) ) = 0
∇f ( X (1) ) = 0 < ε
0 ∇f ( X ) = 0
(1)
最优解为 X
(1)
0 = 和 0
f * = f (X *) = 0
太原科技大学机电学院
很明显，这个例子告诉我们： 很明显，这个例子告诉我们：初 始点取得不同， 始点取得不同，梯度法达到收敛准则 要求的迭代次数也不同， 要求的迭代次数也不同，即梯度法迭 代收敛的速度与初始点的选择有关， 代收敛的速度与初始点的选择有关， 或对初始点的选择较为敏感。 或对初始点的选择较为敏感。 这是为什么呢？ 这是为什么呢？
(k) (k)
)仅表示目标
附近的局部性质， 而从全局来看， 附近的局部性质 ， 而从全局来看 ，
负梯度方向并不一定是收敛最快的方向。 负梯度方向并不一定是收敛最快的方向。 初始点的选择对收敛速度有很大影响。 2) 初始点的选择对收敛速度有很大影响。
太原科技大学机电学院
梯度法算法简单，存贮量小， 3) 梯度法算法简单 ，存贮量小，在远离极小 点时函数值下降得比较快。 点时函数值下降得比较快。 因此,往往将梯度法作为前几步算法， 因此 , 往往将梯度法作为前几步算法 ， 以后采 用其他更为有效的算法以加快收敛速度。 一些更 用其他更为有效的算法以加快收敛速度。 有效的算法都是在对梯度法改进后， 有效的算法都是在对梯度法改进后，或在它的启发 下获得的，这也是下一节我们要学习的内容。 下获得的，这也是下一节我们要学习的内容。
α(k) ：min f(X(k) + α S(k) ) X ( k +1) = X ( k ) + α ( k ) S ( k )
k ⇐ k+1
太原科技大学机电学院
四、应用举例
用梯度法求目标函数 f ( X ) = x + 4 x
2 1 2 2
的极小点。取迭代精度ε= 0.01，并分别取： 的极小点。取迭代精度ε= 0.01，并分别取： 1) 初始点 X(0) =[2 2]T 2) 初始点 X(0) =[0 2]T 初始点X 1）初始点 (0) =[2 2]T 解： (1) 计算 f(X (0) )和 ∇f(X (0) ) 和 f(X (0) )=20 ∇f(X (0) )= [2x1 8x2]T（2，2） = [4 16]T ， ）
太原科技大学机
X(*)
X(1)
太原科技大学机电学院
可见： 可见：
梯度法在搜索开始时迭代步长较大， 1) 梯度法在搜索开始时迭代步长较大，越接近 极小点，迭代步长越小，收敛速度越慢。 极小点，迭代步长越小，收敛速度越慢。 所以， 梯度法的“ 最速下降方向” 所以 ， 梯度法的 “ 最速下降方向 ” 并非理想的 迭代搜索捷径。这是因为梯度∇f(X 迭代搜索捷径。这是因为梯度∇ 函数在点 X
-0.000096]T ]
–6