用Newton法、DFP法和BFGS法求函数极值

ᓔ ྟ 䆒㕂㊒ᑺˈ㒭ᅮ߱ྟⱘ䗁ҷ⚍
yes
ℹ䭓||S||<㊒ᑺ˛
no
䅵ㅫ೼㄀k⃵䗁ҷ⚍໘ⱘ⍋Ểⶽ䰉H ੠ẃᑺ৥䞣 ㄀k+1ℹ 䗮䖛㾷㒓ᗻᮍ⿟ˈᕫࠄ㄀kℹⱘᮍ৥ Sk 㒧ᴳ䗁 ҷˈᕫࠄ ᵕؐ⚍X
಴ЎSk=X k+1 -Xk; ᠔ҹˈᕫࠄᮄⱘ䗁ҷ⚍Xk+1=X k +S k.
图 1: Newton方法的算法简图 b)计算(xk , yk , zk )点处的海森矩阵和梯度向量时，调用函数[Hessen, grads] = HessenM atrica ndg rids(x, y, z )求 解。 → − → c)由于− x− k+1 和xk 满足方程： → − − → − → − → −1 ∗ − →) x− ∇ f (x k+1 = xk − Hf (xk ) k 所以为了避免求海森矩阵的逆矩阵，令 − → → − → sk = − x− k+1 − xk 就转化为解线性方程组： − − − − − → → → Hf (xk ) ∗ − sk = −∇f (− x k)
− → 考 察 梯 度 向 量 ∇ (f (x, y, z ))容 易 看 出 ， 在(x, y, z ) ∈ [−1, 1] ∗ [−1, 1] ∗ [−1, 1]范 围 内 ， 只 − → 有(0, 0, 0)点能使得 ∇ (f (0, 0, 0)) = 0，其余点梯度均不为0，所以，(0, 0, 0)点是唯一的一个 极值点，且，求得海森矩阵 2.0200 0 0 Hf = (12) 0 0.6000 0 0 0 4.0000 因为|Hf | = 4.8480 > 0,所以(0, 0, 0)点是函数的一个极小值点。相应的极小值为f (0, 0, 0) = 0. 下文分别用Newton法、DFP方法和BFGS方法三种方法求取函数极值点，并比较其特点。
2 2 2
1
函数分析
2 2 2 2 2 2
优化函数为f (x, y, z ) = e0.01x +0.2y +z − e−x −0.1y −z + (sin(x2 + 1.1y 2 + z 2 ))2 , (x, y, z ) ∈ [−1, 1] ∗ [−1, 1] ∗ [−1, 1]。容易观察出函数为偶函数，所以，函数具有空间的对称性。分别 对函数求一次和二次导数，得到：
2 2 2 2 2 2 ∂2f = 0.008xye0.01x +0.2y +z − 0.4xye−x −0.1y −z + 8.8xycos(2(x2 + 1.1y 2 + z 2 )) (5) ∂x∂y
2 2 2 2 2 2 ∂2f = 0.04xze0.01x +0.2y +z − 4xze−x −0.1y −z + 8xzcos(2(x2 + 1.1y 2 + z 2 )) ∂x∂z
d)用一维优化方法求取第k步的步长lk ，使得： →+l ∗− → − → − → f (− x k k sk ) = minf (xk + l ∗ sk ) 由于问题较为简单，所以此处采用精确求解法(黄金分割法，详见函数l = stepl engtha ccurate(xk , yk , zk , sk ))求 解lk 。
(6)
1
2 2 2 2 2 2 ∂2f = 0.1(1.6y 2 + 4)e0.01x +0.2y +z + 0.1(2 − 0.4y 2 )e−x −0.1y −z ∂y 2
+2.2sin(2(x2 + 1.1y 2 + z 2 )) + 9.68y 2 cos(2(x2 + 1.1y 2 + z 2 ))
4
ᓔ ྟ 䆒㕂㊒ᑺˈ䆒㕂߱ྟӬ࣪⚍ˈҸH0=I˗
||gk||<㊒ᑺ? No 䅵ㅫᔧࠡӬ࣪⚍ⱘẃᑺ৥䞣gkˈᑊ⫼䖥 ԐⱘHⶽ䰉ᕫࠄ㄀kℹⱘᮍ৥˖ Sk= - Hk * gk ⫼ϔ㓈Ӭ࣪∖㾷㄀kℹℹ䭓ؐl˖Փᕫ f=min{f(Xk+l*Sk)}
yes
㒧ᴳ䗁 ҷˈᕫࠄ ⒵䎇㊒ᑺ ⱘᵕؐ⚍
㄀k+1ℹ
ᕫࠄXk+1,ᑊ䅵ㅫ㄀k+1ℹⱘH䖥Ԑⶽ䰉
迭代次数 4 3 3 5 5 9919113 4124048 13 10
出，Newton方法对初值的依赖性很大，当初值越靠近真实的极值点时，牛顿方法能越迅速 且准确地收敛到极值点上去。然而，当初值点偏离了极值点时，用牛顿方法几乎得不得正 确的结果，甚至不收敛并且迭代次数随之增大。所以，用Newton方法时，初值的选取至关 重要。
2
Newton方 法优化
牛顿方法是将函数在某点处泰勒展开至二阶，近似认为函数在此附近为二次函数，用二次 函数的极值点作为新的迭代点。如此循环，直至步长为0(精度范围内)，结束迭代，得到整 个函数的极值点。其算法思路如图一所示。 算法说明： a)如图一所示，设置精度为10−8 ,由于Newton算法对初值较为敏感，如果初值偏离极值太 远，那么可能得不得正确的极值点。所以由上文得到的判断，将初值设为(0, 0, 0)点附近 的(0.1, 0.1, 0.1) 2
− → ∂f ∂f ∂f T , ] ; ∇ (f (x, y, z )) = [ , ∂x ∂y ∂z Hf =
∂2f ∂x2 ∂2f ∂x∂y ∂2f ∂y∂z ∂2f ∂x∂z ∂2f ∂y∂z ∂2f ∂z 2
(10)
(11)
用Newton法、DFP方法和BFGS方法求解函数极值
00986096 沈欢 北京大学工学院，北京100871 2011 年 11 月 12 日 摘 要
本文分别用Newton法、DFP方法和BFGS方法求解函数f (x, y, z ) = e0.01x +0.2y +z − −x2 −0.1y 2 −z 2 e + (sin(x2 + 1.1y 2 + z 2 ))2 , (x, y, z ) ∈ [−1, 1] ∗ [−1, 1] ∗ [−1, 1]的极值，并 讨论三种方法的特点。
3
DFP方 法 优 化
DFP方法是综合了牛顿法和最速下降法的方法，既保留了牛顿法快速的收敛性，又克服了 牛顿法对初值的依赖性。其基本思路是寻找海森矩阵的近似矩阵H，之后用近似矩阵H得到 第k步的方向，用一维搜索得到步长值，更新优化点。当满足精度时，迭代结束，得到极值 点。其算法思路如图二所示。 算法说明： a)初始时，精度设置为10−8 ,由于DFP算法对初始优化点的依赖性不高，所以，初值可以取 得稍微宽松。对于初始的海森矩阵的近似矩阵H取为单位矩阵即H = I3∗3 . − → → → → = (x , y , z )点处的梯度调用[Hessen, grads] = HessenM atric nd rids(x, y, z )函 b)令− gk = ∇ f (− xk ),其中在− x k k k k a g 数求解。 → c)第k步的方向由梯度− gk 和近似矩阵Hk 给出，为： − → → sk = −Hk ∗ − gk
→ − → g )迭代结束的条件可以由 − x− k+1 − xk < accuracy 给出。 结果讨论： DFP方法是综合了牛顿法和最速下降法的方法，既能保证快速的收敛性，又对初值的要求 不是太高。表二显示了用DFP算法(直接调用函数[extremep oint, f lag ] = DF Pa ccurate)求 解的结果。 与Newton方法比较，从表一和表二中，可以看出，在相同的初值条件下，Newton法的收 敛速率基本上都快于DFP方法。并且得到的极值点相对于真实极值点的精度也高于DFP方 法，但是，当初始值偏离了真实值较大时，Newton法收敛速度远不如DFP方法，并且甚至 不收敛或得到错误解，且得到的极值点的精度也低于DFP方法。
的问题。采用G-S迭代法求解，调用函数f unctionx = GSi teration(A, b, n)可求解该方程。 → − → − → d)解出方向后，更新优化点的值为− x− k+1 = xk + sk 当满足精度要求时，迭代结束可以得到满足精度要求的优化值，作为极值点。函数详 见f unction[extremep oint, f lag ] = N ewton 结果讨论: 如果取初值点位(0.1, 0.1, 0.1),那么调用Newton方法的结果显示extremep oint = 1.0e − 018 ∗ [−0.3312, −0.2546, 0],f lag = 4.得到的结果非常接近于理论值(0,0,0).并且迭代次数4，非 常的小。体现了牛顿方法当初值点取在极值点附近时的快速收敛性。由于Newton方法 依赖于初值，表一给出了不同初值时用Newton方法得到的结果的实验。 从表中可以看 3
(2)
2 2 2 2 2 2 ∂f = 2z ∗ e0.01x +0.2y +z + 2z ∗ e−x −0.1y −z + 2z ∗ sin(2(x2 + 1.1y 2 + z 2 ))) ∂z
(3)
和：
2 2 2 2 2 2 ∂2f = (0.0004x2 +0.02)e0.01x +0.2y +z +(2−4x2 )e−x −0.1y −z +2sin(2(x2 +1.1y 2 +z 2 ))+8x2 cos(2(x2 +1.1y 2 +z 2 )) 2 ∂x (4)
图 2: DFP方法的算法简图 e)得到lk 后，就可以更新优化点使得 − → − → − → x− k+1 = xk + lk ∗ sk → ,并且可以求得在− x− k+1 处的梯度值。 f )用上述信息可以更新近似的海森矩阵使得： Hk+1 = Hk − → → Hk ∗ − gk ∗ ( − gk )T ∗ Hk + − → → ( gk )T ∗ Hk ∗ − gk ( − →∗( − →)T x x k k − → → xk )T ∗ − gk