第四章 无约束最优化方法

的唯一极小点． (2)当xk 是无限点列时， 收敛到 f x 的唯一极小点．
阻尼牛顿法收敛定理
定理3: 设 f x 二阶连续可微， 又设对任意的x0 R n , 存在常数m 0, 使得 f x 在 L x f x f x0 2 T 2 上满足： f x m , R n , x Lx0 则在Wolfe不精确线搜索条件下，阻尼牛顿法 产生的点列xk 满足：
T d0 9,9 d1 7.2, 7.2 d0 d1 0 T T
收敛性分析 定理1: 设f x 在 L x R f x f x
n 0
上存在且一致连续， 则最速下降法产生的序列 满足或者对某个 k 有 g k 0, 或者 f xk ,
T k
Step6: 若 g k 1 2 , 停； Step7: 令 k k 1, 转Step1； Step8: 令d k g k , 转Step5； Step9: 令 d k d k , 转Step5.
例3： 用带保护的牛顿法求解：
min f x x x1 x2 1 x2
n
Step3: 否则计算 Gk , 并且求解方程
Gk d k g k , 得出d k .
Step4: 令 xk 1 xk d k , 转步２.
பைடு நூலகம்
例1： 用牛顿法求解：
1 2 9 2 min f x x1 x2 2 2 x1 1 解： g x 9 x Gx 0 2
充分靠近 x * 时， 对于一切 k , 牛顿迭代有意义， * 迭代序列xk 收敛到 x ,并且具有二阶收敛速度．
牛顿法优点
(1) 如果 G * 正定且初始点选取合适， 算法 二阶收敛． (2) 对正定二次函数，迭代一次就可以得到 极小点．
牛顿法缺点
(1) 对多数问题算法不是整体收敛的． (2) 每次都需要计算Gk , 计算量大． (3) 每次都需要解 Gk d g k ; 方程组有时奇异或病态的， 无法确定d k , 或 d k 不是下降方向． (4) 收敛到鞍点或极大点的可能性并不小．
T 显然当 cos 1 时， k d k 取极小值． g 因此： d k g k
结论： 负梯度方向使 f x 下降最快， 亦即最速 下降方向．
最速下降法算法
Step1: 给出 x0 R ,0 1, k : 0 Step2: 计算f xk , 如果 f xk , 停．
k
证明： 用以上的结论：
1 f xk f xk 1 gk 2M
2
最速下降法优点
(1) 程序设计简单，计算量小，存储量小， 对初始点没有特别要求． (2) 有着很好的整体收敛性，即使对一般的 目标函数，它也整体收敛．
最速下降法缺点
(1) 最速下降法是线性收敛的，并且有时是 很慢的线性收敛． 原因： d k g k 仅反映 f x 在 xk 处 ① 的局部性质． T g k 1d k 0 , 相继两次迭代中搜索 ② 方向是正交的．
小结
(1) 最速下降法是基本算法之一，而非有效 的实用算法． 最速下降法的本质是用线性函数来近似 目标函数， 要想得到快速算法，需要考 虑对目标函数的高阶逼近．
§ 4.2 牛顿法
基本思想
利用目标函数 f x 在点 xk 处的二阶Taylor 展开式去近似目标函数， 用二次函数的极小点 去逼近目标函数的极小点．
Gk 2 f xk 满足Lipschitz条件，即存在
0, 使得对于所有1 i, j n 有：
Gij x Gij y x y , x, y R n
1
其中 Gij x 是海色阵 Gk 的 i, j 元素． 则当 x0
9 0.8k , k 1, 2, xk k 1 xk 1 x* xk 1 lim 0.8 分析： lim (1) k * k xk xk x
因此： 最速下降法是整体收敛的， 且是线性收敛的． (2) 两个相邻的搜索方向是正交的．
算法构造
问题： 如何从 xk xk 1 ? 海色阵 Gk f xk 正定．
2
x 设 f x 二阶连续可微， k R , g k f xk ,
n
T f x f xk x xk qk x f k g k x xk 1 T x xk Gk x xk 2 因为Gk 正定， qk x 有唯一极小点， 则 用这个 极小点作为 xk 1.
0 x1 , f x1 0 1 1 0 1 第二次迭代： g1 , G1 0 1 2 2 1 而：d1 G1 g1 1 2 2 T 使 g1 d1 2 0, 故令 d1 1 1 沿d1 进行线搜索， 得出1 0.3479422, 0.6958844 于是: x2 1.3479422 f x2 0.5824451 7 0.73 10 此时: g 2 0
特别当：d k g k
T gk gk k T g k Ggk
例1： 用最速下降法求解：
1 2 9 2 min f x x1 x2 2 2 x1 1 解： g x 9 x Gx 0 2 x0 9, 1
g k 0.
证明： 对于最速下降法， k 0,由以上定理立得．
收敛性分析
定理2: 设 f x 二次连续可微， 2 f x M , 且 其中 M 是个正常数， 对任何给定的初始点 x0 , 最速下降算法或有限终止， 或者lim f xk ,
k
或者 lim g k 0.
lim f xk 0
且 xk 收敛到 f x 的唯一极小点．
k
例2： 用阻尼牛顿法求解：
min f x x x1 x2 1 x2
4 1 2
x0 0, 0
T
0 0 1 解： g 0 G0 2 1 2 2 1 1 显然 G0 不是正定的， 但：G0 1 0 2 1 d 于是， 0 G0 g 0 0 沿方向 d 0 进行线搜索，f x0 d 0 16 4 1,
阻尼牛顿法收敛定理
定理2: 设 f x 二阶连续可微， 又设对任意的x0 R n , 存在常数m 0, 使得 f x 在 L x f x f x0 2 T 2 上满足： f x m , R n , x Lx0 则在精确线搜索条件下， 阻尼牛顿法产生的点列 xk 满足： (1) 当xk 是有限点列时， 其最后一个点为 f x
9 1 x1 x0 G g 0 1 0
1 0
x0 9, 1
0 9
0 9
1
T
x 0,0
*
T
9 0 * x 9 0
牛顿法收敛定理
定理1: 设 f x 二次连续可微， * 是 f x 的局 x 部极小点， f x* 正定． 假定 f x 的海色阵
阻尼牛顿法算法
Step1: 给出 x0 R ,0 1, k : 0 Step2: 计算f xk , 如果 f xk , 停．
n
Step3: 否则计算 Gk , 并且求解方程
Gk d g k , 得出d k .
Step4: 沿 d k 进行线搜索， k . 得出 Step5: 令 xk 1 xk k d k , 转Step2.
得其极小点 0 0. 从而迭代不能继续下去．
带保护的牛顿法算法
x0 R n , 1 , 2 , k : 0 给出
Step1: 若 Gk 为奇异的，转Step8，否则， Step2: 令 d k Gk1 g k , T g k d k 1 g k d k , 则转Step8，否则， Step3: 若 Step4: 若 g d k 1 g k d k , 则转Step9，否则， Step5: 沿方向 d k 进行线搜索， 求出 k , 并令 xk 1 xk k d k .
所以要求： qk xk 1 0
即：Gk xk 1 xk g k 0 因此： xk 1 xk G g
1 k k
这就是牛顿法迭代公式． 注： 这里 k 1, d k G g .
1 k k
牛顿法算法
Step1: 给出 x0 R ,0 1, k : 0 Step2: 计算f xk , 如果 f xk , 停．
第四章 无约束最优化方法
§ 4.1 最速下降法
问题提出
问题： 在点 xk 处， 沿什么方向 d k , f x 下降最快? 分析：f xk dk f xk g d o dk 0
T k k
考查： g d g k d k cos
T k k
4 1 2
x0 0, 0
T
0 0 1 解： g 0 G0 2 1 2 2 1 1 显然 G0 不是正定的， 但：G0 1 0 2 1 d 于是， 0 G0 g 0 0 0 T g d 因为， 0 d 0 0, 故令， 0 g 0 2 , 1 沿 d 0 进行线搜索得： 0 , 2
Gill-Murray稳定牛顿法
当 Gk 正定时， 总有Cholesky分解：
Gk Lk Dk LT k
当 Gk 不是正定时， Gill-Murray(1974)提出了 使得： 强迫正定的修改Cholesky分解，