第三章 梯度法和共轭梯度法

求迭代一次后的迭代点 x 2 。
解： f ( x ) ( 2 x1 , 6 x 2 )T ,
d 1 f ( x 1 ) ( 4 , 6 )T . x 1 d 1 ( 2 4 , 1 6 )T . 令 ( ) f ( x 1 d 1 ) ( 2 4 ) 2 3 ( 1 6 ) 2 ，

则有 f ( x k k d k )T d k 0 。
令 ( ) f ( x k d k )， 所以 证明：
( ) f ( x k d k )T d k .
f ( x k k d k ) min f ( x k d k )
椭球面。
x2 x3

x*
x1
注
最速下降方向反映了目 标函数的一种局部性质 。 它只是
局部目标函数值下降最快的方向。
最速下降法是线性收敛的算法。
三. 共轭梯度法
1. 共轭方向和共轭方向法
Rn中的两个非零向量d 1 和 d 2， 定义 设 A 是 n n 的对称正定矩阵，对于
若有 d
1T
Ad 2 0 ，则称 d 1和d 2关于A共轭。
最速下降法（梯度法）：
1. 搜索方向： d k f ( x k ) , 也称为最速下降方向；

2. 搜索步长 : k 取最优步长, 即满足 f ( x k k d k ) min f ( x k d k ) 。
最速下降法算法步骤：
1. 给定初始点 x 1 R n , 允许误差 0 , 令k 1 。 2. 计算搜索方向 d k f ( x k ) ;
k （i）如果点列 { x } 收敛于最优解 x* ，则称算法A收敛。
0 1 k （ii）如果 f ( x ) f ( x ) f ( x ) ，则称算法A为
下降迭代算法。
x1
.
x0
.
.
x2
2.下降迭代算法步骤 （1）给出初始点 x 0 ，令 k 0 ；
k
（2）按照某种规则确定下降搜索方向 d ；
1T
d2 0
d1 d 2
共轭是正交的推广。
d 1 , d 2 ,, d k 是 k 个 A 共轭的非零 定理 1. 设 A是 n阶对称正定矩阵，
向量，则这个向量组线性无关。
证明
设存在实数 1 , 2 ,, k ，使得
i 1
id 0,
T
k
i
上式两边同时左乘 d j A ，则有
求解
min ( )

令 ( ) 8 ( 2 4 ) 36( 1 6 ) 0 1
36 8 T x x 1d ( , ) 31 31
2 1 1
13 62
收敛性
步长 k 满足 性质. 设 f ( x) 有一阶连续偏导数，若
f ( x k k d k ) min f ( x k d k )
（3）按照某种规则确定搜索步长 k ，使得
f ( x k k d k ) f ( x k ) ；
k : k 1 ； （4）令 x k 1 x k k d k ，
k （5）判断 x 是否满足停止条件。是则停止，否则转第2步。
搜索步长确定方法：
f ( x k k d k ) min f ( x k d k )

( k ) f ( x k k d k )T d k 0 .
注： 因为梯度法的搜索方向 d k 1 f ( x k k d k )， 所以
(d k 1 )T d k 0 d k 1 d k 。
锯齿现象
在极小点附近，目标函数可以用二次函数近似，其等值面近似
3. 若 || d k || , 则停止计算， x k 为所求极值点； 否则，求最优步长 k
使得 f ( x k k d k ) min f ( x k d k )。

4. 令 x k 1 x k k d k , 令 k : k 1 , 转2。
2 2 例. 用最速下降法求解 : min f ( x ) x1 3 x2 , 设初始点为 x 1 ( 2 , 1 )T ,
i 1 k

k
id
jT
jT
Ad i 0 ,
因为 d 1 , d 2 , , d 是 k 个 A 共轭的向量，所以上式可化简为 0 , 而 A是正定矩阵，所以 d
所以
Ad j 0，
j 0 , j 1 , 2 , , k 。
因此 d 1 , d 2 , , d k 线性无关。
设 d 1 , d 2 ,, d k 是 Rn 中一组非零向量，如果 它们两两关于A
共轭，即 d i Ad j 0 , i j , i , j 1 , 2 ,, k 。
T
则称这组方向是关于 A共轭的，也称它们是一 组A共轭方向。
注：如果A是单位矩阵，则
d
1T
I d 0d
2
一. 无约束最优化问题
无约束最优化问题 min
f ( x) x Rn
s.t .
其中f ( x ) 有一阶连续偏导数。
解析方法：利用函数的解析性质构造迭代公式，使之收敛到最优解。
下降迭代算法的概念回顾
1.一般迭代算法
集合S上的迭代算法A：
（1）初始点 x 0 ； （2）按照某种规则A产生下一个迭代点 x k 1 A( x k ) 。

称 k 为最优步长，且有 f ( x k k d k )T d k 0 。
二. 最速下降法（梯度法） 迭代公式：
x k 1 x k k d k
如何选择下降最快的方向？
f ( x k ) 函数值增加最快的方向
xk
函数值下降的方向
f ( x k ) 函数值下降最快的方向
几何意义
1 f ( x ) ( x x )T A( x x ) 2 其中 A 是 n n 对称正定矩阵，x 是一个定点。 1 ( x x )T A( x x ) c 则函数 f ( x ) 的等值面 2