第4章续 多变量寻优方法

4.4：梯度法

解析法（间接法）：在确定搜索方向时，需要计算目标函数导数的方法。 梯度法，共轭梯度法，变尺度法，牛顿法。 ● 方法

又称最速下降法，它是在n X 点附近沿负梯度方向一维搜索，并按负梯度方向逐步进行寻优的方法。最简单最基本的无约束优化问题方法 ● 收敛性判别准则

给定允许误差0>ε，如果)(k

x k X f p -=满足

ε≤k p

则搜索停止，从而得到问题的近似解。 ● 迭代步骤

1：取初始点0X ，梯度模的允许误差ε，最大迭代次数MAXI ，令k =0； 2：计算梯度

)(k x k X f p -=

3：检验是否满足收敛性判别准则

ε≤k p

若满足，则迭代停止，得到k

X X ≈min ；否则进行4 4：求单变量极值问题的最优解k λ

)()(0

k k k k k p X f p X f Min λλλ+=+>

5：令k k k k p X X

λ+=+1

6：判断是否满足

εϕ

≤-+)

()(1k k X f X f

)

(0.1)(0.10.1)(k

k k X f X f X f =≥=<ϕϕ时时

若满足，则迭代停止，得到k

X X ≈min ；否则进行7 7：令 k =k+1 8：判断迭代次数

MAXI k ≥

若满足，则迭代停止（非正常），取k

X X ≈min ，否则转向2 ● 迭代框图

● 优点

程序简单，计算机实现起来容易。对起始点要求也不甚严格，即使从一个较差的初始点出发，一般也能收敛到极小点。 ● 缺点

在极小点附近收敛得很慢，对于目标函数而言，在起始点远离极小点时，开头几步下降较快，到了极值点时，下降便开始变缓慢，甚至在极小点附近出现来回摆动的情况。

它的收敛快慢与变量尺度关系很大。

2

221)(x x X f +=

一次迭代 [0,0]

22219)(x x X f +=

十次迭代

]10165.6,10276.5[66--⨯⨯

对于小扰动会出现不稳定。舍入误差或者一维搜索步长的确定不准确，带来小扰动，这

些小扰动在个别情况下甚至可能使实际下降方向与理论下降方向成正交的荒谬结论，破坏了方法的收敛性。

4.5：共轭梯度法（FR 法）

找到某一个方向的共轭方向，可以一步直接达极值点。 ● 计算方法

正定二次函数X Z CX X X f T T

+=

2

1)(，C 为n n ⨯对称正定阵。 若n

p p ,,1

为任意一组C 的共轭向量，则由任意初始点1

X 出发，按如下格式迭代

)()(k k k k k p X f p X f Min λλλ

+=+

n k p X X k

k k k ,,11 =+=+λ

则至多迭代n 步即收敛。 ● 找共轭方向

取1

X 处的目标函数负梯度方向作为第一个搜索方向

)(1)1(1X f g p x -=-=

然后沿着1

p 方向作一维搜索

)()(11111p X f p X f Min λλ+=+

由此得到一个新的点2

X ，并计算出相应的梯度方向 1112p X X λ+=

)(2)2(X f g x =

因为梯度方向和前一搜索方向在1λ处正交

0)()()()2()1(21=-=-g g X f X f T x T x

为了在)

1(g 和)

2(g

构成的正交系中寻求共轭方向2

p ，令

11)2(2p g p υ+-=

即，共轭方向为2X 处的负梯度方向与前一个搜索方向的线性组合，这里的关键是选择1υ使得1

p 和2

p 共轭。

对于正定二次函数有

k

k T k k k k T T k k k k T

T k k x k Cp C p g g Z C p X g Z C X X f g λλλ或)()()()()()1()1()(=-++=+==++

于是得到如下关系

1+k p 为)1(+-k g 与k p 的线性组合 k k k k p g p υ+-=++)1(1

1+k p 与k p 共轭

0)(!=+k T k Cp p

二次正定函数)

1(+k g 与)

(k g

关系

k k T k k k k Cp C p g g λλ或)()()1(=-+

从而

2

2

12

)(2)1()

()

(k

x k x k k k X f X

f g

g

++=

=

υ

),2,1()1(1 =+-=++k p g p k

k k k υ

迭代步骤

1：给定起始点1

X ，梯度的模允许误差0>ε，维数n ，最大迭代轮次MAXI ，令k =1 2：检验是否满足收敛性判别准则

ε≤)(1X f x

若满足，迭代停止，得到1

min X X ≈，否则转向3

3：令)(1

)1(1X f g p x -=-=

4：求单变量极值问题的最优解

)()(k k k k k p X f p X f Min λλλ

+=+

k k k k p X X λ+=+1

5：判断是否满足

εϕ

≤-+)

()(1k k X f X f