第三讲 多维无约束最优化共轭方向法

3 1 2 f ( x) ( x1 ) ( x2 )2 x1 x2 2 x1 例1： 2 2
在每一步的过程中，搜索方向线性独立是 非常重要的，否则可能不收敛。 例2： Rosenbrock函数的极小值 例3：
f ( x1 , x2 , x3 ) ( x1 x2 x3 ) 2 ( x1 x2 x3 ) 2 ( x1 x2 x3 ) 2
(d ) Az i z d i T i z , j 1, 2,...m i 1 ( z ) Az
j j
j 1
j T
i
则 z1, z2,… zm 关于A 共轭。
二次终结性


一个算法用于解正定二次函数的无约束极小时， 若有限步迭代可达最优解，则称该算法具有二 次终结性。 共轭方向 + 精确一维搜索 ＝ 二次终结 设 z1, z2,… zm 关于正定阵A 共轭。则从任意初 始点出发，二次型目标函数
共轭方向

当A=I(单位矩阵)时， d(1)TAd(2)= d(1)Td(2)=0，即正交关系。

共轭方向 正交方向 当d(1),d(2), …,d(m) 关于正定矩阵A两两共 轭时， d(1),d(2), …,d(m) 线性无关。
构造共轭方向的Schmidt过程
设d(1),d(2), …,d(m) 线性无关。令
一些改进方法

Rosenbrock算法（旋转方向法） Hooke-Jeeves算法（步长加速法）
多维无约束最优化：共轭方向法

1.
2.
基本思想：沿着某些方向依次进行精确 的一维搜索，确定最佳的步长。 共轭方向 定义：设 An×n 对称正定，d (1),d (2) ∈Rn , d (1) ≠0，d(2) ≠0，满足 d(1)TAd(2)=0, 称d(1),d(2) 关于矩阵A共轭。 共轭向量组：d(1),d(2), …,d(m) ∈Rn 均 非零，满足d(i)TAd(j)=0,(i≠j) .
Powell共轭方向法
从初始点t0开始，沿任意一组线性无关的方向d1, d2,… dn依 次进行一维搜索，得到t1，令典范方向dn+1=t1 – t0，沿典范 方向再作一次搜索，得到一个新的起始点，同时用典范方 向替换调d1。这个过程称为一个循环，只要新得到的n个方 向线性无关，就可以进行下一次循环。已经证明，如果这 样的循环可以进行n次，则n次循环后得到的那组向量关于A 共轭。因此，再循环一次，就得到了二次型函数的极小点。
多维无约束最优化：直接法

网格法
每个格子中，取中点计算目标值进行比较，收缩 到“最优”的格子再继续剖分。
多维无约束最优化：单纯形法
单纯形 n维空间中由n+1个点所构成的体积不为0 的形状。

单纯形法 从给定单纯形出发，通过变换产生一系列 单纯形，逐步逼近最优点。

多维无约束最优化：爬山法

轮流坐标搜索法
d
k n 1
) min f (t d
n1
k 0
k n 1 n 1
)
k k k * k k k 记xB t0 1 t0 n1d n 1，若 || xB xB1 || 则停止，否则若
|
* n 1
f (t ) f (t ) 1/ 2 | [ ] f (t ) f (t )
例子


轮流坐标搜索法对等高线近似于圆的函数比较 有效，对等高线为扁椭圆的函数效果不好。 例求Rosenbrock函数的极小值


f ( x) 100( x2 x12 ) 2 (1 x1 ) 2 轮流搜索结果为(0, 0)->(0.16, 0)->(0.16, 0.026)->(0.21, 0.026)->(0.21, 0.045)->(0.25, 0.045)->(0.25, 0.06)->(0.27, 0.06)->… Alternative.c
轮流坐标搜索法
从任意初始点 x 出发，沿坐标轴 e1 ，求解一 维极值问题：
f ( x1 ) min f ( x 0 e1 )
R
0
为 * ，令 x1 x0 *e1 ，从该 记最优的 点出发，沿坐标轴 e 2 继续搜索，直到n 个方向搜索完一遍，得到 x n ，以之为 0 新的 x 重复上述搜索过程，直到沿n 个方向搜索的结果都无明显改善。
t k t k1 *d k j j j j d k 1 d k1 , j 1,..., n 1 j j
k k k k k k d n 1 tn t0 , 原d1 被tn t0 代替
找 使
* n 1 k * k k k k k f (tn n 1 (tn t0 )) min f (tn n 1 (tn t0 ))
避免线性相关的搜索方向
在算法的第 k 步，所有计算同前。如果 k || d n1 || 则停止，否则找下标 m 使
k k f (tm 1 ) f (tm ) max{ f (t k1 ) f (t k )} j j j 1,...n
和ɵ*n+1使
f (t
k 0 * n 1
n1
Powell法(III)
x t (t t )
k B k n * n 1 k n k 0
|| x x
k B
k 1 B
||
n K=k+1,转下一步
y 输出结果，停止
d12 t 22 t 02 t12
d 22
1 t2 1 d2
1 d3
t
1 0
d11
t11
例子(powell.c)
Powell法(I)
Powell法流程框图：
初始步骤k=1,初始点xB0=t01及d11, d21,… dn1线性无关
对j 1, 2,..., n, 求 *使 j f (t k1 *d k ) min f (t k1 j d k ) j j j j j
j
Powell法(II)
1 T f ( x) x Ax bT x c, x R m 2
的极小点可通过沿每个共轭方向搜索一次得到
例


有理由相信具有二次终结性的算法对极 小化具有连续二阶导数的一般函数也是 有效的。 例子：
f ( x) 2( x1 )2 6( x2 )2 2 x1 x2 2 x1 3x2 3
例解
4 2 2 A , b 3 , a 3 2 12 1 2 0 1 取d , d , 则由正交化过程， 0 1 1 2 (d 2 )T Az1 1 0 1 1 1/ 2 z1 , z d 2 1 T 1 z 0 1 2 0 1 ( z ) Az T 现从x0 =(0,0)出发，沿z1方向极小化 min f ( x 0 1 z1 ), 得 1* 1/ 2, 再沿z 2方向极小化 min f ( x1 2 z 2 ), 得 2* 2 /11, 从而极小点 x* x 0 1* z1 2* z 2 (9 / 22, 2 /11)T
k 0 k m 1
k 1 0 k m
避免线性相关的搜索方向(II)
则第 k+1 阶段的搜索方向不改变，否则，
d
k 1 j
d , j 1,..., m 1; d
k jk ຫໍສະໝຸດ 1 j d , j m,...n
k j 1
进入第k+1 阶段。