第讲无约束问题求解

f ( X ) f (PY ) f1( y1) ...... fn ( yn )
(3)
显然，（3）式经n次一维搜索可得最优解
（一）共轭方向
• 1 定义：设 A 为n阶正定阵，若n维方向 pi , p j 满足
piT Apj 0 则称 pi , p j 是 A 共轭的。
2 性质：设 A 为n阶正定阵，若 p1,..., pk 是A 共轭的，则必线性无关
第4章 无约束极值问题
➢ 无约束极值问题算法（1） ➢ 无约束极值问题算法（2）
（2学时） （2学时）
第7讲 无约束极值问题算法（2）
➢ 共轭梯度法 ➢ 步长加速法
（1学时） （1学时）
重
点：共轭梯度法、模式搜索法。
难
点：共轭方向的构造。
基本要求：理解共轭方向的定义及性质，掌握共轭梯度法的搜索
方向的构造过程，计算步骤，了解共轭梯度法的优缺点；了解模
Q f ( X ) (1) T p0 0 f ( X ) (1) T f ( X (0) ) 0 f ( X (0) )T f ( X (2) ) 0
Q f ( X (2) )T p1 0
f ( X (2) )T [f ( X (1) ) 0 (f ( X (0) )] 0
f ( X (2) )T f ( X (1) ) 0
k 0,1, Biblioteka Baidu,...., n 1
f ( X (k1) )T pk 0,
[f ( X (k) ) k Apk ]T pk 0,
k
[f
(X pk T
(k ) )]T Apk
pk
[
pk
]T f ( X pkT Apk
(k
)
)
证明(2) 式：
(i) k 0
令p1 f ( X (0) ) 0 p0 ,
即：f ( X (n) )与n个线性无关的向量p0，p1...,pn1正交。
f ( X (n) ) 0 X (n)为f ( X )的极小点X *
2 FR公式推导
X (k 1) X (k ) k pk ,
其中：k
pT f ( X (k ) )
k
pT k
Apk
, (k
f ( X (k ) ) 2 pkT Apk )
f ( X (n) ) f ( X ) (n1) n1Apn1 ... f ( X (k1) ) k1Apk1 ... n2 Apn2 n1Apn1
由于一维搜索时 为k 最佳步长，故
f ( X ) (k1) T pk 0, (k 0,1, 2,...., n 1)
( pk )T f ( X (n) ) ( pk )T f ( X ) (k1) k1( pk )T Apk1 ... n1( pk )T Apn1 0
(1)
k 0,1,..., n 1
p k 1
f ( X ) (k 1) k pk ,
其中： k
pT Af ( X ) (k 1)
k
pkT Apk
, ( k
f ( X (k 1) ) 2 f ( X (k ) ) 2 )
k 0,1,..., n 1
(2)
证明(1) 式：
由于一维搜索时 k 为最佳步长，故
k
k
pkT Apk
, (k
f ( X (k 1) ) 2 f ( X (k ) ) 2 )
步骤5 置k=k+1 返回步骤2
FR共轭梯度法的理论推导*
问题(I)
f (X ) 1 X T AX BT X c
(1)
2
• 定理 设向量 p0 , , p1,.为.., pn共1 轭，A则从点 出发，相X继(0)以
步骤2 若 f (x 2 (k) ) 2 ，则停止；否则转下一步
步骤3
pTf ( X (k) )
f ( X (k) ) 2
X (k1) X (k) k pk , k
k
pT k
Apk
, (k
pkT Apk )
步骤4 令
p k 1
f ( X (k1) ) k pk ,
其中： pT Af ( X ) (k 1)
（二）共轭梯度法
• 1共轭梯度法思想：
•
将共轭性与最速下降方法结合，利用已知点处的
梯度构造一组共轭方向，并沿此组方向进行搜索，求
出极小点。
• 适用范围：凸函数
2 FR共轭梯度法
考虑问题： min f (X ) 1 X T AX bX c 2
其中：A 为对称正定阵
（1）算法步骤：
步骤1 任选初始点 X (0) Rn 令 p0 f ( X (0) ), k 0
式搜索法的基本思想和计算步骤。
共轭梯度法
首先考虑二次函数的无约束极小问题
令 将(1)化为
min f ( X ) 1 X T AX bX c
(1)
2
X PY使得X T AX Y（T PT AP）Y Y T Y (2) 其中： 为对角阵
P ( p1,..., pn ), pj Rn, piT Apj 0,i j
Q p0T Ap1 0
p0T A[f ( X (0) ) 0 p0 ] 0
0
p0T Af ( X (0) ) p0T Ap0
k 0时（2）式成立。
再证f ( X (0) ), f ( X (1) ), f ( X (2) )两两正交
Q p0, p1, A共轭
p0T Ap1, 0 p0T 1Ap1, 0 f ( X (0) )T [f ( X (2) ) f ( X (1) )] 0
f ( X (0) ), f ( X (1) ), f ( X (2) )两两正交。
(ii)设k=m-1时(2)式成立，
f ( X (0) ), f ( X (1) ),..., f ( X (m1) )两两正交。
为搜索方pi向,i 的0下,1,.述.., n算法1 ：
min f ( X (k ) pk ) f ( X (k) k pk )
X (k 1) X (k ) k pk
• 经n次一维搜索收敛于问题（I ）的极小点 X *
证明：由式(1)得 Q f ( X ) AX B, X (k1) X (k) k pk f ( X ) (k1) AX (k1) B A( X (k) k pk ) B AX (k) B k Apk f ( X (k1) ) k Apk 假设f ( X (k) ) 0, k 0,1, 2.,.., n 1 则有