投影梯度法

由 PM 是投影矩阵知， PMT = PM ， PM2 = PM ，因此 PM = PMT PM ，于是
∇f ( xk )T sk = −∇f ( xk )T PM ∇f ( xk ) = −∇f ( xk )T PMT PM ∇f ( xk ) = − PM ∇f ( xk ) 2 < 0
由此知 sk 是 f 在 xk 处的下降方向。
⎟ ⎠
。
PM = 0 ， s1 = −PM ∇f ( x1) = 0 。
u1
=
⎛ ⎜ ⎝
u2 u3
⎞ ⎟ ⎠
=
−(MM
T
)−1
M
∇f
(
x1)
=
(0,
−2)T
，
u3
<0 ， 所 以 令
M = A11 = (1
1) 。 PM
=
1⎛ 1
2
⎜ ⎝
−1
−1⎞
1
⎟ ⎠
，
s1
=
− PM
∇f
( x1)
=
⎛ ⎜ ⎝
1⎞ −1⎟⎠
再由(5.6)、 Msk = 0 和 ∇f ( xk )T sk < 0 得
ai0T sk = −[∇f ( xk )T sk − wT Msk ] ui0 = − ∇f ( xk )T sk ui0 < 0 再根据(5.7)得知 sk 满足(5.1)。由此知 sk 是在(LNP1)在 xk 处的可行下降方向。证毕。
矩阵，我们通过投影矩阵 PM 将 −∇f ( xk ) 投影到 LM 上由此构造可行下降方向。
1
定理 5.1 设 xk ∈ S 是 S 的正则点，M 和 PM 如上定义， −PM ∇f ( xk ) ≠ 0 ，则 sk = −PM ∇f ( xk ) 是
(LNP1)在 xk 处的可行下降方向。
证明：显然 sk ≠ 0 。
4
k=2： ∇f
(x2)
=
⎛ −1⎞
⎜ ⎝
−1⎟⎠
，M
=
A11
=
(1
⎛2
1) ，
A12
=
⎜ ⎜
−1
⎜⎝ 0
−1⎞
⎛1⎞
0
⎟ ⎟
，
b11
=
(2)
，
b12
=⎜ ⎜0Fra bibliotek⎟ ⎟。
−1⎟⎠
⎜⎝ 0⎟⎠
PM
=
1⎛ 1
2
⎜ ⎝
−1
−1⎞
1
⎟ ⎠
，
s2 = −PM ∇f ( x2 ) = 0
。
u = u2 = −(MM T )−1 M ∇f ( x2 ) = 1 > 0 ， 因 此
x2 = (1/ 2, 3 / 2)T 为 K-T 点。由于原问题为凸规划，因此 x* = x2 = (1/ 2, 3 / 2)T 为最优解。
注 5.2 当用 Rosen 投影梯度法求解(LNP1)时，其中 ε =0，若产生有限序列 x1,", xK 时，xK 是(LNP1)
的 K-T 点，但是若产生无限序列 x1, x2 ,"，则不能保证{xk }的聚点是(LNP1)的 K-T 点。
证明：（1）由(5.4)知 ∇f ( xk ) + A1T1u + A2T v = 0 ，再由 u ≥ 0 得 xk 是(LNP1)的 K-T 点。
（2）记 M
中与 ui0
对应的行为
aT i0
，并且不妨设 u
=
⎛ ⎜
ui0
⎝u
⎞ ⎟ ，A11 ⎠
=
⎛ ⎜⎜⎝
aT i0
A11
⎞ ⎟⎟⎠
，w
=
⎛ ⎜
ui0
*§6 Wolfe 既约梯度法
本节考虑含标准线性约束的非线性规划问题
min f ( x) s.t. Ax = b
x ≥0
(LNP2)
其 中 f ( x) 是 可 微 函 数 ， A ∈ Rm×n ， A 行 满 秩 ， b ∈ Rm ， m<n 。 记 (LNP2) 的 可 行 域
(xk
)
。
若 u ≥ 0 则停，否则令 ui0 = min{ui} ，转 4。
4． 重新构造搜索方向。令 M 是从 M 中去掉与 ui0 对应的行后得到的矩阵，求 sk = −PM ∇f ( xk ) 。
5． 确定步长。令 λmax
=
min
⎧⎪ ⎨ ⎪⎩
(b12 (
− A12 xk A12 sk )i
> 0⎫⎪⎬ 。 ⎪⎭
下面给出 Rosen 投影梯度法的具体步骤。
算法 5.1：Rosen 投影梯度法
1． 初始步。给出初始点 x0 ∈ S ，精度参数 ε >0。令 k=0。
2． 构造搜索方向。对
A1 和 b1 进行分块，使
A1
=
⎛ ⎜
⎝
A11 A12
⎞ ⎟ ⎠
,
b1
=
⎛ ⎜ ⎝
b11 b12
⎞ ⎟ ⎠
5.2 Rosen 投影梯度法
利用投影矩阵得到可行下降方向 sk 后，同 Zoutendijk 可行方向法一样，需求解一维搜索问题
min
0≤λ ≤λmax
f (xk
+ λ sk ) ，其中 λmax
=
min
⎧⎪ ⎨ ⎪⎩
(b12 (
− A12 xk A12 sk )i
)i
∀i : ( A12sk )i
⎛ −1
⎜ ⎝
0
0⎞ −1⎠⎟
，
A12
=
⎛2
⎜ ⎝
1
−1⎞
1
⎟ ⎠
，
b11
=
⎛0⎞
⎜ ⎝
0
⎟ ⎠
，
b12
=
⎛1⎞
⎜ ⎝
2
⎟ ⎠
。
PM
= 0 ，s0
= −PM ∇f ( x0 ) = 0 。
u
=
⎛ ⎜ ⎝
u3 u4
⎞ ⎟ ⎠
=
−(
MM
T
)−1
M
∇f
(
x
0
)
=
∇f
(
x
0
)
=
(−2,
−4)T
，u4 <0，
§5 Rosen 投影梯度法
本节同样考虑含一般线性约束的非线性规划问题
min f ( x)
s.t. A1x ≤ b1 A2 x = b2
(LNP1)
其中 f ( x) 是连续可微函数，矩阵 A1 ∈ Rm×n ， A2 ∈ R p×n ，向量 b1 ∈ Rm ， b2 ∈ R p 。记(LNP1)的可行域
PA x =0。
设
xk
∈S
是当前迭代点，同
Zoutendijk
法一样，对
A1 和 b1 进行分块，使
A1
=
⎛ ⎜ ⎝
A11 A12
⎞ ⎟ ⎠
,
b1
=
⎛ ⎜ ⎝
b11 b12
⎞ ⎟ ⎠
，
A11 ∈ Rl1×n ， b11 ∈ Rl1 ，其中
A11 xk = b1, A12 xk < b12 s ≠ 0 是 S 在 xk 处的可行方向当且仅当 s 满足条件
负梯度在可行域边界上的投影作为搜索方向。无论何种情况，所构造的方向都是可行下降方向。然后在
可行域内沿该方向进行最优一维搜索得到新的迭代点。
5.1 负梯度在边界上的投影
先介绍投影矩阵的概念及其构造。
定义 5.1 设矩阵 P ∈ Rn×n 。若 PT = P, P2 = P ，则称 P 为投影矩阵。
设 矩 阵 A ∈ Rl×n 行 满 秩 ， 记 A 的 零 空 间 为 LA = {x ∈ Rn | Ax =0} ， LA 的 正 交 空 间 为 LA 丄 ={AT y | y ∈ Rl} 。对 x ∈ Rn 进行正交分解 x = x1 + x2 ，使 x1 ∈ LA ， x2 ∈ LA 丄，则 x1 = PA x ，其中 PA = I − AT ( AAT )−1 A 。则 PA 是投影矩阵，称为 A 的投影矩阵。当 x ∈ LA 时， PA x = x ， x ∈ LA 丄时，
3
λk
=
min
⎧⎨− ⎩
∇f ( xk )T skT Hsk
sk
,
λmax
⎫ ⎬
⎭
例 5.1 用 Rosen 投影梯度法求解下列问题：
取 x0 = (0, 0)T 。
min f ( x) = x12 + x22 − 2x1 − 4x2 + 6 s.t. 2x1 − x2 ≤ 1
x1 + x2 ≤ 2 x1, x2 ≥ 0
所以令
M = A11 = (−1
0)
。
PM
=
⎛ ⎜ ⎝
0 0
0⎞
1
⎟ ⎠
，
s0
=
−PM ∇f
(x0)
=
⎛0⎞
⎜ ⎝
4
⎟ ⎠
，取
s0
=
⎛0⎞
⎜ ⎝
1
⎟ ⎠
。
b12 − A12 x0 = (1, 2)T
，
A12s0 = (−1,1)T
，
λmax
=
min
⎧2⎫
⎨ ⎩
1
⎬ ⎭
=
2
。
− ∇f ( x0 )T s0 s0T Hs0
(5.3)
我们记
其中 u ∈ Rl1 , v ∈ R p 。由(5.3)，
w
=