第十章+可行方向法

x 处的可行方向是指存在 δ > 0 ，使得当 a ∈ (0,δ ] 时，有 x + aδ ∈ D 。这里 D 是（10.0.1）的可行域。
判定：d 是可行点 x 处的可行方向的充要条 件是
aiT d = 0, i ∈ E aiT d ≤ 0, i ∈ I (x)
2． 可行下降方向
d 既是可行点 x 处的可行方向，又是 x 处的
x(
k
)
⎫ )⎬
,
otherwise
⎭
（6）令 k=k+1，转（2）。
3． 投影矩阵 P(k) 和 ((N (k) )T N (k) )−1 的简化计算
迭代一次，N(k) 至多只有增加一列或减少一
列，因此 ((N (k) )T N (k) )−1 的计算可以简化，具体请见
课本中的相关部分。
三、既约梯度法：将单纯形法推广到非线性规划
下降方向。
判定：若 d 满足
aiT d = 0, i ∈ E aiT d ≤ 0, i ∈ I (x) ∇f (x)T d < 0
则 d 是 x 处的可行下降方向。
（10.1.1）
（二）可行下降方向的求取
寻找满足条件（10.1.1），且使 ∇f (x)T d 达到最
小的 d：
min ∇f (x)T d
第十章 可行方向法
min f (x)
x∈Rn
s.t. aiT x − bi = 0, i ∈ E = {1, , l} aiT x − bi ≤ 0, i ∈ I = {l +1, , l + m}
（10.0.1）
一、可行方向法 （一）可行方向与可行下降方向
1． 可行方向 d (d ≠ 0, d ∈ Rn ) 是约束问题（10.0.1）在可行点
（4） 若 d (k) = 0 ，则计算
， λ (k) = −((N (k ) )T N (k) )−1(N (k) )T ∇f (x(k) )
若
λ(k) i
≥
0,i ∈
I (x(k ) )
，则停止计算， x(k )
为
KKT
点，否则令
λ(k) q
=
min{λi( k )
| i ∈ I (x(k) )}
s.t. aiT d = 0, i ∈ E aiT d ≤ 0, i ∈ I (x)
（10.1.2）
线性规划问题（10.1.2）无有限最优解，这是因
为若 dˆ 是线性规划问题的可行解，且 ∇f (x)T dˆ < 0 。
令 d = adˆ,a ≠ 0 ，则 d 也是（10.1.2）的可行解，且
当 a → +∞ 时，∇f (x)T d → −∞ 。因此必须对 d 或 ∇f (x)T d 加以某些限制,常用的限制分别有 −1 ≤ di ≤ 1,i = 1, , n ， dT d ≤ 1和 ∇f (x)T d ≥ −1 ，由此得到 如下的三个问题：
（一）投影矩阵 P： P2 = P,且PT = P （1） 若 P 是投影矩阵，则 P 为半正定矩阵。 （2） P 是投影矩阵的 ⇔ I − P 为投影矩阵。 （3） 设 P 是投影矩阵，令 Q = I − P ，记
L = {Px | x ∈ Rn}和L⊥ = {Qx | x ∈ Rn}，则 L⊥ 是正交的 线性空间，且对任意 x ∈ Rn ，可唯一地表示 成 P+Q，其中 P ∈ L,Q ∈ L⊥ （二） 投影梯度法
，
得到 ，令 ； αk
x(k+1) = x(k ) + αk d (k )
其中
αmax
⎧+∞,
=
⎪ ⎨ ⎪min ⎩
⎧ ⎨
bi
⎩
− aiT x(k ) aiT d (k )
aiT d (k )
> 0,i ∈ I
if {aiT d (k) > 0,i ∈ I \ I (x(k) )} = 空集
\
I
(
； aiT x − bi = aiT x(k) − bi + α aiT d (k) ≤ 0 从而有可能被破坏的约束是当 i ∈ I \ I (x(k)) 时
aiT x − bi = aiT x(k) − bi + α aiT d (k) ≤ 0 的约束。 为了保证上述约束成立，只须
。 α
≤
min
称
rT = [rBT rNT ] = [0T ∇N f (x)T − ∇B f (x)T B−1N ]
为 f(x)在 x 处的既约梯度。
（一） 可行下降方向的构造
d 为可行方向的一个充分条件：d 满足
d 的构造：
Ad = 0, d j ≥ 0(if x j = 0), rNT dN < 0
（10.3.2）
定理 10.1.2 可作为可行方向法的终止条件。 （四）一维搜索问题
约束：要保证 x(k) +αd (k) 仍在可行域内
分析： x = x(k) +αd (k), d (k) 是问题 1 或问题 2 或 问题 3 的解。因此当i ∈ E 时，对任意的α ，有
； aiT x − bi = aiT x(k) − bi + α aiT d (k) = 0 当 i ∈ I (x(k) ) 时，对任意的α > 0 ，有
问题 3： aiT d ≤ 0,i ∈ I (x)
∇f (x)T d ≥ −1
（三）约束问题（10.0.1）的 KKT 点条件 定理 10.1.2：设 x 是约束问题（10.0.1）的可
行点，则 x 是约束问题（10.0.1）的 KKT 点的充 要条件是问题 1 或问题 2 或问题 3 的最优目标函 数值为 0。
否则求解一维问题
min f (x(k) + α d (k) ) s.t. 0 ≤ α ≤ αmax
得到αk ，令 x(k+1) = x(k) + αk d (k) 。这里
αmax
=
⎧⎪+∞, ⎨⎪⎩min{−
x
j
min ϕ(α ) = f (x(k) + αd (k) )
s.t. 0 ≤ α ≤ αmax
，
得到 ，令 ； αk
x(k+1) = x(k ) + αk d (k )
（5）令 k=k+1，转（2）。
二、投影梯度法 无约束时，总可以在负梯度方向找到一个
点，使得目标函数值下降。但在有约束时，就不 一定可做到，因为使函数值下降的点可能不在可 行域内，因此必须将负梯度方向投影到可行方向 上去。
1． 由负梯度方向得到可行下降方向
（1）设 x 是（10.0.1）的可行点，且 f (x) 具有连
续的一阶偏导数，若 P 是投影矩阵，且 P∇f (x) ≠ 0 ，
则 d = −P∇f (x) 是 x 处的可行下降方向；此外，若
N = (ai1 , , air )
(10.2.1)
是列满秩矩阵，其中 ij ∈ E ∪ I(x), j = 1, , r ，令
min f (x(k) + α d (k) ) s.t. 0 ≤ α ≤ αmax
这里αmax = min{−xj / d j : d j < 0, xj > 0}
（三） 既约梯度法
（1） 取初始可行点 x(1) ，令 k=1；
（2） 构造指标集 Jk = { j : xj是x(k)的m个最大分量之一}，
中来
考虑约束问题
min f (x)
x∈Rn
s.t. Ax = b, x ≥ 0
（10.3.1）
其中 A = Am×n , m < n, rank( A) = m, A 的任意 m 列均是 线性无关的。
A = [B N ], Bm×m可逆, m < n, rank ( A) = m, xT = [xBT xTN ], xB − 基变量, xN − 非基变量 ∇f (x)T = [∇B f (x)T ∇N f (x)T ]
min ∇f (x)T d
s.t. aiT d = 0, i ∈ E
问题 1：
aiT d ≤ 0, i ∈ I (x)
−1 ≤ di ≤ 1, i = 1, , n
min ∇f (x)T d s.t. aiT d = 0, i ∈ E
问题 2： aiT d ≤ 0,i ∈ I (x)
dTd ≤1
min ∇f (x)T d s.t. aiT d = 0, i ∈ E
dj
=
⎧⎪−rj , if ⎨⎪⎩−x jrj , if
rj rj
≤0 ,
>0
j∈
,
是非基变量指标集
（10.3.3）
dB = −B−1NdN
根据上面的讨论有：由（10.3.3）式构造出 来的 d，若 d ≠ 0 ，则 d 是 x 处的可行下降方向， 否则 x 是 KKT 点（证明见课本）。
（二） 一维搜索
可行方向 d 一定满足
Ad = 0, d j ≥ 0(if x j = 0) ，
令d
=
[d
T B
d
T N
]
，可得
BdB + NdN = 0 ⇒ dB = −B−1NdN ，
若 d 满足 ∇f (x)t d < 0 ，则 d 是 x 处的下降方向， 即
∇B f (x)T dB + ∇N f (x)T dN < 0 ⇒ (∇N f (x)T − ∇B f (x)T B−1N )dN < 0
⎧ ⎨
bi
⎩
− aiT x(k ) aiT d (k )
aiT d (k )
>
0, i
∈
I