非线性规划

n X x R | Ax b, x 0 。 MP 的可行域记为： l


2011年11月
山东大学 软件学院
13
简约梯度法的基本思想
将一个可行解 xk 的 m 个最大的正分量定义为基变量，其余 的 n – m 个变量定义为非基变量。（仿照 LP 的单纯形算 法——但不完全相同）。 为此，假设（1）Xl 中的每一个可行解至少有 m 个大于零的 分量；（2）A 的任意 m 列线性无关。——非退化假设。
2011年11月
山东大学 软件学院
3
K-T条件
定理 4.5.1 （Kuhn（库恩）, Tucker（塔克）, 1951） (1) (2) (3) (4) (5) x*是可行域 X 中的一个点。 设函数 f 和 gi（i I(x*)）在点 x*处可微， gi（i I \ I(x*)）在点 x*处连续， hj（j J）在点 x*处连续可微，




2011年11月
山东大学 软件学院
4
K-T条件的解释
左图：f(x*) = 1g1(x*)， x*为局部最优解。
右图：f(x')与g1(x')方向 不重合，x'还可更优。
2011年11月
山东大学 软件学院
5
K-T条件的解释
f(x*) 位 于 g1(x*) 和 g1(x*) 的 夹 角 内 （ 位 于 g1(x*) 和 g1(x*)所构成的锥内），f(x*) = 1g1(x*) + 2g1(x*)，x*为 局部最优解。




* * g x 其中 i i 0 ，i I 称为互补松紧条件。
2011年11月 山东大学 软件学院
9
K-T条件的简写
记
Lx, , f x igi x j h j x
iI jJ
，则 K-T 条件可
k 1 保证 x 可行。因此， pN 构造为：

k
k k r , r k i i 0 k pi k k k i index N ， 。 x r , r 0 i i i
16
计算目标函数的梯度
因此，梯度向量 F xN 可表示为：
F xN u x 1 N xm 1 xm 1 F xN u x x 1 N m 2 xm 2 F x N x n f u, v f u, v u2 x N um xN u v 1 1 xm 1 xm 1 u2 x N um xN f u, v f u, v u v 2 2 xm 2 xm 2 f u, v f u, v v u m nm
2011年11月
山东大学 软件学院
8
K-T条件的变化
定理 4.5.1’ (1) (2) (3) x*是可行域 X 中的一个点。 设函数 f, gi（i I）, hj（j J）在点 x*处可微，
* * * h x , j J 线性无关。 g x , i I x 并且各 i ， j


处的值。
Lx, , 称为 Lagrange 函数，，称为 Lagrange 乘子。
2011年11月
山东大学 软件学院
10
K-T条件的有限充分性
定理 4.5.2 1. 设 x*为 MP 问题的可行点， 2. 函数 f, gi, hj 在 x*处连续可微，i I，j J， 3. f, gi 是凸函数，hj 是线性函数，i I(x*)，j J。 若点 x*满足 MP 的 K-T 条件，则 x*是 MP 的整体最优解。
n
(MP)
约束最优化问题的最优性条件 简约梯度法 惩罚函数法
2011年11月
山东大学 软件学院
2
MP最优解的必要条件
记 X 为 MP 的可行域，指标集 I = {1, …, p}, J = {1, …, q}。 任给一个可行点 x X，记 I x {i | gi x 0, i I } 。即， I(x)和 J 均为取得等式约束的下标的集合。 称以等式（gi(x) = 0）成立的约束 gi(x) 0 为积极约束。

* 若 x*是 MP 的局部最优解，则存在两组实数 i , i I 和
* * * f x* * g x h x 0 i i j j iI jJ * * g x 0, i I i i * * j , j J ，使得 0, ， iI i
uxN B1b B1NxN ， vxN xN 。
应用复合函数求导法则，有： F xN xm1
f u, v u1 xN f u, v u2 xN f u, v um xN u1 xm1 u2 xm1 um xm1
* i * i iI x*
* i
*
此时称f(x*)位于gi(x'), i I(x*)所张成的锥内。 MP 问题若无不等式约束，则 K-T 条件简化为
* f x* * h x j j jJ

，
此时称f(x*)位于hj(x'), j J 所生成的子空间内。
第4章 非线性规划
约束最优化方法
2011年11月
约束最优化方法
一般的数学规划问题（带约束的非线性规划问题） ： min f ( x)
g i ( x) 0, i 1, ,p s.t. h j ( x) 0, j 1, ,q
n f , g , h : R R。 i j 其中， x R ，


F(xN)。
F F F xN , xN ,, xN F x N 。 下面计算 xm 2 xn xm 1
T
2011年11月
山东大学 软件学院
15
计算目标函数的梯度
为 此 ， 将 F xN 重 写 为 F xN f uxN , vxN ， 其 中
u1 u2 xN xN 下面计算 xm 1 ， xm 1 ，等项。
2011年11月
山东大学 软件学院
17
计算目标函数的梯度
1 1 u x B b B NxN ： N
u1 xN xm 1 u2 xN xm 2 u x x n m N
* * * h x , j J 线性无关。 g x , i I x 并且各 i ， j
* * 和 , i I x 若 x*是 MP 的局部最优解，则存在两组实数 i

* * * f x* * g x h x 0 i i j j jJ iI x* * j , j J ，使得 * * 。 0 , i I x i
u1 xN B 1 N xm1


u2 1 x B N N 11 ， xm1


21
，…
u1 xN B 1 N xm 2


12
，…
2011年11月
山东大学 软件学院
18
计算目标函数的梯度
因此， F x N B N u f u, v v f u , v
2011年11月 山东大学 软件学院 6
K-T条件的解释
f(x')不位于g1(x')和g1(x')所构成的锥内，x'还可以更优。
2011年11月
山东大学 软件学院
7
两个概念
MP 问题若无等式约束，则 K-T 条件简化为
f x*
g x ，其中 0 ， i I x 。
简写为：
* * * * * * 其中 x L x , , 表示函数 Lx, , 对 x 的梯度向量在 x , ,


x Lx* , * , * 0 * * i gi x 0, i I * ， 0 , i I i
2011年11月 山东大学 软件学院 14
计算目标函数的梯度
xB x ，约束矩阵 A 也相应划 按基变量的定义，可行解 x N
分为(B, N)。不失一般性，假设 B 恰好由 A 的第 1 列～第 m 列组成，N 因此由第 m + 1 列～第 n 列组成。
1 1 Bx Nx b x B b B NxN 。 Ax b B B N 1 1 f x f x , x f B b B NxN , xN ，记为 因此目标函数 B N
1 T
B N B f x N f x ，
1 T


记为 rN ，称为简约梯度， 其中 B f x 表示 f 对各基变量的偏导数组成的向量，
N f x 表示 f 对各非基变量的偏导数组成的向量。
k
k N 1 T
可行解 x 的简约梯度即为 r B N B f x N f x 。
2011年11月
山东大学 软件学院
11
简约梯度法
2011年11月
山东大学 软件学院
12
处理的问题
简约梯度法（reduced conjugate method）处理带有线 性约束的非线性规划问题。其标准形式为：
min f x s.t. Ax b x0