第四章 非线性规划1-约束极值问题

第四章 非线性规划

????

????

无约束最优化问题线性规划约束最优化问题非线性规划

??

?凸规划约束最优化问题非凸规划

??

?直接解法约束最优化问题求解方法间接解法

间接解法是将约束优化问题转化为一系列无约束优化问题来解的一种方法。由于这类方法可以选用有效的无约束优化方法，且易于处理同时具有不等式约束和等式约束的问题，因而在工程优化中得到了广泛的应用。

直接解法是在满足不等式约束的可行设汁区域内直接按索问题的约束最优解。

第一节 目标函数的约束极值问题

所谓约束优化设计问题的最优性条件．就是指在满足等式和不等式约束条件下，其目标函数值最小的点必须满足的条件，须注意的是，这只是对约束的局部最优解而言。

对于带有约束条件的目标函数，其求最优解的过程可归结为：

一、约束与方向的定义 一）起作用约束与松弛约束

对于一个不等式约束()0g X ≤来说，如果所讨论的设计点()

k X 使该约束()0g X =(或

者说()

k X

当时正处在该约束的边界上)时，则称这个约束是()

k X

点的一个起作用约束或紧约

束，而其他满足()0g X <的约束称为松弛约束。

冗余约束

40g ≤

当一个设计点同时有几个约束起作用时，即可定义起作用约束集合为

{}()()()|()0,1,2,

,k k u I X u g X u m ===

其意义是对()

k X

点此时所有起作用约束下标的集合。

二）冗余约束

如果一个不等式约束条件的约束面(即()0g X =)对可行域的大小不发生影

响，或是约束面不与可行域D 相交，即此约束称为冗余约束。

三）可行方向

可行方向：一个设计点()k X 在可行域内，沿某一个方向S 移动，仍可得到一个属于可行域的新点，则称该方向为可行方向。

1）设计点为自由点 设计点()

k X 在可行域内是一个自由点，在各个方

向上都可以作出移动得到新点仍属于可行域，如图所示。

2）设计点为约束边界点

当设计点()k X 处于起作用约束i g 上时，它的移动就会受到可行性的限制。此时，()k X 点的可行方向S 必满足条件：

()0T k i S g X ?≤ （解释：()()cos ,()T k k T k i i i S g X S g X S g X ?=??，,()90T k i S g X ?≥?）） 当,()90T k i S g X ?=?时，方向S 是约束函数i

g 在()k X 点处的切线方向，即()0T k i S g X ?=。

当某个设计点x 同时有几个约束起作用时(如

图中的x 点是约束10g =和约束20g =约束面的交点)，其可行方向集合为：

{}()1()|()0,()T k k u V X S S g X u I X =?≤∈

即图中阴影部分的任一方向都是可行方向。

同理，对于有不等式约束起作用约束集合和等式约束的情况，其可行方向的集合为：

()

1|()0,()()|()0)T k k u T k

v S S g X u I X V X S S h X ???≤∈??

=???=????

四）下降可行方向

沿某一个可行方向S 移动一个微小距离δ>0，有()()()()k k f X S f X δ+<,（亦即f （()k X ）的方向导数小于0），则称S 为下降可行方向。

对于一个求目标函数极小化问题，当沿某个可行方向向量作出微小的移动时，其目标函数的变化为：

(1)()()()()()()()k k k T k f X f X S f X S f X αα+=+≈+?

对于充分小()

0k α

>，若存在方向，使得

()(1)()()[()()]/0T k k k S f X f X f X α+?=-<

成立，则()

k X

不是函数的局部极小点，因为沿着S 方向存在目标函数值更小的点。

反之，若对于任何可行方向S 均有

()(1)()()[()()]/0T k k k S f X f X f X α+?=-≥

成立，则()

k X 是函数的局部极小点，因为沿着任意S 方向找不到一个目标函数值更小

的点。

()()0T k S f X ?=刚好是上式的一种极限情况。

根据以上分析，对于点()

k X

的可行方向()1()k S V X ∈，若满足()

()0T k S f X

?<（或

[()]0T k S f X -?>，此时方向向量与负梯度方向夹角小于90?）的条件，则称此可行方向S

为目标函数的下降可行方向，并定义

{}{}2()|()0|[()]0T k T k V X S S f X S S f X =?<=-?>

为()

k X

点的目标函数下降可行方向集合。

二、约束问题的最优解条件 一）约束极值问题的不同情况

在约束条件下的优化问题比无约束条件下的优化问题更为复杂，因为约束最优点不仅与目标函数本身的性质有关，而且还与约束函数的性质有关。在存在约束的条件下，为了要满足约束条件的限制，其最优点即约束最优点，不一定是目标函数的自然极值点，如图所示。

约束问题最优点可能出现两种情况：

一种是最优点在可行域的内部，即最优点*

X 是个内点，此时的所有约束均为不起支配作用，这就是说，目标函数无约束极小点也就是约束最优点；（无约束极值）

另一种情况是最优点在可行域的边界上，对于这种情况，其极值条件不仅与目标函数而且也与约束集合的性质有关，即该点既在起作用约束的约束面上，又是目标函数值最小的点。（约束极值）

二）约束极值的必要条件——库恩-塔克条件

()k X 点成为约束最优点(*)X 的必要条件为：是否存在一个可行方向()1()k S V X ∈，使

得()

()0T

k S f X

?<，若存在，则()k X 不是(*)X 。

或者：在()

k X

点周围是否存在下降可行方向，用集合的形式表示为：

{}{}()12()()|()0,()|()0k k k k T

k k k

k T

k u V X V X S S g X u I X S

S f X =?≤∈?<=Φ（）（）

1.只有一个起作用约束条件的情况

从设计空间的几何意义可以很清楚的了解到这一点。

在图a 中，目标函数和约束函数均为凸函数，仅有一个起作用的约束，在()

k X

存在一

个可行方向向量S ，使得()()0T k S f X ?<（或()[()]0T k S f X -?>）成立，S 就是一个可行下降方向，()

k X

不是约束最优点。

目标函数在该点处沿约束面的切线方向的方向导数或变化率不等于零，不稳定点

在图b 中，在()

k X

不存在一个可行方向向量S ，使得()()0T k S f X ?<（或

()[()]0T k S f X -?>）成立，因此()k X 是一个局部约束最优点。此处是目标函数等值线与

约束函数边界的切点，在该点处约束函数的梯度向量与目标函数的负梯度向量重合。

目标函数在该点处沿约束面的切线方向的方向导数或变化率等于零。

2.有两个起作用的约束条件的情况

图a ，()

k X 为非约束最优点，()

()k f X

-?位于()1()k g X ?和()2()k g X ?构成的夹角之

外。

图b ，()k X

为约束最优点，()

()k f X

-?位于()1()k g X ?和()2()k g X ?构成的夹角之内。

这时，()

()k f X

-?可以表示为()1()k g X ?和()2()k g X ?的线性组合：

()()()112212()()() (,>0)k k k f X g X g X λλλλ-?=?+?

3.一般情况

将上述条件推广到一般情况，表述如下： 设某一设计点()

k X

有q 个起作用约束，也就是()

k X

在q 个约束面的交集上。()

k X

为局

部最优点的必要条件是：目标函数负梯度()()k f X -?可以表示成所有起作用约束

()()k u g X ?的线性组合，即：

()

()1

()() (>0,(1,2,

,))q

k k u u u u f X

g X u q λλ=-?=?=∑其中

这就是约束优化问题最优解的必要条件——库恩-塔克条件（Kuhn-Tucker condition ） 4. 库恩-塔克条件的几何意义

库恩-塔克条件的几何意义如图，起作用约束的梯度向量，在设计空间内构成一个椎体，目标函数的负梯度方向应包含在此椎体内。

库恩-塔克条件判定的只是局部最优点，只有当目标函数和约束函数均为凸函数时（即所谓的凸规划问题），判定的条件极值点才是全域最优点，并且库恩-塔克条件也才是充分条件。

库恩-塔克条件的重要性在于：

X是否为条件极值点；

（1）可以通过这个条件检验()k

（2）可以检验一种搜索方法是否合理，如果用这种方法求得的最优点符合K-T条件，则该方法可以认为是可行的。

三）k-T条件的算例

作业：

三、约束优化迭代终止准则 库恩-塔克条件：()

()1

()() (>0,(1,2,

,))r

k k u u u u f X

g X u r λλ=-?=?=∑其中

()()()

0k k u u u I X i i

g X f X x x λ∈???+=??∑ （i=1,2,3, …,n ）

用矩阵形式表示： 令() F f X =

1212()()

()()(,,)(,,

)T

n

T

n f X f X f X F f X x x x b b b ?????=?=???= 12()()()() ()(

,,)T

u u u u u u u n

g X g X g X g g X g g X x x x ???=??=?=??? 令 12(,,

)r G g g g ?=??? r 为起作用约束的数目

121111222212()

()

()()()()()()()r r r n n

n n r

g X g X g X x

x x g X g X g X x x x g X g X g X x

x x ?????? ?

???

?

?

???

????= ? ?

?

??? ? ?????

? 令 121(,,

)T r r C λλλ?=

11n n r r F G C ????-?=?

于是库恩-塔克条件可写为方程组

1

(1,2,

,))r

i u ui u b g i n λ=-=?=∑

这样得到了n 个方程，而未知数只有r 个，r

（1）有唯一解；

（2）无解（即不存在满足所有这些方程的乘子u λ）；

（3）方程的解是不定的，无穷个解 （1）（2）是正常预料中的结果，而（3）则是一种当起作用约束的梯度向量不完全独立时出现的情况。

引入公式

11n n r r F G C D ???-?=?+ （D 为补偿向量）

且令0()T G D ?=零向量 （D 与所有起作用约束正交）

这样，可以得到K-T 条件的另一种描述方法：D=0（零向量），且Ci>0时，则设计点为约束极值点。因此，可以通过求解D 的值来判断。

将公式进行变换，求取D 的表达式：

11T T T r n n r n n r r r n G F G G C G D ??????-??=??+? （左乘T

G ?）

11T T r n n r n n r r G F G G C ??????-??=?? （0T G D ?=）

111[]T T r r n n r r n n C G G G F -??????=-???? （左乘1

[]T G G -??，注意逆矩阵存在的条件）

11n n r r D F G C ????=-?-?

对上式进行讨论：

（1）若D=0（零向量），且Ci>0时（（i=1,2,3, …,r ）），则设计点为局部最优点，如果

问题是凸规划，则为全局最优点；

（2）若D ≠0，则该点不是最优点。

（3）若D=0（零向量），但Ci>0不能满足，则将Ci<0对应的i g ?从G ?中剔除，形成新的G ?之后再重新计算C 和D ，此时，必有D ≠0。如图中的A 点，当对应的1g ?剔除后，A 点即变成了与B 点同类型的点，所以，必有D ≠0。另外，从A 到E 搜索过程中，约束边界g1=0已经不是起作用的约束了。应当从G ?中剔除。