约束条件下多变量函数的寻优方法

第十章约束条件下多变量函数

的寻优方法

●将非线性规划→线性规划

●将约束问题→无约束问题

●将复杂问题→较简单问题

10．1约束极值问题的最优性条件

非线性规划：min f(X)

h i(X)=0 (i=1,2,…,m) (10.1.1)

g j(X)≥0 (j=1,2,…,l)

一、基本概念

1．起作用约束

设X(1)是问题(10.1.1)的可行点。对某g j(X)≥0而言：

或g j(X(1))=0：X(1)在该约束形成的可行域边界上。

该约束称为X(1)点的起作用约束。

或g j(X(1))＞0：X(1)不在该约束形成的可行域边界上。

该约束称为X(1)点的不起作用约束。

X(1)点的起作用约束对X(1)点的微小摄动有某种限制作用。等式约束对所有可行点都是起作用约束。

()

θcos ab b a =⋅ 2．正则点

对问题(10.1.1)，若可行点X (1)处，各起作用约束的梯度线性无关，则X (1)是约束条件的一个正则点。

3．可行方向（对约束函数而言）

用R 表示问题(10.1.1)的可行域。设X (1)是一个可行点。对某方向D 来说，若存在实数λ1>0，使对于任意λ(0<λ<λ1)均有X (1)+λD ∈R ，则称D 是点X (1)处的一个可行方向。 经推导可知，只要方向D 满足：

▽g j (X (1))T D>0 (j ∈J ) (10.1.3)

即可保证它是点X (1)的可行方向。J 是X (1)点起作用约束下标的集合。

在X (1)点，可行方向D 与各起作用约束的梯度方向的夹角为锐角 。

4．下降方向（对目标函数而言）

设X (1)是问题(10.1.1)的一个可行点。对X (1)的任一方向D 来说，若存在实数λ1>0，使对于任意λ(0<λ<λ1)均有f(X (1)+λD)

▽f(X (1))T D<0 (10.1.5)

即可保证它为X (1)点的下降方向。

在X (1)点，下降方向D 与该点处目标函数的负梯度方向的夹角为锐角。

5．可行下降方向

在可行点X(1)处，若方向D同时满足(10.1.3)和(10.1.5)，则它是X(1)点的可行下降方向。

若X(1)点不是极小点，继续搜索的方向应该从该点的可行下降方向中去找。

若某点存在可行下降方向，则它不会是极小点。

若某点是极小点，则该点不存在可行下降方向。

二、库恩—塔克条件（一阶必要条件）

●它是非线性规划最重要的理论成果之一。

●只要是最优点（且为正则点）就必然满足它。

●满足它的点不一定是最优点（不是充分条件）。

●对凸规划而言，它是最优点的充要条件。

1．库恩—塔克条件

对非线性规划(10.1.1)而言，若X*是局部（或全局）极小点且为上述约束条件的正则点，则一定存在向量

∧*=(λ1*,λ2*,…,λm *)T 及Γ*=(γ1*,γ2*,…,γl *)T ，使得下述条件成立：

γj

*g j (X *)=0 (j=1,2,…,l) (10.1.7) γj *≥0 (j=1,2,…,l) (10.1.8)

● 共有n+m+l 个未知量（X ，∧*，Γ*）

● 可列n+m+l 个方程（其中有m 个等式约束方程）

● 由(10.1.7)知，在X *点不起作用约束g j (X *)>0 ,相应的γ

j *=0

● “正则点”是K-T 条件所必须的,但不是最优点所必须的。 问题(10.1.1)的广义拉格朗日函数：

广义拉格朗日乘子：

λ

1*,λ2*,…,λm *及γ1*,γ2*,…,γl *

()

()())6.1.10(01**1*

**=∇-∇-∇∑∑==l j j j m i i i X g X h X f γλ()()()

⎥

⎦⎤⎢⎣⎡--∑∑==l j j j m i i i X g X

h X f 11γλ

⎥⎦

⎤⎢⎣⎡=21*x x X

2．求满足库恩—塔克条件的点（K-T 点）

例：求下列非线性规划问题的K-T 点

min f(X)=2x 12+2x 1x 2+x 22-10x 1-10x 2

g 1(X)=5-x 12-x 22≥0 (1)

g 2(X)=6-3x 1-x 2≥0 (2)

解：设K-T 点为 ，

共有4个未知数x 1，x 2，γ1，γ2

由(10.1.6)及(10.1.7)各列出2个方程。

因只有2个不等式约束，可分4种情况讨论：

(1) 两约束均不起作用：有γ1=γ2=0

(2) 约束(1)起作用，约束(2)不起作用：有γ2=0

(3) 约束(1)不起作用，约束(2)起作用：有γ1=0

(4) 两约束均起作用：有γ1>0，γ2>0 三、 关于凸规划的全局最优解定理

对非线性规划(10.1.1)而言，若f(X)是凸函数，g j (X)（j=1,2,…,l ）是凹函数，h i (X) (i=1,2,…,m)是线性函数，可行域为R ，X *∈R,且在X *处有库恩—塔克条件(10.1.6)、(10.1.7)、(10.1.8)成立，则X *是全局最优解。

● 上述R 是凸集，f(X)是凸函数，故为凸规划问题。

● 对凸规划而言，K-T 条件是局部极小点的充要条件，且局