第五章约束问题的最优化方法
合集下载
约束问题最优化方法
* * T * * * T * (1* , 2 ,, m ) 和 * ( 1 , 2 ,, m ) 使 Kuhn-Tucker 条 件 (9-6) 成 立 ，
且 对 满 足 下 述 (9-7) 、(9-8) 、(9-9) 三 条 件 的 任 意 非 零 向 量 z 有 (9-10) 成 立 ， 则 x* 是 问 题 (9-1) 的 严 格 局 部 极 小 点 ．
第9章
约束问题最优化方法
9.1 约束优化问题的最优牲条件
约束条件下求极小值的非线性规划问题的数学模 型如下：
min f ( x) s.t hi ( x) 0(i 1, 2,, m) g j ( x) 0( j 1, 2,, l )
（ 9-1 ）
9． 1． 1 基 本 概 念 1． 起 作 用 约 束 设 非 线 性 规 划 问 题 （ 9.1.1 ） 的 可 行 域 为 H
*
9.1.4 二阶充分条件
1. 二 阶 充 分 条 件 对 非 线 性 规 划 问 题 （ 9-1 ） 而 言 ， 若 f ( x) 、 gi ( x)( j 1, 2,, l ) 、
hi ( x)(i 1, 2,, m) 二 次 连 续 可 微 ， x* 是 可 行 点 ， 又 存 在 向 量
2 ．正则点
对 于 非 线 性 规 划 问 题 (9-1) ， 如 果 可 行 点 x (1) 处 ， 各 起 作 用 约 束 的 梯 度 线 性 无 关 ， 则 x (1) 是 约 束 条 件 的 一 个 正 则 点，特别地，严格内点也是约束条件的正则点．
3 ．可行下降方向的判定条件 在 7.4 节，我们给出了可行下降方向的定义，在这里 我们推导可行下降方向的判定条件． 设x
(1)
且 对 满 足 下 述 (9-7) 、(9-8) 、(9-9) 三 条 件 的 任 意 非 零 向 量 z 有 (9-10) 成 立 ， 则 x* 是 问 题 (9-1) 的 严 格 局 部 极 小 点 ．
第9章
约束问题最优化方法
9.1 约束优化问题的最优牲条件
约束条件下求极小值的非线性规划问题的数学模 型如下：
min f ( x) s.t hi ( x) 0(i 1, 2,, m) g j ( x) 0( j 1, 2,, l )
（ 9-1 ）
9． 1． 1 基 本 概 念 1． 起 作 用 约 束 设 非 线 性 规 划 问 题 （ 9.1.1 ） 的 可 行 域 为 H
*
9.1.4 二阶充分条件
1. 二 阶 充 分 条 件 对 非 线 性 规 划 问 题 （ 9-1 ） 而 言 ， 若 f ( x) 、 gi ( x)( j 1, 2,, l ) 、
hi ( x)(i 1, 2,, m) 二 次 连 续 可 微 ， x* 是 可 行 点 ， 又 存 在 向 量
2 ．正则点
对 于 非 线 性 规 划 问 题 (9-1) ， 如 果 可 行 点 x (1) 处 ， 各 起 作 用 约 束 的 梯 度 线 性 无 关 ， 则 x (1) 是 约 束 条 件 的 一 个 正 则 点，特别地，严格内点也是约束条件的正则点．
3 ．可行下降方向的判定条件 在 7.4 节，我们给出了可行下降方向的定义，在这里 我们推导可行下降方向的判定条件． 设x
(1)
约束最优化方法
ㄡ ▽h(ㄡ )
最优性条件即：
▽h(x*)
f ( x*) *h j ( x*) j
j 1
h
二、不等式约束问题的Khun-Tucker条件： 考虑问题 min f(x) (fg) s.t. gi(x) ≤0 i=1,2, …,m 设 x*∈S={x|gi(x) ≤0 i=1,2, …,m} 令 I={i| gi(x*) =0 i=1,2, …,m} 称I为 x*点处的起作用集（紧约束集）。 如果x*是l.opt. ,对每一个约束函数来说，只有当它是起作用约 束时，才产生影响，如：
二、不等式约束问题的Khun-Tucker条件： （续） 可能的K-T点出现在下列情况： ①两约束曲线的交点：g1与g2,g1与g3,g1与g4,g2与g3,g2与g4,g3与 g4。 ②目标函数与一条曲线相交的情况： g1，g2, g3, g4 对每一个情况求得满足(1)~(6)的点(x1,x2)T及乘子u1,u2,u3,u4,验 证当满足可得，且ui≥ 0时，即为一个K-T点。 下面举几个情况： ● g1与g2交点：x=(2,1)T∈S ,I={1,2} 则u3=u4=0 解
若( fgh)为凸规划，满足可微性及CQ 则x l.opt. x 是K T点。
一、解线性约束问题的既约梯度法
min f ( x) 1、问题：（P）s.t. Ax b x0 可行集：S {x | Ax b, x 0} 2、非退化假设： 1 A的任意m列线性无关； 2 S的每个极点都有m个正分量。（B 1b 0） 3、既约梯度及搜索方向： x S , 存在分解A [ B, N ], Bmm 非奇异， x x B x N 相应 使x B 0, x N 0 x B 基变量，x N 非基变量 B f ( x) T T T 1 f ( x ) f ( x) , 称rN N f ( x) B f ( x) B N为既约梯度 N Amn , 秩A m, b R m 多面体同( LP )的S .
约束最优化问题的最优性条件
ci ( x ) ≥ 0
i ∈ I = {l + 1, , m}
一阶必要条件
定理6: (Kuhn-Tucker一阶必要条件)
*
I * = i ci x * = 0, i ∈ I ; 设 x 为问题(3)的局部最优解, f ( x ), ci ( x ) (1 ≤ i ≤ m ) 在 x * 点可微, 对于i ∈ E ∪ I *
*
λ f (x ) ∑ λ ci (x ) = 0
m * 0 *
λ c (x ) = 0 i = 1,2, , m
* i i *
i =1
* i
*
λ ≥ 0 i = 0,1,2, , m
* i
例2: 验证是否满足Fritz-John条件:
min f ( x1 , x2 ) = x1 s.t
*
3 c1 ( x1 , x2 ) = x1 x2 ≥ 0
* 则存在一组不全为零的实数 λ1 , λ* , λ* 使得: 2 l
f x * ∑ λ*ci x * = 0 i
i =1
( )
l
( )
二阶充分条件
定理2: 对等式约束问题,若: (1) f ( x ) 与 ci ( x )(1 ≤ i ≤ l ) 是二阶连续可微函数; (3) s ∈ R n且 s ≠ 0 , 且 s T ci (x * ) = 0 , i = 1,2, l 均有 s T 2 L (x * , λ* )s > 0 xx 则 x* 是等式约束问题的严格局部极小点. (2) x * ∈ R n 与 λ* ∈ R l 使: L(x* , λ* ) = 0 ;
{ ( ) }
的ci (x * ) 线性无关, 则存在非零向量 * λ* = (λ1 , , λ* ) 使得: m
最优化方法-约束非线性最优化方法
充分条件: 如果 L( X *, ) 0 且行列式方程:
所有根Zj>0(j=1,2,…,n-l)，则X*为局部极小点；反 之所有Zj<0，为局部极大点；有正有负非极值点
例题4-1用拉格朗日乘子算法求解:
max f ( X ) x12 , s.t. h1 ( x) 2x12 2x1x2 24 0
１）K-Ｔ条件：
考虑两种情况：
0 无解 2 * * x1 x2 / 5 0 x1 0; x2 0; * 2 ２）局部最小判别：看课本
3．罚函数法（外点法）
序列无约束最优化方法SUMT ( Sequential Unconstrained Minimization Technique) 1.罚函数概念： min f ( x) f : Rn R ( fgh) s.t. g i ( x ) 0, i 1, 2,..., m h j ( x) 0 j 1, 2,..., l 构造外部罚函数： P ( X , M k ) f ( X ) ( M k , g ( X ), h( X )) f ( X ) M k { [min(0, g i ( X ))] [( h j ( X ))]2 }
L [m(uij ) m 1 dij2 ] 0; uij [ 2 ]1/( m 1) uij mdij
i 1 ij
i 1
m
2 dij
m
i1[
c
1 1/(m1) ] 1 2 dij
所以
uij
[ l 1
c
1 dij dlj
]2/( m2)
FCM的中心迭代过程
约束问题最优化方法
* * T * * * T * (1* , 2 ,, m ) 和 * ( 1 , 2 ,, m ) 使 Kuhn-Tucker 条 件 (9-6) 成 立 ，
且 对 满 足 下 述 (9-7) 、(9-8) 、(9-9) 三 条 件 的 任 意 非 零 向 量 z 有 (9-10) 成 立 ， 则 x* 是 问 题 (9-1) 的 严 格 局 部 极 小 点 ．
(1)
H ，定义集合
I ( x (1) ) {i g i ( x (1) ) 0,1 i l}
(1) x 为 点所有起作用约束的下标的集合．
可行下降方向的判定条件
g j ( x ) d 0 ( j I ( x ))
(1) T (1)
f ( x
(1)
) d 0
T
*
* j
必为零，在运用 K-T 条件求 K-T 点时，利用这一点可 以大大 地简化计算，另 外还要把约束条 件都加上．
2．求满足Kuhn-Tucker条件的点
例 9-1 求下列非线性规划问题的 Kuhn-Tucker 点．
min f ( x) 2x 2x1x2 x 10x1 10x2
线性无关．
若
* x* 是 (9-1) 的局部最优解，则比存在 * (1* , 2 ,, l* )T 和向量
* * T * (1* , 2 ,, m ) ，使下述条件成 立：
l m * * * * * f ( x ) j g j ( x ) i hi ( x ) 0 j 1 i 1 * * j g j ( x ) 0, j 1, 2, , l * j 0, i 1, 2, , l
2 1 2 2
且 对 满 足 下 述 (9-7) 、(9-8) 、(9-9) 三 条 件 的 任 意 非 零 向 量 z 有 (9-10) 成 立 ， 则 x* 是 问 题 (9-1) 的 严 格 局 部 极 小 点 ．
(1)
H ，定义集合
I ( x (1) ) {i g i ( x (1) ) 0,1 i l}
(1) x 为 点所有起作用约束的下标的集合．
可行下降方向的判定条件
g j ( x ) d 0 ( j I ( x ))
(1) T (1)
f ( x
(1)
) d 0
T
*
* j
必为零，在运用 K-T 条件求 K-T 点时，利用这一点可 以大大 地简化计算，另 外还要把约束条 件都加上．
2．求满足Kuhn-Tucker条件的点
例 9-1 求下列非线性规划问题的 Kuhn-Tucker 点．
min f ( x) 2x 2x1x2 x 10x1 10x2
线性无关．
若
* x* 是 (9-1) 的局部最优解，则比存在 * (1* , 2 ,, l* )T 和向量
* * T * (1* , 2 ,, m ) ，使下述条件成 立：
l m * * * * * f ( x ) j g j ( x ) i hi ( x ) 0 j 1 i 1 * * j g j ( x ) 0, j 1, 2, , l * j 0, i 1, 2, , l
2 1 2 2
约束问题的最优化方法
m
⑤ .Φ ( x, r ) = f ( x) − r ∑ ln[− g u ( x)]
(k )
其中：惩罚（加权）因子 降低系数 c：
r ( 0 ) > r (1) > ....r ( k )
0< c <1
r ( k −1) ⋅ c = r ( k )
xk * → x *
当lim r ( k ) → 0
x ∈ D ⊂ Rn s.t. g u ( x ) ≥ 0, u = 1,2,..., p hv ( x ) = 0, v = 1,2,..., q min F ( x )
一. 约束优化问题解法分类： 约束优化方法按求解原理的不同可以分为直接法和间接法两类。
直接解法：随机方向搜索法、复合形法、可行方向法
其中：g u ( x) ≥ 0, u = 1,2,...m
③ .Φ ( x, r ) = f ( x) − ∑ ru ( k )
(k ) u =1
m
1 g u ( x)
④ .Φ ( x, r ) = f ( x) + r
(k )
(k )
(k )
1 ∑ 2 u =1 [ g u ( x )]
m u =1
k →∞
则Φ ( x, r ( k ) ) → f ( x) ,
) x12 + x22 例： 用内点法求 min f ( x=
s.t. g ( x ) = 1 − x1 ≤ 0
的约束最优解。
2 解: 首先构造内点惩罚函数:φ ( x , r ) = x12 + x2 − r k ln( x1 − 1)
(k ) u =1 m
lim r2 H [hv ( x ( k ) )] = 0
第五章约束优化方法
1.检验k个随机点是否为可行点，除去非可行点，计算 余下的可行点的目标函数值，比较其大小，选出目标 函数最小的点XL 。
2. 比较XL 和X0两点的目标函数值，
• 若f(XL) <f(X0)，则取XL 和X0连线方向为可行搜索方向； • 若f(XL) >f(X0)，则步长α0 缩小，转步骤1）重新计算， 直至f(XL) <f(X0)为止。 • 如果α0 缩小到很小，仍然找不到一个XL，使f(XL) <f(X0)则说明X0是一个局部极小点，此时可更换初始点，转 步骤1）。
基本思路如图所示。
随机方向法的基本思路
第二节 约束随机方向法
3.2 随机方向的构成
1.用RND(X)产生n个随机数 i , i 1,2,..., n(0 i 1)
2. 将(0,1)中的随机数 i变换到(-1,1)中去(归一化);
yi 2i 1 i 1,2,...,n
3. 构成随机方向 例: 对于三维问题 1 0.2,2 0.6,3 0.8
xmin=xk; alpha=1.3; end x0,xk,fx0,fxk else alpha=-alpha; end end end x1=x0; fx1=feval(f,x1); gx=feval(g_cons,x1); k1 end
3.7 随机方向法的Matlab程序
例: 求
function opt_random1_test1 %opt_random1_test1.m clc; clear all;
由于复合形的形状不必保持规则的图形，对目标函数和约 束函数无特殊要求，因此这种方法适应性强，在机械优化设 计中应用广泛。
第四节 复合形法
4.1 基本思路
在可行域内选取若干初始点并以之为顶点构成
2. 比较XL 和X0两点的目标函数值，
• 若f(XL) <f(X0)，则取XL 和X0连线方向为可行搜索方向； • 若f(XL) >f(X0)，则步长α0 缩小，转步骤1）重新计算， 直至f(XL) <f(X0)为止。 • 如果α0 缩小到很小，仍然找不到一个XL，使f(XL) <f(X0)则说明X0是一个局部极小点，此时可更换初始点，转 步骤1）。
基本思路如图所示。
随机方向法的基本思路
第二节 约束随机方向法
3.2 随机方向的构成
1.用RND(X)产生n个随机数 i , i 1,2,..., n(0 i 1)
2. 将(0,1)中的随机数 i变换到(-1,1)中去(归一化);
yi 2i 1 i 1,2,...,n
3. 构成随机方向 例: 对于三维问题 1 0.2,2 0.6,3 0.8
xmin=xk; alpha=1.3; end x0,xk,fx0,fxk else alpha=-alpha; end end end x1=x0; fx1=feval(f,x1); gx=feval(g_cons,x1); k1 end
3.7 随机方向法的Matlab程序
例: 求
function opt_random1_test1 %opt_random1_test1.m clc; clear all;
由于复合形的形状不必保持规则的图形，对目标函数和约 束函数无特殊要求，因此这种方法适应性强，在机械优化设 计中应用广泛。
第四节 复合形法
4.1 基本思路
在可行域内选取若干初始点并以之为顶点构成
第五章约束优化方法
第五章 约束优化方法
5.1 约束优化问题的最优解 5.2 约束优化问题极小点的条件 5.3 常用的约束优化方法
5.3.1 约束坐标轮换法 5.3.2 约束随机方向法 5.3.3 复合形法 5.3.5 惩罚函数法
1
概述
约束优化问题
最优点 X x x ... x 最优解 最优值 min F ( X ) F ( X * )
2. 等式约束优化问题(EP型)
3. 一般约束优化问题(GP型)
6
约束优化方法分类
约束坐标轮换法 直接法：约束随机方向法 复合形法
约束优化方法
间接法：惩罚函数法
直接法：设法使每一次迭代产生的新迭代点限制在可行域内， 且一步一步的降低目标函数值，直至最后获得一个 可行域内的约束最优解。 间接法：将约束优化问题通过一定形式的变换，转化为无约 束优化问题，然后采用约束优化方法进行求解。
在算法语言所使用的函数库中，有一种随机函数RND(X)。利用这一随机函数 可在程序运行过程中产生一个0到1之间的随机数。 0, 1( i＝l，2，…，n)
在（a,b）之间的随机数： yi= ai + i ( bi –ai) （-1,1）之间的随机数： yi= 2 i - 1
i
可行性: X1(1) D ?
检查
可行性: X1(1) D ? ()
适用性:
o
(1) X (1) X 3
x1
9
沿e2方向 0
X1(2) X (1) e2
(1) 可行性: X 2 D?
x2
X 1(2)
(1) X (0) X 1(1) X 2
检查
适用性: F X1(2) F X (1) ? ()
5.1 约束优化问题的最优解 5.2 约束优化问题极小点的条件 5.3 常用的约束优化方法
5.3.1 约束坐标轮换法 5.3.2 约束随机方向法 5.3.3 复合形法 5.3.5 惩罚函数法
1
概述
约束优化问题
最优点 X x x ... x 最优解 最优值 min F ( X ) F ( X * )
2. 等式约束优化问题(EP型)
3. 一般约束优化问题(GP型)
6
约束优化方法分类
约束坐标轮换法 直接法：约束随机方向法 复合形法
约束优化方法
间接法：惩罚函数法
直接法：设法使每一次迭代产生的新迭代点限制在可行域内， 且一步一步的降低目标函数值，直至最后获得一个 可行域内的约束最优解。 间接法：将约束优化问题通过一定形式的变换，转化为无约 束优化问题，然后采用约束优化方法进行求解。
在算法语言所使用的函数库中，有一种随机函数RND(X)。利用这一随机函数 可在程序运行过程中产生一个0到1之间的随机数。 0, 1( i＝l，2，…，n)
在（a,b）之间的随机数： yi= ai + i ( bi –ai) （-1,1）之间的随机数： yi= 2 i - 1
i
可行性: X1(1) D ?
检查
可行性: X1(1) D ? ()
适用性:
o
(1) X (1) X 3
x1
9
沿e2方向 0
X1(2) X (1) e2
(1) 可行性: X 2 D?
x2
X 1(2)
(1) X (0) X 1(1) X 2
检查
适用性: F X1(2) F X (1) ? ()
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
g1 ( x*) g1 ( x ) 0
x*
f ( x*)
则有
f ( x*) g1 ( x*) , 0。
即
f ( x*) g1 ( x*) 0。
13
( 2) 如果 I ( x*)中有两个指标，不妨设g1 ( x )和 g2 ( x )为积极约束。 并设g1 ( x*)和g2 ( x*)线性无关。
() 式称为 K T条件（库恩 塔克条件），满足 () 式的点 称为K T点。
16
(4) 对于有等式约束的极值 问题
min f ( x ) h( x ) 0 s.t. g( x ) 0
K T条件可写为
m l f ( x*) u j h j ( x*) i g i ( x*) 0 j 1 i 1 i gi ( x*) 0 , i 0, i 1 , 2 , , l
g2 ( x*) g1 ( x ) 0
g1 ( x*)
g2 ( x ) 0
x*
f ( x*)
则 存在1 ， 2 0 , 使得 f ( x*) 1g1 ( x*) 2g2 ( x*)。
14
f ( x*) 1g1 ( x*) 2g2 ( x*) 0。
约束极值问题也可记为
min f ( x ) s.t. g( x ) 0
3
2 约束极值及最优性条件——Kuhn-Tucker 条件
（1）等式约束性问题的最优性条件 考虑 min f(x) s.t. h(x)=0 回顾高等数学中所学的条件极值： 问题 即： 求 z = f(x,y)极值，在ф(x,y)=0的条件下。 min f(x,y)
第七讲 约束非线性规划
约束极值及最优性条件
等式约束 不等式约束 一般约束问题
约束极值问题的算法
外点法 内点法 乘子法
1
一 、约束极值问题的最优性条件
1、约束极值问题的表示 min f ( x ) hi ( x ) 0 i 1 , 2 ,, m s .t . g j ( x ) 0 j 1 , 2 , , l
分析：
(1) 如果 I ( x*)中只有一个指标，不妨 设 g1 ( x)为积极约束。
则不存在向量d 使得 g1 ( x*)T d 0 T f ( x *) d0 成立。
12
则不存在向量d 使得 g1 ( x*)T d 0 成立。 T f ( x*) d 0
这 里x *最 优 ， f ( x * )与 h( x * )共 线 ， 而x' 非 最 优
h( x* )
f ( x' )与h( x' )不 共 线 ，
h( x' )
最优性条件即：
f ( x*) * j h j ( x*)
j 1
6
l
(2)不等式约束极值问题的最优性条件
若x*是其的最优解 , 则存在υ*∈ Rl 使
f ( x * )
* h ( x )0 * j j j 1
5
l
f ( x )
*
* * h ( x j j )0 j 1
l
几何意义：考虑一个约束的情况：
f ( x* )
f ( x' )
x'
h( x )
( 3)
15
i gi ( x*) 0 , i 1 , 2 , , l i 0, i 1 , 2 , , l
i 0 , gi ( x*) 0 ; i 0 , gi ( x*) 0 ;
定理4(K-T条件): 设 x* Q，f ( x ) 和 gi ( x ) ( i I ( x*) ) 在x * 处 可 微 ，
()
17
K T点的计算
2 2 m i n f ( x ) x x 6 x1 6 x2 8 1 2 例: 求约束极值问题 x1 x2 4 s.t . x1 0 x 0 2
的 K T 点。
解： f ( x ) 2[ x1 3 , x2 3 ]T 。
令 Q { x | h( x ) 0 , g ( x ) 0 } , 称 Q 为此约束极值问题的
可行域。
2
min f ( x ) hi ( x ) 0 i 1 , 2 , , m s.t. g j ( x ) 0 j 1 , 2 ,, l
hi ( x ) 0 hi ( x ) 0 hi ( x ) 0
2 例: 设 g1 ( x ) 2 x12 x2 0 , g2 ( x ) x12 x2 1 0,
g3 ( x ) x1 0。 令x(
2 2 T , ) ， 求 点x 的 积 极 约 束 指 标 集 。 2 2
2 2 2 0, 解： g1 ( x ) 2 ( ) 2 2 2 2 2 2 g2 ( x ) ( ) ( ) 1 0 , 2 2
(3) 一般情况： 设{gi ( x*) | i I ( x*) } 线性无关。 则存在非负实数i ( i I ( x*) ), 使得
f ( x*)
iI ( x*)
g ( x*) 0
i i
( 2)
( 2) 式可改写为
l f ( x*) i gi ( x*) 0 i 1 i gi ( x*) 0 , i 0, i 1 , 2 , , l
g1 ( x ) x1 x2 4,
g1 ( x) [ 1 , 1 ]T
g2 ( x) x1 ,
g2 ( x) [ 1 , 0 ]T 。
g3 ( x) x2 ,
g3 ( x) [ 0 , 1 ]T 。
18
由K T条件得
x1 3 1 1 0 x 3 1 1 2 0 3 1 0 2
7
g i ( x ) 0， 如 果 积极约束: 设 点 x Q , 对 于 不 等 式 约 束 gi ( x ) 0 , 则 称 gi ( x ) 0 是 点 x 处 的 积 极 约 束 。
或 起作用约束（紧约束\积极约束\有效约束）。
记 I ( x ) { i | gi ( x ) 0 , 1 i l } , 称 I ( x )为点 x 处的积极 约束指标集。
8
2 g3 ( x ) 0。 2
I ( x ) { 1 , 2 }。
x2 g2 ( x ) 0
g3 ( x ) 0
O
g1 ( x ) 0
x
x1
②如何判断一个方向是可行方向?
9
定理1:
给 定 点x Q , 记 点 x 的 积 极 约 束 指 标 集 为 I ( x )。 给 定 向 量 d ， 如果对任意的 i I ( x ) 有 gi ( x )T d 0 , 则 d 是 点 x 的 可 行 方 向 。
s.t.
ф(x,y)=0
引入Lagrange乘子：λ Lagrange函数 L(x,y;λ)= f(x,y)+ λ ф(x,y)
4
若( x * , y * )是 条 件 极 值 ， 则 存 在 *， 使 得 f ( x * , y * ) * ( x * , y * ) 0 x x * * * * * f y(x , y ) y(x , y ) 0 ( x * , y * ) 0 推 广 到 多 元 情 况 ， 可到 得对 于 等 式 约 束 的 情： 况 m i n f ( x ) 分 量 形 式 ： s.t. h j ( x ) 0, j 1,2, , l
由K T条件及约束条件得
x1 1 2 3 x 3 1 3 2 1 ( x1 x 2 4) 0 2 x1 0 3 x2 0 x1 x 2 4 0 1 , 2 , 3 , x1 , x 2 0
以下分情况讨论：
19
(1) 若 x1 x 2 0 :
由1 ( x1 x2 4) 0 可得1 0。
1 2 3 2 3
这与 2 0 矛盾。 ( 2) 若 x1 0 , x 2 0 : 3 0
x1 1 2 3 x 3 1 3 2 1 ( x1 x 2 4) 0 2 x1 0 3 x2 0 x1 x 2 4 0 1 , 2 , 3 , x1 , x 2 0
证明: 令 x' x t d , t 0。 则对任意的i I ( x ) , 有
gi ( x' ) gi ( x ) t gi ( x )T d o( || td ||2 ) t gi ( x )T d o( || td ||2 ) 0
x' Q , 即 d 为可行方向。
记 h( x ) ( h1 ( x ) , h2 ( x ) ,, hm ( x ) )T , g( x ) ( g1 ( x ) , g2 ( x ) ,, gl ( x ) )T ,
则约束极值问题可记为 min f ( x )
h( x ) 0 s .t . g( x ) 0
可行下降方向:
设点 x Q ， 给定向量 d ，如果 d 既是点 x 处的可行方向， 又是该点的下降方向， 则称 d 为点 x 处的可行下降方向。
10
I ( x )。 给 定 定理2: 给定 点 x Q , 记 点 x 的积 极约束 指标集为 向 量d ， 如 果d 满 足 g i ( x )T d 0 T f ( x ) d 0 i I ( x)