约束问题最优化方法

* * T * * * T * (1* , 2 ,, m ) 和 * ( 1 , 2 ,, m ) 使 Kuhn-Tucker 条 件 (9-6) 成 立 ，
且 对 满 足 下 述 (9-7) 、(9-8) 、(9-9) 三 条 件 的 任 意 非 零 向 量 z 有 (9-10) 成 立 ， 则 x* 是 问 题 (9-1) 的 严 格 局 部 极 小 点 ．
(1)
H ，定义集合
I ( x (1) ) {i g i ( x (1) ) 0,1 i l}
(1) x 为 点所有起作用约束的下标的集合．
可行下降方向的判定条件
g j ( x ) d 0 ( j I ( x ))
(1) T (1)
f ( x
(1)
) d 0
T
*
* j
必为零，在运用 K-T 条件求 K-T 点时，利用这一点可 以大大 地简化计算，另 外还要把约束条 件都加上．
2．求满足Kuhn-Tucker条件的点
例 9-1 求下列非线性规划问题的 Kuhn-Tucker 点．
min f ( x) 2x 2x1x2 x 10x1 10x2
线性无关．
若
* x* 是 (9-1) 的局部最优解，则比存在 * (1* , 2 ,, l* )T 和向量
* * T * (1* , 2 ,, m ) ，使下述条件成 立：
l m * * * * * f ( x ) j g j ( x ) i hi ( x ) 0 j 1 i 1 * * j g j ( x ) 0, j 1, 2, , l * j 0, i 1, 2, , l
2 1 2 2
s.t. 5 x x 0
2 1 2 2
6 3x1 x2 0
例 9-2 求下列非线性规划问题的 Kuhn-Tucker 点．
min s.t. f ( x) xip
i 1 n n
h( x) xi a 0
其中 p 1, a 0 ．
i 1
其二 是 g j ( x) 0 ，这时 x (1) 处 于 由这 一约 束条 件 形成 的可 行域 的 边界 上， 它 对 x (1) 点的扰 动起 到 了某 种限 制作 用 ，即 当点 沿某 些方 向稍 微 离开 x (1) 时， 仍能 满 足约 束条 件， 而 当点 沿另 一些 方向 离开 x (1) 时 ，不 论步 长多 么 小， 都将 违背 该 约束 条件 ．这 样的 约束 称 为 x (1) 点的起 作用 约 束． 显然 ，等 式 约束 对所 有可 行点来说都是起作用约束．特别地，对于只含不等式约束的 非线性规划问题，严格内点（即不在可行域边界上的点）不 存在 起作 用的 约 束．
可行下降方向有十分明确的几何意义 : 点 x (1) 处的可行下降方向 d 与该点处目标函数的负梯度方 向的夹角为锐角， 与该点处起作用约束函数的梯度方向的 夹角也为锐角．
9.1.2 Kuhn-Tucker条件（一阶必要条件）
•
Kuhn-Tucker条件是非线性规划领域中最重要的理
论成果之一，是确定某点是最优点的一阶必要条件．只要
近似规划法的基本思想是：将问 题（ 9-11 ）中的目标函数 和各约束函数都近似为线性函数， 并对各变量的取值范围 加以限制，从而得到一近似的线性规划，再用单纯形法求 解之，把符合原始约束条件的最优解作为问题（ 9-11 ）的 解的近似．每得到一个近似解后，都从这一点出发，重复 以上步骤．这样，通过求解一系列线性规划，产生一个由 线性规划最优解组成的序列，经验表明，这样的序列往往 收敛于非线性规划问题的解．应用近似规划法时，必须给 定一个初始的可行点．
(9-6) 式 (9-6) 就是既含 有等式约束又含 有不等式约束的 非线性规 划问题的 Kuhn-Tucker 条件，简称 K-T 条件，满足 Kuhn-Tucker 条件的点称为 Kuhn-Tucker 条件点或者 K-T 点．如果一个非 线性规划问题只 含有等式 约束或 者只含有不 等式约束，其相 应的 Kuhn-Tucker 条件也相应地具 有更简化 的形式．
通常称函数 [ f ( x) j g j ( x) i hi ( x)] 为问题 (9-1) 的广义拉 格
j 1 i 1
l
m
* * , * , , 朗日函数，称乘子 1 , 2 ,, l 和 1 2 m 为广义拉格朗 日 乘
*
*
*
子，称向量 * 和 * 为乘子向量．由（ 9-.6 ）的第二个向量方 程 可知，当不等式约 束 g j ( x) 0 在 x 处为不起作 用约束时，
9.2.1 线性近似规划的构成
设 x
(k )
H ， 将 目 标 函 数
f ( x) 与 约 束 条 件 函 数
(k )
hi ( x)(i 1, 2,, m) 和 g j ( x)( j 1, 2,, l ) 在 点 x 处 作 一 阶
Taylor 展开，并取 其线性近似式，可 得到下列线性规 划问题 ： min f ( x ( k ) ) f ( x ( k ) )T ( x x ( k ) );
(9 7) (9 8) (9 9)
(9-10)
其中
I ( x* ) 是 x* 处 起 作 用 的 不 等 式 约 束 函 数 的 下 标 j 的 集 合 ．
显然，上述二阶充分条件中的 (9-10) 式的
2 * [2 f ( x* ) i*2 hi ( x* ) * g ( x )] j j i 1 j 1 m l
H {x x E n , hi ( x) 0, g j ( x) 0, i 1, 2, , m, j 1, 2, , l }
x(1) H , 考 虑 某 一 个 不 等 式 约 束 g j ( x) 0 ， x (1) 满 足 它 有 两 种 可 能 ：其 一
是 g j ( x) 0 ， 这 时 ， x (1) 不 是 处 于 由 这 一 约 束 条 件 形 成 的 可 行 域 的 边 界 上 ，因 此 当 点 不 论 沿 什 么 方 向 稍 微 离 开 x (1) 时 ，都 不 会 违 背 这 一 约 束 条 件 ， 这 样 的 约 束 就 称 为 x (1) 点 的 不 起 作 用 约 束 ， 它 对 x (1) 的 微 小 扰 动 不 起限制作用；注意，不起作用约束并不是无效约束！
（ 2 ）第二种情况 若不能先求出一个可能极件的点 是一个严格局部极小点．
x
*
，再证明上述 ③和④，则
x
*
9．2 近似规划法
近似规划法是一种线性化的方法：将非线性规划线性化，然 后通过求解一系 列线性规划来求 原问题的近似最 优解． 考虑非线性规划 问题
f ( x) 与 gi ( x)(i I ( x* )) 在点 x* 处可微，gi ( x)(i I ( x* )) 在点 x* 处连续，
h j ( x)
( j 1,2,, m) 在点 x* 处连续可微，且向量集
{gi ( x* ), h j ( x* ) i I ( x* ), j 1, 2, , l}
9.1.3 关于凸规划的全局最优解定理
对于非线性规划 问题 (9-1) 而言，若 f ( x) 是凸函数， g j ( x)( j 1, 2,, l ) 是凹函数， hi ( x)(i 1, 2,, m) 是线性函数，可行
* * x x H 域为 H ， ，且在 处有 Kuhn-Tucker 条件 (9-6) 成立，
是最优点（且为正则点）就必须满足这个条件，但一般来 说它并不是充分条件，因而满足这个条件的点不一定是最 优点．但对于凸规划，Kuhn-Tucker条件既是最优点存在 的必要条件，同时也是充分条件．
1 ． Kuhn-Tucker 条件 Kuhn-Tucker 条件就是下面的定理． 定理 9-1 考虑问题 (9-1) ，设 x* H , I ( x* ) {i gi ( x* ) 0,1 i l} ，
则 x 是全局最优解 ． 显然，上述定理 中的可行域 H 是 凸集， 又目标函数 f ( x) 是凸函数，故问题属于 凸规划．由上述定 理可 知，对凸规划问题 而言，Kuhn-Tucker 条件是局部极小点的一 阶必要条件，同时也是充分条件，而且局部极小点就是全局 极小点．例 9-1 和例 9-2 （当 x 0 时）中的问题都是凸 规划， 因此所求得的 K - T 点是全局极小点 ．
即广义拉格朗日函数在点
x* 处 的 海 赛 矩 阵 ． 若 令 满 足
(9-7) 、 (9-8) 、 (9-9) 三条件的非零向量 z 构成的子空间 为 M ，则 (9-10) 式表明，广义拉格朗日函数在点 x* 处的海 赛矩阵在子空间 M 上是正定的．
2 ．利用 Kuhn-Tucker 条件和二阶充 分条件求约束极 小 （ 1 ）第一种情况 如果能用其它方 法（如几何作图或 通过解约束方程 组求出 约 束 条 件 的 交 点 等 ） 先 求 出 一 个 点 x* ， 这 个 点 是 约 束 极 小 的 可能性很大，不 妨先假设其为约 束极小，再逐一 证之． ①证明 x* 是可行点 ． ②证明 x* 是正则点 ． ③把 x* 代入 Kuhn-Tucker 条件 (9.1.6) 式中，应能求出 符合条 件的向量 * 和 * ． ④证明广义拉格 朗日函数在点 x* 处的海赛矩阵在子 空间 M 上 是正定的． 若能证明上述四 点，则 x* 是一个严 格局部极小点．
*
9.1.4 二阶充分条件
1. 二 阶 充 分 条 件 对 非 线 性 规 划 问 题 （ 9-1 ） 而 言 ， 若 f ( x) 、 gi ( x)( j 1, 2,, l ) 、