15非线性约束最优化算法
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
x, y def
1 1 ( x 2) 2 ( y 2) 2 2 2
1 0 4 x 0 y 0
约束条件：
(x 1 ) 1 y
15.21 W的八种可能选择
用在下面的描述的作用作用域：
按指数1到3有序标记，图15.1阐 述了目标函数的形态，可行域是 两轴和曲线包围的区域。可以看 出在解中只有第一个约束条件有 效，（x*，y*）=(1.953，0.089)τ
第一种可能：求解方案中任何约束条件无效，也就是说 w=Φ ，由于▽f=(x-2， y-1/2)T，可以看到无约束f最小值在可行域外边，所以最优化有效集不能为 空。 有7种另外可能，其中三个约束条件是有效的，w={1，2，3}，图（15.1）对 这个问题这样的情况没有发生，三个约束条件不共享一个相同的交叉点。通 过单一的有效约束条件，得到三个更进一步的可能，那就是是 {w=1}，{w=2}， {w=3} {W=2}，只有x=0的约束条件有效，如果在这种条件下使f执行最小化，得到 （0，1、2）T这个点，检查（12.34）KKT条件，表明无论选择什么拉格朗日 乘数，都不能满足在0，1、2）T的条件。（因为必须要λ 1=λ 3=0满足 （13.34e）），通过这表明，设λ 2=-2满足（12.34a），但是λ 2的值不满足 (12.34d)。 {W=1，3}，得到单一的可行点（3，0）T，由于约束条件2在这个点无效，令 λ 2=0，解决（12.34a）用其他朗格朗日乘数，得到λ 1=-16，λ 3=16.5。，这 些值是负数，不满足（12.34）所以（3，0）T不是（15.1）的解。 {W=1}，求解等式约束条件问题，这问题中第一个约束条件是有效的，得到点 （x，y）T=(1.953，0.089)T和拉格朗日乘数λ 1=0.411。通过设定λ 2=λ 3=0， 很容易得到，（12.34）的KKT其他条件是满足。于是得结论这个点是 KKT点， 由于拉格朗日的Hessian正定，很容易得到二阶充分条件满足。
15.12 连续二次规划方法
第18章，讨论序列二次规划方法（sequential quadratic programming） 简称SQP. 基本的SQP方法中定义Pk在(xk，λ k)迭代的方向，从而得到解
min
p
1 2
P
T
2 xx
L( xk ,k )
P
f ( xk )
T
p
ຫໍສະໝຸດ Baidu
约束条件：
2 x1 x4 x3 x3 , 2 x2 x4 x3
ci ( xk )T p c ( x k )
i
0, i 0, i I
ci ( xk )T p c ( x k )
i
15.13
非线性规划内点法
第19章，讨论非线性规划内点法（interior-point） 相对在14章讨论的线性规划来说，这种方法可以看做是原始对偶内点法 （primal-dual interior-point）的拓展，也可以看做是障碍法。
min
x.s
f ( x) log si
i
m
约束条件：
ci ( x ) 0, ci ( x ) si 0, i iI
15.2 不等式约束组合
求解非线性规划最主要的难题是处理不等式约束，特别是在解中确定哪些约 束条件是有效的。 估测一个最优有效集 A * ，这是一组约束条件，在解处满足等式。这估测值叫 做作用集，用 w表示。在作用域约束条件强制为等式，约束条件在w 处忽略， 然后求解。最后验证是否有一个拉格朗日乘数，得到近似解 X*，且W 满足KKT 条件（12.34）。这样把这X*看做（15.1）的局部解。 例子：即使小数量的不等式约束，确定最优化有效集不是一个简单的任务。 问题： min f ( x, y )
本文框架
最优化算法分类 不等式约束组合 变量消除 优化函数和滤波 马洛托斯现象 二次校正和非单调方法
15.1 最优化算法分类
非线性最优化算法没有分类标准；对后面章节各种逼近做了分组，如下 所述：
I.
第16章，讨论二次线性规划（quadratic programming）求解问题的算 法，它具有独特的性能。对有效集(active set)，内点法(interiorpoint)和梯度投影法(gradient projection methods)进行讨论。 第17章,讨论罚函数(penalty)和增广拉格朗日(augmented Lagrangian methods)方法，把目标函数和条件都结合归到罚函数里边，这样可以通 过求解一系列非约束条件处理15.1问题。
II.
15.11 罚函数和增广朗格朗日方法
假如(15.1)中只有等式约束条件存在，那么二次罚函数定义：
f ( x)
1
2
C ( x)
2 i i
等式约束问题，定义：
f ( x) ci ( x)
i
结合拉格朗日函数性质和二次罚函数（15.2）函数增广拉格朗日函数:
2 LA ( x, ; ) f ( x) i ci ( x) ci ( x) 2 i i
即使对这个小的例子，考虑所有w可能的值很麻烦，图15.1表明，可以利 用定义这个问题和他们的派生的函数知识消除，事实上在16章描述的有 效集方法利用这种信息来进行一系列有根据的猜测作用域，避免w选择 的明显偏离15.1的解。 既内点法（障碍法）之后，一种不同的方法在19章考虑，这种方法生成 的迭代远离通过不等式约束条件定义的可行定义域的边界，作为非线性 规划的解释近似的阻碍作用被消弱，允许精度增加解的估计，在这种方 法中避免了非线性规划组合的难题。
15.3
变量消除
处理约束最优化问题，用边界条件消除问题中的变量是正常的，用更少 的自由度得到一个简单问题。然而由于消除法可能改变问题或者引入病 态条件必须小心使用 目标函数： 约束条件：
I.
min f ( x) f ( x1 , x2 , x3 , x4 )
2 x1 x3 x 4 x3 0 2 x 2 x 4 x3 0
1 1 ( x 2) 2 ( y 2) 2 2 2
1 0 4 x 0 y 0
约束条件：
(x 1 ) 1 y
15.21 W的八种可能选择
用在下面的描述的作用作用域：
按指数1到3有序标记，图15.1阐 述了目标函数的形态，可行域是 两轴和曲线包围的区域。可以看 出在解中只有第一个约束条件有 效，（x*，y*）=(1.953，0.089)τ
第一种可能：求解方案中任何约束条件无效，也就是说 w=Φ ，由于▽f=(x-2， y-1/2)T，可以看到无约束f最小值在可行域外边，所以最优化有效集不能为 空。 有7种另外可能，其中三个约束条件是有效的，w={1，2，3}，图（15.1）对 这个问题这样的情况没有发生，三个约束条件不共享一个相同的交叉点。通 过单一的有效约束条件，得到三个更进一步的可能，那就是是 {w=1}，{w=2}， {w=3} {W=2}，只有x=0的约束条件有效，如果在这种条件下使f执行最小化，得到 （0，1、2）T这个点，检查（12.34）KKT条件，表明无论选择什么拉格朗日 乘数，都不能满足在0，1、2）T的条件。（因为必须要λ 1=λ 3=0满足 （13.34e）），通过这表明，设λ 2=-2满足（12.34a），但是λ 2的值不满足 (12.34d)。 {W=1，3}，得到单一的可行点（3，0）T，由于约束条件2在这个点无效，令 λ 2=0，解决（12.34a）用其他朗格朗日乘数，得到λ 1=-16，λ 3=16.5。，这 些值是负数，不满足（12.34）所以（3，0）T不是（15.1）的解。 {W=1}，求解等式约束条件问题，这问题中第一个约束条件是有效的，得到点 （x，y）T=(1.953，0.089)T和拉格朗日乘数λ 1=0.411。通过设定λ 2=λ 3=0， 很容易得到，（12.34）的KKT其他条件是满足。于是得结论这个点是 KKT点， 由于拉格朗日的Hessian正定，很容易得到二阶充分条件满足。
15.12 连续二次规划方法
第18章，讨论序列二次规划方法（sequential quadratic programming） 简称SQP. 基本的SQP方法中定义Pk在(xk，λ k)迭代的方向，从而得到解
min
p
1 2
P
T
2 xx
L( xk ,k )
P
f ( xk )
T
p
ຫໍສະໝຸດ Baidu
约束条件：
2 x1 x4 x3 x3 , 2 x2 x4 x3
ci ( xk )T p c ( x k )
i
0, i 0, i I
ci ( xk )T p c ( x k )
i
15.13
非线性规划内点法
第19章，讨论非线性规划内点法（interior-point） 相对在14章讨论的线性规划来说，这种方法可以看做是原始对偶内点法 （primal-dual interior-point）的拓展，也可以看做是障碍法。
min
x.s
f ( x) log si
i
m
约束条件：
ci ( x ) 0, ci ( x ) si 0, i iI
15.2 不等式约束组合
求解非线性规划最主要的难题是处理不等式约束，特别是在解中确定哪些约 束条件是有效的。 估测一个最优有效集 A * ，这是一组约束条件，在解处满足等式。这估测值叫 做作用集，用 w表示。在作用域约束条件强制为等式，约束条件在w 处忽略， 然后求解。最后验证是否有一个拉格朗日乘数，得到近似解 X*，且W 满足KKT 条件（12.34）。这样把这X*看做（15.1）的局部解。 例子：即使小数量的不等式约束，确定最优化有效集不是一个简单的任务。 问题： min f ( x, y )
本文框架
最优化算法分类 不等式约束组合 变量消除 优化函数和滤波 马洛托斯现象 二次校正和非单调方法
15.1 最优化算法分类
非线性最优化算法没有分类标准；对后面章节各种逼近做了分组，如下 所述：
I.
第16章，讨论二次线性规划（quadratic programming）求解问题的算 法，它具有独特的性能。对有效集(active set)，内点法(interiorpoint)和梯度投影法(gradient projection methods)进行讨论。 第17章,讨论罚函数(penalty)和增广拉格朗日(augmented Lagrangian methods)方法，把目标函数和条件都结合归到罚函数里边，这样可以通 过求解一系列非约束条件处理15.1问题。
II.
15.11 罚函数和增广朗格朗日方法
假如(15.1)中只有等式约束条件存在，那么二次罚函数定义：
f ( x)
1
2
C ( x)
2 i i
等式约束问题，定义：
f ( x) ci ( x)
i
结合拉格朗日函数性质和二次罚函数（15.2）函数增广拉格朗日函数:
2 LA ( x, ; ) f ( x) i ci ( x) ci ( x) 2 i i
即使对这个小的例子，考虑所有w可能的值很麻烦，图15.1表明，可以利 用定义这个问题和他们的派生的函数知识消除，事实上在16章描述的有 效集方法利用这种信息来进行一系列有根据的猜测作用域，避免w选择 的明显偏离15.1的解。 既内点法（障碍法）之后，一种不同的方法在19章考虑，这种方法生成 的迭代远离通过不等式约束条件定义的可行定义域的边界，作为非线性 规划的解释近似的阻碍作用被消弱，允许精度增加解的估计，在这种方 法中避免了非线性规划组合的难题。
15.3
变量消除
处理约束最优化问题，用边界条件消除问题中的变量是正常的，用更少 的自由度得到一个简单问题。然而由于消除法可能改变问题或者引入病 态条件必须小心使用 目标函数： 约束条件：
I.
min f ( x) f ( x1 , x2 , x3 , x4 )
2 x1 x3 x 4 x3 0 2 x 2 x 4 x3 0