【5A文】关于序列二次规划(SQP)算法求解非线性规划问题研究
非线性模型预测控制的若干问题研究
非线性模型预测控制的若干问题研究一、概述随着现代工业技术的快速发展，非线性模型预测控制（Nonlinear Model Predictive Control，NMPC）已成为控制领域的研究热点。
非线性系统广泛存在于实际工业过程中，其特性复杂、行为多样，且具有不确定性，这使得传统的线性控制策略在面对非线性系统时往往难以取得理想的效果。
研究非线性模型预测控制策略，对于提高控制系统的性能、稳定性和鲁棒性具有重要意义。
非线性模型预测控制是一种基于非线性模型的闭环优化控制策略，其核心思想是在每个采样周期，以系统当前状态为起点，在线求解有限时域开环最优问题，得到一个最优控制序列，并将该序列的第一个控制量作用于被控系统。
这种滚动优化的策略使得非线性模型预测控制能够实时地根据系统的状态变化调整控制策略，从而实现对非线性系统的有效控制。
非线性模型预测控制的研究也面临着诸多挑战。
由于非线性系统的复杂性，其预测模型的建立往往较为困难，且模型的准确性对控制效果的影响较大。
非线性模型预测控制需要在线求解优化问题，这对计算资源的需求较高，限制了其在实时性要求较高的系统中的应用。
非线性模型预测控制的稳定性和鲁棒性也是研究的重点问题。
本文旨在深入研究非线性模型预测控制的若干关键问题，包括非线性模型的建立、优化算法的设计、稳定性和鲁棒性的分析等。
通过对这些问题的研究，旨在提出一种高效、稳定、鲁棒的非线性模型预测控制策略，为实际工业过程的控制提供理论支持和实践指导。
1. 非线性模型预测控制（NMPC）概述非线性模型预测控制（Nonlinear Model Predictive Control，简称NMPC）是一种先进的控制策略，广泛应用于各种动态系统的优化控制问题中。
NMPC的核心思想是在每个控制周期内，利用系统的非线性模型预测未来的动态行为，并通过求解一个优化问题来得到最优控制序列。
这种方法能够显式地处理系统的不确定性和约束，因此非常适合于处理那些对控制性能要求较高、环境复杂多变的实际系统。
含VSC-HVDC的交直流系统可用输电能力计算
含VSC-HVDC的交直流系统可用输电能力计算李国庆;张健【摘要】利用等值电压源方法对电压源换流器进行等效,从而导出了适合于优化计算的电压源换流器型直流输电(VSC-HVDC)系统模型.该模型能够考虑换流器的各种控制方式及运行限制,且可用于多端直流系统.建立了含有VSC-HVDC的交直流系统可用输电能力计算模型,在模型中考虑了对换流器控制变量的多种优化方式,并应用序列二次规划法对模型进行求解.通过对修改后的EPRI-36节点交直流系统进行仿真计算,验证了所提出模型的实用性及算法的有效性.%The voltage source converter is equivalently represented by voltage source model, thus the model of voltage source converter-high voltage direct current (VSC-HVDC) system suitable for optimal power flow calculation is developed.The model considers any control mode and operating limits of the converter: moreover, it could be applied to multi-terminal VSC-HVDC.The mathematical model of ATC for AC/DC systems with VSC-HVDC is set up in this paper, in which various methods for optimizing control variables of converters are considered.Sequential quadratic programming method is applied to calculate the ATC model.The modified EPRI-36 bus AC/DC system is simulated and numerical results illustrate the utility and validity of the proposed model and method.【期刊名称】《电力系统保护与控制》【年(卷),期】2011(039)001【总页数】7页(P46-52)【关键词】可用输电能力;电压源换流器;交直流系统;序列二次规划法【作者】李国庆;张健【作者单位】东北电力大学电气工程学院,吉林,吉林,132012;吉林省电力有限公司调度通信中心,吉林,长春,130021【正文语种】中文【中图分类】TM71在电力市场环境下，电力系统区域间可用输电能力不仅是衡量输电网传输能力的一个重要指标，也可以为判断电网是否安全稳定运行提供依据，而且还能够引导市场参与者进行电力交易、刺激商业竞争以充分利用现有资源。
第四章-序列二次规划
x L( x, , ) 0,
i gi ( x) 0, i 1, ..., m
i 0, i 1, 2, ..., m.
m
l
其中L( x, , ) f ( x) i gi ( x) jhj ( x)为Lagrange函数.
i 1
j1
最优化方法之约束非线性规划
当解(1)得到一个迭代点xk时,为求得下一个更好的迭代点xk1时, 一种自然的想法,就是用问题(1)在xk处的二次规划模型代替 问题(1),以一系列二次规划的解逼近(1)的解,这种方法称为 序列二次规划法( SQP ).
一、搜索方向的确定
当运用SQP方法时, 在x k点处的二次规划一般形式为
最优化方法之约束非线性规划
x1 , x2 0.
取x0 (0, 0)T , 用第一种方法构造H0 ,写出求d 0的二次规划.
解.
f
(
x)
2 x1
2
x2
4
, f
(
x0
)
4
0
2
f
(
x)
2, 0,
0 2
,
2
f
(
x0
)
2, 0,
0 2
最优化方法之约束非线性规划
xk
,
k
,
k
)信息的正定阵.
最优化方法之约束非线性规划
二、步长的确定
步长确定的常用方法： (1).固定步长为1,即xk1 xk d k ; (2).可行性优先准则,即若xk d k为(1)的可行解,则取 xk1 xk d k ;
序列二次规划算法
序列二次规划法求解一般线性优化问题:12min (x)h (x)0,i E {1,...,m }s.t.(x)0,i {1,...,m }i i f g I =∈=⎧⎨≥∈=⎩ (1.1) 基本思想：在每次迭代中通过求解一个二次规划子问题来确定一个下降方向，通过减少价值函数来获取当前迭代点的移动步长，重复这些步骤直到得到原问题的解。
1.1等式约束优化问题的Lagrange-Newton 法考虑等式约束优化问题min (x)s.t.h (x)0,E {1,...,m}j f j =∈=(1.2)其中:,n f R R →:()n i h R R i E →∈都为二阶连续可微的实函数. 记1()((),...,())T m h x h x h x =. 则(1.3)的Lagrange 函数为： 1(,)()*()()*()mT i i i L x u f x u h x f x u h x ==-=-∑（1.3）其中12(,,...,)T m u u u u =为拉格朗日乘子向量。
约束函数()h x 的Jacobi 矩阵为：1()()((),...,())T T m A x h x h x h x =∇=∇∇.对（1.3）求导数，可以得到下列方程组：(,)()A()*(,)0(,)()T x u L x u f x x u L x u L x u h x ∇⎡⎤⎡⎤∇-∇===⎢⎥⎢⎥∇-⎣⎦⎣⎦（1.4）现在考虑用牛顿法求解非线性方程（1.4）.(,)L x u ∇的Jacobi 矩阵为：(,)()(,)()0T W x u A x N x u A x ⎛⎫-= ⎪-⎝⎭（1.5）其中221(,)L(,)()*()mxx iii W x u x u f x u h x ==∇=∇-∇∑是拉格朗日函数L(,)x u 关于x 的Hessen 矩阵.(,)N x u 也称为K-T 矩阵。
对于给定的点(,)k k k z x u =，牛顿法的迭代格式为：1k k k z z z +=+∆. 其中k k (d ,v )k z ∆=是线性方程组k k k k (,)()(x )A(x )u *()0(x )k k k k T T k k d W x u A x f A x v h ⎛⎫-⎛⎫-∇+⎛⎫= ⎪ ⎪ ⎪ ⎪-⎝⎭⎝⎭⎝⎭（1.6）的解。
序列二次规划法
n
（1-10）
其中， E 代表等式约束下的集合， I k 代表不等式约束中起作用约束的下标 集合。
此式即式 （1-8） ， 可以用同样的方法求解。 在求得式 （1-10） 的解 [ S
k 1
, k 1]T
之后，根据 k-t 条件，若解中对应原等式约束条件的乘子不全为零，对应起作用 约束条件的乘子不小于零，则 S 最优解 S * 。 综上所述，在迭代点 X 上先进行矩阵 H 的变更，在构造和求解相应的二 次规划子问题，并该子问题最优解 S * 作为下一次迭代的搜索方向 S 。然后在 该方向上对原非线性最优化问题目标函数进行约束一维搜索， 得到下一个迭代点
此问题是原约束最优化问题的近似问题，但其解不一定是原问题的可行点。 为此，令
S X Xk
将上述二次规划问题变成关于变量的 S 的问题，即
1 min f ( X ) S T 2 f ( X k ) S f ( X k )T S 2 s. t. gu ( X k )T S gu ( X k ) 0 (u 1,2,..., p) hv ( X k )T S hv ( X k ) 0
T
等于 n m 。由线性代数知，此方程要么无解，要么有惟一解。如果有解，利用 消元变换可以方便的地求出该方程的惟一解， 记作 [ S 若此解中的乘子向量
k 1
k 1
根据 k-t 条件， , k 1]T 。
不全为零， 则S 。
k 1
就是等式约束二次规划问题式 （1-8）
的最优解 S * ，即 S* S
2 序列二次规划的研究
最优化理论及方法是一个具有广泛应用背景的研究领域。 它研究诸如从众多 的方案中选出最优方案等问题，常见的各种模型如线性规划，二次规划，非线性 规划， 多目标规划等。 最优化理论及方法已经在经济计划， 工程设计， 生产管理，
非凸优化问题的模型预测控制应用研究
非凸优化问题的模型预测控制应用研究模型预测控制（Model Predictive Control, MPC）是一种基于数学模型的先进控制方法，广泛应用于工业过程、机器人、交通运输等领域。
MPC通过对系统的数学模型进行优化，预测系统未来的行为，然后根据优化结果进行控制决策。
然而，在实际应用中，MPC常常面临非凸优化问题。
本文旨在研究非凸优化问题在MPC中的应用，并对相关方法进行分析与讨论。
一、非凸优化问题概述1.1 非凸优化问题定义与特点在数学中，一个函数被称为凸函数（Convex Function）当且仅当它满足如下定义：对于任意两个点x1和x2以及0≤λ≤1，有f(λx1+(1-λ)x2) ≤ λf(x1) + (1-λ)f(x2)。
而一个函数被称为非凸函数（Non-convex Function）当它不满足上述定义。
非凸优化问题是指目标函数或约束条件中存在非凸函数的最优化问题。
与传统的线性规划或者二次规划等线性或者二次约束最小二乘问题不同，非凸优化问题的特点在于其目标函数或约束条件存在非凸函数，使得问题的求解变得更加困难。
1.2 非凸优化问题的挑战与困难非凸优化问题在求解过程中存在着许多挑战与困难。
首先，非凸优化问题通常具有多个局部最小值点，而不同的初始点可能导致不同的最优解。
其次，非凸函数通常具有复杂的形状和结构，使得求解过程中需要考虑更多的约束条件和变量。
此外，在实际应用中，非凸优化问题往往需要考虑实时性和计算复杂度等因素。
二、模型预测控制与非凸优化2.1 模型预测控制基本原理模型预测控制是一种基于数学模型进行系统控制的方法。
其基本原理是通过对系统进行建模，并使用该模型对未来系统行为进行预测，并根据预测结果进行控制决策。
MPC通过对系统状态、输入和输出等变量进行建模，并结合目标函数和约束条件，在每个时刻计算出最佳控制输入。
2.2 非凸优化在MPC中的应用在MPC中，非凸优化问题常常出现在目标函数或约束条件中。
第十五章序列二次规划法
第十五章序列二次规划法第十五章序列二次规划法考察一般非线性约束最优化问题m in ( )( ) 0 , { 1 , 2 , , }s . t.( ) 0 , { 1 , 2 , , }i eei efxc x i mc x i m mEI m(15.0.1)其中 )( )), ((i xfc i E Ix ??都二阶连续可微 .序列二次规划法(Sequential Quadratic Programming，简称SQP)的基本思想是在当前迭代点 kx 处，以问题 (15.1.1)的 Lagrange 函数 ( , )Lx? 在 ( ),kkx ? 处关于变量 x 的 Taylor 二阶展开式作为目标函数，以约束条件 ( )( )i x i E Ic ??在 kx 处的 Taylor 一阶展开式作为约束条件，构造一个二次规划子问题来获得搜索方向 kd ，它可以看作是求解无约束优化问题的牛顿法(或拟牛顿法 )在约束情形下的推广 . 由于 2 ( , )kkxxLx?? 的计算量比较大且不一定正定，因此，我们一般采用拟牛顿法思想构造正定矩阵序列{}kB ，并以kB 代替 2 ( , )kkxxLx?? ，即由二次规划子问题m i n ( ) ( ) 0 ,s .t . 12() ((,) )0T k Tkk k Tik k Tiiid B d dc xd Ecxfxc x icx dIi(15.0.2)来确定下降方向 kd .在序列二次规划法中，一般采用某种精确罚函数来作为评价算法产生的迭代点 kx 趋近原问题 (15.1.1)最优解 x 的程度的价值函数 .§15.1 Lagrange-Newton 法本节考察仅有等式约束的情形m i n ( )s .t . ( ) 0 , {1 , 2 , , }i Efxc x i m??? ? (15.1.1)第十五章序列二次规划法272 最优化理论与方法 [乌力吉 ]其中 (( )), )(i xfc ix E? 均二阶连续可微 . 其 Lagrange 函数为1(( ), ) ) (miiif x cLx x????? ?. (15.1.2)由第九章可知，在一定条件下， x 是问题 (15.1.1)的局部解的必要条件是存在 m满足 K-K-T 条件1( , ) ( ) ( ) ,(, ),) ( mx i iiL x f x c cx xxL?(15.1.3)这里 12( ) , ( ) ,( ) ( , ( ) ) Tmxcc xcx xc ? ?.Lagrange-Newton 法的基本思想是利用牛顿法求解非线性方程组 (15.1.3)来得到原问题(15.1.1)的 K-K-T 点及其乘子 .§15.1.1 非线性方程组的阻尼 Newton 法我们先来讨论求解一般非线性方程组()Gx?0 (15.1.4)的 Newton 法，其中 : nnG 连续可微 .在当前迭代点 kx 处，将向量值函数 ()Gx 以其在 kx 处的 T aylor 一阶展开式近似代替，求解线性方程组) ( )( ()k k k TG x dd G x G x? ? ? ? ? 0， (15.1.5)其中 12( ) ( ( ) ( ) ( ) )k k k knG x G x G x G x? ? ? ? ??，这个方程组又称为 Newton 方程，当()Gx 的 Jacobi 矩阵 ()kTGx? 可逆时，可解得 Newton 方向1( ) )( ()k k T kG x G xd ??? ? . (15.1.6)Newton 方向 kd 是价值函数21211|| ( ) |() |22 ()imixGx G x? ?? ??(15.1.7)在点 kx 处的下降方向，这是因为§ 15.1 Lagrange-Newton 法最优化理论与方法 [乌力吉 ] 2731( ) ( ) ( ) ( ) ( )k k kmikkiix x G x G x G xG?， (15.1.8)由此得( ) ) ( ) ) ( )(( ()2k T k k T k T k k T k kx d G x d G xG x G x x??? ? ?? ? ? ?， (15.1.9)因此，当 kx 不是非线性方程组 (15.1.4)的解时，必有 ( ) 0k T kx d.求解非线性方程组的经典 Newton 法迭代格式为1k k kxx d? ??. (15.1.10)设 x 为 ()Gx?0 的解， ( )Gx? 可逆，则由 ()Gx 连续可微可知，当kx 充分靠近 x 时，)( kGx? 也可逆，且由 Von-Neumann 引理知，存在 0M? ，使得1|| ( ) ||kG x M，于是11 | | | | | | | | ( ) ) ( ) | || | (k k k k k T kx x d x x G x xx Gx??? ? ? ? ? ? ??1| | ( ) ) | | ( )( | | (( | |))k T k k T kG x G x G x x x?? ? ? ???| | ( ) | | ( | | | | | ) | | ( | | )|kkM G x o x x o x x? ? ? ??， (15.1.11)这表明非线性方程组的牛顿法具有局部超线性收敛速率，特别地，当 ()Gx? 在点 x 处局部Lipschitz 连续时，由定理 1.2.1，有1 | | | | (| | ( ) ) ( ) ( ) | |k k k T kx G x GxM x G x x x? ? ? ? ? ??2(|| || )kO x x??， (15.1.12)这时，非线性方程组的 Newton 法具有局部二阶收敛速率 .算法 15.1（非线性方程组的阻尼 Newton 法）步 1：给定初始点 0 nx?? ，参数 (0,1)?? 和 (0,1)?? ，容许误差0?? ，置 0k? ；步 2：如果 ()kx ，则算法结束，输出近似解 kx ；步 3：确定牛顿方向，从牛顿方程( ) ( )k k TG x G x d?? ? 0 (15.1.13)解出 kd ，并令 1?? ；步 4：沿 kd 进行简单后退线搜索，如果第十五章序列二次规划法274 最优化理论与方法 [乌力吉 ]( ) (1 ) ( )k k kx d x? ? ? ? ?? ? ?， (15.1.14)则令 ? ??? ，转步 4，否则令 k ；步 5：令 1k k kkx x d?? ?? ，置 1kk??，转步 2.定理 15.1.1 设 : n nG 连续可微，如果 ()kGx? 对每个 k 都可逆，且存在 0M? ，使得 1()|| ||kG x M总成立，则算法 15.1 产生的点列 {}kx 的任何聚点都是 ()Gx?0 的解 .证设x 是点列{}kx 的一个聚点，则存在无穷指标集1 {1,2, }K ? ? ，满足1limkkKk xx??? ?， (15.1.15)由于算法 15.1 是下降算法，故由数列 {( )}kx? 单调减少可知( ) ( )limk kxx???? ? . (15.1.16)由于 1()|| ||kG x M，故对每个 1k K? ，都有1 0| | | | | | | | | | | | | |( ) ) ||( ( )k k kG x G x GdM x?? ?? ?，(15.1.17)即1{}k kKd ?有界，从而存在无穷指标集 21K K? ，使得2limkkKk dd??? ?，且由 ()Gx 连续可微，有2( ) ( ) | || | l i m | | 0( ) ( ) | |T k T k kkKkddG x G x G x G x???? ? ? ???，即( ) ( )T dG x G x? ? ?. (15.1.18)再由算法 15.1 步 4 可知，1 )( ) ( ) (1 ( )k k k kkkdx x x? ? ? ? ? ?? ??? ?， (15.1.19)( ) (1 ( ))k k kkkdxx? ? ? ? ?? ??， (15.1.20)其中 ? /kk? ? ?? .下面用反证法来证明定理的结论成立 . 假设 x 不是 ()Gx?0 的解，这时 ( ) 0x? ? ，由不等式 (15.1.19)和极限 (15.1.16)，有 lim 0k k??? ?，因此，§ 15.1 Lagrange-Newton 法最优化理论与方法 [乌力吉 ] 275lim? 0kk ??? ? ， (15.1.21)由此得2( ) ( l im 2) ( ) ( ) ( ) ( )? T T Tk kK kkxx x d G x G x xd d? ? ? ???，从而对充分大的 2k K? ，都有3 (1? ?( )2 ) ( )kkdxx? ? ? ???? . (15.1.22) 由于对任意 (0,1)?? ，有22l i m ( ) l i m ? )? (kkkkk K k Kkkx d x x d? ? ? ???? ? ? ?? ? ? ?，故由 ( ) ( ) ( )Tx G x G x?? ? ? 连续以及2limkkKk dd??? ?，有)? ?| ( ) ( ( ) ( |)k k kkkdx x x xd? ? ? ? ? ?? ? ???|? ?| ( ) ( )k k k T k k Tk k k kddx dx d? ? ? ? ? ? ? ?? ? ? ???( ) ? ? ?|( ( ) )k k k k T kk k kdxx dd? ? ? ? ? ? ?? ? ?? ? ?) (|( ? )?k T kkk d d dx? ? ? ?????( || ) ( ( ) || || ||k k k k kk k kdx x dd? ? ? ? ? ? ?? ??????|| ( ) || || || )kkk ddx d? ? ?? ? ? ??2? )( )( ,kok K k? ?? ??， (15.1.23)其中 (0 ,1), (0 ,1)kk对任意 2k K? 成立，故对充分大的 2k K? ，由不等式 (15.1.20) ,(15.1.23)和 (15.1.22)，有( ) ( ) ( )k k k kkk dx x x? ? ? ? ? ?? ? ??( ) ( ) ( )kkxod x? ? ? ?? ? ??1? ? ? ?( ) ( ) ( ) ( )2k k k kx x o x? ? ? ? ? ? ?? ? ??? ?， (15.1.24)即有 ( ) ( )kxx?? ?? ，对不等式两边取极限，得第十五章序列二次规划法276 最优化理论与方法 [乌力吉 ]1) ( ) 0( x，由于 (0,1)?? ，故 ( ) 0x? ? ，但这与假设矛盾，矛盾表明假设不成立 .§15.1.2 等式约束优化问题的 Lagrange-Newton 法在本节，我们回过头来考察非线性方程组 (15.1.3)1()),(().miiif x c xcx(15.1.25)以 () mnAx 来表示约束函数 ()cx的 Jacobi 矩阵，即12 mA x c x c x c x? ? ? ? ??， (15.1.26)并记1(, ()()( ) ( ) ( , )) m ii xifGxcxcxx c x Lx? ??， (15.1.27)则 (,)Gx? 的 Jacobi 矩阵为2 ( ) ( ))( ,(, )Txx Lx AxxxG A ?? ?????? ?????O . (15.1.28)假设 A (A1) 约束函数 ()cx的 Jacobi 矩阵 ()Ax 是行满秩的；(A2) Lagrange 函数的 Hesse 矩阵 2 ( ),xxLx?? 在切平面 { | }nd Ad? ? 0? 上正定，即有2 ( |, ) 0 },{Tnxx L x dd d dd A?? ? ? ?? ? ?0 0?. (15.1.29)定理 15.1.2 如果问题 (15.1.25)满足假设 A，则 ( , )Gx?? 是可逆矩阵 .证设存在向量 nmd 满足2 ) ( )) (,,()(T xxx dAxddAxLxGx ??? ??? ? ? ? ??? ? ??? ?? ??? ?????? 00O，则由2 (), )( Txx xLx d A x d ??? ? ? 0， (15.1.30)§ 15.1 Lagrange-Newton 法最优化理论与方法 [乌力吉 ] 277()xA x d??0 ， (15.1.31)有2 (, ) ( ) ( ) xT T T Tx x x x xd d d A x d ALx xdd??? ??? ? 0，(15.1.32)这样，由等式 (15.1.31)和 (15.1.32)以及假设 (A2)可知 xd?0 ，将其代入方程等式 (15.1.30)，得()TA x d? ?0 ，而由假设 (A1)可知 ()TAx 是列满秩的，故 d??0 ，从而 ( , )Gx?? 是可逆矩阵 .记1( , ) ( , ) ( , )2 Tx G x G x? ? ? ?? .等式约束优化问题的Lagrange-Newton 法就是通过算法15.1 来求解非线性方程组(15.1.14)来得到约束问题(15.1.3)的K-K-T 点及其乘子，具体算法如下：算法 15.2（等式约束优化问题的 Lagrange-Newton 法）步 1：给定初始点 00)(, nmx ? ??? ，参数 (0,1)?? 和 (0,1)?? ，容许误差 0?? ，置 0k? ；步2：如果(),kkx? ? ?? ，则算法结束，输出近似K-K-T 点对( ),kkx ? ；步 3：确定牛顿方向，从牛顿方程2 ( , () ( ) ( )( )())k k k T k k T kxxxkkdAfdAL x x x A xx c xO 0(15.1.33)解出 , )( kkxd d? ，并令 1?? ；步 4：沿 , )( kkxd d? 进行简单后退线搜索，如果( ) ( 1 ) (,, )k k k k k kxx d d x?? ? ? ? ? ? ? ?? ? ? ?，则令 ? ??? ，转步 4，否则令 k ；步 5：令 1kkk kxx x d?? ?? ， 1kkk kd????? ?? ，置 1kk??，转步 2.这个算法的全局收敛性和局部收敛速率可由§15.1.1 中相应结论得到 .注对于包含不等式约束的优化问题第十五章序列二次规划法278 最优化理论与方法 [乌力吉 ]m in ( )( ) 0 , { 1 , 2 , , }s . t.( ) 0 , { 1 , 2 , , }i eei efxc x i mc x i m mI m我们可以考虑引入松弛变量，使其成为仅具有等式约束的优化问题2m in ( )( ) 0 , { 1 , 2 , , }s. t.( ) 0 , { 1 , 2 , , }eii eiefxc x i mc x y i m m m EI具体讨论读者自己完成 .当我们恒取 1k?? 时，算法 15.2 就变成经典 Newton 法，这时有迭代格式11,.kkkxkx x dd从而，牛顿方程 (15.1.33)可以写成2 ) ( )(,()()()k k k T kxxkkL x x xxc dAA xf? ?? ? ? ?? ? ??? ?? ? ? ???? ??O 0， (15.1.34)由此解出 kkxdd? 和 1 kkkd???? ??.另一方面，我们注意到非线性方程组 (15.1.34) 完全可以看成是二次规划问题21m in ( ) (2s . t., ) ()))( (T k k k Txxkkd f xq d d L x ddx cxA(15.1.35)的一阶必要条件，即为问题 (15.1.20)的 K-K-T 条件 .当假设 A 满足时，非线性方程组 (15.1.34)的唯一解 1)(,kkd ?? 就是凸二次规划问题(15.1.35)的最优解及其乘子 .因此，等式约束优化问题的 Lagrange-Newton 法可以理解为每次求解一个二次规划子问题来得到在当前迭代点 kx 处关于变量 x 的下降方向 kkxdd? 以及1k k kx x d? ??的乘子1k?? .这给了我们一个启示，对于约束优化问题可以通过解一系列这样的二次规划子问题来产生收敛于原问题 K-K-T 点及其 Lagrange 乘子的迭代序列 {}kx 和{}k? ，这就是序列二次规划法的思想来源 .§ 15.2 序列二次规划法最优化理论与方法 [乌力吉 ] 279§15.2 序列二次规划法本节考察一般非线性约束最优化问题m in ( )( ) 0 , { 1 , 2 , , }s . t.( ) 0 , { 1 , 2 , , }i eei ec x i mc x i m mEI m(15.2.1)其中 )( )), ((i xfc i E Ix ??都二阶连续可微 .类似于二次规划子问题(15.1.35)，我们构造一般约束问题(15.2.1)的二次规划子问题()) ( )1m in ( 0 , ,) ( ) 0 , ) 2 (s.t . (T k T kk T k iik T k d f x cdq d d Bc x i Ec d c x i Idxx(15.2.2)其中 kB 是 Lagrange 函数的 Hesse 矩阵 2 ,)( kkxxLx?? 的近似 . 二次规划问题 (15.2.2)的 K-K-T 条件为1( ) ( ) ,( ) ( ) 0 , ,( ) ( ) 0 , 0 , ( ) ( ) .( ) 0 , mkkk i iik T kiik T k k T ki i i i i if x c xx x i Ex x x x IBdc d cc d c c d c i 0(15.2.3)定理 15.2.1 如果 kd 是二次规划问题 (15.2.2)的 K-K-T 点， k? 是相应的乘子，则对于 1l?罚函数() 1|( ) ( ) | ( ) ||kcxP x f x? ? ??? ， (15.2.4)有() 110) | | ( ) | | (( () )kk mk T k k k kk i iid cxd P x d B d xd c?， (15.2.5)其中() 1| | ( ) | | | ( ) | | m i n{ 0 , ( ) } |k iii E i Ic x c x c x| ( ) | m a x{ 0 , ( ) }iii E i Ic x c x????? ?? . (15.2.6) 证对任意 , nyz?? ， [0,1]?? ，有第十五章序列二次规划法280 最优化理论与方法 [乌力吉 ]() 11| | [ ( 1 | m i n{ 0 , ( 1 } |) ] | | )nii iy z y z? ? ? ??? ? ???? ?1 )m a x{ 0 , (1 }ini iyz??? ?? ? ??1 [ ( 1 m a x{ 0 , } m a x{ 0 ,) }]niii yz???? ? ? ? ??11) m i n{ 0 , m i n{ 0}} ,(1nniiiiyz??????? ??( ) ( )11) | || ||(| ||1 yz.因此，由函数 ()1| || |y? 的凸性和 K-K-T 条件知， ()Px? 在 kx 处沿方向 kd 的方向导数( ) ( )1100) ( ) | | ( ) | |()( | | | |l i mkk k k kk T kd P x cd x d xfx cd d?( ) ( )11((|| [ ) ) ] || ( ) |) || |l im() k k T k kk T k c x A x d xf x d c( ) ( )11( ) ( | ( ( ) ) ] || ( ) ||| ) || )[k T k k k T k kf x d x Accx d x? ???????11 ()( ) ( ) | |||miTk k k k kk i iBd c x xcd?? ????? ? ? ???????() 11|() | ( ) | | ( )mk T k k k kk i iicxd B d cx??? ?? ? ? ? ?，其中矩阵 1 2) ( ( ) ( ) ( ) )( kk mkkc x c x xx cA ? ? ? ??，从而定理得证 .定理 15.2.2 如果 kd 是二次规划问题 (15.2.2)的 K-K-T 点， k? 是相应的乘子，则当( ) 0k T kkd B d ? 且 || ||k 时， kd 是 1l? 罚函数 (15.2.4)在kx 处的下降方向 .证由于1 ( ) ( ) ) ( ))( (m k k k k k ki i i i i ii E Iiic x c x c x? ? ?? ? ??? ? ? ??? ?() 1| ( ) || | | | | | |m a x{ 0 , ( ) } ( ) | ||k k k k k ki i i ii EI ic x c x c x? ? ?，故当 ( ) 0k T kkd B d ? 且 || ||k 时，由 (15.2.5)知 ()Px? 在 kx处沿方向 kd 的方向导数§ 15.2 序列二次规划法最优化理论与方法 [乌力吉 ] 281)( 0kkP d ddx?，这表明 kd 是 1l? 罚函数 (15.2.4)在 kx 处的下降方向 .下面给出序列二次规划法的具体算法，这个算法是韩世平于 1976 年提出来的， Powell在 1977 年给出修改方案 . 由于 Wilson 早在 1963 年就讨论过Lagrange-Newton 法，因此，下面的算法也称作 Wilson-Han-Powell 算法 .算法 15.3（序列二次规划法）步 1：给定初始点 0 nx?? ，罚因子 0?? ，步长上限 0?? ，初始矩阵 0 nnB ，初始参数 0 0?? ，容许误差 0?? ，置 0k? ；步 2：求解二次规划子问题 (15.2.2)得到下降方向 kd ，如果|| ||kd ?? ，则算法结束，输出近似 K-K-T 点 kx ；步 3：求出步长 [0, ]k ，使得0) m i(( n)k k k kkkP d P x dx?? ??? ? ???? ? ? ?； (15.2.7)步 4：令 1kk kkx x d?? ?? ；步 5：产生矩阵 1kB? 和参数 1 0k?? ? ；步 6：置 1kk??，转步 2.注（ 1）在算法 15.3 中，价值函数 ()Px? 是 1l? 罚函数 (15.2.4)，正数列 {}k? 满足0k k??. (15.2.8)（2）矩阵1kB? 的计算一般是用拟牛顿迭代公式产生，我们希望它是 2 1 1( , )kkxxLx 的近似，因此可取1 1 11( ) ( ) ( ), )( ()mk k k k k k k k ki i iix x f x f x cs xy cx?? ? ??? ? ? ? ? ? ? ? ? ??， (15.2.9)然后利用拟牛顿公式计算1kB? . 由于上述线搜索过程不能保证( )0k T kys ? ，从而不能直接利用 BFGS 方法 . Powell 在 1978 年给出了一种修正策略，即取) 0 . 2 ( )( 1 ), ( ,, ) 0 . 2(,()k k T k k T kk kk k k T k k T kk k k ky s B sBysy y s y s B ss?? ????? ? ?第十五章序列二次规划法282 最优化理论与方法 [乌力吉 ]其中(0 .8 ()( ) )k T kkk k T k k T kks B ssysBs? ? ?，经过这样的修正，我们就可以用 BFGS 方法 .还有一种修正策略是以1 ( ) ( )? 2mk k k kiii c x c xyy ? ?? ?? ?来取代 ky . 这种做法一般能保证 ?( )0k T ks y ? ，如果 ?( )0k T ks y ? ，则可以通过增大 ? 来实现其反号 .定理 15.2.3 设 ()fx和 ( )( )i x i E Ic ??都连续可微，且存在两个常数 0 mM?? ，使得不等式22|| |||| || T km d Bd M dd?? (15.2.10)对一切 k 和 nd?? 都成立 . 如果不等式 || ||k 对一切 k 都成立，则由算法 15.3 产生的点列 {}kx 的任何聚点都是约束优化问题 (15.2.1)的 K-K-T 点 .证设x 是点列{}kx 的任意一个聚点，且存在无穷指标集0 {1, }2,K ? ? ，使得0limkkkK x x?.由定理的条件可知， {}k? 和 {}kB 都有界从而0{}k kK? ?和0{}k k KB ?都有收敛子列，不妨就设00,lim limkkk kKKBB? ???.由于 kd 是二次规划子问题 (15.2.2)的最优解，从而 kd 满足 K-K-T 条件 (15.2.3). 注意到()fx和 ( )( )i x i E Ic ??都连续可微， kB 满足不等式 (15.2.10)，由线性方程组的扰动理论，我们在 (15.2.3)式中令 k?? ，不难得出lim kkKk dd??? ? ， (15.2.11)且 d 满足 K-K-T 条件§ 15.2 序列二次规划法最优化理论与方法 [乌力吉 ] 2831( ) ( ) ,( ) ( ) 0 , , ( ) ( ) 0 , 0 , ( ) ( ) .( ) 0 , miiiTiiTi i iTi i if x c xx x i ExxBdc d cc d c cdx x Ici(15.2.12)如果 d?0 ，则由 K-K-T 条件 (15.2.12)易见，这时 x 是约束优化问题 (15.2.1)的 K-K-T点，定理得证 .下面讨论 d?0 的情形，这时取 [0, ]? ?? ，满足0) m i((n)P x P xdd????????? ? ?.由于 d 满足 K-K-T 条件 (15.2.12)，其中 ? 是 x 的乘子， 0Td Bd? ，|| ||? ??? ，由定理 15.2.2 可知， d 是目标函数 ()Px? 在 x 处的下降方向，从而有)(()P x P xd.记 ) )0((P x P x d??? ??? ?? ，由于kkd x dx ??? ? ? 0,)( kKk ?? ? ，故对充分大的 0k K? ，有() 2 ()kkPPx d x??? ??? ?. (15.2.13)另一方面，由于1 0) m in(( )( )k k k kkkxxP P d P x? ? ??? ? ? ?? ??? ? ? ? ? 对每个 k 成立，故对任意自然数 k 和 m ， 1mk??，有111( ) )(mmkiikPxxP?? ?. (15.2.14)再注意到不等式 (15.2.8)蕴含对充分大的 k 有2iki ???? ??，因此，对充分大的 k ，我们在不等式 (15.2.14)中令 m?? ，得第十五章序列二次规划法284 最优化理论与方法 [乌力吉 ]11( ) )(k iikP xP x?? ?0 (m i n )kk iikPdx??? ??。
序列二次规划法
min
1 T S HS C T S 2 s. t. AS B Aeq S Beq
（1-5）
求解此二次规划问题，将其最优解 S * 作为原问题的下一个搜索方向 S ， 并在该方向上进行原约束问题目标函数的约束一维搜索， 就可以得到原约束问题 的一个近似解 X
此问题是原约束最优化问题的近似问题，但其解不一定是原问题的可行点。 为此，令
S X Xk
将上述二次规划问题变成关于变量的 S 的问题，即
1 min f ( X ) S T 2 f ( X k ) S f ( X k )T S 2 s. t. gu ( X k )T S gu ( X k ) 0 (u 1,2,..., p) hv ( X k )T S hv ( X k ) 0
k
3 序列二次规划算法推导过程
序列二次规划（SQP）算法是将复杂的非线性约束最优化问题转化为比较 简单的二次规划（QP）问题求解的算法。所谓二次规划问题就是目标函数为二 次函数， 约束函数为线性函数的最优化问题。二次规划问题是最简单的非线性约 束最优化问题。
3.1 序列二次规划算法思想
非线性约束最优化问题：
令
（1-3）
(v 1,2,..., m)
H 2 f ( X k ) C f ( X k ) Aeq [h1 ( X k ), h2 ( X k ),..., hm ( X k )]T A [g1 ( X k ), g 2 ( X k ),..., g p ( X k )]T Beq [h1 ( X k ), h2 ( X k ),..., hm ( X k )]T B [ g1 ( X k ), g 2 ( X k ),..., g p ( X k )]T
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
关于序列二次规划（SQP）算法求解非线性规划问题研究兰州大学硕士学位论文关于序列二次规划（SQP）算法求解非线性规划问题的研究姓名：石国春申请学位级别：硕士专业：数学、运筹学与控制论指导教师：王海明20090602兰州大学2009届硕士学位论文摘要非线性约束优化问题是最一般形式的非线性规划NLP问题，近年来，人们通过对它的研究，提出了解决此类问题的许多方法，如罚函数法，可行方向法，Quadratic及序列二次规划SequentialProgramming简写为SOP方法。
本文主要研究用序列二次规划SOP算法求解不等式约束的非线性规划问题。
SOP算法求解非线性约束优化问题主要通过求解一系列二次规划子问题来实现。
本文基于对大规模约束优化问题的讨论，研究了积极约束集上的SOP 算法。
我们在约束优化问题的s一积极约束集上构造一个二次规划子问题，通过对该二次规划子问题求解，获得一个搜索方向。
利用一般的价值罚函数进行线搜索，得到改进的迭代点。
本文证明了这个算法在一定的条件下是全局收敛的。
关键字：非线性规划，序列二次规划，积极约束集Hl兰州人学2009届硕二t学位论文AbstractNonlinearconstrainedarethemostinoptimizationproblemsgenericsubjectsmathematicalnewmethodsareachievedtosolveprogramming．Recently,Manyasdirectionit，suchfunction，feasiblemethod，sequentialquadraticpenaltyprogramming??forconstrainedInthisthemethodspaper,westudysolvinginequalityabyprogrammingalgorithm．optimizationproblemssequentialquadraticmethodaofSQPgeneratesquadraticprogrammingQPsequencemotivationforthisworkisfromtheofsubproblems．OuroriginatedapplicationsinanactivesetSQPandSQPsolvinglarge-scaleproblems．wepresentstudyforconstrainedestablishontheQPalgorithminequalityoptimization．wesubproblemsactivesetofthesearchdirectionisachievedQPoriginalproblem．AbysolvingandExactfunctionsaslinesearchfunctionsubproblems．wepresentgeneralpenaltyunderobtainabetteriterate．theofourisestablishedglobalconvergencealgorithmsuitableconditions．Keywords：nonlinearprogramming，sequentialquadraticprogrammingalgorithm，activesetlv兰州大学2009届硕士学位论文原创性声明本人郑重声明：本人所呈交的学位论文，是在导师的指导下独立进行研究所取得的成果。
学位论文中引用他人已经发表或未发表的成果、数据、观点等，均己明确注明出处。
除文中已经注明引用的内容外，不包含任何其它个人或集体己经发表或撰写过的科研成果。
对本文的研究成果做出重要贡献的个人和集休，均已在文中以明确方式标明。
本声明的法律责任由本人承担。
oo穸．i，歹论文作者签名：丕!鱼盔日期．2授权声明本人在导师指导下所完成的论文及相关的职务作品，知识产权归属兰州大学。
本人完全了解兰州大学有关保存、使用学位论文的规定，同意学校保存或向国家有关部门或机构送交论文的纸质版和电子版，允许论文被查阅或借阅：本人授权兰州大学可以将本学位论文的全部或部分内容输入有关数据库进行检索，可以采用任何复制手段保存和汇编本学位论文。
本人离校后发表、使用学位论文或与该论文直接相关的学术论文或成果时，第一署名单位仍然为兰州大学。
保密论文在解密后应遵守此规定。
论文作者签名：碰导师签名：硇兰i日期：三竺12：互：fⅡ兰州大学2009届硕’：学位论文第一章绪论非线性规划是计算数学和运筹学交叉的学科，由于非线性规划含有深刻的背景和丰富的内容，已经发展成为运筹学的重要分支，无论是在生产系统管理、工程技术，还是在社会科学中都得到极为广泛的应用。
非线性规划的研究始于1939年，是由w．卡鲁什首次进行的，40年代后期进入系统研究，1951年H．w．库恩和A．W．塔克尔提出最优化的判别条件，从而奠定了非线性规划的理论基础。
近几十年来，许多科学家都投身于最优化的研究，使得其在理论研究和实用算法方面都有很大的发展。
本章我们将大概地回顾一下非线性规划的研究发展过程，在此基础上重点回顾和介绍序列二次规划算法的发展与研究现状。
1．1非线性规划的发展过程求解NLP问题的算法，按照发展的时间顺序和不同的设计思路，可以大致分为以下四类。
l、直接法。
其主要思路是：用求解无约束优化问题的各种直接方法推广到求解一般的非线性约束优化问题。
这类方法对原问题不需要作任何的预处理，在按照某种方式选定了一组测试点之后，所需的仅是计算目标和约束的函数值。
因此，这类方法一般都计算简单、直观性强。
其缺点是计算量大、算法无好的理论依据，往往只能找到问题的一个较好的可行解，即使在特殊情况下能保证算法的收敛性，其收敛速度也只能是线性的。
所以，只要不是没有其它的算法可利用，一般不用这类方法。
2、线性约束问题的算法在非线性约束问题上的推广。
如可行方向法、广义简约梯度法和投影梯度法等。
其主要思路是：用线性约束问题的算法进行处理。
因此，这类方法所产生的迭代点均是问题的可行点。
但是，由于约束函数的非线性性，这些方法的具体实现要比在线性约束上复杂的多，且有效性也没那么好。
这类方法的主要优点是它保持迭代点列的可行性并通常可找到问题的局部最优解，其缺点是有关算法的实现往往很复杂、计算量比较大，且收敛速度通常只能兰州大学2009届硕l：学位论文达到线性收敛。
3、罚函数法。
其主要思路是：把非线性约束优化问题转化为无约束优化问题。
由于早期方法均需要求解一系列无约束的罚函数极小化问题，故通常称之为UnconstrainedMinimization序列无约束极小化方法SequentialTechnique，简称SUMT。
依据方法能否保证迭代点列的可行性，可将这些方法分为三类：内点罚函数法、外点罚函数法以及两者相结合的混合罚函数法。
SUMT类方法的优点是简单易行，可直接利用无约束优化的算法来求解约束优化问题。
在很弱的条件下即可保证算法的收敛性。
缺点是这些方法要求解一系列的无约束优化问题，计算量大且收敛速度慢，后来，人们又提出另外两种类型的罚函数：精确罚函数和乘子罚函数。
精确罚函数是在原目标函数上加一些由约束函数组成的惩罚项而构成，其优点是它的无约束极小点就是原问题的最优解。
而乘子罚函数是在约束问题的拉格朗R函数中增加了一个惩罚项。
这两种方法一直是求解约束问题NLP的主要方法。
4、序列二次规划SQP法。
其主要思路是：利用原来非线性约束优化问题的有关信息来构造某一简单的近似优化问题，通过求解它来给出对当前迭代点的修正，主要用一系列的线性规划或二次规划来逐次逼近原非线性规划问题。
尽管开始时的SOP方法存在着QP子问题可能不可行及马洛托斯Maratos效应等不足，但经过人们对其不断进行改进与进一步的发展，现在，SQP类方法已成为求解非线性约束优化问题的一类非常有效的算法。
它不仅可以求解等式约束优化问题，而且很容易处理不等式约束优化问题。
这类算法不仅具有全局收敛性，而且具有超线性收敛的速度。
1．2序列二次规划SQP的发展与研究现状Newton―Lagrange方法，当时就认为该算法是处理非线性约束优化问题很有效的一种方法。
SOP算法的一般形式为：对于非线性约束优化问题NLPrainfx1．12兰州大学2009届硕上学位论文s．t．c,x--o1．2iEE--1,2，…，他qOzO1．3iEIm，+卜??，m设t是当前问题NLP的迭代点，通过求解二次规划子问题minw瓴rd+昙dr也d1．4SI．iEE1．5cfxk+Vq瓴rd0iEl1．6．q瓴+％亿，d≥0得到一个搜索方向畋，然后经过线搜索求得步长吒，于是下一个迭代点％+，气+吼畋。
这就是SOP算法的一般方法。
早期的SOP算法基本上都是针对带有等式约束的非线性优化问题[15][16]。
量，在文章中他利用厶精确罚函数进行线搜索，在一定的条件下建立了算法的收敛性。
然而在1977年Powell却提出Han构造的二次规划子问题有可能造成可行域为空集，即使原问题的可行域是非空的，而子问题的可行域未必非空。
这时Powell建议在每次迭代时，求解如下修正的二次规划子问题min1．7Vfxkrd+三dr日。
d+丢哦1-g2sj．iEE1．8‖q瓴+Vci五rd--0iEl1．9以q瓴+Vc,瓴rd苫01，瓯。
是罚参数。
这个修正看起来天衣其中肛一：：，三丧；三三，且。
s‖s无缝，然而，Burke和Han1989却通过一个特殊例子说明这个方法并不完美。
Burke和Han的例子：clO--1一矿0c20一工0任意目标函数厂O，在任一不可行点z一0处，子问题都是不可行的。
虽然这个例子很特殊，但至少说明子问题的不可行性不是都能够通过1．8一1．9解决。
3兰州大学2009届硕上学位论文在约束优化中当非光滑的罚函数作为价值函数进行线搜索时，有可能会破坏算法的超线性收敛，即当迭代点趋近最优解时，得不到单位步长。
因此，以后关于SQP算法的研究主要是围绕克服子问题不可行和Maratos 效应这两方面的困难进行的。
在[19][20]中都提出了对于只有不等式约束的非线性规划问题防止子问题不可行的方法，在[20]中，Liu和Yuan提出了通过求解两个子问题来处理不可行的问题，其中两个子问题分别是分段二次子问题和二次子问题。
后来，Zhou在[21]中又给出了改进的SQP算法，他的方法是求解一个有界约束的线性规划问题和一个二次规划问题，总之，这些方法都是通过求若干个子问题来实现。
改了接受试探步的条件。
在一些迭代中利用Lagrange函数Lx，A，0一罗桃O1．10筒作为价值函数，从而放宽选取步长为1的条件，由于Watchdog技术在总体上还是利用厶罚函数判别点的好坏，所以它的总体收敛性仍可保证，因为他在一代点放宽了线搜索条件，所以，在一定条件下可证明它是超线性收敛的。