非线性规划的概念和原理

第五章 非线性规划的概念和原理非线性规划的理论是在线性规划的基础上发展起来的。

1951年，库恩（H.W.Kuhn ）和塔克（A.W.Tucker ）等人提出了非线性规划的最优性条件，为它的发展奠定了基础。

以后随着电子计算机的普遍使用，非线性规划的理论和方法有了很大的发展，其应用的领域也越来越广泛，特别是在军事，经济，管理，生产过程自动化，工程设计和产品优化设计等方面都有着重要的应用。

一般来说，解非线性规划问题要比求解线性规划问题困难得多，而且也不像线性规划那样有统一的数学模型及如单纯形法这一通用解法。

非线性规划的各种算法大都有自己特定的适用范围。

都有一定的局限性，到目前为止还没有适合于各种非线性规划问题的一般算法。

这正是需要人们进一步研究的课题。

5.1 非线性规划的实例及数学模型[例题6.1] 投资问题：假定国家的下一个五年计划内用于发展某种工业的总投资为b 亿元，可供选择兴建的项目共有几个。

已知第j 个项目的投资为j a 亿元，可得收益为j c 亿元，问应如何进行投资，才能使盈利率（即单位投资可得到的收益）为最高？解：令决策变量为j x ，则j x 应满足条件()10j j x x -= 同时j x 应满足约束条件1nj jj a xb =≤∑目标函数是要求盈利率()1121,,,njjj n nj jj c xf x x x a x===∑∑最大。

[例题6.2] 厂址选择问题：设有n 个市场，第j 个市场位置为(),j j p q ，它对某种货物的需要量为j b ()1,2,,j n =。

现计划建立m 个仓库，第i 个仓库的存储容量为i a ()1,2,,i m =。

试确定仓库的位置，使各仓库对各市场的运输量与路程乘积之和为最小。

解：设第i 个仓库的位置为(),i i x y ()1,2,,i m =，第i 个仓库到第j 个市场的货物供应量为i j z ()1,2,,,1,2,,i m j n ==，则第i 个仓库到第j 个市场的距离为i j d =目标函数为1111mnmni ji j i ji j i j zd z =====∑∑∑∑约束条件为：（1） 每个仓库向各市场提供的货物量之和不能超过它的存储容量； （2） 每个市场从各仓库得到的货物量之和应等于它的需要量； （3） 运输量不能为负数。

因此，问题的数学模型为：11min m ni i j z ==∑∑s.t.1niji j za =≤∑,()1,2,,i m =1mijj i zb =≤∑,()1,2,,j n =0ij z ≥,()1,2,,,1,2,,i m j n ==一般非线性规划的数学模型可表示为：()min f x ；s.t. ()0i g X ≥ ()1,2,,i m =, ()0j h X =,()1,2,,j l =式中()12,,,Tn n X x x x R =∈是n 维向量，,i f g ()1,2,,i m =，j h ()1,2,,j l =都是1n R R →的映射（即自变量是n 维向量，因变量是实数的函数关系），且其中至少存在一个非线性映射。

与线性规划类似，把满足约束条件的解称为可行解。

若记()(){}0,1,2,,,0,1,2,,i j X g X i m h X j l χ=≥===则称χ为可行域。

因此上述模型可简记为()min f Xs.t. X χ∈当一个非线性规划问题的自变量X 没有任何约束，或说可行域即是整个n 维向量空间,即nR χ=，则称这样的非线性规划问题为无约束问题：()min f X 或()min nX Rf X ∈ 有约束问题与无约束问题是非线性规划的两大类问题，它们在处理方法上有明显的不同。

5.2 无约束非线性规划问题5.2.1无约束极值条件对于二阶可微的一元函数()f x ，如果x *是局部极小点，则()0f x *'=，并且()0f x *''>；反之，如果()0f x *'=，()0f x *''<，则x *是局部极大点。

关于多元函数，也有与此类似的结果，这就是下述的各定理。

考虑无约束极值问题：()min f x ，n x E ∈定理6.1 （必要条件）设()f x 是n 元可微实函数，如果x *是以上问题的局部极小解，则()0f x *∇=。

定理6.2 （充分条件）设()f x 是n 元二次可微实函数，如果x *是上述问题的局部最小解，则()0f x *∇=，()2f x *∇半正定；反之，如果在x *点有()0f x *∇=，()2f x *∇正定，则x *为严格局部最小解。

定理6.3 设()f x 是n 元可微凸函数，如果()0f x *∇=，则x *是上述问题的最小解。

[例题6.3] 试求二次函数()22121122,282420f x x x x x x =-+-+的极小点。

解：由极值存在的必要条件求出稳定点：1148f x x ∂=-∂， 2244f x x ∂=-∂，则由()0f x ∇=得12x =，21x = 再用充分条件进行检验：2214f x ∂=∂，2224f x ∂=∂，2212210f f x x x x ∂∂==∂∂∂∂，则由24004f ⎛⎫∇= ⎪⎝⎭为正定矩阵得极小点为()2,1Tx *=。

5.2.3无约束极值问题的解法5.2.3.1梯度法 （i ） 给定初始点()0X ，0ε>；（ii ）计算()()k f X和()()k f X ∇，若()()2k f X ε∇≤，迭代停止，得近似极小点()kX 和近似极小值()()kf X ；否则，进行下一步；（iii ） 做一维搜索或取()()()()()()()()()()2Tk kkTkk kf Xf X f X f X f X λ∇∇=∇∇∇作为近似最佳步长，并计算()()()()1k k k k X X f X λ+=-∇，令1k k =+，转向第二步。

[例题6.4] 求解无约束极值问题 ()()()2212min 21f X x x =-+- 解：取()()00,0TX=，()()()()1222,21Tf X x x ∇=--，则()()()04,2Tf X ∇=--，()()022002f X ⎛⎫∇= ⎪⎝⎭()()()()()()()()()()0000212TTf Xf X f X f X f X λ∇∇==∇∇∇，()()()()()10002,1TX X f X λ=-∇=，()()()10,0Tf X ∇=，故()1X 为极值点，极小值为()()10f X=。

5.2.3.2牛顿法对正定二次函数，()12TT f X X AX B X c =++，其中A 为n 阶方阵，B 为n 维列向量，c 为常数，设X *为其极小点，则()0f XAXB **∇=+=，所以AX B *=-；任给n)0(E X ∈，()()()00f X AX B ∇=+，消去B ，得()()()00f X AX AX *∇=-所以 ()()()001X XA f X *-=-∇，这说明，从任意近似点出发，沿()()01A f X --∇方向搜索，步长为1，一步即可达极小点。

[例题6.5] 求解无约束极值问题()2212min 5f X x x =+解：任取()()02,1TX=，()()()04,10T f X ∇=，20010A ⎛⎫= ⎪⎝⎭，11021010A -⎛⎫ ⎪=⎪ ⎪ ⎪⎝⎭， ()()()()0010,0TX X A f X *-=-∇=由()()0,0Tf X*∇=可知，x *确实为极小点。

牛顿法与梯度法的搜索方向不同，优点是收敛速度快，但有时不好用而需采取改进措施，当维数较高时，1A -的计算量很大。

5.3 约束非线性规划问题前面我们介绍了无约束问题的最优化方法，但实际问题中，大多数都是有约束条件的问题。

求解带有约束条件的问题比起无约束问题要困难得多，也复杂得多。

在每次迭代时，不仅要使目标函数值有所下降，而且要使迭代点都落在可行域内（个别算法除外）。

求解带有约束的极值问题常用方法是：将约束问题化为一个或一系列的无约束极值问题；将非线性规划化为近似的线性规划；将复杂问题变为较简单问题等等。

5.3.1凸规划问题约束问题的情况较为复杂，先讨论其中的一种较为特殊的情况，即凸规划问题。

一般来说，非线性规划的局部最优解和全局最优解是不同的，但是，对凸规划问题，局部最优解就是全局最优解。

定义 6.1设()f X 为定义在非空凸集nS E ⊆上的实值函数，如果对于任意的两点()1X S ∈，()2X S ∈和任意实数()0,1λ∈，恒有()()()()()()()()()121211f X X f X f X λλλλ+-≤+-则称()f X 为S 上的凸函数。

定理6.4 设S 是n 维欧氏空间n E 上的一个开凸集，()f X 是定义在S 上的具有二阶连续导数的函数，那么，()f X 在S 上为凸函数的充要条件是：对所有X S ∈，海赛矩阵()2f X ∇都是半正定的；如果对所有的X S ∈，()2f X ∇都是正定的，则()f X 在S 上为严格凸函数。

定义6.2 非线性规划问题：()min f X ，n X E ∈s.t. ()0,1,2,,i g X i m ≤= ()0,1,2,,j h X j p ==中，如果()f X 和()i g X （1,2,,i m =）为x 的凸函数，()j h X （1,2,,j p =）为X的线性函数，则称此问题为一凸规划问题。

凸规划具有两个重要性质：1． 凸规划的可行集是凸集证：设凸规划的可行集为S ，即()(){}0,1,2,,;0,1,2,,;i j n S X g X i m h X j p X E =≤===∈其中()i g X （1,2,,i m =）为X 的凸函数，()j h X （1,2,,j p =）为X 的线性函数。

对于任意的()1X S ∈，()2X S ∈和任意实数()0,1λ∈，利用()i g X （1,2,,i m =）的凸性，对()()()121X XX λλ=+-，有()()()()()()()()()()121211i i i g X g X X g X g X λλλλ=+-≤+-但()()10i g X≤，()()20ig X ≤所以()0i g X ≤ 同理()0j h X = 因此，()()()121X X X S λλ=+-∈，故S 为凸集。

2． 凸规划的局部最小解就是它的全局最小解证：用反证法。

设X *是凸规划的一个局部最小解，X 是它的全局最小解，但X X *≠。

因为 X S *∈，X S ∈，所以()0,1λ∀∈，()1X X X S λλ*=+-∈由()f X 为凸函数得，()()()()()()11f X f X X f X f X λλλλ**=+-≤+-因为X 是一个全局最小解，所以()()()()()()()()11f X f X f X f X f X f X λλλλ****≤+-<+-=此式对一切()0,1λ∈都成立。