第四章 非线性规划 山大刁在筠 运筹学讲义教学内容

第四章 非线性规划

教学重点：凸规划及其性质，无约束最优化问题的最优性条件及最速下降法，约束最优化问题的最优性条件及简约梯度法。

教学难点：约束最优化问题的最优性条件。 教学课时：24学时

主要教学环节的组织：在详细讲解各种算法的基础上，结合例题，给学生以具体的认识，再通过大量习题加以巩固，也可以应用软件包解决一些问题。

第一节 基本概念

教学重点：非线性规划问题的引入，非线性方法概述。 教学难点：无。 教学课时：2学时

主要教学环节的组织：通过具体问题引入非线性规划模型，在具体讲述非线性规划方法的求解难题。

1、非线性规划问题举例 例1 曲线最优拟合问题 已知某物体的温度?

与时间t 之间有如下形式的经验函数关系：

3

12c t c c t e φ=++ （*）

其中1c ，2c ，3c 是待定参数。现通过测试获得n 组?与t 之间的实验数据),(i i t ?，

i=1，2，…,n 。试确定参数1c ，2c ，3c ，使理论曲线(*)尽可能地与n 个测试点

),(i i t ?拟合。

∑=++-n

1i 221)]([ min 3i t c i i e t c c ?

例 2 构件容积问题

通过分析我们可以得到如下的规划模型：

???

????≥≥=++++=0

,0 2 ..)3/1( max 212

121222211221x x S x x x x a x x t s x x a V ππππ 基本概念

设n T n R x x x ∈=),...,(1，R R q j x h p i x g x f n j i α:,...,1),(;,...,1),();(==, 如下的数学模型称为数学规划(Mathematical Programming, MP)：

??

?

??===≤q j x h p i x g t s x f j i ,...,1,0)( ,...,1,0)( ..)

( min 约束集或可行域

X x ∈? MP 的可行解或可行点

MP 中目标函数和约束函数中至少有一个不是x 的线性函数，称(MP)为非线性规划

令 T p x g x g x g ))(),...,(()(1=

T p x h x h x h ))(),...,(()(1=，

其中，q n p n

R R h R R

g αα:,:，那么(MP )可简记为

??

?

??≤≤ 0)( 0 ..)( min x h g(x)t s x f 或者 )(min x f X

x ∈ 当p=0,q=0时，称为无约束非线性规划或者无约束最优化问题。

否则，称为约束非线性规划或者约束最优化问题。 定义4.1.1 对于非线性规划(MP )，若X x ∈*，并且有

X ),()(*∈?≤x x f x f

设计一个右图所示的由圆锥和圆柱面 围成的构件，要求构件的表面积为S ， 圆锥部分的高h 和圆柱部分的高x 2之 比为a 。确定构件尺寸，使其容积最 大。

则称*x 是(MP )的整体最优解或整体极小点，称)(*x f 是 (MP )的整体最优值或整体极小值。如果有

** ),()(x x X,x x f x f ≠∈?<

则称*x 是(MP )的严格整体最优解或严格整体极小点，称

)(*x f 是(MP )的严格整体最优值或严格整体极小值。

定义 4.1.2 对于非线性规划(MP )，若X x ∈*，并且存在*x 的一个 领域}

{),0( )(**R x x R x x N n ∈><-∈=δδδδ，使

I X x N x x f x f )( ),()(**δ∈?≤，

则称*x 是(MP )的局部最优解或局部极小点，称)(*x f 是(MP )的局部 最优值或局部极小点。如果有

I *** ,)( ),()(x x X x N x x f x f ≠∈?<δ，

则称*x 是(MP )的严格局部最优解或严格局部极小点，称)(*x f 是(MP ) 的严格局部最优值或严格局部极小点。

定义 4.1.3 设0,,,:≠∈∈p R p R x R R f n n n α，若存在0>δ ，使

),0( ),()(δ∈?<+t x f tp x f

则称向量p 是函数f(x)在点x 处的下降方向。

定义 4.1.4 设0,,,≠∈∈?p R p X x R X n n ，若存在0>t ，使

X tp x ∈+

则称向量p 是函数f(x)在点x 处关于X 的可行方向。 一般解非线性规划问题的迭代方法的步骤：

第一步：选取初始点0,:0x k =； 第二步：构造搜索方向k p ； 第三步：根据k p ，确定步长k t ；

第四步：令1k k k k x x t p +=+若1k x +已满足某种终止条件，停止迭代，输出近似最优解1k x +，否则令:1k k =+，转回第二步。

常用规则：

1、相邻两次迭代点的绝对差小于给定误差，即1k k x x ε+-<；

2、相邻两次迭代点的相对差小于给定误差，即

1k k

k

x x x ε+-<；

3、()k f x ε?<；

4、1()()k k f x f x ε+-<

第二节 凸函数和凸规划

教学重点：凸函数的概念及性质，凸规划的概念、性质及判定。 教学难点：凸规划的概念及性质。 教学课时：4学时

主要教学环节的组织：首先介绍凸函数的定义，然后给出凸函数及凸规划的性质。

凸函数的定义及性质：

定义 4.2.1 设n R S ?是非空凸集，R S f α:，如果对任意的)1,0(∈α有

)()1()())1((2121x f x f x x f αααα-+≤-+，S x x ∈?21,

则称f 是S 上的凸函数，或f 在S 上是凸的。如果对于任意的)1,0(∈α有

)()1()())1((2121x f x f x x f αααα-+<-+，21x x ≠

则称f 是S 上的严格凸函数，或f 在S 上是严格凸的。

若-f 是S 上的（严格）凸函数，则称f 是S 上的（严格）凹函数， 或f 在S 上是（严格）凹的。

凸函数的性质：

定理 4.2.1 设n R S ?是非空凸集。

（1）若R R f n α:是S 上的凸函数，0≥α，则 f α是S 上的凸函数； （2）若R R f f n α:,21都是S 上的凸函数，则21f f +是S 上的凸函数。 定理 4.2.2 设n R S ?是非空凸集，R R f n α:是凸函数，R c ∈，则集合

}{c x f

S x c f H S ≤∈=)(),(

是凸集。

注：一般来说上述定理的逆是不成立的。

(a) 凸函数 (b)凹函数

定理 4.2.3 设n R S ?是非空开凸集，R S f α:可微，则 （1） f 是S 上的凸函数的充要条件是

)()()()(12121x f x f x x x f T -≤-?， S x x ∈?21,

其中T n

x

x f x x f x f ))(,....,)(()(1111

????=?是函数f 在点1

x 处的一阶 导数或梯度。

（2） f 是S 上的严格凸函数的充要条件是

)()()()(12121x f x f x x x f T -<-?， 2121,, x x S x x ≠∈?

证明

（1）. 必要性.设f 是S 上的凸函数，对(0,1)α?∈有：

212112((1))()(1)(),,f x x f x f x x x S αααα+-≤+- ?∈

故

121121(())()

()()f x x x f x f x f x αα

+--≤-

（4.2.3）

由多元函数Taylor 展开式可知：

121112121(())()()()(())T f x x x f x f x x x x x ααοα+--=?-+-

将其带入（4.2.3）并令αο+→便便可得到

12121()()()()T f x x x f x f x ?-≤-

充分性.设

1212112()()()(),T f x x x f x f x x x S ?-≤- ?∈

对(0,1),α?∈取12(1)x x x αα=+-，由S 凸知x S ∈，对12,,x x S x x S ∈∈和分别有： 111()()()(),T f x f x x x f x x S +?-≤ ?∈

（4.2.4）

和

222()()()(),T f x f x x x f x x S +?-≤ ?∈ （4.2.5）

将（4.2.4）乘以α，（4.2.5）乘以(1)α-，两式相加得到

12121212((1))()()()((1))()(1)(),,T f x x f x f x f x x x x f x f x x x S

αααααα+-==+?+--≤+- ?∈

（2）. 证明和（1）类似.

定理 4.2.4 设n R S ?是非空开凸集，R S f α:二阶连续可导，则f 是S 上的凸函数的充要条件是f 的Hesse 矩阵)(2x f ?在S 上是半正定的。

当)(2x f ?在S 上是正定矩阵时，f 是S 上的严格凸函数。（注意：该逆命题不成立。）

??

?

??

??

?

??

?

?

????????????????????????????????????=?2

2221

2

222

221

22

122122

122

)()()(....)(...)()()(....)()

()(n n n n n x x f x x x f x x x f x x x f x x f x

x x f x x x f x x x f x x f x f 凸规划及其性质

??

?

??===≤q

j x h p i x g t s x f j i ,...10,)( (MP) ,...,1,0)( ..)

( min ??

????????===≤∈=q j x h p i x g R x X j i n

,...,1,0)(,...,1,0)( 约束集

如果(MP)的约束集X 是凸集，目标函数f 是X 上的凸函数，则(MP)叫做非线性

凸规划，或简称为凸规划。 凸规划的性质

定理 4.2.5 对于非线性规划(MP)，若p i x g i ,...,1),(= 皆为n R 上的凸函数，q j x h j ,...,1),(=皆为线性函数， 并且f 是X 上的凸函数，则(MP)是凸规划。

定理 4.2.6 凸规划的任一局部最优解都是它的整体最优解。

证明：设*x 是凸规划（MP ）的一个局部解，存在则*x 的临域*()N x δ使得

**()(),()f x f x x X N x δ≤ ?∈I

若*x 不是（MP ）的整数最优解，则存在x X ∈，使

*()()f x f x <

又因为f 是凸函数，有

*****((1))()(1)()()(1)()()f x x f x f x f x f x f x αααααα+-≤+-<+-=

显然，当α充分小时，有

**(1)()x x X N x δαα+-∈I

出现矛盾。

例 4.2.3 验证下列（MP ）是凸规划 解答：将二次目标函数改写为：

1112312322334111(,,)(,,)120(1,2,0)2104x x f x x x x x x x x x x -??????

??? ?

=-+ ??? ? ??? ?

??????

由例4.2.2知f 的 Hesse 矩阵为：

2411120104f -?? ?

?=- ? ???

2f ?的一、二、三阶顺序主子式分别为：

411

41

40,70,1202612

104

--> => -=-

2f ?正定，f 为凸函数。

而21200()020000g x ?? ?

?= ? ???

半正定，1g ()x 是凸函数。其他约束条件均为线性。故改

（MP ）为凸规划。

第三节 一维搜索

教学重点：0.618法，牛顿法，非精确一维搜索方法。 教学难点：0.618法和牛顿法。 教学课时：4学时

主要教学环节的组织：首先介绍凸函数的定义，然后给出凸函数及凸规划的性质。

目标函数为单变量的非线性规划问题称为一维搜索问题(或线性搜索问题)，其数学模型为

(t) min )

0(0 max ?t t t ≤≤≥，

其中R t ∈。 1、0.618法

函数)(t ?称为在[a,b]上是单谷的，如果存在一个],[*b a t ∈，使得)(t ?在],[*t a 上严格递减，且在],[*b t 上严格递增。区间[a,b]称为)(t ?的单谷区间。 第一步： 插入[][]1221,,,t t a t t b 使等长度，令

21

12(1)(),()t a b t w t a w b a t a w b a b a b a

--=

=?=+-- =+--- 第二步： 使区间缩小同样的比例w ，不妨设新区间为[]2,a t 设插入12,t t ''，则

212212222()()

()

t a w b a w b a t a t t w t a t a t a w b a ?'''=+-----?==??

--'=+-?? 若令11t t '=，则有1w =；若令21t t '=，则有0.618w = 以后类似迭代

算法的具体步骤：

第1步 确定单谷区间[a,b]，给定最后区间精度0>ε; 第2步 计算最初两个探索点

)(618.0)(382.01a b b a b a t --=-+= )(618.02a b a t -+=

并计算)(11t ??=，)(22t ??=；

第3步 若21??≤，转第4步。否则转第5步；

第4步 若ε≤-a t 2，停止迭代，输出1t 。否则令2:t b =，

12:t t =，)(618.0:1a b b t --=，12:??=，计算)(11t ??=，转第3步；

第5步 若ε≤-1t b ，停止迭代，输出2t 。否则令1:t a =，

21:t t =，)(618.0:2a b a t -+=，21:??=，计算)(22t ??=，转第3步。

? 例4.3.1 用0.618法求解的单谷区间为[0,3]，

所要求的区间精度，需要的迭代次数是可以预估的。另外若每次每次迭代按不同比例缩小搜索区间，但仍要求每次迭代只计算一个函数值，且希望在搜索点个数相同的情况下使最终的搜索区间的长度最小，按此要求设计的方法是Fibonacci 法

2、牛顿法

考虑一维搜索问题)( min t ?，其中)(t ?是二次可微的，且0)(≠''t ?。 Newton 法的基本思想是：用)(t ?在探索点k t 处的二阶泰勒展开式()g t 来替代

)(t ?，然后用()g t 的最小点作为新的探索点1k t +.据此，可得：

11()

()

k k k k t t t t ??++'=-

''

开始时给定一个初始点1t ，然后按照上式进行迭代计算，当()k t ?ε'<时，终止迭代，k t 为()t ?的最小点的近似。 Newton 法步骤

第1步 给定初始点1t ，0,:1k ε>=；

第2步 如果()k t ?ε'<，停止迭代，输出k t .否则，当()0k t ?''=时，停止，

解题失败；当()0k t ?''≠时，转下一步；

第3步 计算1()

()

k k k k t t t t ??+'=-''，如果1k k t t ε+-<，停止迭代，输出1k t +，

否则1k k :=+，转至第2步；

例 用牛顿法求下题。

解：首先求出

2

1

()arctan ()1t t t t

??'''= =

+， 取11t =，计算结果列于下表

用数学分析方法知，()t

?的精确最优解是*0t =，用Newton 法迭代三此后就已经十分接近该最优解。 但是取12t =，则有：

点列{}k t 不收敛于*0t =

从任意初始点开始的Newton 法产生的点列，一般来说不一定收敛，即使收敛，其极限点也不一定是 的极小点，只能保证它是

的驻点。但当初始点充分接近 时，可以证明Newton 法是收敛的。 非精确一维搜索： 3、Goldstein 法思想

预先指定两个数12,m m 满足1201m m <<<，用一下两个式子限定k t

1()(0)(0)k k t m t ???'≤+ （4.3.10）

2()(0)(0)k k t m t ???'≥+ （4.3.11）

（4.3.10）式所限定的k t 是使()k t ?位于直线1(0)(0)y m t ??'=+之下的点，

用以控制k t 不太大；（4.3.11）用于限定k t 使()k t ?位于直线2(0)(0)y m t ??'=+ 之上的点，用以控制k t 不太小.

第1步 给定满足1021<<α； 初始探索点),0(0+∞∈t （或],0(max t ）。令+∞==:,0:00b a （或max t ），0:=k 第2步 计算)(k t ?

若)0()0()(1???'+≤k k t m t ，进行第3步；否则，令k k k k t b a a ==++:,:11 转第4步；

第3步 若)0()0()(2???'+≥k k t m t ，停止迭代，输出k t 。否则，令

k k k k b b t a ==++:,:11

若+∞<+1k b ，进行第4步；否则，令1:,:1+==+k k t t k k α，转第2步； 第4步 取2

:1

11++++=k k k b a t ，令1:+=k k ，转第2步。

例 用 法 求解下题

解答：取00:0,:,a b ==+∞并且(0)1,(0)2,??'==-因为0()5t ?=，

010()5(0)(0)0.2t m t ???'=>+=

令

1010:0:2a a b t == ==

由于12b =<+∞，选取新探索点

11

112

a B t +=

= 并计算1()0t ?=，因为有

111()0(0)(0)0.6t m t ???'=≤+=

和

121()0(0)(0)0.4t m t ???'=≥+=-

停止迭代，得到非精确解11t =

4.Armijo 法

取定01m M <<<，用以下两个式子限定k t 不太大也不太小： ()(0)(0)k k t mt ???'≤+

(0.0.1)

()(0)(0)k k Mt mMt ???'>+

(0.0.2)

第四节 无约束最优化问题

教学重点：无约束最优化问题的最优性条件，最速下降法。 教学难点：最速下降法。 教学课时：6学时

主要教学环节的组织：首先给出无约束最优化条件，然后介绍无约束最优化问题的两种算法，最速下降法、共轭方向法。 1 无约束问题的最优性条件

定理4.4.1 设R R f n α:在点n R x ∈处可微。若存在n R p ∈，使

0)(

则向量p 是f 在点x 处的下降方向。 证：因为f 在点x 处可微，有泰勒展开，

()()()()T f x tp f x t f x p tp ο+=+?+ （4.4.1） 由于()0,0T f x p t ?<>，因而()0T t f x p ?<，则存在0δ>，对

(0,)t δ?∈有

()()0T t f x p tp ο?+<

由（4.4.1）

()(),(0,)f x tp f x t δ+< ?∈

由定义知p 是f 在点x 的处下降方向

定理 4.4.2 设R R f n α:在点n R x ∈处可微。若*x 是(UMP)的局部最优解，则

0)(*=?x f

定理4.4.3 设R R f n α:在点n R x ∈处的Hesse 矩阵)(*2x f ?存在。若

0)(*=?x f ，并且)(*2x f ?正定

则*x 是(UMP)的局部最优解。

定理4.4.4 设R R f n α:，n R x ∈*，f 是n R 上得可微 凸函数。若有0)(*=?x f 则*x 是(UMP)的整体最优解。

证：因为f 是n R 上的可微凸函数，由定理4.2.3知

***()()()(),T n f x x x f x f x x R ?-≤- ?∈

由于*()0f x ?=，因而推知

*()(,)n f x f x x R ≤ ?∈

由此*x 是（UMP ）问题的整数最优解 2 最速下降法

设（NMP ）问题中的目标函数R R f n α:一阶连续可微

最速下降法基本思想：从当前点k x 出发，取函数()f x 在点k x 处下降最快的方向作为我们的搜索方向k p ，由()f x 的Taylor 展开式知

()()()()k k k k T k k f x f x tp t f x p tp ο-+=-?+

忽略t 的高阶无穷小项，可见取()k k p f x =-?时，函数值下降的最多。 最速下降法的计算步骤：

第1步 选取初始点0x ，给定终止误差0>ε，令0:=k ；

第2步 计算)(k x f ?，若ε≤?)(k x f ，停止迭代，输出k x 。否则进行第3步； 第3步 取)(k k x f p -?=

第4步 进行一维搜索，求k t ，使得)(min )(0

k k t k k k tp x f p t x f +=+≥

令k k k k p t x x +=+1，1:+=k k ，转第2步。 例4.4.2 用最速下降法求解如下（UMP ）问题

22

1212min (,)25f x x x x =+

取初始点0(2,2),T x =终止误差610ε-= 显然，该问题的整体最优解为*(0,0)T x = 下面用最速下降法求解. 由1212

()(

,)(2,50)T

T f f f x x x x x ???==?? 构造负梯度方向

00()(4,100)T p f x =-?=-

则0022()(24)25(2100)f x tp t t +=-+-

令

00()

0df x tp dt

+=，解得：00.020037t ≈， 所以100024 1.9198780.020********.003070x x t p -??????

=+=+= ? ? ?--??????

重复上述过程，经十轮迭代可得满足误差610ε-=要求的解。

最速下降法算法分析：

1）随着迭代次数的增加，收敛速度越来越慢； 2）最速下降法的相邻两个搜索方向是彼此正交的； 3）具有全局收敛性。 3 共轭方向法

定义 4.4.1 设A 为n 阶实对称，对于非零向量n R q p ∈,，若有

0=Aq p T

则称p 和q 是相互A 共轭的。对于非零向量组1,...,1,0,-=∈n i R p n i ，若有

j i n j i Ap p j T i ≠-== 1,...,1,0, ,0)(

则称n p p p ,...,,10是A 共轭方向组，也称它们为一组A 共轭方向。

定理4.4.5 设A 是n 阶实对称正定矩阵，)1,...,1,0(-=∈n i R p n i 是非零向量。若110,...,,-n p p p 是一组A 共轭方向，则它们一定是线性无关的。 考虑二次严格凸函数的无约束最优化问题：

c x b Ax x x f T T

++=

2

1)( min （AP ） 其中A 是n 阶实对称正定矩阵，n R b ∈，R c ∈

定理 4.4.6 对于问题(AP)，若110,...,,-n p p p 为任意一组A 共轭方向，则由任意初始点n R x ∈0出发，依次沿110,...,,-n p p p 进行精确一维搜索，则最多经n 次迭代可达(AP)的整体最优解。

共轭方向法-步骤

第1步 选取初始点0x ，给定终止误差0>ε；

第2步 计算)(0x f ?，若ε≤?)(0x f ，停止迭代，输出0x ；否则，进行第3

步；

第3步 取)(00x f p -?=，令0:=k ；

第4步 进行一维搜索求k t 使得)(min )(0

k k t k k k tp x f p t x f +=+≥，令

k k k k p t x x +=+1；

第5步 计算)(1+?k x f ，若ε≤?+)(1k x f ，停止迭代，输出1+k x ；否则，进行第6步；

第6步 若k+1=n ，令n x x =:0，转第3步；否则进行第7步；

第7步 用F-R 公式取k k k k p x f p λ+-?=++)(11，其中2

2

1)

()

(k

k k x f x

f ??=+λ。令

k:=k+1，转第4步。

例 用F-R 法求解如下（UMP ）问题

22

1212min (,)25f x x x x =+

取初始点0(2,2),T x =终止误差610ε-=

解： F-R 方法的第一轮迭代与最速下降法相同，由例4.4.2知

00()(4,100)T p f x =-?=-

1

024 1.9198780.020********.003070x x t p -??????

=+=+= ? ? ?--??????

1()(3.83975,0.15359)f x ?=-

下面利用F-R 公式（4.4.9）构造新的共轭方向，其中：2102

()0.001472()

f x f x λ?=

=?

所以1100 3.84565()0.00615p f x p λ-??

=-?+= ???

令

11()0df x tp dt +=，有10.49923t =，因而得到下一个迭代点211

100x x t p ??=+= ???, 由于2()0f x ε?=<，停止迭代，输出整体最优解2(0,0)T x = 共轭方向法-算法分析：

1）F-R法具有二次终止性。对一般可微函数的无约束优化问题，当函数满足一定的条件时，可以证明F-R方法具有全局收敛性其收敛速度比最速下降法快；2）F-R法强烈依赖于一位搜索的精确性。

第五节 约束最优化方法

教学重点：约束最优化问题的最优性条件，简约梯度法和惩罚函数法。 教学难点：约束最优化问题的最优性条件。 教学课时：8学时

主要教学环节的组织：首先给出约束最优化问题的最优性条件即K_T 条件，然后介绍两种约束最优化方法：简约梯度法和惩罚函数法。 1、约束最优化问题的最优性条件

给定约束最优化问题：

??

???===≤

,...,1 0)( 1 0)( ..)

( min q j x h ,...,p i x g t s x f j i 其中 q j R R h p i R R g R R f R x n j n

i n n ,...,1 :,...,1 ,: : ,==∈ααα }

{

q j x h p i x g R x X j i n

,...,1,0)(,,...,1,0)((MP)===≤∈=问题的可行区域为

设

J

j x h q J X x j ∈==∈? ,0)(},,2,1{, *

*，即满足令对Λ

积极约束：称使(*)0i g x =的约束()0i g x ≤为点*x 的一个积极约束。 我们记积极约束的下标集为：(*){(*)0,}i I x i g x i I ==∈ K-T 条件：

定理 4.5.1 设R R f n α:和)(,:*x I i R R g n i ∈α在点*x 处可微，

)(\,*x I I i g i ∈在点*x 处连续，J j R R h n j ∈,:α在点*x 处连续可微，并且各

J j x h x I i x g j i ∈?∈? ),( ),( ),(***线性无关。若*x 是(MP)的局部最优解，则存

在两组实数)(,**x I i i ∈λ和J j j ∈,*

μ，使得：

????

?∈≥=?+?+?∑∑∈∈)(

,00)()()(****)(**

**x I i x h x g x f i J j j j x I i i i λμλ “向量组J j x h x I i x g j i ∈?∈? ),( ),( ),(***线性无关”—这个条件称为约束规范条件

其几何意义可以用下图来说明。

若定理4.5.1中进一步要求(),i g x i I ∈在点*x 处均可微，则K-T 条件可简便写为

*

*

*

**1

1

***()()()0

()0,1,,0,1,,p

q

i

i j j i j i i i f x g x h x g x i p i p

λμλλ==?+?+?=?= =≥ =∑∑L L （4.5.8）

其中**()0,i i g x i I λ?= ∈为互补松紧条件 例4.5.1用K-T 条件求解下列问题

解：问题（4.5.1）的Lagrange 函数为：

2212112213212(,,)(1)(2)(2)()()(1)

L x x x x x x x x x λμλλλμ=-+-++-+- +-+-+-

得到K-T 条件如下

图4.5.1