第1章高等数学规划预备知识

第1章 预备知识

§1.1 基本概念与术语

1.1.1 数学规划问题举例

例1 食谱（配食）问题

● 假设市场上有n 种不同的食物，第j 种食物每个单位的销售价为),,2,1(n j c j 。 ● 人体在正常生命活动过程中需要m 种基本的营养成分。为了保证人体的健康，一个人

每天至少需要摄入第i 种营养成分),,2,1(m i b i 个单位。 ● 第j 种食物的每个单位包含第i 种营养成分ij a 个单位。

食谱（配食）问题就是要求在满足人体基本营养需求的前提下，寻找最经济的配食方案（食谱）。

建立食谱的数学模型

引入决策变量i x ：食谱中第i 种食物的单位数量

i n

i i x c 1

min

s.t.m i b x a i j n

j ij ,,2,1

,1

n j x j ,,2,1 ,0

例2 选址与运输问题

● 假设某大型建筑公司有m 个项目在不同的地点同时开工建设.记工地的位置分别为

m i b a P i i i ,,2,1 ),,( .

● 第i 个工地对某种建筑材料的日用量是已知的（比如水泥的日用量（单位：t ）为i D ）． ● 该公司准备分别在),(111y x T 和),(222y x T 两个地点建造临时料场，并且保证临时料

场对材料的日储量（单位：t ）分别为1M 和2M ．

如何为该公司确定临时料场的位置，并且制订每天的材料供应计划，使建筑材料的总体运输负担最小？

建立选址与运输问题的数学模型

引入决策变量：位置变量),(k k y x ,从临时料场向各工地运送的材料数量

),,2,1 ;2,1(m i k z ki .

211

22)()(min k m

i i k i k ki b y a x z

s.t.2,1 ,1

k M z k m

i ki

m i D z i k ki ,,2,1 ,2

1

m i k y x z k k ki ,,2,1,2,1 , R ),( ,02

例3 生产计划问题

● 某企业向客户提供一种机器，第1季度末需要交货1c 台，第2季度末需要交货2c 台，

第3季度末需要交货3c 台．

● 该企业最大生产能力是每季度生产b 台.

● 若用x 表示该企业在某季度生产的机器台数，则生产费用（单位：元）可以用函数

x a x a x f 21)( 来描述.

● 企业需为每台机器在每个季度多支付p 元的存储费． ● 假设在第一个季度开始时无存货，不允许缺货.

如何制订生产计划，确定在每个季度应该生产多少台机器，才能既履行交货合同，又使企业总体费用最少？

建立生产计划的数学模型

决策变量：用)3,2,1( i x i 表示企业在第i 个季度生产的机器数量． 合同规定的总数量：321321c c c x x x

每个季度生产数量要求：每个季度生产数量j x 不大于最大生产能力b ，不少于该季度末的交货量j c 与该季度初的库存量j I 之差.

第j 个季度初库存量：3,2,1 ,)( j c x I j

i i i j （1I =0）

变量隐含要求：)3,2,1(0 j x j ，并且取整数． 企业总费用：所有季度生产与存储费用之和

3

2

3

1

)()(i i i i pI x f x F

)2()))3(()(min 213

1

21c c p x a x p i a x F i i i

s.t. 3

1

31

j j j j c x

11c x

2121c c x x

3,2,1,,0 j Z x b x j j (Z 表示所有整数的集合)

1.1.2 数学规划问题的模型与分类

● 形成一个最优化问题的数学模型

? 首先需要辨识目标，确定优化标准，即待研究系统的性能定量描述，如成本、数量、

利润、时间、能量等；

? 其次用合适的决策变量描述系统的特征量，并将目标表示成决策变量的函数（目标

函数，objective function )；

? 此外需确定变量所受的范围限制，由若干个函数的等式或者不等式来定义（约束函

数，constraint functions )．

● 最优化问题指在决策变量所受限制范围内，对相关的目标函数进行极小化或者极大化.

)(min n

R

x f x s.t. I i x g i ,0)(

E j x h j ,0)(

满足约束条件的点称为可行点（feasible point ) ，所有可行点的集合称为可行域（feasible region ) ，记为S .

当n

S R ，无约束优化问题;否则,约束优化问题．

i g f ,和i h 都是线性函数，为线性规划（linear programming ，LP );否则为非线性规划（nonlinear programming, NLP ）.

所有变量取整数，称为整数规划（integer programming );允许一部分变量取整数，另一部分变量取实数，为混合整数规划（mixed integer programming, MIP ）.

从一个连通无限集合（可行域）中寻找最优解, 称为连续优化(continuous optimization )问题；从一个有限的集合或者离散的集合中寻找最优解，称为组合优化（combinatorial optimization)，或者离散优化（discrete optimization ）．

存在多个目标，即目标函数)(x f 取一个向量值函数，称多目标规划（multi-objective programming)，或多目标优化．

最优化问题中出现的参数是完全确定的，称为确定型优化（deterministic optimization ）问题;否则称为非确定型优化（uncertain optimization) 问题，包括了随机规划（stochastic programming ）、模糊规划（fuzzy programming ) 等特殊情形．

1.1.3 最优解的概念

定义: 设)(x f 为目标函数，S 为可行域，S x ，若对每个S x ，成立)()(x f x f ，则称x 为)(x f 在S 上的全局极小点。

定义: 设)(x f 为目标函数，S 为可行域，若存在S x 的

0 邻域

}|{),( x x x x N ，使得对每个),( x N S x 成立)()(x f x f ，则称x 为)

(x f 在S 上的局部极小点。

● 全局极小点也是局部极小点，而局部极小点不一定是全局极小点. ● 大多数的优化算法通常只是寻找局部最优解.

● 对于某些特殊情形，如凸规划，局部极小点也是全局极小点.

§1.2 多元函数分析

1.2.1 梯度及Hesse 矩阵

函数)(x f 在x 处的梯度为n 维列向量：

T

n x x f x x f x x f x f

)(,,)(,)()(21

函数)(x f 在x 处的Hesse 矩阵为n n 矩阵)(2

x f ：

n n j i n n n n n x x x f x x x f x x x f x x x f x x x f x x x f x x x f x x x f x x x f x x x f x f

)()()

()()()

()

()()

()

()(2

22

2

1

22

22

2

221

22122121122

二次函数

c x b Ax x x f T T

2

1)( A 是n 阶对称矩阵，b 是n 维列向量，c 是常数．

梯度：b Ax x f )( Hesse 矩阵:A x f )(2

对向量值函数 T

m x h x h x h x h )(,),(),()(21 ,每个分量)(x h i 为n 元实值函数.h 在点x

的Jacobi 矩阵为

n m j i n m m m n n x x h x x h x x h x x h x x h x x h x x h x x h x x h x

x h

)()()

()()()

()()()

()(2

1

222121211

1

该矩阵称为h 在x 的导数,记作)('

x h 或T

x h )( , 其中

)(,),(),()(21x h x h x h x h m

例 向量值函数

212

1221212cos sin ),()(2

1x x x e x x x x f x f x x )(x f 在任一点),(21x x 的Jacobi 矩阵,即导数为

1212221

'42sin cos )()(212

1x x x e e x x x f x f x x x x T 1.2.2 多元函数的Taylor 展式

假设)(x f 在开集S 上连续可微,给定点S x ，则f 在点x 的一阶Taylor 展开式为

)()()()()(x x o x x x f x f x f T

)(x x o 当0 x x 时,关于x x 是高阶无穷小量．

假设)(x f 在开集S 上二次连续可微,则f 在点S x 的二阶Taylor 展开式为

)())(()(2

1

)()()()(22x x o x x x f x x x x x f x f x f T T

)(2x x o 当02 x x 时,关于2

x x 是高阶无穷小量．

1.2.3 方向导与最速下降方向

)(x f 在点x 处沿方向d 的变化率用方向导数表示. )(x f 在x 处沿方向d 的方向导数);(d x Df 定义为极限:

)

()(lim

);(0

x f d x f d x Df

对于可微函数,方向导数等于梯度与方向的内积,即

d x f d x Df T )();(

)(x f 在点x 处下降最快的方向,称为最速下降方向,它是)(x f 在点x 处的负梯度方向:

)

()(x f x f d

§1.3 凸分析初步

1.3.1 凸集的定义、举例(常见凸集)及性质

定义：设S 为n 维欧氏空间n

R 中一个集合．若对S 中任意两点，联结它们的线段仍属于S ；换言之，对S 中任意两点)

1(x ,)

2(x

及每个实数]1,0[ ，都有

S x x )2()1()1(

则称S 为凸集．

常见凸集：

① 集合}|{ x p x H T

为凸集．（p 为n 维列向量， 为实数） 集合H 称为n R 中的超平面，故超平面为凸集． ② 集合}|{

x p x H T 为凸集． 集合

H 称为半空间，故半空间为凸集． ③ 集合}0,|{)

0( d x x x L 为凸集．（d 是给定的非零向量，)0(x 是定点）

集合L 称为射线,故射线为凸集.

证明：

对任意两点L x

x )

2()

1(,及每一个]1,0[ ，必有

d x x 1)0()1( d x x 2)0()2(

以及

d

x

d x d x x x ])1([ )

)(1()()1(21)

0(2)0(1)0()2()1(

由于0)1(21 ，因此有

L x x )2()1()1(

凸集的性质:

设1S 和2S 为n

R 中的两个凸集, 是实数,则 (1)}|{11S x x S 为凸集; (2)21S S 为凸集; (3)},|{2)2(1)1()2()1(21S x S x x x S S 为凸集; (4)},|{2)2(1)1()2()

1(21S x S x x x S S 为凸集.

凸锥和多面集

定义: 设有集合n

R C ，若对C 中每一点x ，当 取任何非负数时，都有C x ,则称C 为锥.又若C 为凸集，则称C 为凸锥．

例 向量集)()2()

1(,,k

的所有非负线性组合构成的集合

k i i k

i i i ,,2,1,0|1)( 为凸锥．

定义 有限个半空间的交}|{b Ax x 称为多面集．

例: 集合}0,0,1,42|{212121 x x x x x x x S 为多面集．

若b =0，则多面集}0|{ Ax x 也是凸锥，称为多面锥． 极点和极方向

定义: 设S 为非空凸集，S x ，若x 不能表示成S 中两个不同点的凸组合；换言之，若假设

)2()1()1(x x x , S x x )2()1(,

必推得)2()

1(x x

x ，则称x 是凸集S 的极点．

定义: 设S 为非空凸集，d 为非零向量，如果对S 中的每一个x ，都有射线

S d x }0|{ ,则称向量d 为S 的方向．

又设)

1(d

和)

2(d

是S 的两个方向，若对任何正数 ，有)2()

1(d d

, 则称)1(d 和)2(d 是

两个不同的方向．

若S 的方向d 不能表示成该集合的两个不同方向的正的线性组合，则称d 为S 的极方向．

注意:有界集不存在方向，因而也不存在极方向．对于无界集才有方向的概念．

多面集的一个重要性质——表示定理： 设}0,|{ x b Ax x S 为非空多面集，则有： (l)极点集非空，且存在有限个极点)

()

1(,,k x

x .

(2)极方向集合为空集的充要条件是S 有界．若S 无界，则存在有限个极方向

)()1(,,l d d .

(3)S x 的充要条件是: l j j j k

j j j d x

x 1

)(1)

( ， k

j j 1

1 ，k j j ,,2,1,0 ，

l j j ,,2,1,0 .

1.3.2 凸集分离定理及其应用(择一定理)

凸集的另一个重要性质——分离定理．

集合的分离：指对于两个集合1S 和2S ，存在一个超平面H ，使1S 在H 的一边，2S 在H 的另一边．

如果超平面的方程为 x p T ，那么对位于H 某一边的点x ，必有 x p T

，而对位于H 另一边的点x ，必有 x p T

.

定义:设1S 和2S 是两个非空集合，}|{ x p x H T

为超平面．如对每个1S x ,有

x p T ，对每个2S x ，有 x p T (或情形恰好相反），则称H 分离集合1S 和2S .

定理(凸集分离定理)：设1S 和2S 是两个非空凸集， 21S S ，则存在超平面H ，使得}|{1

x p x H S T

，}|{2

x p x H S T

.

凸集分离定理的另一种表述方法：设1S 和2S 是两个非空凸集， 21S S ，则存在非零向量p ，使

}|sup{}|inf{21S x x p S x x p T T

凸集分离定理在最优化理论中很有用。著名的应用是所谓的择一定理。

择一定理(the theorem of the alternative )指对于两个相关的线性系统（等式或不等式组）I 和II 来说，或者系统I 有解，或者系统II 有解，但两者不可能同时有解.

择一定理有多种不同的形式: Farkas 定理,Gordan 定理,Motzkin 定理等. 定理(Farkas 定理):设A 为n m 矩阵,c 为n 维向量,则线性系统 (I)0 Ax , 0 x c T

有解,当且仅当

(II)c y A T

, 0 y

无解.

定理(Gordan 定理):设A 为n m 矩阵,那么0 Ax 的充要条件是不存在非零向量

0 y ,使0 y A T .

1.3.3 凸函数的定义、性质及判别方法

定义: 设S 为非空凸集，f 是定义在S 上的实函数．如果对任意的)

1(x ,S x )

2(及每个

数)1,0( ,都有

)()1()())1(()2()1()2()1(x f x f x x f

则称f 为S 上的凸函数．

如果对任意互不相同)

1(x

,S x

)

2(及每一个数)1,0( ，都有

)()1()())1(()2()1()2()1(x f x f x x f ,则称f 为S 上的严格凸函数．

如果-f 为S 上的凸函数，则称f 为S 上的凹函数．

凸函数的几何解释：连接函数曲线上任意两点的弦不在曲线的下方．

凸函数的一些性质：

①f 是定义在凸集S 上的凸函数，实数0 ，则f 也是定义在S 上的凸函数． ②1f 和2f 是定义在凸集S 上的凸函数，则21f f 也是定义在S 上的凸函数． ③k f f f ,,,21 是定义在凸集S 上的凸函数，实数0,,,21 k ，则 k

i i i f 1 也是定义

在S 上的凸函数.

④S 是非空凸集，f 是定义在S 上的凸函数， 是一个实数，则水平集

})(,|{ x f S x x S 是凸集．

⑤S 是非空凸集，f 是定义在S 上的凸函数，则f 在S 上局部极小点是全局极小点，且极小点的集合为凸集．

证明: 设x 是f 在S 上的局部极小点，即存在x 的0 的邻域)(

x N ，使得对每一点

)(x N S x ，成立)()(x f x f .

假设x 不是全局极小点，则存在S x

?，使)()?(x f x f ．由于S 是凸集，因此对每一个数]1,0[ ,有S x x

)1(? ．由于x 与x ?是不同的两点，可取)1,0( ,又由于f 是S 上的凸函数,因此有

)

()()1()( )()1()?())1(?(x f x f x f x f x f x x

f

当 取得充分小时，可使

)()1(?x N S x x

这与x 为局部极小点矛盾．故x 是f 在S 上的全局极小点．

由以上证明可知，f 在S 上的极小值也是它在S 上的最小值．设极小值为 ，则极小点的集合可以写作

})(,|{ x f S x x

根据性质④, 为凸集． 凸函数判别的一阶条件

定理: 设S 是非空开凸集，)(x f 是定义在S 上的可微函数，则)(x f 为凸函数的充要条件是对任意两点)

1(x ，S x

)

2(，都有

)()()()()1()2()1()1()2(x x x f x f x f T

而)(x f 为严格凸函数的充要条件是对任意的互不相同的)

1(x ，S x

)

2(，成立

)()()()()1()2()1()1()2(x x x f x f x f T

推论: 设S 是n

R 中的凸集,S x ,)(x f 是定义在n

R 上的凸函数，且在点x 可微,则对任意的S x ,有

)()()()(x x x f x f x f T

凸函数判别的二阶条件

定理: 设S 是n

R 中非空开凸集，)(x f 是定义在S 上的二次可微函数，则)(x f 为凸函数的充要条件是在每一点S x 处Hesse 矩阵半正定． Hesse 矩阵半正定, 即对于任意的S x 和n

x R , 有

0)(2 x x f x T

定理: 设S 是n R 中非空开凸集，)(x f 是定义在S 上的二次可微函数，如果在每一点

S x ,Hesse 矩阵正定,则)(x f 为严格凸函数．

注意: 逆定理并不成立．若)(x f 是定义在S 上的严格凸函数，则在每一点S x 处，Hesse 矩阵是半正定的(而不是正定的)．

例: 给定二次函数

12224),(21 1

22),(121211212

22121

x x x x x x x x x x x x f 由于在每一点),(21x x 处,

2224)(2x f 是正定的，因此)(x f 是严格凸函数． 1.3.4 凸规划及其性质

考虑极小化问题：

)(min x f

s.t.m i x g i ,,2,1 ,0)(

l j x h j ,,2,1 ,0)(

设)(x f 是凸函数，)(x g i 是凹函数，)(x h j 是线性函数．问题的可行域

},2,1 ,0)( ;,,2,1 ,0)(|{l j x h m i x g x S j i

由于)(x g i 是凹函数，因此满足0)( x g i ,即满足0)( x g i 的点的集合是凸集. 根据凸函数和凹函数的定义，线性函数)(x h j 既是凸函数也是凹函数，因此满足

0)( x h j 的点的集合也是凸集．

S 是m +l 个凸集的交，因此也是凸集．

上述问题是求凸函数在凸集上的极小点．这类问题称为凸规划．

注意: 如果)(x h j 是非线性的凸函数，满足0)( x h j 的点的集合不是凸集,问题就不属于凸规划．

凸规划的重要性质

① 凸规划的局部极小点就是全局极小点，且极小点的集合是凸集．

② 如果凸规划的目标函数是严格凸函数，又存在极小点，那么它的极小点是惟一的．

习题

1考虑极小化问题：

222121)1()2(),(m in x x x x f

s.t.022

1 x x

221 x x

（1） 该规划问题是否为凸规划？为什么？ （2）

用图解法找出该问题的最优解

2 证明0,0 x c Ax T

有可行解，其中

012,111121c A