非线性优化问题

例 1： 设 f x x 1 , 试证明 f x 在 ,
2
上是严格凸函数． 证明: 设 x, y R, 且 x y , 0,1 都有：
f x 1 y f x 1 f y
该定理的几何意义是：凸函数上任意两点之
间的部分是一段向下凸的弧．
一阶条件
则： 定理2.1 设在凸集 D R n 上 f x 可微，
f x 在 D 上为凸函数的充要条件是对任意的
x, y D , 都有：f y f x f x T y x
(t ) c1 c2t e c t
3
非线性规划问题的共同特征


都是求一个目标函数在一组约束条件下 的极值问题。 在目标函数或约束条件中，至少有一个是变量 的非线性函数。
非线性规划问题

一般形式：
min f ( x1 , x2 , s.t. g i ( x1 , x2 , , xn ) , xn ) 0, i 1, 2, ,m ,l
定义2 设f : R n R1 , x R n , 如果f 在点x 处关于自变量 x ( x1 , x2 ,
2 f (x ) T , xn ) 的各分量的二阶偏导数 (i, j 1, 2, xi x j
, n)
都存在，则称函数f 在点x 处二阶可导，并且称矩阵 2 （ f x） 2 x 1 2 （ f x） 2 f x x2 x1 2 （ f x） xn x1 2 （ f x） x1 x2 2 （ f x） 2 x2 2 （ f x） xn x2 2 （ f x） x1 xn 2 （ f x） x2 xn 2 （ f x） 2 xn
二阶条件
n 内 f x 二阶可微，则 D R 定理3 设在开凸集 (2) 若在 D 内 G x 正定, 则 f x 在 D内
是严格凸函数． 注: 反之不成立． 显然是严格凸的， 但在点 x 0 处 G x 不是正定的
4 例： f x x
凸规划
f x 为 D上的凸函数， 定义6 设 D R n 为凸集，
定理 设f : R n R1在x R n处可微，若存在P R n , 使 f ( x )T P 0， 则称向量P是函数f 在x 处的下降方向。 证明 因为f 在x 处可微，故由f 在x 处的Taylor 展式，对于 任意的t 0，有 f ( x tP ) f ( x ) t f ( x )T P 0( tP ) 由于f ( x )T P 0，t 0，从而存在 0, 对于任意的 t (0, )，有 tf ( x )T P 0( tP ) 0 从而有 f ( x tP ) f ( x ), t (0, ) 故P是函数f 在x 处的下降方向。
f x 为凸规划问题． 则称规划问题 min xD
定理4 (1) 凸规划问题的任一局部极小点 x 是 整体极小点，全体极小点组成凸集． (2) 若 f x 是凸集 D R n 上的严格凸函数，
f x 整体极小点存在， 且凸规划问题 min xD 则整体极小点是唯一的．
非线性规划的最优性条件
最优性条件：是指非线性规划模型的最优解 所要满足的必要和充分条件。 无约束最优性条件

min f ( x)

约束最优性条件 min f ( x) s.t. g i ( x) 0, i 1, 2, , p h j ( x) 0, j 1, 2, , q
无约束最优性条件
多元函数的二阶充分条件
* 且 N x 定理2: 若在 内 f x 二阶连续可导，

g * 0 , G * G x * 正定, 则 x *为严格局部

极小点．
* x 注: 如果 G 负定, 则 为严格局部极大点． *
二阶必要条件和充要条件
* 且在 N x 定理3: 若 x 为 f x 的局部极小点，
定理2.2 严格凸函数(充要条件)
二阶条件
定理3 设在开凸集 D R n 内 f x 二阶可微，则 (1) f x 是 D 内的凸函数的充要条件为， 在D 内任一点 x 处，f x 的海色矩阵G x 半正定, 2 2 其中： 2 f f f
2 x 1 2 f G x 2 f x x x 2 1 2 f x x n 1 x1 x2 2 f 2 x2 2 f xn x2 x1 xn 2 f x2 xn 2 f 2 xn
T
凸函数
n 上， D R 定义4 设函数 f x 定义在凸集 若对任意的 x, y D , 及任意的 0,1 f x 1 y f x 1 f y 都有：
则称函数 f x 为凸集 D 上的凸函数． 定义5 严格凸函数 注：将上述定义中的不等式反向，可以得到 凹函数的定义．
g i : R n R1和h j : R n R1。
非线性优化问题的寻优



相关概念及理论 一维最优化方法 多维无约束最优化方法 多维有约束最优化方法源自非线性规划的相关概念及理论

一阶导数、二阶导数和n元函数的Taylor公式
定义1 设f : R n R1 , x R n , 如果f 在点x 处关于自变量 f ( x ) T x ( x1 , x2 , , xn ) 的各分量的偏导数 (i 1, 2, , n) xi 都存在，则称函数f 在点x 处一阶可导(可微），并且称向量 f ( x ) f ( x ) f ( x ) T f ( x ) ( , , , ) x1 x2 xn 是f 在点x 处的一阶导数或梯度。
证明: 设 x, y R, 0,1, 则
f x 1 y c T x 1 y c T x 1 c T y f x 1 f y
所以 c T x 是凸函数． 类似可以证明 c T x 是凹函数．
*
* * 半正定． g 0 , G 内 f x 二阶连续可导， 则
定理4:设 f x 在 R n 上是凸函数且有一阶连续 偏导数， 则 x 为 f x 的整体极小点的充要 * 条件是 g 0 .
多元函数的一阶必要条件（P106-107)
且在 定理1:若 x* 为 f x 的局部极小点， 则 N x * 内 f x 一阶连续可导，
g * f x * 0 .

注: (1) 仅仅是必要条件，而非充分条件． * * 0 的点称为驻点． g f x (2) 满足 驻点分为：极小点，极大点，鞍点．
函数值． 所以一元凸函数表示连接函数图形上任意两点 的线段总是位于曲线弧的上方．
凸函数的性质
（１） 设 f x 是凸集 D R n 上的凸函数， 实数 k 0 , 则 kf x 也是 D上的凸函数． （２） 设 f1 x , f 2 x 是凸集 D R n 上的凸 函数， 实数 , 0, 则 f1 x f 2 x 也是 D 上的凸函数． （３）设 f x 是凸集 D R n 上的凸函数， 是实数， 则水平集 S f , x x D, f x 是凸集．
是f 在点x 处的二阶导数或Hesse矩阵。
定义3 设f : R n R1 , x R n , 如果f 在点x 处的某邻域具有 二阶连续偏导数，则f 在点x 处二阶Taylor展式： 1 2 T T 2 f ( x x) f ( x ) f ( x ) x ( x ) f ( x ) x o( x ) 2 其中x =(x1 , x2 , , xn )T 。 若记x x x，略去高阶小量后，得到f 在点x 处的线性 逼近（函数）和二次逼近（函数）： f ( x ) f ( x ) f ( x ) T ( x x ) 1 f ( x) f ( x ) f ( x ) ( x x )+ ( x x )T 2 f ( x )( x x ) 2
一（单）元函数的最优性条件
（１） 若
x*
为 f x 的局部极小点， 则
f x* 0 ;
（２）若 则 x* 为 f x 的严格局部极小点； （３）若 x* 为 f x 的局部极小点，则：
f x* 0 , f x* 0.
f x* 0 , f x* 0,

向量形式：
h j ( x1 , x2 , , xn ) 0, j 1, 2, min f ( x)
s.t. gi ( x) 0, i 1, 2, h j ( x) 0, j 1, 2,
,m ,l
其中 x ( x1 , x2 ,
, xn )T R n , 且f : R n R1 ,
下面的图形给出了凸函数
f x, y x 4 3 x 2 y 4 y 2 xy
的等值线的图形，可以看出水平集是凸集
凸函数的判定
x, y D , 定理1 设 f x 是定义在凸集 D R 上，
n
令 t f tx 1 t y , t 0,1, 则: (1) f x 是凸集D 上的凸函数的充要条件是对 任意的x, y D ,一元函数 t 为 0,1上的凸函数. (2)设 x, y D , x y , 若 t 在 0,1 上为严格 凸函数， 则 f x 在 D 上为严格凸函数．
凸函数的几何性质
对一元函数 f x , 在几何上f x1 1 f x2
0 1 表示连接x1 , f x1 , x2 , f x2 的线段． f x1 1 x2 表示在点x1 1 x2处的