凸函数与凸规划
合集下载
凸函数凸规划
凸函数
下面的图形给出了凸函数f x, y x4 3x2 y4
y2 xy的等值线的图形，可以看出水平集是凸集.
凸函数
凸函数
凸函数的判别定理
定理1:设 f x是定义在凸集 D Rn 上，x, y D ,
令 t f tx 1 t y, t 0,1, 则:
i1
i1
凸函数
性质
定理2.3.2
f1 , f2 ,..., fk 是凸集S上的凸函数, 则
k
(x) ifi (x),i 0(i 1,2,..., k) i 1
和
(x) max 1 i k
fi ( x)
都是S上的凸函数.
凸函数
水平集(Level Set)
凸函数
凸函数(Convex Function) ----定义2.3.1
设 D Rn 是非空凸集， f x: S R,
若对任意的 x, y D ,及任意的 0,1
都有：f x 1 y f x 1 f y 则称函数 f x 为 D 上的凸函数．
(1) f x是凸集 D上的凸函数的充要条件是对 任意的x, y D ,一元函数t为 0,1上的凸函数.
(2)设 x, y D , x y,若 t 在 0,1 上为严格
凸函数，则f x在 D上为严格凸函数．
凸函数
该定理的几何意义是：凸函数上任意两点之 间的部分是一段向下凸的弧．
故, cT x 是凸函数． 类似可以证明 cT x 是凹函数．
凸函数
性质
定理2.3.1
设 f x是凸集D Rn上的凸函数，
x1 , x2 ,..., xk S , i 0(i 1,2,..., k ),
第3讲凸集凸函数凸规划
证法：在Young不等式中令
(b)凹函数
P41 2.37
凸函数
例：设
试证明
上是严格凸函数．
证明: 设
且
在 都有：
因此,
在
上是严格凸函数．
凸函数
例：试证线性函数是 上的凸函数．
证明: 设
则
故,
是凸函数．
类似可以证明
也是凹函数.
性质
定理1 设
凸函数
是凸集
上的凸函数充要条件
不等式应用: 设
詹生(Jensen)不等式 ，证明:
P41 2.36
性质
定理2
凸函数
正线性组合
凸函关于数 的水平集.
定理3
设 是凸集
上的凸函数，则对任意
，水平集
是凸集．
注：定理3 的逆命题不成立.
凸函数
下面的图形给出了凸函数
的等值线的图形，可以看出水平集是凸集.
凸函数
凸函数
凸函数的判别定理
定理1: 设 是定义在凸集
f(αx1+(1-α)x2 ) f(X1)
X
X1
αx1+(1-α)x2 X2
f(X) f(X2)
f(αx1+(1-α)x2 ) f(X1)
X
X1
αx1+(1-α)x2 X2
f(X) f(X2) αf( x1 ) +(1- α) f( x2) f(αx1+(1-α)x2 )
f(X1)
X1
αx1+(1-α)x2
(2) 若 是凸集
上的严格凸函数，
且凸规划问题
局部极小点x*存在，
则x*是唯一的全局极小点．
定理 凸规划的任一局部最优解都是它的整体最优解。 证明：设x*是凸规划的一个局部解，则存在δ>0,使 如果x*不是整体最优解，则 又因为f是凸函数，所以
(b)凹函数
P41 2.37
凸函数
例：设
试证明
上是严格凸函数．
证明: 设
且
在 都有：
因此,
在
上是严格凸函数．
凸函数
例：试证线性函数是 上的凸函数．
证明: 设
则
故,
是凸函数．
类似可以证明
也是凹函数.
性质
定理1 设
凸函数
是凸集
上的凸函数充要条件
不等式应用: 设
詹生(Jensen)不等式 ，证明:
P41 2.36
性质
定理2
凸函数
正线性组合
凸函关于数 的水平集.
定理3
设 是凸集
上的凸函数，则对任意
，水平集
是凸集．
注：定理3 的逆命题不成立.
凸函数
下面的图形给出了凸函数
的等值线的图形，可以看出水平集是凸集.
凸函数
凸函数
凸函数的判别定理
定理1: 设 是定义在凸集
f(αx1+(1-α)x2 ) f(X1)
X
X1
αx1+(1-α)x2 X2
f(X) f(X2)
f(αx1+(1-α)x2 ) f(X1)
X
X1
αx1+(1-α)x2 X2
f(X) f(X2) αf( x1 ) +(1- α) f( x2) f(αx1+(1-α)x2 )
f(X1)
X1
αx1+(1-α)x2
(2) 若 是凸集
上的严格凸函数，
且凸规划问题
局部极小点x*存在，
则x*是唯一的全局极小点．
定理 凸规划的任一局部最优解都是它的整体最优解。 证明：设x*是凸规划的一个局部解，则存在δ>0,使 如果x*不是整体最优解，则 又因为f是凸函数，所以
凸函数
凸函数,是数学函数的一类特征。
凸函数就是一个定义在某个向量空间的凸子集C（区间）上的实值函数。
凸函数是一个定义在某个向量空间的凸子集C（区间）上的实值函数f，而且对于凸子集C中任意两个向量, f((x1+x2)/2)>=(f(x1)+f(x2))/2,则f(x)是定义在凸子集c中的凸函数（该定义与凸规划中凸函数的定义是一致的，下凸）。
凸函数的主要性质有：1.若f为定义在凸集S上的凸函数，则对任意实数β≥0，函数βf 也是定义在S上的凸函数;2.若f1和f2为定义在凸集S上的两个凸函数，则其和f=f1+f2仍为定义在S上的凸函数;3.若fi(i=1，2，…，m)为定义在凸集S上的凸函数，则对任意实数βi≥0，函数βifi也是定义在S上的凸函数;4.若f为定义在凸集S上的凸函数，则对每一实数c，水平集Sc={x|x∈S，f(x)≤c}是凸集微积分如果f和g是凸函数，那么m(x) = max{f(x),g(x)}和h(x) = f(x) + g(x）也是凸函数。
如果f和g是凸函数，且g递增，那么h(x) = g(f(x））是凸函数。
凸性在仿射映射下不变：也就是说，如果f(x）是凸函数，那么g(y) = f(Ay + b）也是凸函数。
初等运算1、如果f和g是凸函数，那么m(x)=max{f(x)，g(x)}和h(x)=f(x)+g(x)也是凸函数。
2、如果f和g是凸函数，且g递增，那么h(x)=f(g(x))是凸函数。
3、凸性在仿射映射下不变：也就是说，如果f（x）是凸函数，那么g(y)=f(Ay+b)也是凸函数举例函数f(x) = x²；处处有，因此f是一个（严格的）凸函数。
绝对值函数f(x) = | x | 是凸函数，虽然它在点x = 0没有导数。
当1 ≤p时，函数f(x) = | x | p是凸函数。
定义域为[0,1]的函数f，定义为f(0)=f(1)=1，当0函数x3的二阶导数为6x，因此它在x ≥0的集合上是凸函数，在x ≤0的集合上是凹函数。
凸集凸函数凸规划
凸集-----性质
k
推论：设Di , i 1,2,, k是凸集，则 i Di i 1 也是凸集，其中i 是实数．
(4) S 是凸集当且仅当S中任意有限个点的凸 组合仍然在S中.
凸集-----性质
注： 和集和并集有很大的区别，凸集的并集
未必是凸集，而凸集的和集是凸集．
例：D1 x,0T x R 表示 x 轴上的点． D2 0, yT y R 表示 y 轴上的点．
x 1 y D,
则称集合 D 为凸集．
常见的凸集：单点集 { x }，空集 ，整个欧氏空间 Rn，
超平面：H x Rn a1 x1 a2 x2 an xn b ,
H
半空间：
x Rn a1x1 a2 x2
= x Rn aT x b
则 D1 D2 表示两个轴的所有点，它不是凸集；
而 D1 D2 R2 凸集．
凸集-----凸包(Convex Hull)
定义 设 S Rn , S 中任意有限个点的所有凸 组合所构成的集合称为S的凸包，记为H(S),即
m
m
H(S) i xi xi S, i 0, i 1,2...,m, i 1, m N
注：将上述定义中的不等式反向，可以得到 凹函数的定义．
凸函数
严格凸函数
设 D Rn 是非空凸集， f x: S R,
若对任意的 x, y D (x y),及任意的 0,1
都有：f x 1 y f x 1 f y
则称函数 f x 为 D 上的严格凸函数．
i 1
i 1
凸组合 (Convex Comb, xi Rn , i 1,2,...m且 i 1.
凸集和凸函数和凸规划-课件
凹函数的定义．
2021/10/10
19
凸函数
严格凸函数
设 D Rn 是非空凸集， f x:DR,
若对任意的 x,yD(xy),及任意的 0,1
都有：fx 1 y f x 1 f y
则称函数 f x 为 D 上的严格凸函数．
注：将上述定义中的不等式反向，可以 得到严格凹函数的定义．
min f(x)
(3)s.t.gi ( x) 0, i 1,...,m
hj ( x) 0, j 1,...,l,
min f(x) (2)s.t.gi ( x) 0, i 1,...,m,
2021/10/10
43
凸规划
x,yD, 及实数01,都有：
x 1 y D ,
则称集合 D为凸集．
常见的凸集：单点集 { x }，空集 ，整个欧氏空间 Rn，
超平面：H x R n a 1 x 1 a 2 x 2 a n x n b ,
半空间： HxRna1x1a2x2 anxnb
2021/10/10
凸函数
一个可微函数 是凸函数当且 仅当函数图形 上任一点处的 切平面位于曲 面的下方.
2021/10/10
38
凸函数
凸函数的判别定理---二阶条件
定理5: 设在开凸集 D Rn内 f x二阶可微,则
f x是 D内的凸函数的充要条件为: 对任意
xD, f x 的Hesse矩 Gx 半正定,
其中：
阵2 f
严格凸函数(充要条件)??
fy fx fx T y x ( x y )
注：定理4提供了一个判别可微函数是否为凸
函数的依据.
2021/10/10
36
凸函数
凸函数与凸规划
f ( x1 ) f ( x) f ( x2 ) f ( x) , x1 x x2 x
即左差商不大于右差商. ii) x1 , x2 ( a, b), x2 x1 , x ( x1 , x2 ),
(2.1.2)
f ( x) f ( x1 ) f ( x2 ) f ( x1 ) , x x1 x2 x1
2
x1 , x2 (a, b), f ( x1 ) y1 , f ( x2 ) y2 .
由(2.1.1)，
f ((1 ) x1 x2 ) (1 ) f ( x1 ) f ( x2 ) (1 ) y1 y2 , [0,1],
即 (1 )( x1 , y1 ) ( x2 , y 2 ) ((1 ) x1 x2 , (1 ) y1 y 2 ) epi f , [0,1], 这表 明 epi f 是凸集. 反之，设 epi f 是凸集 . 对于任何 x1 , x2 ( a, b), 显然有 ( x1 , f ( x1 )), ( x2 , f ( x2 ))
(a, b) 上的凸函数，如果
f (x1 (1 ) x2 ) f ( x1 ) (1 ) f ( x2 ), x1 , x2 (a, b), [0,1].
(2.1.1)
如果不等号是严格的，则称 f 在 (a, b) 上是严格凸函数. 如果 g 在 (a, b) 上是凸函数，则 称 g 在 (a, b) 上是凹函数. 此外，(2.1.1)等价于
x1 , x2 (a, b), x1 x2 ,
f ( x1 ) f ( x1 )
f ( x2 ) f ( x1 ) f ( x2 ) f ( x2 ). x2 x1
凸集和凸函数和凸规划-完整ppt课件
X αx1+(1-α)x2 X2
.
23
f(X) f(X1)
αf( x1 ) +(1- α) f( x2)
f(X2)
f(αx1+(1-α)x2 )
X1
αx1+(1-α)x2
X2
X
.
24
f(X) 任意两点的函数值的连线上的点都在曲线的上方
αf( x1 ) +(1- α) f( x2)
f(X2)
f(αx1+(1-α)x2 )
证法：在Young不等式中令
n
n
n
xkyk
n
xkpp
n
ykqq
k1
k1kq
ykq
.
P41 2.37
26
凸函数
例：设fxx12,试证明 f x在,
上是严格凸函数．
证明: 设 x, yR, 且xy, 0 ,1 都有：
.
1
凸集---定义
线性组合 (linear Combination)
m ix i,其i 中 R ,x i R n ,i 1 ,2 ,.m ...
i 1
仿射组合 (Affine Combination)
m
m
ix i,其 i R 中 ,x i R n ,i 1 ,2 ,.m ,.且 . i 1 .
(a)D1D2x1x2|x1D1,x2D2是凸; 集 (b)D1D2x1x2|x1D1,x2D2是凸. 集
.
7
凸集-----性质
k
推论：设D i,i1,2,,k是凸集，则 i D i i1 也是凸集，其中 i 是实数．
(4) S 是凸集当且仅当S中任意有限个点的凸 组合仍然在S中.P23,定理2.9
§4.2 凸函数和凸规划
§4.2 凸函数和凸规划1、凸函数及其性质定义 4.2.1 设n R S ⊂是非空凸集，R S f α:，如果对任意的)1,0(∈α有)()1()())1((2121x f x f x x f αααα-+≤-+，S x x ∈∀21, 则称f 是 S 上的凸函数，或 f 在 S 上是凸的。
如果对于任意的)1,0(∈α有)()1()())1((2121x f x f x x f αααα-+<-+，21x x ≠ 则称f 是S 上的严格凸函数，或f 在S 上是严格凸的。
若 f -是S 上的（严格）凸函数，则称f 是S 上的（严格）凹函数，或f 在S 上是（严格）凹的。
例 4.2.1 线性函数既是凸函数，又是凹函数定理 4.2.1 设n R S ⊂是非空凸集。
（1）若R R f n α:是S 上的凸函数，0≥α，则f α是S 上的凸函数；（2）若R R f f n α:,21都是S 上的凸函数，则21f f +是S 上的凸函数。
定理 4.2.2 设n R S ⊂是非空凸集，R R f n α:是凸函数，R c ∈，则集合}{c x f S x c f H S ≤∈=)(),(是凸集。
（称集合),(c f H S 为函数 f 在集合 S 上关于数 c 的水平集）证：任取),,(,21c f H x x S ∈ 则有S x S x ∈∈21,以及c x f c x f ≤≤)(,)(21因为S 是凸集，所以对于任意的)1,0(∈α有S x x ∈-+21)1(αα又因为f 是S 上的凸函数，因此有c c c x f x f x x f =-+≤-+≤-+)1()()1()())1((2121αααααα所以 ),()1(21c f H x x S ∈-+αα。
因此 ),(c f H S 是凸集。
定理 4.2.3 设n R S ⊂是非空开凸集，R S f α:可微，则（1）f 是S 上的凸函数的充要条件是)()()()(12121x f x f x x x f T -≤-∇， S x x ∈∀21, 其中T n x x f x x f x f ))(,....,)(()(1111∂∂∂∂=∇是函数f 在点1x 处的一阶导数或梯度。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
特别，取每个 i 1 n , 有
(
xn x1 xn x1 ) , x1 , , xn 0. n n
推论 3 虽然凸函数除了至多可数个点以外，处处可导，但它的导数却可以在一个处处
稠密集上不存在. 例如，设 {rn } 为 R 上有理数的全体， n 0, n 1,2, ,
可能的. 令 :
1 , 由上面的分离不等式得到 2
y f ( x0 ) ( x x0 ), ( x, y ) (epi f ) i .
令 y f ( x) 得到 f ( x) f ( x0 ) ( x x0 ), x (a, b).
f ( x2 ) f ( x1 ) sup f ( x2 ). x2 x1 x( x1 , x2 )
定理 2.1.4 f 是 (a, b) 上的凸函数的充要条件为 f 在 (a, b) 处处左、右可导，且满足
, x2 ( x1 , x2 ), x1 , x2 x1
epi f （ epi f 定义式中“ ”取到“ ”）. 因此， [0,1],
((1 ) x1 x2 , (1 ) f ( x1 ) f ( x2 )) (1 ) ( x1 , f ( x1 )) ( x2 , f ( x2 )) epi f .
~ f ( x0 ) f ( x0 ) ( x x0 ) f ( x) f ( x0 ) ( x x0 ) 2 o([ x x0 [ 2 ). 1! 2!
于是，也可以说，凸函数几乎处处有上式意义下的“二阶导数” f ( x0 ). 在这一节的最后，我们将函数的凸性与图像空间的凸集联系起来. 设 f : (a, b) R, 称图像空间 R 中的集合
(2.1.3)
f ( x1 ) f ( x2 ) f ( x) f ( x2 ) , x1 x2 x x2
即左差商当自变量差分减小时是不减的. iv) F ( x, y )
(2.1.4)
f ( x) f ( y ) , x y, 作为 x 或 y 的函数，在 (a, b) 上不减. x y
n n
n
i 1
i 1.
命题 2.1.1 f 为 (a, b) 上的凸函数等价于下列条件的任何一个： i) x1 , x2 (a, b), x2 x1 , x ( x1 , x2 ),
f ( x1 ) f ( x) f ( x2 ) f ( x) , x1 x x2 x
证明 设 x (1 ) x1 x2 , 则(2.1.2)等价于
f ( x1 ) f ( x) f ( x2 ) f ( x ) , ( x1 x2 ) (1 )( x2 x1 )
即 f ( x) f ((1 ) x1 x2 ) (1 ) f ( x1 ) f ( x2 ). (2.1.3) 、 (2.1.4)的证明类似， iv)只是 i)~iii)的统一叙述.
n 1
n . 令
g ( x) r x n ,
n
x R.
x R.
f ( x) g (t )dt ,
0
x
由于 g 为递增函数，故 f 为凸函数. 但 f 在所有有理点都不存在导数. 由于这样的函数存在，我们一般无法讨论凸函数的二阶导数. 然而，А. Д. Александров （1936）指出，凸函数几乎处处存在二阶逼近，即
f ( x1 ) f ( x1 )
f ( x2 ) f ( x1 ) f ( x2 ) f ( x2 ). x2 x1
(2.1.5)
证明 必要性就是命题 2.1.2， 充分性则由条件(2.1.5)和引理 2.1.3 立刻得到.
推论 1 若 f 在 (a, b) 上可导，则 f 是 (a, b) 上的凸函数的充要条件为 f ( x) 在 (a, b) 上 不减. 推论 2 若 f 在 (a, b) 上二阶可导，则 f 是 (a, b) 上的凸函数的充要条件为 f ( x) 0,
2
x1 , x2 (a, b), f ( x1 ) y1 , f ( x2 ) y2 .
由(2.1.1)，
f ((1 ) x1 x2 ) (1 ) f ( x1 ) f ( x2 ) (1 ) y1 y2 , [0,1],
即 (1 )( x1 , y1 ) ( x2 , y 2 ) ((1 ) x1 x2 , (1 ) y1 y 2 ) epi f , [0,1], 这表 明 epi f 是凸集. 反之，设 epi f 是凸集 . 对于任何 x1 , x2 ( a, b), 显然有 ( x1 , f ( x1 )), ( x2 , f ( x2 ))
(2.1.6)
同样，由(2.1.2)与(2.1.4)可知，当 x x1 x2 时，有
f ( x1 ) lim
x x1 x x1
f ( x) f ( x1 ) f ( x) f ( x1 ) f ( x2 ) f ( x1 ) . sup x x1 x x1 x2 x1 x x1
2
~
epi f : {( x, y ) R 2 : x (a, b), f ( x) y}
为 f 的上图（epigraph）. 命题 2.1.5 f 在 (a, b) 上凸等价于 epi f 是 R 中的凸集. 证明 设 f 为 (a, b) 上的凸函数， ( x1 , y1 ), ( x2 , y 2 ) epi f . 则
(2.1.5)
证明 事实上，由(2.1.2)与(2.1.3)可知，当 x x 2 x1 时，有
f ( x2 ) lim
x x2 x x2
f ( x) f ( x2 ) f ( x) f ( x2 ) f ( x2 ) f ( x1 ) inf . x x2 x x2 x x2 x2 x1
(2.1.1)
如果不等号是严格的，则称 f 在 (a, b) 上是严格凸函数. 如果 g 在 (a, b) 上是凸函数，则 称 g 在 (a, b) 上是凹函数. 此外，(2.1.1)等价于
f (i 1 i xi ) i 1 i f ( xi ), x1 , , xn (a, b), 1 , , n [0,1],
x (a, b).
推论 3 若 f 是 (a, b) 上的凸函数，则 f 在 (a, b) 上不可导的点至多可数. 证明 因 f 是 ( a, b) 上的凸函数， 故它在 ( a, b) 处处左、 右可导. 若 f 在 x1 , x2 ( a, b) 不 可导， x1 x2 , 则由(2.1.5)式显见，开区间 ( f ( x1 ), f ( x1 )), ( f ( x2 ), f ( x2 )) 不相交. 在这 样的开区间内任取一有理数，则由有理数可数推知这样的开区间至多可数，进而 f 在 (a, b) 上不可导的点至多可数. 即可相应地得到一系列有关严格 注 1 将上面论证中的不等号“ ”改为严格不等号“ ”， 凸函数的结果. 注 2 直接用定义判断一个函数是否为凸函数通常是比较困难的，对于光滑函数，用定 理 2.1.4 的推论 1 和 2 来判断则是相当简便的. 在应用中，通常是用导数来肯定函数的凸性. 反过来，它必定满足凸性不等式. 利用这种办法，我们可以证明一些不太容易直接证明的不 等式. 例如：
(2.1.7)
由 x1 、 x2 的任意性，(2.1.6)和(2.1.7)同时也指出了 f 在 ( a, b) 中处处左、右可导. 再由 (2.1.2)—(2.1.4)易证，当 x1 x2 时，有下式成立：
f ( x2 ) f ( x2 )
f ( x2 ) f ( x1 ) ; x2 x1
命题 2.1.2 设 f 为 (a, b) 上的凸函数，则 f 在 (a, b) 上处处左、右可导，从而处处连续. 其左、右导数 f 、 f 满足：
x1 , x2 (a, b), x1 x2 ,
f ( x1 ) f ( x1 )
f ( x2 ) f ( x1 ) f ( x2 ) f ( x2 ). x2 x1
f ( x2 ) f ( x1 ) f ( x1 ) f ( x1 ). x2 x1
命题 2.1.2 的逆也成立，其证明需要下面推广的中值定理： 引理 2.1.3 设 ( a, b) 上的连续函数 f 处处有右导数 f . 则
x( x1 , x2 )
inf
f (ቤተ መጻሕፍቲ ባይዱx)
凸函数与凸规划
单变量凸函数
在讨论一般线性空间上的凸函数以前，先在这节中讨论区间上的单变量凸函数. 设 (a, b) R 为 实 数 轴 上 的 开 区 间 ， a b . 函 数 f : (a, b) R 称 为
(a, b) 上的凸函数，如果
f (x1 (1 ) x2 ) f ( x1 ) (1 ) f ( x2 ), x1 , x2 (a, b), [0,1].
y x , 当 1, x (0,) 时，有 y ( 1) x 2 0.
由推论 2，它是 (0,) 上的凸函数. 因此，下面的不等式成立：
(1 x1 n xn ) 1 x1 n x n ,
x1 , , xn 0, 1 , , n [0,1], 1 n 1.
即左差商不大于右差商. ii) x1 , x2 ( a, b), x2 x1 , x ( x1 , x2 ),
(2.1.2)
f ( x) f ( x1 ) f ( x2 ) f ( x1 ) , x x1 x2 x1
(
xn x1 xn x1 ) , x1 , , xn 0. n n
推论 3 虽然凸函数除了至多可数个点以外，处处可导，但它的导数却可以在一个处处
稠密集上不存在. 例如，设 {rn } 为 R 上有理数的全体， n 0, n 1,2, ,
可能的. 令 :
1 , 由上面的分离不等式得到 2
y f ( x0 ) ( x x0 ), ( x, y ) (epi f ) i .
令 y f ( x) 得到 f ( x) f ( x0 ) ( x x0 ), x (a, b).
f ( x2 ) f ( x1 ) sup f ( x2 ). x2 x1 x( x1 , x2 )
定理 2.1.4 f 是 (a, b) 上的凸函数的充要条件为 f 在 (a, b) 处处左、右可导，且满足
, x2 ( x1 , x2 ), x1 , x2 x1
epi f （ epi f 定义式中“ ”取到“ ”）. 因此， [0,1],
((1 ) x1 x2 , (1 ) f ( x1 ) f ( x2 )) (1 ) ( x1 , f ( x1 )) ( x2 , f ( x2 )) epi f .
~ f ( x0 ) f ( x0 ) ( x x0 ) f ( x) f ( x0 ) ( x x0 ) 2 o([ x x0 [ 2 ). 1! 2!
于是，也可以说，凸函数几乎处处有上式意义下的“二阶导数” f ( x0 ). 在这一节的最后，我们将函数的凸性与图像空间的凸集联系起来. 设 f : (a, b) R, 称图像空间 R 中的集合
(2.1.3)
f ( x1 ) f ( x2 ) f ( x) f ( x2 ) , x1 x2 x x2
即左差商当自变量差分减小时是不减的. iv) F ( x, y )
(2.1.4)
f ( x) f ( y ) , x y, 作为 x 或 y 的函数，在 (a, b) 上不减. x y
n n
n
i 1
i 1.
命题 2.1.1 f 为 (a, b) 上的凸函数等价于下列条件的任何一个： i) x1 , x2 (a, b), x2 x1 , x ( x1 , x2 ),
f ( x1 ) f ( x) f ( x2 ) f ( x) , x1 x x2 x
证明 设 x (1 ) x1 x2 , 则(2.1.2)等价于
f ( x1 ) f ( x) f ( x2 ) f ( x ) , ( x1 x2 ) (1 )( x2 x1 )
即 f ( x) f ((1 ) x1 x2 ) (1 ) f ( x1 ) f ( x2 ). (2.1.3) 、 (2.1.4)的证明类似， iv)只是 i)~iii)的统一叙述.
n 1
n . 令
g ( x) r x n ,
n
x R.
x R.
f ( x) g (t )dt ,
0
x
由于 g 为递增函数，故 f 为凸函数. 但 f 在所有有理点都不存在导数. 由于这样的函数存在，我们一般无法讨论凸函数的二阶导数. 然而，А. Д. Александров （1936）指出，凸函数几乎处处存在二阶逼近，即
f ( x1 ) f ( x1 )
f ( x2 ) f ( x1 ) f ( x2 ) f ( x2 ). x2 x1
(2.1.5)
证明 必要性就是命题 2.1.2， 充分性则由条件(2.1.5)和引理 2.1.3 立刻得到.
推论 1 若 f 在 (a, b) 上可导，则 f 是 (a, b) 上的凸函数的充要条件为 f ( x) 在 (a, b) 上 不减. 推论 2 若 f 在 (a, b) 上二阶可导，则 f 是 (a, b) 上的凸函数的充要条件为 f ( x) 0,
2
x1 , x2 (a, b), f ( x1 ) y1 , f ( x2 ) y2 .
由(2.1.1)，
f ((1 ) x1 x2 ) (1 ) f ( x1 ) f ( x2 ) (1 ) y1 y2 , [0,1],
即 (1 )( x1 , y1 ) ( x2 , y 2 ) ((1 ) x1 x2 , (1 ) y1 y 2 ) epi f , [0,1], 这表 明 epi f 是凸集. 反之，设 epi f 是凸集 . 对于任何 x1 , x2 ( a, b), 显然有 ( x1 , f ( x1 )), ( x2 , f ( x2 ))
(2.1.6)
同样，由(2.1.2)与(2.1.4)可知，当 x x1 x2 时，有
f ( x1 ) lim
x x1 x x1
f ( x) f ( x1 ) f ( x) f ( x1 ) f ( x2 ) f ( x1 ) . sup x x1 x x1 x2 x1 x x1
2
~
epi f : {( x, y ) R 2 : x (a, b), f ( x) y}
为 f 的上图（epigraph）. 命题 2.1.5 f 在 (a, b) 上凸等价于 epi f 是 R 中的凸集. 证明 设 f 为 (a, b) 上的凸函数， ( x1 , y1 ), ( x2 , y 2 ) epi f . 则
(2.1.5)
证明 事实上，由(2.1.2)与(2.1.3)可知，当 x x 2 x1 时，有
f ( x2 ) lim
x x2 x x2
f ( x) f ( x2 ) f ( x) f ( x2 ) f ( x2 ) f ( x1 ) inf . x x2 x x2 x x2 x2 x1
(2.1.1)
如果不等号是严格的，则称 f 在 (a, b) 上是严格凸函数. 如果 g 在 (a, b) 上是凸函数，则 称 g 在 (a, b) 上是凹函数. 此外，(2.1.1)等价于
f (i 1 i xi ) i 1 i f ( xi ), x1 , , xn (a, b), 1 , , n [0,1],
x (a, b).
推论 3 若 f 是 (a, b) 上的凸函数，则 f 在 (a, b) 上不可导的点至多可数. 证明 因 f 是 ( a, b) 上的凸函数， 故它在 ( a, b) 处处左、 右可导. 若 f 在 x1 , x2 ( a, b) 不 可导， x1 x2 , 则由(2.1.5)式显见，开区间 ( f ( x1 ), f ( x1 )), ( f ( x2 ), f ( x2 )) 不相交. 在这 样的开区间内任取一有理数，则由有理数可数推知这样的开区间至多可数，进而 f 在 (a, b) 上不可导的点至多可数. 即可相应地得到一系列有关严格 注 1 将上面论证中的不等号“ ”改为严格不等号“ ”， 凸函数的结果. 注 2 直接用定义判断一个函数是否为凸函数通常是比较困难的，对于光滑函数，用定 理 2.1.4 的推论 1 和 2 来判断则是相当简便的. 在应用中，通常是用导数来肯定函数的凸性. 反过来，它必定满足凸性不等式. 利用这种办法，我们可以证明一些不太容易直接证明的不 等式. 例如：
(2.1.7)
由 x1 、 x2 的任意性，(2.1.6)和(2.1.7)同时也指出了 f 在 ( a, b) 中处处左、右可导. 再由 (2.1.2)—(2.1.4)易证，当 x1 x2 时，有下式成立：
f ( x2 ) f ( x2 )
f ( x2 ) f ( x1 ) ; x2 x1
命题 2.1.2 设 f 为 (a, b) 上的凸函数，则 f 在 (a, b) 上处处左、右可导，从而处处连续. 其左、右导数 f 、 f 满足：
x1 , x2 (a, b), x1 x2 ,
f ( x1 ) f ( x1 )
f ( x2 ) f ( x1 ) f ( x2 ) f ( x2 ). x2 x1
f ( x2 ) f ( x1 ) f ( x1 ) f ( x1 ). x2 x1
命题 2.1.2 的逆也成立，其证明需要下面推广的中值定理： 引理 2.1.3 设 ( a, b) 上的连续函数 f 处处有右导数 f . 则
x( x1 , x2 )
inf
f (ቤተ መጻሕፍቲ ባይዱx)
凸函数与凸规划
单变量凸函数
在讨论一般线性空间上的凸函数以前，先在这节中讨论区间上的单变量凸函数. 设 (a, b) R 为 实 数 轴 上 的 开 区 间 ， a b . 函 数 f : (a, b) R 称 为
(a, b) 上的凸函数，如果
f (x1 (1 ) x2 ) f ( x1 ) (1 ) f ( x2 ), x1 , x2 (a, b), [0,1].
y x , 当 1, x (0,) 时，有 y ( 1) x 2 0.
由推论 2，它是 (0,) 上的凸函数. 因此，下面的不等式成立：
(1 x1 n xn ) 1 x1 n x n ,
x1 , , xn 0, 1 , , n [0,1], 1 n 1.
即左差商不大于右差商. ii) x1 , x2 ( a, b), x2 x1 , x ( x1 , x2 ),
(2.1.2)
f ( x) f ( x1 ) f ( x2 ) f ( x1 ) , x x1 x2 x1