线性规划 凸集凸函数

k
β 也是凸集，Βιβλιοθήκη 推论： 是凸集， 推论：设 Di是凸集，i = 1,2,L, k ，则∑ i Di也是凸集， i =1 其中 βi ∈ R 。
定义2 凸组合： 维欧式空间中的k 定义 2. 凸组合 ： 设 X(1) ， X(2) ， …， X(k) 是 n 维欧式空间中的 k 个 ， 满足0 点，若存在μ1, μ2,…, μk满足0≤μi≤1,( i=1,2,…,k), 若存在μ , 使 X=μ1X(1)+μ2 X(2)+…μk X(k)， μ 则称X为X(1)，X(2)，…，X(k)的凸组合。 则称X ， 的凸组合。
凸函数的判断
f (x ) 存在一阶偏导数，x∈R n，向量 存在一阶偏导数， 设函数
∂f ∂f ∂f ∇ f (x ) = , ,…, ∂x ∂x ∂xn 1 2
为 f (x ) 在点x处的梯度。 处的梯度。
T
n 存在二阶偏导数， 定义 设函数 f (x ) 存在二阶偏导数，x∈R ，则称矩阵 ∂2 f ∂2 f ∂x1∂x2 ∂x12 2 ∂2 f ∂ f ∇2 f (x) = ∂x ∂x 2 ∂x2 2 1 L L ∂2 f ∂2 f ∂ ∂ xn x1 ∂xn ∂x2 处的Hesse矩阵。 矩阵。 矩阵 为 f (x ) 在点x处的 ∂2 f … ∂x1∂xn ∂2 f … ∂x2 ∂xn L ∂2 f … 2 ∂xn
α
f (x)
x
性质4： 是凸集D上的凹函数的充要条件是 性质 ： f(x)是凸集 上的凹函数的充要条件是 是凸集 上的凹函数的充要条件是-f(x) 是D上 上 的凸函数。 的凸函数。
定理1： 定义在凸集D上 ∀ 定理 ：设f(x)定义在凸集 上， x, y ∈ D ，令 定义在凸集
φ(t ) = f (tx + (1− t ) y), t ∈[0,1]
f (y )≥ f (x )+( y-x)
T
∇ f (x )
上式仅〝 〞成立。 而 f (x )是D上严格凸函数为 ∀ x,y ∈D, x≠y,上式仅〝>〞成立。 上式仅 f(x)
x
定理3（二阶条件）： 定理 （二阶条件）： n 设D是R 中非空开凸集, f (x ) 是定义在D上的二次可 中非空开凸集 2 凸函数的充要条件为对 , 微函数,则 微函数 则 f (x ) 是凸函数的充要条件为对∀ x ∈D∇ f (x) ≥0,
为凸函数, 是线性函数,则上述问题为 中, f (x ) 和- g i (x) 为凸函数 hi (x) 是线性函数 则上述问题为 求凸规划。 求凸规划。
凸规划是非线性规划中的一种重要特殊情形， 凸规划是非线性规划中的一种重要特殊情形，它具有 很好的性质。 很好的性质。
定理4：（ 凸规划的任意局部极小点就是整体极小点，且 定理 ：（1)凸规划的任意局部极小点就是整体极小点 ：（ 凸规划的任意局部极小点就是整体极小点， 极小点集合是凸集。 极小点集合是凸集。 (2)如果凸规划的目标函数是严格凸函数，又存在极 如果凸规划的目标函数是严格凸函数， 如果凸规划的目标函数是严格凸函数 小点，则它的极小点还是唯一的。 小点，则它的极小点还是唯一的。
则 （i) f(x)是凸集 上的凸函数的充要条件是 φ(t ) 是[0，1]上 是凸集D上的凸函数的充要条件是 是凸集 ， 上 的凸函数。 的凸函数。 （ii) 设x ≠ y ，若 φ(t ) 是[0，1]上的严格凸函数，则f(x) 上的严格凸函数， ， 上的严格凸函数 是凸集D上的严格凸函数 上的严格凸函数。 是凸集 上的严格凸函数。
多元函数Taylor展开：
f ( x0 + p) = f ( x0 ) + ∇f ( x0 ) p + o(|| p ||)
T
f ( x0 + p) = f ( x0 ) + ∇f ( x0 )
T
1 T 2 p + p ∇ f ( x0 ) p + o(|| p ||2 ) 2
定理2(一阶条件）： 定理 一阶条件）： 一阶条件 中非空开凸集, 设D是R n 中非空开凸集 f (x )是定义在D上的可微函 数,则 f (x ) 是凸函数的充要条件为 ∀ x,y ∈D,有 则 有
2
2
2 (1 − α ) + (1 − α ) x2 α − 2α (1 − α ) x1 x2
2 = α (1- α ) (x1-x2) ≥0
(1- α )( x1
2
2 + x2 − 2 x1 x2 )
∴
α f ( x ) +(1- α
1
) f ( x2 )≥
f [αx1 + (1 − α ) x 2 ]
性质2 中一个凸集， 上的一个凸函数， 性质 设D是R 中一个凸集，f 是定义在D上的一个凸函数， 的内部连续。 则f 在D 的内部连续。 n
性质3 中一个非空凸集， 上的一个凸函数， 性质 设D是Rn 中一个非空凸集，f 是定义在D上的一个凸函数， 则水平集 是凸集。 是凸集。
Dα = {x x ∈ D, f (x) ≤ α }
2 半正定。 即Hesse矩阵 ∇ f (x) 半正定。 矩阵
矩阵正定 若 ∀ x ∈D , ∇ 2 f (x)>0，即Hesse矩阵正定，则 f (x )为严格 ， 矩阵正定， 凸函数。 凸函数。
例：证明函数
2 2 2 f ( x) = xT x = x1 + x2 +L+ xn
上的凸函数。 是 Rn 上的凸函数。
定义6:凸规划 定义 凸规划
设D ∈ Rn为凸集, f ( x) 为凸集 是定义在D上的凸函数，则称规 上的凸函数， 为凸规划。 划问题 min f ( x) 为凸规划。 x∈D 若规划
min f (x) s.t. g i (x) ≥ 0, i = 1,2, …, m h (x) = 0, j = 1,2, …, l j
多边形的顶点 多边形的顶点是 顶点是 凸集的极点（顶点） 凸集的极点（顶点）。 极点
圆周上的点都是 凸集的极点（顶点） 凸集的极点（顶点）。 极点
∀α
定义4 中非空凸集， 定义 设D为R 中非空凸集，若对∀ x (1)， x (2) ∈D ，
∈(0,1)恒有 恒有
n
αx (1) +(1-α )x (2) ]≤ α f (x (1) )+ (1- α)f (x ( 2) ) f [
所以， 上凸函数。 所以，f (x ) = x 是R上凸函数。
2
例：证明线性函数
f ( x) = cT x = c1 x1 + c2 x2 +L+ cn xn
上的凸函数。 是 Rn 上的凸函数。
上的凹函数。 同理可证线性函数 f ( x) = cT x 也是 Rn上的凹函数。
凸函数的性质
λ 上的凸函数， 为非负实数， 性质1 性质 设f 1, f 2为定义在凸集D上的凸函数， 为非负实数， λ 则f1, f1+ f2也是D上凸函数。 上凸函数。
(*)
(1) (2) f (x ) 为D上的凸函数；进一步，若 x ≠ x 时，(*)式 则称 上的凸函数；进一步， 式 D上严格凸函数。 仅〝<〞成立 则称为 f (x )上严格凸函数。 〞成立,则称为
凹函数，严格凹函数
对凸的一元函数 f (x ) 的几 何意义为： 何意义为：在曲线上任取 两点P1(x1, f ( x1 ) ), P2(x2, f (x2))弦 P1P2 位于 弦 之上（见图）。 弧 P1 P2 之上（见图）。
∑µ =1
i i=1
k
定义3 极点（顶点）：设D是凸集, 若D中的点x 不能成为D中 定义3 极点（ 顶点） 是凸集, 中的点x 不能成为D 任何线段上的内点，则称x为凸集D的极点。 任何线段上的内点，则称x为凸集D的极点。 ∈D两点的 设D为凸集，X∈D,若X不能用X(1)∈D,X(2)∈D两点的 为凸集，X∈D,若 不能用X 一个凸组合表示为X=αX (1其中0<α<1 一个凸组合表示为X=αX(1)+ (1-α)X(2),其中0<α<1 ， 则称X 则称X为D的一个极点。 的一个极点。
∈[0,1]恒有 恒有
αx (1)
α ) x (2) +(1-
∈D
α 凸集。 则称D为凸集。 x
(1) + (1-
α ) x (2)称为 x (1)和 x (2)的凸组合。 凸组合。
例
定义为
(i) 超平面 H (ii) 半空间 H
−
=
{ x
PT x = β
}为凸集。 为凸集。
定义为
=
{ x
PT x ≤ β
} 为凸集。 为凸集。
(iii) 射线 L = x x = x (0) + λd, λ ≥ 0 为凸集，其中d为 为凸集， 给定的非零向量， 为定点。 给定的非零向量， x (0) 为定点。 (iv) 超球
{
}
x ≤r
是凸集。 是凸集。
(v) 欧式空间 Rn 是凸集，规定空集 φ 是凸集 是凸集，
凸集的性质 有限个凸集的交集仍然是凸集。 有限个凸集的交集仍然是凸集。 是凸集， 是凸集。 设 D , D2 ,L, Dk是凸集，则 D1 I D2 ILI Dk 是凸集。 1 是凸集， 是凸集。 设 D 是凸集，则 β D = { y | y = β x, x ∈ D} 是凸集。 凸集的和集仍然是凸集。 凸集的和集仍然是凸集。 是凸集， 设 D , D2 是凸集，则 1 是凸集。 D1 + D2 = { y | y = x + z, x ∈ D1, z ∈ D2 } 是凸集。
线性规划
凸集和凸函数