凸优化理论与应用_逼近与拟合共39页文档
凸优化理论
凸优化理论第一章凸集1、仿射集1.1、定义：任意以及都有；直观上，如果两点在仿射集内，那么通过任意两点的直线位于其内；1.2、仿射集的关联子空间：如果是仿射集，且，则集合是一个子空间（关于加法和数乘封闭）,因此仿射集可以表示为一个子空间加上一个偏移，，可以是C中任意一点；定义C的维数为子空间V的维数（向量基的个数）;1.3、线性方程组的解集:等价于仿射集且其关联的子空间是就是的的零空间即;1.4、仿射组合：如果，称为的仿射组合；如果是仿射集，，且，那么；集合C是仿射集集合包含其中任意点的仿射组合；1.5、仿射包：集合C中的点的所有仿射组合组成的集合记为C的仿射包，；仿射包是包含的最小的仿射集合；1.6、仿射维数：集合仿射维数为其仿射包维数, 即仿射包相关联子空间的维数，即是其子空间最大线性无关基；如果集合的仿射维数小于n ，那么这个集合在仿射集合中;1.7、集合相对内部：定义为的内部，记为，即;集合内部：由其内点构成，内点为;1.8、集合的相对边界：集合C的相对边界定义为，为C的闭包；集合C的边界定义为;------------------------------------------------------------------------------------------------------------------------------ 2.凸集：如果，，，都有；直观上，如果两点在凸集内，则两点间的线段也在凸集内；仿射集是凸集；2.1、凸组合：如果，，，称为的凸组合；点的凸组合可以看做他们的混合或加权平均，代表混合时所占的份数。
如果点在凸集内，则它们的凸组合仍在凸集内；C是凸集集合包含其中所有点的凸组合；2.2、集合的凸包：集合C中所有点的凸组合，;C的凸包是包含C的最小凸集；2.3、无穷级数的凸组合：假设，，，并且，，、、，为凸集，那么若下面的级数收敛，那么2.4、积分的凸组合：假设对所有满足，并且,其中为凸集，那么如果下面积分存在，则： ;2.5、概率的凸组合：假设x是随机变量，为凸集，并且的概率为，那么；---------------------------------------------------------------------------------------------------------------------------------- 3锥：如果对于任意和，都有，称集合C为锥；直观上如果点在锥中，那么以原点为端点过该点的射线在锥中；3.1、凸锥：集合C是锥，并且是凸的，则称C为凸锥，即对于任意，和，，都有直观上，如果两点在凸锥中，那么以原点为端点，以过两点的两条射线为边界的扇形面在凸锥中；3.2、锥组合：具有，形式的点称为的锥组合（或非负线性组合）；如果均属于凸锥C，那么的每一个锥组合也在C中；集合C是凸锥它包含其元素的所有锥组合；3.3、锥包：集合C的锥包是C中所有元素的锥组合的集合；---------------------------------------------------------------------------------------------------------------------------------- 凸集的例子：空集、单点集、全集都是的仿射子集；线段是凸的，但不是仿射的；射线是凸的，不是仿射的，不是锥（除非端点是零点）；直线是仿射的，自然是凸的；如果通过零点，则是锥，并且是凸锥；子空间是仿射的、凸锥(满足对加法、数乘封闭、含零元)；超平面：，其中，且；，，在超平面上；闭的半空间：非平凡线性不等式的解空间，，半空间是凸的，但不是仿射的，也不是锥；半空间边界、内部：、；Euclid球：欧几里得球是凸集：；椭球：椭球是凸集：，对称正定矩阵，决定椭球从各个方向扩展的幅度；半轴长度有给出；正半定矩阵；若为奇异矩阵，椭球退化，即一些维度上半轴长为零，这时其仿射维数等于A的秩，退化的椭球也是凸的；范数球、范数锥：它们是凸集，范数锥：，；如二阶锥（二次锥）；---------------------------------------------------------------------------------------------------------------------------------- 4.多面体：有限个线性等式和不等式的解集：，，;因此多面体是有限个半空间和超平面的交集；仿射集合（如子空间、超平面、直线）、射线、线段、半空间都是多面体；多面体是凸集；有界多面体也称为多胞形<=>有限集合的凸包；多面体可以表示为，，b、d为向量；4.1、单纯形（一种多面体）：点描述法设k+1个点，，仿射独立，即，，，线性独立，那么这些点决定了一个单纯形：，，，，这个集合的仿射维数（它的仿射闭包的维数），即是，空间的维数，显然它的一个基就是，，，即集合的仿射维数为k；单纯形是凸集、并且是多面体，一般称k维单纯形（k+1个仿射独立点生成的凸包）；4.2、常见的单纯形:1维单纯形是一条空间线段（1个基向量，2个空间点）；2维单纯形是一个空间三角形（含其内部）（2个基向量，3个空间点）；3维单纯形是一个四面体（3个基向量，4个空间点）；4.3、单位单纯形：由零向量0和单位向量，，决定的n维单纯形，它可以表示为满足下列条件的向量的集合：;4.4、概率单纯形：由单位向量，，决定的n-1维单纯形，它是满足下列条件的向量集合：;概率单纯形中的每个向量对应于随机变量n个取值对应的一个概率分布，可理解为第i个元素的概率；4.5、单纯形的多面体描述法C是单纯形，充要条件是，对于某些，，有;，其中，，，，，，显然，B的秩为k；因此存在非奇异矩阵，使得，，,则: ，，，，，，，显然：且且且；这里A的选择与，，有关；4.6、多面体：凸包描述法有限集合，，的凸包是：，，，是一个有界多面体，但是无法用线性不等式和不等式的集合将其表示；凸包表达式的一个扩展：，，,其意义是，，的凸包加上，，的锥包，定义了一个多面体，反之每个多面体也都可以表示为此类形式；仿射集是凸集；多面体是凸集；仿射集是多面体；单纯形（特殊多面体）是凸集，可以给出线性等式和不等式表示；多面体（使用线性等式和不等式组定义）等价于凸包，无法给出线性等式和不等式表示；有限集的凸包是有界多面体，无法给出线性等式和不等式表示；5.保凸运算：用以从凸集构造出其他凸集；5.1、求交集：无穷多个凸集的交是凸集；5.2、仿射映射：,且,若S是凸的，那么是凸的；反之成立；伸缩、平移、投影是仿射映射；凸集的和、直积是凸的，凸集的投影是凸的，凸集的部分和是凸的；注意：，也是仿射函数；线性矩阵不等式的解：，是凸集；双曲锥：,是凸集；5.3、透视映射：，，定义域为，如果C是凸集，那么是凸集；反之成立；5.4、线性分式映射：是仿射的，其中并且,那么：，是线性分式（投射）函数, 定义域，P是透视函数；同样象与原象的凸性可以互推；线性分式映射的应用：条件概率，设u和v是分别在，，和，，中取值的随机变量，并且表示概率。
凸优化理论与应用_逼近与拟合
f (v j ) f (vk ) L v j vk , j , k 1,..., m
一阶微分约束
f (u)
x f ( u ) M i i i 1
n
二阶微分约束
mI 2 f (u ) MI
信息与通信工程学院 庄伯金 bjzhuang@ 29
1
信息与通信工程学院 庄伯金 bjzhuang@
19
信号复原
已知加噪信号：
xcor x v
信号复原问题的描述：
minimize(w.r.t. R ) 函数 ( x ) : R n R 为正则函数或光滑函数。
2
( x xcor 2 , ( x ))
其中 x0 zu 为方程组 Ax b 的解。
信息与通信工程学院 庄伯金 bjzhuang@
13
最小范数问题
最小平方范数问题：范数 2 ，最优解满足： 2 x* AT * 0, Ax* b
最小罚问题：
minimize
(x )
i 1 i
n
subject to Ax b
minimize
sup ( Ax b )
AI A
若 I A 为有限集，可转换为：
minimize t subject to Ai x b t , i 1,..., m
信息与通信工程学院 庄伯金 bjzhuang@
26
函数拟合
已知一函数族：
fi , i A
x* arg min Ax b n
*
xR
注：若 b R( A) ，则 u b 为平凡情况。
02凸优化理论与应用_凸函数
6
下水平集(sublevel set)
定义：集合
C { x dom f | f ( x ) }
称为 f 的 下水平集。
定理：凸函数的任一下水平集均为凸集。 任一下水平集均为凸集的函数不一定为凸函数。
信息与通信工程学院 庄伯金 bjzhuang@
7
函数上半图(epigraph)
定义：集合
epi f {( x , t ) | x dom f , f ( x ) t }
称为函数
f
的上半图。
f
定理：函数
为凸函数当且仅当
f
的上半图为凸集。
信息与通信工程学院 庄伯金 bjzhuang@
8
Jensen不等式
f
为凸函数，则有：
yC
凸函数的透视算子
g ( x , t ) tf ( x / t )
信息与通信工程学院 庄伯金 bjzhuang@
11
共轭函数(conjugate function)
定义：设函数 f : R 定义为
*
n
R
，其共轭函数 f : R
T
*
n
R
，
f ( y ) su p ( y x f ( x )).
n
为真锥，函数 f : R
n
R
称为 K 单调增，若函数 f ( x ) 满足：
x K y f (x) f ( y)
广义凸函数的定义：设K R 均有
m
为真锥，函数 f : R
n
R
m
称为 K 凸，若函数 f ( x ) 满足对 x , y dom f , 0 1
凸优化理论与应用
i0
i0
信息与通信工程学院 庄伯金
bjzhuang@
18
半正定锥(Positive semidefinite cone)
n阶对称矩阵集：
S n {X nn | X X T }
n阶半正定矩阵集：
S
n
{X
S
n
|
ቤተ መጻሕፍቲ ባይዱ
X
0}
n阶正定矩阵集：
Sn
{X
Sn
|
n阶半正定矩阵集为
展函数 f : n {} 为
扩展函数
f
(x)
f
(x)
信息与通信工程学院 庄伯金
bjzhuang@
x domf x domf
也是凸函 数！
34
凸函数的一阶微分条件
若函数 f 的定义域 domf为开集，且函数 f 一阶可微， 则函数 f 为凸函数当且仅当 domf 为凸集，且对 x, y domf
21
真锥(proper cone)
真锥的定义：锥 K Rn 满足如下条件 1.K为凸集；
2.K为闭集；
K具有内点
3.K非中空；
4.K有端点。
K内不含直线
信息与通信工程学院 庄伯金
bjzhuang@
22
广义不等式
真锥 K下的偏序关系：
x K y y x K
广义不等式
凸优化问题理论上有 有效的方法进行求解！
3
本课程的主要内容
理论部分
凸集和凸函数 凸优化问题 对偶问题
应用部分
逼近与拟合 统计估计 几何问题
算法部分
非约束优化方法 等式约束优化方法 内点法
信息与通信工程学院 庄伯金
bjzhuang@
数学中的凸优化与凸分析
数学中的凸优化与凸分析凸优化和凸分析是数学中重要的分支领域，它们在诸多应用领域都有着广泛的应用。
本文将介绍凸优化和凸分析的基本概念、性质以及它们在实际问题中的应用。
一、凸集与凸函数在进一步探讨凸优化和凸分析之前，我们先来了解一些基本概念。
首先是凸集和凸函数。
1. 凸集凸集是指集合中任意两点的连线上的点都属于该集合。
具体地，对于任意$x, y$属于集合$C$和$0\leq\lambda\leq 1$，满足$\lambda x+(1-\lambda)y$也属于$C$，则$C$是一个凸集。
2. 凸函数凸函数是定义在凸集上的实值函数，满足对于集合内的任意$x,y$和$0\leq\lambda\leq 1$，有$f(\lambda x+(1-\lambda)y)\leq \lambdaf(x)+(1-\lambda)f(y)$。
简单来说，凸函数的任意两点的连线上的函数值都不超过连线两端的函数值。
二、凸优化凸优化是指优化问题的目标函数是凸函数，约束条件是凸集的优化问题。
凸优化问题有着许多重要的性质和算法。
1. 凸优化问题的一般形式凸优化问题的一般形式可以表示为：$$\begin{align*}\text{minimize}\quad &f(x)\\\text{subject to}\quad &x\in C\end{align*}$$其中，$f(x)$是凸函数，$C$是凸集。
2. 凸优化问题的性质凸优化问题具有以下性质：（1）全局最优解是局部最优解。
这意味着在凸优化问题中，存在一个全局最优解，同时该最优解也是局部最优解。
（2）凸优化问题无局部最优解和全局最优解之间的鞍点。
凸优化问题不存在鞍点，因此可以通过寻找局部最优解来获得全局最优解。
3. 典型凸优化问题凸优化问题在实践中有着广泛的应用，以下是一些典型的凸优化问题：（1）线性规划问题（Linear Programming，简称LP）$$\begin{align*}\text{minimize}\quad &c^Tx\\\text{subject to}\quad &Ax\leq b\\&x\geq 0\end{align*}$$（2）二次规划问题（Quadratic Programming，简称QP）$$\begin{align*}\text{minimize}\quad &\frac{1}{2}x^TPx+q^Tx+r\\\text{subject to}\quad &Gx\leq h\\&Ax=b\end{align*}$$（3）半正定规划问题（Semidefinite Programming，简称SDP）$$\begin{align*}\text{minimize}\quad &\langle C,X\rangle\\\text{subject to}\quad &\langle A_i,X\rangle=b_i,\quad i=1,\ldots,m\\&X\succeq 0\end{align*}$$三、凸分析凸分析是研究凸集和凸函数性质的数学分支，它主要研究凸集的性质以及凸函数的导数和二阶导数。
凸优化理论与应用_凸函数
25
共轭函数 具有凸性！
13
共轭函数的性质
Fenchel’s inequality
f ( x) f * ( y) yT x.
性质：若 f ( x )为凸函数，且 f ( x ) 的上半图是闭集，则有
f ** f .
n z R 性质：设 f ( x ) 为凸函数，且可微，对于 ，若 y f ( z )
若 f ( x ) 为准凸函数，根据 f ( x ) 的任意 t 下水平集，我们 可以构造一个凸函数族 t ( x)，使得
f ( x) t t ( x) 0
例：
f ( x) t 0 t ( x) . otherwise
性质：若 t ( x) 为准凸函数 f ( x ) 的凸函数族表示，对每一 个 x domf ，若 s t ，则有
7
函数上半图(epigraph)
定义：集合
epif {( x, t ) | x domf , f ( x) t}
称为函数 f 的上半图。
定理：函数 f 为凸函数当且仅当 f 的上半图为凸集。
信息与通信工程学院 庄伯金 bjzhuang@
8
Jensen不等式
凸函数的一阶微分条件
若函数 f 的定义域 domf 为开集，且函数 f 一阶可微， 则函数 f 为凸函数当且仅当 domf 为凸集，且对 x, y domf
f ( y) f ( x) f ( x)T ( y x)
信息与通信工程学院 庄伯金 bjzhuang@
定理：若函数 f ( x ) 一阶可微，则 f ( x ) 为准凸函数，当且仅 当 domf 为凸集，且对 x, y domf ，有
凸优化理论与应用-几何问题PPT课件
aT xi b 1, i 1,..., N , 且aT yi b 1, i 1,..., M
可编辑
5
线性判别
支撑超平面 H1: aT xs b 1
H 2 : aT yt b 1
两超平面之间的距离：
d(H1, H 2) 2 / a 2
已知凸集包含在内的最大体积椭球的球心称为mve中心
凸优化理论与应用
第7章 几何问题
可编辑
1
体积问题
已知集合 C ， E 为包含 C 的椭球，满足： C E {v | Av b 1}
求包含 C 的体积最小的椭球问题：
minimize log det A1
subject to sup Av b 1
maximize log det B subject to sup IC (Bu d) 0
u 2 1
若 C 为多面体，则问题变为：
maximize log det B subject to Bai 2 aiT d bi ,i 1,..., m
可编辑
3
中心问题
已知凸集 C ，包含在C 内的最大体积球的球心，称为 Chebyshev中心。
vC
若 C 为有限集，则问题变为：
minimize log det A1
subject to sup Avi b 1,i 1,..., m
可编辑
2
体积问题
已知凸集 C ， E 为包含在C 内的椭球，满足： E {Bu b | u 1} C
2
求包含在 C 内的体积最大的椭球问题：
已知凸集 C ，包含在 C 内的最大体积椭球的球心，称 为MVE中心。
凸优化理论与应用_对偶问题
12
LP问题的对偶问题
标准LP问题
minimize cT x subject to Ax b x 0
对偶函数
bT g ( , )
AT c 0 otherwise
对偶问题 maximize
g ( , )
等价描述 maximize
g ( , )
19
Entropy maximization
原始问题：minimize
i1 xi log xi ,
n
n D R
subject to Ax b
对偶函数：
1 x 1
T
g ( , ) b e
T
1
e
i 1
n
aiT
n 对偶问题： aiT T 1 maximize b e e i 1
7
对偶函数与共轭函数
共轭函数
f *( y) sup ( yT x f ( x))
xdomf
共轭函数与对偶函数存在密切联系 具有线性不等式约束和线性等式约束的优化问题： minimize f 0 ( x)
subject to Ax b Cx d
对偶函数：
g ( , ) bT d T f 0* ( AT C T )
1 maximize q( )T P( ) 1 q( ) r ( ) 2 subject to 0
Slater条件：存在 x ，满足
T (1/ 2) xT Px q i i xr i 0, i 1,..., m
信息与通信工程学院 庄伯金 bjzhuang@