凸优化理论与应用_逼近与拟合
合集下载
凸优化理论与应用凸优化PPT课件_1-51
可编辑
9
可分离变量优化问题
性质： 其中
inf f (x, y) inf f%(x)
x, y
x
f%(x) inf f (x, y)
y
定理：优化问题
minimize f0 (x1, x2 ), x R n
subject to fi (x1) 0, i 1,..., m1
f%i (x2 ) 0, i 1,..., m2 可以分离变量 x1, x2
h%i (z) i (hi (z)) 0, i 1,..., p
可编辑
7
优化问题的等价形式(4)
定理：原优化问题与以下优化问题等价
minimize f0 (x), x R n subject to fi (x) si 0, i 1,..., m
si 0 hi (x) 0, j 1,..., linear minimization
问题描述
minimize
上半图形式 minimize
f (x) im1,a...x,m(aiT x bi ) t
LP形式
subject to im1,a...x,m(aiT x bi ) t minimize t
subject to aiT x bi t,i 1,..., m
y
x eT x
f
Ay bz 0 eT y fz 1
z
1 eT x
f
z0
可编辑
31
二次规划(quadratic program,QP)
QP问题的基本描述
minimize (1/ 2)xT Px qT x r subject to Gx p h
Ax b P Sn , G Rmn , A R pn
凸优化课件
针对非线性约束条件，需要采用约束优化方法，如拉格朗日乘子法 、罚函数法等。
局部最优解和全局最优解
非线性凸优化问题可能存在多个局部最优解，需要研究如何找到全 局最优解或近似全局最优解。
大规模凸优化问题
计算复杂度
大规模凸优化问题的计算复杂度通常很高，需要采用高效的优化 算法。
并行计算和分布式计算
为了加速大规模凸优化问题的求解，可以采用并行计算和分布式计 算技术。
凸函数性质
凸函数具有单调性、有下界性、最小化性质等性质。在优化问题中，凸函数的最小值可 以通过优化方法求解。
凸集与凸函数的几何解释
凸集的几何解释
凸集可以用图形表示，例如二维平面上的一个凸集可以表示 为一个凸多边形。
凸函数的几何解释
对于凸函数，其图像是一个向上的曲线，且在该曲线上任意 两点之间画一条线，该线总是在函数图像之下。这意味着对 于凸函数，其最小值存在于其定义域的端点或边界上。
凸函数的性质
凸函数具有连续性、可微性、单调性 、凸性等性质，这些性质使得凸优化 问题在求解过程中具有一些特殊的优 势。
凸优化在数学与工程领域的应用
在数学领域的应用
凸优化在数学领域中广泛应用于最优化理论、统计推断、机器学习等领域。例 如，在机器学习中，凸优化方法可以用于求解支持向量机、神经网络等模型的 参数。
现状与挑战
目前，凸优化算法在理论和实际应用中都取得了很大的进展。然而，随着问题的复杂性和规模的增加，凸优化算 法也面临着一些挑战，如计算复杂度高、局部最优解等问题。未来，需要进一步研究和发展更高效的算法和技术 ，以解决更复杂的问题。
02
凸集与凸函数
凸集的定义与性质
凸集定义
一个集合称为凸集，如果该集合中的 任意两点之间的线段仍在集合中。
局部最优解和全局最优解
非线性凸优化问题可能存在多个局部最优解，需要研究如何找到全 局最优解或近似全局最优解。
大规模凸优化问题
计算复杂度
大规模凸优化问题的计算复杂度通常很高，需要采用高效的优化 算法。
并行计算和分布式计算
为了加速大规模凸优化问题的求解，可以采用并行计算和分布式计 算技术。
凸函数性质
凸函数具有单调性、有下界性、最小化性质等性质。在优化问题中，凸函数的最小值可 以通过优化方法求解。
凸集与凸函数的几何解释
凸集的几何解释
凸集可以用图形表示，例如二维平面上的一个凸集可以表示 为一个凸多边形。
凸函数的几何解释
对于凸函数，其图像是一个向上的曲线，且在该曲线上任意 两点之间画一条线，该线总是在函数图像之下。这意味着对 于凸函数，其最小值存在于其定义域的端点或边界上。
凸函数的性质
凸函数具有连续性、可微性、单调性 、凸性等性质，这些性质使得凸优化 问题在求解过程中具有一些特殊的优 势。
凸优化在数学与工程领域的应用
在数学领域的应用
凸优化在数学领域中广泛应用于最优化理论、统计推断、机器学习等领域。例 如，在机器学习中，凸优化方法可以用于求解支持向量机、神经网络等模型的 参数。
现状与挑战
目前，凸优化算法在理论和实际应用中都取得了很大的进展。然而，随着问题的复杂性和规模的增加，凸优化算 法也面临着一些挑战，如计算复杂度高、局部最优解等问题。未来，需要进一步研究和发展更高效的算法和技术 ，以解决更复杂的问题。
02
凸集与凸函数
凸集的定义与性质
凸集定义
一个集合称为凸集，如果该集合中的 任意两点之间的线段仍在集合中。
凸优化理论与应用-暑期学习总结
“凸优化理论与应用”暑期学校学习总结一、专家介绍Stephen Boyd：斯坦福大学教授，曾多次来哈尔滨工业大学控制理论与制导技术研究中心开展学术讲座和交流活动。
讲课全部是英文，很开朗。
段广仁：哈尔滨工业大学教授，曾于外国留学，讲了一口流利的英语，和Stephen Boyd教授交流时全部是英语。
谭峰：段广仁的学生，曾去Stephen Boyd教授那里做一年博后，然后回国，现在就职于哈尔滨工业大学，讲师。
所以此次由她给大家做辅导。
二、课程安排7.13上午8:15-9:15 开幕。
段广仁老师对于本次暑期学校开展、Stephen Boyd、谭峰以及幕后的工作人员做了简单的介绍，谈了课程的变动的原因以及可能给我们加课等事宜。
9:30-11:00讲座1(Lecture 1) Stephen Boyd 教授。
7.14上午8:15-9:15 谭峰博士对于前一天Stephen Boyd 教授讲的知识的一个回顾。
9:30-11:00讲座2(Lecture 2) Stephen Boyd 教授。
下午14:00-15:00讲座3(Lecture 3)Stephen Boyd 教授。
7.15上午8:15-9:15 谭峰博士。
9:30-11:00讲座4(Lecture 4) Stephen Boyd 教授。
7.16上午8:15-9:15 谭峰博士。
9:15-9:30 所有人一起拍一张照片。
9:30-11:00讲座5(Lecture 5) Stephen Boyd 教授。
三、主要知识1.凸优化相应理论.本部分一共有8章，老师只用了两节课共3个小时就讲完了。
这部分的内容虽然我很认真的听了，也只能知道一点概况，说实话想学明白还需要以后投入大量的时间精力。
1.1 绪论此部分介绍了在现实生活中存在的凸优化问题，最小二乘，线性规划，凸优化问题等。
1.2. 凸集在此部分介绍了凸集里包含的集合的形式，如仿射集、凸集、凸锥、超平面和半空间、多面体、半正定锥、交集（凸集的交集还是凸的）以上这些都是凸的。
07凸优化理论与应用_无约束优化
T
信息与通信工程学院 庄伯金 bjzhuang@
10
步长因子搜索
信息与通信工程学院 庄伯金 bjzhuang@
m
11
梯度下降法
下降方向： x f ( x) 终止条件： f ( x) 2 收敛性： f ( x( k ) ) p* ck ( f ( x(0) ) p* ) 其中 c (0,1) 。
xnt 2 f ( x)1f ( x)
2 f ( x )
( xT 2 f ( x) x)1/ 2 上的最速下降方向。
信息与通信工程学院 庄伯金 bjzhuang@
19
牛顿法
信息与通信工程学院 庄伯金 bjzhuang@
20
牛顿减量
T 2 2
p* 为最优值，则
1 f ( x) p f ( x ) 2m
* 2 2
信息与通信工程学院 庄伯金 bjzhuang@
5
强凸性
若函数 f ( x ) 在 S 上具有强凸性，则可以证明存 在M 0 ，满足 2 f ( x) MI 则有
M f ( y ) f ( x) f ( x) ( y x) yx 2
l1 范数：
f ( x) xsd ei xi
16
信息与通信工程学院 庄伯金 bjzhuang@
最速下降法
信息与通信工程学院 庄伯金 bjzhuang@
17
收敛性分析
范数界：
x * x 2 , (0,1]
c 1 2m 2 min{1, 2 / M }
令
( x) (f ( x)T 2 f ( x)1f ( x))1/ 2
凸优化问题的解法与应用
凸优化问题的解法与应用凸优化问题是指满足下列条件的优化问题：目标函数是凸函数，约束条件是凸集合。
凸优化问题是最优化问题中的一类比较特殊的问题，也是应用非常广泛的一类问题。
凸优化问题在工业、金融、电力、交通、通信等各个领域都有着广泛的应用。
本文将介绍凸优化问题的基本概念、解法和应用。
一、凸优化问题的基本概念1. 凸函数凸函数是指函数的图形总是位于函数上方的函数，即满足下列不等式：$$f(\alpha x_1 + (1-\alpha)x_2) \le \alpha f(x_1) + (1-\alpha) f(x_2),\quad x_1, x_2 \in \mathbb{R}, 0 \le \alpha \le 1$$凸函数有很多种性质，如单调性、上凸性、下凸性、严格凸性等，这些性质都与函数的图形有关。
凸函数的图形总是呈现出向上凸起的形状。
2. 凸集合凸集合是指集合内任意两点间的线段都被整个集合所包含的集合。
凸集合有很多常见的例子，如球、多面体、凸多边形、圆等。
凸集合的特点在于其内部任意两点之间都可以通过一条线段相连。
3. 凸组合凸组合是指将若干个向量按照一定比例相加后所得到的向量。
具体地，对于$n$个向量$x_1, x_2, \cdots, x_n$，它们的凸组合定义为：$$\alpha_1 x_1 + \alpha_2 x_2 + \cdots + \alpha_n x_n, \quad\alpha_1 + \alpha_2 + \cdots + \alpha_n = 1, \quad \alpha_i \ge 0 $$凸组合可以看做是加权平均的一种特殊形式。
在凸优化问题中，凸组合常常被用来表示优化变量之间的关系。
二、凸优化问题的解法凸优化问题可以用很多方法来求解，其中比较常用的有梯度下降算法、最小二乘法、线性规划、二次规划、半定规划等。
1. 梯度下降算法梯度下降算法是一种基于梯度信息的优化算法。
凸优化理论与应用_凸集
03
凸优化问题建模与求解
凸优化问题定义及示例
凸优化问题定义
凸优化问题是一类特殊的数学优化问题，其目标函数是凸函数，约束条件为凸集。凸函数在数学上具有很好的性 质，如局部最优解即为全局最优解，这使得凸优化问题的求解相对简单。
凸优化问题示例
支持向量机（SVM）、线性回归、逻辑回归、最小二乘法等机器学习算法中的优化问题都可以转化为凸优化问题 进行求解。
凸函数与凹函数关系
凹函数定义
凹函数与凸函数相反，满足f(λx1+(1-λ)x2)≥λf(x1)+(1-λ)f(x2)。
凸凹性转换
通过取负操作，可以将凸函数转换为凹函数，反之亦然。即，如果f是凸函数，则-f是凹函数；如果f是凹函数，则-f 是凸函数。
凸凹组合
凸函数和凹函数的线性组合可能既不是凸函数也不是凹函数，但可以通过一定的条件判断其凸凹性。
01
03
02 04
多面体与单纯形
多面体是由有限个线性不等式定 义的集合，即{x | Ax ≤ b}。单纯 形是一种特殊的多面体，每个顶 点都是其他顶点的邻居。
锥与凸锥
锥是由原点出发的射线组成的集 合。如果锥还是凸集，则称为凸 锥。
02
凸函数及其性质
凸函数定义及示例
凸函数定义
在数学中，一个函数被称为凸函数，如果对于该函数定义域内的任意两个点x1 和x2，以及任意实数λ∈[0,1]，都有f(λx1+(1-λ)x2)≤λf(x1)+(1-λ)f(x2)成立。
稀疏表示与重构
在压缩感知中，利用凸 集理论对信号进行稀疏 表示，并通过求解凸优 化问题实现信号的重构 。
噪声鲁棒性
针对压缩感知中的噪声 问题，利用凸集理论构 建鲁棒性优化模型，提 高信号恢复的精度和稳 定性。
逼近与拟合
19
5
罚函数的例
l p , p 1 范数： p (r ) r
死区线性罚函数：
r a 0 (r ) r a r a 对数门限罚函数 2 2 a log(1 ( r / a ) ) (r )
r a r a
6
7
鲁棒的罚函数
某些异常点导致残差值过大，影响逼近的效果。 若 r 大到一定程度时，罚函数为 r 的线性函数，则称 该罚函数为鲁棒的罚函数。 Huber罚函数
2 r (r ) M (2 r M )
r M r M
8
鲁棒的罚函数
9
最小范数问题
问题描述：minimize
n
最小罚问题：
minimize
( x )
i 1 i
subject to Ax b
绝对值和最小问题：范数 1 ，原问题可转换为LP问题： minimize 1T y
subject to Ax b, y x y
11
正则逼近
二元矢量优化பைடு நூலகம்题描述：
minimize(w.r.t. R )
1 2 1 0 0 1 2 1 0 1 2 2 0 x n ... ... ... ... 0 0 0 0 0 0 0 0
信号复原
已知加噪信号：
xcor x v
信号复原问题的描述：
2
minimize(w.r.t. R ) 函数 ( x ) : R n R 为正则函数或光滑函数。
13
正则逼近
02凸优化理论与应用_凸函数
6
下水平集(sublevel set)
定义：集合
C { x dom f | f ( x ) }
称为 f 的 下水平集。
定理：凸函数的任一下水平集均为凸集。 任一下水平集均为凸集的函数不一定为凸函数。
信息与通信工程学院 庄伯金 bjzhuang@
7
函数上半图(epigraph)
定义：集合
epi f {( x , t ) | x dom f , f ( x ) t }
称为函数
f
的上半图。
f
定理：函数
为凸函数当且仅当
f
的上半图为凸集。
信息与通信工程学院 庄伯金 bjzhuang@
8
Jensen不等式
f
为凸函数，则有：
yC
凸函数的透视算子
g ( x , t ) tf ( x / t )
信息与通信工程学院 庄伯金 bjzhuang@
11
共轭函数(conjugate function)
定义：设函数 f : R 定义为
*
n
R
，其共轭函数 f : R
T
*
n
R
，
f ( y ) su p ( y x f ( x )).
n
为真锥，函数 f : R
n
R
称为 K 单调增，若函数 f ( x ) 满足：
x K y f (x) f ( y)
广义凸函数的定义：设K R 均有
m
为真锥，函数 f : R
n
R
m
称为 K 凸，若函数 f ( x ) 满足对 x , y dom f , 0 1
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
f (v j ) f (vk ) L v j vk , j , k 1,..., m
一阶微分约束
f (u)
x f ( u ) M i i i 1
n
二阶微分约束
mI 2 f (u ) MI
信息与通信工程学院 庄伯金 bjzhuang@ 29
1
信息与通信工程学院 庄伯金 bjzhuang@
19
信号复原
已知加噪信号：
xcor x v
信号复原问题的描述：
minimize(w.r.t. R ) 函数 ( x ) : R n R 为正则函数或光滑函数。
2
( x xcor 2 , ( x ))
其中 x0 zu 为方程组 Ax b 的解。
信息与通信工程学院 庄伯金 bjzhuang@
13
最小范数问题
最小平方范数问题：范数 2 ，最优解满足： 2 x* AT * 0, Ax* b
最小罚问题：
minimize
(x )
i 1 i
n
subject to Ax b
minimize
sup ( Ax b )
AI A
若 I A 为有限集，可转换为：
minimize t subject to Ai x b t , i 1,..., m
信息与通信工程学院 庄伯金 bjzhuang@
26
函数拟合
已知一函数族：
fi , i A
x* arg min Ax b n
*
xR
注：若 b R( A) ，则 u b 为平凡情况。
信息与通信工程学院 庄伯金 bjzhuang@
4
范数逼近问题
问题描述：
minimize A R
m n
Ax b
, m n,
残差向量
r Ax b
信息与通信工程学院 庄伯金 bjzhuang@
x z
其中
z 是稀疏的。则对信号 x 进行测量，得到测量值 y ， y x
minimize
当 和 满足约束一致性条件时，优化问题
x y 2 1 x , 0 0 的最优解以接近1的概率可恢复得到信号 x 。
近似问题为凸优化问题
minimize
x y 2 1 x , 0
绝对值和最小问题：范数 1 ，原问题可转换为LP问 题： minimize 1T y
subject to Ax b, y x y
信息与通信工程学院 庄伯金 bjzhuang@ 14
正则逼近
二元矢量优化问题描述： 2 minimize(w.r.t. R ) 正则化问题： minimize
误差可用范数形式表示：
n
i 1 i i
a x b
A a1 a2 ... an 原误差可表示为： Ax b 当 m n 时，假设矩阵 A 的秩为 m ，则 Ax b 0 ，为平凡情
况。
将向量组依次按列排列，可形成矩阵
信息与通信工程学院 庄伯金 bjzhuang@
信息与通信工程学院 庄伯金 bjzhuang@
9
罚函数的例
l p , p 1 范数：
(r ) r
p
死区线性罚函数： 函数
2 2 a log(1 (r / a) ) (r )
信息与通信工程学院 庄伯金 bjzhuang@
7
绝对值和最小逼近
范数采用 l1 范数 1 ，原问题为
minimize A R
m n
Ax b 1
, m n,
m i 1
即
minimize
a x b ik k i k 1
n
可转换为LP问题
minimize 1T y subject to - y Ax b y
2
问题原型-测量问题
问题描述：线性测量模型为
y Ax v
m n y R 其中 为测量值向量， A 为输入值，x R 为待测定的 向量参数，而 v 为测量误差。 测量问题希望估算获得最佳的 x ，使得测量误差值尽可能的 小，即 Ax y 尽可能小。
信息与通信工程学院 庄伯金 bjzhuang@
21
信号复原
信息与通信工程学院 庄伯金 bjzhuang@
22
信号复原
信息与通信工程学院 庄伯金 bjzhuang@
23
鲁棒逼近
问题描述：minimize
Ax b , A不确定
随机鲁棒逼近： A 为随机变量，逼近问题转换为最小化 期望 minimize E( Ax b ) 例：
凸优化理论与应用
第五章 逼近与拟合
信息与通信工程学院 庄伯金 bjzhuang@
1
问题原型-回归问题
问题描述：给定一组 m 维向量 a1 , a2 ,..., an ，对给定的向量 b ，用向量组 a1 , a2 ,..., an 的线性组合近似表示 b ，使误差最小。
切比雪夫逼近
范数采用 l 范数 ，原问题为
minimize
Ax b
A R mn , m n,
即
minimize
max
n
a x b , i 1,..., m ik k i k 1
可转换为LP问题
minimize t subject to - t1 Ax b t1
5
最小平方逼近
范数采用 l 2 范数 2 ，原问题为：
minimize
Ax b
Ax b
2 2
2
A R m n , m n ,
等价问题：
minimize
A R m n , m n ,
最优解满足：
A Ax A b
T * T
6
信息与通信工程学院 庄伯金 bjzhuang@
A 为随机变量： A A U
最小平方随机鲁棒逼近为：
minimize E Ax b
转换为：
2 2
minimize
其中
Ax b P x
1/ 2 2
2
2 2
P EU TU
信息与通信工程学院 庄伯金 bjzhuang@
25
最坏情况鲁棒逼近
考虑 A I A ，最坏情况鲁棒逼近为：
信息与通信工程学院 庄伯金 bjzhuang@
8
罚函数逼近
问题描述：
minimize
(r )
i 1 i
n
subject to r Ax b
罚函数 ( r ) 表示逼近问题误差的代价，一般为对称、非 负且 (0) 0
若罚函数为凸函数，则罚函数逼近问题为凸优化问题。
函数拟合问题
最小化范数函数拟合：给定m个指定点 (ui , yi ), i ，优化问题： m
1, 2,..., m
minimize
i 1
( f (ui ) yi )
n
2
例：（多项式拟合）给定m组点 多项式函数 求解优化问题 其中 aij uij 1
p (u ) i 1 xi u i 1
fi (t ) t , i 1, 2,...
i 1
sin kt , k 1, 2,...,
cos kt , k 0,1,...
信息与通信工程学院 庄伯金 bjzhuang@
28
函数拟合与内插的约束条件
内插点约束 Lipschitz约束
f (vi ) zi , i 1, 2,..., m
17
2
2
x 为二阶差分算子：
1 2 1 0 0 1 2 1 0 1 2 2 0 x n ... ... ... ... 0 0 0 0 0 0 0 0
信息与通信工程学院 庄伯金 bjzhuang@
回归问题的稀疏逼近
问题描述：
minimize
f (u ) xi f i (u )
函数
f
用函数族拟合可表示为：
函数族 fi , i A 通常称为基函数。基函数可以张出一个定义 域上的函数子空间。 向量
x 称为函数空间中的系数向量。
信息与通信工程学院 庄伯金 bjzhuang@
27
函数拟合
多项式基函数 三角基函数
最优解的形式： x ( AT A I )1 AT b
信息与通信工程学院 庄伯金 bjzhuang@
16
正则逼近
Tikhonov光滑正则化问题：
minimize
Ax b x , 0
... ... ... ... ... ... 0 0 0 0 0 0 0 x ... ... ... 2 1 0 1 2 1 0 0
P( A Ai ) pi
随机鲁棒逼近为： minimize 转换为：
p
i 1
n
i
Ai x b
minimize pT t subject to Ai x b ti , i 1,..., n
24
信息与通信工程学院 庄伯金 bjzhuang@