凸优化理论与应用-内点法PPT课件
合集下载
凸优化课件
例： 半正定锥和矩阵不等式
严格广义不等式
3
广义不等式的性质
4
严格广义不等式的性质
5
S，都有 成立，则称 x 为 S 的最小元。（唯一）
极小元的定义：设 x S ，对于 y S ，若 ，有 y x 成立，则称 x 为 S 的极小元。 （可以有多个） 例2.17 锥 等式。 ，它导出的是 上的关于分量的不
T T
则存在
x C, a x b且x D, a x b.
超平面 分 离了两个不相交的凸集 C 和 D 。仿射函数 在 C 上非正，在 D 上 非负。
8
严格分离：
超平面分离定理的逆定理：
结合逆定理与平面分离定理得出结论：
9
2.5.2 支撑超平面
x0 为 C 边界上的点。若存在 a 0， 定义：设集合 C ， 满足对任意 x C ，都有 aT x aT x0 成立，则称超平 T T { x | a x a x0} 为集合 C 在点 x0 处的支撑超平面。 面
正常锥的对偶锥 仍然是正常锥！ 2.若K 非中空，则K *有端点；
3.若K的闭包有端点，则K *非中空； 4.K 是K的闭凸包；
11
**
2.6.2 广义不等式的对偶
对偶锥 是正常锥，可由这导出一个广义不等式 ，我们称其为广义不等式 的对偶。 广义不等式与其对偶的性质：
12
2.6.3 对偶不等式定义的最小元和极小元
定理：任意非空凸集边界上的任意一点均存在支撑 超平面。 定理：若一个闭的非中空集合，在边界上的任意一 点均存在支撑超平面，则该集合为凸集。
10
2.6 对偶锥和广义不等式
凸优化理论与应用凸优化PPT课件_1-51
可编辑
9
可分离变量优化问题
性质： 其中
inf f (x, y) inf f%(x)
x, y
x
f%(x) inf f (x, y)
y
定理：优化问题
minimize f0 (x1, x2 ), x R n
subject to fi (x1) 0, i 1,..., m1
f%i (x2 ) 0, i 1,..., m2 可以分离变量 x1, x2
h%i (z) i (hi (z)) 0, i 1,..., p
可编辑
7
优化问题的等价形式(4)
定理：原优化问题与以下优化问题等价
minimize f0 (x), x R n subject to fi (x) si 0, i 1,..., m
si 0 hi (x) 0, j 1,..., linear minimization
问题描述
minimize
上半图形式 minimize
f (x) im1,a...x,m(aiT x bi ) t
LP形式
subject to im1,a...x,m(aiT x bi ) t minimize t
subject to aiT x bi t,i 1,..., m
y
x eT x
f
Ay bz 0 eT y fz 1
z
1 eT x
f
z0
可编辑
31
二次规划(quadratic program,QP)
QP问题的基本描述
minimize (1/ 2)xT Px qT x r subject to Gx p h
Ax b P Sn , G Rmn , A R pn
凸分析教学课件.ppt
Df 2.9设S n非空，y n,则点y与集合S 之间的距离dist(y,S)定义为 dist（y, S) inf y-x (2.4)
xS
Th2.5设S为En中的闭凸集，y S,则存在唯一的
点x S,使得 y-x inf y-x xS
2. 凸集与凸函数
证明：令 inf y-x r 0 xS
换言之d不能表成它的两个不同方向的凸锥组合
d
d
d
x0
x0
2. 凸集与凸函数
例2.4 集合S {(x1, x2 ) x2 | x1 | 凡是与向量(0,1)T 夹角 45的向量 都是它的方向。(1,1)T，(1,1)T 是其仅 有的两个极方向
例2.5 设S {x Ax b, x 0} ,d是非零向量。 证明,d是S的方向 d 0且Ad 0.
x
n
x k xk jd j
kK
jJ
k 1,k 0, k K , j 0, j J
kK
(3)指标集J是空集当且仅当P是有界集合,即多胞形.
2. 凸集与凸函数
推论2.1 若多面体S={x|Ax=b,x≥0}非空,则S必有极点.
表示定理直观描述:设 X 为非空多面体. 则存在有限个极点 x1, …, xk , k>0. 进一步,存在有限个极方向 d1, …, dl, l>0 当且 仅当 X 无界. 进而, xX 的充要条件是 x 可以表为 x1, …, xk 的凸组合和d1, …, dl的非负线性组合(凸锥组合).
C T
2. 凸集与凸函数
有限点集{x0, x1,..., xm} n的凸包称为多胞形。 若{x0,x1,..., xm}仿射无关时，对应的凸包称为m维单纯形。 向量xi称为该单纯形的顶点。
xS
Th2.5设S为En中的闭凸集，y S,则存在唯一的
点x S,使得 y-x inf y-x xS
2. 凸集与凸函数
证明：令 inf y-x r 0 xS
换言之d不能表成它的两个不同方向的凸锥组合
d
d
d
x0
x0
2. 凸集与凸函数
例2.4 集合S {(x1, x2 ) x2 | x1 | 凡是与向量(0,1)T 夹角 45的向量 都是它的方向。(1,1)T，(1,1)T 是其仅 有的两个极方向
例2.5 设S {x Ax b, x 0} ,d是非零向量。 证明,d是S的方向 d 0且Ad 0.
x
n
x k xk jd j
kK
jJ
k 1,k 0, k K , j 0, j J
kK
(3)指标集J是空集当且仅当P是有界集合,即多胞形.
2. 凸集与凸函数
推论2.1 若多面体S={x|Ax=b,x≥0}非空,则S必有极点.
表示定理直观描述:设 X 为非空多面体. 则存在有限个极点 x1, …, xk , k>0. 进一步,存在有限个极方向 d1, …, dl, l>0 当且 仅当 X 无界. 进而, xX 的充要条件是 x 可以表为 x1, …, xk 的凸组合和d1, …, dl的非负线性组合(凸锥组合).
C T
2. 凸集与凸函数
有限点集{x0, x1,..., xm} n的凸包称为多胞形。 若{x0,x1,..., xm}仿射无关时，对应的凸包称为m维单纯形。 向量xi称为该单纯形的顶点。
凸优化课件
针对非线性约束条件，需要采用约束优化方法，如拉格朗日乘子法 、罚函数法等。
局部最优解和全局最优解
非线性凸优化问题可能存在多个局部最优解，需要研究如何找到全 局最优解或近似全局最优解。
大规模凸优化问题
计算复杂度
大规模凸优化问题的计算复杂度通常很高，需要采用高效的优化 算法。
并行计算和分布式计算
为了加速大规模凸优化问题的求解，可以采用并行计算和分布式计 算技术。
凸函数性质
凸函数具有单调性、有下界性、最小化性质等性质。在优化问题中，凸函数的最小值可 以通过优化方法求解。
凸集与凸函数的几何解释
凸集的几何解释
凸集可以用图形表示，例如二维平面上的一个凸集可以表示 为一个凸多边形。
凸函数的几何解释
对于凸函数，其图像是一个向上的曲线，且在该曲线上任意 两点之间画一条线，该线总是在函数图像之下。这意味着对 于凸函数，其最小值存在于其定义域的端点或边界上。
凸函数的性质
凸函数具有连续性、可微性、单调性 、凸性等性质，这些性质使得凸优化 问题在求解过程中具有一些特殊的优 势。
凸优化在数学与工程领域的应用
在数学领域的应用
凸优化在数学领域中广泛应用于最优化理论、统计推断、机器学习等领域。例 如，在机器学习中，凸优化方法可以用于求解支持向量机、神经网络等模型的 参数。
现状与挑战
目前，凸优化算法在理论和实际应用中都取得了很大的进展。然而，随着问题的复杂性和规模的增加，凸优化算 法也面临着一些挑战，如计算复杂度高、局部最优解等问题。未来，需要进一步研究和发展更高效的算法和技术 ，以解决更复杂的问题。
02
凸集与凸函数
凸集的定义与性质
凸集定义
一个集合称为凸集，如果该集合中的 任意两点之间的线段仍在集合中。
局部最优解和全局最优解
非线性凸优化问题可能存在多个局部最优解，需要研究如何找到全 局最优解或近似全局最优解。
大规模凸优化问题
计算复杂度
大规模凸优化问题的计算复杂度通常很高，需要采用高效的优化 算法。
并行计算和分布式计算
为了加速大规模凸优化问题的求解，可以采用并行计算和分布式计 算技术。
凸函数性质
凸函数具有单调性、有下界性、最小化性质等性质。在优化问题中，凸函数的最小值可 以通过优化方法求解。
凸集与凸函数的几何解释
凸集的几何解释
凸集可以用图形表示，例如二维平面上的一个凸集可以表示 为一个凸多边形。
凸函数的几何解释
对于凸函数，其图像是一个向上的曲线，且在该曲线上任意 两点之间画一条线，该线总是在函数图像之下。这意味着对 于凸函数，其最小值存在于其定义域的端点或边界上。
凸函数的性质
凸函数具有连续性、可微性、单调性 、凸性等性质，这些性质使得凸优化 问题在求解过程中具有一些特殊的优 势。
凸优化在数学与工程领域的应用
在数学领域的应用
凸优化在数学领域中广泛应用于最优化理论、统计推断、机器学习等领域。例 如，在机器学习中，凸优化方法可以用于求解支持向量机、神经网络等模型的 参数。
现状与挑战
目前，凸优化算法在理论和实际应用中都取得了很大的进展。然而，随着问题的复杂性和规模的增加，凸优化算 法也面临着一些挑战，如计算复杂度高、局部最优解等问题。未来，需要进一步研究和发展更高效的算法和技术 ，以解决更复杂的问题。
02
凸集与凸函数
凸集的定义与性质
凸集定义
一个集合称为凸集，如果该集合中的 任意两点之间的线段仍在集合中。
凸优化理论课件3
Lρ (x, z, y) = f (x) + g(z) + y T (Ax + Bz − c) + (ρ/2) Ax + Bz − c ADMM: xk+1 z
k+1
2 2
:= := :=
argminx Lρ (x, z k , y k ) argminz Lρ (x
k+1
// x-minimization
works, with lots of assumptions; often slow
Dual decomposition
8
Outline
Dual decomposition Method of multipliers Alternating direction method of multipliers Common patterns Examples Consensus and exchange Conclusions
Alternating direction method of multipliers
16
ADMM and optimality conditions
optimality conditions (for differentiable case):
– primal feasibility: Ax + Bz − c = 0 – dual feasibility: f (x) + AT y = 0, g(z) + B T y = 0
14
Alternating direction method of multipliers
ADMM problem form (with f , g convex) minimize f (x) + g(z) subject to Ax + Bz = c
02凸优化理论与应用_凸函数
6
下水平集(sublevel set)
定义：集合
C { x dom f | f ( x ) }
称为 f 的 下水平集。
定理：凸函数的任一下水平集均为凸集。 任一下水平集均为凸集的函数不一定为凸函数。
信息与通信工程学院 庄伯金 bjzhuang@
7
函数上半图(epigraph)
定义：集合
epi f {( x , t ) | x dom f , f ( x ) t }
称为函数
f
的上半图。
f
定理：函数
为凸函数当且仅当
f
的上半图为凸集。
信息与通信工程学院 庄伯金 bjzhuang@
8
Jensen不等式
f
为凸函数，则有：
yC
凸函数的透视算子
g ( x , t ) tf ( x / t )
信息与通信工程学院 庄伯金 bjzhuang@
11
共轭函数(conjugate function)
定义：设函数 f : R 定义为
*
n
R
，其共轭函数 f : R
T
*
n
R
，
f ( y ) su p ( y x f ( x )).
n
为真锥，函数 f : R
n
R
称为 K 单调增，若函数 f ( x ) 满足：
x K y f (x) f ( y)
广义凸函数的定义：设K R 均有
m
为真锥，函数 f : R
n
R
m
称为 K 凸，若函数 f ( x ) 满足对 x , y dom f , 0 1
凸优化理论与应用-逼近与拟合PPT课件
题：
minimize 1T y
subject to Ax b, y p x p y
可编辑
14
正则逼近
二元矢量优化问题描述：
minimize(w.r.t. R2) ( Ax b , x )
正则化问题：
minimize Ax b x , 0
最优解描述了两分量的一条折中曲线。
minimize Ax b 2 x 2 , 0
x 为二阶差分算子：
1 2 1 0 ... 0 0 0
0
1
2
1
...
0
0
0
x
n
2
0 ...
0 ...
1 ...
2 ... 0 ... ... ...
0 0 ... ... x
0 0 0 0 ... 2 1 0
该罚函数为鲁棒的罚函数。
Huber罚函数
(r
)
M
(2
r2 r
M
)
r M r M
可编辑
12
最小范数问题
问题描述：minimize x subject to Ax b, A Rmn , m n
可以消去等式约束将其转换为范数逼近问题：
minimize x0 zu
可编辑
7
绝对值和最小逼近
范数采用 l1
范数
• ，原问题为 1
minimize Ax b
1
A Rmn , m n,
即
minimize
m i 1
n k 1
aik
xk
bi
凸优化理论与应用内点法PPT课件
Ax b 对于固定的 x ，si max{ fi (x), 0}
可编辑
13
寻找严格可行解的方法
牛顿法求解优化问题：
minimize s
subject to fi (x) s,i 1,..., m Ax b
迭代终止条件：当前解 s(k) 0 ，即终止迭代，严格可 行解为 x(k ) 。
则优化问题具有强对偶性，其对偶问题亦可解。
可编辑
2
不等式约束的消去
示性函数消去不等式约束：
m
minimize f0 (x) I ( fi (x)) i 1
subject to Ax b
0 u 0 I (u) u 0
I (u) 不具备良好的连续可微性，考虑用对数阀函数来
近似替代。
可编辑
中心步骤：以 x 为初始点求解优化问题 x*(t) ，
minimize tf0(x) (x)
subject to Ax b 迭代： x x* (t)
终止条件：若 m/ t ，则终止退出。
更新 t ：t t
可编辑
9
收敛性分析
外层循环迭代次数：
log(m /( t(0) ))
(t))
,
*
(t)
w
/
t
则 x x*(t) 是拉格朗日函数L(x, *(t), *(t)) 的最小值
解。
m
L(x, *(t), *(t)) f0 (x) i*(t) fi (x) *(t)( Ax b)
i 1
(*(t), *(t)) 为对偶问题的可行解。
可编辑
7
中心线的对偶点
设 p* 为原始问题的最优值，则有：
可编辑
4
对数阀函数
可编辑
13
寻找严格可行解的方法
牛顿法求解优化问题：
minimize s
subject to fi (x) s,i 1,..., m Ax b
迭代终止条件：当前解 s(k) 0 ，即终止迭代，严格可 行解为 x(k ) 。
则优化问题具有强对偶性，其对偶问题亦可解。
可编辑
2
不等式约束的消去
示性函数消去不等式约束：
m
minimize f0 (x) I ( fi (x)) i 1
subject to Ax b
0 u 0 I (u) u 0
I (u) 不具备良好的连续可微性，考虑用对数阀函数来
近似替代。
可编辑
中心步骤：以 x 为初始点求解优化问题 x*(t) ，
minimize tf0(x) (x)
subject to Ax b 迭代： x x* (t)
终止条件：若 m/ t ，则终止退出。
更新 t ：t t
可编辑
9
收敛性分析
外层循环迭代次数：
log(m /( t(0) ))
(t))
,
*
(t)
w
/
t
则 x x*(t) 是拉格朗日函数L(x, *(t), *(t)) 的最小值
解。
m
L(x, *(t), *(t)) f0 (x) i*(t) fi (x) *(t)( Ax b)
i 1
(*(t), *(t)) 为对偶问题的可行解。
可编辑
7
中心线的对偶点
设 p* 为原始问题的最优值，则有：
可编辑
4
对数阀函数
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
问题的解 满足：
xnt 和对偶
t2
f0
(
x) A
2
(
x)
AT 0
xnt
vnt
tf0
(x) 0
( x)
可编辑
10
例：
LP问题：m 100, n 50
初始值： t (0) 1, 106
1 fi (x)
2
fi (x)
可编辑
5
中心线
对数阀近似问题的等价问题：
minimize tf0 (x) (x),t 0
subject to Ax b 最优解为 x*(t) ，则最优解集 {x*(t) | t 0} 称为优化问
题的中心线。
可编辑
6
中心线的对偶点
设 x x*(t) ，则存在 w 满足KKT条件：
i 1
(*(t), *(t)) 为对偶问题的可行解。
可编辑
7
中心线的对偶点
设 p* 为原始问题的最优值，则有：
p* g(*(t), *(t)) L(x*(t), *(t), *(t))
f0 (x*(t)) m / t
因此，当 t 时，有 f0 (x*(t)) p*。x*(t) 为原始问
终止条件：若 m/ t ，则终止退出。
更新 t ：t t
可编辑
9
收敛性分析
外层循环迭代次数：
log(m /( t(0) ))
log
中心步骤实质为一个无约束或等式约束优化问题，其收 敛性分析与相应优化问题的收敛性分析结果一致。
设 x 为对数阀问题的可行解，则牛顿方向
则优化问题具有强对偶性，其对偶问题亦可解。
可编辑
2
不等式约束的消去
示性函数消去不等式约束：
m
minimize f0 (x) I ( fi (x)) i 1
subject to Ax b
0 u 0 I (u) u 0
I (u) 不具备良好的连续可微性，考虑用对数阀函数来
题的 m / t 次优解。
可编辑
8
阀方法
初始化：给定严格可行解 x ，t 0 ， 1 ，及 0
LOOP：
中心步骤：以 x 为初始点求解优化问题 x*(t) ，
minimize tf0(x) (x)
subject to Ax b 迭代： x x* (t)
凸优化理论与应用
第10章 内点法
可编辑
1
不等式约束优化问题
问题描述：minimize f0 (x) subject to fi (x) 0,i 1,..., m Ax b
fi (x) 为凸函数，且二次连续可微，且 A R pn , p n, rankA p
假设最优值 p*存在； 假设存在 x%domf ，满足严格不等式条件 fi (x) 0
近似替代。
可编辑
3
对数阀函数
对于 t 0 ，1/ t log(u) 是 I (u) 的光滑逼近。且 当 t 时，有
1/ t log(u) I (u)
令
m
(x) log( fi (x))
i 1
带示性函数的优化问题可近似为：
minimize
f0 ( x)
可编辑
12
第一阶段方法
优化目标为逐项之和：
minimize 1T s subject to fi (x) si ,i 1,..., m
Ax b 对于固定的 x ，si max{ fi (x), 0}
可编辑
13
寻找严格可行解的方法
牛顿法求解优化问题：
minimize s
可编辑
11
第一阶段方法
对于不等式约束的优化问题，如何寻找严格可行解或验 证不可解？
求解优化问题：minimize s
subject to fi (x) s,i 1,..., m
Ax b 该问题最优解存在，假设最优值为 p*
当 p* 0 时，存在严格可行解； 当 p* 0 时，原始问题不可解； 当 p* 0 时，无法准确确定。
subject to fi (x) s,i 1,..., m Ax b
迭代终止条件：当前解 s(k) 0 ，即终止迭代，严格可 行解为 x(k ) 。
可编辑
14
1 ( x), t
t
0
subject to Ax b
可编辑
4
对数阀函数
( x)
m i 1
1 fi (
x)
fi
(
x)
2(x)
m i 1
1 fi (x)2
fi (x)fi (x)T
m i 1
tf0 (x)
m i 1
1 fi (x)
fi (x)
AT w
0,
Ax
b
令
i*
(t)
tfi
1 (x*
(t))
,
*
(t)
w
/
t
则 x x*(t) 是拉格朗日函数L(x, *(t), *(t)) 的最小值
解。
m
L(x, *(t), *(t)) f0 (x) i*(t) fi (x) *(t)( Ax b)
xnt 和对偶
t2
f0
(
x) A
2
(
x)
AT 0
xnt
vnt
tf0
(x) 0
( x)
可编辑
10
例：
LP问题：m 100, n 50
初始值： t (0) 1, 106
1 fi (x)
2
fi (x)
可编辑
5
中心线
对数阀近似问题的等价问题：
minimize tf0 (x) (x),t 0
subject to Ax b 最优解为 x*(t) ，则最优解集 {x*(t) | t 0} 称为优化问
题的中心线。
可编辑
6
中心线的对偶点
设 x x*(t) ，则存在 w 满足KKT条件：
i 1
(*(t), *(t)) 为对偶问题的可行解。
可编辑
7
中心线的对偶点
设 p* 为原始问题的最优值，则有：
p* g(*(t), *(t)) L(x*(t), *(t), *(t))
f0 (x*(t)) m / t
因此，当 t 时，有 f0 (x*(t)) p*。x*(t) 为原始问
终止条件：若 m/ t ，则终止退出。
更新 t ：t t
可编辑
9
收敛性分析
外层循环迭代次数：
log(m /( t(0) ))
log
中心步骤实质为一个无约束或等式约束优化问题，其收 敛性分析与相应优化问题的收敛性分析结果一致。
设 x 为对数阀问题的可行解，则牛顿方向
则优化问题具有强对偶性，其对偶问题亦可解。
可编辑
2
不等式约束的消去
示性函数消去不等式约束：
m
minimize f0 (x) I ( fi (x)) i 1
subject to Ax b
0 u 0 I (u) u 0
I (u) 不具备良好的连续可微性，考虑用对数阀函数来
题的 m / t 次优解。
可编辑
8
阀方法
初始化：给定严格可行解 x ，t 0 ， 1 ，及 0
LOOP：
中心步骤：以 x 为初始点求解优化问题 x*(t) ，
minimize tf0(x) (x)
subject to Ax b 迭代： x x* (t)
凸优化理论与应用
第10章 内点法
可编辑
1
不等式约束优化问题
问题描述：minimize f0 (x) subject to fi (x) 0,i 1,..., m Ax b
fi (x) 为凸函数，且二次连续可微，且 A R pn , p n, rankA p
假设最优值 p*存在； 假设存在 x%domf ，满足严格不等式条件 fi (x) 0
近似替代。
可编辑
3
对数阀函数
对于 t 0 ，1/ t log(u) 是 I (u) 的光滑逼近。且 当 t 时，有
1/ t log(u) I (u)
令
m
(x) log( fi (x))
i 1
带示性函数的优化问题可近似为：
minimize
f0 ( x)
可编辑
12
第一阶段方法
优化目标为逐项之和：
minimize 1T s subject to fi (x) si ,i 1,..., m
Ax b 对于固定的 x ，si max{ fi (x), 0}
可编辑
13
寻找严格可行解的方法
牛顿法求解优化问题：
minimize s
可编辑
11
第一阶段方法
对于不等式约束的优化问题，如何寻找严格可行解或验 证不可解？
求解优化问题：minimize s
subject to fi (x) s,i 1,..., m
Ax b 该问题最优解存在，假设最优值为 p*
当 p* 0 时，存在严格可行解； 当 p* 0 时，原始问题不可解； 当 p* 0 时，无法准确确定。
subject to fi (x) s,i 1,..., m Ax b
迭代终止条件：当前解 s(k) 0 ，即终止迭代，严格可 行解为 x(k ) 。
可编辑
14
1 ( x), t
t
0
subject to Ax b
可编辑
4
对数阀函数
( x)
m i 1
1 fi (
x)
fi
(
x)
2(x)
m i 1
1 fi (x)2
fi (x)fi (x)T
m i 1
tf0 (x)
m i 1
1 fi (x)
fi (x)
AT w
0,
Ax
b
令
i*
(t)
tfi
1 (x*
(t))
,
*
(t)
w
/
t
则 x x*(t) 是拉格朗日函数L(x, *(t), *(t)) 的最小值
解。
m
L(x, *(t), *(t)) f0 (x) i*(t) fi (x) *(t)( Ax b)