凸分析与优化
凸优化理论与应用-暑期学习总结
“凸优化理论与应用”暑期学校学习总结 一、专家介绍 Stephen Boyd：斯坦福大学教授，曾多次来哈尔滨工业大学控制理论与制导技术研究中心开展学术讲座和交流活动。讲课全部是英文，很开朗。 段广仁：哈尔滨工业大学教授，曾于外国留学，讲了一口流利的英语，和Stephen Boyd教授交流时全部是英语。 谭峰：段广仁的学生，曾去Stephen Boyd教授那里做一年博后，然后回国，现在就职于哈尔滨工业大学，讲师。所以此次由她给大家做辅导。 二、课程安排 7.13上午8:15-9:15 开幕。段广仁老师对于本次暑期学校开展、Stephen Boyd、 谭峰以及幕后的工作人员做了简单的介绍，谈了课程的变 动的原因以及可能给我们加课等事宜。 9:30-11:00讲座1(Lecture 1) Stephen Boyd 教授。 7.14上午8:15-9:15 谭峰博士对于前一天Stephen Boyd 教授讲的知识的一个 回顾。 9:30-11:00讲座2(Lecture 2) Stephen Boyd 教授。 下午14:00-15:00讲座3(Lecture 3)Stephen Boyd 教授。 7.15上午8:15-9:15 谭峰博士。 9:30-11:00讲座4(Lecture 4) Stephen Boyd 教授。 7.16上午8:15-9:15 谭峰博士。 9:15-9:30 所有人一起拍一张照片。 9:30-11:00讲座5(Lecture 5) Stephen Boyd 教授。 三、主要知识 1.凸优化相应理论. 本部分一共有8章，老师只用了两节课共3个小时就讲完了。这部分的内容虽然我很认真的听了，也只能知道一点概况，说实话想学明白还需要以后投入大量的时间精力。 1.1 绪论 此部分介绍了在现实生活中存在的凸优化问题，最小二乘，线性规划，凸优化问题等。 1.2. 凸集 在此部分介绍了凸集里包含的集合的形式，如仿射集、凸集、凸锥、超平面
凸优化——无约束问题的梯度方法
第三周读书笔记 1. 牛顿法 Pure Newton's Method 在上一章中具体讨论了梯度方法，该类方法只应用了一阶最优条件的信息，即梯度。此外，在讨论标度梯度法时还简单地讨论到Newton方法，该类方法进一步地应用到二阶最优条件地信息，即Hessian矩阵。该章重点介绍牛顿法，与梯度方法利用梯度进行新点迭代的方法不同，牛顿法的点更新方法如下：若假设函数在处的Hessian矩阵是正定矩阵，即。那上面的最小化问题有唯一的稳定点，也是全局最小点： 其中，向量也被称作牛顿方向，利用以上更新公式进行迭代的方法也被称作纯粹牛顿方法。算法流程图如下： 牛顿法要求在每次更新处的Hessian矩阵为正定矩阵。或者我们可以放宽一点条件——即在定义域内的任意点处的Hessian矩阵均为正定，这说明了存在一个唯一的最优解。但是，这并不能保证算法的收敛性。 事实上，牛顿法在某些假设下具备很好的收敛性能（称局部二次收敛）——令在上二阶连续可导，假设： 存在，对任意有 存在，对任意，有 令是牛顿方法得到的序列，是在上唯一最小值。那么对任意，以下不等式成立： 此外，如果，那么
证明如下： 事实上，对于某些不满足上述条件（正定、李普希兹连续）的优化问题，牛顿方法也能表现出收敛性。但是，总的来说，当缺少这些严格假设时收敛性无法得到保障。为了解决即使在Hessian矩阵正定也无法保障牛顿法的收敛性问题下，进一步地提出一种步长解决方案，即阻尼牛顿法。 阻尼牛顿法 在纯粹牛顿法的基础上，我们在进行迭代更新时，重新加入步长选择机制，如利用回溯法进行步长选择的阻尼牛顿法，算法流程如下：
cholesky分解 这一小节是针对前部分的补充知识——在利用牛顿法解决相关优化问题的时候，我们会遇到判断Hessian矩阵是否正定，以及求解线性系统的问题，这两个问题都可以通过cholesky分解来解决。 给定一个的正定矩阵，cholesky分解的形式为，其中是一个的下三角矩阵且其对角元素为正数。一般利用cholesky分解去解决线性系统分为以下两步： 1. 找到的解 2. 找到的解 可以通过一个简单的递推公式计算cholesky因子。如下：
凸优化和机器学习
(1) 如果中任意两点之间的线段任在中，那么集合被称为凸集。即对任意和满足的都有 (2) 函数是凸函数，则是凸集，且对于任意在任 下有
的问题，其中为凸函数。也就是说，凸优化问题是指需要最小化的函数（代价函数）是凸函数，而且定义域为凸集的问题。 3.凸优化问题的一般求解方法 有些凸优化问题比较简单，是可以直接求解的，譬如二次规划，这里不做说明。求解凸优化问题，就要利用该问题的“凸”性——只要我一直朝着代价函数减小的方向去，那么我一定不会走错！这就是下降方法的基本思想。 《convex optimization》这本书中，将凸优化问题分为无约束优化、等式约束优化和不等式约束优化分别介绍了其算法，然其本质并无区别。下降方法即产生一优化点列其中 并且。此处表示迭代的步长（比例因子），表示的是搜索方向（搜索步径）。下降方法指只要不是最优点，成立。以下内容均来自Stephen Boyd 的《convex optimization》及其中文译本。 搜索步径 一旦确定了搜索方向，那么我们可以通过求解得到搜索步径，当求解该问题成本较低时，可以采用该方法。该方法称为精确直线搜索。 然而实践中一般采用非精确直线搜索方法，譬如回溯直线搜索。算法如下图：
下降方向 在各个领域都广为应用的LMS算法也称为随机梯度算法（LMS算法和这里算法的区别和联系应该会另写一篇）。用负梯度作为下降的方向是一种和自然的选择，此外还有Newton方法。而最速下降方法是定义出的在某一特定范数下的方法。梯度下降和Netwon方法分别是二次范数和Hessian 范数下的最速下降方法。算法的收敛性和Hessian矩阵有关，此处不详细说明。 等式约束 对于标准的凸优化问题，等式约束是仿射的，这也就意味着该优化问题的定义域是一个向量子空间。一个自然的想法是在这个空间内进行下降，这种想法被证明是可行的。根据初始迭代点的兴致，可以分为两类。 (1)初始点可行：在可行域内迭代 (2)初始点不可行：迭代过程中逐步靠近可行域 不等式约束 如果我们不能解决一个问题，那么就消除这个问题。 采用示性函数可以将不等式约束隐含在代价函数中，这里带来的问题是——代价函数非凸。障碍方法被引入以解决这个问题。（内点法）这样，不等式约束就变成了等式约束或是无约束的情况了。 如果，我不知道该怎么选择搜索方向？
凸优化理论
第一章凸集 1、仿射集 1.1、定义：任意以及都有； 直观上，如果两点在仿射集内，那么通过任意两点的直线位于其内； 1.2、仿射集的关联子空间： 如果是仿射集，且，则集合是一个子空间（关于加法和数乘封闭）,因此仿射集可以表示为一个子空间加上一个偏移，，可以是C中任意一点；定义C的维数为子空间V的维数（向量基的个数）; 1.3、线性方程组的解集: 等价于仿射集且其关联的子空间是就是的的零空间即; 1.4、仿射组合： 如果，称为的仿射组合； 如果是仿射集，，且，那么； 集合C是仿射集集合包含其中任意点的仿射组合； 1.5、仿射包： 集合C中的点的所有仿射组合组成的集合记为C的仿射包 ，；仿射包是包含的最小的仿射集合； 1.6、仿射维数： 集合仿射维数为其仿射包维数, 即仿射包相关联子空间的维数，即是其子空间最大线性无关基； 如果集合的仿射维数小于n ，那么这个集合在仿射集合中; 1.7、集合相对内部： 定义为的内部，记为，即; 集合内部：由其内点构成，内点为; 1.8、集合的相对边界： 集合C的相对边界定义为，为C的闭包； 集合C的边界定义为; ------------------------------------------------------------------------------------------------------------------------------ 2.凸集： 如果，，，都有； 直观上，如果两点在凸集内，则两点间的线段也在凸集内；仿射集是凸集； 2.1、凸组合： 如果，，，称为的凸组合； 点的凸组合可以看做他们的混合或加权平均，代表混合时所占的份数。 如果点在凸集内，则它们的凸组合仍在凸集内； C是凸集集合包含其中所有点的凸组合； 2.2、集合的凸包： 集合C中所有点的凸组合，; C的凸包是包含C的最小凸集； 2.3、无穷级数的凸组合： 假设，，，并且，，、、，为凸集，
“凸优化”教学大纲
“凸优化”教学大纲 ?基本目的： 近年来，随着科学与工程的进步，凸优化理论与方法的研究迅猛发展，在科学与工程计算，数据科学，信号和图像处理，管理科学等诸多领域中得到了广泛应用。通过本课程的学习，掌握凸优化的基本概念，对偶理论，典型的几类凸优化问题的判别及其计算方法，熟悉相关计算软件 ?课程对象： 高年级本科生和研究生。 ?教材： (1)Stephen Boyd and Lieven Vandenberghe, Convex optimization, Cambridge University Press, 2004 参考书 (2)Jorge Nocedal and Stephen Wright, Numerical Optimization, Springer, 2006 (3)袁亚湘，孙文瑜，最优化理论与方法，科学出版社，2003 ?内容提要和学时分配： 1. 凸优化简介， 3学时 课程简介，凸优化问题介绍 2. 凸集，凸函数， 3学时 凸集和凸函数的定义和判别 3. 数值代数基础， 3学时 向量，矩阵，范数，子空间，Cholesky分解，QR分解，特征值分解，奇异值分解 4. 凸优化问题， 6学时 典型的凸优化问题，线性规划和半定规划问题 5. 凸优化模型语言和算法软件，3学时 模型语言：AMPL, CVX, YALMIP; 典型算法软件： SDPT3, Mosek, CPLEX, Gruobi 6. 对偶理论， 3学时 对偶问题的转换和对偶理论 7. 梯度法和线搜索算法，3学时 最速下降法及其复杂度分析，线搜索算法，Barzilar-Borwein 方法 8. 近似点梯度法， 3学时
最优化理论与方法
内点法基本原理 摘要：内点法是求解含不等式约束最优化问题的一种十分有效的算法。内点法通过构造障碍函数，求解一系列只含等式约束最优化问题，逐步得到原问题的最优解，具有找初始点容易、线性收敛、迭代次数少等特点。本文主要介绍了内点法的基本原理，障碍方法的一般步骤并分析了该方法的优缺点，进行了算例实践。 关键词：内点法；障碍方法；Newton法 The Theory of Interior Point Method Abstract: Interior point method is a very effective algorithm for solving optimization problems with inequality constrained. Interior point method is constructed to solve a series of optimization problems with equality constraints, and the optimal solution of the original problem is obtained, which has the characteristics of finding the initial point easier, linear convergence, less iteration number and so on. This paper mainly introduces the theory of interior point method, the general steps of barrier method and analyzing the advantages and disadvantages of the method. Key words: interior point method; barrier method;Newton method
凸优化(08.27)
凸优化总结 1基本概念 1.1） 凸集合：n S R ?是凸集，如果其满足：x; y S + = 1 x + y S λμλμ∈?∈ 几何解释：x; y S ∈，则线段[x,y]上的任何点都S ∈ 1.2） 仿 射 集 ： n S R ?是仿射集，如果其满足：x; y S , R ,+ = 1 x + y S λμλμλμ∈∈?∈ 几何解释：x; y S ∈，则穿过x, y 的直线上的任何点都S ∈ 1.3） 子空间：n S R ?是子空间，如果其满足：x; y S , R , x + y S λμλμ∈∈?∈ 几何解释：x; y S ∈，则穿过x, y ，0的平面上的任何点都S ∈ 1.4） 凸锥：n S R ?是凸锥，如果其满足：x; y S ,0 x + y S λμλμ∈≥?∈ 几何解释：x; y S ∈，则x, y 之间的扇形面的任何点都S ? 集合C 是凸锥的充分必要条件是集合C 中的元素的非负线性组合仍在C 中，作为一般化结 果，其中非负线性组合的数目可以推广到无穷 1.5） 超平面：满足{ } T x a x = b (a 0)≠的仿射集，如果b=0则变为子空间
1.6） 半空间：满足{ } T x a x b (a 0)≤≠的凸集，如果b=0则变为凸锥 1.7） 椭球体：{ } T -1 c c =x (x-x )A (x-x ) 1 ξ≤T n c A = A 0; x R ∈ 球心 1.8） 范数：f ：R n —R 是一种范数，如果对所有的n x; y R , t R ∈∈满足 1. f(x) 0; f(x) = 0 x = 0 2. f(tx) = tf(x) 3. f(x + y) f(x) + f(y) ≥?≤ 范数分类 ● 1范数 2 x = ● 2范数 1i x x x =∑ ● 3无穷范数 max i i x x ∞ = 1.9） 有效域：集合(){()}dom f x X f x =∈<∞ 1.10） 水平集：{()}{()}x X f x and x X f x αα∈<∈≤，其中α为一标量 1.11） 上镜图：函数:(,f x ∈-∞∞的上镜图由下面的集合给定 {}()(,),,()epi f x w x X w R f x w =∈∈<给出的1n R +给出的子集。 1.12） 多面体：有限数目半空间集合的交集{ }{ } T i i x a x b ,1,...=x Ax b P i k =≤= 1.13） 共轭函数：f ：R n —R 上的共轭函数定义为：*()sup (())T x domf f y y x f x ∈=-，* f 是凸 函数即使f 不是 1.14） Jensen 不等式： f ：R n —R 上的凸函数 ● 两点12112211221,0()()()i f x x f x f x θθθθθθθ+=≥?+≤+ ● 多点 11,0()()i i i i i i i i f x f x θ θθθ=≥?≤∑∑∑ ● 连续()0,()1(())()()p x p x dx f xp x dx f x p x dx ≥=?≤ ???
优质课程《凸优化及其在信号处理中的应用》课程教学大纲
附件 课程教学大纲 课程编号：G00TE1204 课程名称：凸优化及其在信号处理中的应用 课程英文名称：Convex Optimization and Its Applications in Signal Processing 开课单位：通信工程学院 教学大纲撰写人：苏文藻 课程学分：2学分 课内学时：32学时 课程类别：硕士/博士/专业学位 课程性质：任选 授课方式：讲课 考核方式：作业，考试 适用专业：通信与信息系统、信号与信息处理 先修课程： 教学目标： 同学应： 1.掌握建立基本优化模型技巧 2.掌握基本凸分析理论 3.掌握凸优化问题的最优条件及对偶理论 4.认识凸优化在信号处理的一些应用
英文简介： In this course we will develop the basic machineries for formulating and analyzing various optimization problems. Topics include convex analysis, linear and conic linear programming, nonlinear programming, optimality conditions, Lagrangian duality theory, and basics of optimization algorithms. Applications from signal processing will be used to complement the theoretical developments. No prior optimization background is required for this class. However, students should have workable knowledge in multivariable calculus, real analysis, linear algebra and matrix theory. 课程主要内容： Part I: Introduction -Problem formulation -Classes of optimization problems Part II: Theory -Basics of convex analysis -Conic linear programming and nonlinear programming: Optimality conditions and duality theory -Basics of combinatorial optimization Part III: Selected Applications in Signal Processing -Transmit beamforming -Network localization -Sparse/Low-Rank Regression 参考书目： 1.Ben-Tal, Nemirovski: Optimization I-II: Convex Analysis, Nonlinear Programming Theory, Nonlinear Programming Algorithms, 2004. 2.Boyd, Vandenberghe: Convex Optimization, Cambridge University Press, 2004. 3.Luenberger, Ye: Linear and Nonlinear Programming (3rd Edition), 2008. 4.Nemirovski: Lectures on Modern Convex Optimization, 200 5.