4凸优化初步详解
凸优化（二）凸锥与常见凸集
凸优化（⼆）凸锥与常见凸集1. 概述\(\quad\)那么开始第⼆期，介绍凸锥和常见的集合，这期⽐较短(因为公式打得太累了)，介绍凸集和凸锥与仿射集的意义在哪呢，为的就是将很多⾮凸集合转化为凸集的⼿段，其中，⼜以凸包（包裹集合所有点的最⼩凸集）为最常⽤的⼿段，在细节⼀点，闭凸包（闭合的凸包）是更常⽤的⼿段。
2. 凸锥（convex cone）：2.1 定义（1）锥（cone）定义：对于集合\(C\subseteq{R^n},\forall x \in C,\theta \ge0,有\theta x \subseteq C\)则x构成的集合称为锥。
说明⼀下，锥不⼀定是连续的（可以是数条过原点的射线的集合）。
（2）凸锥（convex cone）定义：凸锥包含了集合内点的所有凸锥组合。
若\(C\subseteq{R^n}\),\(x_1,x_2...x_n\in C,\theta_i\ge0\)，则\ (\theta_1{x_1}+\theta_2{x_2}+...+\theta_n{x_n}\)也属于凸锥集合C。
这⾥说明⼀下，就是说⼀个集合既是凸集⼜是锥，那么就是凸锥（废话）。
（3）凸锥包（convex cone hull）定义：凸锥包是包含C的最⼩的凸锥，假设\(x_1,x_2...x_n\in C\)，凸锥包表⽰为：$${\theta_1{x_1}+\theta_2{x_2}+...+\theta_n{x_n}|x_1,x_2...x_n\in C，\theta_i\ge0}$$3. 常⽤凸集3.1 常⽤集合集合是否属于凸集、仿射集、凸锥点凸集、仿射集，不⼀定是凸锥（在原点上是凸锥）空集凸集、仿射集、凸锥\(R^n\)n维空间凸集、仿射集、凸锥\(R^n\)的⼦空间凸集、仿射集、凸锥\(\forall\)任意直线凸集、仿射集、不⼀定是凸锥（过原点上是凸锥）\(\{x_0+\theta v|\theta\ge0\},x\in R^n,\theta\in R,v\in R^n\)的⼦空间凸集、仿射集(是点的时候)、凸锥（过原点时）以上是⽐较简单的集合，接下来来看看稍微复杂的常⽤集合。
凸优化面试题
凸优化面试题凸优化是数学中一种重要的优化问题的研究领域，针对凸优化问题，以下是一些常见的面试题，帮助你更好地理解和应对相关问题。
1. 什么是凸集？凸集是指其中的任意两点之间的连线上的点也在集合中的集合。
换句话说，对于凸集中的任意两点，在集合中的连线上的点都在该凸集中。
2. 什么是凸函数？凸函数是定义在凸集上的实值函数，对于凸集中的任意两点，函数值的连线上的点也在函数图像的上方或者等于函数图像。
3. 什么是凸优化问题？凸优化问题是指目标函数是凸函数，约束条件为线性等式或线性不等式的优化问题。
常见的凸优化问题有线性规划、二次规划等。
4. 凸集的性质有哪些？凸集具有以下性质：闭性、凸性、可加性、稳定性和非空性。
5. 凸函数的性质有哪些？凸函数具有以下性质：极小值点就是全局最小值点、任意两点间的连线上的点都满足函数值小于等于这两个点的函数值，并且函数的一次导数是递增的。
6. 如何证明一个函数是凸函数？可以使用以下方法证明函数的凸性：- 使用定义证明：利用定义证明函数图像上的任意两点之间的连线上的点的函数值都小于等于这两个点的函数值。
- 使用一阶导数证明：证明函数的一阶导数是递增的。
- 使用二阶导数证明：证明函数的二阶导数非负。
7. 凸优化问题有哪些常见方法可以求解？常见的凸优化方法包括：梯度下降法、牛顿法、内点法等。
具体选择方法取决于问题的规模、约束条件和求解效率的要求。
8. 怎样将非凸优化问题转化为凸优化问题？有一些常见的方法可以将非凸优化问题转化为凸优化问题，例如引入新的变量、利用凸函数的性质进行放缩、通过松弛约束等。
9. 如何判断一个凸优化问题是否有解？对于凸优化问题，如果目标函数有界且问题满足约束条件，则凸优化问题有解。
此外，一些具体的凸优化问题可以应用解析解或者数值方法得到解。
10. 为什么凸优化在现实中具有重要意义？凸优化在现实中具有广泛的应用，例如在机器学习中用于参数估计、模型拟合和分类问题，还可以应用于经济学、物理学、工程学等领域。
kkt条件例题求解凸优化问题
我们要解决一个简单的凸优化问题，目标是找到一个点(x) 使得(f(x)) 最小，同时满足约束条件(g(x) \leq 0) 和(h(x) = 0)。
假设我们的目标函数是(f(x) = x^2 - 2x)，约束条件是(g(x) = x - 2 \leq 0) 和(h(x) = x - 1 = 0)。
首先，我们需要找到目标函数的梯度(\nabla f(x)) 和约束条件的梯度(\nabla g(x)) 和(\nabla h(x))。
然后，我们将使用KKT 条件来求解这个问题。
KKT 条件包括：拉格朗日乘子(\lambda) 和(\mu) 存在。
拉格朗日函数在最优解处取得极值。
拉格朗日乘子满足约束条件。
现在，我们开始计算。
目标函数的梯度：(\nabla f(x) = 2x - 2)约束条件的梯度：(\nabla g(x) = 1, \nabla h(x) = 1)拉格朗日函数：(L(x, \lambda, \mu) = f(x) + \lambda g(x) + \mu h(x))将目标函数和约束条件的梯度代入拉格朗日函数：(L(x, \lambda, \mu) = x^2 - 2x + \lambda (x - 2) + \mu (x - 1))对(x) 求导并令其为零：(2x - 2 + \lambda + \mu = 0)解得：(x = \frac{2 - \lambda - \mu}{2})将(x) 的值代入约束条件：(g(x) = x - 2 \leq 0) 和(h(x) = x - 1 = 0)解得：(\lambda = -1, \mu = -1)代入(x) 的值，得：(x = 0)所以，最优解(x*) = 0。
凸优化问题的神经网络算法研究
凸优化问题的神经网络算法研究第一章引言凸优化问题是一类在数学和工程领域中广泛应用的问题。
在实际应用中，凸优化问题的解决对于提高效率、降低成本、优化资源分配等方面具有重要意义。
神经网络算法作为一种强大的工具，近年来在解决凸优化问题方面展现出了巨大潜力。
本章将介绍研究背景和意义，并对文章的结构进行概述。
第二章凸优化问题概述本章将对凸优化问题进行概述，包括定义、性质和求解方法等方面。
首先介绍了凸集和凸函数的定义，并讨论了常见的几何性质，如拟凸性和强凸性。
然后介绍了常见的求解方法，包括梯度下降法、牛顿法和内点法等。
第三章神经网络算法简介本章将简要介绍神经网络算法及其在机器学习领域中的应用。
首先介绍了神经网络模型及其基本结构，并讨论了常见的神经网络训练算法，如反向传播算法和随机梯度下降算法。
然后介绍了神经网络在分类、回归和聚类等任务中的应用。
第四章神经网络在凸优化问题中的应用本章将详细介绍神经网络在解决凸优化问题中的应用。
首先讨论了将凸优化问题转化为神经网络模型的方法，并介绍了常见的转化技巧，如拉格朗日松弛和支持向量机等。
然后讨论了神经网络在约束优化、凸二次规划和线性规划等问题中的应用。
第五章神经网络算法性能分析本章将对神经网络算法在解决凸优化问题中的性能进行分析。
首先讨论了算法收敛性和稳定性等方面的指标，并介绍了常见的评估方法，如收敛速度和误差分析等。
然后通过实验对比，评估了神经网络算法与传统求解方法在不同场景下的性能差异。
第六章神经网络算法改进与扩展本章将讨论如何改进和扩展神经网络算法以提高其在解决凸优化问题中的效果。
首先介绍了常见改进技术，如正则化、批归一化和参数初始化等。
然后讨论了如何将神经网络算法与其他优化算法相结合，以提高求解效率和稳定性。
第七章实际应用与案例分析本章将通过实际应用和案例分析，展示神经网络算法在解决凸优化问题中的实际效果。
以图像处理、信号处理和金融风险管理等领域为例，介绍了神经网络算法在不同领域中的应用情况和效果。
Ch4 凸优化问题
/
拟凸优化问题二分法求解
给定一个足够小的 l 和足够大的 u ，使得区间 l , u 能 包含最优解 p*。给定 0 LOOP： 令 t (l u ) / 2 求解可行解问题； 若可解，则令 u t ，否则令 l t 若 u l ，则结束，否则goto LOOP。
/
凸优化问题
凸优化问题的基本描述：
minimize f 0 ( x), x
n
subject to fi ( x) 0, i 1,..., m
fi ( x)为凸函数 hi ( x)为仿射函数
hi ( x) 0, j 1,..., p
定理：非约束凸优化问题中，若 f 0 ( x)可微。则 x 为最 优解当且仅当 f 0 ( x) 0 成立。
/
凸优化问题的等价形式
1. 2. 3. 4. 5. 消除等式约束 引入等式约束 松弛变量 上境图问题形式 极小化部分变量
/
线性分式规划
cT x d minimize f 0 ( x) T ,domf 0 {x | eT x f 0} e x f subject to Gx h Ax b
/
二次规划(quadratic program,QP)
x n
f i ( x) 0 hi ( x) 0
无约束优化 m p 0
/
几个概念
优化问题的域
D domf i domhi
i 0 i 1 m p
可行点(解) (feasible) x D满足约束条件 可行域(可解集) 最优化值
LP问题的几种Leabharlann 式标准LP问题minimize cT x subject to Ax b x 0
数学中的凸优化与凸分析
数学中的凸优化与凸分析凸优化和凸分析是数学中重要的分支领域，它们在诸多应用领域都有着广泛的应用。
本文将介绍凸优化和凸分析的基本概念、性质以及它们在实际问题中的应用。
一、凸集与凸函数在进一步探讨凸优化和凸分析之前，我们先来了解一些基本概念。
首先是凸集和凸函数。
1. 凸集凸集是指集合中任意两点的连线上的点都属于该集合。
具体地，对于任意$x, y$属于集合$C$和$0\leq\lambda\leq 1$，满足$\lambda x+(1-\lambda)y$也属于$C$，则$C$是一个凸集。
2. 凸函数凸函数是定义在凸集上的实值函数，满足对于集合内的任意$x,y$和$0\leq\lambda\leq 1$，有$f(\lambda x+(1-\lambda)y)\leq \lambdaf(x)+(1-\lambda)f(y)$。
简单来说，凸函数的任意两点的连线上的函数值都不超过连线两端的函数值。
二、凸优化凸优化是指优化问题的目标函数是凸函数，约束条件是凸集的优化问题。
凸优化问题有着许多重要的性质和算法。
1. 凸优化问题的一般形式凸优化问题的一般形式可以表示为：$$\begin{align*}\text{minimize}\quad &f(x)\\\text{subject to}\quad &x\in C\end{align*}$$其中，$f(x)$是凸函数，$C$是凸集。
2. 凸优化问题的性质凸优化问题具有以下性质：（1）全局最优解是局部最优解。
这意味着在凸优化问题中，存在一个全局最优解，同时该最优解也是局部最优解。
（2）凸优化问题无局部最优解和全局最优解之间的鞍点。
凸优化问题不存在鞍点，因此可以通过寻找局部最优解来获得全局最优解。
3. 典型凸优化问题凸优化问题在实践中有着广泛的应用，以下是一些典型的凸优化问题：（1）线性规划问题（Linear Programming，简称LP）$$\begin{align*}\text{minimize}\quad &c^Tx\\\text{subject to}\quad &Ax\leq b\\&x\geq 0\end{align*}$$（2）二次规划问题（Quadratic Programming，简称QP）$$\begin{align*}\text{minimize}\quad &\frac{1}{2}x^TPx+q^Tx+r\\\text{subject to}\quad &Gx\leq h\\&Ax=b\end{align*}$$（3）半正定规划问题（Semidefinite Programming，简称SDP）$$\begin{align*}\text{minimize}\quad &\langle C,X\rangle\\\text{subject to}\quad &\langle A_i,X\rangle=b_i,\quad i=1,\ldots,m\\&X\succeq 0\end{align*}$$三、凸分析凸分析是研究凸集和凸函数性质的数学分支，它主要研究凸集的性质以及凸函数的导数和二阶导数。
凸优化理论
第一章 凸集1、仿射集1.1、定义：任意 x 1,x 2∈C 以及 θ∈R 都有θx 1+(1−θ)x 2∈C ；直观上，如果两点在仿射集内，那么通过任意两点的直线位于其内；1.2、仿射集的关联子空间：如果是C 仿射集，且x 0∈C ，则集合 V =C −x 0={x −x 0|x ∈C } 是一个子空间（关于加法和数乘封闭）,因此仿射集可以表示为一个子空间加上一个偏移，C =V +x 0={v +x 0|v ∈V }，x 0可以是C 中任意一点；定义C 的维数为子空间V 的维数（向量基的个数）;1.3、线性方程组 Ax =b 的解集:等价于仿射集且其关联的子空间是就是的 A 的零空间即ker (A )= {x|Ax =0};1.4、仿射组合：如果θ1+⋯+θk =1，称θ1x 1+⋯+θk x k 为x 1,⋯,x k 的仿射组合；如果C 是仿射集，x 1,⋯,x k ∈C ，且θ1+⋯+θk =1，那么θ1x 1+⋯+θk x k ∈C ；集合C 是仿射集⟺集合包含其中任意点的仿射组合；1.5、仿射包：集合C 中的点的所有仿射组合组成的集合记为C 的仿射包aff C ={θ1x 1+⋯+θk x k |x 1,⋯,x k ∈C ，θ1+⋯+θk =1}；仿射包 aff C 是包含 C 的最小的仿射集合；1.6、仿射维数：集合仿射维数为其仿射包维数, 即仿射包相关联子空间的维数，即是其子空间最大线性无关基；如果集合C ⊂R n 的仿射维数小于n ， 那么这个集合在仿射集合 aff C ≠R n 中;1.7、集合相对内部：定义为 aff C 的内部，记为relint C ， 即relint C ={x ∈C | ∃r >0,B (x,r )∩aff C ⊆C };集合内部：由其内点构成，内点为{x ∈C | ∃r >0,B (x,r )⊆C };1.8、集合的相对边界：集合C 的相对边界定义 cl C\relint C 为，cl C 为C 的闭包；集合C 的边界定义为{x ∈C | ∀δ>0,B (x,r )∩C ≠∅,B (x,r )∩C c ≠∅};------------------------------------------------------------------------------------------------------------------------------2.凸集：如果x 1，x 2∈C ，0≤θ≤1，都有θx 1+(1−θ)x 2∈C ；直观上，如果两点在凸集内，则两点间的线段也在凸集内；仿射集是凸集；2.1、凸组合：如果θ1+⋯+θk =1，θi ≥0，i =1,⋯,k ，称θ1x 1+⋯+θk x k 为x 1,⋯,x k 的凸组合；点的凸组合可以看做他们的混合或加权平均，θi 代表混合时 x i 所占的份数。
凸优化算法在机器学习中的应用研究
凸优化算法在机器学习中的应用研究随着人工智能技术的快速发展，机器学习成为了当今科技领域的热门话题。
机器学习的目标是通过设计和开发算法，使计算机能够从数据中学习并自动改进性能。
而凸优化算法作为机器学习中的重要工具，被广泛应用于解决各种优化问题。
一、凸优化算法的基本概念在了解凸优化算法在机器学习中的应用之前，我们首先需要了解凸优化算法的基本概念。
凸优化问题是指目标函数为凸函数，约束条件为凸集的优化问题。
凸函数具有很多良好的性质，比如局部极小值即为全局极小值，因此凸优化问题的解具有较好的稳定性和可靠性。
二、凸优化算法在机器学习中的应用1. 线性回归线性回归是机器学习中最简单的模型之一，它通过寻找最小化目标函数的参数来拟合数据。
凸优化算法可以应用于线性回归中，例如梯度下降算法、共轭梯度法等。
这些算法通过迭代优化参数，使得目标函数的值逐渐趋近于最小值，从而实现对数据的拟合。
2. 逻辑回归逻辑回归是一种常用的分类算法，它通过建立一个逻辑函数来预测离散的输出。
凸优化算法可以用于逻辑回归的参数优化，例如牛顿法、拟牛顿法等。
这些算法通过迭代优化参数，使得逻辑回归模型的预测结果与实际结果尽可能接近。
3. 支持向量机支持向量机是一种常用的分类算法，它通过找到一个最优的超平面来将不同类别的数据分开。
凸优化算法可以应用于支持向量机的求解过程中，例如序列最小优化算法、凸二次规划算法等。
这些算法通过迭代优化超平面的参数，使得支持向量机能够更好地分类数据。
4. 神经网络神经网络是一种模拟人脑神经元网络的机器学习模型，它通过多层神经元的连接和权重调整来实现对数据的学习和预测。
凸优化算法可以用于神经网络的参数优化，例如反向传播算法、共轭梯度法等。
这些算法通过迭代优化神经网络的权重和偏置，使得神经网络能够更准确地预测数据。
三、凸优化算法在机器学习中的优势凸优化算法在机器学习中具有以下优势：1. 稳定性：凸优化问题的解具有较好的稳定性，即局部极小值即为全局极小值。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
48/85
附： Bellman-ford算法
49/85
附： Bellman-ford算法分析
图的任意一条最短路径既不能包含负权回路，也不会包含正权 回路，因此它最多包含|v|-1条边。 从源点s可达的所有顶点如果存在最短路径，则这些最短路径构 成一个以s为根的最短路径树。Bellman-Ford算法的迭代松弛操 作，实际上就是按顶点距离s的层次，逐层生成这棵最短路径树 的过程。 在对每条边进行第1遍松弛的时候，生成了从s出发，层次至多 为1的那些树枝。也就是说，找到了与s至多有1条边相联的那些 顶点的最短路径；对每条边进行第2遍松弛的时候，生成了第2 层次的树枝，就是说找到了经过2条边相连的那些顶点的最短路 径。因为最短路径最多只包含|v|-1条边，所以，只需要循环|v|-1 次。 略做优化：如果第k次松弛操作后，最短路径没有得到更新，显 然，后面仍然无法得到更新，可提前退出。并且，如果k<n-1， 一定不存在负环。
66/85
指数分布的无记忆性
指数函数的一个重要特征是无记忆性（遗失 记忆性，Memoryless Property）。
如果一个随机变量呈指数分布，当s,t≥0时有 P(T>s+t|T>t)=P(T>s)。即，如果T是某一元件的 寿命，已知元件使用了t小时，它总共使用至少 s+t小时的条件概率，与从开始使用时算起它使 用至少s小时的概率相等。
50/85
对偶问题
一般优化问题的Lagrange乘子法
Lagrange函数
对固定的x，Lagrange函数L(x,λ,v)为关于λ和v的 仿射函数
51/85
Lagrange对偶函数(dual function)
Lagrange对偶函数
若没有下确界，定义：
根据定义，显然有：对∀λ>0，∀v，若原优化问题 有最优值p*，则 进一步：Lagrange对偶函数为凹函数。
所有可行点的集合
最优化值
最优化解
34/85
局部最优问题
35/85
优化问题的等价问题
若 则原优化问题与以下优化问题等价
36/85
优化问题的等价问题
设函数φ是一一对应 且 则原优化问题与以下优化问题等价
37/85
优化问题的等价问题
设ψ0为严格单调递增函数 ψ1,… ,ψm满足 当且仅当u≤0 ω1,…,ωp满足 当且仅当u = 0 则原优化问题与以下优化问题等价
52/85
线性方程的最小二乘问题
原问题
Lagrange函数 Lagrange对偶函数
对L求x的偏导，带入L 对g求v的偏导
关于该问题，在支持向量机中将继续探讨
53/85
概率论
对概率的认识：P∈[0,1]
P=0
事件出现的概率为0→事件不会发生？
将位于[0,1]的函数y=f(x)看成x对应y事件的概率
如：Bernoulli分布和高斯分布
75/85
Bernoulli分布属于指数族
76/85
强调
注意在推导过程中，出现了Logistic方程！
77/85
Gaussian分布也属于指数族分布
78/85
统计参数
均值（期望，一阶） 方差（二阶） 变异系数(Coefficient of Variation)
也被称为超值峰度（excess kurtosis）。
“减3”是为了让正态分布的峰度为0。
P(Y|θ)=Π πpyi(1-p)1-yi+ (1-π)qyi(1-q)1-yi
3/85
本次目标
概率论中，掌握各种分布的性质 了解指数族分布 引出充分统计量和广义线性模型GLM的概念 了解凸集和凸优化的一般过程和概念
4/85
理解“凸优化”的四个步骤
凸集 凸函数 凸优化 对偶问题
标准差与平均数的比值称为变异系数，记为C· V
偏度Skew（三阶） 峰度Kurtosis（四阶）
79/85
偏度
在机率论和统计学中，偏度衡量实数随机变量概率 分布的不对称性。偏度的值可以为正，可以为负或 者甚至是无法定义。在数量上，偏度为负（负偏态） 就意味着在概率密度函数左侧的尾部比右侧的长， 绝大多数的值（包括中位数在内）位于平均值的右 侧。偏度为正（正偏态）就意味着在概率密度函数 右侧的尾部比左侧的长，绝大多数的值（包括中位 数在内）位于平均值的左侧。偏度为零就表示数值 相对均匀地分布在平均值的两侧，但不一定意味着 其为对称分布。
27/85
一阶可微
若函数f的定义域domf为开集，且函数f一阶 可微，则函数f为凸函数当前仅当dom为凸集， 且
如何证明？
考察割线
28/85
二阶可微
若函数f的定义域domf为开集，且函数f二阶 可微，则函数f为凸函数当前仅当dom为凸集， 且
29/85
凸函数举例
30/85
保持函数凸性的算子
38/85
优化问题的等价问题
原优化问题与以下优化问题等价
s：松弛变量
39/85
优化问题的等价问题
设 满足等式 , j=1，…p 成立，当且仅当 则原优化问题与以下优化问题等价
40/85
优化问题的等价问题
原优化问题与以下优化问题等价
41/85
凸优化问题的基本形式
பைடு நூலகம்
特殊情况：非约束凸优化问题中，f0(x)可微。 则x*为最优解当且仅当下式成立。
44/85
凸优化问题的等价形式
如何凸优化问题仅有等式约束
则x为最优解当且仅当x∈X，且存在向量v满 足
Lagrange乘子法
45/85
凸优化问题的等价形式
凸优化问题
等价于
其中
46/85
凸优化问题的等价形式
其中，fi(x)为凸函数，hj(x)为仿射函数 凸优化问题的重要性质 1、凸优化问题的可行域为凸集 2、凸优化问题的局部最优解即为全局最优解
思考：为什么？
42/85
例
43/85
凸优化问题最优解的微分条件
定理：设X为凸优化问题的可行域，f0(x)可 微。则x为最优解当且仅当下式成立。
如何解释？
62/85
泊松分布
63/85
均匀分布
64/85
指数分布
65/85
指数分布
其中λ > 0是分布的一个参数，常被称为率参数（rate parameter）。即每单位时间内发生某事件的次数。指数分布的 区间是[0,∞)。 如果一个随机变量X呈指数分布，则可以写作： X~ Exponential（λ）。 指数分布可以用来表示独立随机事件发生的时间间隔，比如旅 客进机场的时间间隔、软件更新的时间间隔等等。 许多电子产品的寿命分布一般服从指数分布。有的系统的寿命 分布也可用指数分布来近似。它在可靠性研究中是最常用的一 种分布形式。
重点：用凸优化的思想解释最小二乘问题 为支持向量机SVM提供理论保证
5/85
仿射集(Affine set)
直线
y=θx1 + (1-θ)x2, θ∈R
线段
y=θx1 + (1-θ)x2, θ∈[0,1]
定义：过集合C内任意两点的直线均在集合 C内，则称集合C为仿射集。 仿射集的例子：直线、平面、超平面
古典概型
排列组合
概率密度函数Probability Density Function 累计分布函数
54/85
分布
复习各种常见分布本身的统计量 在复习各种分布的同时，重温积分、Taylor 展式等前序知识 常见分布是可以完美统一为一类分布的
55/85
两点分布
56/85
二项分布 Bernoulli distribution
超平面：Ax=b
6/85
仿射包
仿射包：包含集合C的最小仿射集。
仿射维数：仿射包的维数。
三角形的仿射维数为2 线段的仿射维数为1 球的仿射维数为3
7/85
仿射包
8/85
凸集
集合C内任意两点间的线段均在集合C内， 则称集合C为凸集。
9/85
仿射集和凸集的关系
因为仿射集的条件比凸集的条件强，所以， 仿射集必然是凸集。
凸优化与概率初步
邹博
2014年10月19日
历史遗留问题
Ax的偏导
跳表查询时间复杂度下限
f (k ) k N
1 k 1 k
1 k
1 f ' (k ) N k N ln N 2 k
EM中参数θ是未知的确定量
2/85
EM的推导
将观测变量记做Y，待估计参数记做θ(π，p， q) P(y|θ)=Σz P(y,z|θ)= ΣzP(z|θ)P(y|z, θ) =P(z=0|θ)P(y|z=0, θ)+P(z=1|θ)P(y|z=1, θ) =πpy(1-p)1-y+ (1-π)qy(1-q)1-y 应用极大似然估计
25/85
支撑超平面
设集合C，x0为C边界上的点。若存在a≠0， 满足对任意x∈C，都有 成立，则称 超平面 为集合C在点x0处的支 撑超平面。 凸集边界上任意一点，均存在支撑超平面。 若一个闭的非中空集合，在边界上的任意一 点存在支撑超平面，则该集合为凸集。
26/85
凸函数
若函数f的定义域domf为凸集，且满足
凸优化问题
等价于
还记得s的称谓吗？
带负权的有向图求给定两点间的最短路径
47/85
附：带负权的最短路径Bellman-ford算法