聚类算法Kmeans与梯度算法Meanshift
K-MEANS算法(K均值算法)
k-means 算法一．算法简介k -means 算法，也被称为k -平均或k -均值，是一种得到最广泛使用的聚类算法。
它是将各个聚类子集内的所有数据样本的均值作为该聚类的代表点，算法的主要思想是通过迭代过程把数据集划分为不同的类别，使得评价聚类性能的准则函数达到最优，从而使生成的每个聚类内紧凑，类间独立。
这一算法不适合处理离散型属性，但是对于连续型具有较好的聚类效果。
二．划分聚类方法对数据集进行聚类时包括如下三个要点：（1）选定某种距离作为数据样本间的相似性度量k-means 聚类算法不适合处理离散型属性，对连续型属性比较适合。
因此在计算数据样本之间的距离时，可以根据实际需要选择欧式距离、曼哈顿距离或者明考斯距离中的一种来作为算法的相似性度量，其中最常用的是欧式距离。
下面我给大家具体介绍一下欧式距离。
假设给定的数据集 ，X 中的样本用d 个描述属性A 1,A 2…A d 来表示，并且d 个描述属性都是连续型属性。
数据样本x i =(x i1,x i2,…x id ), x j =(x j1,x j2,…x jd )其中，x i1,x i2,…x id 和x j1,x j2,…x jd 分别是样本x i 和x j 对应d 个描述属性A 1,A 2,…A d 的具体取值。
样本xi 和xj 之间的相似度通常用它们之间的距离d(x i ,x j )来表示，距离越小，样本x i 和x j 越相似，差异度越小；距离越大，样本x i 和x j 越不相似，差异度越大。
欧式距离公式如下：（2）选择评价聚类性能的准则函数k-means 聚类算法使用误差平方和准则函数来评价聚类性能。
给定数据集X ，其中只包含描述属性，不包含类别属性。
假设X 包含k 个聚类子集X 1,X 2,…X K ；{}|1,2,...,m X x m total ==(),i j d x x =各个聚类子集中的样本数量分别为n 1，n 2,…,n k ;各个聚类子集的均值代表点（也称聚类中心）分别为m 1，m 2,…,m k 。
meanshif算法简介PPT课件
Meanshift的背景
Mean Shift 这个概念最早是由 Fukunaga等人于1975年在一篇关于概率密度梯度函 数的估计中提出来的,其最初含义正如其名,就是偏 移的均值向量。
直到20年以后,也就是1995年,,Yizong Cheng 发表了一篇对均值漂移算法里程碑意义的文章。对 基本的Mean Shift算法在以下两个方面做了改进, 首先Yizong Cheng定义了一族核函数,使得随着样 本与被偏移点的距离不同,其偏移量对均值偏移向 量的贡献也不同,其次Yizong Cheng还设定了一个 权重系数,使得不同的样本点重要性不一样,这大大 扩大了Mean Shift的适用范围.另外Yizong Cheng 指出了Mean Shift可能应用的领域,并给出了具体 的例子。
Mean shift向量的物理意义的什么呢？
为了更好地理解这个式子的物理意义，假设上式中g(x)=1 平均的偏移量会指向样本点最密的方向，也 就是概率密度函数梯度方向
下面我们看一下mean shift算法的步骤
mh x
给定一个初始点x,核函数G(x), 容许误差 ,Mean
Shift算法循环的执行下面三步,直至结束条件满足,
若再考虑到
这个表达式就是基于核函数
的概率密度函数的估计
怎样找到数据集合中数据最密集的地方呢？
数据最密集的地方，对应于概率密度最大的地方。我们可 以对概率密度求梯度，梯度的方向就是概率密度增加最大 的方向，从而也就是数据最密集的方向。
令 的梯度对所有 廓函数，核函数
,假设除了有限个点，轮廓函数
均存在 。将
Meanshift的应用
• Mean Shift可以应用在很多领域，比如聚类，图像平 滑，，图像分割。尤其是应用在目标跟踪领域，其跟踪
meanshift算法原理
meanshift算法原理
MeanShift（均值漂移）是一种非参数化的聚类算法，用于在数据集中发现数据点的密集区域。
它基于密度估计的原理，通过计算数据点的局部密度梯度来寻找数据点的聚集中心。
MeanShift 算法的原理如下：
1. 初始化：为每个数据点选择一个随机的聚集中心。
2. 密度估计：对于每个数据点，计算其与其他数据点之间的距离，并将距离定义为核函数的参数。
常用的核函数是高斯核函数。
3. 均值漂移：对于每个数据点，计算其局部密度梯度向量。
梯度向量的方向是从当前数据点指向密度更高的方向，梯度的大小代表密度的变化程度。
使用梯度向量来更新当前数据点的位置。
4. 更新聚集中心：将数据点移动到更新后的位置，并将其作为新的聚集中心。
5. 重复步骤2-4 直到满足停止条件（例如，聚集中心的移动小于某个阈值）。
MeanShift 算法的特点是不需要事先指定聚类的数量，它能够自动确定聚类的形状和数量。
它具有较好的收敛性和适应性，对于非凸形状的聚类问题也能有效地处理。
在应用中，MeanShift 算法可以用于图像分割、目标跟踪、图像压缩等领域。
它在计算复杂度上较高，但在一些特定的数据集和问题中表现出良好的效果。
点云聚类分割算法
点云聚类分割算法点云聚类分割算法是在三维空间中对点云数据进行聚类和分割的一种算法。
点云是由大量离散点组成的，代表了物体或场景的三维信息。
点云聚类分割算法可以将点云数据分成不同的部分，每个部分代表一个物体或场景的子集。
该算法在计算机视觉、自动驾驶、机器人领域中具有广泛应用。
聚类算法介绍聚类算法是对数据进行分组的一种方法，目标是使组内的数据相似度高，组间的数据相似度低。
在点云聚类分割算法中，常用的聚类算法包括K-means、DBSCAN和MeanShift等。
K-means算法K-means算法是一种迭代的、基于中心的聚类算法。
该算法首先选择k个初始中心点，然后将每个数据点分配到与其距离最近的中心点所代表的聚类中心。
接着，根据分配结果更新聚类中心，直到聚类中心不再变化或达到迭代次数。
K-means算法的时间复杂度较低，但需要事先指定聚类数目。
DBSCAN算法DBSCAN算法是一种基于密度的聚类算法，可以自动识别出任意形状的聚类。
该算法以一个核心对象为起点，通过计算邻域内的密度来不断扩展聚类，直到无法继续扩展。
DBSCAN算法不需要事先指定聚类数目，且对噪声点有较好的鲁棒性。
MeanShift算法MeanShift算法是一种迭代的、密度估计的聚类算法。
该算法通过计算概率密度函数的梯度来找到局部极大值，从而确定聚类中心。
然后，将每个样本点都向最近的聚类中心移动，直到收敛。
MeanShift算法对于初始聚类中心的选择较为敏感。
点云聚类分割算法流程点云聚类分割算法的整体流程如下：1.数据预处理–采集点云数据–数据去噪、滤波等预处理操作2.特征提取–计算每个点的特征向量，如法向量、曲率等3.聚类–选择适合的聚类算法，如K-means、DBSCAN或MeanShift–根据算法要求设置相应参数–对特征向量进行聚类，得到各个簇4.分割–将聚类结果分割为不同的物体或场景–采用几何特征、形状、大小等规则进行分割5.后处理–对分割结果进行优化和修正–去除异常点或噪声点–对分割物体进行后续处理，如识别、跟踪等点云聚类分割算法的应用计算机视觉点云聚类分割算法在计算机视觉中有广泛的应用。
meanshift计算方法
meanshift计算方法Meanshift是一种经典的非参数密度估计和聚类算法，常用于图像处理、目标跟踪和图像分割等任务。
Meanshift算法的核心思想是通过迭代寻找样本空间中的密度极大值点，从而找到数据的聚类中心。
该方法的基本原理如下：1.密度估计：首先，对于给定的数据集，通过核密度估计方法来估计数据集中每个样本点的密度。
核密度估计是一种非参数的密度估计方法，通过计算每个样本点周围的核密度来估计该样本点的密度。
常用的核函数有高斯核函数和均匀核函数等。
2.中心寻找：从样本空间中任意选择一个点作为初始中心点。
然后，计算该点与样本空间中其他点之间的距离，并根据距离来调整中心点的位置。
具体而言，可以使用欧氏距离或其他距离度量来计算中心点与样本点之间的距离。
调整中心点的位置是通过计算样本点对中心点的贡献度来实现的，贡献度是根据距离的远近来确定的。
距离越近的样本点对中心点的贡献度越大，距离越远的样本点对中心点的贡献度越小。
3.密度更新：根据样本空间中当前的中心点，计算每个样本点与中心点之间的距离，并根据距离的远近来更新样本点的密度。
即，距离越近的样本点密度越高，距离越远的样本点密度越低。
通过迭代更新样本点的密度，可以逐渐得到数据集在样本空间中的密度分布。
4.收敛判断：判断中心点的位置是否稳定（即中心点是否收敛）。
当中心点的移动距离小于设定的阈值时，算法停止迭代，并输出最终的聚类中心。
Meanshift算法的优点是可以适应任意形状和密度的数据集，并且不需要事先指定聚类的数量。
它能够自动发现数据集中的聚类中心，并将数据点聚集在它们周围。
同时，Meanshift算法对初始中心点的选择不敏感，因此较为稳定。
然而，Meanshift算法也存在一些缺点。
首先，该算法的时间复杂度较高，其计算复杂度为O(N^2)，其中N为数据集的大小。
其次，Meanshift算法在处理高维数据时容易受到维数灾难的影响，数据点之间的距离随着维数的增加而呈指数增长，导致聚类结果不准确。
kmeans 聚类算法
kmeans 聚类算法Kmeans聚类算法Kmeans聚类算法是一种基于距离的无监督机器学习算法，它可以将数据集分为多个类别。
Kmeans算法最初由J. MacQueen于1967年提出，而后由S. Lloyd和L. Forgy独立提出。
目前，Kmeans算法已经成为了机器学习领域中最常用的聚类算法之一。
Kmeans算法的基本思想是将数据集划分为k个不同的簇，每个簇具有相似的特征。
簇的数量k是由用户指定的，算法会根据数据集的特征自动将数据集分成k个簇。
Kmeans算法通过迭代的方式来更新每个簇的中心点，以此来不断优化簇的划分。
Kmeans算法的步骤Kmeans算法的步骤可以概括为以下几个步骤：1. 随机选择k个点作为中心点；2. 将每个数据点与离它最近的中心点关联，形成k个簇；3. 对于每个簇，重新计算中心点；4. 重复2-3步骤，直到簇不再变化或达到最大迭代次数。
Kmeans算法的优缺点Kmeans算法的优点包括：1. 算法简单易实现；2. 能够处理大规模数据集；3. 可以处理多维数据。
Kmeans算法的缺点包括：1. 需要用户指定簇的数量；2. 对于不规则形状的簇，效果不佳；3. 对于包含噪声的数据集，效果不佳。
Kmeans算法的应用Kmeans算法在机器学习和数据挖掘中有着广泛的应用。
以下是Kmeans算法的一些应用：1. 图像分割：将图像分为多个不同的区域；2. 文本聚类：将文本数据划分为多个主题；3. 市场分析：将消费者分为不同的群体，以便进行更好的市场分析；4. 生物学研究：将生物数据分为不同的分类。
总结Kmeans聚类算法是一种基于距离的无监督机器学习算法，它可以将数据集分为多个类别。
Kmeans算法的步骤包括随机选择中心点、形成簇、重新计算中心点等。
Kmeans算法的优缺点分别是算法简单易实现、需要用户指定簇的数量、对于不规则形状的簇效果不佳等。
Kmeans算法在图像分割、文本聚类、市场分析和生物学研究等领域有着广泛的应用。
MeanShift
§5-1Mean Shift 算法Mean Shift 算法是由Fukunaga 和Hosteler 于1975年提出的一种无监督聚类方法[109]，Mean Shift 的含义是均值偏移向量，它使每一个点“漂移”到密度函数的局部极大值点。
但是再提出之初，Mean Shift 算法并没有得到广泛的重视，直到1995年，Cheng 等人对该算法进行了进一步的研究[110]，提出了一般的表达形式并定义了一族核函数，从而扩展了该算法的应用领域，此后Mean Shift 算法逐步得到了人们的重视。
目前，Mean Shift 算法已广泛应用于目标跟踪[111~114]、图像分割与平滑[115~118]等领域，同时由于该算法具有简洁、能够处理目标变形等优点，也是目前目标跟踪领域的一个重要研究热点。
5-1-1 Mean Shift 算法原理Mean Shift 算法是一种基于密度梯度的无参数估计方法，从空间任意一点，沿核密度的梯度上升方向，以自适应的步长进行搜索，最终可以收敛于核密度估计函数的局部极大值处。
基本的Mean Shift 算法可以描述为：设{}()1,,i x i n = 为d 维空间R d 中含有n 个样本点的集合，在点x 处的均值偏移向量的基本形式可以由式(5.1)表示：1()()hh ix S M x xx k∈=-∑ (5.1)其中，S h 是R d 中满足式(5.2)的所有y 点集合，其形状为一个半径为h 的高维球区域。
k 为所有n 个样本点中属于高维球区域的点的数目。
(x i -x )为样本点相对于点x 的偏移向量。
根据式(5.1)的定义可知，点x 的均值偏移向量就是所有属于S h 区域中的样本点与点x 的偏移向量均值，而S h 区域中的样本点大多数是沿着概率密度梯度的方向，所以均值漂移向量的方向与概率密度梯度方向一致，图5.1为具体的示意图。
{}2():()()Th S x y y x y x h=--≤ (5.2)图5.1 Mean Shift 示意图 Fig.5.1 Mean Shift sketch map根据式(5.1)和图5.1可以看出，所有属于区域S h 中的样本点对于点x 的均值漂移向量贡献度相同，而与这些点与点x 间的距离无关。
MeanShift算法
核函数也称“窗口函数”。
一维空间用到的核函数有高斯（Gaussian）、余弦弧（Cosinus arch）、双指数（Double Exponential）、均匀（Uniform）、三角（Trangle）、依潘涅契科夫（Epanechikov）、双依潘涅契科夫（DoubleEpanechnikov）、及双权（Biweight）函数。
图2.1给出了最常用的几个核函数给定一组一维空间的n个数据点集合令该数据集合的概率密度函数假设为f (x)，核函数取值为，那么在数据点x处的密度估计可以按下式计算：上式就是核密度估计的定义。
其中，x为核函数要处理的数据的中心点，即数据集合相对于点x几何图形对称。
核密度估计的含义可以理解为：核估计器在被估计点为中心的窗口内计算数据点加权的局部平均。
或者：将在每个采样点为中心的局部函数的平均效果作为该采样点概率密度函数的估计值。
MeanShift实现：1.选择窗的大小和初始位置.2.计算此时窗口内的Mass Center.3.调整窗口的中心到Mass Center.4.重复2和3，直到窗口中心"会聚"，即每次窗口移动的距离小于一定的阈值，或者迭代次数达到设定值。
meanshift算法思想其实很简单：利用概率密度的梯度爬升来寻找局部最优。
它要做的就是输入一个在图像的范围，然后一直迭代（朝着重心迭代）直到满足你的要求为止。
但是他是怎么用于做图像跟踪的呢？这是我自从学习meanshift以来，一直的困惑。
而且网上也没有合理的解释。
经过这几天的思考，和对反向投影的理解使得我对它的原理有了大致的认识。
在opencv中，进行meanshift其实很简单，输入一张图像（imgProb），再输入一个开始迭代的方框（windowIn）和一个迭代条件（criteria），输出的是迭代完成的位置（comp ）。
这是函数原型：int cvMeanShift( const void* imgProb, CvRect windowIn,CvTermCriteria criteria, CvConnectedComp* comp )但是当它用于跟踪时，这张输入的图像就必须是反向投影图了。
聚类分割算法
聚类分割算法聚类分割算法是一类常用于将数据集划分成具有相似特征的子集的方法。
这些算法主要用于无监督学习，即在没有先验标签的情况下，自动发现数据集内在的模式。
以下是一些常见的聚类分割算法：1. K均值聚类（K-Means Clustering）：- K均值是最常见的聚类算法之一。
它将数据集分为K个簇，每个簇由其质心表示。
算法的目标是使每个数据点到其所属簇的质心的距离最小化。
2. 层次聚类（Hierarchical Clustering）：-层次聚类根据数据点之间的相似性构建树状结构。
可以通过聚合或分割来创建簇。
分为凝聚式层次聚类（自底向上）和分裂式层次聚类（自顶向下）。
3. DBSCAN（Density-Based Spatial Clustering of Applications with Noise）：- DBSCAN基于密度的聚类算法，能够发现具有足够密度的区域，并将稀疏区域视为噪声。
它不需要预先指定簇的数量。
4. Mean Shift聚类：- Mean Shift是一种基于梯度上升的聚类算法。
它通过不断迭代调整数据点的位置，使其移向密度最大的区域，从而找到簇的中心。
5. OPTICS（Ordering Points To Identify the Clustering Structure）：- OPTICS是一种基于密度的聚类算法，类似于DBSCAN，但允许在数据集中存在不同密度的区域，并通过产生一系列密度相关的点来表示簇。
6. 谱聚类（Spectral Clustering）：-谱聚类利用数据集的谱信息，通过将数据投影到低维子空间来执行聚类。
它在处理非凸形状的簇和图分割问题时效果较好。
7. 模糊聚类（Fuzzy Clustering）：-模糊聚类考虑了数据点与簇的隶属度，而不是将每个数据点硬性地分配到一个簇。
模糊c均值（FCM）是模糊聚类的一个典型算法。
这只是聚类分割算法的一小部分，每个算法都有其适用的场景和限制。
MeanShift具体介绍
MeanShift具体介绍Mean Shift，我们翻译为“均值飘移”。
其在聚类，图像平滑。
图像切割和跟踪⽅⾯得到了⽐較⼴泛的应⽤。
因为本⼈眼下研究跟踪⽅⾯的东西，故此主要介绍利⽤Mean Shift ⽅法进⾏⽬标跟踪，从⽽对MeanShift有⼀个⽐較全⾯的介绍。
（下⾯某些部分转载常峰学长的“Mean Shift概述”） Mean Shift 这个概念最早是由Fukunaga等⼈于1975年在⼀篇关于概率密度梯度函数的预计（The Estimation of the Gradient of a Density Function, with Applications in Pattern Recognition ）中提出来的,其最初含义正如其名,就是偏移的均值向量,在这⾥Mean Shift是⼀个名词,它指代的是⼀个向量,但随着Mean Shift理论的发展,Mean Shift的含义也发⽣了变化,假设我们说Mean Shift算法,通常是指⼀个迭代的步骤,即先算出当前点的偏移均值,移动该点到其偏移均值,然后以此为新的起始点,继续移动,直到满⾜⼀定的条件结束.然⽽在以后的⾮常长⼀段时间内Mean Shift并没有引起⼈们的注意,直到20年以后,也就是1995年,另外⼀篇关于Mean Shift的重要⽂献（Mean shift, mode seeking, and clustering ）才发表.在这篇重要的⽂献中,Yizong Cheng对主要的Mean Shift算法在下⾯两个⽅⾯做了推⼴,⾸先Yizong Cheng定义了⼀族核函数,使得随着样本与被偏移点的距离不同,其偏移量对均值偏移向量的贡献也不同,其次Yizong Cheng还设定了⼀个权重系数,使得不同的样本点重要性不⼀样,这⼤⼤扩⼤了Mean Shift的适⽤范围.另外Yizong Cheng指出了Mean Shift可能应⽤的领域,并给出了详细的样例。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Kmeans与Meanshift、EM算法的关系Kmeans算法是一种经典的聚类算法，在模式识别中得到了广泛的应用，基于Kmeans的变种算法也有很多，模糊Kmeans、分层Kmeans等。
Kmeans和应用于混合高斯模型的受限EM算法是一致的。
高斯混合模型广泛用于数据挖掘、模式识别、机器学习、统计分析。
Kmeans的迭代步骤可以看成E步和M步，E：固定参数类别中心向量重新标记样本，M：固定标记样本调整类别中心向量。
K均值只考虑（估计）了均值，而没有估计类别的方差，所以聚类的结构比较适合于特征协方差相等的类别。
Kmeans在某种程度也可以看成Meanshitf的特殊版本，Meanshift是一种概率密度梯度估计方法（优点：无需求解出具体的概率密度，直接求解概率密度梯度。
），所以Meanshift可以用于寻找数据的多个模态（类别），利用的是梯度上升法。
在06年的一篇CVPR文章上，证明了Meanshift方法是牛顿拉夫逊算法的变种。
Kmeans和EM算法相似是指混合密度的形式已知（参数形式已知）情况下，利用迭代方法，在参数空间中搜索解。
而Kmeans和Meanshift相似是指都是一种概率密度梯度估计的方法，不过是Kmean 选用的是特殊的核函数（uniform kernel），而与混合概率密度形式是否已知无关，是一种梯度求解方式。
PS：两种Kmeans的计算方法是不同的。
Vector quantization也称矢量量化:指一个向量用一个符号K来代替。
比如有10000个数据，用Kmeans 聚成100类即最有表征数据意义的向量，使得数据得到了压缩，以后加入的数据都是用数据的类别来表示存储，节约了空间，这是有损数据压缩。
数据压缩是数据聚类的一个重要应用，也是数据挖掘的主要方法。
混合高斯模型是一系列不同的高斯模型分量的线性组合。
在最大似然函数求极值时，直接求导存在奇异点的问题，即有时一个分量只有一个样本点，无法估计其协方差，导致其似然函数趋于无穷，无法求解。
另一个问题是，用代数法求得的解是不闭合的，即求解的参数依赖于参数本身的值，变成一个鸡生蛋，蛋生鸡的问题。
这些问题看似无解，但是可以使用迭代的方法如EM，k均值等，预先设置一些参数，然后迭代求解。
PS：也有用基于梯度的方法求解的。
在求解混合模型时，有一个重要的概念即模型的可辨识性（如果无论样本的数量为多少都无法求出模型参数的唯一解，则称模型是不可辨识的），这是EM算法的前提。
在实际应用时，由于EM算法的复杂度比K均值高，所以一般先用K均值大致收敛到一些点，然后用EM算法。
EM算法求解混合模型的固然有效，但不能保证找到最大使然函数的最大值。
EM算法是求解具有隐变量的概率模型的最大似然函数的解的常用方法。
当样本集是样本与隐变量一一对应时，数据集称为完整数据集，可以直接求解模型参数，但很多时候只知道样本，不知道其对应的隐变量，这是非完整数据集。
所以求解模型参数的关键是隐变量的后验概率，由后验概率可以推出完整数据集用于求解参数。
增量式的EM算法，每次只更新一个点，收敛速度更快。
上述方法可以看成是无监督学习。
PS：EM是一个似然函数下界最大化解法，保证了解法的收敛性。
Opencv之KMEANS篇Opencv中的K-means适用于数据预处理，但图像分割的消耗的时间太长并且效果不怎么好，使用空间信息后，图像的分割后受空间的影响很大（同一类的数据如果分布较远，不是高斯型的，就会错分），因为图像分割本身要求数据是呈超球体(高斯类)分布。
K-means得到的是线性判决面，因为算法使用的准则函数是最小均方误差，相当于不同类别间求最小二乘直线拟合。
这是一个局限点，而且类别数的选择也很重要，但实际情况是，往往很难确定图片中的类别数。
在OPENCV里判断聚类误差是由类别中心点的两次迭代结果的差决定的，即当类别中心点都变化不大时或者说不变时，聚类结束。
多次运行程序会发现不同的结果，因为程序可能会陷入不同的局部极值，所以如果要找到全局最优，可以多次运行找出误差最小值。
在opencv的kmeans函数内有关于运行次数的选择变量，除了输出类别标记外，还可以输出类别中心等。
输入图片：输出图片：类别间的分界基本呈线性。
在使用K-means函数时，注意输入和输出矩阵的数据类型，是32FC1。
输入矩阵的每一行是一个输入向量。
OPENCV矩阵的特点是，矩阵的元素本身可以是个向量，即元素的数据通道，这样方便图像处理。
所以一个样本向量可以用矩阵的一行表示即单通道多数据，也可以用一个多数据通道的矩阵元素表示。
PS：在使用空间信息作分类时，其实向量是由不同的域组成，空间域和颜色域，不满足欧几里德空间的约束，这里用了近似的。
只使用RGB颜色，未添加空间信息的分割结果：OPENCV之EM算法篇EM算法是求解最大似然函数极值的一种解法，使用的是迭代求解的方法，并且保证收敛。
EM算法的应用相当广泛，包括混合高斯模型的求解，隐马尔科夫模型的求解，最大后验概率模型的求解等。
最常用的是混合高斯模型的求解，把混合概率密度分解为一系列的高斯分量之和。
关于EM算法的具体流程可参考网上，个人推荐一个介绍的不错的，《pattern recognition and machine learning》有一章专门介绍这个，通俗易懂，介绍了KMEANS与EM算法的关系，还介绍了一搬（general）EM算法的流程。
在我博客里还会有另一篇文章专门介绍Kmeans和EM算法和MEANSHIFT算法的关系。
Opencv里的CVEM函数是用于专门求解混合高斯模型的，输入和输出都与CVkmeans2函数的输入输出兼容，都是输入矩阵一行代表一个样本。
可以选择两种模式，一种是普通的方差矩阵，一种是对角的方差矩阵。
对角的方差矩阵计算相对简单，可以减少计算量，而且很多情况下效果和普通的方差矩阵差不多。
由于EM算法的计算复杂度要高于Kmeans，所以在实际使用时一般先用Kmeans选定类别中心，再用EM算法调整，可以提高计算速度。
在CVEM类里有KMEANS的成员函数，实现预处理功能。
Opencv里的EM算法有个和Kmeans一样的缺点就是类别数无法确定，并且数据如果不服从高斯分布，用于图片分割的效果不好，耗时也很长。
所以EM算法还是比较适合于大数据量的样本聚类或学习。
下面是一个图片分割的例子：输入图像：输出图像：PS：在右图中发现，每个形状的周围都存在一些黑色的类别，这是由于左图中每个形状的边缘部分是模糊的即（颜色值递减的），所以出现错分割或者说过分割。
Opencv之meanshift篇本文主要是介绍了OPENCV里的meanshift分割函数cvPyrMeanShiftFiltering函数。
关于算法的详细叙述可参考《Mean shift: a robust approach toward feature space analysis》D,comaniciu 2003.该函数基本参照上文所描述的算法流程编写的。
在opencv实现里加入了金字塔分层分割的概念。
Meanshift 分割可供选择的只有一个参数即分割的精细度，也就是选择的核宽。
cvPyrMeanShiftFiltering函数只能输入8位三通道的RGB图像，输出时分割结果，没有提供分割的具体信息如类别数，模态等。
该函数采用的是UNIFORM核，选择的矩形区域为核覆盖区。
Meanshift算法在每个样本上都执行一次确定类别，所以复杂度比较高O（N*W），w是操作系数，处理一幅320*240图片需要2，3秒的时间。
函数在实现时也没有考虑消除一些小的类别（数量较少的）。
使得这个函数更像是discontinuity preserve smoothing.有很多图片经过这个函数处理后很难感觉出输入输出有什么大区别，其实是被平滑了。
观察仔细点可以看出来。
输入图片：输出图像：在opencv里面关于meanshift算法的应用还有两个函数CVmeanshift和CVCAMshift函数，都是用于跟踪的，效果还不错。
现在在视频跟踪里，meanshift方法+卡尔曼滤波还是挺流行的。
SURF: speed up robust featureSURF特点：1.使用积分图像完成图像卷积（相关）操作，2，使用Hessian矩阵检测特征值；3，使用基于分布的描述符（局部信息）。
兴趣点检测相关研究：1998Lindberg介绍自动尺度选择的概念，允许检测图像中的兴趣点在它们的特征尺度上。
他实验了Hessian矩阵的行列式和Laplacian(和矩阵的迹一致)检测团状结构。
1998 Lowe提出用DOG近似LOG。
2001Mikolajczyk 和Schmid 重新定义了这个方法，名为Harris-Laplace和Hessian-Laplace。
使用Harris或Hessian矩阵的行列式来选择特征点的闻之，使用Laplacian选择尺度。
此外Mikolajczyk（2005，2006）还做了一些算子的比较工作。
从中可知：基于Hessian检测器比基于Harris检测器更稳定，重复检测性更好。
此外，使用Hessian矩阵的行列式比使用它的迹更有优势。
同时也发现使用类似于DOG的近似方法可以提高速度但只损失很小的精度。
描述符的相关研究图像特征点的描述符一个共同点是表达了兴趣点邻域内小尺度的特征分布。
使得描述符的描述性更好，识别性更高。
SIFT的特点正是掌握了空间域亮度模式的大量信息（基于直方图方法：8个方向的箱格，4*4像素）。
描述了特征点邻域内点的梯度方向信息，共128维。
PCA-SIFT：36维，匹配速度更快，但区分度下降，并且延长了特征的计算时间。
GLOH：区分度更高但是数据压缩花销时间太长。
2006 Grabner使用积分图像近似SIFT。
可以达到和我们同样的速度。
但是相比SIFT质量有所下降。
（为SURF提供了重要信息积分图像）。
匹配算法：BBF（k-d tree）,balltrees, vocabulary trees, locality sensitine hashing.本文补充提出了，使用Hessian矩阵的迹来显著提高匹配速度。
在低维描述符下，任何算法的匹配速度都很快。
二．兴趣点检测。
使用HESSIAN矩阵的近似检测兴趣点。
使用积分图像加快计算。
2001 Viola and Jones 提出积分图像的概念。
1998 Simard 提出的盒形计算框架使用积分图像。
本文的创新点：使用近似的Hessian矩阵来求特征点。
DOG近似LOG，盒形滤波近似不同的二次微分。
在3*3*3的邻域范围内寻找Hessian矩阵的行列式最大值。
9*9盒形滤波器相当于方差1.2的高斯函数。