基于流形距离的密度峰值快速搜索聚类算法

基于流形距离的密度峰值快速搜索聚类算法张嘉琪1,2,张红云1,2(1.同济大学计算机科学与技术系，上海201804；2.同济大学嵌入式系统与服务计算教育部重点实验室，上海201804）摘要：针对2014年6月发表在Science上的基于密度峰和快速搜索的聚类算法容易忽略无密度极值的簇的缺陷，提出了一种基于流形距离的密度峰值快速搜索聚类算法。

算法利用流形距离弥补了传统欧式距离对于复杂数据无法反应聚类的全局一致性（即位于同一个类中的样本点之间有较高的相似度）的缺陷，通过近邻点充分挖掘复杂数据的流形结构信息，使处于同一个流形中的样本点之间相似性较高，从而正确找到密度极值点作为聚类中心点，完成聚类。

本文算法能够发现较复杂的流形结构，在公开数据集上能取得较好的实验结果。

关键词:聚类；流形距离；密度极值；全局一致性；聚类中心中图分类号：TP311文献标识码：A文章编号：1009-3044(2017)02-0179-04Clustering by Fast Search andfind of Density Peaks Based on Manifold DistanceZHANG Jia-qi1,2，ZHANG Hong-yun1,2(1.Department of Computer Science and Technology,Tongji University,Shanghai201804,China;2.Key Laboratory of Embed-ded Systems and Service Computing,Ministry of Education,Tongji University,Shanghai201804,China)Abstract：The clustering algorithm based on density peak and fast search,which was published on Science in June2014,is easy to ignore the cluster which has no density extreme value.So We propose an algorithm based on manifold distance to solve this problem.Instead of Euclidean distance，the algorithm uses manifold distance to reflect the global consistency of samples,which means the samples in the same cluster have high similarity.We find manifold structure information of complex data by neighbor points,so that samples in the same manifold have high similarity and the cluster center is easy to find.In this paper,we can find manifold structure of complex data,and obtain better results in the open data sets.Key words：clustering;manifold distance;density peak;global consistency;clustering center1概述聚类作为一种有效的数据分析手段，已成为模式识别，人工智能，数据挖掘等领域的研究热点。

在聚类分析过程中，不需要任何先验知识或者是假设，因此聚类是一种无监督学习过程。

聚类算法包括划分式聚类方法、层次聚类方法、基于密度的聚类方法和基于网格的聚类方法,以及基于模型的聚类算法.K-means［1］是应用范围最广的划分式聚类算法.然而,K-means 算法的聚类结果依赖于初始类簇中心的选取,而且倾向于发现凸形状的簇,对噪声点和离群点敏感,且聚类个数K需要事先设定.针对K-means的缺陷,出现了K-modes［2］算法等诸多改进算法.DBSCAN［3］是一种比较典型的基于密度的聚类方法，要求聚类空间中的一定区域内所包含对象（点或其他空间对象）的数目不小于某一给定阈值。

DBSCAN算法的显著优点是聚类速度快且能够有效处理噪声点和发现任意形状的空间聚类，与K-MEANS比较起来，不需要输入要划分的聚类个数。

近邻传播聚类算法AP(affinity propagation)[4]将所有样本看作网络中的一个顶点,通过反复迭代交换近邻样本间的信息,寻找最优的类代表点样本集合,使所有样本与最近类代表点样本的相似度之和最大,发现数据集样本的类簇分布.AP算法具有简单、高效的优点,特别是在类别数目较多情况下,该算法具有非常好的聚类效果,但是该算法不能发现任意形状的簇.基于层次的有CURE [5]、ROCK[6]、BIRCH[7]。

层次的方法的缺陷在与错误的累积，它不能更正错误的决定。

但是它能发现非凸的数据分布。

2014年6月Science发表了自动确定类簇数和类簇中心的新聚类算法CFSFDP(clustering by fast search and find of density peaks)[8],该算法能快速发现任意形状数据集的密度峰值点(即类簇中心),并高效进行样本点分配和离群点剔除,适用于大规模数据的聚类分析.但是该算法容易忽略不存在密度极值点的簇，导致该类簇被划分到其他类中，造成错误的聚类结果。

鉴于此,本文提出一种采用流形距离的密度峰值快速搜索聚类算法,利用流形距离来保证同一个簇中的样本点相似性高，从而使每个簇中都存在密度极值，使算法能够准确发现簇中的聚类中心点，并完成聚类。

2CFSFDPCFSFDP是2014年发表在Science杂志上的一种聚类算法，因为它的思想简洁优美，提出之后就受到了广泛的关注。

该算收稿日期：2016-12-25基金项目：国家自然科学基金项目(61573255)资助;上海市自然科学基金项目(14ZR1442600)资助作者简介：张嘉琪（1991—），男，硕士，研究方向为粒计算、大数据；张红云（1972—），女，博士，副教授，研究方向为主曲线、粒计算、粗糙集等。

DOI:10.14004/ki.ckt.2017.0193Computer Knowledge and Technology 电脑知识与技术第13卷第2期(2017年1月)法的核心思想在于对聚类中心的确定上，作者认为聚类中心同时具有以下两点特征：1.本身的密度大，周围点的密度比他小2.与其他密度更大的点的距离相对更大因此为每个样本点都引入两个属性：局部密度ρi 和距离δi ，由公式(1)(2)计算获得。

ρi =∑j ∈I S \{i }e-(d ij d c)2(1)δi =ìíîïïmin j ∈I iS{d ij },I iS 不为空max j ∈IS{d ij },I iS 为空(2)I S 表示所有样本点的下标序号，I iS 表示所有密度大于点i的样本点的下标序号。

d c 表示邻域大小，根据所有点与点的欧式距离小于d c 的占总样本数的k%来确定，k 为我们需要输入的参数。

d ij 表示两个样本点的欧式距离。

如公式(1)，(2)所示，对于局部密度ρi ，该算法用高斯核来进行密度的计算，用点i 到比点i 密度高的所有点的最短距离表示δi 。

(a)样本点(b)决策点图1样本点和决策图如图1所示，图1(a)是样本集，样本集的序号按照密度的大小降序排列，图1(b)为以两个属性为横纵坐标的决策图，显然点1和点10为聚类中心。

对于剩下的点，点的类别标签与高于当前点密度的最近的点的标签一致。

从而对所有点的类别进行了指定。

而且该算法利用临界密度很好的过滤掉噪音点。

该算法仅需要输入确定邻域的参数k ，且时间复杂度较K-means 低，能识别部分复杂分布的样本点，在人脸识别上也取得了较好的实验结果。

但是该算法的有效性建立在一个隐性的假设，即数据集中属于同一个类的数据点的密度分布有且仅有一个极值。

倘若数据分布不含有这一特征，相对稀疏的类的聚类中心则容易被淹没，例如圆环型数据集，CFSFDP 就会得到错误的结果[9]。

3基于流形距离的相似性度量方法在复杂数据聚类问题,由于数据的分布通常具有不可预期的复杂结构,导致了传统的基于欧氏距离相似性度量的聚类算法无法反映聚类的全局一致性(即位于同一流形上的数据点具有较高的相似性).从图2所示的例子中可以看出,在用欧式距离衡量样本点之间的相似性时候，样本点A 与样本点C 的相似性要比样本点A 与样本点B 的相似性更大.因此A 与C 划分到同一类的概率是要大于A 与B 划分到同一类的概率的。

但是,显而易见，A 与B 是属于同一个流形，也就是说A 与B 是属于同一类的,用欧氏距离作为相似性度量根本无法反映图中所示数据的全局一致性.因此,对于现实世界中复杂的聚类问题,简单地采用欧氏距离作为相似性度量会严重影响聚类算法的性能。

图2相似度衡量流行距离又叫做测地距离（Geodesic distance ），Isomap [10]降维算法为了在低维空间下保留数据在高维空间的相似性，引入了测地距离的概念。

测地距离的基本思想是：当两点非常接近（k 近邻点）时，测地距离等于欧式距离，而当两点相对较远的时候，测地距离则根据近邻点之间测地距离的累加实现，是一种迭代的距离度量方法[10]。

例如图2的聚类问题，若采用测地距离作为相似性度量的方法，A 可以通过若干个k 近邻点迭代的计算与B 之间的相似度，而与C 的相似度为无穷小的，这种相似性度量方法比直接采用欧氏距离更加合理。

测地距离的计算过程如下[10]：1.定义邻域大小n ，根据邻域大小构造测地距离2.每个样本与自己的n 近邻点的距离为欧氏距离，与其余点的距离为无穷大。

即：d G (x i ,x j )=ìíîd E (x i ,x j ),若x i ,x j 为近邻∞，若x i ,x j 不为近邻(3)3.使用其他点为媒介，计算每个样本与其他所有点的距离：d G (x i ,x j )=min {d G (x i ,x j ),}d G (x i ,x t )+d G (x t ,x j )(4)4基于流形距离的密度峰值快速搜索聚类算法流形距离能放大类间差异，使同一个流形上的样本点能有更大的概率被划分到同一类上，同时也保证了同一个流形上的样本点有更高的相似性，也就是说流形上存在密度极值点。