基于最近邻优先的高效聚类算法

第36卷第6期四川大学学报(工程科学版)V ol.36N o.6 2004年11月JOURNA L OF SICH UAN UNIVERSITY(E NG INEERING SCIE NCE E DITION)N ov.2004文章编号:100923087(2004)0620093207基于最近邻优先的高效聚类算法胡建军1,唐常杰1,李　川1,彭　京1,2,元昌安1,3,陈安龙1,蒋永光4(1.四川大学计算机学院,四川成都610064;2.成都市公安局科技处,四川成都610017;3.广西师范学院信息技术系,广西南宁530001;4.成都中医药大学,四川成都610075)摘　要:针对高维空间中任意形状的多层次聚类问题,基于“同类相近”的思想,提出并实现了最近邻优先吸收聚类算法NNAF算法。

证明了最近邻点搜索定理,基于这一定理又提出了S NN(Searching Nearest Neighbors)算法和G S NN(G rid2based Searching Nearest Neighbors)算法,其时间复杂度为O(n3log(n)),当用扫描图像所得数据时,时间复杂度会降为O(n);而使用传统的搜索算法,时间复杂度为O(n2);提出了实现任意形状高维空间聚类的NNAF算法,时间复杂度为O(n);提出了M LC A(Multi2layer Cluster Alg orithm)算法并证明了两个相关的定理,在改变阈值后重新聚类时,使用M LC A算法可以节省90%以上的时间。

实验结果显示,以上算法适应于任意形状的高维空间数据的聚类,可以有效过滤噪声数据,且用户需要的先验知识少、可快速获得各种层次的聚类结果。

关键词:数据挖掘;聚类分析;最近邻优先吸收;多层次聚类中图分类号:TP311.13文献标识码:AAn E fficient Multi2layer Clustering Algorithm B ased on N earest N eighbors FirstH U Jian2jun1,T ANG Chang2jie1,LI Chuan1,PENG Jing1,2,YUAN Chang2an1,3,CHEN An2long1,JIANG Yong2guang4(1.School of C om puter,S ichuan Univ.,Chengdu610064,China;2.Dept.of Sci.and T ech.,Chengdu Public Security Bureau,Chengdu610017,China;3.Dept.of In fo.and T ech.,G uangxi T eachers Education Univ.,G uangxi Nanning530001,China;4.Chengdu Univ.of T raditional Chinese M edicine,Chengdu610075,China)Abstract:Nearest Neighbors Abs orbed First(NNAF)clustering alg orithm was proposed to res olve the problem of the mul2 ti2layer clustering for high dimensional data with arbitrary shape based on the idea that the data in same cluster must be near.A searching nearest neighbor theorem was proved.Based on the theorem,S NN(Searching Nearest Neighbors)and G S NN(G rid2based Searching Nearest Neighbors)alg orithms were proposed with time com plexity O(n3log(n))or O(n)if the data are gained by scanning image.They are much faster than the traditional searching nearest neighbors al2 g orithm with O(n2).A clustering alg orithm of NNAF to process multi2dimensional data with arbitrary shape was proposed with time com plexity O(n).Multi2layer Clustering Alg orithm(M LC A)was proposed and tw o interrelated theorems were proved.In the case for threshold adjusting,it saves time over90%.The experiments showed that the new alg orithms can efficiently process high dimensional data in arbitrary shape with noisy.They can produce multi2layer clustering quickly and need less field knowledge.K ey w ords:data mining;clustering;nearest neighbor first;multi2layer clustering收稿日期:2004206212基金项目:国家自然科学基金资助项目(60473071;90409007);国家973计划资助项目(2002C B111504);高等学校博士学科点专项科研基金SRFDP资助项目(20020610007);广西自然科学基金资助项目(桂科自0339039)和国家中医药管理局基金S ATC M资助项目(2003JP40)作者简介:胡建军(19702),男,博士生.研究方向:数据库与知识工程;智能信息处理. 聚类分析是知识发现(K DD)中一项重要研究内容,旨在将数据集合划分为若干类的过程,使得类内差异小,类间差异大。

通常用数据之间的距离来描述相似度,距离越大,相似度越小,反之则越大。

理想的聚类算法应该具有可扩展性、能发现任意形状、用户输入参数少、对噪声不敏感、能处理高维数据、可解释性和可用性。

国内外学者已经提出了不少相关的算法,大体上可分为划分方法、层次方法、基于密度的方法、基于网格的方法和基于模型的方法。

典型算法分别有K2means算法[2]、C URE算法[3]、DB2 SC AN算法[4]、C LI QUE算法[5]和BIRCH算法[6,7],等等。

这些算法以自己的特色和方式解决了一类特殊问题。

然而,对于任意形状的高维数据的多层次聚类,仍是一个具有挑战性的研究内容。

基于“同类相近”的思想,提出了一种改进的最短距离聚类算法———最近邻优先吸收聚类算法NNAF(Nearest Neighbors Abs orbed First)。

与其它聚类算法相比,NNAF算法具有以下优点:1)适应于任意形状的聚类;2)可快速处理高维数据;3)可以快速获得各种层次的高质量聚类;4)用户需要的先验知识少;5)可以有效过滤噪声数据。

主要工作在于:1)提出并证明了一个可以快速获得最近邻点的搜索定理;2)提出了寻找最近邻点的S NN(Searching Near2 est Neighbors)算法和G S NN(G rid2based Searching Near2 est Neighbors)算法;3)提出了NNAF(Nearest Neighbors Abs orbed First)聚类算法,实现基于最近邻点优先的聚类;4)提出了快速进行多层次聚类的M LC A(Multi2 layer Cluster Alg orithm)算法和两个相关的定理,使得改变阈值后重新聚类的时间平均可以节约90%以上;5)对相应算法进行了实验比较。

1　相关工作层次聚类方法可分为自下而上和自上而下两种基本方法。

自下而上方法是以数据对象作为原子类,然后将这些原子类进行聚合。

逐步聚合成越来越大的类,直到满足终止条件。

自上而下方法是首先将所有数据对象作为一类,然后逐步分解成越来越小的类,直到满足终止条件。

典型的层次聚类算法有BIRCH算法、C URE算法、最短距离法[8]和CH AM A LE ON算法[9]等。

NNAF算法与最短距离法有很多相似之处。

最短距离法又称最近邻连接法。

其基本思想是把两个类的距离定义为两类中距离最近的元素之间的距离。

并依此逐次选择最“靠近”的类聚集,直到满足终止条件。

传统的最近邻搜索算法需要并比较数据点两两之间的距离,其时间复杂度为O(n2),计算量很大。

因此传统的最近邻算法很难处理大数据量的聚类。

对于噪声数据,该算法也将无能为力。

针对这些不足,提出了可以高效处理以任意形状分布的具有噪声数据的聚类算法———NNAF算法。

它继承了最短距离法的优点,可高效处理高维数据,且用户需要的先验知识少。

2　最近邻优先吸收(NNAF)算法NNAF(Nearest Neighbors Abs orbed First)算法的基本思想是:空间中的每一点和与之最近的点属于同一类的可能性最大。

如果两个距离最近的点之间的距离小于用户输入的距离阈值,那么就认为它们属于同一类。

当某一聚类所包含的元素个数大于用户输入的数量阈值时,则该类数据成为一个真正的聚类;否则为噪声数据集合。

2.1　基本概念定义1:设V是高维数据空间中的点集合,V= {p1,p2,…,p n},p1∈V,p2∈V,给定距离阈值d,d >0,则1)p1和p2之间的距离记为D(p1,p2);2)如果D(p1,p2)<D(p1,p3)<…< D(p1,p n),则称p2为距离p1最近的点,即p2为p1的最近邻,记为MN(p1)=p2;3)如果MN(p1)=p2,并且D(p1,p2)≤d,那么p2与p1属于同一类。

NNAF算法的基本思想是试图把两个最近邻的点归为一类。

假设M N(p1)=p2,且D(p1,p2)≤d,d是用户设定的距离阈值:当p1点属于第一类,而p2尚没有归类时,则把p2点也归为第一类;当p1尚没有归类,而p2点属于第一类时,则把p1点也归为第一类;当p1点属于第一类,而p2属于第二类时,则把第一类和第二类合并为一个新类,并把p1、p2点和分别属于原第一类和第二类的所有点都归于这个新类。