ASCA_一种快速自适应聚类算法

技术创新《微计算机信息》(管控一体化)2009年第25卷第6-3期360元/年邮局订阅号：82-946《现场总线技术应用200例》软件时空ASCA:一种快速自适应聚类算法ASCA ：A Fast and Self Adaptive Sort-Clustering Algorithm(1.遵义师范学院;2.四川大学)向剑平1,2唐常杰2郑皎凌2胡剑2XIANG Jian-ping TANG Chang-jie ZHENG Jiao-ling HU Jian摘要:为提高银行存贷款数据集上的聚类质量和聚类效率,本文做了下列工作:(1)定义了簇的直径。

(2)提出了利用距离尺度降维的中心距序降维法,证明了新方法在降维时能保持聚类质量(此研究属压复杂问题)。

(3)提出了自适应排序聚类算法ASCA(Adaptive Sort Clustering Algorithm),ASCA 算法在一维数据和多维数据集上能够进行有效的聚类。

(4)做了详实的实验,和传统的Cobweb 算法、K-means 算法做了对比,实验表明新方法能减少聚类时间,最多减少了53%。

关键词:簇直径;ASCA 算法;中心距序降维中图分类号:TP311文献标识码:AAbstract:Aiming to improve the quality and efficiency of clustering on bank loads data sets,this paper makes the following contribu -tions:(1)define the new concepts of cluster ’s diameter ;(2)propose a new approach called dimension reduction based on distance or -der to perform dimension reduction by a distance criterion as well as maintaining the quality of clustering.(3)propose a new self -Adaptive Sort Clustering Algorithm (ASCA)which can conduct effective clustering not only in one dimension but also in multi-dimen -sion.(4)conduct extensive experiments to shows that ASCA can reduce the time of clustering when compared with Cobweb and K -means algorithms.the clustering time is reduced by 53%.Key words:Cluster Diameter;ASCA Algorithm;dimension reduction by cluster distance order文章编号:1008-0570(2009)06-3-0280-031引言聚类是数据挖掘中的一种重要研究手段，聚类分析作为一种无监督的机器学习方法随数据挖掘的兴起而成为数据分析领域的一个研究热点，如图像分类按当检索、高性能互联网信息监控、Web 挖掘等领域中得到广泛应用。

但是，在很多聚类算法中，存在以下问题：⑴聚类过程中根据聚类算法反复迭代才能得到聚类结果，不管从时间，空间的复杂度上代价都是很高的。

⑵总是要用户给定聚类簇数，而簇数的选取是依用户经验或领域知识。

⑶特别地在K-means 算法中还要选取初始簇中心，簇中心的选取对聚类的质量也是有影响的。

基于上述问题，本文提出了一种无需给定簇数，只要给定簇内最大距离阈值，一次遍历数据集就能得出聚类结果的一种快速的自适应排序聚类算法(Adaptive Sort-Clustering Algorithm,简称ASCA 算法)。

文献2-4尚未充分利用排序这种方式来减少计算开销，缩小对数据空间的搜索范围。

本文提出的ASCA 算法，弥补了这一思维盲点。

2基本概念定义1.(簇的直径)设A i (a i1，a i2，…a ik )、A j (a j1，a j2，…a jk )是数据空间Ω上的任意两个k 维数据点，C i 是数据空间Ω上的任意一个簇，且A i ∈C i 、A j ∈C i ，则|A i －A j |是点A i 、A j 之间的距离，簇C i 的直径定义为：dia(C i )=max|A i －A j |（A i 、A j ∈C i ）。

直观地解释，簇直径是簇中元素间距离的最大值。

设数据空间Ω上有n 个k 维数据，即Ω={A 1,A 2,…A n }，其中A i (a i1,a i2,…a ik )（i=1,2,…,n,k<n ）。

下面给出的ASCA 算法有两个技术要点：a)在一维数据集上，首先将一维数据{A i }(i=1,2,…n)按升序排序，以每一数据点为簇心，给定簇内最大距离阈值β(>0)，如果某数据点距最小数值点的距离大于阈值β，则这一数据点就作为下一个簇的簇心，第一簇已产生。

依此循环，产生下一个簇，直到Ω中数据为空，Ω中全部数据聚类结束。

b)在二维以上的数据集上，采用了下列中心距序降维排序（Dimension reductionvia cluster centers'distance order based sorting ，简称DRV 算法）。

DRV ()算法//中心距序降维排序法输入：{A 1,A 2,…A n },其中A i(a i1,a i2,…a ik )（i=1,2,…,n,k<n ）//n 条k 维数据。

输出：{A ’1,A ’2,…A ’n }//按升序排列后的数据集。

1)O(0,0,…,0)//k 维原点。

2)for each i do {3)for each j do {4)d(A i ,O)=//Ω中任意点到中心O 的距离}}5)对{d(A i ,O)}按升序排序,则得对应的n 个k 维{A ’1,A ’2,…A ’n }也按升序排序6)Return {A ’1,A ’2,…A ’n }中心距序降维法的思想是：以k 维原点O(0,0,…0)为参照点，计算数据空间中每一个k 维数据点到原点O 的距离，距离是一维向量,这样就可以对距离进行大小的比较，实质上就在k维数据空间进行了一个排序。

距离采用曼哈顿距离，这种距离会造成数据点产生偏序，但对聚类几乎没有影响，反而在非凸型的数据集上算法也是有效的。

同时，采用这种排序的方式也向剑平:副教授访问学者基金项目:项目名称:亚复杂系统干预规则挖掘关键技术研究;基金颁发部门:国家自然科学基金委(60773169)ÁÁÁÁÂÃÄÄÃa o ÁÁ???280--邮局订阅号：82-946360元/年技术创新软件时空《PLC 技术应用200例》您的论文得到两院院士关注大大降低了计算的开销，在后面的命题1中将看到这一事实。

降维后聚类的思想仍采用一维数据集上的聚类思想。

为准确描述，先引入以下概念并证明定理1：定义2.（数据点间相似度）设Ω{A 1,A 2,…A n }是k 维数据空间，其中A i (a i1,a i2,…a ik ),A j (a j1,a j2,…a jk )(1<k<n)是第i 行和第j 行上的两个k 维数据点，如果A i ,、A j 满足下列条件：(a)两个数据点A i ,、A j 间的距离记为d(A i ，A j )=。

(b)设β>0是预给定的阈值，如果d(A i ，A j )<β，则称两个数据点A i ,、A j 是β-相似的(简称为相似的)。

否则称数据点A i ,、A j 不相似。

定理1.设k 维数据空间为：Ω{A 1,A 2,…A n }，其中A i (a i1,a i2,…a ik )(1<k<n)。

如果Ω上有一数据集S 在r(2≤r ≤k ）维映射子空间是一聚类，则数据集S 中的所有数据在任意r-1维映射子空间的聚类是同一聚类。

证明：对于k 维数据集Ω中有任意两个数据点A i 、A j 。

k 维数据A i ,A j 在r 维映射子空间之间的距离为：d (A i ，A j )=。

k 维数据A i 、A j 在r-1维映射子空间之间的距离为：d(A i ，A j )=，由此可得d(A i ，A j )<d(A i ，A j )，若A i 、A j 在r 维映射子空间是一个聚类C ，则满足d(A i ，A j )=<β，由于d(A i ，A j )<d(A i ，A j )，所以d(A i ，A j )=<β成立。

故数据点A i 、A j 在r-1维映射子空间为同一聚类C 。

因为i 、j 的任意性，所以数据集S 中的所有数据在任意r-1维映射子空间的聚类是同一聚类，定理得证。

定理1保证了以下的算法2在降维的过程中对聚类的结果不会有影响。

3自适应排序聚类算法凝聚层次聚类是一种经典的层次聚类方法，传统的凝聚层次算法是自底向上的将原子簇合并成用户需要的簇数或一个大簇，每进行一次聚类操作，都要将其数据对象与其他所有数据对象进行比较，判断是否是最近点，进行簇的合并操作。

而且一旦合并成一簇，就不能回到前面的聚类状态。

这就有可能导致聚类结果的质量大大降低。

计算的复杂度也会加大。

特别地，随着维数的增加，查找临近点的计算复杂度也会随之增加。

本文借鉴并改进了凝聚层次聚类的一些思想，提出了自适应排序聚类算法(Adaptive Sort-Clustering Algorithm)，使其聚类的质量和效率都有所提高。

3.1一维空间上的ASCA 算法基于定理1揭示的性质，提出了下面的排序聚类算法。

设Ω{A 1,A 2,…A n }由n 个一维数据构成的数据空间。

下面的算法1描述了一维数据空间上的排序聚类算法（Adaptive Sort-Clus -tering Algorithm ）的技术思想。

算法1ASCA()算法输入：Ω=｛A i ｝(i ∈1，2，…n),阈值β（＞0）;输出：簇集合C=｛c k ｝（0＜k ＜n ）1)对Ω中的数据点按升序排序;2)C ’={c ’1←A 1,c ’2←A 2,…,c ’n ←A n };//以每个数据为初始簇中心;3）i ←1;j ←2;k ←1;c ’i =φ;c k =φ4）while (j<n){5）if (a ∈c ’i ,b ∈c ’j ,d(a,b)<β)6）c ’i =c ’i ∪c ’j ;7)else {//找到了一个簇8）c k =c ’i ;9）C=C ∪{c k };10）k ←k+1;11）i ←j;}12）j ←j+1;}13）return C;此算法的优点在于，聚类中给定的参数少，只需给出簇直径，扫描一遍排完序的数据空间，聚类就可完成。