基于密度的最小生成树聚类算法研究

・数据库与信息处理・!!!!!!!!"!"!!!!!!!!"!"基金项目：国家自然科学基金资助项目（编号：３０３７０３５６）作者简介：崔光照（１９５７－），男，博士，教授，硕士生导师，主要从事数字系统可靠性、智能信息处理的研究。

聚类是一个富有挑战性的研究领域，是模式分类与系统建模的基本方法之一。

它是根据某种准则，将数据集划分为若干类的过程，并使同一类内的数据对象具有较高的相似度；而不同的类之间有较高的相异度。

目前，聚类已广泛应用于数据挖掘、统计数据分析、模式识别、图像处理等领域。

在数据挖掘领域，研究工作已经集中在为大型数据库的有效和实际的聚类分析寻找适当的方法。

迄今为止，人们提出了许多用于大规模数据库的聚类算法。

如基于层次的算法（ＣＨＡＭＥＬＥＯＮ，ＣＵＲＥ，ＢＩＲＣＨ）、基于平面分割的算法（Ｋ－ＭＥＡＮＳ，ＦＲＥＭ）、基于密度的算法（ＤＥＮＣＬＵＥ，ＯＰＴＩＣＳ，ＤＢＳＣＡＮ）、以及基于网格和模型的算法（ＳＴＩＮＧ，ＣＬＩＱＵＥ）等［１］。

这些算法的应用已取得良好的效果，但它们的缺点在于对数据的分布进行了一定的假设，处理大量、高维的数据集时不够有效；再者，绝大多数方法以对象间的距离划分类，这只能发现球状形聚类。

基于密度的聚类是把具有足够高密度的区域划为类，可以得到任意形状的聚类［２］。

ＤＢＳＣＡＮ是基于密度聚类算法的典型代表，根据用户指定的全局参数进行聚类。

但许多现实数据集的一个重要特性是其内在的聚类结构不能够通过全局的密度参数来描述。

而且，真实的高维数据集合经常分布不均，全局密度参数不能刻画其内在的聚类结构，展示数据空间中不同区域的聚类需要不同的局部密度。

再者，大多数聚类技术能发现的聚类个数常常依赖于用户参数的指定。

而参数设置的细微不同可能导致差别很大的聚类结果，这对用户来说经常是相当困难的。

ＯＰＴＩＣＳ算法解决了对参数的敏感性问题，但是占用了额外的存储空间［３］。

这里提出了基于密度的最小生成树聚类算法（ＤＢＭＳＴＣＡ）。

通过构造、分割最小生成树［４］，再进行基于密度的基于密度的最小生成树聚类算法研究崔光照１，２曹玲芝２张勋才２王延峰１１（华中科技大学控制科学与工程系，武汉４３００７４）２（郑州轻工业学院电气信息工程学院，郑州４５０００２）Ｅ－ｍｉａｌ：ｗａｎｇｙｆ＠ｍａｉｌ．ｈｕｓｔ．ｅｄｕ．ｃｎ摘要基于密度的方法是一种相当有效的聚类方法，能够发现任意形状的聚类，对噪声数据不敏感，但是聚类结果严重依赖于用户参数的合理选择。

针对其存在的问题，将最小生成树理论与基于密度的方法相结合，提出了一种基于密度的最小生成树聚类算法。

通过构造、分割最小生成树得到确定样本空间划分的最小生成子树；根据子树特性，产生局部密度参数；并对生成子树进行局部密度聚类。

理论分析和应用结果表明。

该算法不仅体现了基于密度聚类方法的优点，聚类结果不依赖于用户参数的选择，使数据聚类更合理，特别是对大型数据库非常有效；也体现了数据分区的思想，使其可以并行执行，进一步提高了信息处理的时空效率和性能。

关键词聚类最小生成树密度数据挖掘文章编号１００２－８３３１－（２００６）０５－０１５６－０３文献标识码Ａ中图分类号ＴＰ３１１ＲｅｓｅａｒｃｈｏｆＤｅｎｓｉｔｙ－ＢａｓｅｄＭＳＴＣｌｕｓｔｅｒｉｎｇＡｌｇｏｒｉｔｈｍＣｕｉＧｕａｎｇｚｈａｏ１，２ＣａｏＬｉｎｇｚｈｉ２ＺｈａｎｇＸｕｎｃａｉ２ＷａｎｇＹａｎｆｅｎｇ１１（ＤｅｐａｒｔｍｅｎｔｏｆＣｏｎｔｒｏｌＳｃｉｅｎｃｅａｎｄＥｎｇｉｎｅｅｒｉｎｇ，ＨｕａｚｈｏｎｇＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，Ｗｕｈａｎ４３００７４）２（ＣｏｌｌｅｇｅｏｆＥｌｅｃｔｒｉｃａｌＩｎｆｏｒｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇ，ＺｈｅｎｇｚｈｏｕＩｎｓｔｉｔｕｔｅｏｆＬｉｇｈｔＩｎｄｕｓｔｒｙ，Ｚｈｅｎｇｚｈｏｕ４５０００２）Ａｂｓｔｒａｃｔ：Ｄｅｎｓｉｔｙ－ｂａｓｅｄｍｅｔｈｏｄｉｓｏｎｅｏｆｔｈｅｅｆｆｅｃｔｉｖｅａｎｄｅｆｆｉｃｉｅｎｔｃｌｕｓｔｅｒｉｎｇｍｅｔｈｏｄｓｔｈａｔｃａｎｄｉｓｃｏｖｅｒｃｌｕｓｔｅｒｓｗｉｔｈａｒｂｉｔｒａｒｙｓｈａｐｅａｎｄｉｓｉｎｓｅｎｓｉｔｉｖｅｔｏｎｏｉｓｅｄａｔａ．Ｂｕｔｓｏｍｅｐａｒａｍｅｔｅｒｓｓｈｏｕｌｄｂｅｄｅｔｅｒｍｉｎｅｄｂｙｈａｎｄ．Ｈｏｗｅｖｅｒ，ｉｔｉｓｖｅｒｙｄｉｆｆｉｃｕｌｔｔｏｄｅｔｅｒｍｉｎｅｔｈｅｍｍａｎｕａｌｌｙｗｉｔｈｏｕｔａｎｙｐｒｉｏｒｄｏｍａｉｎｋｎｏｗｌｅｄｇｅ．Ｔｏｓｏｌｖｅｔｈｉｓｐｒｏｂｌｅｍ，ａｎａｐｐｌｉｃａｂｌｅａｎｄｅｆｆｉｃｉｅｎｔｄｅｎｓｉｔｙ－ｂａｓｅｄｍｉｎｉｍｕｍｓｐａｎｎｉｎｇｔｒｅｅｃｌｕｓｔｅｒｉｎｇａｌｇｏｒｉｔｈｍｉｓｐｒｅｓｅｎｔｅｄ．Ｉｔａｉｍｓａｔａｖｏｉｄｉｎｇａｎｙｐａｒａｍｅｔｅｒｔｏｂｅｄｅｔｅｒｍｉｎｅｄｂｙｈａｎｄ，ａｎｄａｔｔｈｅｓａｍｅｔｉｍｅ，ｉｍｐｒｏｖｉｎｇｔｈｅｅｆｆｉｃｉｅｎｃｙｏｆｃｌｕｓｔｅｒｉｎｇ．ＴｈｅｏｒｙａｎａｌｙｓｉｓａｎｄｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｉｓａｐｐｒｏａｃｈｎｏｔｏｎｌｙｋｅｅｐｓｔｈｅｇｏｏｄｆｅａｔｕｒｅｓｏｆＤＢＳＣＡＮ，ｂｕｔａｌｓｏｒｅｑｕｉｒｅｓｎｏｉｎｐｕｔｐａｒａｍｅｔｅｒｓａｎｄｃａｎｍａｋｅｐａｒａｌｌｅｌｅｄｐｒｏｃｅｓｓｉｎｇ．Ｋｅｙｗｏｒｄｓ：ｃｌｕｓｔｅｒ，ｍｉｎｉｍｕｍｓｐａｎｎｉｎｇｔｒｅｅ，ｄｅｎｓｉｔｙ，ｄａｔａｍｉｎｉｎｇ图１不同密度的数据集局部聚类。

这样用全局参数值而导致的聚类质量恶化的问题就可得到缓解甚至消除。

同时解决了参数敏感性问题，也提高了信息处理的时空效率和性能。

１基于密度的聚类算法聚类是找出样本比较密集的部分，每一个密集部分就是一个类。

基于密度的聚类的关键思想是：对于聚类中的每一个对象，在给定半径（Ｅｐｓ）的邻域中至少要包含最小数目（ＭｉｎＰｔｓ）个对象，即邻域的基数必须超过一个阈值。

１．１相关概念定义１密度：空间中一点的密度为以该点为圆心，以Ｅｐｓ为半径的圆内包含的点的数目。

定义２Ｅｐｓ－邻域：给定对象半径Ｅｐｓ的区域，称为该对象的Ｅｐｓ－邻域。

定义３核心对象：如果一个对象的Ｅｐｓ－邻域内至少包含ＭｉｎＰｔｓ个对象，则称其为核心对象。

定义４直接密度可达：在给定的对象集Ｄ中，对于参数Ｅｐｓ和ＭｉｎＰｔｓ，如果ｑ是一个核心对象，对象ｐ在ｑ的Ｅｐｓ－邻域内，那么称为对象ｐ从对象ｑ是直接密度可达的。

定义５密度可达：如果存在对象链ｐ１，ｐ２…，ｐｎ，ｐ１＝ｑ，ｐｎ＝ｐ，对ｐ∈Ｄ，（１≤ｉ≤ｎ），ｐｉ＋１是从对象ｐｉ关于Ｅｐｓ和ＭｉｎＰｔｓ直接密度可达，则对象ｐ是从对象ｑ关于Ｅｐｓ和ＭｉｎＰｔｓ基于密度可达的。

定义６密度相连：在给定的对象集Ｄ中，对于参数Ｅｐｓ和ＭｉｎＰｔｓ，如果对象ｐ和对象ｑ都是从对象ｏ基于密度可达的，那么称为对象ｐ和对象ｑ是基于密度相连的。

定义７类与噪声：对于参数Ｅｐｓ和ＭｉｎＰｔｓ，一个类Ｃ是满足下面两个条件的Ｄ的非空子集：（１）对于任意的ｐ，ｑ∈Ｄ，如果ｑ∈Ｃ，并且ｐ是从ｑ基于密度可达的，那么ｐ∈Ｃ；（２）对于任意的ｐ，ｑ∈Ｃ，ｐ和ｑ是基于密度可连接的，不属于任何一类的对象被认为是噪声。

１．２聚类过程ＤＢＳＣＡＮ以Ｅｐｓ和ＭｉｎＰｔｓ为输入参数来控制类的密度。

其聚类过程基于以下事实：（１）给定满足核心对象的点ｐ，从点ｐ关于Ｅｐｓ和ＭｉｎＰｔｓ密度可达的所有对象组成的集合构成一个类，ｐ属于该类。

（２）假定Ｃ是关于Ｅｐｓ和ＭｉｎＰｔｓ的类，ｐ是类Ｃ中的一个核心对象，那么类Ｃ等价于从ｐ关于Ｅｐｓ和ＭｉｎＰｔｓ密度可达的点的集合。

基本思想是通过检查数据库中每一个点的Ｅｐｓ－邻域来寻找聚类。

如果一个点ｐ的Ｅｐｓ－邻域包含多于ＭｉｎＰｔｓ个点，则创建一个以ｐ作为核心对象的新类。

然后，反复寻找从这些核心对象直接密度可达的对象，这个过程可能涉及一些密度可达类的合并。

当没有新的点可以被添加到任何类时，聚类过程结束。

１．３算法分析及其局限性图１的ＤＢＳＣＡＮ算法可以发现任意形状的聚类，对数据输入顺序不敏感，并且具有处理异常数据（噪音）的能力。

如果采用空间索引，ＤＢＳＣＡＮ的计算复杂度是Ｏ（ｎｌｏｇｎ），这里ｎ是数据库中对象数目。

否则，计算复杂度是Ｏ（ｎ２）。

需要指出的是，ＤＢＳＣＡＮ算法没有考虑建立索引的时间，而建立索引通常需要消耗大量的时间。

再就是，ＤＢＳＣＡＮ不进行任何的预处理而直接对整个数据库进行聚类操作。

这样当数据库非常大时，就必须有大量内存支持，Ｉ／Ｏ消耗也非常大。

同时，该算法将选择能产生可接受的聚类结果的参数值的责任留给了用户，并且对参数值是敏感的。

如图１中描述的数据集，仅通过一个全局密度参数不可能同时区分出聚类Ａ、Ｂ、Ｃ１、Ｃ２和Ｃ３。

一个全局的基于密度的聚类只能是Ａ、Ｂ及Ｃ，或者是Ｃ１、Ｃ２和Ｃ３。

在第二种情况下，来自Ａ和Ｂ的对象都是“噪声”。

针对这些问题，下面提出了ＤＢＭＳＴＣＡ方法。

２基于密度的最小生成树聚类算法本文使用最小生成树代表一个数据集，首先把多维数据的聚类问题转化为树的分割问题，然后对每一个最小生成子树进行局部密度聚类。

定义８对于连通的带权图Ｇ，其生成树也是带权的。

生成树Ｔ各边的权值总和称为该树的权，记作：Ｗ（Ｔ）＝#（ｄｉ，ｄｊ）∈ＴＥｗ（ｄｉ，ｄｊ）。

ＴＥ表示Ｔ的边集，ｗ（ｄｉ，ｄｊ）表示边（ｄｉ，ｄｊ）的权。

权最小的生成树称为Ｇ的最小生成树（ＭｉｎｉｍｕｍＳｐａｎｎｉｎｇＴｒｅｅ，ＭＳＴ）。

ｗ（ｄｉ，ｄｊ）表示两个数据的相似程度，选择一种合适的比较标准是至关重要的。

目前已有多种度量方法应用于聚类分析，如：欧氏距离、Ｐｅａｒｓｏｎ相关系数、ＭｕｔｕａｌＩｎｆｏｒｍａｉｔｏｎ和明考斯基距离等。

２．１聚类思想与过程基于密度的最小生成树聚类算法的基本思想是：对于给定数据集（假设有Ｎ个元素），首先计算出每两个数据之间的相似度，作为树的权值，构造相应的最小生成树Ｔ。

根据数据库中数据的分布特性，按照给定的目标函数，打断Ｍ条“不一致”的边，分割Ｔ成为（Ｍ＋１）棵最小生成子树Ｔ［ｍ］，也即将整个数据库数据空间划分为（Ｍ＋１）个局部区域，使密度相似的数据分在同一个区域，这里ｍ＝１，２，…，Ｍ＋１。

其次，利用最小生成树的性质依次计算各局部的ＭｉｎＰｔｓ［ｍ］和Ｅｐｓ［ｍ］值。

然后，确定Ｔ［ｍ］内关于ＭｉｎＰｔｓ［ｍ］和Ｅｐｓ［ｍ］的所有核心对象Ｐ，从Ｐ出发，在Ｔ［ｍ］范围内，寻找从Ｐ直接密度可达的所有对象，并进行边界点的处理。

这个过程同样可能涉及一些密度可达类的合并。

从而完成整个数据库数据的聚类分析。

详细的聚类过程如下：第一步对于给定数据集，构造ＭＳＴＴ。