基于流形距离的半监督近邻传播聚类算法

收稿日期：２０１１唱０３唱０７；修回日期：２０１１唱０４唱１１ 基金项目：国家“８６３”计划资助项目（２００８ＡＡ０１１００２，２０１１ＡＡ０１０６０３）作者简介：冯晓磊（１９８４唱），女，博士研究生，主要研究方向为电信网安全、人工智能（ｘｌｅｉｆｅｎｇ＠１２６．ｃｏｍ）；于洪涛（１９７０唱），男，教授，硕导，主要研究方向为电信网安全、通信与信息系统．基于流形距离的半监督近邻传播聚类算法倡冯晓磊，于洪涛（国家数字交换系统工程技术研究中心，郑州４５０００２）摘　要：通过学习数据集的低维流形结构，给出一种流形距离测度；结合成对约束信息，调整数据的相似度矩阵，将其作为近邻传播算法的输入，提出了基于流形距离的半监督近邻传播聚类算法（ＳＡＰ唱ＭＤ）。

通过在ＵＣＩ标准数据集上的仿真实验表明，ＳＡＰ唱ＭＤ算法相比于仅利用成对约束信息的聚类算法，在聚类性能上有很大提高。

关键词：近邻传播聚类；流形学习；半监督聚类；成对约束信息；流形距离中图分类号：ＴＮ９１５ 文献标志码：Ａ 文章编号：１００１唱３６９５（２０１１）１０唱３６５６唱０３ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１唱３６９５．２０１１．１０．０１３Ｓｅｍｉ唱ｓｕｐｅｒｖｉｓｅｄａｆｆｉｎｉｔｙｐｒｏｐａｇａｔｉｏｎｃｌｕｓｔｅｒｉｎｇｂａｓｅｄｏｎｍａｎｉｆｏｌｄｄｉｓｔａｎｃｅＦＥＮＧＸｉａｏ唱ｌｅｉ，ＹＵＨｏｎｇ唱ｔａｏ（ＣｈｉｎａＮａｔｉｏｎａｌＤｉｇｉｔａｌＳｗｉｔｃｈｉｎｇＳｙｓｔｅｍＥｎｇｉｎｅｅｒｉｎｇ＆ＴｅｃｈｎｏｌｏｇｉｃａｌＲ＆ＤＣｅｎｔｅｒ，Ｚｈｅｎｇｚｈｏｕ４５０００２，Ｃｈｉｎａ）Ａｂｓｔｒａｃｔ：Ｔｈｉｓｐａｐｅｒｓｔｕｄｉｅｄｔｈｅｍａｎｉｆｏｌｄｓｔｒｕｃｔｕｒｅｔｏｐｒｏｐｏｓｅａｍａｎｉｆｏｌｄｄｉｓｔａｎｃｅ，ｗｈｉｃｈｕｓｅｄｔｏａｄｊｕｓｔｔｈｅｓｉｍｉｌａｒｉｔｙｍａｔｒｉｘｃｏｍｂｉｎｅｄｗｉｔｈｔｈｅｐａｉｒｗｉｓｅｃｏｎｓｔｒａｉｎｔｓ．Ｉｔｔｏｏｋｔｈｅｍｏｄｉｆｉｅｄｍａｔｒｉｘａｓｔｈｅｉｎｐｕｔｓｏｆａｆｆｉｎｉｔｙｐｒｏｐａｇａｔｉｏｎａｌｇｏｒｉｔｈｍ．Ａｎｄｐｕｔｆｏｒ唱ｗａｒｄａｓｅｍｉ唱ｓｕｐｅｒｖｉｓｅｄａｆｆｉｎｉｔｙｐｒｏｐａｇａｔｉｏｎｂａｓｅｄｏｎｍａｎｉｆｏｌｄｄｉｓｔａｎｃｅａｌｇｏｒｉｔｈｍ（ＳＡＰ唱ＭＤ）．Ｔｈｅｐｒｏｍｉｓｉｎｇｅｘｐｅｒｉｍｅｎｔａｌｒｅ唱ｓｕｌｔｓｏｎｔｈｅＵＣＩｄａｔａｓｅｔｓｐｒｏｖｅｔｈａｔｔｈｅＳＡＰ唱ＭＤｉｓｂｅｔｔｅｒｔｈａｎｏｔｈｅｒｓａｌｇｏｒｉｔｈｍｓｏｎｌｙｉｎｃｏｒｐｏｒａｔｉｎｇｐａｉｒｗｉｓｅｃｏｎｓｔｒａｉｎｔｓ．Ｋｅｙｗｏｒｄｓ：ａｆｆｉｎｉｔｙｐｒｏｐａｇａｔｉｏｎ；ｍａｎｉｆｏｌｄｌｅａｒｎｉｎｇ；ｓｅｍｉ唱ｓｕｐｅｒｖｉｓｅｄｃｌｕｓｔｅｒｉｎｇ；ｐａｉｒｗｉｓｅｃｏｎｓｔｒａｉｎｔｓ；ｍａｎｉｆｏｌｄｄｉｓｔａｎｃｅ０　引言半监督聚类是近几年提出的一种新型聚类方法，它综合了无监督学习和监督学习的特点，提高了聚类质量，是近年来数据挖掘、机器学习和模式识别领域的重要研究方向之一。

半监督聚类的优越性主要在于针对无标签样本进行聚类时，可利用少量有监督的样本信息。

因此，如何有效地利用这些标签数据对聚类过程进行指导，是半监督聚类中研究的核心问题［１～９］。

根据先验信息的使用方式，现有的半监督聚类算法可分为两类：ａ）基于约束的方法。

该类方法利用标签数据或成对约束信息来改进聚类算法本身，指导算法搜索过程。

典型算法包括将约束条件加入目标函数的方法、强制满足约束ＣＯＰ唱Ｋ唱ｍｅａｎｓ方法、结合ＥＭ理论的ｓｅｅｄｅｄ唱Ｋ唱ｍｅａｎｓ和ｃｏｎｓｔｒａｉｎｅｄ唱Ｋ唱ｍｅａｎｓ方法等。

ｂ）基于测度的方法。

这类方法首先训练相似性测度用于满足类别或约束信息，然后使用基于测度的聚类算法进行聚类。

常用的距离测度有使用凸优化的马氏距离（Ｍａｈａｌａｎｏｂｉｓｄｉｓｔａｎｃｅ）、由最短路径算法改进的欧式距离、使用梯度下降算法的ＫＬ散度（ｋｕｌｌｂａｃｋｌｅｉｂｌｅｄｉｖｅｒｇｅｎｃｅ）及谱聚类方法。

除了这两类基本的半监督聚类方法以外，还有一些算法是结合这两种基本思想得到的半监督聚类算法。

近邻传播算法（ＡＰ）［１０］是近几年出现的一种广受关注的聚类算法，相较于其他传统的聚类算法，ＡＰ算法将每个数据点都作为候选的类代表点，避免了聚类结果受限于初始类代表点的选择。

同时该算法对于数据集生成的相似度矩阵的对称性没有要求，并在处理大规模多类数据时运算速度快，所以性能更好。

目前该算法已经成功应用于解决人脸识别、网络文本挖掘以及图像分类等问题。

ＡＰ算法是以数据集的相似度矩阵为输入的聚类算法，因此出现了很多利用先验信息改进相似度矩阵，从而优化聚类效果的方法。

肖宇等人［１１］提出的基于近邻传播的半监督聚类算法（ＳＡＰ）就是利用成对约束信息调整相似度矩阵来改进算法性能的。

但是用户通常能获得的先验信息是非常有限的，并不能准确反映数据集的聚类属性，而且当先验信息包含噪声时，反而可能误导聚类过程。

本文考虑挖掘大量无标记数据本身所包含的聚类信息，结合已标记数据信息共同指导ＡＰ聚类。

受半监督学习中流形假设的启发，笔者认为大量的无标记样本可以提供数据集的流形结构信息，这一信息是数据集的低维映射，反映了数据内在规律，可以结合成对约束信息共同改善ＡＰ算法的聚类性能。

本文提出一种基于流形距离的半监督近邻传播聚类算法（ｓｅｍｉ唱ｓｕｐｅｒｖｉｓｅｄａｆｆｉｎｉｔｙｐｒｏｐａｇａｔｉｏｎｃｌｕｓｔｅｒｉｎｇｂａｓｅｄｏｎｍａｎｉｆｏｌｄｄｉｓｔａｎｃｅ，ＳＡＰ唱ＭＤ）。

１　相关工作介绍ＡＰ聚类算法以Ｎ个数据点两两之间的相似度组成的相似性矩阵ＳＮ×Ｎ为输入，通常为两点距离平方的负数，当使用欧氏距离时，ｘｉ点与ｘｊ之间的相似度为ｓ（ｉ，ｊ）＝－‖ｘｉ－ｘｊ‖２。

ｓ（ｉ，ｊ）表示数据点ｘｉ在多大程度上适合作为数据点ｘｊ的类代表点。

点ｘｉ对其他数据点的吸引力之和越大，成为聚类中心的可能性也越大。

所有的数据点在算法起始阶段都被看做是潜在的聚类中心。

矩阵ＳＮ×Ｎ的对角线元素ｓ（ｉ，ｉ）为偏向参第２８卷第１０期２０１１年１０月　计算机应用研究ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓＶｏｌ畅２８Ｎｏ畅１０Ｏｃｔ畅２０１１数，代表样本点ｘｉ被选中作为类代表点的可能性。

通常算法初始假设所有数据点被选中成为类代表点的可能性相同，即设定所有ｓ（ｉ，ｉ）为相同值ｐ。

ｐ越大，则最终输出的聚类数目越大。

ＡＰ算法中传递两类消息：吸引度（ｒｅｓｐｏｎｓｉｂｉｌｉｔｙ）和归属度（ａｖａｉｌａｂｉｌｉｔｙ）。

吸引度ｒ（ｉ，ｊ）代表点ｘｊ适合作为ｘｉ的类代表点的代表程度。

归属度ａ（ｉ，ｊ）代表点ｘｉ选择点ｘｊ作为其类代表的适合程度。

ｒ（ｉ，ｊ）与ａ（ｉ，ｊ）越大，点ｘｊ作为最终聚类中心的可能性就越大。

ＡＰ算法通过迭代过程不断更新每个样本点的信息，直到产生最优的类代表点集合，并将其他数据点分配到最近的代表点所在聚类中。

２　基于流形距离的半监督近邻传播聚类算法２畅１　成对约束信息的传递对于许多聚类应用领域，获得成对约束信息相对于获得类标签信息要容易些，而且基于约束的先验信息比类属信息更为一般化，类属信息可以转换为等价的成对约束信息，反之则不然。

所以，大部分半监督聚类算法是基于成对约束信息提出来的，主要有两种类型的成对点约束：ｍｕｓｔ唱ｌｉｎｋ和ｃａｎｎｏｔ唱ｌｉｎｋ。

Ｍｕｓｔ唱ｌｉｎｋ规定两个点必须属于同一聚类，即集合Ｍ＝｛ｘｉ，ｘｊ｝；ｃａｎｎｏｔ唱ｌｉｎｋ规定两个点不能在同一聚类中，即集合Ｃ＝｛ｘｉ，ｘｊ｝。

这里使用的成对点约束信息给出的仅仅是样本层面上的限制，Ｋｌｅｉｎ等人通过研究认为ｍｕｓｔ唱ｌｉｎｋ约束在样本上具备二值传递关系：（ｘｉ，ｘｊ）∈ｍｕｓｔ唱ｌｉｎｋ＆＆（ｘｊ，ｘｋ）∈ｍｕｓｔ唱ｌｉｎｋ痴（ｘｉ，ｘｋ）∈ｍｕｓｔ唱ｌｉｎｋ（ｘｉ，ｘｊ）∈ｍｕｓｔ唱ｌｉｎｋ＆＆（ｘｊ，ｘｋ）∈ｃａｎｎｏｔ唱ｌｉｎｋ痴（ｘｉ，ｘｋ）∈ｃａｎｎｏｔ唱ｌｉｎｋ根据这种传递关系可以将样本层面上的约束进行空间传播，最终找到所有成对约束信息。

利用这些成对约束信息按如下方法调整相似度矩阵。

ｓ（ｉ，ｊ）＝０ ｉｆ（ｘｉ，ｘｊ）∈ｍｕｓｔ唱ｌｉｎｋｓ（ｉ，ｊ）＝－∞ｉｆ（ｘｉ，ｘｊ）∈ｃａｎｎｏｔ唱ｌｉｎｋ其中：ｍｕｓｔ唱ｌｉｎｋ约束通过求最短路径的方法施加，而约束的传播则是通过完全链接层次聚类的方法间接完成的。

完全链接方法根据聚类间的相似程度，离得近的聚类先合并，离得最远的聚类最后合并。

如果存在Ｃ＝｛ｘｉ，ｘｋ｝，当合并Ｍ＝｛ｘｉ，ｘｊ｝时，必然导致Ｃ＝｛ｘｊ，ｘｋ｝，从而间接完成了ｘｊ与ｘｋ之间ｃａｎｎｏｔ唱ｌｉｎｋ的传播。

２畅２　流形距离的定义通常少量的约束信息并不能反映大量无标记数据的聚类结构，而且当约束集中混入噪声时，反而有可能降低算法的聚类质量，因此对数据分布结构的准确假设至关重要。

如图１所示，有限的成对约束信息无法识别出两个圆圈。

一般来说，无标记数据提供关于概率分布ｐ（ｘ）的一些信息，而标记数据则提供条件概率分布ｐ（ｙ｜ｘ）的信息。

为了处理少量的标记样本，必须对潜在的联合概率测度ｐ（ｘ，ｙ）作一个很强的假设［１２］：聚类假设（ｃｌｕｓｔｅｒａｓｓｕｍｐｔｉｏｎ），即位于同一聚类中的点很可能具有相似的性质。

流形假设（ｍａｎｉｆｏｌｄａｓｓｕｍｐｔｉｏｎ），即在流形中互相靠近的点可能具有相似的性质。

这两个假设都可以看做是一个更一般假设的特例———半监督假设。

半监督假设（ｓｅｍｉ唱ｓｕｐｅｒｖｉｓｅｄａｓｓｕｍｐｔｉｏｎ），即靠近高密度区域的样本点很可能具有相同的类标签。

在半监督假设下，两个点的空间相近性不是决定性因素，因此基于欧氏距离的相似度度量无法反映数据潜在的复杂结构。

在欧氏距离测度下，图２中点ａ应该与点ｂ分为一类，但在流形结构上，点ａ更靠近点ｃ。

需要定义一种更加合理距离测度来表达数据之间的关系，在这种测度下，ａｃ＜ａｂ。

根据半监督假设可知，同一聚类内的数据趋向于分布在一个密度比较高的区域，而不同聚类之间存在一个数据分布稀疏的低密度区域，为此，定义一种流形距离：定义１　搜索所有样本点的ε唱近邻，构建流形邻域图Ｇ＝（Ｖ，Ｅ）。

其中：Ｖ是顶点集合（每个顶点对应一个样本集中的点），Ｅ是边集。

图２中任意两个顶点ｘｉ与ｘｊ之间的连线长度为ｌ（ｘｉ，ｘｊ）＝１－ｅ－βｄ（ｘｉ，ｘｊ）２　ｄ（ｘｉ，ｘｊ）≤ε∞ｅｌｓｅ（１）其中：ｄ（ｘｉ，ｘｊ）是两点之间的欧氏距离；β是调节因子，以防止ｌ（ｘｉ，ｘｊ）增长过快，β的选择与数据集的密度有关，通常取所有样本点的平均欧氏距离的倒数。