基于Bagging的聚类集成方法

1
法的提出，其中集成学习的方法受到研究者的极大关注。集 成学习一般分为两步， 即个体生成阶段和个体结合阶段。 在本文的个体生成阶段， 考虑到 Bagging 算法采用的重采 样技术，每次从数据集中随机的抽取一定数量的样本构成子 数据集， 这样有些样本可能会被抽取多次， 而有些样本可能一 次也不会被抽取到。为了保证每个样本至少在子数据集中出 现一次， 本文首先将给定的数据集 ( × ) 随机划分为 等份， 构成 个样本子集 { }，=1,…, 。 其中 是数据集的样例个数， 并且 < ， 即保证每个子集中的样例个数多于一个。 经过最初 的划分之后应满足 =
李杉，张化祥：基于 Bagging 的聚类集成方法
每个对象初始地代表一个簇的平均值或中心， 地选择 个对象， 对剩余的每个对象， 根据其与各个簇中心的距离， 将它赋给最 近的簇。然后重新计算每个簇的平均值，把对象赋给最相似 的某个簇。 重复该过程， 直到簇中的对象都是 “相似的” ， 而不 同簇间的对象都是 “相异的” 。 当样本数据是密集的， 且类与类之间区别特别好的时候， K-means 算法的效果较好。但是，K-means 算法经常以局部最 优结束， 不能动态的添加新的聚类， 这都是该算法存在的缺点。
Abstract：A Bagging-based ensemble methods using a new data sampling technology to keep the diversity and correlation of sub-sample is proposed, and then component learner is generated by using an improved K-means algorithm, the different clustering results of dataset is deal with according to mutual information, finally the distance between disputable object and the clustering center is computed and them is put to new clustering. The experiments on UCI machine learning benchmark data sets show that this method better improve the clustering performance. Key words：clustering; sub-sample; k-means clustering; component learner; mutual information;
0
引
言
习算法中， Bagging 算法是较具代表性的一种， 该算法的理论 基础是通过可重复取样技术得到不同的数据子集，使得在不 同数据子集上得到的个体学习器具有较高的泛化能力。Bagging 算法从原始训练集中随即抽若干样例来训练模型，采取 投票的方式来预测类标，取多个预测类标中出现次数最多的 类标为该样例的最终类标。 Zhou 等人 [3] 提出了 “选择性聚类集 成” 的概念， 证明选择部分个体学习器来构建集成性能优于选 择所有个体学习器来构建集成 [4]。 本文提出了一种基于 Bagging 的聚类集成方法， 该方法首 先将原始数据集等量划分， 再利用 Bagging 算法中的可重复取 样技术对原始的数据集进行随机抽取并将其分配到各子集中， 应用一种改进的 K 均值算法在这些数据集上生成个体学习 器； 然后引入互信息[5] 的概念将多个聚类结果进行处理； 最后， 对有争议的数据对象计算其与聚类中心的距离，将其重新划 分到新的聚类结果中。
… 。 (3) 计算每个数据对象与其它数据对象的余弦距离， 并根 (4) 根据簇中数据对象的加权平均值， 将每个对象赋予新
据平均值大小赋予权值。 的簇。 (5) 更新权值， 即重新计算新簇中每个数据对象的加权平 均值。 (6) 如果聚类中心不再改变， 则终止， 否则转向步骤 (3)。
= log 和簇
2
2
… }
式中：
1
——对第一个数据子集的聚类结果， 1 ——该聚类
结果的第一个簇， 依次类推， ——第 个数据子集的聚类结 果， ——第 个聚类结果的第 个簇。因为每个数据子集中 的样本大部分是通过重采样技术得到， 因此 = {(
1
, 2…
)
(
1
, 2…
)
1
, 2…
}
(2)
为该数据集所有数据对象的集合。由式 (1)(2) 可以看出 个聚类结果的并集可以代表原数据集 。 为例， 由于每个训练子集 的选取采用了重采样技术， 所以对于聚类结果 { 1 , 2 … } 和 对于每个训练子集， 以 …
1 2
和
{ 1,
2
} 簇中的数据对象而言必定存在交集。不妨以
1
的簇为基准， 在剩余的样本子集中， 根据每个聚类结果的簇与
1
中的簇的相关度进行比较， 寻找不同聚类结果中关联度最 在本文中， 为了提高搜索相关度最大的簇的效率， 引入了
大的簇。 互信息的概念，互信息是信息论中作为衡量两个信号关联程 度的一种尺度 [8]，后来引申为描述两个变量间关联程度的度 量。本文中设 , 为簇 , 式中： ， 表明簇 、 和 的互信息， 则 , + (3) 中 出现 数据 对象的 个数 ， , 越小，
2010,31 (1)
数大于原始数据集的样例个数， 由此得到新的样本集 {
165
}。
在本文中， 由于先对原始数据集进行等量随机划分， 后又 通过重采样技术对数据集 随机抽取等量的样例分配各个数 据子集中， 所以新的样本集 { } 不但能够代表原始的数据集 ， 而且保持了各个数据子集的差异性和最大的相关性。 在个体结合阶段， 将原始数据集进行划分后， 对每个数据 子集用改进的 均值算法进行聚类， 假设得到 个聚类结果为
164
2010,31 (1)
计算机工程与设计 计算机工程与设计 Computer ComputerEngineering Engineeringand andDesign Design
人工智能
基于 Bagging 的聚类集成方法
李
摘
杉， 张化祥
( 山东师范大学 信息科学与工程学院，山东 济南 250014)
——簇 和簇
——在簇 和簇
同时出现的数据对象的个数。当 的关联程度强； 当
, 值越大， 表明簇
和簇
的关联程度弱。
2
基于 Bagging 的聚类集成方法
为了提高学习器的泛化能力， 进年来有若干新理论和方
在该聚类算法中，以第一个聚类结果中的第一个簇 1 为 基准， 根据式 (3)， 分别在聚类结果 2 , 3 … 中分别寻找相关 度最大的簇， 依次类推， 直到第一个聚类结果 中的每一簇在 剩余的聚类结果中都找到相关度最大的簇为止。 并将式 (1) 进
[2] [1]
1
1.1
基聚类算法介绍
k 均值算法
K-means 算法是一个著名的聚类学习算法 [6]。首先， 随机
收稿日期：2009-01-15；修订日期：2009-10-19。 基金项目：山东省中青年科学家科研奖励基金项目 (2006BS01020)；山东省高新技术自主创新工程专项计划基金项目 (2007ZZ17)；山东省自然 科学基金项目 (Y2007G16)；山东省科技攻关计划基金项目 (2008GG10001015)；山东省教育厅科技计划基金项目 (J07YJ04)。 作者简介：李杉 (1984－)，女，山东济南人，硕士研究生，研究方向为人工智能、机器学习； 张化祥 (1967－)，男，山东济南人，教授，硕士 生导师，研究方向为人工智能、机器学习、数据挖掘。E-mail：lishan0529@
1 2
1.2
改进的 k 均值算法
基于传统 k 均值算法存在的缺陷，我们在改进的 k 均值
= { 1, 2 … = { 1 , 2… = { 1,
} } (1)
算法中引入了加权的概念 [7]， 基本思想是： 由于每个数据对象 对聚类效果的影响不同，所以对每个数据对象赋予一定的权 重， 首先计算每个数据对象与其它数据对象的余弦距离， 然后 计算其平均值， 平均值越大， 该数据对象为孤立点的可能性就 越大， 因此， 对该数据对象赋予较小的权值， 对于平均值较小 的数据对象， 赋予较大的权值， 以便使其更加接近数据中心。 将簇中的每个数据对象计算加权平均值后，将数据库中的每 个数据对象赋给最类似的簇， 重复此操作， 直到平方误差的总 和达到满意值为止。 算法步骤为： 算法： 改进的 k 均值算法。 输入： 簇的数目 k 和 n 个数据对象。 输出： k 个簇， 使其平方误差总和最小。 步骤： (1) 选取聚类个数 k。 (2) 从数据集中任意选定 k 个向量作为初始聚类中心：1,
1 2
行调整， 使得每个聚类结果的相关度最大的簇一一对应。 最后 把 每个 聚 类 结果 的 每 一簇 与 其相 关 度 最大 的 簇合 并， 形成一个新的聚类结果 = { 1 , 2… }
1 2
= = =
1 2
1 2
… … …Leabharlann 1 2…。
对于存在于多个簇的有争议的数据对象和仍没有被聚类 的数据对象， 采取选择最优簇的思想， 即假设对某一对象 ， 计 算它与其所在的每个簇的聚类中心 间的欧式距离， 根据计算 结果将它分配给最近的簇。
要： 提出一种基于 Bagging 的集成聚类方法 ， 采 用一种新的数据 集采样技术生成 数据子集， 尽可能的 保持了子样本 的多 样性 和最大相关性， 然后应用一 种改进的 k 均值聚类算法生 成个体学习器， 根据互信息 对数据集的不同 聚类结果进行处 理， 最后 通过计算有争议 的数据对象与 各个聚类中心的 距离将其重新 划分到新的聚类 结果中。 在多 个 UCI 标 准数据集上的 实验 结果 表明， 该方法能 有效改善聚类质 量。 关键 词 ： 聚类 ; 子样 本 ; k 均值聚 类 ; 个体学习器 ; 互信息 中图 法分类号 ： TP18 文献标 识码 ： A 文 章编号 ： 1000-7024 (2010) 01-0164-03