基于k_means聚类算法的研究

0引言
数据挖掘（ Data Mining） ［1］是一种数据分析处理技 术，一般采取排出专 家 因 素 而 通 过 自 动 的 方 式 来 发 现 数据仓库、大型数据库或其他大量信息中新的、不可预 见的或隐藏的有价值的知识。数据挖掘方法既可以是 数学的，又可以是非数学的； 既可以是归纳的，又可以 是演绎的。发现的知识能被用于信息管理，查询优化， 决策支持以及过程控制等，用在数据自身的维护，所以 数据挖掘技术是当前多个领域研究的热点。
1 相关工作
聚类算法是一种非监督机器学习算法，其实质就 是对人们事先不了 解 的 数 据 集 进 行 分 组 ，使 得 同 一 组 内的数据尽可能相似而不同组内的数据尽可能不同， 其目的是揭示数据分布的真实情况。聚类分析在统计
第7 期
黄 韬等： 基于 k － means 聚类算法的研究
·55·
数据分析、模式识别、图 像 处 理、生 物 学 以 及 市 场 营 销 等领域也有着广泛的应用前景。目前的聚类算法大致 上主要被分为五类［3］： 划分方法，层次方法，基于密度 的方法，基于网格的方法和基于模型的方法。 1． 1 划分聚类算法
第 21 卷 第 7 期 2011 年 7 月
计算机技术与发展
COMPUTER TECHNOLOGY AND DEVELOPMENT
Vol． 21 No． 7 July 2011
基于 k － means 聚类算法的研究
黄 韬，刘胜辉，谭艳娜
（ 哈尔滨理工大学 计算机科学与技术学院，黑龙江 哈尔滨 150080）
Abstract：Analyze and research the method of cluster analysis，analyze and compare many kinds of algorithms of cluster analysis，discuss their respective strengths and weaknesses． At the same time，according to the weaknesses of the cluster result of original k － means algorithm is significant influence by selecting the initial cluster centers randomly，a modified algorithm is proposed． Through taking sample many times to data set，choose final superior cluster center，bring down the impact of initial cluster centers to improved algorithm greatly． Simultaneously， the initial data is standadized once the initial cluster center is selected，makes cluster effect improved furthermore． Detecting new algorithm Hk － means through the date of UCI data set，the result shows that Hk － means algorithm is more prominent improved than initial k － means algorithm in cluster effect，and it＇s useful for conference to relative field． Key words：data mining；clustering algorithm；k － means algorithm
基于模型的聚类算法为每个簇假定一个模型，寻 找数据对象与给定模型之间的最佳拟合。基于模型的 算法可能通过构建反映数据的对象空间分布的密度函 数来定位聚类，或者基于标准的统计数字来自动决定 聚类的数目，从而 产 生 健 壮 的 聚 类 方 法 。 典 型 的 代 表 有 EM 算法，概念聚类以及神经网络。EM 算法比较 易于实现并且算法简单，但是不能达到全局最优； 概念 聚类在机器学习中 有 着 广 泛 的 应 用 ，但 是 对 于 大 型 数 据集聚类没有良好的伸缩性。
摘 要：分析研究聚类分析方法，对多种聚类分析算法进行分析比较，讨论各自的优点和不足，同时针对原 k － means 算法
的聚类结果受随机选取初始聚类中心的影响较大的缺点，提出一种改进算法。通过将对数据集的多次采样，选取最终较
优的初始聚类中心，使得改进后的算法受初始聚类中心选择的影响度大大降低； 同时，在选取初始聚类中心后，对初值进
行数据标准化处理，使聚类效果进一步提高。通过 UCI 数据集上的数据对新算法 Hk － means 进行检测，结果显示 Hk －
means 算法比原始的 k － means 算法在聚类效果上有显著的提高，并对相关领域有借鉴意义。
关键词：数据挖掘； 聚类算法； k － means 算法
中图分类号：TP301． 6
k － means 算法是划分聚类算法的典型代表，实质 上该算法基于簇中对象的平均值。为了能达到全局最 优，基于划分的聚类要求穷举所有可能的划分。算法 的处理过程如下：
算法的输入： 数据库中的对象与簇的数目 k。 算法的输出： 使得平方误差准则最小的 k 个簇。 方法如下： （ 1） 从整个样本 n 中，任意选择 k 个对象作为初始 的簇的中心 mi （ i = 1，2，…，k） 。 （ 2） 利用公式 1，计算数据集中的每个 p 到 k 个簇 中心的距离 d （ p ，mi ） 。 （ 3） 找到每个对象 p 的最小的 d （ p，mi） ，将 p 归入 到与 mi 相同的簇中。 （ 4） 遍历完所有对象之后，利用公式 2 重新计算 mi 的值，作为新的簇中心。
层次方法对给出 的 数 据 集 合 而 进 行 层 次 分 级 ，叫 做树聚类算法。它使 用 数 据 的 联 接 规 则，透 过 一 种 层 次架构方式，反复将数据进行分裂或聚合，以形成一个 层次序列的聚类的问题解。根据分解而形成的过程， 层次聚类则可以分为凝聚的 和 分 裂 的［7］。凝 聚 的 方 法，也叫做自底向上方法，首先将每一个对象作为单独 的一个组，接着相继地合并相近的对象和组，直到所有 的组合都合并为 一 个，或 者 达 到 了 一 个 中 止 条 件 。 分 裂的方法，也叫做自顶向下的方法，首先将所有的对象 都置于一个簇中。在 迭 代 的 每 一 个 步 骤 中 ，一 个 簇 则 被分裂为更小的簇，一 直 到 最 终 每 一 个 对 象 在 单 独 的 一个簇中，或达到 了 一 个 终 止 条 件。 一 种 纯 粹 的 层 次 聚类方法的缺点主要在于一旦合并或者是分裂执行， 则将不能修正，也就是说，如果某个合并或是分裂效果 在后来证明是不好的选择，该方法无法退回或是更正。 层次聚合算法的计算复杂性为 O（ n2 ） ，适合于小型数 据集的分类。 1． 3 基于密度的聚类算法
聚类分析［2］是数 据 挖 掘 领 域 中 的 一 个 重 要 分 支 ， 它既可以作为数据挖掘中其他分析算法的一个预处理 步骤，也可以作为一 个 单 独 的 工 具 发 现 数 据 库 中 数 据 分布的一些深入的信息。聚类算法大致分为划分方
法，层次方法，基于密度方法，基于网格方法和基于模 型方法。一般情况下，为了使聚类效果更佳，经常将划 分方法作为其他聚 类 方 法 的 预 处 理 步 骤 ，所 以 划 分 方 法的好坏直接影响结合聚类算法的效果。k － means 算法是划分方法中 应 用 最 广 泛 的 一 种 方 案 ，所 以 改 进 k － means 算法，不但改善了划分方法本身的性能，还 对结合的聚类方法提供了良好的接口。
由于 k － means 算法选取初始聚类质心是随机的， 导致聚类结果不稳定。为了提高聚类结果的稳定性， 在传统的聚类方法 上 结 合 聚 类 融 合 思 想 ，提 出 一 种 新 的 Hk － means 聚类方法，进行多次采样，选取最终较 优的选择的影响度大大降低，提高聚类结果的稳定性。
2 Hk － means 聚类算法
k － means 算法是划分聚类算法的典型代表之一， 它具有算法简单，速度快等优点，经常作为其他算法的 预处理步骤，所以它的精度直接或间接地影响着聚类 结果的质量。由于原始的 k － means 算法对初始质心 的选取敏感，导致结果质量不稳定。下文将针对这个 问题提出解决办法。 2． 1 k － means 算法
收稿日期：2010 － 12 － 01；修回日期：2011 － 03 － 02 基金项目：哈尔滨市后备带头人基金项目（ 2004AFXXJ039） 作者简介：黄 韬（ 1982 － ） ，男，黑龙江人，硕士研究生，研究方向为 企业智能计算； 刘胜辉，教授，硕士研究生导师，研究方向为计算机 集成制造系统，企业智能计算。
基于网格的聚类算法使用了一种多分辨率的网格 的数据结构，把对象的空间量化为有限数目的单元，进 而形成了一个网格结构。这种方法的优点是处理速度 很快。但是在构建父亲单元的时候则往往没有考虑到 子女单元及其相邻 的 单 元 之 间 的 关 系 ，从 而 降 低 了 聚 类结果的质量及其精确性。 1． 5 基于模型的聚类算法
文献标识码：A
文章编号：1673 － 629X（2011）07 － 0054 － 04
Research of Clustering Algorithm Based on K － means
HUANG Tao，LIU Sheng － hui，TAN Yan － na
（ Sch． of Computer Sci． and Tech． ，Harbin Univ． of Sci． and Tech． ，Harbin 150080，China）
划分聚类的算法过程［4］如下： 给出一个 n 个对象 或元组的数据库，一个划分方法构建数据的 k 个划分， 每个划分即表示一个聚簇，并且 k ＜ n 。也就是说，它 将数据划分为 k 个组，同时满足以下的要求： （ 1） 每个 组至少包括一个对象； （ 2） 每一个对象必须属于且仅 属于一个组。其思想是给定一个 n 个对象的数据库，通 过迭代重定位策略优化特定的目标函数，尝试确定数 据集的 k 个划分，每个划分表示一个聚簇 （ k ≤ n） 。 要求簇间的对象尽 可 能 相 近 或 相 关，不 同 的 簇 间 的 对 象尽可能不同。划分聚类算法实质上通过迭代重定位 策略优化特定的目 标 函 数，尝 试 确 定 数 据 集 的 一 个 划 分［5，6］。它具有挖掘算 法 简 单 、速 度 快 等 优 点，适 用 于 中小规模的数据集 中 发 现 球 状 簇，但 不 能 发 现 形 状 任 意和大小差别很大的类簇，只能保证收敛到局部最优， 聚类结果 受 初 始 聚 类 质 心 的 影 响，且 对 噪 音 点 敏 感。 典型的代表算法是 k － means 算法。 1． 2 层次聚类算法