改进遗传算法的K_均值聚类算法研究

第31卷第4期2010年4月微 计 算 机 应 用M I C ROCOM P UTER APPL I C AT I O NSV ol 31N o 4Apr 2010改进遗传算法的K-均值聚类算法研究*徐家宁2 张立文1 徐素莉1 李 进3(1河南科技大学 电子信息工程学院 洛阳 4710032河南科技大学 校团委 洛阳 4710033太原科技大学 计算机科学与技术学院 太原 030024)摘要:传统的k-均值算法对初始聚类中心的敏感很大,极易陷入局部最优值;利用遗传算法或免疫规划算法解决初始聚类中心是较好的方法,但后期容易出现收敛速度缓慢。

为了克服上述缺点,文章将免疫原理的选择操作机制引入遗传算法中,使个体浓度和适应度同时对个体的选择施加影响,以此提出基于改进遗传算法的K-均值聚类算法,该方法利用K-均值算法的高效性和改进遗传算法的全局优化搜索能力,较好地解决了聚类中心优化问题。

试验结果表明,本算法能够有效改善聚类质量,并且具有较好的收敛速度。

关键词:聚类分析 遗传算法 免疫机制 K-均值 个体浓度Research on K-m eans C lusteri ng A lgorith m Based onImproved G enetic A l gorith mXU Jianing2,Z HANG L i w en1,XU Suli1,LI Ji n3(1Institute o f E l ec tron i c and Infor m ati on,H enan U n i versity o f Sc i ence and T echnology,Luoyang H enan,471003,China 2Enro ll m ent and Em pl oym ent Consu ltati on Section,H enan U n i ve rsity o f Sc ience and T echno l ogy,Luoyang H enan,471003,Ch i na 3Schoo l of Co m puter Science and T echno l ogy,T aiyuan U n i versity o f Sc i ence and T echno logy,T a i yuan Shanx,i030024,Chi na)Abstrac t:The traditiona lK-m eans algor i th m has t he shortco m i ng t hat p l unges i nto a l oca l op ti m u m pre m aturely because o f sensiti ve se l ection o f the i nitial c l uster center U sing the geneti c or i m mune a l gor ith m i n t o K-m eans a l gor it hm to opti m i ze c l uster center i s much better than us i ng o t her a l go rith m s,but there appeares the l oca l early phenom enon easily In o rder to overcom e t he sho rtcom i ngs m en-ti oned above,a K-m eans cluster i ng a l gor it hm based on i m proved G enetic A l go rith m is proposed,w hich usei ng the advantag es o f i m-mune i dea and i ntroducing the i dea o f se l ection opreati on o f i m mune pri nc i p l e i nto G eneti c A l gor it hm,i n w hich the se lecti on o f i ndiv i du-a l was i m pacted by its density and fitness T he a l gor it hm can so l ve t he proble m o f opti m izi ng cluster cen ter by co m bi n i ng the h i gh eff-i ciency of K-m eans algorith m w ith the ab ility of g loba l opti m izati on of i m poved G enetic A l gor it hm The experi m ental resu lts show t hat ne w a l go rith m has i m proved the c l uste ri ng qua lity effecti ve l y,and greater g l obal searchi ng capabilityK eywords:c l usteri ng analysis,genetic algorith m,i m mune pr i nciple,K-m eans a l go rith m,ind i v i dua l dens i ty聚类分析[1]是模式识别和数据压缩领域中一种重要的非监督学习过程,其目的是将若干特征相似的特征模式划分到一个集合,每个集合的特征模式之间按照某种度量来衡量相似程度,使得同一个集合内的数据对象具有较高的相似度,而不同集合中的数据对象间的相似度尽可能小,数据对象间特性差异的大小通常是借助于某一距离空间中的距离概念来刻划的。

在现有的聚类算法中,K-均值算法以其简单和高效占有本文于2009-09-25收到。

*基金项目:河南省科技攻关计划项目(082102210064);河南省教育厅科研项目资助(2008A510007)。

微 计 算 机 应 用 2010年重要地位[2]。

但因K-均值算法在寻找聚类中心的过程中采用了启发式方法,使得该算法对初始聚类中心的选择较为敏感,易于陷入局部最优解。

尤其在大矢量空间中,这种算法的性能会变得更差[3,4]。

美国H o-lland 教授于1975年提出了一种全局优化自适应概率搜索算法 遗传算法(GA )[5,6]。

该算法是模拟生物在自然环境中的遗传和进化过程而形成的一种自适应全局优化搜索算法,具有较强的鲁棒性和全局寻优的能力,但基于遗传的K 均值算法(GA -K 均值算法)存在前期过早收敛而后期收敛慢的缺点[7]。

本文借助免疫机制的优点[8],将免疫原理的选择操作机制引入遗传算法中,提出基于改进遗传算法的K -均值聚类算法。

该算法结合K -均值算法的高效性和局部搜索能力,以及改进遗传算法的全局优化能力,达到了较好的聚类效果。

1 基于改进遗传算法的K -均值聚类算法遗传算法在解决实际问题时,目标函数和约束条件作为抗原输入,随机产生初始抗体群,并通过一系列遗传操作及个体浓度的计算,在保持抗体多样性的情况下找出针对该抗原的抗体。

本研究借助免疫机制来调整选择概率,以优化初始聚类中心,同时,在种群进化过程中,自适应动态调节交叉概率和变异概率,避免了早熟现象的发生。

具体步骤如下:1 1 染色体编码及种群初始化染色体编码有很多方式,聚类分析中常用的是基于聚类中心的浮点数编码和基于聚类划分的整数编码。

根据聚类样本的高维性和数量大的特点,本文采用浮点数编码。

初始种群的产生采用随机生成,方法为:假设随机从样本空间中选K 个样本作为聚类中心,其它样本随机分到这K 个聚类中,并计算各个聚类的聚类中心作为初始个体的染色体编码,最后增加一位该个体所对应的适应度,即1条染色体可以用长度为(K +1)个基因位组成的浮点码串S =Z 1Z 2 Z k f 表示,重复进行p siz e 次(p siz e 为种群大小),得到初始种群。

1 2 染色体适应度的选取根据染色体的构成,采用的适应度函数为f =1k E 1E k D k 上式中:k 为聚类类别数;是簇内距离;是簇间距离。

,计算公式分别为E k = k j=1x i I j x i -c j 2上式中:x i 表示类簇I j 中的样本;c j 表示类簇j 的中心。

这样定义考虑了簇内聚类最小的原则。

D k =m a x k i ,j=1 c i -c j上式中:c i ,c j 分别为簇i ,j 的中心。

这样定义考虑了簇间距离最大的原则。

适应度函数受3个因素影响,即1/k ,E 1/E k 及。

第一个因素减少的时候,另外两个因素随着k 的增加而增加,所以这个适应度函数表达的内涵是在所分类别数尽可能小的情况下提高聚类的紧凑度和分离程度。

1 3 选择操作针对基于遗传算法的聚类算法在算法开始前期收敛速度快,而后期由于各条染色体的个体差异变小使收敛速度变得很慢,本研究采用一种基于免疫原理[6]的选择操作和比例适应度分配方法相结合的混合选择算子计算个体被选中的概率以克服上述缺点。

定义1 个体浓度:d =群体中相同个体的数目(m )群体大小(p size )找出群体中个体浓度最大的m 个个体,设为1,2, ,m,则这m 个个体的个体浓度概率为p d =1-d p size ,其余的个体浓度概率为,所有个体的浓度概率之和为1。

124期徐家宁等:改进遗传算法的K-均值聚类算法研究设某一个个体的适应度为f i,该个体被选中的概率为p fi,则p fi =f ip dp s izej=1f i式中:i=1,2, ,p size。

此种选择策略有两个优点:一是个体适应度越大,则选中的概率越大,加速了算法的收敛;二是个体浓度越大则被选择的概率越小,起到抑制作用,保证了进化群体中个体的多样性,避免过早收敛。

1 4 交叉操作标准遗传算法由于在进化过程中采用固定的交叉概率和变异概率,已经被证明无法收敛到问题的全局最优解,容易出现早熟现象,后期还会因为个体差异的减小出现收敛速度缓慢的现象。

鉴于此,本研究按照一定的交叉概率采用最邻近法则进行交叉操作。

首先对交叉概率和变异概率做出如下约定:当群体适应度比较集中时,使得交叉概率P c和变异概率P m增大;当群体适应度比较分散时,使得交叉概率P c和变异概率P m适当减小。

这样约定能使算法在迭代过程中根据个体的适应度来改变其交叉概率P c和变异概率P m,从而在能保护最优个体的同时加速较差个体的淘汰速度,增强了算法的全局搜索能力。