初始中心点优化的K-means聚类模型

类Ci 确定如下 ：
Ci x j x j zi x j z p , p i, p 1,2,, k, x j S
⑶
确定 k 个分类的过程的中心即 Ci 的中心 zi (i 1,2,, k) ，其中 是任意范数，也就是Ci 是离 zi 最近的点的集合。
式⑴中的目标函数是 k 个极小化函数的和 , 由于该函数是无
本文针对随机选取初始聚类中心的缺陷，改进了初始聚类中心 的选取方法，使初始聚类中心尽可能体现实际数据分布。实验表明 与传统的 K-means 算法相比，改进算法具有较好的准确率和稳定性。 2 K-means聚类数学模型
K-means 算 法 是 以 k 为 参 数， 把 样 本 点 集 合 S {x1, x2 ,, xn} 分 成 k 个 簇， 使 S {x1, x2 ,, xn} S {x1, x2 ,, xn} 簇内有较高的相似度，而各个簇之间相似度较 低。相似度的计算依据簇中对象的平均值进行，如果一个类被确 定后，类的中心取为类内数据点的几何平均值。首先，随机选取 k 个对象代表每个簇的初始聚类中心，剩余的对象根据其与每个 簇中心的距离，将其分配给离它最近的簇，然后重新计算每个 簇的中心，不断重复该过程，改进聚类质量，直到误差函数值
约束优化问题，求解困难。转化为约束问题并使用 2 范数，得到
相应的优化模型为 ：
min 1 2
n j 1
k
t jp
p 1
xj
zp
2 2
k
⑷
s.t. t jp 1,t jp 0, j 1,2,n; p 1,2,k
p 1
离
x
该模型中，Z 聚类中心的集合，对给定点 x j ，如果 p 是
j
最近的聚类中心
z p
的唯一指标，如果有多个聚类中心 z p
距 距
离 x j 最近，那么 t j p 为这些最近中心的组合系数。其中目标函数
1 n k t jp 2 j1 p1
xj zp
2 2
就是聚类误差函数，表示聚类结果得出后，每个
点到相应类中心的距离之和。 3 改进的K-means算法
取最小的 k 个类。所以 K-means 聚类可以看成寻找 k 个分类中心
z1, z2 ,, zn ，使得所有样本点 xi 到一个它最临近中心点的距离
之和取极小值的最优化问题。 给定样本集合 S {x1, x2 ,, xn} 和类的数目 k ，确定 k 个类
C1,C2,Ck , 其优化模型如下 ：
网络天地
初始中心点优化的K-means聚类模型
◆王志春
1 引言 聚类是数据挖掘领域中的一项重要技术。聚类就是识别隐藏
在数据中的类，通过聚类使得不同类中的数据对象之间具有较低 的相似性，而在同一类中的数据对象之间具有较高的相似性。聚 类方法大致可以分为基于划分的方法、基于层次的方法和基于网 格的方法等。其中代表性的算法有 K-means 算法 []、String 算法 [1]、 CLIQUE 算 法 [2]、CURE 算 法 [3] 和 DBSCAN 算 法 [4] 等。K-means 是聚类分析中基于划分的聚类算法，该算法是一种确定 k 个中心 的均值算法，以误差平方和SS（E sum of the squared error) 作为度 量聚类质量的目标函数 [5]xn} 均分为 k 个段，在每段 内选取一个中心作为初始中心，以避免选取的初始中心过于靠近。
改进的 K-means 算法由三个过程组成，首先选取初始聚类中 心，其次对样本点分类，最后调整聚类中心。算法描述如下 ：
Step1 ：初始中心选择。 （1）数据预处理。设
K-means 算法是目前广泛应用的一种聚类方法，具有算法简 洁，运算速度快等优点。然而基本的 K-means 算法聚类结果对初 始聚类中心敏感，选取不同的初始聚类中心往往会导致不同的聚 类结果，并且由于随机选取初始聚类中心，算法一般不会得到全 局最优。因此如何找到一组合理的初始聚类中心，得到较优的聚 类结果，消除由于初始中心依赖导致聚类结果的不稳定性，以弥 补 K-means 算法的缺陷具有重要意义。针对 K-Means 算法存在 的不足，参考文献 [6][7] 根据数据点的距离构造最小生成树，剪枝 得到 K 个初始数据集合，确定初始的聚类中心，减少了迭代次数， 提高了算法质量。参考文献 [8] 针对数据对象的分布密度以及计算 最近两点的垂直中点方法来确定 k 个初始聚类中心，再结合均衡 化函数对聚类个数进行优化，提高了算法的准确率和稳定性。参 考文献 [9] 通过计算样本空间分布的方差得到样本紧密度信息，选 择方差最小 ( 即紧密度最高 ) 且相距一定距离的样本作为初始聚 类中心，提高了聚类质量。参考文献 [10] 分离数据集中的孤立点， 并计算剩余数据集样本的平均密度，孤立点不参与聚类过程中各 类所含样本均值的计算 ；在大于平均密度的密度参数集合中选择 聚类中心，根据最小距离原则将孤立点分配给离它最近的聚类中 心，提高聚类效率。
n
min
z1 ,z2 ,,zk
min
j1 1 pk
xj zp
⑴
式中 是任意范数，选取不同的范数，可以得到相应聚类问
题的优化模型。
满足约束 ：


k
Ci
S,
Ci1i C j , i, j 1, 2,, k i j
⑵

Ci ,
i 1, 2,, k
M
max i1, jn,i j
xi
xj
2
,d
2

M k
, S1
S,C

⑸
（2）对 i 1,2,k 1，如果 i k ，那么
Ci xi
基本的 K-means 算法是从样本点集合中随机选取 k 个中心， 这种选取具有盲目性和随意性，并且在很大程度上决定了算法的 有效性。为了克服选取初始中心的盲目性，改进 K-means 算法， 可以采取一种预处理的方法选取初始聚类中心，首先在某种范数 的意义下，确定相隔最远的两个数据点之间的距离，然后采用分