k-means聚类算法的java实现描述

k-means聚类算法的java实现描述

2008年04月09日星期三14:02

1. 什么是k-means 聚类算法？

从网上找到了很多定义，这里选取比较典型的几个；

K-Mean 分群法是一种分割式分群方法，其主要目标是要在大量高纬的资料点中找出具有代表性的资料点；这些资料点可以称为群中心，代表点；然后再根据这些

群中心，进行后续的处理，这些处理可以包含

1 ）资料压缩：以少数的资料点来代表大量的资料，达到资料压缩的功能；

2 ）资料分类：以少数代表点来代表特点类别的资料，可以降低资料量及计算量；

分割式分群法的目的是希望尽量减小每个群聚中，每一点与群中心的距离平方差（square error）。

假设我们现在有一组包含c个群聚的数据，其中第k 个群聚可以用集合Gk来表示，假设Gk包含nk笔

资料{x1, x2, …, xnk），此群聚中心为yk，则该群聚的平方差ek可以定义为：

ek = S i |xi-yk|2 ，其中xi是属于第k 群的资料点。

而这c个群聚的总和平方差E便是每个群聚的平方差总和：

E = S k=1~c ek

我们分群的方法，就变成是一个最佳化的问题，换句话说，我们要如何选取c 个群聚以及相关的群中心，

使得E 的值为最小。

2 ．处理流程

（1 ）从c 个数据对象任意选择k 个对象作为初始聚类中心；

（2 ）循环（ 3 ）到（4 ）直到每个聚类不再发生变化为止；

（3 ）根据每个聚类对象的均值（中心对象），计算每个对象与这些中心对象的距离；并根据最小距离重新对相应对象进行划分；

（4 ）重新计算每个（有变化）聚类的均值（中心对象）

3. java 算法的实现说明

1) 假设给点一组c 点资料X = {x1, ..., xc} ，每一点都有d 维；给定一个群聚的数目k, 求其

最好的聚类结果。

2 ）BasicKMeans.java 主类

int coordCount = 250;// 原始的资料个树

int dimensions = 100;// 每个资料的纬度数目

double[][] coordinates = new double[coordCount][dimensions];

这里假设 c 点资料为coordinates 对象，其中 c 为coordCount,d 为dimensions 相应值。

int mk = 30; // 想要群聚的数目

根据群聚数目定义mk 个群聚类对象

mProtoClusters = new ProtoCluster[mK];// 见ProtoCluster 类说明

// 首先随机选取mk 个原始资料点作为群聚类

mProtoClusters[i]= new ProtoCluster (coordinates[j] );//i 依此为0 到mk 的值；j 为0 到coordCount 的值

定义一个变量用于记录和跟踪每个资料点属于哪个群聚类

mClusterAssignments = new int[coordCount];

mClusterAssignments[j]=i;// 表示第j 个资料点对象属于第i 个群聚类

// 开始循环

// 依次调用计算每个群聚类的均值

mProtoClusters[i].updateCenter(mCoordinates);// 计算第i 个聚类对象的均值

// 依次计算每个资料点到中心点的距离，然后根据最小值划分到相应的群集类中；

采用距离平方差来表示资料点到中心点的距离；

//定义一个变量，来表示资料点到中心点的距离

mDistanceCache = new double[coordCount ][mk];

//其中mDistanceCache[i][j]表示第i个资料点到第j个群聚对象中心点的距离；

//距离算法描述():

a)依次取出每个资料点对象double[] coord = coordinates[i];

b)再依次取出每个群聚类中的中心点对象double[] center = mProtoClusters[j].mCenter;

c)计算coord对象与center对象之间的距离

double distance(double[] coord, double[] center) {

int len = coord.length;

double sumSquared = 0.0;

for (int i=0; i

double v = coord[i] - center[i];

sumSquared += v*v; //平方差

}

return Math.sqrt(sumSquared);

}

d)循环执行上面的流程，把结果记录在mDistanceCache[i][j]中；

//比较出最小距离，然后根据最小距离重新对相应对象进行划分

依次比较每个资料点的最短中心距离，

int nearestCluster(int ndx) {

int nearest = -1;

double min = Double.MAX_V ALUE;

for (int c = 0; c < mK; c++) {

double d = mDistanceCache[ndx][c];

if (d < min) {

min = d;

nearest = c;

}

}

return nearest;

}

该方法返回该资料点对应的最短中心距离的群聚类的索引值；

比较每个nearestCluster[coordCount] 的值和mClusterAssignments[coordCount]

的值是否相等，如果全相等表示所有的点已经是最佳距离了，直接返回；

否则需要重新调整资料点和群聚类的关系，调整完毕后再重新开始循环；

调整时需要更新下列数据：

a)更新mProtoClusters[i]中的mCurrentMembership集合；

b)更新mClusterAssignments[i]中对应的值；

然后重行开始循环

3 ）ProtoCluster.java 是一个包含代表点的群聚类，该类有两个最主要的属性"代表点"和"群中心"；

int[] mCurrentMembership;// 用于表示每个群聚包含的数据资料点集合

double[] mCenter;// 用于表示每个聚类对象的均值，也就是中心对象

void updateCenter(double[][] coordinates) {

// 该方法计算聚类对象的均值;

// 根据mCurrentMembership 取得原始资料点对象coord ，该对象是coordinates 的一个子集；然后取出该子集的均值；

取均值的算法很简单，可以把coordinates 想象成一个m*n 的距阵, 每个均值就是每个纵向列的取和平均值, 该值保

存在mCenter 中

for (int i=0; i< mCurrentMembership.length; i++) {

double[] coord = coordinates[mCurrentMembership[i]];

for (int j=0; j

mCenter[j] += coord[j];// 得到每个纵向列的和；

}

f or (int i=0; i

mCenter[i] /= mCurrentSize; // 对每个纵向列取平均值

}

}