数据聚类实验报告(附代码)

实验题目： 数据聚类实验 1 实验目的

（1）了解常用聚类算法及其优缺点；

（2）掌握k-means 聚类算法对数据进行聚类分析的基本原理和划分方法。

（3）利用k-means 聚类算法对“ch7 iris.txt ”数据集进行聚类实验。

（4）熟悉使用matlab 进行算法的实现。

2 实验步骤

2.1 算法原理

聚类就是按照某个特定标准(如距离准则)把一个数据集分割成不同的类或簇，使得同一

个簇内的数据对象的相似性尽可能大，同时不在同一个簇中的数据对象的差异性也尽可能地

大。即聚类后同一类的数据尽可能聚集到一起，不同数据尽量分离。

k-means 是划分方法中较经典的聚类算法之一。由于该算法的效率高，所以在对大规模

数据进行聚类时被广泛应用。目前，许多算法均围绕着该算法进行扩展和改进。

k-means 算法以k 为参数，把n 个对象分成k 个簇，使簇内具有较高的相似度，而簇间

的相似度较低。k-means 算法的处理过程如下：首先，随机地 选择k 个对象，每个对象初

始地代表了一个簇的平均值或中心;对剩余的每个对象，根据其与各簇中心的距离，将它赋

给最近的簇;然后重新计算每个簇的平均值。 这个过程不断重复，直到准则函数收敛。 通常，采用平方误差准则，其定义如下：∑∑=?-=k

i C p i i

m p E 12

，这里E 是数据集中所有对象的平方误差的总和，p 是空间中的点，i m 是簇i C 的平均值。该目标函数使生成的簇尽

可能紧凑独立，使用的距离度量是欧几里得距离,当然也可以用其他距离度量。

本实验便采用k-means 聚类方法对样本数据对象进行聚类。该方法易实现，对不存在极

大值的数据有很好的聚类效果，并且对大数据集有很好的伸缩性。

2.2 算法流程

本实验采用的是k-means 聚类算法，类中心的选择基于簇中对象的平均值。

（1）获取用户的类中心数目k 和具有n 个对象的数据集；

（2）任意选取k 个对象作为初始的簇中心；

（3）根据簇中对象的平均值，将每个对象重新赋给最类似的簇；

（4）更新簇的平均值，即类中心，重新计算每个簇中对象的平均值；

（5）如果新的平均值发生改变，转至（2）步；

（6）新的平均值不在发生改变，算法聚类结束。

2.2 算法流程图

开始

选择k值，选取k个

对象作为平均值

聚类

对新生成的簇重新

计算平均值Y

新的平均

值改变

N

结束

图1 k-means算法流程图

k-means算法流程图，如图1所示。k-means算法中的k，由用户输入，最终得到的类别数即为用户输入的数目。聚类过程中，涉及到初始类中心的选择。在程序中，对于类中心，是选择前k个作为初始类中心，对于数据的组织，前k个数据有较大差别，可以提高程序的运行效率和分类结果的准确率。

3 实验结果分析

在实验中，利用k-means聚类算法对“ch7 iris.txt”数据集进行聚类实验。

当k=3时，k-means算法聚类效果如图2所示：

当k=4时，k-means算法聚类效果如图3所示：

图3 k=4时聚类效果

K-means聚类算法的收敛性和初值的选取有关。初始的聚类中心的不同，对聚类结果没有很大的影响，而对迭代次数有显著的影响。数据的输入顺序不同，同样影响迭代次数，而对聚类结果没有太大的影响。

4 实验结论

K-means聚类算法对于类别数的选择k值有较高的要求，如果类别数较少，则不能区分数据。K-means聚类算法找出平均误差最小的k个划分。当结果簇是密集的，而簇与簇之间的区别明显时，它的效果较好。该算法只有在簇的平均值被定义的情况下才能使用。对于初始类中心的选择，特别重要。对于分类的准确度和距离影响明显。而且该算法对孤立点是敏感的。所以如果数据集中存在有极大值的对象，应该消除这种敏感性。

5 实验心得体会

1、初始值可的选取

K-means聚类算法对于类别数目的选择，需要使用该算法的人员对于数据分类有一定的了解，并且可以根据观察部分原始抽样数据，得出该样本数据的大致类别数目，否则，应用该方法的聚类可能会出现较大的错误率。

2、初始类中心的选取

初始类中心的选择对聚类的准确度有较大的影响。在初始类中心的选择时，最好选择两两距离较大，且能代表不同数据样本类别的点作为初始的类中心点。

参考文献

[1] 数据挖掘：概念与技术/（加）韩家炜，（加）坎伯（Kamber,M.）著；范明等译.-北京：机械工业出版社，2001.8 .

[2] 效琴，戴汝源．数据挖掘中聚类分析的技术方法[J]．微计算机信息，2003，19(1)．

[3] 贺玲，吴玲达，蔡益朝．数据挖掘中的聚类算法综述[J]．计算机应用研究，2007，24(1):10-13．

[4] 孙吉贵，刘杰，赵连宇．聚类算法研究[J]．软件学报，2008，19(1)：48-61．

[5] 冯晓蒲，张铁峰．四种聚类方法之比较[J]．微型机与应用，2010，16．

附录（源代码）

Matlab

%K-means算法主程序

k=3;

x= [0.224 0.624 0.067 0.043

0.749 0.502 0.627 0.541

0.557 0.541 0.847 1.000

0.110 0.502 0.051 0.043

0.722 0.459 0.663 0.584

0.776 0.416 0.831 0.831

0.196 0.667 0.067 0.043

0.612 0.333 0.612 0.584

0.612 0.416 0.812 0.875

0.055 0.584 0.067 0.082

0.557 0.541 0.627 0.624 0.165 0.208 0.592 0.667 0.027 0.376 0.067 0.043 0.639 0.376 0.612 0.498 0.667 0.208 0.812 0.710 0.306 0.710 0.086 0.043 0.196 0.000 0.424 0.376 0.612 0.502 0.694 0.792 0.137 0.416 0.067 0.000 0.471 0.082 0.510 0.376 0.694 0.416 0.761 0.831 0.416 0.831 0.035 0.043 0.361 0.376 0.439 0.498 0.416 0.333 0.694 0.957 0.306 0.792 0.051 0.125 0.361 0.416 0.592 0.584 0.612 0.416 0.761 0.710 0.388 0.749 0.118 0.082 0.529 0.082 0.592 0.584 0.945 0.251 1.000 0.918 0.306 0.584 0.118 0.043 0.443 0.502 0.643 0.459 0.722 0.502 0.796 0.918 0.082 0.667 0.000 0.043 0.557 0.208 0.663 0.584 0.945 0.333 0.965 0.792 0.137 0.584 0.153 0.043 0.584 0.376 0.561 0.498 0.667 0.541 0.796 0.831 0.196 0.584 0.102 0.125 0.694 0.333 0.643 0.541 0.529 0.333 0.643 0.710 0.251 0.584 0.067 0.043 0.471 0.376 0.592 0.584 0.584 0.333 0.780 0.831 0.137 0.459 0.102 0.043 0.333 0.169 0.475 0.416 0.863 0.333 0.863 0.749 0.251 0.875 0.086 0.000 0.416 0.290 0.490 0.459 0.584 0.333 0.780 0.875 0.165 0.459 0.086 0.043 0.306 0.416 0.592 0.584 0.498 0.251 0.780 0.541

0.333 0.624 0.051 0.043 0.667 0.459 0.627 0.584 0.557 0.584 0.780 0.957 0.027 0.416 0.051 0.043 0.361 0.416 0.525 0.498 0.471 0.416 0.643 0.710 0.196 0.624 0.051 0.082 0.333 0.251 0.576 0.459 0.667 0.459 0.780 0.957 0.027 0.502 0.051 0.043 0.416 0.251 0.510 0.459 0.416 0.290 0.694 0.749 0.224 0.749 0.153 0.125 0.361 0.290 0.541 0.498 0.667 0.541 0.796 1.000 0.224 0.749 0.102 0.043 0.388 0.376 0.541 0.498 0.557 0.208 0.678 0.749 0.278 0.710 0.086 0.043 0.224 0.208 0.337 0.416 0.529 0.584 0.745 0.918 0.165 0.416 0.067 0.043

0.584 0.502 0.592 0.584 0.416 0.290 0.694 0.749 0.082 0.459 0.086 0.043 0.333 0.125 0.510 0.498 0.557 0.376 0.780 0.710 0.306 0.792 0.118 0.125 0.388 0.333 0.592 0.498 0.918 0.416 0.949 0.831 0.196 0.584 0.086 0.043 0.165 0.169 0.388 0.376 0.835 0.376 0.898 0.710 0.165 0.459 0.086 0.000 0.251 0.290 0.490 0.541 0.804 0.667 0.863 1.000 0.137 0.584 0.102 0.043 0.443 0.416 0.541 0.584 0.584 0.290 0.729 0.749 0.000 0.416 0.016 0.000 0.498 0.376 0.627 0.541 0.388 0.208 0.678 0.792 0.388 1.000 0.086 0.125 0.667 0.459 0.576 0.541

0.224 0.624 0.067 0.082 0.416 0.290 0.525 0.376 0.945 0.749 0.965 0.875 0.224 0.749 0.086 0.082 0.361 0.208 0.490 0.416 0.471 0.082 0.678 0.584 0.224 0.710 0.086 0.125 0.498 0.333 0.510 0.498 0.361 0.333 0.663 0.792 0.224 0.541 0.118 0.165 0.498 0.333 0.627 0.459 0.557 0.290 0.663 0.710 0.196 0.416 0.102 0.043 0.639 0.416 0.576 0.541 0.804 0.502 0.847 0.710 0.251 0.624 0.086 0.043 0.667 0.416 0.678 0.667 0.498 0.416 0.510 0.710 0.110 0.502 0.102 0.043 0.388 0.251 0.424 0.376 0.804 0.416 0.812 0.624 0.306 0.584 0.086 0.125

0.333 0.169 0.459 0.376

1.000 0.749 0.914 0.792 0.333 0.918 0.067 0.043 0.471 0.290 0.694 0.624 0.557 0.333 0.694 0.584 0.196 0.502 0.035 0.043 0.471 0.584 0.592 0.624 0.945 0.416 0.863 0.918 0.165 0.667 0.067 0.000 0.557 0.125 0.576 0.498 0.584 0.459 0.761 0.710 0.224 0.584 0.086 0.043 0.333 0.208 0.510 0.498 0.722 0.459 0.745 0.831 0.055 0.125 0.051 0.082 0.498 0.416 0.612 0.541 0.722 0.459 0.694 0.918 0.196 0.624 0.102 0.208 0.196 0.125 0.388 0.376 0.694 0.502 0.831 0.918 0.137 0.416 0.067 0.082

0.667 0.416 0.714 0.918

0.082 0.502 0.067 0.043

0.529 0.376 0.561 0.498

0.612 0.416 0.714 0.792

0.196 0.541 0.067 0.043

0.388 0.333 0.525 0.498

0.443 0.416 0.694 0.710 ];

[n,d] = size(x);

bn=round(n/k*rand);%第一个随机数在前1/K的范围内

nc=[x(bn,:);x(2*bn,:);x(3*bn,:);];%初始聚类中心

%nc=[x(bn,:);x(2*bn,:);x(3*bn,:);x(4*bn,:);];% 4类

[cid,nr,centers] = kmeans(x,k,nc)%调用kmeans函数

for i=1:150

if cid(i)==1,

plot(x(i,1),x(i,2),'r*') % 显示第一类

hold on

else

if cid(i)==2,

plot(x(i,1),x(i,2),'b*') %显示第二类

hold on

else

if cid(i)==3,

plot(x(i,1),x(i,2),'g*') %显示第三类

hold on

%else

%if cid(i)==4,

%plot(x(i,1),x(i,2),'k*') %显示第四类

%hold on

%end

end

end

end

end

strt=['红色*为第一类；蓝色*为第二类；绿色*为第三类；黑色*为第四类' ]; text(-4,-3.6,strt);

%kmeans.m主类

function [cid,nr,centers] = kmeans(x,k,nc)

[n,d] = size(x); % 设置cid为分类结果显示矩阵

cid = zeros(1,n);

oldcid = ones(1,n);

nr = zeros(1,k);

maxgn= 100;

iter = 1;

while iter < maxgn

%计算每个数据到聚类中心的距离

for i = 1:n

dist = sum((repmat(x(i,:),k,1)-nc).^2,2);

[m,ind] = min(dist); % 将当前聚类结果存入cid中

cid(i) = ind;

end

for i = 1:k

%找到每一类的所有数据，计算他们的平均值，作为下次计算的聚类中心

ind = find(cid==i);

nc(i,:) = mean(x(ind,:));

% 统计每一类的数据个数

nr(i) = length(ind);

end

iter = iter + 1;

end

maxiter = 2;

iter = 1;

move = 1;

while iter < maxiter & move ~= 0

move = 0; % 对所有的数据进行再次判断，寻求最佳聚类结果

for i = 1:n

dist = sum((repmat(x(i,:),k,1)-nc).^2,2);

r = cid(i); % 将当前数据属于的类给r

dadj = nr./(nr+1).*dist'; % 计算调整后的距离

[m,ind] = min(dadj); % 早到该数据距哪个聚类中心最近

if ind ~= r % 如果不等则聚类中心移动

cid(i) = ind;%将新的聚类结果送给cid

ic = find(cid == ind);%重新计算调整当前类别的聚类中心

nc(ind,:) = mean(x(ic,:));

move = 1;

end

end

iter = iter+1;

end

centers = nc;

if move == 0

disp('No points were moved after the initial clustering procedure.') else

disp('Some points were moved after the initial clustering procedure.')

end