模式识别第二章-2.K-均值分类算法

模式识别第二章
2. K-均值分类算法
1. 实验原理和步骤
以初始化聚类中心为1x 和10x 为例。

第一次迭代：
第一步：取K=2，并选T x z )00()1(11==，T x z )67()1(102==。

第二步：因)1()1(2111z x z x -<-，故)1(11S x ∈
因)1()1(2212z x z x -<-，故)1(12S x ∈
因)1()1(2313z x z x -<-，故)1(13S x ∈
……
得到：},,,,,,,{)1(876543211x x x x x x x x S =
},,,,,,,,,,,{)1(201918171615141312111092x x x x x x x x x x x x S =。

第三步：计算新的聚类中心：
⎪⎪⎭
⎫ ⎝⎛=+⋯⋯++==∑∈125.1250.1)(811)2(821)1(111x x x x N z S x ⎪⎪⎭⎫ ⎝⎛=+⋯⋯++==∑∈333.7663.7)(1211)2(20109)1(2
22x x x x N z S x （1N 和2N 分别为属于第一类和第二类的样本的数目）。

第四步：因)2()1(z z ≠，返回第二步。

第二次迭代（步骤同上）：
第二次迭代得到的⎪⎪⎭⎫ ⎝⎛=125.1250.1)3(1z ，⎪⎪⎭
⎫ ⎝⎛=333.7663.7)3(2z ，)3()2(z z ≠，结束迭代，得到的最终聚类中心为：⎪⎪⎭⎫ ⎝⎛=125.1250.11z ，⎪⎪⎭
⎫ ⎝⎛=333.7663.72z 。

2. 实验结果截图
（1）初始化聚类中心为1x 和10x 时：
（2）初始化聚类中心为1x 和2x 时：
（3）初始化聚类中心为12x 和20x 时：
3. 程序代码
%程序功能：实现K-均值分类
%作者：赵晓梅 201428014628066
%时间：2014.10.3
clc;
clear all ;
fprintf('K-均值分类算法\n');
k=0;%记录迭代次数
x=[0,0;1,0;0,1;1,1;2,1;1,2;2,2;3,2;6,6;7,6;8,6;6,7;7,7;8,7;9,7;7,8;8,8;9,8;8,9;9,9];%输入样本
[N n]=size(x);%N 表示样本数目；n 表示样本维度
m=[12,20];
z=[x(m(1),:);x(m(2),:)];%初始化聚类中心
fprintf('初始聚类中心选：x%d 和x%d\n',m(1),m(2));%显示初始化聚类中心 D=size(z);
K=D(1);%获取聚类数目
d=zeros(1,K);%用于保存一个样本到K 个聚类中心的距离
label=zeros(1,N);%用于标记每个样本属于哪个类，取值为1-K 之间的整数
flag_end=0;%迭代结束标志，当为1时，迭代结束
while(~flag_end)
for i=1:N
for j=1:K
d(j)=norm(x(i,:)-z(j,:));%计算第i个样本到第j个聚类中心的距离end
min_d=d(1);
for j=1:K
if d(j)<=min_d%选取最短的距离，并用最短距离的索引标记样本，记样本为第j类
min_d=d(j);
label(i)=j;
end
end
end
z_new=zeros(K,n);%用于保存更新的聚类中心的坐标
for j=1:K%更新聚类中心坐标
num=0;
for i=1:N
if label(i)==j
z_new(j,:)=z_new(j,:)+x(i,:);
num=num+1;
end
end
z_new(j,:)=z_new(j,:)/num;%新的聚类中心的坐标为第j类样本的均值向量end
if z==z_new%如果原聚类中心与更新的聚类中心相等，则迭代结束，迭代结束标志置1 flag_end=1;
end
z=z_new;
k=k+1;%迭代次数加1
end
fprintf('经过 %d次迭代\n',k);%显示迭代次数
for j=1:K
fprintf('第 %d类的聚类中心坐标为:(%f,%f)\n',j,z(j,1),z(j,2));%显示聚类中心坐标
end。