模式识别大作业

一、问题描述
现有sonar 和wdbc 这两个样本数据集，取一半数据作为训练样本集，其余数据作为测试样本集，通过编程实现分别用C 均值算法对测试样本集中的数据进行分类，进行10次分类求正确率的平均值。

二、算法描述
1.初始化：选择c 个代表点,...,,321c p p p p
2.建立c 个空间聚类表：C K K K ...,21
3.按照最小距离法则逐个对样本X 进行分类：
),(),,(min arg J i i
K x add p x j ∂=
4.计算J 及用各聚类列表计算聚类均值，并用来作为各聚类新的代表点（更新代表点）
5.若J 不变或代表点未发生变化，则停止。

否则转2.
),(1∑∑=∈=c
i K x i i p x J δ
6.计算正确率：将dtat(i,1)与trueflag(i,1)（i=1~n ）进行比较，统计正确分类的样本数，并计算正确率将上述过程循环10次，得到10次的正确率，并计算平均正确率ave
算法流程图
三、实验数据
表1 实验数据
四、实验结果
表2 实验结果准确率（%）
注：表中准确率是十次实验结果的平均值
五、程序源码
用C均值算法对sonar分类（对wdbc分类的代码与之类似）clc;clear;
accuracy = 0;
for i = 1:10
data = xlsread('sonar.xls');
data = data';
%初始划分2个聚类
rand(:,1:size(data,2)) = data(:,randperm(size(data,2))'); %使矩阵元素按列重排
A(:,1) = rand(:,1);
B(:,1) = rand(:,2); %选取代表点
m = 1;
n = 1;
for i = 3:size(rand,2)
temp1 = rand(:,i) - A(:,1);
temp2 = rand(:,i) - B(:,1);
temp1(61,:) = [];
temp2(61,:) = []; %去掉标号后再计算距离
if norm(temp1) < norm(temp2)
m = m + 1; %A类中样本个数
A(:,m) = rand(:,i);
else
n = n + 1; %B类中样本个数
B(:,n) = rand(:,i);
end
end
%划分完成
m1 = mean(A,2);
m2 = mean(B,2);
%计算Je
J = 0;
for i = 1:m
temp = A(:,i) - m1;
temp(61,:) = []; %去掉标号的均值
J = J + norm(temp)^2;
end
for i = 1:n
temp = B(:,i) - m2;
temp(61,:) = [];
J = J + norm(temp)^2;
end
test = [A,B];
N = 0; %Je不变的次数
while N < m + n
rarr = randperm(m + n); %产生1-208即所有样本序号的随机不重复序列向量
y = test(:,rarr(1,1));
if rarr(1,1) <= m %y属于A类时
if m == 1
continue
else
temp1 = y - m1;
temp1(61,:) = [];
temp2 = y - m2;
temp2(61,:) = [];
p1 = m / (m - 1) * norm(temp1);
p2 = n / (n + 1) * norm(temp2);
if p2 < p1
test = [test,y];
test(:,rarr(1,1)) = [];
m = m - 1;
n = n + 1;
end
end
else %y属于B类时
if n == 1
continue
else
temp1 = y - m1;
temp1(61,:) = [];
temp2 = y - m2;
temp2(61,:) = [];
p1 = m / (m + 1) * norm(temp1);
p2 = n / (n - 1) * norm(temp2);
if p1 < p2
test = [y,test];
test(:,rarr(1,1)) = [];
m = m + 1;
n = n - 1;
end
end
end
A(:,1:m) = test(:,1:m);
B(:,1:n) = test(:,m + 1:m + n);
m1 = mean(A,2);
m2 = mean(B,2);
%计算Je
tempJ = 0;
for i = 1:m
temp = A(:,i) - m1;
temp(61,:) = []; %去掉标号的均值
tempJ = tempJ + norm(temp)^2;
end
for i = 1:n
temp = B(:,i) - m2;
temp(61,:) = [];
tempJ = tempJ + norm(temp)^2;
end
if tempJ == J
N = N + 1;
else
J = tempJ;
end
end %while循环结束
%判断正确率
correct = 0;
false = 0;
A(:,1:m) = test(:,1:m);
B(:,1:n) = test(:,m + 1:m + n);
c = mean(A,2);
if abs(c(61,1) - 1) < abs(c(61,1) - 2) %聚类A中大多为1类元素
for i = 1:m
if A(61,i) == 1
correct = correct + 1;
else
false = false + 1;
end
end
for i = 1:n
if B(61,i) == 2
correct = correct + 1;
else
false = false + 1;
end
end
else %聚类A中大多为2类元素
for i = 1:m
if A(61,i) == 2
correct = correct + 1;
else
false = false + 1;
end
end
for i = 1:n
if B(61,i) == 1
correct = correct + 1;
else
false = false + 1;
end
end
end
accuracy = accuracy + correct / (correct + false);
end
aver_accuracy = accuracy / 10
fprintf('用C均值算法对sonar进行十次分类的结果的平均正确率为%.2d %%.\n',aver_accuracy*100)
六．实验心得
本算法确定的K 个划分到达平方误差最小。

当聚类是密集的，且类与类之间区别明显时，效果较好。

对于处理大数据集，这个算法是相对可伸缩和高效的，计算的复杂度为O(NKt)，其中N是数据对象的数目，t是迭代的次数。

但
它需要根据初始聚类中心来确定一个初始划分，然后对初始划分进行优化。

这个初始聚类中心的选择对聚类结果有较大的影响，一旦初始值选择的不好，可能无法得到有效的聚类结果。