C均值聚类实验报告

C 均值聚类实验报告

一、C 均值聚类的算法原理

聚类分析是指事先不知样本的类别，而利用样本的先验知识来构造分类器（无监督学习）

聚类准则函数

在样本相似性度量的基础上，聚类分析还需要一定的准则函数，才能把真正属于同一类的样本聚合成一个类的子集，而把不同类的样本分离开来。如果聚类准则函数选得好，聚类质量就会高。同时，聚类准则函数还可以用来评价一种聚类结果的质量，如果聚类质量不满足要求，就要重复执行聚类过程，以优化结果。在重复优化中，可以改变相似性度量，也可以选用新的聚类准则。

误差平方和准则（最常用的）

假定有混合样本集 ，采用某种相似性度量

被聚合成c 个分离开的子集 ，每个子集是一个类， 它们分别包

含

个 样本 。 为了衡量聚类的质量，采用误差平方和聚类准则函数

式中

为类中样本的均值：

是c 个子集合的中心，可以用来代表c 个类。 误差平方和 聚类准则函数是样本与集合中心的函数。在样本集X 给定的情况下， 其取值取决于c 个集合“中心”。

它描述n 个试验样本聚合成c 个类时，所产生的总误差平方和 越小越好。 误差平方和准则适用于各类样本比较密集且样本数目悬殊不大的样本分布。

C-均值聚类算法的核心思想是通过迭代把数据对象划分到不同的簇中，以求目标数最小化，从而使生成的簇尽可能地紧凑和独立。 首先，随机选取k 个对象作为初始的k 个簇的质心；

然后，将其余对象根据其与各个簇质心的距离分配到最近的簇；再求新形成的簇的质心。

12{,,...,}n X x x x =X c

X X X ,.....,,21c n n n ,......,,21c J ∑∑==-=

c

j n k j k c j

m x J 11

2

||||j m ∑==j

n j j

j

j x

n m 1

1

c

j ,....,2,1=j

m

c J c J

这个迭代重定位过程不断重复，直到目标函数最小化为止。

C －均值聚类算法使用的聚类准则函数是误差平方和准则 ： 为了使聚类结果优化，应该使准则

最小化。 二、C 均值聚类的实现步骤 C －均值算法步骤：

① 给出n 个混合样本，令

，表示迭代运算次数，选取c 个初始聚合中心

② 计算每个样本与聚合中心的距离:

若 则 ③令 计算新的集合中心： 计算误差平方和 值：

④ 对每个聚合中的每个样本，计算：

表示 减少的部分 。

表示 增加的部分： 若 ，则把样本

移到聚合中心 中，并修改聚合中心和 值。

⑤ 判断：若 则 ，返回④。否则，算法结束。

c J c J 1=I (1),1,2,...,;

j Z j c =(,()),1,2,...,;1,2,...,.

k j D x Z I k n j c ==1,2,...,(,())min {(,()),1,2,...,},k i k j j c D x Z I D x Z I k n ===;

k

i x ω∈12,I I =+=()

1

1

(2),1,2,...,;

j

n j j

k

k j

Z x

j c n ===∑c J ∑∑==-=c

j n k i i k c j Z x J 11

2

)

(||)2(||)2(()

2||()||,1,2, (1)

i i ii k i i n x Z I i c n ρ=

-=-ii ρc J ()

2||()||,1,2, (1)

i ij k j j n x Z I j c j i

n ρ=

-=≠+ij ρc J }

{min ij i

j il

ρρ≠=ii il ρ

ρ<)

(i k x

l ωc J

])([1

1

)()1()(i k i i i i x I Z n I Z I Z --+=+]

)([1

1)()1()

(i k l l j l x I Z n I Z I Z -++=+)

()()1(il ii c c I J I J ρρ--=+(1)(),c c J I J I +<1+=I I

三. 编写的程序：

#include

#include

#include

#include

#include

#include

using namespace std;

double distance(double a[4], double b[4])

{

// TODO: 改马氏距离

double d0 = a[0]-b[0];

double d1 = a[1]-b[1];

double d2 = a[2]-b[2];

double d3 = a[3]-b[3];

return sqrt(d0*d0+d1*d1+d2*d2+d3*d3);

}

int main()

{

// 读取数据

double data[150][4];

ifstream f("data.txt");

for(int i=0; i<150; i++)

f>>data[i][0]>>data[i][1]>>data[i][2]>>data[i][3];

f.close();

// 归一化

double m[4] = {DBL_MAX, DBL_MAX, DBL_MAX, DBL_MAX};

double M[4] = {-DBL_MAX, -DBL_MAX, -DBL_MAX, -DBL_MAX};

for(i=0; i<150; i++)

for(int j=0; j<4; j++)

{

if(data[i][j]

m[j]=data[i][j];

if(data[i][j]>M[j])

M[j]=data[i][j];

}

for(i=0; i<150; i++)

for(int j=0; j<4; j++)

data[i][j] = (data[i][j]-m[j]) / (M[j]-m[j]);

// 打乱

// TODO: 使用随机排序

int rightLabels[150];

for(i=0; i<50; i++)

rightLabels[i] = 0;

for(i=50; i<100; i++)

rightLabels[i] = 1;

for(i=100; i<150; i++)

rightLabels[i] = 2;

srand(time(NULL));

for(i=0; i<150; i++)

{

int j = rand()%150;

double tmp;

tmp = data[i][0]; data[i][0] = data[j][0]; data[j][0] = tmp;

tmp = data[i][1]; data[i][1] = data[j][1]; data[j][1] = tmp;

tmp = data[i][2]; data[i][2] = data[j][2]; data[j][2] = tmp;

tmp = data[i][3]; data[i][3] = data[j][3]; data[j][3] = tmp;

int tmp2;

tmp2 = rightLabels[i];

rightLabels[i] = rightLabels[j];

rightLabels[j] = tmp2;

}

// 分类

int labels[150];

double Z[3][4] = {data[0][0], data[0][1], data[0][2], data[0][3], data[1][0], data[1][1], data[1][2], data[1][3],

data[2][0], data[2][1], data[2][2], data[2][3]};

int iterations = 0;

while(true)

{

//

cout<

//

<

//

<

// <

// cin.get();

iterations++;

// 最小距离分类到label

for(int i=0; i<150; i++)

{

double d0 = distance(Z[0], data[i]);

double d1 = distance(Z[1], data[i]);

double d2 = distance(Z[2], data[i]);

if((d0

labels[i] = 0;

else if(d1

labels[i] = 1;

else

labels[i] = 2;

}

// 计算均值为新聚类中心到Z

double sum[3][4] = {0.0};

int count[3] = {0};

for(i=0; i<150; i++)

{

int label = labels[i];

sum[label][0]+=data[i][0];

sum[label][1]+=data[i][1];

sum[label][2]+=data[i][2];

sum[label][3]+=data[i][3];

count[label]++;

}

bool changed = false;

for(i=0; i<3; i++)

for(int j=0; j<4; j++)

{

if(Z[i][j] != sum[i][j] / count[i])// 可以加入e比较

{

Z[i][j] = sum[i][j] / count[i];

changed = true;

}

}

// 聚类中心没改变则退出

if(!changed)

break;

}

// 输出

int count[3] = {0};

for(i=0; i<150; i++)

{

cout<

count[labels[i]]++;

}

cout<

<<"iterations: "<

<<"label0 count: "<

<<"label1 count: "<

<<"label2 count: "<

cin.get();

return 0;

}

四.运行结果:

0.166667 0.166667 0.389831 0.375 0 B

0.138889 0.416667 0.067797 0 1 A

0.472222 0.083333 0.677966 0.583333 0 C

0.583333 0.333333 0.779661 0.875 2 C

0.25 0.875 0.084746 0 1 A

0.194444 0 0.423729 0.375 0 B

0.194444 0.583333 0.084746 0.041667 1 A

0.5 0.375 0.627119 0.541667 0 B

0.416667 0.291667 0.525424 0.375 0 B

0.75 0.5 0.627119 0.541667 2 B

0.138889 0.458333 0.101695 0.041667 1 A

0.25 0.291667 0.491525 0.541667 0 B

0.333333 0.625 0.050848 0.041667 1 A

0.666667 0.416667 0.677966 0.666667 2 B

0.444444 0.416667 0.542373 0.583333 0 B

0.194444 0.541667 0.067797 0.041667 1 A

0.361111 0.291667 0.542373 0.5 0 B

0.666667 0.541667 0.79661 1 2 C

0.194444 0.625 0.101695 0.208333 1 A

0.25 0.583333 0.067797 0.041667 1 A

0.361111 0.333333 0.661017 0.791667 0 C

0.805556 0.416667 0.813559 0.625 2 C

0.416667 0.291667 0.694915 0.75 0 C

0.388889 0.375 0.542373 0.5 0 B

0.361111 0.416667 0.525424 0.5 0 B

0.361111 0.208333 0.491525 0.416667 0 B 0.611111 0.333333 0.610169 0.583333 0 B 0.694444 0.5 0.830508 0.916667 2 C 0.583333 0.5 0.59322 0.583333 2 B 0.388889 0.333333 0.59322 0.5 0 B 0.527778 0.583333 0.745763 0.916667 2 C 0.361111 0.416667 0.59322 0.583333 0 B 0.555556 0.541667 0.627119 0.625 2 B

0.5 0.333333 0.627119 0.458333 0 B 0.166667 0.666667 0.067797 0 1 A 0.222222 0.208333 0.338983 0.416667 0 B 0.527778 0.333333 0.644068 0.708333 2 C 0.194444 0.583333 0.101695 0.125 1 A 0.583333 0.375 0.559322 0.5 0 B 0.194444 0.5 0.033898 0.041667 1 A 0.222222 0.541667 0.118644 0.166667 1 A 0.083333 0.5 0.067797 0.041667 1 A 0.416667 0.291667 0.491525 0.458333 0 B 0.222222 0.625 0.067797 0.083333 1 A 0.111111 0.5 0.050848 0.041667 1 A 0.222222 0.75 0.152542 0.125 1 A 0.305556 0.416667 0.59322 0.583333 0 B 0.638889 0.375 0.610169 0.5 0 B 0.666667 0.416667 0.711864 0.916667 2 C 0.722222 0.458333 0.661017 0.583333 2 B 0.166667 0.208333 0.59322 0.666667 0 C 0.833333 0.375 0.898305 0.708333 2 C 0.333333 0.25 0.576271 0.458333 0 B 0.722222 0.458333 0.694915 0.916667 2 C 0.333333 0.166667 0.457627 0.375 0 B 0.555556 0.583333 0.779661 0.958333 2 C 0.416667 0.291667 0.694915 0.75 0 C 0.555556 0.375 0.779661 0.708333 2 C 0.472222 0.416667 0.644068 0.708333 2 C 0.166667 0.458333 0.084746 0.041667 1 A 0.388889 0.208333 0.677966 0.791667 0 C 0.944444 0.25 1 0.916667 2 C 0.777778 0.416667 0.830508 0.833333 2 C 0.416667 0.833333 0.033898 0.041667 1 A 0.805556 0.666667 0.864407 1 2 C 0.611111 0.416667 0.711864 0.791667 2 C 0.611111 0.5 0.694915 0.791667 2 C 0.333333 0.208333 0.508475 0.5 0 B 0.138889 0.583333 0.101695 0.041667 1 A

0.694444 0.333333 0.644068 0.541667 2 B 0.194444 0.625 0.050848 0.083333 1 A 0.583333 0.458333 0.762712 0.708333 2 C 0.111111 0.5 0.101695 0.041667 1 A 0.694444 0.416667 0.762712 0.833333 2 C 0.388889 0.333333 0.525424 0.5 0 B 0.416667 0.25 0.508475 0.458333 0 B 0.166667 0.458333 0.084746 0 1 A 0.138889 0.583333 0.152542 0.041667 1 A 0.611111 0.416667 0.762712 0.708333 2 C 0.083333 0.458333 0.084746 0.041667 1 A 0.305556 0.708333 0.084746 0.041667 1 A 0.722222 0.458333 0.745763 0.833333 2 C 0.583333 0.291667 0.728814 0.75 2 C 0.805556 0.5 0.847458 0.708333 2 C 0.333333 0.166667 0.474576 0.416667 0 B 0.555556 0.541667 0.847458 1 2 C 0.722222 0.5 0.79661 0.916667 2 C 0.444444 0.416667 0.694915 0.708333 2 C 0.222222 0.625 0.067797 0.041667 1 A 0.666667 0.458333 0.627119 0.583333 2 B 0.333333 0.916667 0.067797 0.041667 1 A 0.222222 0.708333 0.084746 0.125 1 A 0.333333 0.125 0.508475 0.5 0 B

0.5 0.416667 0.661017 0.708333 2 C 0.527778 0.083333 0.59322 0.583333 0 B 0.916667 0.416667 0.949153 0.833333 2 C 0.611111 0.416667 0.813559 0.875 2 C 0.666667 0.208333 0.813559 0.708333 2 C 0.222222 0.75 0.101695 0.041667 1 A 0.444444 0.5 0.644068 0.708333 2 B 0.055556 0.125 0.050848 0.083333 1 A 0.305556 0.791667 0.118644 0.125 1 A 0.027778 0.416667 0.050848 0.041667 1 A 0.861111 0.333333 0.864407 0.75 2 C 0.083333 0.583333 0.067797 0.083333 1 A

0 0.416667 0.016949 0 1 A 0.472222 0.583333 0.59322 0.625 2 B 0.138889 0.416667 0.067797 0.083333 1 A 0.305556 0.583333 0.118644 0.041667 1 A 0.222222 0.75 0.084746 0.083333 1 A 0.555556 0.125 0.576271 0.5 0 B

0.5 0.333333 0.508475 0.5 0 B 0.388889 0.416667 0.542373 0.458333 0 B

0.666667 0.458333 0.576271 0.541667 2 B

0.388889 0.75 0.118644 0.083333 1 A

1 0.75 0.915254 0.791667

2 C

0.944444 0.75 0.966102 0.875 2 C

0.083333 0.666667 0 0.041667 1 A

0.5 0.25 0.779661 0.541667 0 C

0.194444 0.416667 0.101695 0.041667 1 A

0.361111 0.375 0.440678 0.5 0 B

0.944444 0.416667 0.864407 0.916667 2 C

0.25 0.625 0.084746 0.041667 1 A

0.027778 0.375 0.067797 0.041667 1 A

0.277778 0.708333 0.084746 0.041667 1 A

0.638889 0.416667 0.576271 0.541667 0 B

0.555556 0.208333 0.661017 0.583333 0 B

0.5 0.416667 0.610169 0.541667 0 B

0.388889 0.25 0.423729 0.375 0 B

0.222222 0.583333 0.084746 0.041667 1 A

0.944444 0.333333 0.966102 0.791667 2 C

0.583333 0.333333 0.779661 0.833333 2 C

0.555556 0.208333 0.677966 0.75 2 C

0.555556 0.291667 0.661017 0.708333 2 C

0.194444 0.666667 0.067797 0.041667 1 A

0.472222 0.083333 0.508475 0.375 0 B

0.416667 0.333333 0.694915 0.958333 2 C

0.555556 0.333333 0.694915 0.583333 0 C

0.472222 0.291667 0.694915 0.625 0 B

0.305556 0.583333 0.084746 0.125 1 A

0.166667 0.416667 0.067797 0.041667 1 A

0.583333 0.5 0.728814 0.916667 2 C

0.388889 1 0.084746 0.125 1 A

0.527778 0.375 0.559322 0.5 0 B

0.472222 0.375 0.59322 0.583333 0 B

0.194444 0.125 0.389831 0.375 0 B

0.027778 0.5 0.050848 0.041667 1 A

0.305556 0.791667 0.050848 0.125 1 A

0.666667 0.458333 0.779661 0.958333 2 C

0.666667 0.541667 0.79661 0.833333 2 C

iterations: 9

label0 count: 48

label1 count: 50

label2 count: 52

说明: 左边前4列是规格化的样本,第5列是识别结果,第6列是正确结果.