机器学习K-means

机器学习报告

非监督学习-----一些聚类算法

聚类是数据挖掘中用来发现数据分布和隐含模式的一项重要技术，聚类分析是指事先不了解一批样品中的每个样品的类别或者其他的先验知识，而唯一的分类依据是样品的特征，利用某种相似性度量的方法，把特征相同的或相近的分为一类，实现聚类分析。

下面介绍五种聚类方法,每个算法的使用时有限的，不同的聚类酸腐蚀可以解决不同的问题。

（一）K-means 聚类

K 均值算法是一种常用的动态聚类算法，K 均值算法能够使聚类集中所有样本到聚类中心的距离和最小。原理为：先选K 个初始距离中心，计算每个样本到这K 个中心的距离，找出最小距离把样本归入最近的聚类中心，然后对中心进行修改，得到新的K 个中心，再计算样本到K 个中心的距离，重新归类，重新计算中心，修改中心。直到新的聚类中心等于聚类中心则结束。

修改聚类中心的准则函数是：

G X Z X J i N i j i j j

∈-=∑=,1

2

其中：j G 是第j 个聚类；j N 为第j 个聚类中心的样本数；j Z 为第j 个样本的聚类中心。

K 次平均算法的聚类准则是：聚类中心j Z 的选择应使准则函数的j J 值最小。因

此，令 ()()∑∑===--??=-??N

i j i T j i N

i j i j Z X Z X Z Z X Z 1

1

2

0 解上式得 ∑==j

N

i i j X N Z 1

1 ， 其中j i G X ∈

上式表明，j G 类得聚类中心应选为该类样本的均值。

算法：

Stept1:任选k 个初始聚类中心()()()l Z l Z l Z k 21,

Stept2:计算每个样本到k 个聚类中心的距离，并按最近规则归类。

若()()k Z X k Z X i j -<-，则()j i k i k G X j ≠=∈,,2,1, ，其中：

()k G j 为聚类中心()k Z j 的样本聚类。在第k 次迭代，分配各个样本X 到k 个

聚类中心

Stept3:从第二步的计算结果计算新的聚类中心。

()()

∑∈=

+k G X i j

j j i X N k Z 11，其中k j ,,2,1 =

上面应经证明，该聚类中心可以使准则函数的j J 值达到最小。 Stept4;若新的聚类中心与前一个聚类中心相等，即

()()k j k Z k Z j j ,,2,1,1 ==+

则算法收敛，聚类结束。否则，转入第二步。

K 均值方法的特点：该算法的特点是运算结果受所选的聚类中心的数目，初始位置，模式样本的几何性质以及读入的次序的影响。在实际运用时，要试探选择不同的K 值和起始聚类中心。如果模式样本为N 个孤立的区域分布，则一般都能得到收敛结果。

（二）Kmedoid 方法

Kmedoid 方法同Kmeans 方法类似，它们之间的差别就是Kmedoid 方法中的最新的聚类中心是集合中的点到原来聚类中心的点最近距离的点，即：聚类中心都是集合中的点。

Stept1:任选k 个初始聚类中心()()()l Z l Z l Z k 21,

Stept2:计算每个样本到k 个聚类中心的距离，并按最近规则归类。

若()()2

2

k Z X k Z X i j -<-，则()j i k i k G X j ≠=∈,,2,1, ，其中：

()k G j 为聚类中心()k Z j 的样本聚类。在第k 次迭代，分配各个样本X 到k 个聚

类中心

Stept3：从第二步的计算结果计算新的聚类中心。

()()

∑∈=

+k G X i j

j j i X N k V 11，其中k j ,,2,1 =

然后求解问题()()2

min k V X j k G X j -∈，得到的X 定义为第J 类得新的中心。

即定义()X k Z j =+1。

Stept4：若新的聚类中心与前一个聚类中心相等，即

()()k j k Z k Z j j ,,2,1,1 ==+

则算法收敛，聚类结束。否则，转入第二步。

通过算法过程可以发现，该算法与Kmeans 方法除了第三步不同外， 其他的过程都是相同的。

下面给出Kmeans 方法与Kmedoid 方法对同一组数据的聚类结果。

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

00.10.20.30.40.50.60.70.80.91

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

00.10.20.30.40.50.60.70.80.91

该图为Kmeans 方法分为3类和4类得结果.可以发现该聚类中心并不是集合中本 身的点。

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

00.10.20.30.40.50.60.70.80.91

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

00.10.20.30.40.50.60.70.80.91

图为用Kmeans 方法得到的3类和4类的结果

从图中可以看出，Kmedoid 方法分类中，聚类中心点全是集合本身的点，且与Kmeans 方法比较，聚类中心点近似的，且分类结果也差不多。

注：Kmeans 方法和Kmedoid 方法对初始值要求比较敏感，且要求各类的密度差不多。

（三)谱聚类

为了能在任意形状的样本空间上聚类，且收敛于全局最优解，现研究利用谱方法来聚类。谱方法聚类是由数据点间相似关系建立矩阵，获取该矩阵的前n 个特征向量，并且用它们来聚类不同的数据点。谱聚类方法建立在图论中的谱图理论上。谱聚类算法将数据集中的每个对象看作是图的顶点V ，将顶点间的相似度量化作为相应顶点连接边E 的权值，这样就得到一个基于相似度的无向加权图G(V, E)，于是聚类问题就可以转化为图的划分问题。基于图论的最优划分准则就是使划分成的子图内部相似度最大，子图之间的相似度最小。

针对这个问题，Shi 和MalikEz 提出了基于将图划分为两个子图的2-way 目标函数Ncut ：

()()()()∑∑∑∑∑∈∈∈∈===

+=B j i

ij

B A i j

ij A B

j A i ij

w d w d w B A cut dB

B A cut dA B A cut B A NCut ,,,,,min ,

其中cut(A ，B)是子图A ，B 间的边，又叫“边切集”。其中ij w 为连点之间定义的权重。

我们可以看出改进后目标函数不仅满足类间样本间的相似度小，也满足类内样本间的相似度大。