聚类分析算法解析.doc

聚类分析算法解析

一、不相似矩阵计算

1.加载数据

data(iris)

str(iris)

分类分析是无指导的分类，所以删除数据中的原分类变量。

iris$Species<-NULL

2. 不相似矩阵计算

不相似矩阵计算，也就是距离矩阵计算，在R中采用dist()函数，或者cluster包中的daisy()函数。dist()函数的基本形式是

dist(x, method = "euclidean", diag = FALSE, upper = FALSE, p = 2)

其中x是数据框（数据集），而方法可以指定为欧式距离"euclidean", 最大距离"maximum", 绝对值距离"manhattan", "canberra", 二进制距离非对称"binary" 和明氏距离"minkowski"。默认是计算欧式距离，所有的属性必须是相同的类型。比如都是连续类型，或者都是二值类型。

dd<-dist(iris)

str(dd)

距离矩阵可以使用as.matrix()函数转化了矩阵的形式，方便显示。Iris数据共150例样本间距离矩阵为150行列的方阵。下面显示了1~5号样本间的欧式距离。

dd<-as.matrix(dd)

二、用hclust()进行谱系聚类法（层次聚类）

1.聚类函数

R中自带的聚类函数是hclust()，为谱系聚类法。基本的函数指令是

结果对象 <- hclust（距离对象, method=方法）

hclust()可以使用的类间距离计算方法包含离差法"ward"，最短距离法"single"，最大距离法"complete"，平均距离法"average"，"mcquitty"，中位数法 "median" 和重心法"centroid"。下面采用平均距离法聚类。

hc <- hclust(dist(iris), method="ave")

2.聚类函数的结果

聚类结果对象包含很多聚类分析的结果，可以使用数据分量的方法列出相应的计算结果。

str(hc)

下面列出了聚类结果对象hc包含的merge和height结果值的前6个。其行编号表示聚类过程的步骤，X1，X2表示在该步合并的两类，该编号为负代表原始的样本序号，编号为正代表新合成的类；变量height表示合并时两类类间距离。比如第1步，合并的是样本102和143，其样本间距离是0.0，合并后的类则使用该步的步数编号代表，即样本-102和-143合并为1类。再如第6行表示样本11和49合并，该两个样本的类间距离是0.1，合并后的类称为6类。

head (hc$merge,hc$height)

下面显示的聚类结果对象hc包含的merge和height结果值的50~55步的结果。第50步结果表明样本43与13类（即第13步的聚类合类结果）合并。所有的类编号负数j表示原数据的样本编号，正数i表示聚类过程的第i步形成的新类。再如54步，表示聚类过程第7步和第37步形成的类合并为新类，新类成为第54类，其类间距离是0.2641715。data.frame(hc$merge,hc$height)[50:55]

3.绘制聚类图

聚类完成后可以使用plot()绘制出聚类的树图。

plot(hc, hang = -1, labels=iris$Species)

4.指定分类和类中心聚类

通过观察树形图，可见由于数据例很多，使图形很乱，不容易确定合理的分类，为简化图形，使用cutree()来确定最初的分类结果，先初步确定各个样本的最初分类的类数后，然后用hclust()再次聚类，重新聚类后，得出最后的分类结果。

memb <- cutree(hc, k = 10) #确定10个分类

table(memb) #各类中的样本数

为了进行重新聚类，需要计算各类的类中心的类中心，这里用各类的均向量来代表各类的类中心，计算程序如下。

cent <- NULL

for(k in 1:10){

cent <- rbind(cent, colMeans(irisSample[memb == k, , drop = FALSE]))

}

有了各类的类中心后，再次使用hclust()函数，从10类起重新开始聚类。hclust()函数这时需要指定各类的类中心，并采用中心法来聚类。

hc1 <- hclust(dist(cent), method = "centroid", members = table(memb))

plot(hc1)

hc1

再次聚类的树形图就很精简了。从树形图上看，确定为三类是比较合适的。

4.输出最终分类结果

使用cutree()来确定输出各个样本的最后分类。

memb <- cutree(hc, k =3 #确定3个分类

table(memb) #各类中的样本数

下面将聚类结果和原始的分类比较可见聚类结果是不错的。错误率约为14/150=9.33%。

5.直接数据距离阵聚类

可以直接输入距离矩阵，然后用as.dist()函数转为hclust()可以使用的距离阵对象，然后再用hclust()再进行聚类分析。

x<-read.table(text="

id BA FI MI VO RM TO

BA 0 662 877 255 412 996

FI 662 0 295 468 268 400

MI 877 295 0 754 564 138

VO 255 468 754 0 219 869

RM 412 268 564 219 0 669

TO 996 400 138 869 669 0 ", header=T) https://www.360docs.net/doc/169496409.html,s(x)<-x$id

x$id<-NULL

x

转换为距离阵。

x<-as.dist(x)

hc <-hclust(x)

显示聚类过程。

data.frame(hc$merge,hc$height)

绘制聚类图。

plot(hc2)

从聚类图可见聚为两类比较合适。

cutree(hc2,2)

所以BA、VO、RM聚为1类而TO、FI、MI聚为另一类。

四、使用cluster包进行聚类分析

1.计算距离矩阵

除了可以使用dist()函数外，加载了cluster包后还可以使用daisy()函数，该函数可以使用的数据类型更多一些。当原始数据表中包含的数据是混合型即属性变量既有有连续又有分类的时候，dist()计算就不够完美，而采用daisy()函数就可以毫无问题。使用daisy()必须加载cluster包。第一次使用还必须安装。

install.packages(‘cluster’,repos=’htt//192.168.3.225/rpkg)

library(cluster)

daisy()函数的形式和dist()相似，可以采用的距离包含欧式距离"euclidean", 绝对值距离和"manhattan", "gower"。

dd2<-daisy(iris)

dd2<-as.matrix(dd1)

2.使用agens()聚类

cluster包提供了两种层次聚类的方法，一种是a bottom-up 自底而上，采用先将数据样本先各自看成一类，然后通过合并法的聚类过程，最终形成一个大类，包含全部样本，agnes()函数完成这个功能，这个称为合并层次聚类。而diana()则采用相反的方法，即 a top-down 自顶而下，先将所有样本看成一类，然后通过分裂类的过程将样品最终分为各自样本类，这个称为分裂法。

agens()函数的形式是

agnes(x, diss = TRUE|FALSE, metric = "euclidean", stand = FALSE|TRUE,

method = "average", par.method, keep.diss = n < 100, keep.data = !diss) 其中的diss指定x对象是否是不相似矩阵对象，与hclust()函数不同，agnes()既可以使用原始数据也可以采用距离阵。stand是要求对数据进行标准化，而可以采用的类间距离计算方法有“average”平均法，“UPGMA”，“single”最短距离法，“complete”最大距离法，“ward”离差法，“weighted”权重平均距离法和“flexible”弹性法。keep.diss和keep.data指定在结果中是否保留不相似矩阵和数据，保留这些结果需要更多的内存。

ag <- agnes(iris, diss=F, metric="euclidean", stand=F, method ="single")

data.frame(ag$merge,ag$height)[50:55,]

plot(ag, ask = FALSE, which.plots = NULL)

cutree(ag,k=3)

装载数据

load'adultuci.rdata')

str(AdultUCI)

删除原来的目标变量

AdultUCI$income<-NULL

删除原始据中数据缺失的数据例AdultUCI<-na.omit(AdultUCI)