SPSS聚类分析详解

X2 X4 X5
X4
X7 X8
0.93
0.68 0.49
X1 X6 X3
X1 X6 X3 X2 X4 X7
X2 X4 X7
X5 X8
0.47
-0.94
按矩阵R中数值对8个指标（按四个原则）进行聚类：
1）记下矩阵中的最大值 r 16 0.99 ，划去第6行第6列 2）记下矩阵中的最大值 r 13 0.96 ，划去第3行第3列 以此类推。
观测量概述表
聚类步骤，与图结合看！
4、5
聚类方法有系统聚类和逐步聚类，输入数据集可以是普 通数据集、相关矩阵（CORR过程产生）或协方差矩阵 （FACTOR等过程产生）。SAS提供的聚类过程有：
1、CLUSTER对坐标数据或距离数据的观测值用11种方 法进行系统聚类，当观测值数太多时，不宜直接采用。
1
1
1 0.914 1 0.841 0.927 1 0.994 0.899 0.787 1 0.928 1 0.921 0.916 1
按四条原则进行分类
作聚类分析图
X3 X6 X1 X4 X2 X5
0.933 0.994 1 0.994 0.955
一、问题提出 聚类分析——对一批样品或指标进行分类的一种统 计方法。 具体处理方法：（思路） 1、具体研究的分类对象：样品或指标 2、方法：把“性质相似”或“相互关系密切”的样品 或指标聚在一起。
作聚类图：
X1
0.97
X5
X3
0.94 0.51 0.91
X2
X4
0.67
X6
X7
0.24
2）利用相关作聚类分析 例：设有n个样品，每个样品测得8个指标X1， X2，…，X8。要求对8个指标进行聚类，聚类统计 量采用相关系数 rij
rij
X X
ik
X j X jk X j X i X jk X j
相似系数 0.97 0.94
1 0.86 1 0.54 0.74 1 0.92 0.15 0.52 1 0.20 0.30 0.16 0.24 1
1 2 3 4 5 6
X2
X2 X4 X1 X5 X3
X4
X6 X2 X4 X6
0.91
0.67 0.51
X1 X5 X3
2 2
ik
设相关矩阵R = （
rij
）为：
R= 1 1 1 0.47 2 0.96 3 0.45 4 0.94 5 0.99 6 7 0.45 8 0.38
2
1 0.57 0.93 0.46 0.53 0.68 0.80
3
1 0.49 0.94 0.96 0.15 0.51
解析几何知识：相似系数
Cos ij X iX j Xi X j
X
k 1 p k 1
p
ik
X jk
p 2 jk
X X
2 ik k 1
其中：
X i1 X i2 Xi X ip
X j1 X j2 Xj X jp
美国十个城市的分类
根据两个城市见航空距离将美国十个大城市作 分类
二、聚类统计量
首先定义一些分类统计指标 —— 刻画样或指标之 间的相似程度（这些统计指标称为聚类统计量） 在市场研究中，样品 —— 用作分类的事物 指标 —— 用来作为分类依据的变量。 （如：年龄、收入、销售量） （一）相似系数（夹角余弦） 一般式：假定每个样品包含有P项指标，若有几个样品 的调查数据
Hierarchical Cluster
系统聚类法优点： 既可以对观测量（样品）也可对变量进行 聚类，既可以连续变量也可以是分类变量，提 供的距离计算方法和结果显示方法也很丰富。
应用实例
某电冰箱厂开发某一新产品，在投放市场前希望对以往经销 的国内6个地区征集对新产品的评价，若对新产品的评价指 标有三项：式样、性能、颜色，评价的调整表采用10分制， 调查结果的数据如下表
1 1
2
3
4
5
6
7
2
Q= 3 4 5 6 7
1 0.51 0.94 0.81 0.97 0.20 0.24
1 0.83 0.91 0.01 0.67 0.41
1 0.86 1 0.54 0.74 1 0.92 0.15 0.52 1 0.20 0.30 0.16 0.24 1
1
按就近原则将每个观测量选入一个类中，然后计算各个类的中 心位置，即均值，作为新的聚心。 3、使用计算出来的新聚心重新进行分类，分类完毕后继续计 算各类的中心位置，作为新的聚心，如此反复操作，直到两次 迭代计算的聚心之间距离的最大改变量小于初始聚类心间最小 距离的倍数时，或者到达迭代次数的上限时，停止迭代。
Cos 1n Cos 2 n Cos nn

，就可对n个样品进行聚类
用相似系数作为聚类统计量时的分类方法 1、分类原则： （1）若选出一对样品，在已分好的类中未出现，则形 成一个独立新类。 （2）若选出两个样品中，有一个是在已分好的类中出 现过，则把另一个样品也加入到该类中去。
每一个样品都可看成P 维空间中的一个向量
X 11 X 12 X1 X 1p
X 21 X 22 X2 X 2p

X n1 X n2 Xn X np
X2 X4 X6
X7
0.24
按矩阵中的数值对7个样品（按四个原则）进行聚类
1、记下Q中最大值q15=0.97，划去Q中的第5行第5列 2、记下Q中剩余元素最大值q13=0.94，划去Q中的第3 行第3列
（3）记下Q中剩余元素最大值q24=0.91，划去Q中的第4 行第4列 （4）记下Q中剩余元素最大值q26=0.67，划去Q中的第6 行第6列 （5）记下Q中剩余元素最大值q12=0.51，划去Q中的第2 行第2列 （6）记下Q中剩余元素最大值q17=0.24
1 Cosij 1
如果把上述n个样品的任何两个样品的相似系数
Cos ij (i, j 1,2,, n) 都计算出来并排列成一
个矩阵：
Cos 11 Cos 21 Cos n1
根据算出的
Cos12 Cos 22 Cos n 2

1 0.87 1 0.49 0.96 1 0.73 0.50 0.49 1 0.78 0.49 0.45 0.88 1
4
5
6
7 8
顺序
连结样品 X1 X1 X6 X6 X3
相似系数 0.99 0.96
1 2 3 4 5 6 7
X2
2、FASTCLUS对于坐标数据，用K-均值法对观测值进 行逐步聚类，当观测值很多时，则先用FACTCLUS过程 对其进行初步聚类，然后再用CLUSTER过程进行系统 聚类。 3、VARCLUS通过斜交多组分量分析对变量进行系统聚 类或逐步聚类。 4、TREE为CLUSTER或VARCLUS过程产生的输出画 树状图。
（R型）。
2、非系统聚类法-----（快速聚类法----K-均值聚类法）（K-means Cluster) 3、两步聚类法-----一种探索性的聚类方法（TwoStep Cluster）
K-均值聚类分析
K-means Cluster
又称为快速样本聚类法，是非系统聚类中最常用的聚类法。 优点： 是占内存少、计算量小、处理速度快，特别适合大样本的 聚类分析。 缺点：
聚类分析
聚类分析是研究（样品或指标）分类问题的一种多元统计方法。类是指相似元 素的集合。
分类： 1、系统聚类法------（分层聚类）系统聚类法是应用最广泛的一种
（Hierarchical Cluster过程）
1）、 聚类原则：都是相近的聚为一类，即距离最近或最相似的聚为 一类。 2）、 分层聚类的方法可以用于样本聚类（Q）型，也可以用于变量聚类
（3）若选出一对样品，都分别出现已经分好的两类中， 则把这两个类联结在一起。
（4）若选出的一对样品都出现在同一组中，则这对样 品就不用再分组了。 按上述四条原则反复进行，直到把所有样品都分类完毕， 最后以分类图形式表示
2、分类方法 例：设有7个样品，每个样品测得P个指标，数据如表 指标
样品
X1
X2
应用范围有限，要求用户制定分类数目(要告知)，只能对 观测量（样本）聚类，而不能对变量聚类，且所使用的聚类变 量必须都是连续性变量。
基本原理
具体做法 1、按照指定的分类数目n，按某种方法选择某些观测量，设为 {Z1，Z2，…Zn}，作为初始聚心。 2、计算每个观测量到各个聚心的欧氏距离。即
2 m 2 d ij xi z j xik x jk k 1
X3
X4
X5
X6
X7
X1 X2 XP

要求对此7个样品进行聚类，采用的聚类统计量是 相似系数（夹角余弦）
Cos ij
X iX j Xi X j

X
k 1 p k 1
p
ik
X jk
p
2 2 X X ik jk k 1
首先计算所有的两个样品间的相似系数
Q (Cos ij ) (qij )
作聚类图：
X1
0.99 0.96 0.47 0.93 0.68
X6
X3 X4 X2 X7 X5 X8
-0.94 0.49
主要城市日照时数
注：连续变量
SPSS提供不同类间距 离的测量方法