第6章_聚类分析

24
快速聚类法的步骤
注：在SAS系统proc fastclus过程中，分类数k 是事先给定的。在给定k以后， proc fastclus过 程会按上述方法算出初始聚点的。
25
快速聚类法的计算步骤
先假设聚类中采用的距离是欧式距离，即
d ( xi , x j ) || xi x j || [( xi x j )T ( xi x j )] .
1 n S ( xi x)( xi x)T n 1 i 1
1 n 其中 类法中，因为样品一旦被归到某个类后 就不变了，所以要求分类方法比较准确。而样品 容量较大时，谱系聚类法的计算量过大。因此， 为了弥补谱系聚类法的不足，产生了快速聚类法， 又称动态聚类法。 快速聚类法先将样品粗糙地分一下类，然后再按 照某种原则进行修正，直至分类比较合理为止。
然后，选择第3个聚点xi3，使得 xi3 与前两个聚 点的距离最小者等于所有其余的与xi , xi 的最小距 1 2 离中最大的，用公式表示为
23
快速聚类法的步骤
min{d ( xi3 , xir ), r 1, 2} max{min[d ( x j , xir ), r 1, 2], j i1 , i2 }.
其中 ni是类 聚点集合：
Gi(0) 中的样品数。这样，得到新的
(1) (1) (1) L(1) {x1 , x2 ,, xk }.
27
快速聚类法的计算步骤
从 L(1) 出发，将样品作新的分类。记
Gi(1) {x : d ( x, xi(1) ) d ( x, x(1) ), j 1,2,, k, j i}, i 1,2,, k. j
10
例 6.1
表6.2 1991年5省城镇居民月均消费（单位：元/人）
指标
省份
x1 7.90 7.68 9.42 9.16
x2
x3
x4
x5
x6
x7
x8 13.29 14.87 9.76 11.35
辽宁 浙江 河南 甘肃
39.77 8.49
12.94 19.27 11.05 2.04
50.37 11.35 13.30 19.25 14.59 2.75 27.93 8.20 27.98 9.01 8.14 9.32 16.17 9.42 15.99 9.10 1.55 1.82
13
聚类分析中的常用距离
绝对距离
d ( xi , x j ) xik x jk . (6.3)
k 1 p
Minkowski距离
m p d ( xi , x j ) xik x jk , m 1 (6.4) k 1 1 m
当 m 2,1时分别是欧式距离、绝对距离。 Minkowski距离又称 距离， 距离即欧式距离， Lm L2 距离即绝对距离。 L1
3
聚类分析的基本思想及意义
多元数据形成数 据矩阵，在这个 数据矩阵中，共 有n个样品
样品 指标
x1
x11 x12
x2 x j xn
x21 x j1 xn1 x22 x j 2 xn 2
x1 , x2 ,, xn
（列向），p个指 标（行向）。聚 类分析有两种类 型：按样品聚类 或按变量聚类。
21
快速聚类法的步骤
如何选择聚点？ 1）经验选择。如果对研究对象比较了解， 根据以往的经验定下k个样品作为聚点。 2）将n个样品人为地（或随机地）分成k类， 以每类的重心作为聚点。
22
快速聚类法的步骤
3）最小最大原则。 设要将n个样品分成k类，先选择所有样品中距 离最远的两个样品 xi1 , xi2为前两个聚点，即选择xi1 和 xi2 ，d ( xi , xi ) di i max{dij } 1 2 12
2
.
1 2
(6.7)
加权距离。
* xik 计算欧式距离时，即是方差 对标准化数据
17
聚类分析中的常用距离
马氏距离
d ( xi , x j ) [( xi x j )T S 1 ( xi x j )]
1 2
(6.8)
其中 S 是由样品 x1 , x2 ,, xn算得的协方差矩阵：
0 d 21 d n1 d12 d1n 0 d2n , dn2 0 (6.2)
其中 dij d ji .
9
例 6.1
为研究辽宁、浙江、河南、甘肃、青海5省份1991年城镇 居民生活消费规律，需要利用调查资料对这5个省分类。 指标变量共8个，含义如下： x1：人均粮食支出， x2：人均副食支出， x3：人均烟酒茶支出， x4：人均其他副食支出， x5：人均衣着商品支出， x5：人均日用品支出， x7：人均燃料支出， x8：人均非商品支出。 数据资料示于表6.2。将每个省份的数据看成一个样 品，计算样品之间的欧式距离矩阵。
1 2 2 1 2 2
12
例 6.1
从而得到距离矩阵如下：
0 11.67 0 , D 13.80 24.63 0 13.12 24.06 2.20 0 12.80 23.64 3.51 2.21 0
（因是对称矩阵，故只用下三角部分表示） D中各元素数值的大小，反映了5个省消费水平的 接近程度。
在聚类分析中,有些距离不满足3）,我们 在广义上仍称它为距离。
8
聚类分析中的常用距离
欧式距离 d ( xi , x j ) ( xik x jk )2 . (6.1)
p 1 2
k 1

令 dij d ( xi , x j ) ，D (dij ) p p 形成一个距离矩阵
xi( m1) xi( m) , Gi( m1) Gi( m) ,
( ( G( m1) {G1( m1) , G2m1) ,, Gk m1) }.
xi( m ) 是类
Gi( m 1) 的重心。
29
快速聚类法的计算步骤
( 与 G(m) {G1(m) , G2m) ,, Gk(m) } 完全相同，计算即告结束。 D ( xi( m ) , Gi( m ) ) d ( xl , xi( m ) ), 记
5
聚类分析的方法
重点介绍 快速聚类法 谱系聚类法
6
样品间的相似性度量－距离
设有n个样品的多元观测数据： xi ( xi1, xi 2 ,, xip )T , i 1,2,, n. 每个样品可看成p元空间的一个点，n个样品 组成p元空间的n个点。 我们用各点之间的距离来衡量各种样品之间 的相似程度 。
得到分类
(1) (1) G(1) {G1(1) , G2 ,, Gk },
这样，依次重复计算下去。
28
快速聚类法的计算步骤
3）设在第m步得到分类
( ( G( m) {G1( m) , G2m) ,, Gk m) }.
在以上递推计算过程中， 不一定是样品，又一般不是 的重心。当m逐渐 xi( m) Gi( m) 增大时，分类趋于稳定。此时， 就会近似为 Gi( m) 的重心，从而算法即可结束。实际计算时，从某 一步m开始，分类
然后按相同的原则选取 xi4，依次下去，直至选定 个聚点 xi1 , xi2 ,, xik 。 若已选了L个聚点（L<k）,则第L+1个聚点选取 的原则为
min{d ( xil 1 , xir ), r 1, 2, , l} max{min[d ( x j , xir ), r 1, 2,, l ], j i1 ,, il }.
14
聚类分析中的常用距离
Chebyshev距离
d ( xi , x j ) max xik x jk .
1 k p
(6.5)
Chebyshev距离是Minkowski距离当m 时的 极限。
15
聚类分析中的常用距离
以上距离与各变量指标的量纲有关，为消除量纲 的影响，有时应先对数据进行标准化，然后用标 准化数据计算距离。标准化数据
26
快速聚类法的计算步骤
依照以上计算，得到一个初始分类
(0) (0) G(0) {G1(0) , G2 ,, Gk }.
2）从 G 出发，计算新的聚点集合 。以 L(1) 1 x 的重心 x , i 1, 2,, k. G n 作为新的聚点：
(0)
(0) i
(1) i
l
i
xl Gi(0)
7
样品间的相似性度量－距离
设 d ( xi , x j ) 是样品 xi , x j 之间的距离，一 般要求它满足下列条件：
1) d ( xi , x j ) 0
且d ( xi , x j ) 0当且仅当xi＝x j ;
2) d ( xi , x j ) d ( x j , xi ); 3) d ( xi , x j ) d ( x j , xk ) d ( xk , x j ).
x1 x2
x1 p x2 p x jp xnp xp
4
聚类分析与判别分析的区别和联系
区别：聚类分析一般寻求客观的分类方法。在进 行聚类之前，对总体到底有几类类型未知（究竟 分几类较为合适，需从计算中探索调整）。 判别分析则是在总体类型划分已知，在各总 体分布或来自总体训练样本基础上，对当前的新 样本判定它们属于哪个总体。 联系:当我们对研究的多元数据的特征不熟悉，就 要先进行聚类分析，才能考虑判别分析问题。
xik xk x , i 1, 2,, n; k 1, 2,, p. (6.6) sk
* ik
其中
1 n 1 n 2 x k xik , sk ( xik x k )2 . n i 1 n 1 i 1