第7章 聚类分析

三、社会发展与居民 物质生活水平
四、生态环境与 自然资源
8.Mcquitty的相似分析法(Mcquitty's similarity analysis) 9.最大似然估计法(EML) 10.密度估计(density linkage) 11.两阶段密度估计法(two-stage density linkage)等。
考虑类Gp与类Gq之间的距离，并假设类Gp中共有f个元素
3．重心法(Centroid clustering)
DC(p,q)=d xp , xq Nhomakorabeaxp
1 f
f
xi
i1
xq
1 f' f ' i1 xi
4．类平均法(Median clustering)
DM ( p,q)
1 ff ' iGp
dij 2
jGq
5．离差平方和法(Ward's method)
最短距离法适用于样品散点图(即将每个样品看成m 维空 间中的点所形成的图形)是条形图，甚至S形的类； 其它方法更适合于椭球形的类。
二.系统聚类分析(Hierarchical Cluster Analysis)
系统聚类分析是聚类分析中应用最广泛的一种方法， 凡是具有数值特征的变量和样品都可以采用系统聚类法，
腰围
0.76
1
1
0.60
解：体重对胸围
R12
(0.85)2 (0.76)2 31
0.65
胸围对体重及腰围
R22
(0.85)2 (0.60)2 31
0.54
腰围对体重及胸围
R32
(0.76)2 (0.60)2 31
0.47
由于
R12 ＞ R22 ＞ R32
所以选择体重作为这一类的代表性指标。一般来说，在身
常用的聚类方法有系统聚类法、模糊聚类 法、动态聚类法、有序样本聚类法、分解法、 加入法等等。
二．分类
对样品聚类—Q型聚类—距离系数
分类 对变量聚类—R型聚类—相似系数
三．聚类分析的基本步骤
(1) 选择描述事物对象的变量(指标)。 (2) 建立样品数据资料矩阵。 (3) 确定数据是否要标准化。 (4) 确定表示对象距离或相似程度的统计量。 (5) 选择适当的事物聚类方法，进行聚类。
聚类分析的应用例子
不同地区城镇居民收入和消费状况的分类 研究。
区域经济及社会发展水平的分析及全国区 域经济综合评价
在儿童生长发育研究中，把以形态学为主 的指标归于一类，以机能为主的指标归于 另一类
7.1 聚类分析概述
一．定义 聚类分析是根据对象的特性对其进行定量
分类的一种多元统计方法 ，是从数值分类学中 分离出的一种科学的分类法。
设Gt类中第i个元素为xit，nt为Gt中元素的个数，
xt 为Gt类之重心，则nt Gt类中元素的离差平方和为
St (xit xt )T (xit xt )
i1
类Gp与类Gq之间的离差平方和距离为
DW 2 ( p, q) S pq S p Sq
Sp+q表示Gp和Gq两类合并后的类Gp∪Gq的元素 离差平方和。
3.聚类分析时到底选择哪一种分类统计量，有时并无 最优或唯一选择，通常也可尝试性地多选择几个不同的度 量值进行聚类，通过比较分析确定。
7.3 系统聚类法
系统聚类法的聚类效果一方面取决于分类统计量的选 择，另一方面还取决于类间距离的定义。
系统聚类分析方法主要有：最短距离法、最长距离法、 中间距离法、重心法、类平均法、类间平均连接法、 类内平均连接法和离差平方和法。
系统聚类法
参与聚类的变量 标签变量,在分析结 果中用于区分样品 选择聚类类型 选择输出结果内容
保存结果 聚类方法
统计图 统计量
输出划分为m至n类 时样品或变量所属 类别的结果
凝聚状态表—显示聚类 过程中每一步合并的类
输出样品或变量间的 距离或相似系数矩阵
输出样品或变量 的所属类别
在编辑框中输入数值k， 输出划分为k类时样品或 变量所属类别的结果
类差，因此若指定一个距离的临界水平，可规定距离比临界
水平大的类不再聚合，这样可以在此水平上得到若干类。
３．系统聚类分析的应用
对变量聚类，可以使得具有共同特征的变量作
为一类，根据分类结果选择少数几个具有代表性的 变量进行其它统计分析。下面重点介绍变量分类后 代表性变量的选择方法。
用系统聚类法分类完之后，计算每类中相关指数的平均
案例１．6个民族的粗死亡率与期望寿命
待续！
案例二 全国区域经济综合评价
• X1 ——人均GDP(元) • X2 ——第三产业占GDP比重% • X3 ——商品出口依存度% • X4 ——研究与开发经费占GDP比重% • X5 ——工业化进程 • X6 ——人均财政教育经费(元) • X7 ——人口自然然增长率、p113 • X8 ——城镇人口比重% • X9 ——信息化综合指数% • X10 ——城镇居民恩格尔系数% • X11 ——城镇人均房屋使用面积(平方米) • X12 ——平均每名医生服务人口(人) • X13 ——“三废”处理治理达标率、% • X14 ——耕地垦殖指数（%） • X15 ——城市人均公共绿地面积(平方)米 • X16 ——污染治理项目投资占GDP比重（%）
第7章 聚类分析
聚类分析是根据研究对
象的特性，对样本或变 距
量进行定量分类的一种 离 5
多元统计方法。
4
3
2
1
0
53142
主要内容
7.1 聚类分析概述 7.2 分类统计量 7.3 系统聚类法 7.4 用SPSS进行聚类分析
聚类的目的
根据已知数据，计算各观察个体或变量之间 亲疏统计量。根据某种准则，使同一类内的 差别较小，而类与类之间的差别较大，最终 将观察个体或变量分为若干类。
✓相关系数实际上是对数据做标准化处理后的夹角余弦。
几点说明：
1.用距离作为亲疏程度的度量值时，距离越小，样品 之间的关联性越大；用相似系数作为亲疏程度的度量值时， 相似系数的绝对值越大，意味着指标之间的关联性越大。
2.有时样品之间也可以用相似系数来描述它们的亲疏 程度，变量之间也可以用距离来描述它们的亲疏程度。
高一定的前提下，体重比较重的人其胸围及腰围的指标也
都比较大些，符合常规。
7.4 用SPSS进行聚类分析
操作过程：
菜单Analyze→Classify→Hierarchical Cluster, 弹出Hierarchical Cluster Analysis对话框。
Classify
分类
Hierarchical Cluster
指标
地区 1.北京 2.天津 3.河北 4.山西 5.内蒙古 6.辽宁 7.吉林 8.黑龙江 9.上海 10.江苏 11.浙江 12.安徽 13.福建 14.江西 15.山东 16.河南 17.湖北 18.湖南 19.广东
一、经济水平与 经济结构
X1 X2 X3
二、科技进步与 人口素质
X4
X5 X6 X7
k 1
q=2时，欧氏(Euclidean )距离
闵氏距离适 用于一般p 维欧氏空间。 缺点是没有
m
dij
(xik x jk )2
k 1
考虑变量之 间的相关性。
二维空间欧式距离
2) 马氏(Mahalanobis)距离
dij2 (M ) (xi x j )T s1(xi x j )
s=(sij)
sij
1 n 1
n
( xki
k 1
xi )(xkj
xj)
xi
x j 分别为第i号样品和第j号样品各指标的均值
➢ 马氏距离适用于衡量来自正态总体的样品点之间接 近程度的距离；
➢ 优点：马氏距离既排除了各指标间的相关性干扰， 又消除了各指标的量纲．
2．相似系数
相似系数是用来描述指标间 亲疏程度的分类统计量。
(1) 0
(2) 7 0
(3) 2 5 0
(4) 9 4 8 0
距
(5) 3 6 1 5 0 离 5
4
3
2
1
0
53142
第一步：
(1)在矩阵D中寻找距离最小的dij值，记为di1,j1,合并第i1类 和第j1类为第n+1类；
(2) 第n+1类与其它各类的距离dn+1,k=min(di1,k,dj1,k)； (3) 得到新类后，原来的第i1类和第j1类的两个类号被撤销，
１．系统聚类法的基本思路是：
（1）先将各样品(或变量)各作为一类 （2）按类间距离度量准则将两类合并成为新类，并 计算新类与其他类的距离 （3）再按类间距离度量准则合并类。
２．系统聚类分析的算法步骤
【例7.1】 现有5个样品，以距离为分类统计量，其 距离矩阵D=(dij)为
(1) (2) (3) (4) (5)
聚类结果的树状图 聚类结果的冰柱图 聚类全过程的冰柱图 输出某个阶段的冰柱图
选择冰柱图的形式
系统聚类方法 数据的类型 连续变量（距离） 计数变量 二值变量 数据标准化变换 距离测量结果 的转换方法
只在进行样品 聚类时可用
生成一个新变量， 标明每个样品最 后所属的类
指定范围内的结 果，生成若干个 新变量 ，保存中 间指定分类结果
1) Pearson相关系数
n
(xti xi )(xtj x j )
rij
t 1 n
n
(xti xi )2 (xtj x j )2
t 1
t 1
✓两个变量相似系数的绝对值越接近于1，说明这两个变 量的关系越密切，性质越接近。
✓相似系数绝对值大的变量归为一类，相似系数绝对值小 的变量归属于不同的类。