聚类分析-动态聚类讲解
聚类分析
聚类分析聚类分析又称群分析，它是研究（样品或指标）分类问题的一种多元统计方法，所谓类，通俗地说，就是指相似元素的集合。
聚类分析内容非常丰富，按照分类对象的不同可分为样品分类（Q-型聚类分析）和指标或变量分类（R-型聚类分析）；按照分类方法可分为系统聚类法和快速聚类法。
1. 系统聚类分析先将n 个样品各自看成一类，然后规定样品之间的“距离”和类与类之间的距离。
选择距离最近的两类合并成一个新类，计算新类和其它类（各当前类）的距离，再将距离最近的两类合并。
这样，每次合并减少一类，直至所有的样品都归成一类为止。
系统聚类法直观易懂。
1.1系统聚类法的基本步骤：第一，计算n 个样品两两间的距离 ，记作D= 。
第二，构造n 个类，每个类只包含一个样品。
第三，合并距离最近的两类为一新类。
第四，计算新类与各当前类的距离。
第五，重复步骤3、4，合并距离最近的两类为新类，直到所有的类并为一类为止。
第六，画聚类谱系图。
第七，确定类的个数和类。
1.2 系统聚类方法：1.2.1最短距离法1.2.2最长距离法1.2.3中间距离法1.2.4重心法1.2.5类平均法1.2.6离差平方和法（Ward 法）上述6种方法归类的基本步骤一致，只是类与类之间的距离有不同的定义。
最常用的就是最短距离法。
1.3 最短距离法以下用ij d 表示样品i X 与j X 之间距离，用ij D 表示类i G 与j G 之间的距离。
定义类i G 与j G 之间的距离为两类最近样品的距离，即ij G G G G ij d D j J i i ∈∈=,min设类p G 与q G 合并成一个新类记为r G ，则任一类k G 与r G 的距离是：ij G X G X kr d D j j i i ∈∈=,min ⎭⎬⎫⎩⎨⎧=∈∈∈∈ij G X G X ij G X G X d d q j k i p j k i ,,min ,min min {}kq kp D D ,min = 最短距离法聚类的步骤如下：ij d {}ij d（1）定义样品之间距离，计算样品两两距离，得一距离阵记为)0(D ，开始每个样品自成一类，显然这时ij ij d D =。
聚类分析
第二章聚类分析2·4 聚类的算法2.4.1 聚类的技术方案⑴简单聚类根据相似性阈值和最小距离原则聚类∀x i∈Ω={ x1,x2,…,x n} = ω1⋃ω2⋃…⋃ωc；if D(x i,m j)≤T, m j=(1/n j)∑x i(j)，x i(j)∈ωj，n j是ωj中的样本个数，T是给定的阀值。
Then x i∈ωi类心一旦确定将不会改变。
⑵谱系或层次聚类按最小距离原则不断进行两类合并类心不断地修正，但模式类别一旦指定后就不再改变。
⑶依据准则函数动态聚类影响聚类结果的主要因数：类心、类别个数、模式输入顺序。
所谓动态聚类，是指上述因数在聚类过程中是可变的。
规定一些分类的目标参数，定义一个能刻划聚类过程或结果优劣的准则函数，聚类过程就是使准则函数取极值的优化过程。
这类方法有—均值法、ISODATA法、近邻函数法以及运用图论理论的最小张树法。
2.4.2 简单聚类方法㈠根据相似性阈值和最小距离原则的简单聚类方法⒈条件及约定设待分类的模式为，选定类内距离门限。
⒉算法思想计算模式特征矢量到聚类中心的距离并和门限比较而决定归属该类或作为新的一类中心。
通常选择欧氏距离。
⒊算法原理步骤⑴取任意的一个模式特征矢量作为第一个聚类中心。
例如，令第一类的中心。
⑵计算下一个模式特征矢量到的距离。
若，则建立新的一类，其中心；若，则。
⑶假设已有聚类中心，计算尚未确定类别的模式特征矢量到各聚类中心的距离，如果，则作为新的一类的中心，；否则，如果( 2-4-1)则指判。
检查是否所有的模式都分划完类别，如都分划完了则结束；否则返到⑶。
⒋性能●计算简单。
●聚类结果很大程度上依赖于距离门限的选取、待分类特征矢量参与分类的次序和聚类中心的选取。
当有特征矢量分布的先验知识来指导门限及初始中心的选取时，可以获得较合理结果。
⒌改进通常采用试探法，选用不同的门限及模式输入次序来试分类，并对聚类结果进行检验,即用聚类准则函数J1。
聚类分析简介原理与应用
问题
Q型与R型聚类区别？
Q型聚类：当聚类把所有的观测记录（cases）进行分类时，它把性 质相似的观测分在同一个类，性质差异较大的观测分在不同的类。
R型聚类：当聚类把变量（variables）作为分类对象时。这种聚类 用在变量数目比较多、且相关性比较强的情形，目的是将性质相近 的变量聚类为同一个类，并从中找出代表变量，从而减少变量个数 以达到降维的效果。
系统聚类——方法
最长距离法
设两个类G l，G m 分别含有n1和n2个样本点
d lm m d i,j X a i G l x ,X j G m
min
iGp , jGk
dij
系统聚类——方法
若某步聚类将 G p 和 G q 合并为新类 G r ,即 Gr GpGq ,新类G r 与其他类 G k 间的距离递推公式为
Q型聚类统计量——距离
明氏距离测度 明考夫斯基(Minkowski)距离
设 x ix i1,
x i2,
, x ip 和
x (x,x, ,x)
j
j1 j2
jp
是第i和 j 个样品的观测值，则二者之间的距离为：
1
dij ( p | xik xjk |g)g k1
p
当q 1 时， dij
| xik xjk |
动态聚类步骤
动态聚类——凝聚点选择
凭经验选择，如果对问题已经有一定的了解，可将所有 的的样品大致分类，在每类选择一个有代表性的样品作 为聚类点 将所有的样品随机地分成k类，计算每一类的均值，将 这些均值作为凝聚点 采用最大最小原则，假设样品最终分为k类，先选择所 有样品中相距最远的两个样品为凝聚点，即选择 xi1, xi2 ， 使 d(xi1,xi2)madxij)(.选择第三个凝聚点 x i 3 与前面两个聚 类点的距离最小者等于所有其余的样品与 xi1, xi2 的最小距 离中最大的。
第十四章-聚类分析
也叫快速聚类\动态聚类、逐步聚类、迭代 聚类）（quick cluster method、kmeans model ）
适用于样本量很大的情形，用系统聚类法 计算的工作量极大，作出的树状图也十分复 杂, 不便于分析
1、原理
➢选择初始凝聚点 ➢根据欧氏距离将每个样品归类 ➢各类的重心代替初始凝聚点 ➢根据欧氏距离将每个样品归类，…… ➢直至达到指定的迭代次数或达到终止迭代的 判据要求
8.Mcquitty的相似分析法(Mcquitty's similarity analysis)
9.最大似然估计法(EML)
10.密度估计(density linkage)
11.两阶段密度估计法(two-stage density linkage)等。
4、系统聚类法的性质
➢ 单调性
中间距离法、重心法不具有单调性 ➢ 空间的浓缩与扩张
4、菜单：
Analyze-classify-K means Cluster
5、分析实例(P416 data13-02)
三、Hierarchical Cluster 过程 1、系统聚类的基本思想
➢ 相近的聚为一类(以距离表示，样品聚类) ➢ 相似的聚为一类(以相似系数表示，变量聚类)
2、方法原理
9、共线性问题
对纪录聚类结果有较大的影响 最好先进行预处理
10、变量的标准化
变量变异程度相差非常大时需要进行 标准化后会削弱有用变量的作用
11、异常值
影响较大 还没有比较好的解决办法 应尽力避免
12、分类数
从实用角度讲，2～8类比较合适
13、专业意义
一定要结合专业知识进行分析
二、K-means Cluster 过程
聚类分析
（1）以专业知识而定。
（2）以并类距离Ipq 依分类数（g）作图，这是一个 单调降的曲线，寻找Ipq 的陡增点，曲线随g的增加 （减少）陡然减少（增加）作为合理分组的标志。
（3）采用多元方差分析方法，在可能分组的范围内， 计算组内平方乘积和阵(W)和组间平方乘积和阵(B)， 再计算Λ=det(W)/det(W+B)，使其在可能的分组范围 内最小化。最小的Λ（或最小概率）对应的g，即是 可能合适的分组。 （4）采用g2|W|作标准，使其在可能的分组范围内最 小化。
继续寻找最小的平方距离（组内平方和增量的两 倍）的两组合并，直至成为1组。
3.2.5 系统聚类的性质和优缺点：
1、系统聚类的性质 1）组数的确定 系统聚类把 n 个个体从 n 类聚集到1类，得 到了一个树状分枝图(dendrogram)，好像放倒 的一棵树，每一个体像是树干、树枝上的一 片叶子。但聚类分析的目的并非如此，而是 分成若干个（g）类群，也即是在树枝的适当 位置截断，截成 g 个类群。如何截取？
2、系统聚类的优缺点：
1）能图形显示个体间、组间的相互关系，
直观醒目；
2）在选定一种聚类方法后，不受数据初始 顺序的影响，结果是唯一的； 3）方法简单，编成的程序很短，也有很多 现成的软件可供选用，使用方便。
4）不同的方法可能产生很不相同的聚类树， 不同方法的优点不可兼得。相对而言，最小 组内平方和法（较适合用于每组个体数大致 相等的情形）和组平均法效果较好，其他方 法效果相对较差或只适用于某些场合； 5）图形聚类树的表现能力有限，不适合用于 大量数据； 6）系统聚类的分类结果在大多数情况下并不 合理。
如将（1、2、5、7、9、10）6个一维数据点聚 成两类时，所有的系统聚类方法都会得到第一类 G1=(1, 2), 第二类G2=(5, 7, 9, 10)的结果。而若将 其分成G1=(1, 2, 5), G2=(7, 9, 10)两类，不论用何 种标准度量，均比前述的分类结果要好，但系统 聚类方法无法实现此种分法。当涉及的分类单位 较多时，这样的缺陷更加明显，任何系统聚类方 法都无力改正这样的缺陷。 这些系统聚类方法在上一世纪50-60年代定型， 以后几乎没有进展，由于其先天存有缺陷，确实 很难有能取代前述方法的新系统聚类方法面世。
聚类分析法
2020/7/31
30
2.模糊聚类分析步骤 第二步：建立模糊相似矩阵。
2020/7/31
31
2.模糊聚类分析步骤 第三步：获得模糊分类关系。
2020/7/31
3糊相似矩阵 进行聚类处理。将 类逐渐合并，最后得到聚类谱系图，从而进行合理的分类。
2020/7/31
6
xij
1.1 聚类与聚类分析
1.1.2聚类分析的原理
▪中心化变换
对于一个样本数据，观测p各指标，n个样品的数据资料
阵为
x11 x12
X
x21
x22
x1 p
x2
p
xn1 xn2
xnp
2020/7/31
7
xij
1.1 聚类与聚类分析
1.1.2聚类分析的原理 ▪标准化变换
②动态聚类分析法。是将n个样品初步分类，然后根据分类函数尽可能小的 原则，对初步分类进行调整优化，直到分类合理为止。这种分类方法一般称为 动态聚类法，也称调优法。
③模糊聚类分析法。是利用模糊数学中模糊集理论来处理分类问题的方法， 他对经济领域中具有模糊特征的两态数据或多态数据具有明显的分类效果。
④图论聚类分析法。是利用图论中最小支撑树（MST）的概念来处理分类问 题，是一种独具风格的方法。
1.2 聚类分析的种类
1.2.1 系统聚类分析法
1.2.2 动态聚类分析法
1.2.3 模糊聚类分析法
1.2.4 图论聚类分析法
2020/7/31
13
1.2.1 系统聚类分析法
1.基本思想和分析步骤
（1）基本思想 系统聚类分析的基本思想是，把n个样品看成p维（p个 指标）空间的点，而把每个变量看成p维空间的坐标轴，根据
聚类分析-动态聚类讲解
38
设 xi xi1 ,
xi2 ,
,
xip
和
x j
(x , x ,, x )
j1 j 2
jp
是第 i 和 j 个样品的观测值，则二者之间的相关
系数为:
其中
ij
( x p
k 1 ik
xi )( xjk
xj)
[
p
(
x
x
)2
][
p
(
x
x )2]
k 1 ik
i
k 1 jk
x11• x12•
x21• x22•
36
重心法（Centroid clustering):均值点的距离
x1, y1
x2, y2
•
•
37
离差平方和法连接
(2 3)2 (4 3)2 2
2，4
(6 5.5)2 (5 5.5)2 0.5
6，5
1，5
(1 3)2 (5 3)2 8
31
至此，我们已经可以根据所选择的距离构成 样本点间的距离表,样本点之间被连接起来。
Gq
Gp
G1
G1
0
G2
…
d12
…
G2
┇
d 21
┇
0 ┇
Gn
d
d…
n1
n2
G n
d 1n
d 2n
┇ 0
32
四、样本数据与小类、小类与小类之间的度量
1 、最短距离（Nearest Neighbor)
x11• x12•
23
例如，假设有一个二维正态总体，它的分布为：
聚类分析
聚类分析也是一种分类技术。
与多元分析的其他方法相比，该方法较为粗糙，理论上还不完善，但应用方面取得了很大成功。
与回归分析、判别分析一起被称为多元分析的三大方法。
聚类的目的。
根据已知数据，计算各观察个体或变量之间亲疏关系的统计量（距离或相关系数）。
根据某种准则（最短距离法、最长距离法、中间距离法、重心法），使同一类内的差别较小，而类与类之间的差别较大，最终将观察个体或变量分为若干类。
聚类分析又叫群分析、点群分析或者簇分析，是直接比较各事物之间的性质，将性质相近的归为一类，将性质差别较大的归入不同的类。
1、聚类分析聚类分析也称群分析、点群分析。
例如，我们可以根据各个银行网点的储蓄量、人力资源状况、营业面积、特色功能、网点级别、所处功能区域等因素情况，将网点分为几个等级，再比较各银行之间不同等级网点数量对比状况。
1、基本思想：我们所研究的样品（网点）或指标（变量）之间存在程度不同的相似性（亲疏关系——以样品间距离衡量）。
于是根据一批样品的多个观测指标，具体找出一些能够度量样品或指标之间相似程度的统计量，以这些统计量为划分类型的依据。
把一些相似程度较大的样品（或指标）聚合为一类，把另外一些彼此之间相似程度较大的样品（或指标）又聚合为另一类，直到把所有的样品（或指标）聚合完毕，这就是分类的基本思想。
在聚类分析中，通常我们将根据分类对象的不同分为Q型聚类分析和R型聚类分析两大类。
R型聚类分析是对变量进行分类处理，Q型聚类分析是对样本进行分类处理。
R型聚类分析的主要作用是：1、不但可以了解个别变量之间的关系的亲疏程度，而且可以了解各个变量组合之间的亲疏程度。
2、根据变量的分类结果以及它们之间的关系，可以选择主要变量进行回归分析或Q型聚类分析。
Q型聚类分析的优点是：1、可以综合利用多个变量的信息对样本进行分类；2、分类结果是直观的，聚类谱系图非常清楚地表现其数值分类结果；3、聚类分析所得到的结果比传统分类方法更细致、全面、合理。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
(3)名义尺度。指标度量时既没有数量表示 也没有次序关系，只有一些特性状态，如眼 睛的颜色，化学中催化剂的种类等。在名义 尺度中只取两种特性状态的变量是很重要的， 如电路的开和关，天气的有雨和无雨，人口 性别的男和女，医疗诊断中的“+”和“-”， 市场交易中的买和卖等都是此类变量。 显然， 对于具有多个特性状态的变量，可通过并类 的方法将其转化为二性状态变量。
2 ki
n
k 1
2 kj
d2 ij
1
C2 ij
27
五、距离和相似系数选择的原则 一般说来，同一批数据采用不同的亲疏测度指标， 会得到不同的分类结果。产生不同结果的原因，主要 是由于不同的亲疏测度指标所衡量的亲疏程度的实际 意义不同，也就是说，不同的亲疏测度指标代表了不 同意义上的亲疏程度。因此我们在进行聚类分析时， 应注意亲疏测度指标的选择。通常，选择亲疏测度指 标时，应注意遵循的基本原则主要有：
k 1 ik
2 jk
18
闵科夫斯基距离主要有以下两个缺点： ①闵氏距离的值与各指标的量纲有关，而各指标
计量单位的选择有一定的人为性和随意性，各变量 计量单位的不同不仅使此距离的实际意义难以说清， 而且，任何一个变量计量单位的改变都会使此距离 的数值改变从而使该距离的数值依赖于各变量计量 单位的选择。
d 13
x21•
x22•
33
最长距离（Furthest Neighbor ）
•
x11•
d 12
•
•
x21•
• •
•
34
组间平均连接（Between-group Linkage)
•
•
• •
•
•
d1 d9 9
35
1 、组内平均连接法（Within-group Linkage)
d1 d2 d3 d4 d5 d6 6
30
(3)适当地考虑计算工作量的大小。如对大样本的 聚类问题，不适宜选择斜交空间距离，因采用该距离处 理时，计算工作量太大。样品间或变量间亲疏测度指标 的选择是一个比较复杂且带主规性的问题，我们应根据 研究对象的特点作具体分折，以选择出合适的亲疏测度 指标。实践中，在开始进行聚类分析时，不妨试探性地 多选择几个亲疏测度指标，分别进行聚类，然后对聚类 分析的结果进行对比分析，以确定出合适的亲疏测度指 标。
j
26
（2）夹角余弦
夹角余弦是从向量集合的角度所定义的一 种测度变量之间亲疏程度的相似系数。设在n维 空间的向量
xi x1i , x2i ,, xni x j x1 j , x2 j ,, xnj
cij c
ki
kj
x x n
k 1
24
(5) 斜交空间距离
由于各变量之间往往存在着不同的相关 关系，用正交空间的距离来计算样本间的 距离易变形，所以可以采用斜交空间距离。
12
dij
1 p2
pp
(x
h1k 1
ih
x jh )( xik
x
jk
)
hk
当各变量之间不相关时，斜交空间退化为欧氏距离。
25
2、相似系数的算法 （1）相关系数
xik
x jk )2
12
20
(3)兰氏距离 这是兰思和维廉姆斯(Lance & Williams)所给定的 一种距离，其计算公式为：
dij (L)
1m m k 1
xik xik
x jk x jk
这是一个自身标准化的量，由于它对大的奇异 值不敏感，这样使得它特别适合于高度偏倚的数据。 虽然这个距离有助于克服明氏距离的第一个缺点， 但它也没有考虑指标之间的相关性。
x11• x12•
x21• x22•
36
重心法（Centroid clustering):均值点的距离
x1, y1
x2, y2
•
•
37
离差平方和法连接
(2 3)2 (4 3)2 2
2，4
(6 5.5)2 (5 5.5)2 0.5
6，5
1，5
(1 3)2 (5 3)2 8
28
(1) 所选择的亲疏测度指标在实际应用中应有 明确的意义。如在经济变量分析中，常用相关系 数表示经济变量之间的亲疏程度。
29
(2)亲疏测度指标的选择要综合考虑已对样本观 测数据实施了的变换方法和将要采用的聚类分析方法。 如在标准化变换之下，夹角余弦实际上就是相关系数； 又如若在进行聚类分析之前已经对变量的相关性作了处 理，则通常就可采用欧氏距离，而不必选用斜交空间距 离。此外，所选择的亲疏测度指标，还须和所选用的聚 类分析方法一致。如聚类方法若选用离差平方和法，则 距离只能选用欧氏距离。
38
设原始观测数据矩阵为：
x11 x12 x1p
X
x21
x22
x2
p
xn1
xn 2
xnp
令xi*j xij xj (i 1,2,3,,n; j 1,2,3,, p)
8
中心化变换的结果是 1. 使每列之和均为0，即每个变量的均值为0； 2. 协方差阵不变； 3. 每列数据的平方和是该列变量样本方差的(n-1) 倍； 4. 任何不同两列数据之交叉乘积是这两列变量样 本协方差的(n-1)倍，所以这是一种很方便地计算 方差与协方差的变换。
6
二、数据的变换处理
所谓数据变换，就是将原始数据矩阵中 的每个元素，按照某种特定的运算把它变成 为一个新值，而且数值的变化不依赖于原始 数据集合中其它数据的新值。
7
1、中心化变换
中心化变换是一种坐标轴平移处理方法，它
是先求出每个变量的样本平均值，再从原始数据中
减去该变量的均值，就得到中心化变换后的数据。
13
4．对数变换 对数变换是将各个原始数据取对数，将原始数 据的对数值作为变换后的新值。即：
x* ij
log(xij )
14
三、样品间亲疏程度的测度
研究样品或变量的亲疏程度的数量指标有两种， 一种叫相似系数，性质越接近的变量或样品，它们 的相似系数越接近于1或-1，而彼此无关的变量或样 品它们的相似系数则越接近于0，相似的为一类， 不相似的为不同类；另一种叫距离，它是将每一个 样品看作p维空间的一个点，并用某种度量测量点 与点之间的距离，距离较近的归为一类，距离较远 的点应属于不同的类。
Rj
max (
i 1, 2 ,,n
xij
)
min( xij
i 1, 2 ,,n
)
0
x* ij
1
10
经过正规化变换后，数据矩阵中每列即每 个变量的最大数值为1，最小数值为0，其余数 据取值均在0～1之间；并且变换后的数据都不 再具有量纲，便于不同的变量之间的比较。
11
3、标准化变换 标准化变换也是对变量的数值和量纲进行类似于
9
2、极差正规化变换 正规化变换是从数据矩阵的每一个变量中找出其最大值
和最小值，这两者之差称为极差，然后从每个变量的每个 原始数据中减去该变量中的最小值，再除以极差，就得到 正规化数据。即有：
xij min( xij )
x* ij
i 1, 2 ,,n
Rj
(i 1,2,3,,n; j 1,2,3,, p)
21
(4)马氏距离
这是印度著名统计学家马哈拉诺比斯
(P．C．Mahalanobis)所定义的一种距离，其计算
公式为：
d2 ij
(xi
xj )1 (xi
xj)
分别表示第i个样品和第j样品的p指标观测值所组成 的列向量，即样本数据矩阵中第i个和第j个行向量的 转置，表示观测变量之间的协方差短阵。在实践应 用中，若总体协方差矩阵未知，则可用样本协方差 矩阵作为估计代替计算。
31
至此，我们已经可以根据所选择的距离构成 样本点间的距离表,样本点之间被连接起来。
Gq
Gp
G1
G1
0
G2
…
d12
…
G2
┇
d 21
┇
0 ┇
Gn
d
d…
n1
n2
G n
d 1n
d 2n
┇ 0
32
四、样本数据与小类、小类与小类之间的度量
1 、最短距离（Nearest Neighbor)
x11• x12•
17
2、常用距离的算法
(1) 闵科夫斯基距离
设 x x ,
i
i1
x, i2
,
x ip
和
x j
(x , x ,, x )
j1 j 2
jp
是第i和 j 个样品的观测值，则二者之间的距离
为：
1
d
(
p
|
x
x
|g )g
ij
k 1 ik
jk
特别，欧氏距离
dij
(x x ) p
规格化变换的一种数据处理方法。首先对每个变量进 行中心化变换，然后用该变量的标准差进行标准化。
即有：
x* ij
xij x j Sj
(i 1,2,3,,n; j 1,2,3,, p)
Sj
n
1
1
n
(
i 1
xij
xj )2
12
经过标准化变换处理后，每个变量即数据矩 阵中每列数据的平均值为0，方差为1，且也不再 具有量纲，同样也便于不同变量之间的比较。变 换后，数据短阵中任何两列数据乘积之和是两个 变量相关系数的（n-1）倍，所以这是一种很方便 地计算相关矩阵的变换。