第8章 聚类分析：基本概念和算法
第8章_聚类分析：基本概念和算法
How many clusters?
Six Clusters
Two Clusters
Four Clusters
不同的聚类类型
划分聚类（Partitional Clustering） 层次聚类（Hierarchical Clustering） 互斥（重叠）聚类（exclusive clustering） 非互斥聚类（non-exclusive） 模糊聚类（fuzzy clustering）
完全聚类（complete clustering） 部分聚类（partial clustering）
划分聚类（Partitional Clustering）
划分聚类简单地将数据对象集划分成不重叠的子集 ，使得每个数据对象恰在一个子集。
Original Points
A Partitional Clustering
不同的簇类型
明显分离的
基于原型的 基于图的
基于密度的 概念簇
簇类型: 明显分离的（Well-Separated）
每个点到同簇中任一点的距离比到不同簇中所有 点的距离更近。
3 well-separated clusters
簇类型:基于原型的
每个对象到定义该簇的原型的距离比到其他簇的 原型的距离更近。对于具有连续属性的数据，簇 的原型通常是质心，即簇中所有点的平均值。当 质心没有意义时，原型通常是中心点，即簇中最 有代表性的点。 基于中心的（ Center-Based）的簇：每个点到 其簇中心的距离比到任何其他簇中心的距离更近 。
什么是一个好的聚类方法?
一个好的聚类方法要能产生高质量的聚类结果——簇，这 些簇要具备以下两个特点：
第8章聚类分析
第8 章聚类分析在自然与社会科学研究中,存在着大量分类研究的问题，如病虫害种群消长演替规律的研究中，需要从生态系统出发，构造其数量、时间和空间关系的分类模式，以此来研究病虫害的发生规律。
聚类分析就是其分类研究的方法之一。
聚类分析是根据事物本身的特性研究个体分类的方法。
聚类分析的原则是同一类中的个体有较大的相似性，不同类中的个体差异很大。
根据分类对象的不同可分为样品聚类和变量聚类。
1)样品聚类样品聚类在统计学中又称为 Q 型聚类。
用 SPSS 的术语来说就是对事件(Cases)进行聚类，或是说对观测量进行聚类。
是根据被观测的对象的各种特征，即反映被观测对象的特征的各变量值进行分类。
2)变量聚类变量聚类在统计学又称为 R 型聚类。
反映同一事物特点的变量有很多，我们往往根据所研究的问题选择部分变量对事物的某一方面进行研究。
由于人类对客观事物的认识是有限的，往往难以找出彼此独立的有代表性的变量，而影响对问题的进一步认识和研究。
例如在回归分析中，由于自变量的共线性导致偏回归系数不能真正反映自变量对因变量的影响等。
因此往往先要进行变量聚类，找出彼此独立且有代表性的自变量，而又不丢失大部分信息。
8.1 快速聚类过程（K-Means Cluster ）调用此过程可完成由用户指定类别数的大样本资料的逐步聚类分析。
所谓逐步聚类分析就是先把被聚对象进行初始分类，然后逐步调整，得到最终分类。
[例子8-1]根据1962 年至1988 年积累的三化螟有关资料进行聚类分析，研究三化螟种群消长规律。
数据见表8-1，其中发生期是指卵盛孵高峰期（2 代以5 月31 日和3 代7 月20 日为零计算天数），F2-F3 为2 代至3 代的增殖系数，F3-F4 为3 代至4 代的增殖系数。
对幼虫发生量和发生期数据进行快速聚类，分析各年的发生程度。
1098.1.1 操作方法1）数据准备在数据管理窗口，定义变量名：年份、幼虫 2、幼虫 3、发生期 2、发生期 3、增殖23、增殖34，分别代表年份、第2 代幼虫发生量、第3 代幼虫发生量、第2 代发生期、第3 代发生期、F2-F3 增殖系数、F3-F4 增殖系数。
聚类分析的基本概念与方法
聚类分析的基本概念与方法聚类分析（Cluster Analysis）是一种将数据分组或分类的统计学方法，通过将相似的对象归为同一组，使得组内的对象之间更加相似，而不同组之间的对象则差异较大。
它是数据挖掘和机器学习领域中常用的技术之一，被广泛应用于市场分析、生物信息学、图像处理等领域。
一、聚类分析的基本概念聚类分析基于相似性的概念，即认为具有相似特征的对象更有可能属于同一类别。
在聚类分析中，每个对象都被视为一个数据点，而聚类则是将这些数据点分组。
基本概念包括以下几点：1. 数据点：数据集中的每个样本或对象都被看作是一个数据点，它具有多个特征或属性。
2. 相似性度量：聚类分析的关键是如何计算数据点之间的相似性或距离。
常用的相似性度量包括欧氏距离、曼哈顿距离、闵可夫斯基距离等。
3. 簇/类别：将相似的数据点归为一组，这个组被称为簇或类别。
簇内的数据点相似度较高，而不同簇之间的数据点相似度较低。
4. 聚类算法：聚类分析依赖于具体的算法来实现数据点的分组。
常见的聚类算法有K均值聚类、层次聚类、密度聚类等。
二、聚类分析的方法1. K均值聚类（K-means Clustering）：K均值聚类是一种迭代的聚类方法，它将数据点分成K个簇，每个簇代表一个样本集。
算法的基本思想是通过最小化簇内数据点与簇中心之间的平方误差来确定最优的簇中心位置。
2. 层次聚类（Hierarchical Clustering）：层次聚类是一种基于树状结构的聚类算法，它根据数据点之间的相似性逐步合并或分割簇。
层次聚类分为凝聚型和分裂型两种方法，其中凝聚型方法从单个数据点开始，逐步合并最相似的簇；分裂型方法从所有数据点开始，逐步分割最不相似的簇。
3. 密度聚类（Density-Based Clustering）：密度聚类基于密度可达的概念，将具有足够高密度的数据点归为一簇。
核心思想是在数据空间中通过密度连通性来确定簇的边界，相对于K均值聚类和层次聚类，密度聚类能够有效处理不规则形状和噪声数据。
聚类分析法ppt课件全
8/21/2024
25
1.2.2 动态聚类分析法
1.2 聚类分析的种类
（3）分类函数
按照修改原则不同，动态聚类方法有按批修改法、逐个修改法、混合法等。 这里主要介绍逐步聚类法中按批修改法。按批修改法分类的原则是，每一步修 改都将使对应的分类函数缩小，趋于合理，并且分类函数最终趋于定值，即计 算过程是收敛的。
8/21/2024
23
1.2.2 动态聚类分析法
1.2 聚类分析的种类
（2）初始分类 有了凝聚点以后接下来就要进行初始分类，同样获得初始分类也有不同的
方法。需要说明的是，初始分类不一定非通过凝聚点确定不可，也可以依据其 他原则分类。
以下是其他几种初始分类方法： ①人为分类，凭经验进行初始分类。 ②选择一批凝聚点后，每个样品按与其距离最近的凝聚点归类。 ③选择一批凝聚点后，每个凝聚点自成一类，将样品依次归入与其距离
8/21/2024
14
1.2 聚类分析的种类
（2）系统聚类分析的一般步骤 ①对数据进行变换处理； ②计算各样品之间的距离，并将距离最近的两个样品合并成一类； ③选择并计算类与类之间的距离，并将距离最ቤተ መጻሕፍቲ ባይዱ的两类合并，如果累的个
数大于1，则继续并类，直至所有样品归为一类为止； ④最后绘制系统聚类谱系图，按不同的分类标准，得出不同的分类结果。
8/21/2024
18
1.2 聚类分析的种类
（7）可变法
1 2 D kr
2 （8）离差平方和法
(D k 2 pD k 2 q)D p 2q
D k 2 rn n ir n n p i D i2 pn n ir n n q iD i2 qn rn in iD p 2 q
8/21/2024
chap8_聚类分析
-1.5
-1
-0.5
0
0.5
1
1.5
2
x
3
3
2.5
2.5
2
2
1.5
1.5
y
1
y
1 0.5 0.5 0 0 -2 -1.5 -1 -0.5 0 0.5 1 1.5 2 -2
-1.5
-1
-0.5
0
0.5
1
1.5
2
x
x
最优（全局最优）
次最优（局部最优）
初始质心选取是重要性 的 例1
Iteration 6 1 2 3 4 5
核心点是稠密区域内部的点
–
边界点：该点不是核心点（即在指定半径Eps内的点的个数小 于MinPts），但它落在某个核心点的邻域内 噪声或背景点：既非核心点，也非边界点的任何点。
–
核心点，边界点，噪声点
DBSCAN 算法
思想：任意两个足够靠近（相互距离在Eps之内的 ）的核心点将放入一个簇中 步骤：
piCluster i p jClusterj
|Cluster i ||Cluster j|
P324 例 8.6
5 2 5 2
4
1
0.25 0.2 0.15
3
1 4 3
6
0.1 0.05 0
3
6
4
1
2
5
邻近簇
树状图
层次聚类比较
5
1 3 5 2 4 4 2 3 1
4
1
2
5 MIN 6 3 MAX 2 3 1 6
簇
•具有一定的抗噪声能力 •能处理任意形状和大小的簇
聚类算法的不足
聚类分析解析课件
类间距的度量
类：一个不严格的定义
定义9.1:距离小于给定阀值的点的集合 类的特征
◦ 重心：均值 ◦ 样本散布阵和协差阵 ◦ 直径
类间距的定义
最短距离法 最长距离法 重心法 类平均法 离差平方和法 等等
最小距离法（single linkage method）
极小异常值在实际中不多出现，避免极 大值的影响
类的重心之间的距离
对异常值不敏感，结果更稳定
离差平方和法（sum of squares
method或ward method）
W代表直径，D2=WM－WK－WL
即
DK2L
nL nk nM
XK XL XK XL
Cluster K
Cluster M
Cluster L
◦ 对异常值很敏感；对较大的类倾向产生较大的距 离，从而不易合并，较符合实际需要。
如表9.2所示，每个样品有p个指标，共 有n个样品
每个样品就构成p维空间中的一个点
:第i个样品的第k个指标对应的取值
◦ i=1……n; k=1……p
:第i个样品和第j个样品之间的距离
◦ i=1……n; j=1……n
点间距离测量问题
样品间距离与指标间距离 间隔尺度、有序尺度与名义尺度 数学距离与统计距离 相似性与距离：一个硬币的两面
类图上发现相同的类
饮料数据
16种饮料的热量、咖啡因、钠及价格四种变量
SPSS实现
选择Analyze－Classify－Hierarchical Cluster, 然 后 把 calorie （ 热 量 ） 、 caffeine （ 咖 啡
因）、sodium（钠）、price（价格）选入 Variables, 在Cluster选Cases（这是Q型聚类：对观测 值聚类），如果要对变量聚类（R型聚类） 则选Variables, 为 了 画 出 树 状 图 ， 选 Plots ， 再 点 Dendrogram等。 可以在Method中定义点间距离和类间距 离
聚类分析法ppt课件
7
（2）计算样品的距离。
d ij xi x j yi y j
8
G1
D(0)
G2 G3
G4
G5
G1 G2 G3 G4 G5
0 0.34 1.37 1.34 1.33
0 1.03 1 1.67
0 0.63 1.3
0 0.67
0
9
（3）找出D(0)非对角线上的最小元素， 将其对应的两个类合并为一个新类。
0 0.63 1.30 0 0.67
0
19
0
D(2)
1.37 0
1.67 1.30
0
20
0 1.67
D(3)
0
21
G1 G2 G3 G4 G5
0.4
0.8 1.2 1.6 2.0
聚类距离
பைடு நூலகம்22
G1 G2 G3 G4 G5
0.2 0.4 0.6 0.8 1.0
G1 G2 G3 G4 G5
0.4
0.8
1.2
1.6
2.0
聚类距离
聚类距离
23
某村对5个地块就其土壤质地和土壤有机 质含量进行了评估，结果如下。请分别 使用最长距离法和最短距离法对这5个地 块进行聚类分析，要求分为两类。
地块 A
B
C
D
E
质地 8
3
6
6
4
有机质 5
7
4
9
7
含量
24
聚类分析法
Cluster Analysis
1
聚类分析
将具有相似(similarity)性质（或距离）的 个体（样本）聚为一类，具有不同性质 的个体聚为不同的类。
聚类分析法
聚类分析法聚类分析是一种常用的数据分析方法，主要用于将相似的样本归类到同一类别中。
它是数据挖掘和机器学习领域中非常重要的一项技术，被广泛应用于各个领域，如市场研究、医学诊断、社交网络分析等。
本文将介绍聚类分析的基本概念、方法和应用，并分析其优势和局限性。
聚类分析是一种无监督学习方法，它不依赖于事先标定好的训练数据集。
通过对给定的数据进行聚类，我们可以发现数据中隐藏的模式、结构和规律。
聚类分析的基本思想是通过计算样本之间的相似度或距离，将相似的样本归为一类，从而实现对数据的分类。
在聚类分析中，相似度或距离的度量是一个关键问题，常用的度量方法包括欧氏距离、曼哈顿距离、余弦相似度等。
聚类分析的方法主要有层次聚类和划分聚类两种。
层次聚类是将样本逐步合并或分割成不同的类别，形成层次化的分类结果。
划分聚类是将所有的样本划分为K个不相交的类别，每个类别之间是互不重叠的。
这两种方法各有优劣，选择何种方法取决于具体的问题和数据特点。
聚类分析的应用非常广泛。
在市场研究中，聚类分析可以将消费者按照其购买行为、兴趣偏好等特征划分为不同的群体，为企业提供有针对性的营销策略。
在医学诊断中，聚类分析可以将病人按照其病情特征进行分类，帮助医生进行准确的诊断和治疗。
在社交网络分析中，聚类分析可以将社交网络中的用户划分为不同的社区，研究社交网络的结构和特征。
然而，聚类分析也存在一些局限性和挑战。
首先，聚类算法的结果很大程度上依赖于选择的相似度或距离度量方法，不同的度量方法可能导致不同的聚类结果。
其次，聚类算法对初始的聚类中心的选择非常敏感，不同的初始选择可能会得到不同的聚类结果。
此外，聚类算法还面临维度灾难的问题，当数据的维度很大时，聚类算法的计算复杂度会急剧增加。
在实际应用中，我们还可以将聚类分析与其他数据挖掘方法相结合，以获得更好的分析结果。
比如，我们可以将聚类分析与关联规则挖掘结合起来，通过挖掘不同类别之间的关联规则，深入分析不同类别之间的关系。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
聚类分析：基本概念和算法
尤新革
电子信息与通信学院
国家防伪工程技术研究中心
youxg@
什么是聚类分析
聚类分析仅根据在数据中发现的描述对象及其关系的信息，将数据对象分组
组内对象相互之间是相似的（同质性），组间对象是不同的，同质性越大，组件差别越大，聚类就越好
Inter-cluster
distances are maximized Intra-cluster distances are minimized
什么是聚类分析
旨在理解的聚类
为了理解和分析数据，将其划分成具有公共特
性的对象组。
归类相关的文档方便浏览，归类具有相似功能
的基因和蛋白质，归类具有相似价格波动的股票。
旨在实用的聚类
为了进一步的数据分析和数据处理技术的预处理。
数据压缩，数据汇总。
什么不是聚类分析
监督式分类
具有先验的类标号信息。
简单的分割
根据姓名的起始字母将学生分成不同的组。
How many clusters?
Six Clusters
Four Clusters Two Clusters
聚类类型
层次的与划分的
嵌套的vs. 非嵌套的。
层次聚类是嵌套簇的集合，组织成树形，除叶结点外，树中每一个结点都是其子女的并。
划分聚类简单的将数据对象集划分成不重叠的子集，使得每个数据对象恰在一个子集中。
互斥的，重叠的和模糊的
互斥的(exclusive)：每个对象都被指派到单个簇。
重叠的(overlapping)：将对象合理的同时指派到多个簇中。
模糊的(fuzzy clustering)：对象以一个0(绝对不属于)和1(绝对属于)之间的隶属权值属于每个簇。
模糊集
完全的与部分的
完全聚类(complete clustering)：将每个对象指派到一个簇。
部分聚类不指派所有对象
离群点，不感兴趣的事件
簇类型
明显分离的簇
基于原型的簇
基于图的簇
基于密度的簇
概念簇
明显分离的簇
每个对象到同簇中每个对象的距离比到不同簇中任意对象的距离更近（或更相似）。
3个明显分离的簇
基于原型的簇
每个对象到定义该簇的原型的距离比到其他簇的原型的距离更近
质心
基于中心的簇
4个基于原型的簇
基于图的簇
结点是对象，边代表对象之间的联系，簇定义为互相连通但不与组外对象连通的对象组
每个对象到该簇某个对象的距离比到不同簇中任意点的距离更近
基于邻近的簇
基于密度的簇
簇是对象的稠密区域，被低密度的区域环绕
当具有噪声和离群点时，常常使用基于密度的簇定义
6个基于密度的簇
概念簇
簇定义为具有某种共同性质的对象的集合
2个重叠的环
聚类算法
K均值
基于原型的划分的聚类技术，试图发现用户指定个数的簇（由质心代表）。
凝聚的层次聚类
由多个单点簇重复合并，直到产生单个的包含所有点的簇。
DBSCAN
基于密度的聚类算法，个数自动确定。
忽略噪声，不完全聚类。
K均值用质心定义原型
1.基于原型的单层划分
2.每个聚类和一个质心点(中点)相关联
3.每个点被指派到与之最接近的质心所属的类中
4. 聚类的数量(K)必须被指定
1. 指派点到最近的质心
邻近度度量
欧式距离，余弦相似性 2. 质心和目标函数
3. 初始选择质心
a)通常随机选取初始质心
b)常常产生不同的聚类结果
随机初始化的局限
如果有K个自然簇，那么为每个簇都初始化一个质心的概率是很小的
当K很大时尤其如此
如果每个簇具有同样的大小n，则
当K=10，则概率为10!/1010 = 0.00036
对原数据抽样，使用层次聚类技术聚类，提取K个簇，并用这些簇的质心作为初始质心
取样样本较小
K相对于样本大小较小
选择离已经选取过的初始质心最远的点
得到随机的，散开的初始质心集合
会选中离群点，且开销非常大
二分K均值
对初始化问题不太敏感
后处理修补簇集
处理空簇
1.当所有的点在指派步骤都未分配到某个簇时发生；
2.需要某种策略来选择替补质心；
a) 选择一个距离当前任何质心最远的点；
消除当前对总平方误差影响最大的点
b) 从具有最大SSE的簇中选择一个替补质心；
将簇分裂并降低聚类的总SSE
3.如果有多个空簇，则过程重复多次。
离群点
1.使用平方误差时，离群点会过度影响所发现的簇
2.在可能的条件下，提前删除离群点
3.也可以在后处理时识别离群点
后处理
通过增加簇个数来降低总的SSE
1.分裂一个簇：选择具有最大SSE的簇;
2.引进一个新的质心：选择离所有簇质心最远的点
通过减少簇个数来最小化总的SSE增长
1.拆散一个簇：选择使总SSE增加最少的簇
2.合并两个簇：选择质心最接近的两个簇或使总SSE增加最少的簇
增量的更新质心
1.在点到簇的每次指派后，增量的更新质心，而不是在所有点都指派到簇中之后才更新质心；
2.每步需要零次或两次质心更新
留在原簇或转移到新簇
3.导致次序依赖性
4.开销更大
二分K均值：基本K均值算法的直接扩充
将所有的点集合分裂成两个簇，从中选择一个
继续分裂，直到产生K个簇为止。
待分裂的簇有许多不同的
选择方法：最大的簇，最
大SSE的簇等等，不同的
选择导致不同的簇。
在下列情况时，K均值算法很难检测到“自然的”簇
1.具有不同尺寸
2.具有不同密度
3.具有非球形形状
一个解决方法是使用更多的簇
K均值聚类
凝聚层次聚类
生成一系列嵌套的簇
可以用树状图表示
凝聚层次聚类
两种产生层次聚类的基本方法：
凝聚的
1.从点作为个体簇开始，每一步合并两个最接近的簇。
2.需要定义簇的邻近性概念。
分裂的
1.从包含所有点的一个簇开始，每一步分裂一个簇，直到仅剩下单点簇
2.分裂的原则
凝聚层次聚类
通过在合适的层次终止聚类的过程来获得希望的簇的数量
关键是两个簇之间的邻近度计算
凝聚层次聚类
MIN(单链)
MAX (全链)
组平均
质心距离
Ward方法
使用合并两个簇导致的SSE增加来度量两个簇之间的邻近性
凝聚层次聚类
MIN(单链) MAX (全链)
组平均
质心距离
Ward 方法
使用合并两个簇导致的SSE 增加来度量两个簇之间的邻近性
不同簇的两个最近的点之间的邻近度不同的结点子集中两个结点之间的最短边
凝聚层次聚类
MIN(单链)
MAX (全链)
组平均
质心距离 Ward 方法
使用合并两个簇导致的SSE 增加来度量两个簇之间的邻近性
不同簇中两个最远的点之间的邻近度作为簇的邻近度不同的结点子集中两个结点之间的最长边
凝聚层次聚类
MIN(单链)
MAX (全链) 组平均 质心距离
Ward 方法
使用合并两个簇导致的SSE 增加来度量两个簇之间的邻近性
取自不同簇的所有点对的平均逐对邻近度
凝聚层次聚类 MIN(单链)
MAX (全链)
组平均
质心距离
Ward方法
使用合并两个簇导致的SSE增加来度量两个簇之间的邻近性
6个二维点的集合6个点的XY坐标6个点的欧几里德距离矩阵。