数据挖掘CHAPTER8聚类分析
第8章_聚类分析：基本概念和算法
How many clusters?
Six Clusters
Two Clusters
Four Clusters
不同的聚类类型
划分聚类（Partitional Clustering） 层次聚类（Hierarchical Clustering） 互斥（重叠）聚类（exclusive clustering） 非互斥聚类（non-exclusive） 模糊聚类（fuzzy clustering）
完全聚类（complete clustering） 部分聚类（partial clustering）
划分聚类（Partitional Clustering）
划分聚类简单地将数据对象集划分成不重叠的子集 ，使得每个数据对象恰在一个子集。
Original Points
A Partitional Clustering
不同的簇类型
明显分离的
基于原型的 基于图的
基于密度的 概念簇
簇类型: 明显分离的（Well-Separated）
每个点到同簇中任一点的距离比到不同簇中所有 点的距离更近。
3 well-separated clusters
簇类型:基于原型的
每个对象到定义该簇的原型的距离比到其他簇的 原型的距离更近。对于具有连续属性的数据，簇 的原型通常是质心，即簇中所有点的平均值。当 质心没有意义时，原型通常是中心点，即簇中最 有代表性的点。 基于中心的（ Center-Based）的簇：每个点到 其簇中心的距离比到任何其他簇中心的距离更近 。
什么是一个好的聚类方法?
一个好的聚类方法要能产生高质量的聚类结果——簇，这 些簇要具备以下两个特点：
数据挖掘-聚类分析
0 1 0 1 1 1 0 0 .......... ......... .......... ......... .......... .........
2
Байду номын сангаас
数据结构和类型
数据类型
• 混合变量相异度计算 其中为单个类型变量定义的距离； p p为变量的个数。
d (i, j )
(f) d ij 1
p
3
聚类分析方法的分类
聚类方法分类
聚类分析技术通常可分为五大类 ：
• 基于划分的方法
• 基于层次的方法
• 基于密度的方法 • 基于网格的方法 • 基于模型的方法
3
聚类分析方法的分类
DS (Ca , Cb ) min{ d ( x, y) | x Ca , y Cb }
2
数据结构和类型
簇间距离度量
最长距离法：定义两个类中最远的两个元素间的距离为类间距离。
D ,C max{ d ( x, 为类间 y) | x Ca , y Cb义类 } L (Ca 的 b) 中心法：定 义两类 两个 中心 间的距离 距离。首先定 中心，而后给出类间距离。 假如Ci是一个聚类，x是Ci内的一个数据点，即x∈ Ci，那么类 中心 定义为：
K-means算法
• k-平均算法，也被称为k-means或k-均值，是一种得到最广泛使用 的聚类算法。 k-平均算法以k为参数，把n个对象分成k个簇，以使 簇内具有教高的相似度，而簇间的相似度较低相似度的计算根据一 个簇中对象的平均值来进行。 • 算法首先随机地选择k个对象，每个对象初始地代表了一个簇的平 均值或中心。对剩余的每个对象根据其与各个簇中心的距离，将它 赋给最近的簇。然后重新计算每个簇的平均值。这个过程不断重复， 直到准则函数收敛。准则如下：
完整版数据挖掘中的聚类分析方法
完整版数据挖掘中的聚类分析方法聚类分析方法是数据挖掘领域中常用的一种数据分析方法，它通过将数据样本分组成具有相似特征的子集，并将相似的样本归为一类，从而揭示数据中隐藏的模式和结构信息。
下面将从聚类分析的基本原理、常用算法以及应用领域等方面进行详细介绍。
聚类分析的基本原理聚类分析的基本原理是将数据样本分为多个类别或群组，使得同一类别内的样本具有相似的特征，而不同类别之间的样本具有较大的差异性。
基本原理可以总结为以下三个步骤：1.相似性度量：通过定义距离度量或相似性度量来计算数据样本之间的距离或相似度。
2.类别划分：根据相似性度量，将样本分组成不同的类别，使得同一类别内的样本之间的距离较小，不同类别之间的距离较大。
3.聚类评估：评估聚类结果的好坏，常用的评估指标包括紧密度、分离度和一致性等。
常用的聚类算法聚类算法有很多种，下面将介绍常用的几种聚类算法：1. K-means算法：是一种基于划分的聚类算法，首先通过用户指定的k值确定聚类的类别数，然后随机选择k个样本作为初始聚类中心，通过迭代计算样本到各个聚类中心的距离，然后将样本划分到距离最近的聚类中心对应的类别中，最后更新聚类中心，直至达到收敛条件。
2.层次聚类算法：是一种基于树状结构的聚类算法，将样本逐步合并到一个大的类别中，直至所有样本都属于同一个类别。
层次聚类算法可分为凝聚式（自底向上）和分裂式（自顶向下）两种。
凝聚式算法首先将每个样本作为一个初始的类别，然后通过计算样本之间的距离来逐步合并最近的两个类别，直至达到停止准则。
分裂式算法则是从一个包含所有样本的初始类别开始，然后逐步将类别分裂成更小的子类别，直至达到停止准则。
3. 密度聚类算法：是一种基于样本密度的聚类算法，通过在数据空间中寻找具有足够高密度的区域，并将其作为一个聚类。
DBSCAN （Density-Based Spatial Clustering of Applications with Noise）算法是密度聚类算法的代表，它通过定义距离和邻域半径来确定样本的核心点、边界点和噪声点，并通过将核心点连接起来形成聚类。
DM-Ch-08 数据挖掘算法——聚类分析
Hierarchy algorithms(层次算法): Create a hierarchical
(de)composition of the set of data using some criterion Density-based(基于密度方法): based on connectivity and density functions Grid-based(基于网格方法): based on a multiple-level granularity structure Model-based (基于模型方法) : A model is hypothesized for each of the clusters(簇) to find the best fit of data
10 9 8 7 6 5 4 3 2 1 0 0 1 2 3 4 5 6 7 8 9 10
第 24 页
k-平均值法聚类算法说明
平方误差准则
E i 1 pC i | p m i |
k 2
其中p: 对象; mi : 簇Ci的均值 方法局限性:
只有当簇均值有定义时才能使用，不适 合分类数据 必须事先指定簇的数目 k 对噪声和离群点数据敏感，不易处理 不适合于发现非球状簇
第 25 页
k-中心点法聚类方法
找到代表性对象, 称为簇的中心点
PAM 算法, 1987
从初始中心点集合开始，在能改进聚类结 果的总距离的条件下，用一个非中心点替 换一个中心点反复迭代 (最小化每个对象 与对应参考节点相异度的总值 )
m f 1 ( x1 f x 2 f n
...
x nf
if
)
f {1, 2 ,..., p }
数据挖掘 聚类分析
聚类特征树（CF-树）
• CF树是一个具有两个参数分支因子B和阈值T的高度平衡树。 • 分支因子B：非叶节点可以拥有的孩子数 • 阈值T：叶子节点中的子聚类的最大直径
CF-树算法
• (1)从根节点开始，自上而下选择最近的孩子节点 • (2)到达叶子节点后，检查最近的元组CFi能否吸收此数据点 • 是，更新CF值 • 否，是否可以添加一个新的元组 • 是，添加一个新的元组 • 否则，分裂最远的一对元组，作为种子，按最近距离重新分配其 它元组 • (3)更新每个非叶节点的CF信息，如果分裂节点，在父节点中插入 新的元组，检查分裂，直到root
Old party {2，3，4，5，6，7，8} {3，4，5，6，7，8} {4，5，6，7，8} {5，6，7，8} {5，6，7，8} 终止
算法方法的距离度量
• 最小距离：单连接 • 最大距离：全连接
BIRCH算法：使用聚类特征树的多阶段聚 类
• 为克服凝聚聚类伸缩性差和不能撤销先前步骤的缺点，产生了BIRCH • BIRCH算法特点： （1）BIRCH试图利用可用的资源来生成最好的聚类结果，给定有限的主 存，一个重要的考虑是最小化I/O时间。 （2）BIRCH采用了一种多阶段聚类技术：数据集的单边扫描产生了一个 基本的聚类，一或多遍的额外扫描可以进一步改进聚类质量。 （3）BIRCH是一种增量的聚类方法，因为它对每一个数据点的聚类的决 策都是基于当前已经处理过的数据点，而不是基于全局的数据点。 （4）如果簇不是球形的，BIRCH不能很好的工作，因为它用了半径或直 径的概念来控制聚类的边界。
RC (Ci , C j ) SEC (Ci , C j ) Ci Ci C j SEC (Ci ) Cj Ci C j SEC (C j )
数据挖掘方法聚类分析学习资料
一般使用标准化的距离公式。
2、描述两个指标变量之间的相似程度：相似系数
令 Xs =(x 1 s … x i s … x n s )是第 s 个指标变 量， Xt =(x 1 t … x i t … x n t )是第 t 个指标变 量， 那么，指标变量 Xs和Xt之间的相关系数是：
A3
• 两点之间的距离：
A2
A1
– 欧氏距离(Euclidean distance)
– 欧氏距离的平方(squared Euclidean distance)
– 曼哈顿距离(Manhattan distance ; City-Block)
关于曼哈顿距离
曼哈顿距离——两点在南北方向上 的距离加上在东西方上的距离， 即D（I，J）=|XI-XJ|+|YI-YJ|。 对于一个具有正南正北、正东正 西方向规则布局的城镇街道，从 一点到达另一点的距离正是在南 北方向上旅行的距离加上在东西 方向上旅行的距离因此曼哈顿距 离又称为出租车距离。
聚类分析的统计量
数据
从几何学角度看，上面表中的每一行或每一列 都表示了空间中的一个点或一个向量。
1、描述两个样本之间的相似程度: 距离
令 Xi =(x i 1 … x i t … x i k )是第 i 个样本观察 值， Xj =(x j 1 … x j t … x j k )是第 j 个样本观 察值，那么，样本 Xi 和 Xj 之间的欧氏距离是：
• 1967年由学者J. B. MacQueen 所提出，也是最 早的组群化计算技术。
The K-Means Clustering Method
• Example
第8章-聚类分析PPT课件
5
XXXXXXXXX
XXX
XXXXX
XXXXX
XXX
6
XXXXXXXXX
XXX
XXXXX
XXXXX
X
X
7
X
XXXXXXX
XXX
XXXXX
XXXXX
X
X
8
X
XXXXXXX
XXX
XXX
X
XXXXX
X
X
9
X
XXXXXXX
XXX
XXX
X
X
XXXXX Nhomakorabea10
X
X
XXXXX
XXX
XXX
X
X
XXX
X
X
11
X
X
XXXXX
对于顺序变两量个：案例在变量上 值的 相取 同时S， ijk 1,取不同值 时，Sijk 0;
对于等距变量 Sijk： 1-
xik -xjk Rk
,
Rk为变量 k的全距。
-
17
8.3 聚类方法
8.3.1 层次聚类法(Hierarchical Cluster Procedures) •聚集法(Agglomerative Method) •分解法(Divisive Method)
以上几种方法，离差平方和法和平均联结法的分类效果
较好。
-
21
主要结果
•聚合进度表 •冰柱图(垂直、水平) •树状图 •案例归类表
-
22
Agglomeration Schedule
Stage Cluster First
Cluster Combined
Appears
聚 Stage Cluster 1 Cluster 2 Coefficients Cluster 1 Cluster 2 Next Stage
数据挖掘CHAPTER8聚类分析
第八章聚类分析设想要求对一个数据对象的集合进行分析，但与分类不同的是，它要划分的类是未知的。
聚类(clustering)就是将数据对象分组成为多个类或簇(cluster)，在同一个簇中的对象之间具有较高的相似度，而不同簇中的对象差别较大。
相异度是基于描述对象的属性值来计算的。
距离是经常采用的度量方式。
聚类分析源于许多研究领域，包括数据挖掘，统计学，生物学，以及机器学习。
在本章中，大家将了解基于大数据量上进行操作而对聚类方法提出的要求，将学习如何计算由各种属性和不同的类型来表示的对象之间的相异度。
还将学习几种聚类技术，它们可以分为如下几类：划分方法（partitioning method），层次方法(hierarchical method)，基于密度的方法(density-based method)，基于网格的方法(grid-based method)，和基于模型的方法(model-based method)。
本章最后讨论如何利用聚类方法进行孤立点分析(outlier detection)。
8．1 什么是聚类分析？将物理或抽象对象的集合分组成为由类似的对象组成的多个类的过程被称为聚类。
由聚类所生成的簇是一组数据对象的集合，这些对象与同一个簇中的对象彼此相似，与其他簇中的对象相异。
在许多应用中，一个簇中的数据对象可以被作为一个整体来对待。
聚类分析是一种重要的人类行为。
早在孩提时代，一个人就通过不断地改进下意识中的聚类模式来学会如何区分猫和狗，或者动物和植物。
聚类分析已经广泛地用在许多应用中，包括模式识别，数据分析，图像处理，以及市场研究。
通过聚类，一个人能识别密集的和稀疏的区域，因而发现全局的分布模式，以及数据属性之间的有趣的相互关系。
“聚类的典型应用是什么？”在商业上，聚类能帮助市场分析人员从客户基本库中发现不同的客户群，并且用购买模式来刻画不同的客户群的特征。
在生物学上，聚类能用于推导植物和动物的分类，对基因进行分类，获得对种群中固有结构的认识。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第八章聚类分析设想要求对一个数据对象的集合进行分析，但与分类不同的是，它要划分的类是未知的。
聚类(clustering)就是将数据对象分组成为多个类或簇(cluster)，在同一个簇中的对象之间具有较高的相似度，而不同簇中的对象差别较大。
相异度是基于描述对象的属性值来计算的。
距离是经常采用的度量方式。
聚类分析源于许多研究领域，包括数据挖掘，统计学，生物学，以及机器学习。
在本章中，大家将了解基于大数据量上进行操作而对聚类方法提出的要求，将学习如何计算由各种属性和不同的类型来表示的对象之间的相异度。
还将学习几种聚类技术，它们可以分为如下几类：划分方法（partitioning method），层次方法(hierarchical method)，基于密度的方法(density-based method)，基于网格的方法(grid-based method)，和基于模型的方法(model-based method)。
本章最后讨论如何利用聚类方法进行孤立点分析(outlier detection)。
8．1 什么是聚类分析？将物理或抽象对象的集合分组成为由类似的对象组成的多个类的过程被称为聚类。
由聚类所生成的簇是一组数据对象的集合，这些对象与同一个簇中的对象彼此相似，与其他簇中的对象相异。
在许多应用中，一个簇中的数据对象可以被作为一个整体来对待。
聚类分析是一种重要的人类行为。
早在孩提时代，一个人就通过不断地改进下意识中的聚类模式来学会如何区分猫和狗，或者动物和植物。
聚类分析已经广泛地用在许多应用中，包括模式识别，数据分析，图像处理，以及市场研究。
通过聚类，一个人能识别密集的和稀疏的区域，因而发现全局的分布模式，以及数据属性之间的有趣的相互关系。
“聚类的典型应用是什么？”在商业上，聚类能帮助市场分析人员从客户基本库中发现不同的客户群，并且用购买模式来刻画不同的客户群的特征。
在生物学上，聚类能用于推导植物和动物的分类，对基因进行分类，获得对种群中固有结构的认识。
聚类在地球观测数据库中相似地区的确定，汽车保险持有者的分组，及根据房子的类型，价值，和地理位置对一个城市中房屋的分组上也可以发挥作用。
聚类也能用于对Web上的文档进行分类，以发现信息。
作为一个数据挖掘的功能，聚类分析能作为一个独立的工具来获得数据分布的情况，观察每个簇的特点，集中对特定的某些簇作进一步的分析。
此外，聚类分析可以作为其他算法（如分类等）的预处理步骤，这些算法再在生成的簇上进行处理。
数据聚类正在蓬勃发展，有贡献的研究领域包括数据挖掘，统计学，机器学习，空间数据库技术，生物学，以及市场营销。
由于数据库中收集了大量的数据，聚类分析已经成为数据挖掘研究领域中一个非常活跃的研究课题。
作为统计学的一个分支，聚类分析已经被广泛地研究了许多年，主要集中在基于距离的聚类分析。
基于k-means(k-平均值)，k-medoids(k-中心)和其他一些方法的聚类分析工具已经被加入到许多统计分析软件包或系统中，例如S-Plus，SPSS，以及SAS。
在机器学习领域，聚类是无指导学习(unsupervised learning)的一个例子。
与分类不同，聚类和无指导学习不依赖预先定义的类和训练样本。
由于这个原因，聚类是通过观察学习，而不是通过例子学习。
在概念聚类（conceptual clustering）中，一组对象只有当它们可以被一个概念描述时才形成一个簇。
这不同于基于几何距离来度量相似度的传统聚类。
概念聚类由两个部分组成：（1）发现合适的簇；（2）形成对每个簇的描述。
在这里，追求较高类内相似度和较低类间相似度的指导原则仍然适用。
在数据挖掘领域，研究工作已经集中在为大数据量数据库的有效且高效的聚类分析寻找适当的方法。
活跃的研究主题集中在聚类方法的可伸缩性，方法对聚类复杂形状和类型的数据的有效性，高维聚类分析技术，以及针对大的数据库中混合数值和分类数据的聚类方法。
聚类是一个富有挑战性的研究领域，它的潜在应用提出了各自特殊的要求。
数据挖掘对聚类的典型要求如下：⏹可伸缩性：许多聚类算法在小于200个数据对象的小数据集合上工作得很好；但是，一个大规模数据库可能包含几百万个对象，在这样的大数据集合样本上进行聚类可能会导致有偏的结果。
我们需要具有高度可伸缩性的聚类算法。
⏹处理不同类型属性的能力：许多算法被设计用来聚类数值类型的数据。
但是，应用可能要求聚类其他类型的数据，如二元类型(binary)，分类/标称类型（categorical/nominal），序数型（ordinal）数据，或者这些数据类型的混合。
⏹发现任意形状的聚类：许多聚类算法基于欧几里得或者曼哈顿距离度量来决定聚类。
基于这样的距离度量的算法趋向于发现具有相近尺度和密度的球状簇。
但是，一个簇可能是任意形状的。
提出能发现任意形状簇的算法是很重要的。
⏹用于决定输入参数的领域知识最小化：许多聚类算法在聚类分析中要求用户输入一定的参数，例如希望产生的簇的数目。
聚类结果对于输入参数十分敏感。
参数通常很难确定，特别是对于包含高维对象的数据集来说。
这样不仅加重了用户的负担，也使得聚类的质量难以控制。
⏹处理“噪声”数据的能力：绝大多数现实中的数据库都包含了孤立点，缺失，或者错误的数据。
一些聚类算法对于这样的数据敏感，可能导致低质量的聚类结果。
⏹对于输入记录的顺序不敏感：一些聚类算法对于输入数据的顺序是敏感的。
例如，同一个数据集合，当以不同的顺序交给同一个算法时，可能生成差别很大的聚类结果。
开发对数据输入顺序不敏感的算法具有重要的意义。
⏹高维度（high dimensionality）：一个数据库或者数据仓库可能包含若干维或者属性。
许多聚类算法擅长处理低维的数据，可能只涉及两到三维。
人类的眼睛在最多三维的情况下能够很好地判断聚类的质量。
在高维空间中聚类数据对象是非常有挑战性的，特别是考虑到这样的数据可能分布非常稀疏，而且高度偏斜。
⏹基于约束的聚类：现实世界的应用可能需要在各种约束条件下进行聚类。
假设你的工作是在一个城市中为给定数目的自动提款机选择安放位置，为了作出决定，你可以对住宅区进行聚类，同时考虑如城市的河流和公路网，每个地区的客户要求等情况。
要找到既满足特定的约束，又具有良好聚类特性的数据分组是一项具有挑战性的任务。
⏹可解释性和可用性：用户希望聚类结果是可解释的，可理解的，和可用的。
也就是说，聚类可能需要和特定的语义解释和应用相联系。
应用目标如何影响聚类方法的选择也是一个重要的研究课题。
记住这些约束，我们对聚类分析的学习将按如下的步骤进行。
首先，学习不同类型的数据，以及它们对聚类方法的影响。
接着，给出了一个聚类方法的一般分类。
然后我们详细地讨论了各种聚类方法，包括划分方法，层次方法，基于密度的方法，基于网格的方法，以及基于模型的方法。
最后我们探讨在高维空间中的聚类和孤立点分析（outlier analysis）。
8．2 聚类分析中的数据类型在这一节中，我们研究在聚类分析中经常出现的数据类型，以及如何对其进行预处理。
假设要聚类的数据集合包含n个数据对象，这些数据对象可能表示人，房子，文档，国家等。
许多基于内存的聚类算法选择如下两种有代表性的数据结构：⏹数据矩阵（Data matrix，或称为对象属性结构）：它用p个变量（也称为属性）来表现n个对象，例如用年龄，身高，性别，种族等属性来表现对象“人”。
这种数据结构是关系表的形式，或者看为n*p维（n个对象*p个属性）的矩阵。
(8.1 p338?)⏹相异度矩阵（dissimilarity matrix，或称为对象-对象结构）：存储n个对象两两之间的近似性，表现形式是一个n*n维的矩阵。
(8.2 p338?)在这里d(i,j)是对象i和对象j之间相异性的量化表示，通常它是一个非负的数值，当对象i 和j越相似，其值越接近0；两个对象越不同，其值越大。
既然d(i,j) = d(j,i)，而且d(i,i)=0，我们可以得到形如(8.2)的矩阵。
关于相异度，我们在这一节中会进行详细探讨。
数据矩阵经常被称为二模（two-mode）矩阵，而相异度矩阵被称为单模（one-mode）矩阵。
这是因为前者的行和列代表不同的实体，而后者的行和列代表相同的实体。
许多聚类算法以相异度矩阵为基础。
如果数据是用数据矩阵的形式表现的，在使用该类算法之前要将其转化为相异度矩阵。
你可能想知道如何来估算相异度。
在本节中，我们讨论如何计算用各种类型的属性来描述的对象的相异度，相异度将被用来进行对象的聚类分析。
8．2．1 区间标度（Interval-Scaled）变量本节讨论区间标度变量和它们的标准化，然后描述距离度量，它通常用于计算用该类变量描述的对象的相异性。
距离的度量包括欧几里得距离，曼哈顿距离，以及明考斯基距离。
“什么是区间标度变量？”区间标度变量是一个线性标度的连续度量。
典型的例子包括重量和高度，经度和纬度坐标，以及大气温度。
选用的度量单位将直接影响聚类分析的结果。
例如，将高度的度量单位由“米”改为“英尺”，或者将重量的单位由“千克”改为“磅”，可能产生非常不同的聚类结构。
一般而言，所用的度量单位越小，变量可能的值域就越大，这样对聚类结果的影响也越大。
为了避免对度量单位选择的依赖，数据应当标准化。
标准化度量值试图给所有的变量相等的权重。
当没有关于数据的先验知识时，这样做是十分有用的。
但是，在一些应用中，用户可能想给某些变量较大的权重。
例如，当对篮球运动员进行聚类时，我们可能愿意给高度变量较大的权重。
“怎样将一个变量的数据标准化？”为了实现度量值的标准化，一种方法是将原来的度量值转换为无单位的值。
给定一个变量f的度量值，可以进行如下的变换：1．计算平均的绝对偏差（mean absolute deviation）S f:S f = (|x1f-m f|+|x2f-m f|+…+|x nf-m f|)/n （8.3 p339?）这里的x1f,…,x nf 是f的n个度量值，m f 是f的平均值，即m f =(|x1f +x2f+…+x nf)/n2．计算标准化的度量值，或z-score：z if = (x if – m f) / s f (8.4 p840 ?)这个平均的绝对偏差s f 比标准的偏差对于孤立点具有更好的鲁棒性。
在计算平均绝对偏差时，度量值与平均值的偏差没有被平方，因此孤立点的影响在一定程度上被减小了。
虽然存在更好的对偏差的度量方法，例如中值绝对偏差（median absolute deviation），但采用平均绝对偏差的优点在于孤立点的z-score值不会太小，因此孤立点仍可以被发现。
在特定的应用中，数据标准化可能有用，也可能没用。
因此是否和如何进行标准化的选择被留给了用户。