大数据应用基础-聚类算法(PPT 26页)
合集下载
聚类算法入门教程PPT课件
3
聚类图示
聚类中没有任何指导信息，完全按照数据的分布进行类别划分
4
什么是分类?
• 数据集合D a ta ，类别标记集合 C
x D a ta , C la ss(x ) C
• 数据集合： 训练数据 TrainData 待分类数据 ClassData
• 已知 x T r a i n D a t a ; k o n w C l a s s ( x ) & & C l a s s ( x ) C • 问题： t C la s s D a ta ;C la s s (t) ？ • 方法：根据训练数据获得类别划分标准 f ( x )
14
Rand
• Set any two data in testing corpus as a pair-point; • If testing corpus has n data, there is n*(n-1)/2 pair-points • a) One pair-point is in same cluster in testing corpus, and in
属于不同维度的特征的关系以 Semantic(Aim,Ajn)表示
• Unbalance Similarity
r
U nbalance(A i,A j) w m (A imA jm )2 m 1
不同特征在数据相似度计算中的作用不同
10
聚类有效性函数（一）
• 最小误差（J e ）:
c个 类 别 ， 待 聚 类 数 据 x， m i为 类 别 Ci的 中 心 ，
• Precision and Recall • Purity • Rand Value • Intra-cluster similarity
聚类算法层次方法ppt课件
层次聚类方法
一般来说，有两种类型的层次聚类方法：
• 凝聚层次聚类：采用自底向上策略，首先将每个对象作为单独 的一个原子簇，然后合并这些原子簇形成越来越大的簇，直到 所有的对象都在一个簇中（层次的最上层），或者达到一个终 止条件。绝大多数层次聚类方法属于这一类。
• 分裂层次聚类：采用自顶向下策略，首先将所有对象置于一个 簇中，然后逐渐细分为越来越小的簇，直到每个对象自成一个 簇，或者达到某个终止条件，例如达到了某个希望的簇的数目， 或者两个最近的簇之间的距离超过了某个阈值。
不具有很好的可伸缩性，因为合并或分裂的决定需要检查 和估算大量的对象或簇。
Page 16
经营者提供商品或者服务有欺诈行为 的，应 当按照 消费者 的要求 增加赔 偿其受 到的损 失，增 加赔偿 的金额 为消费 者购买 商品的 价款或 接受服 务的费 用
层次聚类的改进
一个有希望的方向是集成层次聚类和其他的聚类技术，形 成多阶段聚类。在下面的内容中会介绍四种这类的方法：
主要内容
凝聚和分裂层次聚类 BIRCH：利用层次方法的平衡迭代归约和聚类
ROCK:分类属性的层次聚类算法 CURE：基于质心和基于代表对象方法之间的中间策略
Chameleon：利用动态建模的层次聚类算法
Page 3
经营者提供商品或者服务有欺诈行为 的，应 当按照 消费者 的要求 增加赔 偿其受 到的损 失，增 加赔偿 的金额 为消费 者购买 商品的 价款或 接受服 务的费 用
某个任意的阈值时聚类过程就会终止，则称其为单连接算
法。
当一个算法使用最大距离
度量簇间距离时，有时
称为最远邻聚类算法。如果当最近簇之间的最大距离超过
某个任意阈值时聚类过程便终止，则称其为全连接算法。
聚类分析法ppt课件全
8/21/2024
25
1.2.2 动态聚类分析法
1.2 聚类分析的种类
（3）分类函数
按照修改原则不同，动态聚类方法有按批修改法、逐个修改法、混合法等。 这里主要介绍逐步聚类法中按批修改法。按批修改法分类的原则是，每一步修 改都将使对应的分类函数缩小，趋于合理，并且分类函数最终趋于定值，即计 算过程是收敛的。
8/21/2024
23
1.2.2 动态聚类分析法
1.2 聚类分析的种类
（2）初始分类 有了凝聚点以后接下来就要进行初始分类，同样获得初始分类也有不同的
方法。需要说明的是，初始分类不一定非通过凝聚点确定不可，也可以依据其 他原则分类。
以下是其他几种初始分类方法： ①人为分类，凭经验进行初始分类。 ②选择一批凝聚点后，每个样品按与其距离最近的凝聚点归类。 ③选择一批凝聚点后，每个凝聚点自成一类，将样品依次归入与其距离
8/21/2024
14
1.2 聚类分析的种类
（2）系统聚类分析的一般步骤 ①对数据进行变换处理； ②计算各样品之间的距离，并将距离最近的两个样品合并成一类； ③选择并计算类与类之间的距离，并将距离最ቤተ መጻሕፍቲ ባይዱ的两类合并，如果累的个
数大于1，则继续并类，直至所有样品归为一类为止； ④最后绘制系统聚类谱系图，按不同的分类标准，得出不同的分类结果。
8/21/2024
18
1.2 聚类分析的种类
（7）可变法
1 2 D kr
2 （8）离差平方和法
(D k 2 pD k 2 q)D p 2q
D k 2 rn n ir n n p i D i2 pn n ir n n q iD i2 qn rn in iD p 2 q
8/21/2024
聚类 课件
根据某种模型进行聚类，如高斯混合 模型、神经网络聚类等。
基于网格的聚类算法
将数据空间划分为网格，然后在网格 上进行聚类，如STING算法、 CLIQUE算法等。
02
K-means聚类算法
K-means算法的原理
K-means算法是一种基于距离的聚 类算法，通过迭代过程将数据点划分 为K个聚类，使得每个数据点与其所 在聚类的中心点之间的距离之和最小 。
DBSCAN算法的步骤
01 扫描所有点，标记为核心点、边界点和噪 声点。
02 对于每个核心点，以其为起点，扩展与其 密度相连的区域。
03
将扩展的区域内的所有点标记为同一簇。
04
重复上述步骤，直到所有点都被处理。
DBSCAN算法的优缺点
01
优点
02
对异常值具有较强的鲁棒性。
能够发现任何形状的簇。
03
互信息
总结词
衡量聚类结果与真实类别之间相似度的指标，值越大表示聚 类效果越好。
详细描述
互信息是一种衡量聚类结果与真实类别之间相似度的指标， 其计算方法为聚类结果与真实类别之间的熵值之差。如果聚 类效果好，则聚类结果与真实类别之间的相似度会较高，熵 值之差会较小，因此互信息值会较大。
调整兰德指数
总结词
步骤2
重复以下步骤，直到满足终止条件
• 步骤2.1
将每个数据点与最近的簇中心点合并，形成新的 簇中心点。
• 步骤2.2
更新簇中心点为新合并的簇中所有点的平均值或中 心点。
• 步骤2.3
重复步骤2.1和步骤2.2，直到所有数据点都归入某 个簇或达到预设的簇数量。
输出聚类结果。
步骤3
层次聚类算法的优缺点
DBSCAN算法的优缺点
基于网格的聚类算法
将数据空间划分为网格，然后在网格 上进行聚类，如STING算法、 CLIQUE算法等。
02
K-means聚类算法
K-means算法的原理
K-means算法是一种基于距离的聚 类算法，通过迭代过程将数据点划分 为K个聚类，使得每个数据点与其所 在聚类的中心点之间的距离之和最小 。
DBSCAN算法的步骤
01 扫描所有点，标记为核心点、边界点和噪 声点。
02 对于每个核心点，以其为起点，扩展与其 密度相连的区域。
03
将扩展的区域内的所有点标记为同一簇。
04
重复上述步骤，直到所有点都被处理。
DBSCAN算法的优缺点
01
优点
02
对异常值具有较强的鲁棒性。
能够发现任何形状的簇。
03
互信息
总结词
衡量聚类结果与真实类别之间相似度的指标，值越大表示聚 类效果越好。
详细描述
互信息是一种衡量聚类结果与真实类别之间相似度的指标， 其计算方法为聚类结果与真实类别之间的熵值之差。如果聚 类效果好，则聚类结果与真实类别之间的相似度会较高，熵 值之差会较小，因此互信息值会较大。
调整兰德指数
总结词
步骤2
重复以下步骤，直到满足终止条件
• 步骤2.1
将每个数据点与最近的簇中心点合并，形成新的 簇中心点。
• 步骤2.2
更新簇中心点为新合并的簇中所有点的平均值或中 心点。
• 步骤2.3
重复步骤2.1和步骤2.2，直到所有数据点都归入某 个簇或达到预设的簇数量。
输出聚类结果。
步骤3
层次聚类算法的优缺点
DBSCAN算法的优缺点
聚类算法ppt课件
大数据下kmeans算法的并 行策略
单挑OR群殴？！
VS
大数据下kmeans算法的并 行策略
面对海量数据时，传统的聚类算法存在着单位时 间内处理量小、面对大量的数据时处理时间较长、 难以达到预期效果的缺陷以上算法都是假设数据都 是在内存中存储的，随着数据集的增大，基于内存 的ＫＭｅａｎｓ就难以适应．ＭａｐＲｅｄｕｃｅ 是一个为并行处理大量数据而设计的编程模型。
Love ,not time,heals all wounds. 治愈一切创伤的并非时间,而是爱.
Life is tough,but I'm tougher. 生活是艰苦的,但我应更坚强.
Kmeans算法详解（1）
步骤一：取得k个初始初始中心点
Kmeans算法详解（3）
步骤三：重新计算中心点
Min of three due to the EuclidDistance
带canopy预处理的kmeans 算法的优点
canopy可以自动帮我我们确定k值。
• 有多少canopy，k值就选取多少。 Canopy可以帮我们去除“坏点”。
• 去除离群的canopy
带canopy预处理的kmeans 算法的新挑战
Canopy预处理这么好， 我们以后就用它好了！
我看不见得，它虽然解决 kmeans当中的一些问题， 但其自身也引进了新的问题： t1、t2的选取。
主要内容：
聚类算法简介 Kmeans算法详解 Kmeans算法的缺陷及若干改进 Kmeans的单机实现与分布式实现策略
Kmeans实战
聚类算法简介
1
聚类的目标：将一组向量分成若干组，组内数据是相似的， 而组间数据是有较明显差异。
2 与分类区别：分类与聚类最大的区别在于分类的目标事先已 知，聚类也被称为无监督机器学习
大数据技术之聚类算法
n1 n2 n qi n2 n1n
n
2
令
i G1 i G2
Rcut(G1 , G2 )
iG1 , jG2
T w q q q Lq ij i j 2
n2 n1 n2 1 q q qi qi qi n1 n1n n2 n iG1 iG2 i 1
i G1 i G2
聚类分析的应用
生物信息学中的序列分析和遗传聚类
自然语言处理中语音识别和字符识别
图像处理中的图像分割
计算机视觉中的对象识别
文本挖掘中的文本聚类
聚类的基本要素
数据之间的相似性度量 聚类有效性函数（停止判别条件）
1. 在聚类算法的不同阶段会得到不同的类别划分结果，可以通过聚类有效性函数来判断多个划分结果中
基于划分的方法：K-means
K-means算法的主要思想
对n个数据点
使得每个数据点与它最近的聚类中心的距离的平方和最小
k-means算法的步骤
• 设置初始类别数K，人为设置K个类别中心; • 根据样本和类别中心的距离进行类别划分，样本划分到距离最近的 类别; • 重新计算当前类别划分下每类的中心（类别样本平均值）; • 在得到类别中心下继续进行类别划分; • 如果连续两次的类别划分结果不变则停止算法;否则循环2-5 ;
n
2
ij
i
2qi q j q j )
n n 2 2
2
2wij qi q j wij (qi q j )
i 1 j 1 n n i 1 j 1 n
n
2wij qi q j 2qi
i 1 j 1 i 1
n
2
令
i G1 i G2
Rcut(G1 , G2 )
iG1 , jG2
T w q q q Lq ij i j 2
n2 n1 n2 1 q q qi qi qi n1 n1n n2 n iG1 iG2 i 1
i G1 i G2
聚类分析的应用
生物信息学中的序列分析和遗传聚类
自然语言处理中语音识别和字符识别
图像处理中的图像分割
计算机视觉中的对象识别
文本挖掘中的文本聚类
聚类的基本要素
数据之间的相似性度量 聚类有效性函数（停止判别条件）
1. 在聚类算法的不同阶段会得到不同的类别划分结果，可以通过聚类有效性函数来判断多个划分结果中
基于划分的方法：K-means
K-means算法的主要思想
对n个数据点
使得每个数据点与它最近的聚类中心的距离的平方和最小
k-means算法的步骤
• 设置初始类别数K，人为设置K个类别中心; • 根据样本和类别中心的距离进行类别划分，样本划分到距离最近的 类别; • 重新计算当前类别划分下每类的中心（类别样本平均值）; • 在得到类别中心下继续进行类别划分; • 如果连续两次的类别划分结果不变则停止算法;否则循环2-5 ;
n
2
ij
i
2qi q j q j )
n n 2 2
2
2wij qi q j wij (qi q j )
i 1 j 1 n n i 1 j 1 n
n
2wij qi q j 2qi
i 1 j 1 i 1
聚类ppt
有如下几种：
明可夫斯基距离（Minkowski）
二次型距离（Quadratic）
余弦距离
二元特征样本的距离度量
DMKD Sides By MAO
2015年5月21日星期四
15
明可夫斯基（Minkowski）距离
假定x和y是相应的特征，n是特征的维数。x和y 的明可夫斯基距离度量的形式如下：
DMKD Sides By MAO
2015年5月21日星期四
2
数据挖掘对聚类的典型要求
可伸缩性要求。
可伸缩性是指聚类算法不论对于小数据集还是对于大数据
集，都应是有效的。 在很多聚类算法当中，数据对象小于几百个的小数据集合 上鲁棒性很好，而对于包含上万个数据对象的大规模数据 库进行聚类时，将会导致不同的偏差结果。 大容量数据集的聚类方法是数据挖掘必须面对的挑战。 既可处理数值型数据，又可处理非数值型数据，既可以处
第五章 聚类方法
内容提要
聚类方法概述
划分聚类方法
层次聚类方法
密度聚类方法
其它聚类方法
DMKD Sides By MAO
2015年5月21日星期四
1
聚类分析研究概述
聚类分析源于许多研究领域，包括数据挖掘、统计学、 机器学习、模式识别等。它是数据挖掘中的一个功能， 聚类分析能作为一个独立的工具来获得数据分布的情 况，并且概括出每个簇的特点，或者集中注意力对特 定的某些簇做进一步的分析。 数据挖掘技术的特点：处理巨大的、复杂的数据集， 这对聚类分析技术提出了特殊的挑战，要求算法具有 可伸缩性、处理不同类型属性的能力、发现任意形状 的类、处理高维数据的能力等。 根据潜在的各项应用，数据挖掘对聚类分析方法提出 了不同要求。
大数据分析方法与应用课件：聚类算法
4.2 K-Means聚类
聚类
4.2.2 K-Means聚类算法在MATLAB中的实现
K-Means算法代码示例2
4.2 K-Means聚类
聚类
4.2.2 K-Means聚类算法在MATLAB中的实现
由右图可知，K-Means根据距离的远近将 数据集中的样本点划分成了三个类簇，并分别 用不同的颜色和标记（+，o，*）表示，质心 点由“✖”表示。
总体平均方差是：E=E1+E2=25+27.25=52.25
4.2 K-Means聚类
聚类
4.2.1 K-Means聚类算法的原理
3）计算新簇的中心
M1= ((0+5)/2,(2+2)/2)=(2.5,2)；M2= ((0+1.5+5)/3,(0+0+0+0)/3)= (2.17,0) 重复2和3，得到O1分配给C1，O2分配给C2，O3分配给C2，O4分配给C2，O5分配给C1。 综上，得到新簇C1={O1, O5}，中心为M1= (2.5,2)和C2={O2, O3, O4}，中心为M2= (2.17,0)。 单个方差为：E1= [(0-2.5)2+(2-2)2] + [(2.5-5)2+(2-2)2] =12.5； E2= [(2.17-0)2+(0-0)2] + [(2.17-1.5)2+(0-0)2] + [(2.17-5)2+(0-0)2] =13.1667。 总体平均方差是：E=E1+E2=12.5+13.1667=25.667。 由上可以看出，第一次迭代后，总体平均方差值由52.25至25.667，显著减小。由于在两次迭 代中，簇中心不变，所以停止迭代过程，算法停止。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• 原理和上面人物照片是一致的。
18
K均值算法可以用于三个维度
• 前面图像 压缩的例 子是基于 一个维度。
• 这里抽象 展示了基 于三个维 度的聚类。
19
如何在软件中为K均值算法设定参数
• 在软件中，通常都要设定群的个数。
• 还可以指定距离的度量方式。例如选择欧几里德
距离或曼哈顿距离。大多数聚类分析都使用距离
12
K均值算法的步骤
• K均值算法，概括起来有五个步骤： 1. 设定一个数K，表明总共有几个群簇（组）； 2. 从所有实例中随机选择K个实例，分别代表一
个群簇的初始中心； 3. 对剩余的每个实例，根据其与各个组的初始中
心的距离，将它们分配到离自己最近的一个群 簇中； 4. 然后，更新群簇中心，即：重新计算得出每个 群簇的新的中心点； 5. 这个过程不断重复（即：重复第3、4步），直 到每个群簇中心不再变化，即直到所有实例在 K组分布中都找到离自己最近的群簇。
• 其中，前两种方法最常用。
11
K均值算法
• K-means算法是无可争议的使用最多的 算法。
• 它是划分方法的一种。 • 它原理简单，容易实现。 • 它适合使用数值型属性，而不是类别型属性。 • 它的一个不足之处是：对于离两个群组的中心
都很近的点，你会不知道该放到哪个群组中。 这其实也是其他一些聚类算法的局限性。
6
聚类分析的最典型应用领域
• 客户分群，进 而制定差异化 的营销方案
7
聚类分析的最典型应用领域
• 客户分群，进而制定差异 化的营销方案
例子：如图， 按照收入和 年龄把客户 聚类为两类
8
聚类的其他应用
• 按照血型对学生进 行分班
• 确定婚礼客人如何 排座位
9
离群点检测
• 离群点检测和聚类是高度相关的。 • 聚类是发现数据集中的主要群体，而离群点检
聚类分析
1
注意我们考核非常松
• 尽可能全部高于80分。
2
一个简单的聚类例子
• 这是按照 颜色进行 一维聚类。
• 实践中， 维度经常 多于一个。
3
基本特点
• 聚类(clustering)是指根据“物以类聚” 原理，将本身尚未归类的样本根据多个 维度（多个属性）聚集成不同的组，这 样的一组数据对象的集合叫做簇或群组。
度量来衡量两个实例之间的远近。
20
如何在软件中为K均值算法设定参数
• 此外，还可以设定聚类时采用哪些属性 • 同时，数据标准化是聚类分析中最重要的一个数据预
处理步骤。如果之前没做过标准化，可以现在进行。
21
如何评价聚类分析的结果？
• 这方面和分类算法有一个显著不同： – 分类算法的评判有训练集、验证集的客观参 照。 – 而聚类结果的评判缺乏很明确、客观的、统 计学意义上的参照依据。
23
聚类之前的预处理——异常值
• K-means对数据的噪声和异常值比较敏感。 • 这些个别数据对于平均值的影响非常大。 • 为此，我们可以：
– 直接删除那些比其他任何数据点都要远离聚类 中心点的异常值。
– 与此类似地，在聚类之后，有些群体内样本数 量太少、这种群体在实际应用中可以忽略不计。
– 采用随机抽样。这样，作为稀有事件的数据噪 声和异常值能被抽进样本的概率会很小，这样 样本就比较干净。
• 对于聚类，业务专家从实践角度的评估是最重 要的评价层面。如果多数业务专家对于聚类的 结果都看不懂，那么这个结果很可能是值得怀 疑的。 – 如果聚类的结果比较容易理解、解释，业务 人员会更能实施这个结果。
22
聚类之前的预处理——特征筛选
• 在实践中，聚类中的输入变量不能太多，尤其 是在样本数量有限的情况下。否则：
– 运算耗时； – 更重要的是变量之间的相关性会损害聚类效果； – 变量太多会使人难以理解每个群的实际含义。
• 因此，通常会采用相关性分析、结合业务知识 进行变量筛选等方法来降维。然后根据少量几 个维度 进行聚类。
• 被筛掉的变量可以在聚类完成后再用于对每个 群的进一步分析，比如描述性统计、分类算法。
• 而聚类则是没有训练过程。在进行聚类 前，并不知道将要划分成几个组和什么 样的组。
– 聚类则没有事先预定的类别，类别数不确定。聚 类不需要人工标注和预先训练分类器，类别在聚 类过程中自动生成 。
5
聚类分析的主要应用领域 1. 作为独立的工具来分析数据 2. 发现离群点 3. 为其他算法做数据预处理
13
K均值算法——什么是中心值
14
K均值算法的步骤
注意看C点， 它离上面 的群的新 的的距离 中心比离 下面那个 群的新的 中心更近， 所以它被 重新划分 到上面那 个群了。
15
K均值算法的步骤
16
K均值算法的应用：图像压缩
• 群的个数越少，意味着图像被转化成颜色 数量很少的图像了。
17
K均值算法的应用：图像压缩
• 怎样聚类算成功呢？经过划分后，使得：
– 属于同一群组的样本之间彼此足够相似， – 属于不同群组的样本应该足够不相似。
4
分类与聚类的区别
• 分类(Classification)有训练过程。
– 分类是事先定义好类别 ，类别数不变 。分类器需 要由人工标注的分类训练数据集训练得到，属类
• 聚类算法主要包括：
– 划分方法（Partitioning Method）：包括K均 值方法等
– 层次方法（Hierarchical Method） – 基于密度的方法（ Density-based ） – 基于网格的方法（ Grid-based ） – 基于模型的方法（ Model-based ）
24
聚类之前的预处理——标准化
• 正如之前讲到的，如果依据多个变 量进行聚类，就需要确保对这些变 量都做过标准化。
25
聚类算法小结
• K-means算法 • 标准化
26
（第14讲）考场作文开拓文路能力•分 解层次 (网友 来稿)
测则试图识别那些显著偏离多数实例的异常情 况。 • 离群点检测可以用聚类方法，但也可以用其它 方法，例如：分类方法。 • 其常见的目的是：信用卡欺诈检测。
– 这需要把和正常交易明显不同的交易识别出来。例 如，盗窃卡的人的购物地点和所购商品都很不同于 真正的卡主、也不同于大多数顾客。
– 比如，其一次购物量比卡主大得多，并且购物地点 远离卡主的通常的购物地点。
18
K均值算法可以用于三个维度
• 前面图像 压缩的例 子是基于 一个维度。
• 这里抽象 展示了基 于三个维 度的聚类。
19
如何在软件中为K均值算法设定参数
• 在软件中，通常都要设定群的个数。
• 还可以指定距离的度量方式。例如选择欧几里德
距离或曼哈顿距离。大多数聚类分析都使用距离
12
K均值算法的步骤
• K均值算法，概括起来有五个步骤： 1. 设定一个数K，表明总共有几个群簇（组）； 2. 从所有实例中随机选择K个实例，分别代表一
个群簇的初始中心； 3. 对剩余的每个实例，根据其与各个组的初始中
心的距离，将它们分配到离自己最近的一个群 簇中； 4. 然后，更新群簇中心，即：重新计算得出每个 群簇的新的中心点； 5. 这个过程不断重复（即：重复第3、4步），直 到每个群簇中心不再变化，即直到所有实例在 K组分布中都找到离自己最近的群簇。
• 其中，前两种方法最常用。
11
K均值算法
• K-means算法是无可争议的使用最多的 算法。
• 它是划分方法的一种。 • 它原理简单，容易实现。 • 它适合使用数值型属性，而不是类别型属性。 • 它的一个不足之处是：对于离两个群组的中心
都很近的点，你会不知道该放到哪个群组中。 这其实也是其他一些聚类算法的局限性。
6
聚类分析的最典型应用领域
• 客户分群，进 而制定差异化 的营销方案
7
聚类分析的最典型应用领域
• 客户分群，进而制定差异 化的营销方案
例子：如图， 按照收入和 年龄把客户 聚类为两类
8
聚类的其他应用
• 按照血型对学生进 行分班
• 确定婚礼客人如何 排座位
9
离群点检测
• 离群点检测和聚类是高度相关的。 • 聚类是发现数据集中的主要群体，而离群点检
聚类分析
1
注意我们考核非常松
• 尽可能全部高于80分。
2
一个简单的聚类例子
• 这是按照 颜色进行 一维聚类。
• 实践中， 维度经常 多于一个。
3
基本特点
• 聚类(clustering)是指根据“物以类聚” 原理，将本身尚未归类的样本根据多个 维度（多个属性）聚集成不同的组，这 样的一组数据对象的集合叫做簇或群组。
度量来衡量两个实例之间的远近。
20
如何在软件中为K均值算法设定参数
• 此外，还可以设定聚类时采用哪些属性 • 同时，数据标准化是聚类分析中最重要的一个数据预
处理步骤。如果之前没做过标准化，可以现在进行。
21
如何评价聚类分析的结果？
• 这方面和分类算法有一个显著不同： – 分类算法的评判有训练集、验证集的客观参 照。 – 而聚类结果的评判缺乏很明确、客观的、统 计学意义上的参照依据。
23
聚类之前的预处理——异常值
• K-means对数据的噪声和异常值比较敏感。 • 这些个别数据对于平均值的影响非常大。 • 为此，我们可以：
– 直接删除那些比其他任何数据点都要远离聚类 中心点的异常值。
– 与此类似地，在聚类之后，有些群体内样本数 量太少、这种群体在实际应用中可以忽略不计。
– 采用随机抽样。这样，作为稀有事件的数据噪 声和异常值能被抽进样本的概率会很小，这样 样本就比较干净。
• 对于聚类，业务专家从实践角度的评估是最重 要的评价层面。如果多数业务专家对于聚类的 结果都看不懂，那么这个结果很可能是值得怀 疑的。 – 如果聚类的结果比较容易理解、解释，业务 人员会更能实施这个结果。
22
聚类之前的预处理——特征筛选
• 在实践中，聚类中的输入变量不能太多，尤其 是在样本数量有限的情况下。否则：
– 运算耗时； – 更重要的是变量之间的相关性会损害聚类效果； – 变量太多会使人难以理解每个群的实际含义。
• 因此，通常会采用相关性分析、结合业务知识 进行变量筛选等方法来降维。然后根据少量几 个维度 进行聚类。
• 被筛掉的变量可以在聚类完成后再用于对每个 群的进一步分析，比如描述性统计、分类算法。
• 而聚类则是没有训练过程。在进行聚类 前，并不知道将要划分成几个组和什么 样的组。
– 聚类则没有事先预定的类别，类别数不确定。聚 类不需要人工标注和预先训练分类器，类别在聚 类过程中自动生成 。
5
聚类分析的主要应用领域 1. 作为独立的工具来分析数据 2. 发现离群点 3. 为其他算法做数据预处理
13
K均值算法——什么是中心值
14
K均值算法的步骤
注意看C点， 它离上面 的群的新 的的距离 中心比离 下面那个 群的新的 中心更近， 所以它被 重新划分 到上面那 个群了。
15
K均值算法的步骤
16
K均值算法的应用：图像压缩
• 群的个数越少，意味着图像被转化成颜色 数量很少的图像了。
17
K均值算法的应用：图像压缩
• 怎样聚类算成功呢？经过划分后，使得：
– 属于同一群组的样本之间彼此足够相似， – 属于不同群组的样本应该足够不相似。
4
分类与聚类的区别
• 分类(Classification)有训练过程。
– 分类是事先定义好类别 ，类别数不变 。分类器需 要由人工标注的分类训练数据集训练得到，属类
• 聚类算法主要包括：
– 划分方法（Partitioning Method）：包括K均 值方法等
– 层次方法（Hierarchical Method） – 基于密度的方法（ Density-based ） – 基于网格的方法（ Grid-based ） – 基于模型的方法（ Model-based ）
24
聚类之前的预处理——标准化
• 正如之前讲到的，如果依据多个变 量进行聚类，就需要确保对这些变 量都做过标准化。
25
聚类算法小结
• K-means算法 • 标准化
26
（第14讲）考场作文开拓文路能力•分 解层次 (网友 来稿)
测则试图识别那些显著偏离多数实例的异常情 况。 • 离群点检测可以用聚类方法，但也可以用其它 方法，例如：分类方法。 • 其常见的目的是：信用卡欺诈检测。
– 这需要把和正常交易明显不同的交易识别出来。例 如，盗窃卡的人的购物地点和所购商品都很不同于 真正的卡主、也不同于大多数顾客。
– 比如，其一次购物量比卡主大得多，并且购物地点 远离卡主的通常的购物地点。