机器学习-聚类分析
机器学习中的聚类分析方法(Ⅱ)
机器学习中的聚类分析方法机器学习是一种通过让计算机从数据中学习模式和规律，从而实现自主决策和预测的技术。
在机器学习中，聚类分析是一种常用的方法之一，用于将数据集中的样本分成不同的群组或类别。
聚类分析的目的是在不需要预先知道类别标签的情况下，发现数据集中的内在结构。
本文将介绍机器学习中的聚类分析方法及其在实际应用中的重要性。
一、K均值聚类K均值聚类是一种常见的聚类分析方法，它将数据集中的样本划分为K个类别，使得每个样本与其所属类别的中心点（均值）之间的距离最小化。
K均值聚类的算法流程通常包括初始化K个中心点、将每个样本分配到距离最近的中心点所属的类别中、更新每个类别的中心点位置，重复以上步骤直到收敛。
K均值聚类方法简单易懂，计算速度快，在实际应用中被广泛使用。
二、层次聚类层次聚类是一种自下而上或自上而下的聚类方法，它不需要预先设定聚类数量K。
层次聚类的算法通过计算每对样本之间的相似度或距离，构建一个树形结构（聚类树），然后根据树形结构将样本逐步合并成不同的类别。
层次聚类的优点是不需要预先知道聚类数量，但计算复杂度较高，对大规模数据集不适用。
三、密度聚类密度聚类是一种基于样本密度的聚类方法，它将密度较高的样本划分为一类，并发现样本空间中的高密度区域。
密度聚类算法的代表是DBSCAN（基于密度的空间聚类应用），它通过定义样本的邻域和核心对象来实现聚类。
密度聚类方法适用于发现任意形状的类别和处理噪声数据，但对参数的选择较为敏感。
四、混合聚类混合聚类是一种将不同类型的聚类模型结合起来的方法，它能够克服单一聚类方法的局限性。
混合聚类通常将多个聚类模型进行混合或集成，将不同的聚类结果进行融合。
混合聚类方法可以提高聚类结果的准确性和鲁棒性，但需要对不同的聚类模型进行合理的组合和调参。
五、聚类分析在实际应用中的重要性聚类分析在机器学习和数据挖掘领域中有着广泛的应用。
在商业领域，聚类分析可以用于市场细分、客户分类、产品推荐等。
机器学习-聚类分析
机器学习第4章聚类分析•聚类分析是一种典型的无监督学习，用于对未知类别的样本进行划分，将它们按照一定的规则划分成若干个类族，把相似(距高相近)的样本聚在同一个类簇中，把不相似的样本分为不同类簇，从而揭示样本之间内在的性质以及相互之间的联系规律•聚类算法在银行、零售、保险、医学、军事等诸多领域有着广泛的应用•本章主要内容包括聚类分析基础、聚类效果评价指标、聚类实现方法，重点介绍基于划分的方法、基于密度的方法、基于层次的方法、基于网格的方法和基于模型的方法，并结合实例讲解聚类算法的应用•聚类分析概念–聚类方法分类–良好聚类算法的特征•聚类分析的度量–外部指标–内部指标•基于划分的聚类–k-均值算法–k-medoids算法–k-prototype算法•基于密度聚类–DBSCAN算法–OPTICS算法–DENCLUE算法•基于层次的聚类–BIRCH聚类–CURE算法•基于网格的聚类•基于模型的聚类–概率模型聚类–模糊聚类–Kohonen神经网络聚类聚类分析概念•将未标记的样本自动划分成多个类簇•在销售领域，利用聚类分析对客户历史数据进行分析，对客户划分类别，刻画不同客户群体的特征，从而深入挖掘客户潜在需求，改善服务质量，增强客户黏性•在医学领域，对图像进行分析，挖掘疾病的不同临床特征，辅助医生进行临床诊断。
聚类算法被用于图像分割，把原始图像分成若干个特定的、具有独特性质的区域并提取目标•在生物领域，将聚类算法用于推导动植物分类，以往对动植物的认知往往是基于外表和习性，应用聚类分析按照功能对基因聚类，获取不同种类物种之间的基因关联议程聚类方法分类•基于划分的聚类•基于层次的聚类•基于密度的聚类•基于网格的聚类•基于模型的聚类议程良好聚类算法的特征•良好的可伸缩性•处理不同类型数据的能力•处理噪声数据的能力•对样本顺序的不敏感性•约束条件下的表现•易解释性和易用性聚类分析的度量•聚类分析的度量指标用于对聚类结果进行评判，分为内部指标和外部指标两大类–外部指标指用事先指定的聚类模型作为参考来评判聚类结果的好坏–内部指标是指不借助任何外部参考，只用参与聚类的样本评判聚类结果好坏•聚类的目标是得到较高的簇内相似度和较低的簇间相似度，使得簇间的距离尽可能大，簇内样本与簇中心的距离尽可能小•聚类得到的簇可以用聚类中心、簇大小、簇密度和簇描述等来表示–聚类中心是一个簇中所有样本点的均值(质心)–簇大小表示簇中所含样本的数量–簇密度表示簇中样本点的紧密程度–簇描述是簇中样本的业务特征基于划分的方法•基于划分的方法是简单、常用的一种聚类方法•通过将对象划分为互斥的簇进行聚类，每个对象属于且仅属于一个簇•划分结果旨在使簇之间的相似性低，簇内部的相似度高•基于划分的方法常用算法有k均值、k-medoids、k-prototype等议程k-均值算法•k-均值聚类算法过程•k-均值算法不适用于非凸面形状（非球形）的数据集，例如图中例子，k-均值算法的聚类结果就与初始目标有非常大的差别•使k-均值聚类时，需要注意如下问题：–模型的输入数据为数值型数据（如果是离散变量，需要作哑变量处理–需要将原始数据作标准化处理（防止不同量纲对聚类产生影响）•对k值的选取，主要有以下几种：–与层次聚类算法结合，先通过层次聚类算法得出大致的聚类数目，并且获得一个初始聚类结果，然后再通过k-均值算法改进聚类结果–基于系统演化的方法，将数据集视为伪热力学系统，在分裂和合并过程中，将系统演化到稳定平衡状态从而确定k值•利用sklearn库应用k-均值聚类算法实现对Iris数据集进行聚类。
机器学习中的聚类分析和主成分分析
机器学习中的聚类分析和主成分分析机器学习是当前最火热的研究领域之一，涵盖了许多不同的算法和技术。
其中两个最常见的技术是聚类分析和主成分分析。
这两种技术旨在从数据中提取有用的信息，继而推导出统计学上的结论。
一、聚类分析聚类分析是一种将对象分成相似组或类的方法。
它是一种监督学习技术，通常用于无法预测结果的情况。
聚类分析不需要预处理的数据，并且可以发现未知的关联关系。
聚类分析可以应用于许多不同的领域，例如医疗和金融。
在聚类分析中，有两种常见的方法：分层聚类和k-means聚类。
在分层聚类中，开始时每个对象都是一个独立的组，然后递归地合并相似的组，直到只剩下一个大组。
在k-means聚类中，先选取k个数据点作为初始聚类中心，然后将其他数据点归类到最近的聚类中心。
再普遍一点，聚类的方法有层次法，基于分裂的方法，密度聚类，光谱聚类等等。
聚类分析有许多优点。
它可以帮助人们确定数据中存在的未知关系。
它可以挖掘数据中有关系统或组之间关系的信息。
此外，聚类分析可以通过有用信息的提取，减少噪音和不相关的数据。
二、主成分分析主成分分析是一种变量之间线性关系的降维方法。
它是一种无监督学习技术，可以帮助人们去除数据中的冗余信息。
它通过将高维数据集转换为低维数据集，来分析数据，拟合数据，并从复杂数据集中提取出关键的信号和趋势。
主成分分析背后的数学原理是矩阵分解。
它可以把多个变量组合成一个或多个新变量，并将数据压缩到其最主要的成分上。
这种分析可以帮助人们减少不需要的特征变量，将变量减少到可以准确描述问题的范围内。
主成分分析可以应用于许多不同的领域，例如自然语言处理和视觉识别。
主成分分析也有许多优点。
它可以帮助人们在数据中找到隐藏的信息。
它可以发现数据中的共性并最大化它们。
此外，主成分分析可以基于原始数据的任意形式，使用统计量和测量，而不需要预处理。
三、聚类分析和主成分分析的应用聚类分析和主成分分析可以应用于许多领域。
例如，在医疗研究领域，聚类分析可以帮助医生确定哪些病人的病情相近，然后对他们进行相同的治疗。
机器学习中的聚类分析方法
机器学习中的聚类分析方法机器学习中的聚类分析是一种数据挖掘技术，该技术可以将大量的数据集按照特定的规则进行分类和分组。
聚类分析主要用于数据分析、分类、数据挖掘和模式识别等领域，该技术的应用范围非常广泛，包括自然语言处理、图像识别、推荐系统等领域。
在聚类分析中，数据集合被分为不同的类别，每个类别都有相似的属性、特征或属性。
聚类分析方法可以通过设置聚类算法的参数来对数据进行分组，对于同一类别的数据，聚类算法能够产生一个类别标签。
聚类分析方法的优点在于能够将大量不同的数据进行有意义的分类，从而可以实现多种应用。
聚类分析方法的类型在机器学习中，聚类分析方法主要分为以下几种类型：1. 划分式聚类：这种方法通过将数据集分成互不重叠的子集来实现聚类。
在划分式聚类中，每个数据点只属于一个簇。
这种方法适合于数据集中每个数据点都属于同一个类别的情况。
划分式聚类算法包括K-Means算法等。
2. 层次式聚类：这种方法通过渐进地将数据点分成更多的子集来实现聚类。
在层次式聚类中，每个数据点都可以被分配到多个簇中。
这种方法适合于数据集中数据点属于多个类别的情况。
层次式聚类算法包括凝聚层次聚类、分裂式层次聚类等。
3. 密度式聚类：这种方法通过密度划分数据簇来实现聚类。
密度式聚类算法包括DBSCAN、OPTICS等。
4. 模型式聚类：这种方法通过使用统计学模型来实现聚类。
模型式聚类算法包括高斯混合模型等。
其中，划分式聚类和层次式聚类是常用的聚类分析方法。
K-Means聚类算法K-Means算法是目前应用最多的划分式聚类算法之一，其主要思想是将输入数据分成K个簇，每个簇有一个中心点，根据输入数据与各个簇的中心距离进行分类。
K-Means算法通过多次更新簇中心点和分类，来达到最终的聚类结果。
K-Means算法的优点在于其算法简单、时间复杂度较低，同时也适合于大规模数据和高维数据的处理。
但是，K-Means算法也存在着一些问题。
首先，初始点的随机性可能会对聚类结果产生较大的影响。
机器学习之聚类分析(PPT48页)
欧氏距离：
聚类的相似性度量
2. 曼哈顿距离(Manhattan Distance) 想象你在曼哈顿要从一个十字路口开车到另外一个十字
路口，驾驶距离是两点间的直线距离吗？显然不是，除非 你能穿越大楼。实际驾驶距离就是这个“曼哈顿距离”， 也称为城市街区距离(City Block distance)。 两个n维向量a(x11,x12,…,x1n)与 b(x21,x22,…,x2n)间的曼 哈顿距离
密度聚类——DBSCAN
3）密度直达：如果xi位于xj的ε-邻域中，且xj是核心对象，则称xi由xj密 度直达。注意反之不一定成立， 除非且xi也是核心对象。
4）密度可达：对于xi和xj,如果存在样本序列p1,p2,...,pT满足 p1=xi,pT=xj且pt+1由pt密度直达，则称xj由xi密度可达。密度可达满足传递 性。此时序列中的传递样本p1,p2,...,pT−1均为核心对象，因为只有核心 对象才能使其他样本密度直达。 5）密度相连：对于xi和xj,如果存在核心对象样本xk，使xi和xj均由xk密度 可达，则称xi和xj密度相连。
什么是聚类？
• “物以聚类，人以群分” • 所谓聚类，就是将相似的事物聚集在一 起，而将不相似
的事物划分到不同的类别的过程，是数据分析之中十分 重要的一种手段。
什么是聚类？
•在图像分析中，人们希望将图像分割成具有类似性质的 区域 •在文本处理中，人们希望发现具有相同主题的文本子集 •在顾客行为分析中，人们希望发现消费方式类似的顾客 群，以便制订有针对性的客户管理方式和提高营销效率
G1
G2
机器学习中的聚类分析方法(六)
机器学习中的聚类分析方法随着人工智能技术的发展，机器学习在各个领域都有着广泛的应用。
其中，聚类分析作为一种无监督学习方法，在数据挖掘、模式识别、图像处理等方面都有着重要的作用。
本文将就机器学习中的聚类分析方法进行探讨和分析。
一、聚类分析方法的基本原理聚类分析是一种将数据样本划分为若干个类别的方法，使得同一类别内的样本相似度较高，不同类别之间的样本相似度较低。
其基本原理是通过对数据样本进行距离度量和类别划分，找到最佳的类别划分结果。
常见的聚类方法包括K均值聚类、层次聚类、密度聚类等。
K均值聚类是一种常用的聚类方法，其基本原理是通过迭代计算，将数据样本划分为K个类别，使得每个样本点到所属类别的中心点的距离之和最小。
层次聚类则是一种树状的聚类方法，通过不断合并或分裂类别，构建样本之间的层次结构。
而密度聚类则是通过样本点的密度来划分类别，对于不规则形状的类别有着较好的效果。
二、聚类分析方法的应用领域聚类分析方法在各个领域都有着广泛的应用。
在数据挖掘领域，聚类分析可以帮助挖掘数据之间的内在关系，发现数据的潜在模式和规律。
在市场营销领域，聚类分析可以帮助企业对客户进行分群，制定针对性的营销策略。
在生物信息学领域，聚类分析可以帮助科研人员对生物数据进行分类和分析。
另外，在图像处理、自然语言处理、社交网络分析等领域，聚类分析方法也都有着重要的应用。
例如在图像处理中，可以利用聚类分析方法对图像进行分割和识别；在自然语言处理中，可以利用聚类分析方法对文本进行分类和情感分析。
三、聚类分析方法的发展趋势随着大数据和深度学习技术的发展，聚类分析方法也在不断地发展和演变。
一方面，随着数据量的增加，传统的聚类方法在效率和效果上都存在一定的局限性，因此需要不断地改进和优化。
另一方面，随着深度学习技术的兴起，神经网络在聚类分析中也有着越来越重要的作用，通过自动学习特征和表示，可以对复杂的数据进行更精确的聚类和分类。
此外，随着跨领域交叉的发展，聚类分析方法也在不断地融合和创新。
机器学习知识：机器学习中的聚类分析
机器学习知识：机器学习中的聚类分析聚类分析在机器学习中是一项非常重要的技术。
它是一种无监督学习方法，可以将数据集中的对象分成多个组，每个组内的对象具有相似的特征。
这种方法广泛应用于数据挖掘、图像处理、自然语言处理等领域。
聚类分析是一种迭代算法。
它的主要目标是将数据集中的对象分成若干组，使每一组之间的相似度尽可能高，而组内的相似度尽可能低。
具体实现中，我们需要定义相似度的度量方法，并通过迭代算法来寻找使得相似度最大的聚类方式。
相似度的度量方法是聚类分析的核心。
在聚类分析中，我们需要根据对象之间的相似度来判断它们是否可以分到同一个组中。
通常的度量方法包括欧氏距离度量、余弦相似度度量、编辑距离度量等。
每种度量方法都有其适用的情况。
例如，欧氏距离度量适用于数值型数据，余弦相似度度量适用于文本或图像数据。
聚类分析的算法通常可以分为层次聚类和划分聚类两种。
层次聚类是指通过逐步合并聚类来生成聚类层次结构。
划分聚类是指通过划分数据集来生成聚类。
这两种方法各有优缺点。
层次聚类可以生成聚类层次结构，但计算复杂度较高；划分聚类的计算速度较快，但结果可能不如层次聚类。
聚类分析可以用于许多现实的问题。
例如，在市场营销中，我们可以通过聚类分析来对消费者进行分类，从而实现精准营销。
在医疗领域，我们可以通过聚类分析对患者进行分类，从而实现个性化治疗。
在推荐系统中，我们可以通过聚类分析来将用户分类，从而为他们推荐合适的商品或服务。
聚类分析还可以与其他机器学习方法结合使用。
例如，我们可以将聚类分析与分类算法结合使用，对每个聚类进行分类，从而实现更准确的分类结果。
我们也可以将聚类分析与异常检测算法结合使用，从而发现潜在的异常数据。
聚类分析在实际应用中还存在一些问题。
例如，对于大规模数据集，算法的时间复杂度可能会非常高，导致计算效率低下。
此外，聚类分析需要依据相似度的度量方法来进行聚类，不同的度量方法可能会导致不同的聚类结果。
为了解决这些问题，研究者们正在不断努力改进算法，提高算法效率和聚类结果的准确性。
机器学习之聚类分析
机器学习之聚类分析什么是聚类分析？聚类分析是机器学习领域中常用的无监督学习方法之一。
它的目标是将一组样本分成若干个不相交的子集，使得同一个子集中的样本彼此相似，不同子集中的样本差异较大。
聚类算法通过找到样本之间的相似性或距离来完成这一任务。
聚类分析的常见应用聚类分析在许多领域都有广泛的应用，下面介绍一些常见的应用场景：社交网络分析在社交网络分析中，聚类分析可以用于识别相关的用户群体。
通过对用户的社交行为进行聚类，可以发现潜在的社交圈子或兴趣群体。
这对于社交网络推荐系统和社交媒体营销策略非常有用。
市场细分在市场营销中，聚类分析可以用于将消费者划分为不同的市场细分。
通过对消费者的购买行为、喜好和偏好进行聚类分析，可以发现不同市场细分的消费者群体，从而制定针对性的营销策略。
图像分析在图像处理和计算机视觉领域，聚类分析可以用于图像分割和目标检测。
通过对图像像素进行聚类，可以将图像分成不同的区域，从而实现图像分割。
对于目标检测，聚类算法可以帮助识别图像中的不同目标，并将它们分成不同的类别。
聚类分析的常用算法在聚类分析中，有多种算法可以用于找到样本之间的相似性或距离。
下面介绍一些常用的聚类算法：K-均值聚类K-均值聚类是最常用的聚类算法之一。
它将样本划分为 K 个不相交的簇，每个簇的中心的是该簇中所有样本的均值。
该算法的主要思想是通过迭代的方式不断优化样本到簇中心的距离，直到达到收敛。
层次聚类层次聚类是一种将样本逐步合并或分裂的聚类算法。
它可以得到一个树状的聚类结构，可以根据需要选择不同的聚类数量。
层次聚类算法有两种常见的方法：自下而上的凝聚层次聚类和自上而下的分裂层次聚类。
密度聚类密度聚类是一种基于样本之间密度的聚类算法。
它通过找到样本密度较高的区域，并将其作为簇的中心。
密度聚类算法对于数据分布不规则或包含噪声的情况下表现较好。
使用Python进行聚类分析在 Python 中，有许多库可以用于聚类分析。
其中，scikit-learn 是一个常用的机器学习库，它提供了丰富的聚类算法实现。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
机器学习
第4章聚类分析
•聚类分析是一种典型的无监督学习，用于对未知类别的样本进行划分，将它们按照一定的规则划分成若干个类族，把相似(距高相近)的样本聚在同一个类簇中，把不相似的样本分为不同类簇，从而揭示样本之间内在的性质以及相互之间的联系规律
•聚类算法在银行、零售、保险、医学、军事等诸多领域有着广泛的应用•本章主要内容包括聚类分析基础、聚类效果评价指标、聚类实现方法，重点介绍基于划分的方法、基于密度的方法、基于层次的方法、基于网格的方法和基于模型的方法，并结合实例讲解聚类算法的应用
•聚类分析概念
–聚类方法分类
–良好聚类算法的特征•聚类分析的度量
–外部指标
–内部指标
•基于划分的聚类
–k-均值算法
–k-medoids算法
–k-prototype算法•基于密度聚类
–DBSCAN算法
–OPTICS算法
–DENCLUE算法
•基于层次的聚类
–BIRCH聚类
–CURE算法
•基于网格的聚类•基于模型的聚类
–概率模型聚类
–模糊聚类
–Kohonen神经网络聚类
聚类分析概念
•将未标记的样本自动划分成多个类簇
•在销售领域，利用聚类分析对客户历史数据进行分析，对客户划分类别，刻画不同客户群体的特征，从而深入挖掘客户潜在需求，改善服务质量，增强客户黏性
•在医学领域，对图像进行分析，挖掘疾病的不同临床特征，辅助医生进行临床诊断。
聚类算法被用于图像分割，把原始图像分成若干个特定的、具有独特性质的区域并提取目标
•在生物领域，将聚类算法用于推导动植物分类，以往对动植物的认知往往是基于外表和习性，应用聚类分析按照功能对基因聚类，获取不同种类物种之间的基因关联
议程聚类方法分类
•基于划分的聚类•基于层次的聚类•基于密度的聚类•基于网格的聚类•基于模型的聚类
议程
良好聚类算法的特征
•良好的可伸缩性
•处理不同类型数据的能力•处理噪声数据的能力•对样本顺序的不敏感性•约束条件下的表现
•易解释性和易用性
聚类分析的度量
•聚类分析的度量指标用于对聚类结果进行评判，分为内部指标和外部指标两大类
–外部指标指用事先指定的聚类模型作为参考来评判聚类结果的好坏
–内部指标是指不借助任何外部参考，只用参与聚类的样本评判聚类结果好坏
•聚类的目标是得到较高的簇内相似度和较低的簇间相似度，使得簇间的距离尽可能大，簇内样本与簇中心的距离尽可能小
•聚类得到的簇可以用聚类中心、簇大小、簇密度和簇描述等来表示–聚类中心是一个簇中所有样本点的均值(质心)
–簇大小表示簇中所含样本的数量
–簇密度表示簇中样本点的紧密程度
–簇描述是簇中样本的业务特征
基于划分的方法
•基于划分的方法是简单、常用的一种聚类方法
•通过将对象划分为互斥的簇进行聚类，每个对象属于且仅属于一个簇•划分结果旨在使簇之间的相似性低，簇内部的相似度高
•基于划分的方法常用算法有k均值、k-medoids、k-prototype等
议程k-均值算法
•k-均值聚类算法过程
•k-均值算法不适用于非凸面形状（非球形）的数据集，例如图中例子，k-均值算法的聚类结果就与初始目标有非常大的差别
•使k-均值聚类时，需要注意如下问题：
–模型的输入数据为数值型数据（如果是离散变量，需要作哑变量处理
–需要将原始数据作标准化处理（防止不同量纲对聚类产生影响）
•对k值的选取，主要有以下几种：
–与层次聚类算法结合，先通过层次聚类算法得出大致的聚类数目，并且获得一个初始聚类结果，然后再通过k-均值算法改进聚类结果
–基于系统演化的方法，将数据集视为伪热力学系统，在分裂和合并过程中，将系统演化到稳定平衡状态从而确定k值
•利用sklearn库应用k-均值聚类算法实现对Iris数据集进行聚类。
首先引用相应的库，其中sklearn.cluster为sklearn中已经实现的聚类算法工具包，代码如下import numpy as np
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D
from sklearn.cluster import KMeans
from sklearn import datasets
plt.rcParams['font.sans-serif']=['SimHei'] #用来正常显示中文标签
plt.rcParams['axes.unicode_minus']=False #用来正常显示负号
•首先，从Iris数据集中加载鸢尾花样本信息到X和y两个变量中，其中，X存放花瓣长宽等特征，y存放花的类别标签。
构造并初始化K-均值模型，设置类簇数量为3类，调用fit方法执行聚类，代码如下
np.random.seed(5)
iris = datasets.load_iris()
X = iris.data
y = iris.target
est = KMeans(n_clusters=3)
est.fit(X)
labels = bels_
•接下来，对聚类的结果可视化显示，使用Axes3D将其显示在3维空间中，其中花瓣宽度、萼片长度、花瓣长度分别作为x,y,z三个维度
fig = plt.figure(1, figsize=(4, 3))
ax = Axes3D(fig, rect=[0, 0, .95, 1], elev=48, azim=134)
ax.scatter(X[:, 3], X[:, 0], X[:, 2],c=labels.astype(np.float), edgecolor='k') ax.w_xaxis.set_ticklabels([])
ax.w_yaxis.set_ticklabels([])
ax.w_zaxis.set_ticklabels([])
ax.set_xlabel('花瓣宽度')
ax.set_ylabel('萼片长度')
ax.set_zlabel('花瓣长度')
ax.set_title("3类")
ax.dist = 12
plt.show()
•k-均值对iris数据集聚类的效果
•围绕中心点划分(Partitioning Around Mediods, PAM) 算法是k -medoids聚类的一种典型实现。
PAM 算法中簇的中心点是一个真实的样本点而不是通过距离计算出来的中心。
PAM算法与k均值一样，使用贪心策略来处理聚类过程•k-均值迭代计算簇的中心的过程，在PAM算法中对应计算是否替代对象o'比原来的代表对象o能够具有更好的聚类结果，替换后对所有样本点进行重新计算各自代表样本的绝对误差标准。
若替换后，替换总代价小于0，即绝对误差标准减小，则说明替换后能够得到更好的聚类结果，若替换总代价大于0，则不能得到更好的聚类结果，原有代表对象不进行替换。
在替换过程中，尝试所有可能的替换情况，用其他对象迭代替换代表对象，直到聚类的质量不能再被提高为止
基于密度聚类
•基于划分聚类和基于层次聚类的方法在聚类过程中根据距离来划分类簇，因此只能够用于挖掘球状簇。
为了解决这一缺陷，基于密度聚类算法利用密度思想，将样本中的高密度区域(即样本点分布稠密的区域)划分为簇，将簇看作是样本空间中被稀疏区域(噪声)分隔开的稠密区域。
这一算法的主要目的是过滤样本空间中的稀疏区域，获取稠密区域作为簇
•基于密度的聚类算法是根据密度而不是距离来计算样本相似度，所以基于密度的聚类算法能够用于挖掘任意形状的簇，并且能够有效过滤掉噪声样本对于聚类结果的影响
•常见的基于密度的聚类算法有DBSCAN、OPTICS和DENCLUE等。
其中，OPTICS 对DBSCAN算法进行了改进，降低了对输入参数的敏感程度。
DENCLUE算法综合了基于划分、基于层次的方法
•应用sklearn库中DBSCAN算法实现聚类。
DBSCAN算法位于sklearn.cluster库中，数据源是用make_blobs方法随机生成的，数量为750条，有3个类簇。
数据经过StandardScaler().fit_transform()对数据进行标准化处理，保证每个维度的方差为1，均值为0，使预测结果不会被某些维度过大的特征值而主导
•基于DBSCAN算法分析城市异常事件
•一周内每天各时间段的人群活动半径
基于层次聚类
•层次聚类的应用广泛程度仅次于基于划分的聚类，核心思想就是通过对数据集按照层次，把数据划分到不同层的簇，从而形成一个树形的聚类结构。
层次聚类算法可以揭示数据的分层结构，在树形结构上不同层次进行划分，可以得到不同粒度的聚类结果。
按照层次聚类的过程分为自底向上的聚合聚类和自顶向下的分裂聚类。
聚合聚类以AGNES、BIRCH、ROCK等算法为代表，分裂聚类以DIANA算法为代表。
•自底向上的聚合聚类将每个样本看作一个簇，初始状态下簇的数目等于样本的数目，然后根据算法的规则对样本进行合并，直到满足算法的终止条件。
自顶向下的分裂聚类先将所有样本看作属于同一个簇，然后逐渐分裂成更小的簇，直到满足算法终止条件为止。
目前大多数是自底向上的聚合聚类，自顶向下的分裂聚类比较少。