聚类分析—密度聚类

法中，有两个初始参数 （邻域半径）和minPts(邻域最小点数)需要用户 手动设置输入，并且聚类的类簇结果对这两个参数的取值非常敏感，不同 的取值将产生不同的聚类结果，其实这也是大多数其他需要初始化参数聚 类算法的弊端。

Clustering Structure) Ankerst, Breunig, Kriegel, 和 Sander 提出(SIGMOD’99) 为自动和交互的聚类分析计算一个簇次序(cluster ordering ).

Border Core
4
Eps = 1cm MinPts = 5
密度概念

直接密度可达的(Directly density reachable, DDR): 给定对 象集合D, 如果p是在q的–邻域内, 而q是核心对象, 我们说对 象p是从对象q直接密度可达的(如果q是一个核心对象，p属 于q的邻域，那么称p直接密度可达q。)
1) p 属于 NEps(q)
2) 核心点条件: |NEps (q)| >= MinPts p MinPts = 5
q
3
Eps = 1 cm
密度概念
核心对象 (Core object): 一个对象的–邻域至少包含最小数 目MinPts个对象, 不是核心点 ,但落在某个核心 点的 Eps 邻域内的对象称为边 界点,不属于任何簇的对象为噪声. 对于空间中的一个对象，如果它在给定半径e的邻域中的对 象个数大于密度阀值MinPts，则该对象被称为核心对象，否 则称为边界对象。 Outlier
2014-5-30
OPTICS算法
输入：样本集D, 邻域半径E, 给定点在E领域内成为核心对象的最小领域点数MinPts 输出：具有可达距离信息的样本点输出排序 方法：1 创建两个队列，有序队列和结果队列。（有序队列用来存储核心对象及其该核心对 象的直接可达对象，并按可达距离升序排列；结果队列用来存储样本点的输出次序）；

Outlier Border Core Eps = 1cm MinPts = 5
11
DBSCAN(1996)

DBSCAN：一种基于高密度连通区域的基于密度的 聚类方法，该算法将具有足够高密度的区域划分为 簇，并在具有噪声的空间数据库中发现任意形状的 簇。它将簇定义为密度相连的点的最大集合；
12

由一个核心对象和其密度可达的所有对象构成一个聚类。
7
例子

MinPts=3
q是从p密度可达； p不是从q密度可达（q非核心） S和r从o密度可达；o从r密度可达； r, s密度相连

8
a为核心对象，b为边界对象，且 a直接密度可达b， 但b不直接密度可达a,因为b不是 一个核心对象
2014-5-30
基于密度的聚类: 背景II

密度可达:

点 p 关于Eps, MinPts 是从 q密度可 达的, 如果 存在一个节点链 p1, …, pn, p1 = q, pn = p 使得 pi+1 是从pi直接密 度可达的
p q p1

密度相连的:

点 p关于 Eps, MinPts 与点 q是密度 相连的, 如果 存在点 o 使得, p 和 q p 都是关于Eps, MinPts 是从 o 密度可 达的(如果存在o，o密度可达q和p， 则称p和q是密度连通的)
DBSCAN(续)
算法 任意选取一个点 p 得到所有从p 关于 Eps 和 MinPts密度可达的点. 如果p 是一个核心点, 则找到一个聚类. 如果 p 是一个边界点, 没有从p 密度可达的点, DBSCAN 将 访问数据库中的下一个点. 继续这一过程, 直到数据库中的所有点都被处理. DBSCAN的复杂度 2 采用空间索引, 复杂度为O(nlog n), 否则为O(n ) DBSCAN的缺点: 对用户定义的参数是敏感的, 参数难以确定(特别是对于高 维数据), 设置的细微不同可能导致差别很大的聚类. （数据倾斜分布）全局密度参数不能刻画内在的聚类结构 13

OPTICS并不显示的产生结果类簇，而是为聚类分析生成一个增广的簇 排序（比如，以可达距离为纵轴，样本点输出次序为横轴的坐标图）， 这个排序代表了各样本点基于密度的聚类结构。它包含的信息等价于从 一个广泛的参数设置所获得的基于密度的聚类，换句话说，从这个排序 中可以得到基于任何参数E和minPts的DBSCAN算法的聚类结果。
3.1 判断该拓展点是否是核心对象，如果不是，回到步骤3，否则找到该拓展点所有的直接密度可达点；
3.2 判断该直接密度可达样本点是否已经存在结果队列，是则不处理，否则下一步； 3.2 如果有序队列中已经存在该直接密度可达点，如果此时新的可达距离小于旧的可达距离，则用新可达 距离取代旧可达距离，有序队列重新排序； 重新排序；
15

作业（Due date：5月9日）
专题思路：把搜下来的网页进行聚类，将聚类结果显示给用 户，用户可以选择其中的一个类，标为关注，类的关键词作 为主题，用户就可以跟踪这主题、了解主题的文章的情感 （就是其它部分的功能） 双层正方形或者三维同心球
x sin cos y sin sin z cos

19
OPTICS(续)

例: 设=6(mm), MinPts=5. p的核心距离是p与四个最近的数据对象之间的距离’.

q1关于p的可达距离是p的核心距离(即’=3mm), 因为它比从p到q1的 欧几里得距离要大.

q2关于p的可达距离是从p到q2的欧几里得距离, 它大于p的核心距离
=6mm
=6mm
p
p ’=3m m
’=3m q1
m
q2 P的核心距离
20
可达距离 (p,q1)=’=3mm 可达距离 (p,q2)=d(p,q2)
例 如 ： 假 设 邻 域 半 径 E=2, minPts=3 ， 存 在 点
A(2,3),B(2,4),C(1,4),D(1,3),E(2,2),F(3,2)
17
OPTICS (1999)
这个次序代表了数据的基于密度的聚类结构。它包含了信息, 等同于从一个广域的参数设置所获得的基于密度的聚类 可用于自动和交互聚类分析, 包括发现内在聚类结构 可以使用图形或可视化技术表示

考虑DBSCAN, 对一个恒定的MinPts值, 关于高密度的(即较小 的值)的聚类结果被完全包含在根据较低密度所获得的密度 相连的集合中 扩展DBSCAN算法来同时处理一组距离参数值
2ຫໍສະໝຸດ 基于密度的聚类: 背景I
两个参数:

Eps: 邻域的最大半径 MinPts: 在 Eps-邻域中的最少点数
NEps(p):
{q belongs to D | dist(p,q) <= Eps}

直接密度可达的: 点 p 关于Eps, MinPts 是从点q直接密度可达 的, 如果

2 如果所有样本集D中所有点都处理完毕，则算法结束。否则，选择一个未处理（即 不在结果队列中）且为核心对象的样本点，找到其所有直接密度可达样本点，如 过该样本点不存在于结果队列中，则将其放入有序队列中，并按可达距离排序； 3 如果有序队列为空，则跳至步骤2，否则，从有序队列中取出第一个样本点（即可达距离最小的样 本点）进行拓展，并将取出的样本点保存至结果队列中，如果它不存在结果队列当中的话。

18
OPTICS(续)
为了同时构建不同的聚类, 应当以特定的顺序来处理对象. 优 先选择最小的值密度可达的对象, 以便高密度的聚类能被首 先完成 每个对象需要存储两个值 对象p的核心距离(core-distance)是使得p成为核心对象的最 小。如果p不是核心对象, p的核心距离没有定义 对象q关于另一个对象p的可达距离(reachability-distance ) 是p的核心距离和p与q的欧几里得距离之间的较大值. 如果p 不是一个核心对象, p和q之间的可达距离没有定义
q o
由一个核心对象和其密度可达的所有对象构成一个聚类。
6
密度概念
Eg: 假设半径 Ε=3 ， MinPts=3 ， 点 p 的 领域中有点 {m,p,p1,p2,o}, 点 m 的 领域中有 点 {m,q,p,m1,m2}, 点 q的 领域中有 {q,m}, 点 o 的 领 域中有点 {o,p,s}, 点 s 的 领域中有点 {o,s,s1}. 那么核心对象有 p,m,o,s(q 不是核心对象，因为它对应 的 领域中点数量等于 2 ，小于 MinPts=3) ； 点 m 从点 p 直接密度可达，因为 m 在 p 的 领域内，并 且 p 为核心对象； 点 q 从点 p 密度可达，因为点 q 从点 m 直接密度可达，并 且点 m 从点 p 直接密度可达； 点 q 到点 s 密度相连，因为点 q 从点 p 密度可达，并 且 s 从点 p 密度可达。
2014-5-30
DBSCAN(续)


算法： DBSCAN
输入： — 半径 MinPts — 给定点在 邻域内成为核心对象的最小领域点数 D — 集合 输出：目标类簇集合 方法： repeat 1) 判断输入点是否为核心对象 2) 找出核心对象的 邻域中的所有直接密度可达点 util 所有输入点都判断完毕 repeat 针对所有核心对象的 邻域所有直接密度可达点找到最大密度相 连对象集合， 中间涉及到一些密度可达对象的合并。 Util 所有核心对象的 邻域都遍历完毕
数据挖掘
Topic3--聚类分析
密度聚类
基于密度的方法
基于密度聚类 (Density-Based Clustering) 主要特点:

发现任意形状的聚类 处理噪音 一遍扫描 需要密度参数作为终止条件