数据挖掘-聚类分析

d (i, j ) rs qr st

0 1 0 1 1 1 0 0 .......... ......... .......... ......... .......... .........

2
Байду номын сангаас
数据结构和类型
数据类型
• 混合变量相异度计算 其中为单个类型变量定义的距离； p p为变量的个数。
d (i, j )
(f) d ij 1
p
3
聚类分析方法的分类
聚类方法分类
聚类分析技术通常可分为五大类 ：
• 基于划分的方法
• 基于层次的方法
• 基于密度的方法 • 基于网格的方法 • 基于模型的方法
3
聚类分析方法的分类
DS (Ca , Cb ) min{ d ( x, y) | x Ca , y Cb }
2
数据结构和类型
簇间距离度量
最长距离法：定义两个类中最远的两个元素间的距离为类间距离。
D ,C max{ d ( x, 为类间 y) | x Ca , y Cb义类 } L (Ca 的 b) 中心法：定 义两类 两个 中心 间的距离 距离。首先定 中心，而后给出类间距离。 假如Ci是一个聚类，x是Ci内的一个数据点，即x∈ Ci，那么类 中心 定义为：
K-means算法
• k-平均算法，也被称为k-means或k-均值，是一种得到最广泛使用 的聚类算法。 k-平均算法以k为参数，把n个对象分成k个簇，以使 簇内具有教高的相似度，而簇间的相似度较低相似度的计算根据一 个簇中对象的平均值来进行。 • 算法首先随机地选择k个对象，每个对象初始地代表了一个簇的平 均值或中心。对剩余的每个对象根据其与各个簇中心的距离，将它 赋给最近的簇。然后重新计算每个簇的平均值。这个过程不断重复， 直到准则函数收敛。准则如下：
DG (Ca , Cb )
1 d ( x, y) m h xCa yCb
离差平方和：离差平方和用到了类直径的概念： 类的直径反映了类中各元素间的差异，可定义为类中各元素 至类中心的欧氏距离之和，其量纲为距离的平方。
ra
(x
i 1
m
i
x a ) T ( xi xb )
数据挖掘
--聚类分析
Feng Qianqian , Mar. 16 ,2016 , Hebei University of Engineering
目 录
1 2 3
聚类分析概述 数据结构和类型 聚类分析方法的分类
1
聚类分析概述
聚类分析定义
• 聚类分析是依据样本间关联的度量标准将其自动分成 几个组，使同一组内的样本相似，而不同样本相异。 一个聚类分析系统的输入是一组样本和一个度量样本 间相似程度的标准，输出则是数据集的若干类。 • 聚类得到的不同的组称为簇(cluster)。
基于划分的方法
• 划分方法的思想是，将给定待挖掘数据集中的数据对象 划分成 K （k ≤ N，N代表数据集中对象数目），每一 组表示一个聚类的簇。并且要满足任何一个数据对象仅 可以属于一个聚类，每个聚类中至少具有一个数据对象。 • 典型代表：K-medoids算法 和 K-means算法等。
3
聚类分析方法的分类
zif
rif 1 M f 1
其中Mf为f的取值状态数目。
2
数据结构和类型
数据类型
（4）比例标度变量 • 属性的取值随时间的增长，呈指数增长 的趋势。 比如状态的取值近视遵循下列公式
AeBt 或 Ae Bt
其中A与B为正的常数，而t为时间。
• 序数变量相异度计算 把比例标度度量当做区间标度变量处理 把比例标度度量当做序数变量处理 对比例标度度量做对数变换
• 序数变量相异度计算 首先，将变量f的取值状态替换为它 的秩(1,2,3,...,M)，即序数变量的 排序数。其次，将秩的值域映射到区 间[0,1],这可以通过以下变换实现

0 2 4 8 6
很差 .......... ....... 较差 .......... ....... 一般 .......... ....... 较好 .......... ....... 很好 .......... .......
1 xi x n 其中，nk是第k个聚类中的点数 。 xC Cia和Cb的类间距离： i 则
ra和rb是类Ca和Cb的中心点，d是某种形式的距离公式。
xi
DS (Ca , Cb ) d (ra , rb )
2
数据结构和类型
簇间距离度量
类平均法：它计算两个类中任意两个元素间的距离，并且综合他们 为类间距离：
1
聚类分析概述
典型要求
（4）用于决定输入参数的领域知识最小化 在聚类分析当中，许多聚类算法要求用户输入一定的参数，如希望簇的 数目。聚类结果对于输入参数很敏感，通常参数较难确定，尤其是对于 含有高维对象的数据集更是如此。 （5）处理高维数据的能力 既可处理属性较少的数据，又能处理属性较多的数据。很多聚类算法擅 长处理低维数据，一般只涉及两到三维，通常最多再加二维的情况下能 够很好地判断聚类的质量。 （6）能够处理噪声数据 现实世界中的数据库常常包含了孤立点、空缺、未知数据或有错误的数 据。一些聚类算法对于这样的数据敏感,可能导致低质量的聚类结果。所 以我们希望算法可以在聚类过程中检测代表噪声和离群的点，然后删除 它们或者消除它们的负面影响。
根据上式得到两类Ca和Cb的直径分别为ra和rb ，类Ca +b= Ca Cb的 直径为ra +b ，则可定义类间距离的平方为：
2 DW (Ca , Cb ) rab ra rb
2
数据结构和类型
评价函数
• 误差平方和准则
E | x xi |
i 1 xCi
k
其中，E是所有对象平均误差的总和，x是给定的对象，x i是Ci的平均 值。该准则函数试图使生成的结果簇尽可能地紧凑和独立。
2
数据结构和类型
数据结构
• 两种有代表性的数据结构。
1p 11 12 13 • 数据矩阵（对象-变量结构）数据矩 i3 ip 阵是一张关系表的形式，每列代表对 i1 i 2 象的一个属性，每个元组代表一个数 据对象。 n 1 n 2 n 3 np • 相异度矩阵（对象-对象结构） 它存储n个对象两两之间的差异性。 0 其中d(i，j)是对象i和对象j之间相 d ( 1 , 2 ) 0 异性的量化表示，通常为非负数，且 d(i，j)=d(j，i)，d(i，i)=0。对象 d (1,3) d (2,3) 0 i和对象j越相似，则d(i，j)越接近 .......... .......... .......... 于0，对象i和对象j的差异越大，则 d ( 1 , n ) d ( 2 , n ) .......... .. 0 d(i，j)越大。相异度矩阵通常用距 离公式计算得到。

1 2.......... ....... 2 4.......... ....... 3 8.......... ....... 4 16 .......... ....... 5 32.......... .......
1
聚类分析概述
典型要求
数据挖掘对聚类的典型要求 （1）可伸缩性 可伸缩性是指算法不论对于小数据集还是对于大数据集,都应是有效 的。 （2）处理不同字段类型的能力 算法不仅要能处理数值型数据，还要有处理其它类型字段的能力，包 括分类/标称类型(categorical/nominal)，序数型(ordinal)，二元 类型(binary)，或者这些数据类型的混合。 （3）能够发现任意形状的聚类 有些簇具有规则的形状，如矩形和球形。但是，更一般地，簇可以具 有任意形状。
（2）分类变量
• 属性的取值为多个状态。 比如地图颜色是个分类变量，取值可以为：红 色，黄色，绿色，粉色，蓝色。1表示该变 量出现。 • 分类变量相异度计算 设 m 为对象i与j匹配的数目(即它们取相同的 状态值)，p为全部变量的数目，对象i与j 的相异度定义为
• 曼哈顿距离
• 闵可夫斯基距离
2
数据结构和类型
簇间距离度量
距离函数都是关于两个样本的距离刻画，然而在聚类应用中，最基本 的方法是计算类间的距离。 设有两个类Ca和Cb，它们分别有m和h个元素，它们的中心分别为ra和 rb。设元素x∈ Ca，y∈ Cb ，这两个元素间的距离通常通过类间距离 来刻画，记为D(Ca, Cb)。 最短距离法：定义两个类中最靠近的两个元素间的距离为类间距离。
d (i, j ) pm p
a b e c a d c c .......... ......... .......... ......... .......... .........

2
数据结构和类型
数据类型
（3）序数变量
• 属性的取值为多个状态，这些状态值 有一定的强度层次，可以排序。
yif log(xif )
2
数据结构和类型
数据类型
(5)混合类型变量
• 实际的应用中，一个数据库可以 包含多种类型的变量，比如区间 标度变量，对称二元，非对称二 元，分类，序数，或者比例标度 的。

1 2 3 4 5
很好 一般 很差 较好 较差
0 2 ....... 1 4.......... 0 8.......... 1 16 ......... 1 32..........
x , x , x ,......,x .......... .......... .... x , x , x ,......,x .......... .......... .... x , x , x ,......,x