K-MEANS(K均值聚类算法,C均值算法)复习过程
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
无忧PPT整理发布
• 算法描述
1. 为中心向量c1, c2, …, ck初始化k个种子 2. 分组:
✓ 将样本分配给距离其最近的中心向量 ✓ 由这些样本构造不相交（ non-overlapping ）
的聚类
3. 确定中心: ✓ 用各个聚类的中心向量作为新的中心
4. 重复分组和确定中心的步骤，直至算法收敛
2.13.2 The k-Means Algorithm (K-均值聚类算法）
无忧PPT整理发布
主讲内容
算法简介 算法描述 算法要点
算法实例
算法性能分析
ISODATA算法
算法改进
gapstatistics
无忧PPT整理算发法布应用
算法简介
• k-means算法，也被称为k-平均或k-均值，是 一种得到最广泛使用的聚类算法。 它是将各个 聚类子集内的所有数据样本的均值作为该聚类 的代表点，算法的主要思想是通过迭代过程把 数据集划分为不同的类别，使得评价聚类性能 的准则函数达到最优，从而使生成的每个聚类 内紧凑，类间独立。这一算法不适合处理离散 型属性，但是对于连续型具有较好的聚类效果。
c2 4 5 0
• 计算平O方5 误差d准M 则1,O ，5单个0 方 差52 为2225 5 5 2
d M 2 ,O 50 5 2 0 2 22 9
dM 1,O 5dM 2,O 5 C1O 1,O 5
O5
C1
C2O2,O3,O4
E 1 0 0 2 2 2 2 0 5 2 2 2 2 2 M 15 O 10,2
(1)选择 O10,2 ，O20,0 为初始的簇中心，即
2
，M 1O 10,2 。 M 2O 20,0
(2)对剩余的每个对象，根据其与各个簇中心的距
0
离，将它赋给最近的簇。
0
对O3 ：
d M 1 ,O 30 1 .5 2 2 0 2 2 .5
0
2
d M 2 ,O 30 1 .5 2 0 0 2 1 .5
E2 27.25 M 2O 20,0
无忧PPT整理发布
Ox y
总体平均方差是：
E E 1 E 2 2 2 5 .2 7 5 .2 25 12
0 0
2 0
（3）计算新的簇的中心。
3 1.5 0
M 1 0 5 2 , 2 2 2 2 . 5 , 2
45 0
M 2 0 1 . 5 5 3 , 0 0 0 3 2 . 1 , 0 7 5 5 2
欧式距离公式如下：
d
dxi,xj
x x 2 ik 无jk忧PPT整理发布
k1
• （2）选择评价聚类性能的准则函数
k-means聚类算法使用误差平方和准则函数来
评价聚类性能。给定数据集X，其中只包含描述属
性，不包含类别属性。假设X包含k个聚类子集
X1,X2,…XK；各个聚类子集中的样本数量分别为n1，
重复（2）和（3），得到O1分配给C1；O2分配给C2，O3分配
，给C2 ，O4分配给C2，O5分配给C1。更新，得到新簇 C1O 1,O 5
。和 C 2O 2,O 3,O 4。 中心为 M 12.5,2 ， M 22.1,0 7 。
显然 d M 2 ,O 3 d M 1 ,O 3，故将O 3 分配给C 2
无忧PPT整理发布
• 因为
所以将 分配给
• 对于 ：
Ox y
O 4 dM 1,O 40 5 22022 9 1 0 2
20 0
• 因为
dM 2,O 4所0以 5 将2 0 分 0 配2给5 3 1.5 0
• 更新，d 得M 到2,O 新4簇dM 1 ,O 4 和 O 4
无忧PPT整理发布
算法 k-means算法
输入：簇的数目k和包含n个对象的数据库。
输出：k个簇，使平方误差准则最小。 算法步骤： 1.为每个聚类确定一个初始聚类中心，这样就有K 个
初始聚类中心。 2.将样本集中的样本按照最小距离原则分配到最邻
近聚类 3.使用每个聚类中的样本均值作为新的聚类中心。 4.重复步骤2.3直到聚类中心不再变化。 5.结束，得到K个聚类
无忧PPT整理发布
假设给定的数据集 Xxm|m 1 ,2,.t.o .,，ta X中l
的样本用d个描述属性A1,A2…Ad来表示，并且d个描 述属性都是连续型属性。数据样本
xi=(xi1,xi2,…xid), xj=(xj1,xj2,…xjd)其中， xi1,xi2,…xid和xj1,xj2,…xjd分别是样本xi和xj对应d 个描述属性A1,A2,…Ad的具体取值。样本xi和xj之 间的相似度通常用它们之间的距离d(xi,xj)来表示 ，距离越小，样本xi和xj越相似，差异度越小；距 离越大，样本xi和xj越不相似，差异度越大。
n2,…,nk;各个聚类子集的均值代表点（也称聚类中
心）分别为m1，m2,…,mk。则误差平方和准则函数
公式为：
k
2
E Hale Waihona Puke Baidumi
i1 pXi
无忧PPT整理发布
• （3）相似度的计算根据一个簇中对象的平均值
来进行。 • （1）将所有对象随机分配到k个非空的簇中。 • （2）计算每个簇的平均值，并用该平均值代表相
三个要点： • （1）选定某种距离作为数据样本间的相似性度
量 上面讲到，k-means聚类算法不适合处理离散型
属性，对连续型属性比较适合。因此在计算数据样 本之间的距离时，可以根据实际需要选择欧式距离 、曼哈顿距离或者明考斯距离中的一种来作为算法 的相似性度量，其中最常用的是欧式距离。下面我 给大家具体介绍一下欧式距离。
无忧PPT整理发布
将样本分配给距离它们最近的中心向量，并使目
标函数值减小
n
i1 j{m 1,2,.i..kn,}||xi pj ||2
更新簇平均值
xi
1 Ci
x
xCi
计算准则函数E
E k i1
2
xCi xxi
无忧PPT整理发布
K-means聚类算法
无忧PPT整理发布
划分聚类方法对数据集进行聚类时包括如下
应的簇。 • （3）根据每个对象与各个簇中心的距离，分配给
最近的簇。 • （4）然后转（2），重新计算每个簇的平均值。
这个过程不断重复直到满足某个准则函数才停止 。
无忧PPT整理发布
例子
Ox 10 20 3 1.5 45 55
数据对象集合S见表1，作为一个聚类分析的二维
y
样本，要求的簇的数量k=2。
• 算法描述
1. 为中心向量c1, c2, …, ck初始化k个种子 2. 分组:
✓ 将样本分配给距离其最近的中心向量 ✓ 由这些样本构造不相交（ non-overlapping ）
的聚类
3. 确定中心: ✓ 用各个聚类的中心向量作为新的中心
4. 重复分组和确定中心的步骤，直至算法收敛
2.13.2 The k-Means Algorithm (K-均值聚类算法）
无忧PPT整理发布
主讲内容
算法简介 算法描述 算法要点
算法实例
算法性能分析
ISODATA算法
算法改进
gapstatistics
无忧PPT整理算发法布应用
算法简介
• k-means算法，也被称为k-平均或k-均值，是 一种得到最广泛使用的聚类算法。 它是将各个 聚类子集内的所有数据样本的均值作为该聚类 的代表点，算法的主要思想是通过迭代过程把 数据集划分为不同的类别，使得评价聚类性能 的准则函数达到最优，从而使生成的每个聚类 内紧凑，类间独立。这一算法不适合处理离散 型属性，但是对于连续型具有较好的聚类效果。
c2 4 5 0
• 计算平O方5 误差d准M 则1,O ，5单个0 方 差52 为2225 5 5 2
d M 2 ,O 50 5 2 0 2 22 9
dM 1,O 5dM 2,O 5 C1O 1,O 5
O5
C1
C2O2,O3,O4
E 1 0 0 2 2 2 2 0 5 2 2 2 2 2 M 15 O 10,2
(1)选择 O10,2 ，O20,0 为初始的簇中心，即
2
，M 1O 10,2 。 M 2O 20,0
(2)对剩余的每个对象，根据其与各个簇中心的距
0
离，将它赋给最近的簇。
0
对O3 ：
d M 1 ,O 30 1 .5 2 2 0 2 2 .5
0
2
d M 2 ,O 30 1 .5 2 0 0 2 1 .5
E2 27.25 M 2O 20,0
无忧PPT整理发布
Ox y
总体平均方差是：
E E 1 E 2 2 2 5 .2 7 5 .2 25 12
0 0
2 0
（3）计算新的簇的中心。
3 1.5 0
M 1 0 5 2 , 2 2 2 2 . 5 , 2
45 0
M 2 0 1 . 5 5 3 , 0 0 0 3 2 . 1 , 0 7 5 5 2
欧式距离公式如下：
d
dxi,xj
x x 2 ik 无jk忧PPT整理发布
k1
• （2）选择评价聚类性能的准则函数
k-means聚类算法使用误差平方和准则函数来
评价聚类性能。给定数据集X，其中只包含描述属
性，不包含类别属性。假设X包含k个聚类子集
X1,X2,…XK；各个聚类子集中的样本数量分别为n1，
重复（2）和（3），得到O1分配给C1；O2分配给C2，O3分配
，给C2 ，O4分配给C2，O5分配给C1。更新，得到新簇 C1O 1,O 5
。和 C 2O 2,O 3,O 4。 中心为 M 12.5,2 ， M 22.1,0 7 。
显然 d M 2 ,O 3 d M 1 ,O 3，故将O 3 分配给C 2
无忧PPT整理发布
• 因为
所以将 分配给
• 对于 ：
Ox y
O 4 dM 1,O 40 5 22022 9 1 0 2
20 0
• 因为
dM 2,O 4所0以 5 将2 0 分 0 配2给5 3 1.5 0
• 更新，d 得M 到2,O 新4簇dM 1 ,O 4 和 O 4
无忧PPT整理发布
算法 k-means算法
输入：簇的数目k和包含n个对象的数据库。
输出：k个簇，使平方误差准则最小。 算法步骤： 1.为每个聚类确定一个初始聚类中心，这样就有K 个
初始聚类中心。 2.将样本集中的样本按照最小距离原则分配到最邻
近聚类 3.使用每个聚类中的样本均值作为新的聚类中心。 4.重复步骤2.3直到聚类中心不再变化。 5.结束，得到K个聚类
无忧PPT整理发布
假设给定的数据集 Xxm|m 1 ,2,.t.o .,，ta X中l
的样本用d个描述属性A1,A2…Ad来表示，并且d个描 述属性都是连续型属性。数据样本
xi=(xi1,xi2,…xid), xj=(xj1,xj2,…xjd)其中， xi1,xi2,…xid和xj1,xj2,…xjd分别是样本xi和xj对应d 个描述属性A1,A2,…Ad的具体取值。样本xi和xj之 间的相似度通常用它们之间的距离d(xi,xj)来表示 ，距离越小，样本xi和xj越相似，差异度越小；距 离越大，样本xi和xj越不相似，差异度越大。
n2,…,nk;各个聚类子集的均值代表点（也称聚类中
心）分别为m1，m2,…,mk。则误差平方和准则函数
公式为：
k
2
E Hale Waihona Puke Baidumi
i1 pXi
无忧PPT整理发布
• （3）相似度的计算根据一个簇中对象的平均值
来进行。 • （1）将所有对象随机分配到k个非空的簇中。 • （2）计算每个簇的平均值，并用该平均值代表相
三个要点： • （1）选定某种距离作为数据样本间的相似性度
量 上面讲到，k-means聚类算法不适合处理离散型
属性，对连续型属性比较适合。因此在计算数据样 本之间的距离时，可以根据实际需要选择欧式距离 、曼哈顿距离或者明考斯距离中的一种来作为算法 的相似性度量，其中最常用的是欧式距离。下面我 给大家具体介绍一下欧式距离。
无忧PPT整理发布
将样本分配给距离它们最近的中心向量，并使目
标函数值减小
n
i1 j{m 1,2,.i..kn,}||xi pj ||2
更新簇平均值
xi
1 Ci
x
xCi
计算准则函数E
E k i1
2
xCi xxi
无忧PPT整理发布
K-means聚类算法
无忧PPT整理发布
划分聚类方法对数据集进行聚类时包括如下
应的簇。 • （3）根据每个对象与各个簇中心的距离，分配给
最近的簇。 • （4）然后转（2），重新计算每个簇的平均值。
这个过程不断重复直到满足某个准则函数才停止 。
无忧PPT整理发布
例子
Ox 10 20 3 1.5 45 55
数据对象集合S见表1，作为一个聚类分析的二维
y
样本，要求的簇的数量k=2。