第六章 聚类分析

二. 聚类分析的SAS书写格式
proc cluster data=数据集名称 method=方法 选项串; var 变量名称; (用于聚类分析的变量) id 变量名称; (在聚类分析中用于标识观测样本的变量) proc tree data=数据集名 out=数据集名 horizontal graphics; id 变量名称; (在聚类谱系图中用于标识观测样本的变量)
(1)计算5个样品x1,x2,x3, x1 x2 x3 x4 x5 x4,x5两两间的距离,得初始 x1 0 [ 1 ] 3.5 5 7 0 2.5 4 6 的类间距离阵D(1) x2 0 1.5 3.5 x3 (2)一开始5个样品各自构成一 0 2 x4 类,得5个类 0 x5 G(i)={X(i)} (i =1,2,3,4,5) 类的个数为k=5 X3 x4 x5 CL4 (3)由D(1)可知,首先合并x1和x2为 X3 0 [ 1.5 ] 3.5 2.5 X4 一新类,记为CL4={x1,x2},此时类 0 2 4 0 6 的个数减少一类变为k=4,故把此步 X5 CL4 0 得到的新类记为CL4. (4)按最短距离法计算新类与其他类间的距离,得新的距离矩阵 D(2)见右表二,因此时类的总个数k=4大于1类,重复并类 过程.
一. 系统聚类法的基本思想和基本步骤
1. 系统聚类法的基本思想 设有n个样品,每个样品测得p项指标.系统聚类方法的基本思 想是:首先定义样品间的距离(或相似系数)以及类与类之间距离. 一开始将n个样品各自成一类,这时样品间的距离与类间的距离 是等价的;然后将距离最近的两类合并,并计算新类与其他类的 类间距离,再按最小距离准则并类.这样每次缩小一类,直到所有 的样品并为一类为止.这个并类过程可以用谱系聚类图表达出来. 由以上系统聚类法的基本思想,即可得出它的基本步骤如下: (0)先对数据进行变换,数据变换的目的是为了比较、计算上的 方便而改变数据的结构.再选择度量样品间距离的定义(如欧 氏距离等).及度量类间距离的定义(如最短距离法,参见下面 的系统聚类分析的方法).
(1)计算n个样品两两间的距离,得样品间的距离矩阵D(0) (2)一开始(第一步:i=1)n个样品各自构成一类,类的个数k=n 此时的类为Gi={Xi} i=1,2, …n,类间的距离就是样品间的 距离(即D(1)=D(0))然后对步骤i=1,2, …n执行并类过程的步 骤(3)和(4). (3)每次合并类间距离最小的两类为一新类.此时类的总个数k 减少1类,即k=n-i-1 (4)计算新类与其他类的距离,得新的距离阵D(i),若合并后类的 总个数k 仍大于1.重复步骤(3)和(4);直到类的总个数时k=1 为止。 (5)画聚类谱系图；(6)决定分类的个数及各类的成员。 例子 设有5个产品,每个产品测得一项指标,其值如下: 1, 2 , 4.5 , 6 , 8试对这5个产品按质量指标进行分类。 解 样品间的距离取为欧氏距离(普通的距离),类间的距离取为 类间的最短距离,依以上步骤计算如下:
(1) NCL 4 3 2 1 (２) Cluster History --Clusters Joined--X1 X2 X3 X4 CL3 X5 CL4 CL2 Obs name CLUSTER 1 X1 1 2 X2 1 3 X3 2 4 X4 2 5 X5 2 Min Dist T i e
FREQ 2 1 2 1.5 3 2 5 2.5 CLUSNAME CL4 CL4 CL2 CL2 CL2
选项outtree=han2指定输出数据集的名字,该数据集包含用
于画谱系聚类图的并类过程.Var语句指出用于聚类分析的变量;
id语句指定在输出中用变量name识别观测样品.并类的历史 过程见以上输出结果的第一部分.Tree过程用于画谱系图,选项 horizontal要求画水平的聚类谱系图.选项graphics要求画高 分辨率的图形.输出的谱系图见下(输出结果的第三部分).选项 ncl=2和out=han3指出分为二类,并把分类结果放到输出数据集 han3中.Print过程输出分为二类的分类结果,见输出结果的第 二部分.
输出的基本信息: The CLUSTER Procedure Single Linkage Cluster Analysis Eigenvalues of the Covariance Matrix Eigenvalue Difference Proportion Cumulative 1 8.20000000 1.0000 1.0000 Root-Mean-Square Total-Sample Standard Deviation = 2.863564
四. 类个数的确定
聚类分析中,类个数的确定是一个十分困难的问题,至今尚未找到令人满 意的方法,下面介绍几种常见的方法. 1.由适当的阈值确定 选定某种聚类方法,按系统聚类的步骤并类后,得到一张谱系聚类图.聚类图 (或简称谱系图)只反映样品(或变量间)的亲疏关系,它本身并没有给出分类,需 要规定一个临界相似性尺度,用以分割谱系聚类图,给定临界值(阈值) d,其含 义为样品间绝对距离<d 时,认为这些样品间关系密切,应归属同一类.这相当 于在距离为d 处切一刀. ２.根据统计量确定分类个数 CLUSTER过程提供如下的统计量用来选择合适的类个数. (1) R2 越大,聚类效果越好. (2) 半偏R2用于评价上一次合并的效果,某步半偏R2越大,说明上一次合并聚类 后的效果越好. (3)伪 F 统计量用于评价分为k个类的效果,伪F 的值越大表明这个 n 样品可 显著地分为k个类 (4)伪 t2 值越大说明上一次被合并的两类是很分开的,上一次的聚类效果越好.
ቤተ መጻሕፍቲ ባይዱ第六章
第一节
聚类分析
系统聚类与CLUSTER过程
第二节
第三节
变量聚类分析和VARCLUS过程
模糊聚类分析
聚类分析又称群分析,它是对样品或指标进行分类的一种多 元统计方法.在实际问题中,经常遇到分类问题,例如对某城市按 大气污染的轻重分成几类;在经济学中根据人均国民收入、人均 工农业产值、人均消费水平等多种指标对地区性的经济发展状 况进行分类等. 分类只不过是将一个观测对象指定到某一类(组)中,分类的 问题可以分成两种:一种是对当前所研究的问题已知它的类别数 目,且知道各类的特征,我们的目的是要将另一些未知类别的个 体正确归属于其中某一类,这是判别分析所要解决的问题.另一种 是事先不知道研究的问题应分为几类,更不知道观测到的个体的 具体分类情况.
data han1; input name $ x @@; cards; x1 1 x2 2 x3 4.5 x4 6 x5 8 ; proc cluster data=han1 method=single nonorm outtree=han2; var x; id name; proc tree data=han2 out=han3 ncl=2 horizontal graphics; id name; proc print data=han3; run; 说明:以上SAS程序中,引入一个字符变量name,目的是在输出中 用x1至x5来识别5个产品CLUSTER过程是用于系统聚类的过 程.选项method=single规定类距离使用最短距离法.选项 nonorm表示类间的距离不进行规格化.
Cluster History NCL-Clusters Joined- FREQ SPRSQ RSQ ERSQ CCC PSF 21 G1 G2 2 0.0002 1.00 . . 311 20 G11 G12 2 0.0011 .999 . . 82.7 19 G4 G7 2 0.0012 .998 . . 68.5 18 G13 G21 2 0.0030 .995 . . 43.2 17 G17 G20 2 0.0051 .989 . . 29.3 16 G8 CL18 3 0.0086 .981 . . 20.5 15 CL19 G18 3 0.0122 .969 . . 15.4 14 G15 G22 2 0.0096 .959 . . 14.4 13 CL21 CL14 4 0.0223 .937 . . 11.1 12 CL17 G19 3 0.0197 .917 . . 10.0 11 CL13 G6 5 0.0278 .889 . . 8.8 10 G3 G14 2 0.0258 .863 . . 8.4 9 CL11 G5 6 0.0436 .820 . . 7.4 8 CL15 CL16 6 0.0898 .730 . . 5.4 7 CL8 G9 7 0.0443 .686 . . 5.5 6 CL9 CL12 9 0.1051 .581 . . 4.4 5 CL10 CL7 9 0.0798 .501 . . 4.3 4 CL6 CL5 18 0.1692 .332 .526 -4.3 3.0 3 CL4 CL20 20 0.1336 .198 .415 -4.2 2.3 2 CL3 G16 21 0.0949 .103 .250 -3.1 2.3 1 CL2 G10 22 0.1032 .000 .000 0.00 .
(5)由D(2)可知类间距离为1.5最小,故 X5 CL4 CL3 合并x3和x4为一新类,记为 X5 0 6 [2] CL3={x3, x4};类的总个数减少一个 CL4 0 2.5 变为k=3,故把此步得到的新类记为CL3. 0 CL3 (6)按最短距离法计算新类与其他类的距离,得新的距离矩阵D(3) 因此时类的总个数大于1类,重复并类过程. (7)由D(3)可知,应合并x5和CL3为一新类,记为CL2={x5,CL3}, 此时类的总个数k减少1类变为k=2,故把此 CL4 CL2 步得到的新类记为CL2. CL4 0 [2.5] (8)按最短距离法计算新类CL2与其他类的距 CL2 0 离,得新的距离矩阵D(4)因此时总的类个数 k=2大于1,重复并类过程. (9)由D(4)可知,最后应合并CL4和CL2为一新类,记为 CL1={x1, x2, x5, x3,x4}. 此时类的总个数k=1, 故把此步得到的新类记为CL1,此时所 有样品全合并为一类,并类过程至此结束.