实证分析方法与软件6-聚类分析

聚类分析

问题的实际背景

分类是科学研究的一个基础的、重要的方法。一般都是根据欲分类对象的性质来分类。对事物分类有多种方法。如内涵定义方法、外延定义方法等等。多元统计中的聚类分析是利用样本数据对样本或变量进行分类的一种数量方法。

所谓对事物进行分类，就是根据事物特性，将性质相近的事物归为一类。因此，欲用数量方法对事物分类，就应先明确事物性质的“远近”的概念。从数学的观点看，事物性质的“远近”可以用“距离”来刻画。根据事物特性和分类要求的不同，可以定义事物各种不同的“距离”。

定义了合适的距离，面对大量的对象，需要用系统的方法去进行聚类。此即聚类的算法。 聚类分析有许多方法。理解聚类方法关键要注意两点：1）距离；2）聚类的算法。 距离与相似系数

根据事物特性和分类要求的不同，可以定义事物各种不同的“距离”。

假设有p 个指标变量，n 个样本，样本数据矩阵为

????? ??=np n p x x x x X 1

111 。 在进行样本聚类分析时，最常用的有以下几种“距离”的定义：

1、 绝对值距离：∑=-=n k jk ik ij x x

d 1)1(；

2、 Euclid 距离：2

11)2(??

????

-=∑=n k jk ik ij x x d ； 3、 Chebyshev 距离：jk ik n k ij x x d -=∞≤≤1max )(；

4、 Minkowski 距离：q n k jk ik ij x x q d 11)(??

????-=∑=； 5、 Markoff 距离：)()()(12j i j i ij x x V x x M d -'-=-

其中，ij x 是样本观察值，i x 是样本数据矩阵的行向量，V 是样本数据矩阵的协方差矩阵。

不难看出，绝对值距离、Euclid 距离、Chebyshev 距离分别是Minkowski 距离分别取1=q 、

2、∞时的特例。Markoff 距离不受量纲的影响。

在对变量进行聚类分析时，也用上述的距离，但用得较多的是所谓的相似系数。常用的变量相似系数有下列几种：

1、 夹角余弦：211121

)1(??????=∑∑∑===n k kj n k ki n k kj ki ij x x x x c ；

2、 相关系数：2112121

)()())(()1(??

????----=∑∑∑===n k j kj n k i ki n k j kj i ki ij x x x x x x x x c ；

3、 指数相似系数：∑=--=n k s x x ij k jk ik e n c 14)(322

1)3(；

4、 ∑∑===n

k jk ik n k jk ik ij x x

x x c 11

),max(),min()5(； 5、 ∑∑==+=n k jk ik n

k jk ik ij x x

x x

c 1

1

)

max(),min()6(； 6、 ∑∑===n k jk

ik n k jk ik ij x x x x c 11),min()7(；

7、 非参数相似系数：令j ij ij

x x x -='， {}的个数中大于0 , , 1 ,n k x x n jk ik =''=+，

{}

的个数中小于0 , , 1 ,n k x x n jk ik =''=-，

定义非参数相关系数为 -

+-++-=n n n n c ij )4( 对于名义尺度变量，可以利用列联表和2χ系数定义一些相似系数。

类间距离

采用数量方法进行分类时，通常是逐步进行分类。因此，在分类过程中，除了要定义样本或变量间的距离外，还要定义类与类之间的距离。记ij d 是样本间的距离，p G 表示类，

pq D 表示类之间的距离。类之间的距离有下列简单的常用四种定义：

1、 最短距离：ij G j G i pq d D j

i ∈∈=,min ； 2、 最长距离：ij G j G i pq d D j

i ∈∈=,max ； 3、 重心距离：q p x x pq d D =；

其中，p G 的重心p x 是类p G 的算术平均数。

4、 类平均距离：∑∈∈=j i G j G i ij q p pq d n n D ,221

；

其中，p n 是类p G 中的元素个数。

除了上述定义的四种类间距离外，还有中间距离、离差平方距离等。

定义了样本或变量距离和类间距离后，对样本分类和对变量分类的方法是一样的。 聚类算法。

由于对样本和对变量聚类的算法类似，下面介绍聚类方法不区分样本或变量。 系统聚类算法

系统聚类方法是最常用的分类方法。其基本思想是：定义类与类之间的距离，将每个样本或变量看成一类，选择距离最小的一对并为一个新类，计算新类与其它各类的距离，再将距离最近的两类合并，如此等等，直到所有的样本或变量成为一类。其算法过程如下：

1、 将每个样本或变量分为一类，类间距离定义为样本或变量距离；

2、 计算各类的距离，并找出类距离的最小值点；

3、 将类距离最小的两类合并为一类；

4、 是否所有的样本或变量都成为一类？若是，分类停止；若否，转到步骤2。 动态聚类算法

用系统聚类的方法进行聚类时，样本或变量划分到某类后，就不会再改变了，并且，当样本数据量较大时，计算量非常大，内存耗费也比较大。因此希望找到较为简单的算法。动态聚类就是这类聚类方法。

动态聚类方法的基本思想是先划分一个初始分类，再按某一原则对分类进行修改，直至得到一个较为合理的分类。在进行原始分类时，往往是选择一些凝聚点，让样本或变量向凝聚点聚集。其分类算法过程如下：

1、 选择凝聚点；

2、 初始分类；

3、 分类是否合理：若合理，则终止分类；若不合理，则按修改原则修改分类，再次判别。

由此可见，动态聚类方法的关键在于三点：选择凝聚点；初始分类；修改原则。 选择凝聚点：选择凝聚点通常有下列几种方法：

1) 经验选择。如果对如何分类，要分成几类等问题已经有所了解，则可在各类中选择

一个有代表性的样本或变量作为凝聚点；

2) 将样本或变量随意分成k 类，以每类的均值作为凝聚点；

3) 任意选定两个正数1d ，2d ，且21d d <，以每个样本或变量为球心，1d 为半径作

球，计算落入该球内的样本数或变量数（称为该样本或该变量的密度）。选择密度最大的样本点或变量为第一凝聚点，再在与第一凝聚点的距离大于2d 的样本点或变量中，选择密度最大的样本点或变量作为第二凝聚点，如此等等；

4) 首先任意指定一个正数d ，取所有样本点或变量的均值作为第一凝聚点，然后依次

检查每个样本点或变量，若它与已有的凝聚点的距离大于d ，则选作凝聚点，否则就不是凝聚点；

5) 当样本量或变量数较大时，任取部分样本或变量，以某种方法聚类，取各类的重心

作为凝聚点。

初始分类：初始分类也有多种方法，有些方法不需选取凝聚点。

1) 定义样本或变量间的距离，每个样本或变量按最近凝聚点归类；

2) 将每个凝聚点归为一类，依次检查每个其它的样本或变量，将它归为最近的凝聚点，

并计算新类的重心，以该中心作为新的凝聚点，再检查下一个样本或变量；

3) 先认为取定一个正数d ，令}{11x G =，若2x 与1x 的距离d d <21，则将2x 归为

1G ，

否则，令}{22x G =，如此依次检查每个样本或变量。一般来说，在检查l x 时，设已有k 个类k G G , , 1 ，记第一个进入每个类的样本或变量为k i i x x , , 1 ，如

果有d d j li k

j ≤≤≤1min ，则将l x 归于取得最小值的那一类，否则，令}{1l k x G =+。 修改原则：给出了初始分类后，应按一定的方法检查、修改分类，使之更为合理。

1、 按批修改。

1) 定义样本或变量间的距离，选择凝聚点；

2) 将所有样本点或变量按最近距离的凝聚点归类；

3) 计算每类的重心，以这些重心为新的凝聚点；

4) 如果新凝聚点与老凝聚点重合，则分类停止；否则，返回第2步。

2、 逐个修改。逐个检查、归类每一个样本点或变量，归类一个样本点或变量，就修改凝聚

点，直至前后两次分类没有变化为止。

在按批修改和逐个修改中，关键是新凝聚点的确定。有非常多的重新确定凝聚点的方法，这也导致了不同的动态聚类方法。进一步的讨论，可以参考有关书籍。

不论何种聚类方法，当数据达到一定的数量时，其计算量将非常大，手工计算几乎是不可能的，一般可以利用现有的统计软件。常用统计软件都提供了多种聚类的方法。

例4：为了研究农民家庭收支情况，收集了某年28个省、市、自治区反映农民家庭生活消费支出情况的平均支出指标：食品（x 1）、衣着（x 2）、燃料（x 3）、住房（x 4）、生活用品及其他（x 5）、文化生活服务（x 6）等六项指标（数据见文件“例题数据-聚类分析.xls ”）。希望利用这些数据，将各省、市、自治区按农民家庭收支情况进行分组。