第11章 聚类分析与判别分析

第十一章聚类分析与判别分析

聚类分析与判别分析是两类常用多元分析方法。聚类分析可以将个体或对象分类，使得同一类中的对象之间的相似性比与其他类的对象的相似性更强；而判别分析则可以根据已掌握的样本信息建立判别函数，当遇到新的样本点时根据判别函数可以判断该样本点所属的类别。

第一节聚类分析

一、聚类分析的基本思想

“物以类聚，人以群分”。分类处理，在现实中极为普遍。

在生物、经济、社会、人口等领域的研究中，存在着大量量化分类研究。例如：在生物学中，为了研究生物的演变，生物学家需要根据各种生物不同的特征对生物进行分类；在经济研究中，为了研究不同地区城镇居民生活中的收入和消费情况，往往需要划分不同的类型去研究；在人口学研究中，需要构造人口生育分类模式、人口死亡分类状况，以此来研究人口的生育和死亡规律。

历史上，这些分类方法多半是人们主要依靠经验作定性分类，致使许多分类带有主观性和任意性，特别是对于多因素、多指标的分类问题，定性分类的准确性不好把握。为了克服定性分类存在的不足，人们把数学方法引入分类中，形成了数值分类学，进而产生了聚类分析这一最常用的技巧。

聚类分析将个体或对象分类，使得同一类中的对象之间的相似性比与其他类的对象的相似性更强。其目的在于：使类内对象的同质性最大化和类间对象的异质性最大化。

聚类分析通常可以分为两种：Q型聚类和R型聚类。Q型聚类是对观测个体的分类，R 型聚类是对变量的分类。二者在数学上是对称的，没有本质区别。

二、符号说明

多元统计分析中要注意区分样本和变量。

每个样品有p个指标（变量）从不同方面描述其性质，形成一个p维的向量，可以把n 个样品看成p维空间中的n个点。

X表示第k个变量第j次观测值（或称第j个项目的测量值），即：我们用记号

jk

X=第k个变量第j次观测值

jk

p个变量的n个观测值可表示如下：

111211212222121

2

12

12k p k p

j j jk jp n n nk

np

k

p X X X X X X X X j X X X X n

X X X

X 变量变量变量变量观测观测观测观测

记为：

111211212222121

2

k p k p j j jk jp n n nk

np X X X X X X X X X X X X X X X X ⎛⎫

⎪ ⎪

⎪=

⎪ ⎪

⎪ ⎪ ⎪⎝⎭

X 记12(,,

,)'j

p j j jp X X X X R =∈,表示第j 个样品，它表示p 维空间的一个点。则

有：

12()

()'()'()'n p n X X X ⨯⎛⎫

⎪

⎪

= ⎪ ⎪ ⎪⎝⎭

X

记12i i n i ni X X X R X ⎛⎫

⎪ ⎪=∈ ⎪ ⎪⎝⎭

，表示第i 个变量所有n 个观测值，则有： ()()12,,

,n p p X X X ⨯=X

在不引起混淆的情况下，我们也以12,,

,

p X X X 表示变量。

三、相似性度量

在聚类之前，要首先分析样品间的相似性。

一般说，研究的样品或指标（变量）之间是存在着程度不同的相似性（亲疏关系）。于是根据一批样品的多个观测指标，具体找出一些能够度量样品或指标之间的相似程度的统计量，以这些统计量为划分类型的依据，把一些相似程度较大的样品（或指标）聚合为一类，把另外一些彼此之间相似程度较大的样品（或指标）又聚合为另外一类，等等。

因而对相似性的描述成为聚类分析的基础。

相似性度量的工具一般可以采用距离和相似系数。距离常用来度量样品间相似性，相似

系数常用来度量变量间相似性。

1．样品间相似性度量

两个样品间相似程度就可用p 维空间中的两点距离公式来度量。两点距离公式可以从不同角度进行定义，令d ij 表示样品X i 与X j 的距离，常用以下距离公式：

（1）绝对距离

1

(1)p

ij ik jk k d X X ==-∑ (11-1)

（2）平方欧氏距离

21/2

1

(2)()p

i j i k

j k

k d X X ==-∑ (11-2)

（3）切比雪夫距离

1()max ij ik jk

k p

d X X ≤≤∞=- (11-3)

（4）明考夫斯基距离（明氏距离）

1/1

()()p

q

q ij ik jk k d q X X ==-∑ (11-4)

绝对距离、平方欧氏距离与切比雪夫距离都是明氏距离的特例（1,2,q =∞）。

明氏基距离主要有以下两个缺点： ①明氏距离的值与各指标的量纲有关，而各指标计量单位的选择有一定的人为性和随意性。

②明氏距离的定义没有考虑各个变量之间的相关性和重要性。实际上，明考夫斯基距离是把各个变量都同等看待，将两个样品在各个变量上的离差简单地进行了综合。

考虑到明氏距离的缺陷，可以采用兰氏距离和马氏距离。 （5）兰氏距离

兰思和威廉姆斯(Lance & Williams)所给定的一种距离，其计算公式为

1

()p

ik jk ij k ik jk

X X d L X X =-=+∑

(11-5)

这是一个自身标准化的量，由于它对大的奇异值不敏感，使其特别适合于高度偏倚的数据，有助于克服明氏距离的第一个缺点。但它也没有考虑指标之间的相关性。

（6）马氏距离

印度著名统计学家马哈拉诺比斯(P ．C ．Mahalanobis)所定义了一种距离，其计算公式为：

21()()()i j i j ij d M X X X X -'=--Σ (11-6)

其中，i j X X 与j 为第i 个和第j 个样本，列向量，来自均值向量为μ ，协方差为∑（＞

0）的总体。

马氏距离又称为广义欧氏距离。显然，马氏距离与上述各种距离的主要不同就是它考虑了观测变量之间的相关性。如果各变量之间相互独立，即观测变量的协方差矩阵是对角矩阵，则马氏距离就退化为用各个观测指标的方差的倒数作为权数的加权平方欧氏距离。马氏距离还考虑了观测变量之间的变异性，不再受各指标量纲的影响。将原始数据作线性变换后，马

氏距离不变。

马氏距离计算的困难在于协方差矩阵的计算。通常总体的协方差矩阵未知，可以用样本数据估计。

一般说来，同一批数据采用不同的距离公式，会得到不同的分类结果。通常选择距离公式应注意遵循以下的基本原则：

（1）要考虑所选择的距离公式在实际应用中有明确的意义。如欧氏距离就有非常明确的空间距离概念，马氏距离有消除量纲影响的作用。

（2）要综合考虑对样本观测数据的预处理和将要采用的聚类分析方法。如在进行聚类分析之前已经对变量作了标准化处理，则通常就可采用欧氏距离。

（3）实际中，聚类分析前不妨试探性地选择几个距离公式分别进行聚类，然后对聚类分析的结果进行对比分析，以确定最合适的距离测度方法。

2．变量相似性的度量

变量间的相似性有两种度量方法：夹角余弦和相关系数。 （1）夹角余弦

两变量X i 与X j 看作p 维空间的两个向量，这两个向量间的夹角余弦可用下式进行计算

cos p

ik

jk

ij X

X θ=

∑ (11-7)

显然，∣cos θ ij ∣ ≤ 1。

（2）相关系数

相关系数经常用来度量变量间的相似性。变量Xi 与Xj 的相关系数定义为

()()

p

ik

i jk j ij X

X X X r --=

∑ (11-8)

显然也有，∣r ij ∣ ≤ 1。

无论是夹角余弦还是相关系数，它们的绝对值都小于1，作为变量近似的度量工具，我们把它们统记为c ij 。当∣c ij ∣=1时，说明变量X i 与X j 完全相似；当∣c ij ∣近似于1时，说明变量X i 与X j 非常密切；当∣c ij ∣= 0时，说明变量X i 与X j 完全不一样；当∣c ij ∣近似于0时，说明变量X i 与X j 差别很大。

据此，我们把比较相似的变量聚为一类，把不太相似的变量归到不同的类内。 在实际聚类过程中，为了计算方便，我们把变量间相似性的度量公式作如下变换： d ij = 1 - ∣c ij ∣ (11-9) 或者

d ij 2 = 1 - c ij 2 (11-10) 四、系统聚类法

1．系统聚类的基本思路

系统聚类思路是：假设总共有n 个样品（或变量），第一步将每个样品（或变量）独自聚成一类，共有n 类；第二步根据所确定的样品（或变量）“距离”公式，把距离较近的两个样品（或变量）聚合为一类，其它的样品（或变量）仍各自聚为一类，共聚成n -1类；

第三步将“距离”最近的两个类进一步聚成一类，共聚成n -2类；……，以上步骤一直进行下去，最后将所有的样品（或变量）全聚成一类。

2．类间距离与系统聚类方法 在进行系统聚类之前，我们首先要定义类与类之间的距离，不同的类间距离定义产生了不同的系统聚类法。常用的类间距离定义有8种，与之相应的系统聚类法也有8种，分别为最短距离法、最长距离法、中间距离法、重心法、类平均法、可变类平均法、可变法和离差平方和法。它们的归类步骤基本上是一致的，主要差异是类间距离的计算方法不同。以下用d ij 表示样品X i 与X j 之间距离，用D ij 表示类G i 与G j 之间的距离。 最短距离法定义类与类之间的距离为两类最近样品的距离，即为

p q

pq ,min

i j ij X G X G D d ∈∈=

(11-11)

设类G i 与G j 合并成一个新类记为G r ，则k G 与r G 的距离为

,min

i j k r

kr ij X G X G D d ∈∈=

,,min{

min

,

min

}i j i j k p

k q

ij ij X G X G X G X G d d ∈∈∈∈=min{,}kp kq D D = (11-12)

类似的，最长距离法定义类与类之间的距离为两类最远样品的距离；重心法定义类与类之间的距离为两个类的重心之间的距离，等等，我们不再详述。

离差平方和法也称为Ward 法。按照这种方法，在进行聚类时先计算某两个类各自的类内离差平方和，然后计算把这两个类合并后的类内离差平方和，计算出两个类合并前后类内离差平方和的增加量。最后，将类内离差平方和增加最小的两个类进行合并，依此类推。

下面我们用最短距离法来说明系统聚类的步骤。 （1）定义样品之间距离，计算样品的两两距离，得一距离阵记为D （0），开始每个样品自成一类，显然这时D ij =d ij 。 （2）找出距离最小元素，设为D pq ，则将G p 和G q 合并成一个新类，记为G r ，即G r = ｛G p ，G q ｝。

（3）按（11-12）计算新类与其它类的距离。 （4）重复（2）、（3）两步，直到所有元素。并成一类为止。如果某一步距离最小的元素不止一个，则对应这些最小元素的类可以同时合并。

【例11.1】设有五个样品，每个只测量一个指标，分别是1，2，3，7，9。试用最短距 离法将它们分类。 （1）样品采用绝对值距离，计算样品间的距离阵D （0），见表11-4。

（2）D （0）中最小的元素是D 12＝D 23＝1，于是将G 1、G 2与G 3合并成G 6，并利用（11-14）式计算新类与其它类的距离阵D （1） ，见表11-5。

（3）在D（1）中最小值是D45＝2，由于G4与G5合并成一个新类G7，G7与其它类的距离阵D（2），见表11-6。

表11-6 距离阵D（2）

（4）最后将G6和G7合并成G8，这时所有的五个样品聚为一类，聚类过程终止。

五、K-均值聚类分析

系统聚类法需要计算出不同样品或变量的距离，还要在聚类的每一步都要计算“类间距离”，相应的计算量自然比较大；特别是当样本的容量很大时，需要占据非常大的计算机内存空间，这给应用带来一定的困难。而K-均值法是一种快速聚类法，采用该方法得到的结果比较简单易懂，对计算机的性能要求不高，因此应用也比较广泛。

K-均值法是麦奎因（MacQueen，1967）提出的，这种算法的基本思想是将每一个样品分配给最近中心（均值）的类中，具体的算法至少包括以下三个步骤：

1．将所有的样品分成K个初始类；

2．通过欧氏距离将某个样品划入离中心最近的类中，并对获得样品与失去样品的类，重新计算中心坐标；

3．重复步骤2，直到所有的样品都不能再分配时为止。

K-均值法和系统聚类法一样，都是以距离的远近亲疏为标准进行聚类的，但是两者的不同之处也是明显的：系统聚类对不同的类数产生一系列的聚类结果，而K-均值法只能产生指定类数的聚类结果。具体类数的确定，离不开实践经验的积累；有时也可以借助系统聚类法以一部分样品为对象进行聚类，其结果作为K-均值法确定类数的参考。

下面通过一个具体问题说明K-均值法的计算过程。

【例11.2】假定我们对A、B、C、D四个样品分别测量两个变量（表11-7），试将以上的样品聚成两类。

表11-7 两个变量的观测结果

第一步：按要求取K=2，为了实施均值法聚类，我们将这些样品随意分成两类，比如（A、B）和（C、D），然后计算这两个聚类的中心坐标，见表11-8所示。

表11-8 两个聚类的中心坐标

等等。

第二步：计算某个样品到各类中心的欧氏平方距离，然后将该样品分配给最近的一类。对于样品有变动的类，重新计算它们的中心坐标，为下一步聚类做准备。先计算A 到两个类的平方距离：

222(,())(62)(43)17d A AB =-+-= 222(,())(61)(41)34d A CD =-+-=

由于A 到（A 、B ）的距离小于到（C 、D ）的距离，因此A 不用重新分配。计算B 到两类的平方距离：

222(,())(22)(23)17d B AB =--+-=

222(,())(21)(21)10d B CD =--+-=

由于B 到（A 、B ）的距离大于到（C 、D ）的距离，因此B 要分配给（C 、D ）类，得到新的聚类是（A ）和（B 、C 、D ）。更新中心坐标如表11-9所示。

表11-9 更新后的中心坐标

第三步：再次检查每个样品，以决定是否需要重新分类。计算各样品到各中心的距离平方，得结果见表11-10。

到现在为止，每个样品都已经分配给距离中心最近的类，因此聚类过程到此结束。最终得到K=2的聚类结果是A 独自成一类，B 、C 、D 聚成一类。

第二节 判别分析

判別分析（discriminant analysis ），是在已知的分类之下，判断新的样本隶属于那一类的

15(1)22

X +-==

多元分析方法。 一、判别分析的基本思想

判别分析的基本思想是：根据已掌握的每个类别的若干样本的数据信息，建立判别公式和判别准则。当遇到新的样本点时，根据总结出来的判别公式和判别准则，即能判别该样本点所属的类别。

已知分类可用总体表示，所以，判别分析是判断样本属于那个总体的方法。

判別分析用途甚多，如医学疾病诊断、动植物分类、商品等级划分和商业银行客户评级等。

常用的判别分析方法有：距离判别法、Fisher 判别法、Bayes 判别法和逐步判别法。我们这里只介绍距离判法和Fisher 判别法。 二、距离判别法

1．两总体的距离判别法（协方差阵相同）

先考虑两个总体的情况，设有两个协差阵∑相同的p 维正态总体1G 和2G ，对给定的样本Y ，判别一个样品Y 是来自哪一个总体，一个最直观的想法是计算Y 到两个总体的距离。一般用马氏距离来指定判别规则，即有

()()()()2211222

2212212(,)(,)

Y G d Y G d Y G Y G d Y G d Y G d Y G d Y G ⎧∈<⎪⎪∈<⎨⎪=⎪⎩，如，，，，如，，待判，如 (11-13) 样本Y 到两类的距离之差为

22211

1

2211''1''1111'11222(,)(,)()()()()

2(2)

2()()()()2[]()2

d Y G d Y G Y Y Y Y Y Y Y Y Y Y μμμμμμμμμμμμμμμμμμμμ------------''=-∑

---∑

-'=∑-∑+∑'-∑-∑+∑'=∑--+∑-+'=-

∑-1122

2111111

1212y y (11-14)

令

2

μμμ+=

12

，12()(,,

,)p a a a αμμ-'=∑-=1

12

111()()()()p p p W Y Y a Y a Y Y μαμμ'''=-=-+

+-=-ααμ (11-15)

则判别函数可以表示为：

1200()0Y G W

Y Y G W

Y W Y ∈>⎧⎪

∈<⎨⎪=⎩

，如（），如（）待判，如 (11-16) 显然，()W Y 是Y 的线性函数，线性判别函数使用起来最为方便，应用也最为广泛。

在实际应用中，协方差矩阵一般是未知的，需要预先估计。 具体判别步骤如下：

（1）分别计算各组的离差矩阵S 1和S 2

（2）计算1212

ˆ

2S S

n n +∑=+-

（3）计算类的均值12,μμ

（4）计算1

12

12

ˆ,,2

μμμμ-+∑-

（5）计算

判别函数的系数：1

12()μμ-∑-，

判别函数的常数：112

12()2

μμμμ-+'∑-（

）

（6）生成判别函数，将检验样本代入，得分，判类。 2．两总体的距离判别法（协方差阵不同） 判别准则是：

()()()()2211222

2212212(,)(,)Y G d Y G d Y G Y G d Y G d Y G d Y G d Y G ⎧∈<⎪⎪∈<⎨⎪=⎪⎩

，如，，，，如，，待判，如 (11-17) 样本Y 到两类的距离之差为

222111222111(,)(,)

()()()()

d Y G d Y G Y Y Y Y μμμμ---''=-∑---∑- (11-18)

3．多总体的距离判别法

设有k 个总体k G G G ,,,21 ，其均值和协方差矩阵分别是k μμμ,,,21 和

k ΣΣΣ,,,21 ，而且ΣΣΣΣ====k 21。对于一个新的样品y ，要判断它来自哪个

总体。

该问题与两个总体的距离判别问题的解决思想一样。计算新样品X 到每一个总体的距离，即

21

(,)()()d Y G ααα-'=--y μΣy μ

1111

'2'2()Y Y Y Y Y Y C α

ααα

α----''=-+'=-+ΣμΣμΣμΣI (11-19)

这里ααμΣI 1

-=，αααμΣμ12

1-'-

=C ，k ,,2,1 =α

取线性判别函数为

()W Y C αα

α'=+X I ， k ,,2,1 =α (11-20) 相应的判别规则为

i Y G ∈ 如果 1()max()i k

W Y Y C α

αα≤≤'=+I (11-21)

针对实际问题，当k μμμ,,,21 和Σ均未知时，可以通过相应的无偏估计量替代。 二、Fisher 判别法

从距离判别法，我们已经看到判别规则是一个线性函数，由于线性判别函数使用简便，因此我们希望能在更一般的情况下，建立一种线性判别函数。Fisher 判别法是根据方差分析的思想建立起来的一种能较好区分各个总体的线性判别法，由Fisher 在1936年提出。该判别方法对总体的分布不做任何要求。

Fisher 判别法是一种投影方法，把高维空间的点向低维空间投影。在原来的坐标系下，可能很难把样品分开，而投影后可能区别明显。一般说，可以先投影到一维空间（直线）上，如果效果不理想，在投影到另一条直线上（从而构成二维空间），依此类推。每个投影可以建立一个判别函数。

下面给出Fisher 判别法的详细步骤。 1．两个总体的Fisher 判别函数

从两个总体中抽取具有p 个指标的样品观测数据，借助于方差分析的思想构造一个线性判别函数：

'

1122()p p C Y CY C Y C Y CY

=++

+= (11-22) 其中系数12,,

,p C C C 确定的原则是使两组间的组间离差最大，而每个组的组内离差最小。

当建立了判别式以后，对一个新的样品值，我们可以将他的p 个指标值代入判别式中求

出Y 值，然后与判别临界值比较，就可以将该样品归类。

设有2个总体12,G G ，其均值和协方差矩阵分别是12,μμ和12,ΣΣ。

可以证明，Fisher 判别函数系数

11212()()C μμ-=∑+∑- (11-23)

若总体均值与方差未知，可通过样本进行估计。

设从第一个总体1G 取得1n 个样本，从第二个总体2G 取得2n 个样本，记两组样本均值分别为(1)

X

、(2)

X

，样本离差阵为(1)

S

、(2)

S

。

显然，12,μμ的无偏估计为(1)

X 、(2)

X

。1

12()-∑+∑的估计有两种方式。

第一种估计方式是分别估计

(1)1

11ˆ1S n ∑=-，(2)2

21ˆ1

S n ∑=- (11-24) 判别函数为

'112

12'

(1)(2)1(1)(2)

12

ˆˆˆˆ()()()11 ()()

C Y Y Y S S X X n n μμ--=∑+∑-=+- (11-25) 第二种估计方式是联合估计

(1)(2)12121

()2

S S n n ∧

∑+∑=

++- (11-26)

于是判别函数

'(1)(2)1(1)(2)12()(2)()() C Y Y n n S S X X -=+-+- (11-27)

当12n n =时，两种方法是等价的；当1n 与2n 相差不大时，两种方法近似；当1n 与2n 相差很大时两种方法相差较远。在等协方差阵的情况下，显然第二种方法更合理一些。目前采用较多的是第二种方法。

2．多个总体的Fisher 判别函数

Fisher 判别法致力于寻找一个最能反映组和组之间差异的投影方向，即寻找线性判别函数。

设有k 个总体k G G G ,,,21 ，其均值和协方差矩阵分别是k μμμ,,,21 和

k ΣΣΣ,,,21 。

在i X G ∈的条件下，有

()(|)(|), 1,2,, ()(|)(|), 1,2,

,i i i i i i E C Y E C Y G C E Y G C i k D C Y D C Y G C D Y G C C C i k

μ''''====''''====Σ (11-28)

令

2

2011

()()k

k

i i i i B C C C C C B C μμμμ==''''=-=-=∑∑

1

1

()k

k

i

i

i i E C C C C C E C =='''=

==∑∑ΣΣ。

B 相当于组间差，E 相当于组内差。运用判别分析的思想，构造

00()C B C

C C E C

'∆=

' (11-29)

若求得()C ∆极大值，即可得到判别函数。显然，00,B E 均为非负定矩阵。()C ∆的极大值为方程

000B E λ-= (11-30)

的最大特征根，而系数向量C 为最大特征根对应的特征向量。

若总体均值与方差未知，可通过样本进行估计。具体估计方法较为复杂，有兴趣读者可以参考有关书籍。

3.判别规则

如果我们得到判别函数'

()C Y C Y =，对于一个新的样本Y ，可以构造一个判别规则：

1, min i i j j k

Y G C Y C C Y C μμ≤≤''''∈-=-当

第三节聚类分析与判别分析的软件实现

一、聚类分析的SPSS实现

1．系统聚类法

【例11.3】我们用SPSS软件自带的数据文件World95.sav来做一个实例分析。其目的是根据亚洲国家的经济发展水平和文化教育水平，对亚洲国家进行分类研究，这里我们进行聚类分析（在World95.sav数据中筛选出亚洲国家，使用“数据”→“选择个案”→“选择”中选入“地区=3”）。

详细步骤如下：

（1）打开数据。使用菜单中“文件”→“打开”命令，然后选中要分析的数据World95.sav。

在这个数据文件中，我们选择的变量有国家或地区、城市人口比例、平均女性寿命、平均男性寿命、非文盲人口比例、人均国内生产总值，国家（地区）来标识本例中的17个亚洲国家或地区，并以其他5个变量进行Q型聚类分析，即对国家进行聚类。

（2）在菜单中的选项中选择“分析”→“分类”，“分类”命令下有三个聚类分析命令，一是“两步聚类”，二是“K-均值聚类”，三是“系统聚类”。这里我们选择系统聚类法。

（3）在系统聚类法中，我们看到“分群”下有两个选项，“个案”指样品聚类或Q型聚类；“变量”指变量聚类或R型聚类。这里我们选择对样品进行聚类。

图11-1 系统聚类主对话框

（4）“输出”下面有两个选项，分别是“统计量”、“输出图形”，我们可以选择所需要输出的统计量和图形。

（5）在系统聚类法中底下有四个按钮，分别是“统计量”、“绘制”、“方法”和“保存”。（a）在“统计量”中，有“合并进程表”、“相似性矩阵”。由“聚类成员”可以指定聚类的个数，“无”选项不指定聚类个数，“单一方案”指定一个确定类的个数，“方案范围”指定类的个数的范围（如从分3类到分5类）。

系统聚类子对话框：统计量

(b)在“绘制”（图）中，有“树状图”（也称谱系聚类图）、“冰柱图”、方向有“水平”和“垂直”两种。

图11-2 系统聚类子对话框：图

(c)在“方法”子对话框中，“聚类方法”可以选择组间连接、组内连接等，“度量标准”可以依不同变量类型选择。

图11-3 系统聚类子对话框：方法

选好每个选项后，点“确定”就可以执行了。这里我们将原始变量标准化（在“方法”选项下“转换值”的“标准化”空白框内，选择Z得分），在“统计量”选项中选择“合并进程表”，聚类方法选择组内联结法，计算距离选择平方欧氏距离，输出冰柱图和树状聚类图。图11-4是SPSS18.0绘制的树形图。这是分析聚类结果的最直观的图形之一。在图11-4中，从距离等于5的地方画一条垂直于横轴的直线，这条直线与树形图有4个交点，说明在这一距离上可以将样本点分为4类。我们可以从图中看出，这时朝鲜、韩国和台湾在一个组，香港、新加坡、日本在一个组，等等。

图11-4 聚类结果的树形图

2.K-均值聚类法

【例11.4】同样我们使用上面的数据文件World95.sav，从中筛选出亚洲国家，试图将亚洲国家按经济和文教水平分为3类。可以使用快速聚类法对样品进行聚类。

我们使用的变量有国家或地区、城市人口比例、平均女性寿命、平均男性寿命、非文盲人口比例、人均国内生产总值，以国家（地区）来标识本例中的17个亚洲国家或地区，并以其他5个变量进行Q型聚类分析，即对国家（地区）进行聚类。

在SPSS软件中选择“分析”→“分类”→“K-均值聚类分析”。进入K-均值聚类对话框以后，将上面5个变量选入“变量”，“个案标记依据”选择国家。将“聚类数”定为3。我们可以在“选项”中选择“初始聚类中心”、“ANOVA表”、“每个个案的聚类信息”（相关软件操作参见图11-5）最后单击“确定”，可以得到相应的聚类结果（表11-11）。根据表11-11，香港、日本、新加坡在一个组，韩国和台湾在一个组，其余12个国家是一个组。

图11-5 K-均值聚类分析对话框

二、判别分析的SPSS 实现

我们以Fisher 判别法为例，简要介绍判别分析的SPSS 实现。

【例11.5】一个城市的居民家庭，按其有无割草机可以分为两组，有割草机的一组记为y=1，没有割草机的一组记为y=0。家庭有无割草机与两个变量有关：1X ：家庭收入；2X ：房前屋后草地面积。割草机工厂欲判断一些家庭是否购买割草机。试用判别分析进行初步研究。数据如表11-12。

表11-12 购买割草机数据

操作步骤如下：将表11-12整理成SPSS 需要的格式，增加一个分组变量，待判家庭的组别未知。在SPSS 中读入数据，然后在SPSS 窗口中选择“分析”→“分类”→“判别”，调出判别分析主界面，将左边的变量列表中的y 选入分组变量中，点击“定义范围”按钮，定义分组变量的取值范围。本例中在最小值和最大值中分别输入0和1。

将1X 、2X 选入自变量中，并选择“一起输入自变量”单选按钮，即使用所有自变量进行判别分析。单击“统计量”按钮，指定输出的描述统计量和判别函数系数。选中“函数关系”栏中的Fisher （F ）和未标准化。单击“分类”按钮，定义判别分组参数和选择输出结果。选择“输出”栏中的“个案结果”，和“摘要表”。

单击主对话框中的“保存”，选中“预测组成员”，可以将分类结果保存到数据表中。 相关操作参见图11-6到图11-8。部分输出结果见表11-13到表11-16。

图11-6 判别分析主对话框

图11-7 判别分析子对话框：统计量

图11-8 判别分析子对话框：分类

表11-13是非标准化的判别式函数，写成公式为：21724.0135.0057.10x x D ++-=。表11-14是两个类重心的判别函数值。按照判别函数进行分类时，根据判别函数计算样品的判

别函数值，这个值与哪一个类的重心更接近就分入哪个类。

表11-14 组质心处的函数

表11-15是Bayes 判别的两个分类函数。在进行判别时把待判样品的数据代入分类函数，哪个组的值最大就分入哪个组。有几个组就有几个分类函数。根据表11-15，两个分类函数分别为：210459.9794.0210.51x x D ++-=；211707.10027.1546.68x x D ++-=。

表11-16是判别分析的摘要表，这个表可以看出判别分析效果的好坏。从表中我们可以看出，根据判别函数对已知类别的家庭进行回判时，类别为0的12户家庭中9个家庭（75%）分类正确；类别为1的12户家庭中10个家庭（83.3%）分类正确；总体来说24个家庭中有79.2%分类正确。在未知类别两个家庭中分别由1个家庭被分入两个类（可以中保存到数据表中的分类结果中知道具体的判别结果）。

小结

聚类分析与判别分析是两类常用多元分析方法，可将观测对象分成不同的集合或将新的观测值分配到事先分好的各组之中。

聚类分析将个体或对象分类，使得同一类中的对象之间的相似性比与其他类的对象的相似性更强。其目的在于：使类内对象的同质性最大化、类间对象的异质性最大化。

聚类分析通常可以分为两种：Q型聚类和R型聚类。Q型聚类是对观测值分类，R型聚类是对变量分类。二者在数学上是对称的，没有本质不同。

判别分析的基本思想是：根据已掌握的每个类别的若干样本的数据信息，建立判别公式和判别准则。当遇到新的样本点时，根据总结出来的判别公式和判别准则，即能判别该样本点所属的类别。

常用的判别分析方法有：距离判别法、Fisher判别法、Bayes判别法和逐步判别法。

思考与练习

1. 简述聚类分析与判别分析的区别。

2. SPSS自带数据集judges.sav是中、美、法等7个国家的裁判和未经严格培训的体育爱好者在评判体育比赛中对选手的评分情况。请根据评分的差异将他们分为适当的若干类。

3. 根据16种饮料的热量、咖啡因、钠及价格四种变量的值，进行聚类分（数据见表11-17）。要求：给出分成3类和4类的结果。

表11-17 16种饮料的统计数据

热量咖啡因钠价格

207.2 3.3 15.5 2.8

36.8 5.9 12.9 3.3

72.2 7.3 8.2 2.4

36.7 0.4 10.5 4.0

121.7 4.1 9.2 3.5

89.1 4.0 10.2 3.3

146.7 4.3 9.7 1.8

57.6 2.2 13.6 2.1

95.9 0.0 8.5 1.3

199.0 0.0 10.6 3.5

49.8 8.0 6.3 3.7

16.6 4.7 6.3 1.5