应用多元统计分析课后答案

应用多元统计分析课后答案

第五章 聚类分析

判别分析和聚类分析有何区别

答：即根据一定的判别准则，判定一个样本归属于哪一类。具体而言，设有n 个样本，对每个样本测得p 项指标（变量）的数据，已知每个样本属于k 个类别（或总体）中的某一类，通过找出一个最优的划分，使得不同类别的样本尽可能地区别开，并判别该样本属于哪个总体。聚类分析是分析如何对样品（或变量）进行量化分类的问题。在聚类之前，我们并不知道总体，而是通过一次次的聚类，使相近的样品（或变量）聚合形成总体。通俗来讲，判别分析是在已知有多少类及是什么类的情况下进行分类，而聚类分析是在不知道类的情况下进行分类。

试述系统聚类的基本思想。

答：系统聚类的基本思想是：距离相近的样品（或变量）先聚成类，距离相远的后聚成类，过程一直进行下去，每个样品（或变量）总能聚到合适的类中。

对样品和变量进行聚类分析时， 所构造的统计量分别是什么简要说明为什么这样构造 答：对样品进行聚类分析时，用距离来测定样品之间的相似程度。因为我们把n 个样本看作p 维空间的n 个点。点之间的距离即可代表样品间的相似度。常用的距离为 （一）闵可夫斯基距离：1/1

()()

p

q q

ij ik jk k d q X X ==-∑

q 取不同值，分为 （1）绝对距离（1q =）

1

(1)p

ij ik jk k d X X ==-∑

（2）欧氏距离（2q =）

21/2

1

(2)()

p

ij ik jk k d X X ==-∑

（3）切比雪夫距离（q =∞）

1()max ij ik jk

k p

d X X ≤≤∞=-

（二）马氏距离

（三）兰氏距离

对变量的相似性，我们更多地要了解变量的变化趋势或变化方向，因此用相关性进行衡量。 将变量看作p 维空间的向量，一般用 （一）夹角余弦

（二）相关系数

在进行系统聚类时，不同类间距离计算方法有何区别选择距离公式应遵循哪些原则 答： 设d ij 表示样品X i 与X j 之间距离，用D ij 表示类G i 与G j 之间的距离。 （1）. 最短距离法

,min

i k j r

kr ij X G X G D d ∈∈=

min{,}kp kq D D =

（2）最长距离法

,max

i p j q

pq ij X G X G D d ∈∈=

21

()()()ij i j i j d M -'=--X X ΣX X 11()p ik jk

ij k ik jk

X X d L p X X =-=+∑

cos p

ik

jk

ij

X

X θ=

∑

()()

p

ik

i jk j ij X

X X X r --=

∑

ij G X G X ij

d D j

j i i ∈∈=

,min

,max

i k j r

kr ij X G X G D d ∈∈=

max{,}kp kq D D =

（3）中间距离法

其中

（4）重心法

2

()()pq p q p q D X X X X '=-- )(1

q q p p r

r

X n X n n X +=

22222

p q p q kr

kp

kq

pq r

r

r n n n n D D D D n n n =

+

-

（5）类平均法

2

21

i p j j

pq ij X G X G p q

D d n n ∈∈=

∑∑

221

i k j r

kr ij

X G X G k r

D d

n n ∈∈=

∑∑22p q kp

kq

r

r

n n D D n n =

+

（6）可变类平均法

其中是可变的且 <1

（7）可变法

2

222

1()2

kr kp kq pq D D D D ββ-=

++ 其中是可变的且 <1 （8）离差平方和法

1

()()t

n t it t it t t S X X X X ='=--∑

2

2222

121pq

kq kp kr D D D D β++= 2

222

(1)(

)p q kr

kp

kq pq

r

r

n n D D D D n n ββ=-+

+

22

2

2

k p k q k kr kp kq pq r k

r k

r k

n n n n n D D D D n n n n n n ++=

+

-

+++

通常选择距离公式应注意遵循以下的基本原则：

（1）要考虑所选择的距离公式在实际应用中有明确的意义。如欧氏距离就有非常明确的空间距离概念。马氏距离有消除量纲影响的作用。

（2）要综合考虑对样本观测数据的预处理和将要采用的聚类分析方法。如在进行聚类分析之前已经对变量作了标准化处理，则通常就可采用欧氏距离。

（3）要考虑研究对象的特点和计算量的大小。样品间距离公式的选择是一个比较复杂且带有一定主观性的问题，我们应根据研究对象的特点不同做出具体分折。实际中，聚类分析前不妨试探性地多选择几个距离公式分别进行聚类，然后对聚类分析的结果进行对比分析，以确定最合适的距离测度方法。

试述K 均值法与系统聚类法的异同。

答：相同：K —均值法和系统聚类法一样，都是以距离的远近亲疏为标准进行聚类的。

不同：系统聚类对不同的类数产生一系列的聚类结果，而K —均值法只能产生指定类数的聚类结果。

具体类数的确定，离不开实践经验的积累；有时也可以借助系统聚类法以一部分样品为对象进行聚类，其结果作为K —均值法确定类数的参考。

试述K 均值法与系统聚类有何区别试述有序聚类法的基本思想。

答：K 均值法的基本思想是将每一个样品分配给最近中心（均值）的类中。系统聚类对不同的类数产生一系列的聚类结果，而K —均值法只能产生指定类数的聚类结果。具体类数的确定，有时也可以借助系统聚类法以一部分样品为对象进行聚类，其结果作为K 均值法确定类

数的参考。

有序聚类就是解决样品的次序不能变动时的聚类分析问题。如果用)()2()1(,,,n X X X Λ表示

n 个有序的样品，则每一类必须是这样的形式，即)()1()(,,,j i i X X X Λ+，其中,1n i ≤≤且

n j ≤，简记为},,1,{j i i G i Λ+=。在同一类中的样品是次序相邻的。一般的步骤是（1）

计算直径{D （i,j ）}。（2）计算最小分类损失函数{L[p(l,k)]}。(3)确定分类个数k 。（4）最优分类。

检测某类产品的重量， 抽了六个样品， 每个样品只测了一个指标，分别为1，2，3，6，9，11.试用最短距离法，重心法进行聚类分析。 （1）用最短距离法进行聚类分析。 采用绝对值距离，计算样品间距离阵

0 1 0 2 1 0 5 4 3 0 8 7 6 3 0 10 9 8 5 2 0

由上表易知 中最小元素是 于是将，，聚为一类，记为

计算距离阵

3 0

6 3 0

8 5 2 0

中最小元素是=2 于是将，聚为一类，记为

计算样本距离阵

3 0

6 3 0

中最小元素是于是将，聚为一类，记为因此，

（2）用重心法进行聚类分析

计算样品间平方距离阵

1 0

4 1 0

25 16 9 0

64 49 36 9 0

100 81 64 25 4 0

易知中最小元素是于是将，，聚为一类，记为

计算距离阵

16 0

49 9 0

81 25 4 0

注：计算方法,其他以此类推。

中最小元素是=4 于是将，聚为一类，记为

计算样本距离阵

16 0

64 16 0

中最小元素是于是将，聚为一类，记为

因此，

下表是15个上市公司2001年的一些主要财务指标，使用系统聚类法和K－均值法分别对这些公司进行聚类，并对结果进行比较分析。

公司编号净资产

收益率

每股净

利润

总资产

周转率

资产负

债率

流动负

债比率

每股净

资产

净利润

增长率

总资产

增长率

1

2

30100

4

5

61086

7

8100

9

10100

11

12100

13

14

15

解:令净资产收益率为X1，每股净利润X2，总资产周转率为X3，资产负债率为X4，流动负

债比率为X5，每股净资产为X6，净利润增长率为X7，总资产增长率为X8，用spss对公司聚类分析的步骤如下：

a)系统聚类法:

1.在SPSS窗口中选择Analyze→Classify→Hierachical Cluster，调出

系统聚类分析主界面，并将变量X8

X1移入Variables框中。在Cluster

-

栏中选择Cases单选按钮，即对样品进行聚类（若选择Variables，则

对变量进行聚类）。在Display栏中选择Statistics和Plots复选框，

这样在结果输出窗口中可以同时得到聚类结果统计量和统计图。

图系统分析法主界面

2.点击Statistics按钮，设置在结果输出窗口中给出的聚类分析统计量。

我们选择Agglomeration schedule与Cluster Membership中的Range of solution 2-4，如图所示，点击Continue按钮，返回主界面。

（其中，Agglomeration schedule表示在结果中给出聚类过程表，显示

系统聚类的详细步骤；Proximity matrix 表示输出各个体之间的距离矩

阵；Cluster Membership 表示在结果中输出一个表，表中显示每个个体

被分配到的类别，Range of solution 2-4即将所有个体分为2至4类。）

3.点击Plots按钮，设置结果输出窗口中给出的聚类分析统计图。选中

Dendrogram复选框和Icicle栏中的None单选按钮，如图，即只给出聚

类树形图，而不给出冰柱图。单击Continue按钮，返回主界面。

图Statistics子对话框图Plots子对话框

4.点击Method按钮，设置系统聚类的方法选项。Cluster Method下拉列

表用于指定聚类的方法，这里选择Between-group inkage（组间平均数连接距离）；Measure栏用于选择对距离和相似性的测度方法，选择Squared Euclidean distance（欧氏距离）；单击Continue按钮，返回主界面。

图Method子对话框图Save子对话框

5.点击Save按钮，指定保存在数据文件中的用于表明聚类结果的新变量。

None表示不保存任何新变量；Single solution表示生成一个分类变量，在其后的矩形框中输入要分成的类数；Range of solutions表示生成多个分类变量。这里我们选择Range of solutions，并在后面的两个矩形框中分别输入2和4，即生成三个新的分类变量，分别表明将样品分为2类、3类和4类时的聚类结果,如图。点击Continue，返回主界面。

6.点击OK按钮，运行系统聚类过程。

聚类结果分析:

下面的群集成员表给出了把公司分为2类，3类，4类时各个样本所属类别的情况，另外，从右边的树形图也可以直观地看到，若将15个公司分为2类，则13独自为一类，其余的为一类；若分为3类，则公司8分离出来，自成一类。以此类推。

表各样品所属类别表

图聚类树形图

b)K均值法的步骤如下：

1.在SPSS窗口中选择Analyze→Classify→K-Means Cluster，调出K均

值聚类分析主界面，并将变量X1-X8移入Variables框中。在Method

框中选择Iterate classify，即使用K-means算法不断计算新的类中心，并替换旧的类中心（若选择Classify only，则根据初始类中心进行聚

类，在聚类过程中不改变类中心）。在Number of Cluster后面的矩形

框中输入想要把样品聚成的类数，这里我们输入3，即将15个公司分为

3类。

（Centers按钮，则用于设置迭代的初始类中心。如果不手工设置，则

系统会自动设置初始类中心，这里我们不作设置。）

图 K均值聚类分析主界面

2.点击Iterate按钮，对迭代参数进行设置。Maximum Iterations参数框

用于设定K-means算法迭代的最大次数，输入10，Convergence Criterion参数框用于设定算法的收敛判据，输入0，只要在迭代的过程中先满足了其中的参数，则迭代过程就停止。单击Continue，返回主界面。

图Iterate子对话框

3.点击Save按钮，设置保存在数据文件中的表明聚类结果的新变量。我们

将两个复选框都选中，其中Cluster membership选项用于建立一个代表聚类结果的变量，默认变量名为qcl_1；Distance from cluster center 选项建立一个新变量，代表各观测量与其所属类中心的欧氏距离。单击Continue按钮返回。

图 Save子对话框

4.点击Options按钮，指定要计算的统计量。选中Initial cluster centers

和Cluster information for each case复选框。这样，在输出窗口中将给出聚类的初始类中心和每个公司的分类信息，包括分配到哪一类和该公司距所属类中心的距离。单击Continue返回。

图 Options子对话框

5.点击OK按钮，运行K均值聚类分析程序。

聚类结果分析:

以下三表给出了各公司所属的类及其与所属类中心的距

离，聚类形成的类的中心的各变量值以及各类的公司数。

由以上表格可得公司13与公司8各自成一类，其余的公

司为一类。

通过比较可知，两种聚类方法得到的聚类结果完全

一致。

下表是某年我国16个地区农民支出情况的抽样调查数据，每个地区调查了反映每人平均生活消费支出情况的六个经济指标。试通过统计分析软件用不同的方法进行系统聚类分析，并比较何种方法与人们观察到的实际情况较接近。

地区食品衣着燃料住房

交通和

通讯娱乐教育文化

北京

天津

河北

山西

内蒙

辽宁

吉林

黑龙江

上海

江苏

浙江5安徽

福建

江西

山东

河南

解:令食品支出为X1，衣着支出为X2，燃料支出为X3，住房支出为X4，交通和通讯支出为X5，娱乐教育文化支出为X6，用spss对16各地区聚类分析的步骤如题，不同的方法在第4个步骤的Method子对话框中选择不同的Cluster method。

1.Between-group inkage（组间平均数连接距离）

上表给出了把全国16个地区分为2类、3类和4类时，各地区所属的类别，另外从右边的树形图也可以直观地观察到，若用组间平均数连接距离将这些地区分为3类，则9（上海）独自为一类，1（北京）和11（浙江）为一类，剩余地区为一类。

2.Within-group linkage（组内平均连接距离）

若用组内平均数连接距离将这些地区分为3类，则9（上海）独自为一类，1（北京）独自为一类，剩余地区为一类。

3.Nearest neighbor（最短距离法）

若用最短距离法将这些地区分为3类，则9（上海）独自为一类，1（北京）独自为一类，剩余地区为一类。

4.Furthest neighbor（最远距离法）

若用最远距离法将这些地区分为3类，则9（上海）独自为一类，1（北京）和11（浙江）为一类，剩余地区为一类。

5.Centroid cluster（重心法）

若用重心法将这些地区分为3类，则9（上海）独自为一类，1（北京）和11（浙江）为一类，剩余地区为一类。

6.Median cluster（中位数距离）

若用中位数距离法将这些地区分为3类，则9（上海）独自为一类，1（北京）和11（浙江）为一类，剩余地区为一类。

7.Ward method（离差平方和）

若用离差平方和法将这些地区分为3类，则9（上海），1（北京）和11（浙江）为一类，2（天津）、6（辽宁）、7（吉林）、10（江苏）、12（安徽）、13（福建）和14（江西）为一类，剩余地区为一类。

根据上题数据通过SPSS统计分析软件进行快速聚类运算，并与系统聚类分析结果进行比较。

解：快速聚类运算即K均值法聚类，具体步骤同，聚类结果如下：

聚类的结果为9（上海）独自为一类，1（北京）、2（天津）、6（辽宁）、7（吉林）、10（江苏）、11（浙江）、13（福建）和14（江西）为一类，剩余地区为一类。

下表是2003年我国省会城市和计划单列市的主要经济指标：人均GDP 1x （元）、人均工业产值2x （元）、客运总量3x （万人）、货运总量4x （万吨）、地方财政预算内收入5x （亿元）、固定资产投资总额6x （亿元）、在岗职工占总人口的比例7x （％）、在岗职工人均工资额8x （元）、城乡居民年底储蓄余额9x （亿元）。试通过统计分析软件进行系统聚类分析，

贵阳11046103501851153184023112181345

昆明16215116015126123386034214255709

西安13140891311413939265446135051211

兰州1445917136220955812120313489468

西宁706656052788203787614629175

银川1178711013214621271213413497193

乌鲁木齐22508171372188127544118016509420

南宁318863316830520306715932000253126441

海口2643343732350734679205934186481825

资料来源：《中国统计年鉴2004》

解:用spss对37个地区聚类分析的步骤如题，不同的方法在第4个步骤的Method子对话框中选择不同的Cluster method。

inkage（组间平均数连接距离）

从上面的树形图可以直观地观察到，若用组间平均数连接距离将这些地区分为3类，则24（深圳）独自为一类，10（上海）和16（厦门）为一类，剩余地区为一类。

linkage（组内平均连接距离）