农村居民消费结构

系统聚类分析法的应用

——以2004年我国30个地区农村居民消费结构情况为例

摘要：聚类分析是给我们提供了一种对于复杂问题如何分组的统计方法，系统聚类法是聚类分析中最常用的一种方法，本文介绍系统聚类法的原理及应用，并以2004年我国30个地区农村居民消费结构情况为例，比较分析我国各地去农村居民消费结构的类型、差异。

关键字：系统聚类分析法SPSS软件操作2004年我国农村居民消费结构

正文：聚类分析是将样品或变量按照他们在性质上的亲疏程度进行分类的多元统计分析方法。聚类分析时，用来描述样品或变量的亲疏程度通常有两个途径，一个是把每个样品或变量看成是多维空间上的一个点，在多维坐标中，定义点与点，类和类之间的距离，用点与点间距离来描述样品或变量之间的亲疏程度；另一个是计算样品或变量的相似系数，用相似系数来描述样品或变量之间的亲疏程度。

聚类分析按照分组理论依据的不同，可以分为系统聚类法、动态聚类法、模糊聚类、图论聚类、聚类预报等多种聚类方法；而按照分析对象不同，可以分为Q型聚类，即对样品进行分类处理，和R型聚类，即对变量进行分类处理。

下面以2004年我国30个地区农村居民消费结构为例，来阐述聚类分析的方法和步骤。为了全面反映我国农村居民消费结构状况，选择如下八个指标：食品支出所占比重(x1)，衣着支出所占比重(x2)，居住支出所占比重(x3)，家庭设备用品及其服务支出所占比重(x4)，医疗保健支出所占比重(x5)，交通通讯支出所占比重(x6)，文教娱乐支出所占比重(x7)，其他商品和服务支出所占比重(x8)。对数据进行Q型聚类分析，以研究我国各地区农村居民消费结构的特点。

图1

首先，由于在进行聚类分析处理时，样品间的相似系数和距离有许多不同的定义，这些定义域变量的类型有着密切关系，不同类型的变量在定义距离或相似性测度时具有很大差异，另外由于样本数据受量纲和数量级的影响，因此在聚类分析处理过程中，应对原始数据矩阵

进行变换处理。常用的数据变换方法有以下几种：

1.中心化变换：中心化是一种标准化处理方法，它是先求出每个变量的样本均值，再从原始

数据中减去该变量的均值，就得到中心化后的数据。设中心化后的数据为

。进行了中心化变换后的数据特点是，其每列数据之和均为0。

2.规格化变换：规格化变换是从数据矩阵的每一个变量中找出其最大值和最小值，这两者之

差称为极差，然后从每一个原始数据中减去该变量中的最小值，再除以极差就得到规格化数据。规格化后的数据为：进行了规格化变换后数据的特点是，

将每列的最大数据变为1，最小数据变为0，其余数据取值在0,1之间。

3.标准化变换：标准化变换是对变量的属性进行变换处理，首先对数据进行中心化然后再除

以标准差，即1/2。进行了标准化变

换后的数据特点是，每列数据的平均值为0，方差为1，同时消除了量纲的影响。使用标准差处理后，在抽样样本改变时，他仍保持相对稳定性。

4.对数变换：对数变换主要是对原始数据取对数。即。对数变换后的数

据特点是，可将具有指数特征的数据结构化为线性数据结构。

对农村居民消费结构数据的每个变量进行标准化变换，消除量纲的影响，用excel中的函数AVERAGE()求均值、VAR()求方差、POWER()求某数的几次方、STANDARDIZE()根据平均值和标准差求某数标准化后的值，得到每个变量标准化后的值。如图2。

图2

然后，就可以对变换处理后的数据进行聚类分析，系统聚类分析法：系统聚类分析是在样

品距离的基础上，定义类与类之间的距离，首先将n个样品自成一类，然后每次将具有最小距离的两类合并，合并后重新计算类与类之间的距离，这个过程一直继续到所有样品归为一类为止，并把这个过程做成一个聚类谱系图。

(1)定义距离及相似系数：对于p个变量，n个样品的样本数据，每个样品有p个变量，故每个样品都可以看成是p维空间上的一个点，n个样品就是p维空间上的n个点。对样品进行分类时，通常采用距离来表示样品之间的亲疏程度。因此，需定义样品之间的距离，即第i个样品

与第j个样品之间的距离，记为，所定义的距离一般满足以下条件：

对于定量数据资料常用的距离有以下几种：

明氏（明科夫斯基，Minkowski）距离，距离公式为。这里q为某一自然数，明氏距离是一最常见最直观的距离。

当q=1时，，则称为绝对值距离。

当q=2时，，则称为欧式距离。欧式距离是聚类分析中用的最广

泛的距离，但该距离与各变量的量纲有关，没有考虑指标间的相关性；也没有考虑各变量方差的不同。

当时，，则称为切比雪夫距离。

由明氏距离公式可知，当各变量的单位不同或虽单位相同但各变量的测量值相差很大时，不应该直接使用明氏距离，而应该先对各变量的数据进行标准化处理，然后再用标准化后的数据计算距离。

兰氏（Lance和Williams）距离，当全部数据大于零时，兰氏距离公式为，

可见兰氏距离是一个无量纲的量，克服了明氏距离与各指标的量纲有关的缺点，其受奇异值的影响较小，使其适合应用于具有高度偏倚的数据。然而兰氏距离没有考虑变量间的相关性。

马氏距离（Mahalanobis），距离公式记为，其中为样本协方差

的逆矩阵，。马氏距离的优点是考虑到各变量之间的相关性，

并且与各变量的单位无关。不足之处是在聚类分析过程中，如果用全部数据计算的均值和协方差阵来计算马氏距离，并且始终保持不变，则显得不妥；然后若要随聚类过程而不断改变，计算将会很困难。比较合理的办法是用各个类的样品来计算各自的协方差阵，同一类样品的马氏距离应当用这一类的协方差矩阵来计算。

斜交空间距离，由于多个变量之间存在着不同程度的相关关系。在这种情况下，用正交空间距离来计算样品间的距离，易产生变形，从而使聚类分析时的谱系结构发生改变。斜交空

间距离公式定义为，其中是变量与变量之

间的相关系数。如果计算的样品量较多，则不适宜选择斜交空间距离，因采用该距离处理时，计算工作量太大。

聚类分析对变量进行分类时，通常采用相似系数来表示变量之间的亲疏程度。相似系数定

义如下：设表示变量与变量之间的相似系数，则应满足下列条件：

越接近于1，则表示变量与变量之间关系越密切，越接近于0，则表示变量之间关系越

疏远。聚类时，关系密切的变量应归于一类，反之关系疏远的变量归于不同类。常用的相似系数有：

夹角余弦，向量与的夹角为，则夹角余弦为，当i=j时，

夹角余弦为1，说明两个指标极相似，当i与j两个指标正交时，夹角余弦为0，说明两者不相关。

相关系数，为数据标准化处理后的夹角余弦，设表示变量与之间的相关系数，则公式为，当i=j时，表示指标的自相关系数等于1；当i≠j时，相

关系数的取值在-1到1之间。相关系数的绝对值越接近1，表示两变量之间的相关程度越高。

(2)系统聚类分析方法：进行聚类分析时，由于对类与类之间的距离的定义和理解不同，并类的过程中又会产生不同的聚类方法。常用的系统聚类方法有8种，即最短距离法、最长距离法、中间距离法、重心法、类平均法、可变类平均法、可变法、离差平方和法等。

最短距离法，是把两个类之间的距离定义为一类中的所有样品与另一类中所有样品之间的

距离中最近者。即类与之间的距离定义为。

最长距离法，将类与类之间的距离定义为两类之间所有样品间距离最大者，即类与之间的距离为。

中间距离法，定义类与类之间的距离采用介于两者之间的中间距离，即当类与合并为一新类，任一类与的距离定义为中线距离。

以上三种方法在定义类与类之间距离时，没有考虑每一类所包含的样品数。

重心法，所谓每一类的重心就是该类样品的均值。其中单个样品的重心就是它本身，两个样品的类的重心就是两点连线的中点。设与合并为一新类，它们各含有

和个样品。任一类与的距离定义为，重心法

每合并一次类，就要计算一次新类的重心以及与其他各类的距离。

类平均法，该方法定义类与类之间的距离时，不仅把每一类中所包括的样品数目考虑进来，而且把各样品的信息都充分地考虑进来，它把两个类之间的距离平方定义为两类元素两两之

间距离平方的平均。设与合并为一新类，它们各含有和个

样品。任一类含有个样品，它与的距离定义为

。

可变类平均法，由于类平均法公式中没有反映与之间的距离的影响，所以又给出可

变类平均法。此法定义两类之间的距离同上，只是将任一类与的距离定义改为

，其中β是可变的且β<1，称为聚集强度系数，随

着β的取值不同，会有不同的聚类结果。一般情况下，β取负值，β值的绝对值越大，其扩张性越强，空间扩张的性质使分辨能力提高，一般选取β=-1/4。

可变法，距离公式为，其中β是可变的且β<1，一般选取β

=-1/4。

离差平方和法（Ward法），基于方差分析的思想，如果类分的合理，则同类样品之间离差平方和应当较小，类与类之间的离差平方和应当较大。设将n个样品分成为k类，表示为

，表示第类中的第i个样品，表示类中样品的个数，表示的重心。则

中样品的离差平方和为，k个类总的类内离差平方和为

。Ward方法的基本思想是将两类合并后所增加的离差平方和看成类之间的距离，先将n个样品各自成一类，然后每次缩小一类，每缩小一次离差平方和就会增加，选择使S增加最小的两类合并，直到所有的样品归为一类为止。设表

示类与之间的距离，则根据定义有，表示与合并后的类的样品

离差平方和。任一类与新类的距离递推公式为

。实际应用中，离差平方和法应用比较广泛，分类效果比

较好。离差平方和法要求样品之间的距离必须是欧氏距离。

农村居民消费的数据，因为已经进行了标准化的变换，所以我使用欧氏距离，但没有对变量消除相关性，使用离差平方和法可以解决这个问题，SPSS操作步骤如下：

图3

将分析变量x1到x8选入Variables列表框，将地区变量选入标签变量Label Cases by中。Cluster 栏为指定聚类分析的类型，其中Cases为Q型聚类，Variables为R型聚类。Display为指定聚

类分析输出哪些内容，有两个选择：Statistics输出距离矩阵（或相似矩阵）、最终分类信息等，Plots图形复选框，输出反映聚类过程的树形图、冰状图等。（如图四）

图四

单击图4中右上的Statistics按钮，出现新窗口（如下图所示）。其中Agglomeration schedule 复选框为输出聚类过程表，包括每一部被合并的类或观测量以及它们之间的距离和新生成的类等信息，根据此表能追踪整个聚类的合并过程，由于每次都是把最近的两类聚为一类，据此可以查看哪些观测量之间的距离更近。Proximity Matrix复选框为输出各项之间的距离矩阵或相似度矩阵。Cluster Member ship设置类成员表的输出格式，包括每个观测记录的最终分类结果，有如下3个可选项：None不显示类成员表，系统默认选项；Single solution输出指定聚类个数时的类成员表，在右侧的输入框指定聚类个数，该数值必须大于1，且小于等于参与聚类的观测个数和变量个数；Range of solutions输出聚类个数在某个范围时的类成员表，在Minimum输入框指定一个最小的聚类个数，在Maximum输入框指定一个最大的聚类个数。选好后，单击Continue回到主对话框。

图5

单击Plots按钮，弹出如图6所示的作图设置对话框，勾选Dendrogram用于输出树形图，Icicle 栏设置关于冰柱图的参数，其中All clusters表示把聚类的每一步都表现在图中，如此可以查看聚类的全过程，但如果参与聚类的观测量很多时，容易使图形变得过大。Specified range of clusters指定要显示的聚类个数范围，选中后需要设置如下三个参数，它们必须都是正数：Start 指定要显示的起始聚类步数，Stop指定要显示的终止聚类步数，By指定要连续显示的两步聚类步骤之间的步数增量。None不生成冰状图。Orientation栏，设置冰状图的显示方向，Vertical 纵向显示；Horizontal水平显示。单击Continue回到主界面。

图6

单击Method按钮，弹出如图7所示的对话框，Cluster下拉列表，用于指定系统聚类的方法，

默认为Between-groups linkage类间连接法。Measure子设置栏，指定计算距离的方式，Interval 连续变量，默认选项为Squared Euclidean distance欧氏距离平方，Counts计数变量，Binary二元变量。Transform Values转换数值栏设置对观测量或变量进行标准化的参数，但对二元变量不可用，Standardized下拉列表用于指定标准化的方法。Transform Measures转换测度栏设置对距离测度的计算结果进行转换的方法，有如下三个选项：Absolute Value表示对距离取绝对值，有的符号可以表明相关性的方向，当仅对相关性的大小感兴趣时使用这种转换。Change sign 表示改变距离的符号，如此可把相似性测度转换成不相似性测度，反之亦然。Rescale to 0-1 range表示转换后的取值范围为0到1。对已经在Transform Values栏按相似方法进行标准化后的测度一般不再使用此方法。

图7

单击Cluster下拉列表，如下图所示，在此SPSS提供了如下7种选择，Between-group linkage 类间连接法，它合并类的依据是使这两个类别里所有两两配对观测的平均距离达到最小，配对的两个观测值要属于不同的类；Within-group linkage类内连接法，它合并两类的依据是使两个类别合并后的新类中，所有两两配对观测的平均距离达到最小。前两种聚类方法的思想类似于类平均法和可变类平均法。Nearest neighbor最短距离法。Furthest neighbor最远距离法。Centroid clustering重心法。Median clustering中间距离法。Ward’s method离差平方和法。在此选择Ward’s method。

图8

单击Interval下拉列表，Enclidean Distance欧氏距离，Squared Euclidian Distance欧式平方距离，Cosine夹角余弦，Pearson correlation皮尔逊相关系数，Chebyshev切比雪夫距离，Block布洛克距离，即绝对值距离，Minkowski明科夫斯基距离，Customized自定义距离，距离公式为

，其中参数q、r为用户选项。在此选择欧式平方距离。（如图9）

图9

单击Standardiz下拉列表，如图10所示，None为不进行标准化，为默认选项，Z-Score标准化Z分数，标准化后的均值为0，标准差为1，Range -1 to 1，标准化后取值范围为-1到1，它由原始取值除以其范围（最大值与最小值的差）得到。Range 0 to 1，即规格化变换。Maximum Magnitude of 1，标准化后最大值为1，它由原始取值除以原始的最大值得到。Mean of 1，标准化后的均值为1，它由原始取值除以均值得到，Standard deviation of 1，标准化后的标准差为1，它由原始取值除以标准差得到。因为数据已在Excel中进行过标准化了，所以这里选择None。单击Continue回到主界面。

图10

单击Save按钮，如图11，None为不保存任何结果，Single solution保存指定聚类个数时的分类结果，在右侧的输入框指定聚类个数，在此指定为5类，Range of solution保存聚类个数在某个范围时的分类结果，在Minimum输入一个最小的聚类个数，在Maximum输入框指定一个最大的聚类个数。

图11

单击Continue返回主界面，再单击OK按钮运行。

下图为SPSS输出的反映聚类过程的聚类表，Stage为聚类的步骤数，ClusterCombined为群集组合，Coefficients为系数，Stage Cluster First Appears为首次出现阶群集。下面以第12步为例说明此表，在此步中把第20类和第24类合并为一类，其中第20类首先出现在聚类过程的第4步，而第24类是首次出现，最后的数字15表示此步的合并结果会在第15步再次出现继续与别的类合并。最终数据经过29次合并聚为了一类。

图12

图13为部分冰柱图（由于要分类的数据有30个，所以产生的冰柱图很大，无法全部截图），第一列为聚类个数，也可以看作聚类的步骤数，第一行为聚类步数，“x”填满的列表示观测的初始状态，冰柱中的空格长度表示当前的聚类步骤数，并在此步骤把这列两边的两个类别聚为一类。以云南为例，它在第4步与右侧的广西合并为一类，然后在第18步与湖南合并为一类，以此类推，就得到了整个聚类过程以及每个样本在此过程中的位置。

图13

下图为系统聚类的树状图，从树状图中可以更清晰地反映分类情况，样本被明显的分为5类，其中重庆、四川、广西、云南、贵州、湖北、湖南、江西、海南为一组，黑龙江、新疆、宁夏、辽宁、河南、青海为一组，内蒙古、吉林、陕西、甘肃、天津、河北、山西为一组，福建、山东、江苏、安徽、广东为一组，上海、浙江、北京为一组。

图14

保存在数据中的组别的编号为，第一组：上海、浙江、北京；第二组：内蒙古、吉林、陕西、甘肃、天津、河北、山西；第三组：黑龙江、新疆、宁夏、辽宁、河南、青海；第四组：福建、山东、江苏、安徽、广东；第五组：重庆、四川、广西、云南、贵州、湖北、湖南、江西、海南。

下图为30个地区分类及各项消费平均比重情况表，可以看到，北京、上海、浙江食品消费所占比重最低，而如医疗保险、交通通讯、文教娱乐支出所占比重较大，说明该类地区居民农村居民消费结构比较合理、生活质量水平较高，但第一类的居住比例较大，这是由于一线城市的房价普遍偏高，居民租房或买房的压力较大。第三类的衣、食、住的消费比重均较大，说明东北、西北、河南的经济发展相对落后一些，农民的收入基本上用来解决吃穿问题，因此要大力发展这些地区的经济，促进地区经济发展，缩小各地区经济差异。由于南方、北方的气候和生活习惯的不同（后四类进行比较），南方（第四类和第五类）在衣着方面的消费比重没有北方（第二类和第三类）大，南方气候温暖，对衣着需求较少，而北方大部分地区都会遇到严冬的考验，所以对衣着的数量和质量需求较高，因而消费比重较大。总之，要根据各地区实际情况，提出适合的发展政策，提高居民收入水平，使消费结构相对不合理的地区得到改善。

图15

附：数据来源《2005年中国统计年鉴》