基于山东省17地市面板数据的聚类分析

青岛农业大学

毕业论文（设计）

题目：基于山东省17地市面板数据的聚类分析姓名：

学院：理学与信息科学学院

专业：信息与计算科学

班级：

学号：

指导教师：

2014年6 月1 日

目录

摘要 (1)

Abstract (2)

1 引言 (1)

2 聚类分析的基本原理 (1)

3 面板数据 (2)

3.1 单指标面板数据的统计描述 (2)

3.2 单指标面板数据的聚类分析 (4)

3.3 多指标面板数据的统计描述 (5)

3.4 多指标面板数据的聚类分析 (6)

4 实证分析 (7)

4.1 选题背景 (7)

4.2 实例分析 (7)

4.2.1 借助因子分析构建综合评价矩阵 (8)

4.2.2 聚类分析 (11)

4.3 发展建议 (14)

5 总结 (15)

致谢 (17)

参考文献 (18)

附录 (19)

基于山东省17地市面板数据的聚类分析

摘要：本论文对面板数据的聚类分析进行了基础研究。首先,介绍了聚类分析方法的基本思想以及面板数据的基本概念和基本分类：单指标面板数据和多指标面板数据。介绍了单指标和多指标面板数据的统计描述方法，讨论了它们的聚类分析。然后，对山东省17地市经济发展的多指标面板数据进行聚类分析，对描述经济发展的7个指标进行因子分析提取公因子并计算综合得分指标，构建综合评价矩阵，将三维多指标面板数据转化为截面数据，采用平方欧式距离作为评价指标进行系统聚类，取得了良好的效果。最后，对山东省区域协调发展提出一些建议。

关键词：面板数据；因子分析；聚类分析；区域发展

The Cluster Analysis based on the data of 17 cites in Shandong

Province

Student majoring in Information and Computing Science Kong Jian

Tutor Yin Xiaocui

Abstract：This paper has done some basic researches about the cluster analysis of Panel Data.First of all, it introduced the basic idea of cluster analysis method and the basic concept and classifies of Panel Data, it includes Single index Data and multi-index Panel Data. Secondly, it introduced the statistical description method of Single index Data and multi-index Panel Data and discussed their cluster analysis. Then it maked a cluster analysis of multi-index panel data about economic development of 17 cities in Shandong province. And analyzed 7 indicators of describe economic development by factor analysis to extract the common factor, calculated the comprehensive score index, build comprehensive evaluation matrix, turned the 3D multi-index panel data into section data, clustered the system use square Euclidean distance as the evaluation index and has achieved good results. Finally, it has put forward some suggestions of regional harmonious development of Shandong province.

Key words: Panel Data; Factor analysis; Cluster analysis; Regional development

1 引言

聚类分析已经被广泛地应用在众多领域中，包括数据分析、图像处理、模式识别、市场研究、管理评价等。面板数据由于同时包含截面数据和时间序列,其特征是同时含有具有空间维度和时间维度,因此能够较好的表示样本发展状态及其动态发展趋势。利用面板数据的优良特性，在理论研究和应用研究上近年来取得了广泛和深入的发展，相关研究也表明利用面板数据模型，可以取得良好效果。

Bonzo和Hermosilla[1]提出了用“概率连接函数”来代替一般的平面距离作为横截面个体间相似性指标,提出了新的聚类算法。Zhao和Hang[2]研究了在整个面板数据中横截面个体互不相关情况下,概率连接函数的定义及其性质。提出了在该情况下基于概率连接函数的多指标面板数据重心系统聚类法。朱建平和陈民恳[3]利用差异上确界、差异欧式距离、差异绝对值等方法研究了单个指标面板数据的聚类分析。肖泽磊等[4]用主成分分析的方法对多指标变量面板数据进行降维处理,构造出一个综合指标,研究了多维面板数据的聚类分析。郑兵云[5]分析了面板数据的数据格式和数字特征，构造了多指标面板数据的距离函数，在时间维度上取平均值将多指标退化为截面数据。李因果和何晓群[6]在考虑面板数据的动态数字特征情况下,也采用所有指标的距离求和作为横截面个体间聚类相似性指标,对多指标变量面板数据做了研究。任娟和陈忻[7]针对多指标面板数据的样品分类问题,从特征提取角度提出一个多指标面板数据的聚类分析方法。

本文尝试对面板数据做一些简单介绍，对其聚类分析作一些基础性研究，并以山东省经济均衡发展为例通过因子分析构造综合评价矩阵对多指标面板数据进行实证分析。

2 聚类分析的基本原理

聚类分析是将随机现象归类的统计学方法，也称群分析、点群分析，它是研究分类的一种多元统计方法。其基本思想是把一些相似程度较大的样品（或指标）聚合为一类，把另外一些彼此之间相似程度较大的样品（或指标）又聚合为另一类，关系密切的聚合到一个小的分类单位，关系疏远的聚合到一个大的分类单位，直到把所有的样品（或指标）聚合完毕。由此得知，聚类分析的任务有两个，第一就是寻找合理的度量事物相似性的统计量；第二是寻找合理的分类方法。

按照分类对象的不同又分为R型聚类(R-type cluster)和Q型聚类(Q-type cluster)两大类，R型聚类是对变量(指标)进行分类，Q型聚类是对样品进行分类。最常用的聚类方法是系统聚类法和K-均值聚类法。此外，还有模糊聚类法、有序样品聚类法、分解法和加入法等。样品之间的聚类，常用距离来测度样品之间的亲疏程度。将每一个样品看作P维空间的一个点，并用某种度量测量点与点之间的距离，距离较近的点归为一类，距离较远的点应属于不同的类。常用的距离有绝对值距离、欧式距离、切比雪夫距离、马氏距离、兰氏距离等。

本文选用最常用的聚类方法-系统聚类法，并依据欧式距离对样品进行聚类。

系统聚类法，又称层次聚类法 ,在实际应中使用最多，是将类由多变少的一种方法。主要思想：开始将N个样品各自作为一类，并规定样品之间的距离和类与类之间的距离，然后将距离最近的两类合并成一个新类，计算新类与其他类的距离；重复进行两个最近类的合并，每次减少一类，直至所有的样品合并为一类。绘制出谱系聚类树状图，结合实际问题确定分类的个数及各类的成员。

3 面板数据

面板数据，即Panel Data，也叫“平行数据”，是指在时间序列上取多个截面，在这些截面上同时选取样本观测值所构成的样本数据。其有截面和时间序列两个维度，当这类数据按两个维度排列时，是排在一个平面上，与只有一个维度的数据排在一条线上有着明显的不同，整个表格像是一个面板,所以把Panel Data 译作“面板数据”。这类数据能够同时反映研究对象在时间和截面单元两个方向上的变化规律和不同时间不同单元的特性，可以更综合全面和动态的利用样本信息。根据指标个数可分为单指标面板数据和多指标面板数据，作为一种复杂的数据结构形式，如果要对其进行深入的理论研究,尤其是要建立计量经济数学模型时,如果想从给定原始的面板数据中得到有价值的信息，就需要对面板数据有一个预处理操作。所以，引进面板数据的统计描述方法是很有必要的,这样除了可以给面板数据的预处理提供可行的思路之外,更重要的是可以为面板数据的深入分析奠定深厚的理论基础。

3.1 单指标面板数据的统计描述

时间

1 ... t ... T

样本

1 X1(1) ... X1(t) ... X1(T)

i X i(1) ... X i(t) ... X i(T)

N X N(1) ... X N(t) ... X N(T)

为((t),(t))i i X Y 的交叉相关函数。

有了面板数据的统计描述后，能够利用所获得的数据信息，依据要解决的问题构建面板数据的计量经济模型、面板数据的聚类分析等。 3.2 单指标面板数据的聚类分析

聚类分析需要解决两个最根本的核心问题: 一是样本之间的相似程度用何种统计量来表示；二是类与类之间的相似水平采用何种聚类方法或者说采用何种准则来确定。对于单指标面板数据(t)i X ,(i =1,2...N ,t =1,2...T )，考虑N 个面板数据之间的近似性,用面板之间的距离表示,其表现形式是一个N ×N 的对称阵 ,即

12

13123210

...0

...

0n n n n X X X X X X -?????

?

?

????????

?

其中x ij 是第i 个面板数据与第j 个面板数据之间的相似程度的量化表示 ,当第i 个与第j 个面板数据相似或“接近”,其值越接近于 0。

对于连续时间的面板数据X (),1,2,N i t i = ， 0,t T ≤≤数据之间的相似指标

可以采用下列指标来描述：

(1)差异值的上确界:(1)sup{()(),0}ij i j x t x t t T δ=-≤≤ (2)一致性差异:(2)0()()T

ij i j x t x t dt δ=-?

针对间断型的面板数据(),1,2,N,i k x t i = 12m 0...t t t T ≤<<<≤,面板数据之间的相似指标可用:

(3)差异值的最大值: (3)1max ()()ij i k j k k m x t x t δ≤≤=-

(4)差异值的绝对和: (4)

1

()()m

ij

i k j k k x t x t δ

==-∑

(5)差异值的欧氏距离: 2

(5)1

()()m

ij i k j k k x t x t δ==-∑

对所研究的问题需要构造出数据之间的相似指标,根据连续和间断的不同情

形，从不同的角度考虑，构造描述面板数据之间相似程度的指标。

3.3 多指标面板数据的统计描述

第j个指标在t时间的均值为：

第j个指标在t时间的方差为：

第j 个指标的方差为：

规定了多指标面板数据的格式,定义了几个基本统计量之后,针对不同的实际问题，我们就可以采用计量建模分析和多元统计分析进行对多指标面板数据的研究。

3.4 多指标面板数据的聚类分析

由于截面数据的数据格式也是用一个二维表来表示的,设总体共有N 个样品,每个样品的特征用P 个指标来表示,则ij X 表示第i 个样品第j 个指标的数值。经比较易发现,将单指标面板数据的时间维度转换为截面数据的指标维度表示时,两种数据的统计描述特征相似,其平均值、方差和协方差等统计量的函数表现形式都是相同的,在聚类分析中,二者关于样品距离的算法、聚类过程都是相同的,因此,单指标面板数据的聚类分析可以借鉴截面数据的聚类分析,其聚类结果和聚类谱系图可以直接运行相关软件获得。可见,单指标面板数据处理比较容易。

多指标面板数据的聚类分析相对于单指标来说,数据处理起来很繁琐，现阶段还没有现成的软件可以使用,这就导致了面板数据在多元统计方面研究的瓶颈。一般情况下，如果对实际问题的要求不是很高,我们可以采用 “退化”的思想，在某一特定时间下利用因子分析等方法来对多指标面板数据进行降维，把面板数据的多维指标变量转化为由多个指标变量线性组合而成的一维综合指标。降维后的数据与截面数据在本质上是一致的，这里选用欧式距离来描述样本间的相似程度，即第i 个样本与第j 个样本间的欧式距离ij D 为

1/2

2it 1(x x )T ij

jt t D =??

=-????

∑

其中it X （i ，j ∈1...N ,t ∈1...T ）为第i 个样本第t 时间的综合指标得分。

4 实证分析

4.1 选题背景

改革开放以后, 我国一改以往的均衡经济发展政策, 转而实施有区别、有重点、有选择、非均衡发展战略, 东部沿海成为经济建设重点地带。处在改革开放前沿地带的山东省认真执行国家的大政方针政策, 遵照“梯级开发理论”, 实施地区非均衡发展战略, 率先开放开发东部沿海地区。发展结果是形成了以青岛为龙头, 烟台、威海、日照等市为开放前沿, 自东向西依次推进的发展格局。目前,山东区域经济发展已暴露出若干问题, 如何促进全省区域经济的协调发展, 是山东省发展所要重点考虑的一个战略问题。为深入了解全省各市经济发展均衡状况，以便因地制宜为各地区发展提供建议，本文对2006-2012年山东省17地市多指标(X1:人均GDP,X2：人均病床数，X3:第三产业占GDP比率，X4:非

农业人口比重，X5：可支配性收入，X6：消费性支出,X7：在岗职工比例，)面板数据，进行了聚类分析。（数据来源：山东省统计年鉴2006-2012年,数据见附录。）

4.2 实例分析

根据2006年至2012年山东省可支配性收入和消费性支出的数据，首先计算2006年至2012年全省居民的平均可支配收入和平均消费性支出以及各市区的平均可支配收入和平均消费性支出的数据，并做图，如图1和图2。

图1 2006-2012年山东省平均可支配性收入与消费性支出

图2 2006-2012年各市可支配性收入与消费性支出

由图1可以看出：这几年来，山东省经济持续健康发展，人民生活水平稳步提高，人均可支配收入与消费性支出从2006年以来一直保持持续增长的趋势。同时，从图2可以看出，山东省各市区经济发展水平差距较大，济南、青岛明显处于领先地位，而菏泽处于最低水平，但其余地市的发展状况未能很好区分，为更好区分各地区发展差异，有必要对其进行聚类分析。

由于多指标面板数据处理起来比较繁琐，现阶段还没有现成的软件可以使用。因此本文首先利用所得数据，借助SPSS19．0多元统计软件[8]中的因子分析法对面板数据进行降维处理，按照特征值>1，方差累积贡献率>80%的原则对每个时间截面提取公因子，然后根据公因子的得分构造综合得分指标，计算每个时间截面的综合得分指标，构建综合评价矩阵 [9] ，从而将多指标面板数据简化为截面数据，然后进行聚类分析。

4.2.1 借助因子分析构建综合评价矩阵

因子分析模型是利用降维的思想，把一些具有复杂关系的变量归结为少数几个综合因子的一种统计分析方法。首先借助因子分析对7个原始指标提取公因子进行降维，根据提取的公因子构造一个综合指标，将7个指标转化为一个综合指标，减小问题的复杂性。以2006年数据为例计算综合指标得分，步骤如下：1)数据标准化

打开数据源，在SPSS主菜单中选择“分析→描述统计→描述→将标准化得分另存为变量→确定”，将原始数据标准化。

2)因子分析

在主菜单选择“分析→降维→因子分析”，选择标准化后变量进行因子分析，得因子分析结果，见表3及表4。

表3 解释的总方差

根据表3知，前两个公因子的特征值>1，且两个公因子的累积贡献率为91.472%，能够解释原始变量绝大部分信息，因此原始的七个指标可提取两个公共因子fac1-1和fac1-2。

表4 成分矩阵

表4成份矩阵给出了原始指标与各个公因子的相关系数，从表4可以看出， 公因子fac1-1与X1:人均GDP ,X2：人均病床数，X4:非农业人口比重，X5：可

成份 初始特征值 提取平方和载入 合计 方差的 % 累积 % 合计 方差的 % 累积 % 1 5.183 74.045 74.045 5.183 74.045 74.045 2 1.239 17.697 91.742 1.239

17.697

91.742

3 .293 4.191 95.933

4 .158 2.264 98.197

5 .070 .997 99.194 6

.032 .463 99.657 7 .024

.343

100.000

成份 1

2 Zscore (人均GDP ) .878 -.447 Zscore (病床数)

.925 -.078 Zscore (第三产业GDP 比重) .265 954. Zscore (非农业人口比重) .903 .233 Zscore (可支配收入) .958 -.025 Zscore (消费性支出) .909 .202 Zscore (在岗职工比例)

.963

-.165

2006200720082009201020112012济南市1.541.651.731.781.741.681.74青岛市1.4941.431.461.531.431.361.34淄博市0.5010.390.320.440.310.410.32枣庄市-0.505-0.6-0.65-0.68-0.69-0.64-0.68东营市0.80.860.510.410.40.460.26烟台市0.4910.510.520.560.60.70.72潍坊市-0.146-0.07-0.05-0.080.01-0.040.04济宁市-0.443-0.46-0.36-0.43-0.44-0.42-0.2泰安市-0.193-0.22-0.15-0.19-0.11-0.13-0.07威海市0.8210.760.810.710.790.820.73日照市-0.212-0.32-0.41-0.47-0.5-0.54-0.62莱芜市-0.121-0.12-0.15-0.030.01-0.13-0.04临沂市-0.415-0.32-0.28-0.34-0.32-0.26-0.3德州市-0.746-0.69-0.67-0.67-0.83-0.9-0.91聊城市-0.873-0.79-0.75-0.8-0.77-0.83-0.8滨州市-0.537-0.55-0.43-0.3-0.19-0.09-0.02菏泽市-1.459-1.47-1.45-1.44-1.46-1.45-1.49

D作为该面板根据所得的综合评价矩阵进行聚类分析，借助平方欧氏距离

ij

数据的相似指标 ,选用质心距离法进行系统聚类分析。

3.2.2 聚类分析

1）启动系统聚类

打开整理好的综合得分文件，在主菜单中按“分析→分类→系统聚类”顺序逐一单击鼠标键，打开系统聚类对话框。

2)指定分析变量和标识变量

在数据文件中，选择的变量为从2006-2012年综合得分，在标注个案中选择地区来标识本例中山东省17市区，在分群选项中选择“个案”（样品聚类），在输出选项中选择“统计量”与“图”。

3）统计量输出设置

首先在统计量选项中，选择“合并进程表”与“相似性矩阵”，继续。接下来在绘制中选择“树状图”及“冰状图”，继续。在方法中的聚类方法中选择“质心聚类法”，在度量标准中选择“平方Euclidean距离”，点击继续。

4）提交设置执行过程

各种选择项确定之后返回到主对话框，点击“确定”按钮，SPSS输出结果将显示在输出浏览器和数据编辑窗口工作文件中，表6给出了聚类的具体过程。

表62006-2012年山东各市经济发展聚类表

阶

群集组合

系数

首次出现阶群集

下一阶群集1群集2群集1群集2

1 7 1

2 .030 0 0 2

2 7 9 .061 1 0 10

3 1

4 1

5 .070 0 0 6

4 8 13 .08

5 0 0 5

5 8 1

6 .208 4 0 9

6 4 14 .212 0 3 13

7 6 10 .329 0 0 11

8 3 5 .362 0 0 11

9 8 11 .408 5 0 10

10 7 8 .514 2 9 13

11 3 6 .517 8 7 14

12 1 2 .544 0 0 16

13 4 7 1.717 6 10 14

14 3 4 6.536 11 13 15

15 3 17 12.581 14 0 16

16 1 3 22.032 12 15 0

表6反映每一阶段聚类的结果，比如第一阶段时第7个样本（潍坊）与第12个样本（莱芜）聚为一类，此时共有16类，因此某阶段的分类数等于总的样本数减去这个阶段的序号，依次类推。

图3及图4给出了山东省17地市聚类的冰柱图与树状图。

图3 2006-2012年山东各市经济发展聚类冰柱图

图4 2006-2012年山东各市经济发展聚类树状图

商贸物流等综合服务功能, 并突出其科技创新型中心城市的地位, 强化在山东区域经济发展中“承北接南、连东带西、中转传递”的技术研发和扩散功能。青岛应着力突出其港口经济、国际交流、产业带动等功能,两市应为山东其它地市提供全面、高效的服务。

2)积极构建山东半岛城市群

山东半岛城市群包括青岛、济南、淄博、潍坊、东营、烟台、威海、日照8个沿海城市，根据各市优势资源与优势产业分成六大产业集聚区：即东营—淄博的石化和医药产业带、济南的电子信息产业带、青岛—日照的家电制造产业带、烟台—威海的汽车制造产业带、潍坊——即墨的纺织服装产业带、日照—青岛—威海—烟台的海洋产业带。各区域间要互帮互助，在互补中实现互惠，促进要素在区域间自由流动，引导产业转移; 健全合作机制，各个地方要开展多种形式的区域经济协作和技术人才的合作，形成优势互补，共同发展。

3)落实“一体两翼”战略

“一体”是对山东半岛城市群、济南省会城市群经济圈乃至海洋经济的整合，是山东经济的脊梁，主要是做优做强。“两翼”即北线和南线，北线指黄河三角洲及周边，南线指鲁南经济带，是山东经济发展的薄弱环节，蕴藏着巨大的发展空间。

不断调整优化产业结构，是“北翼”科学发展的关键。在农业方面，要大力发展现代农业，黄河三角洲农业资源极为丰富，特别是发展畜牧养殖业、高效生态渔业的条件得天独厚。工业方面，必须大力发展现代加工制造业。黄河三角洲油气资源、海洋化工资源丰富。这一地区要在已有基础上优先发展石油化工、盐化工等重化工业，扩大深加工，拉长产业链，提高附加值。

“南翼”指的是枣庄、济宁、日照、临沂、菏泽五市组成的鲁南经济带。当前，无论从区位、基础还是全局看，加快“南翼”发展都处于紧迫状态。鲁南经济带资源丰富，这里蕴藏着丰富的能源、矿产资源。该区域还是粮食主产区，油料、肉类、淡水产品、蔬菜产量在全省均占有重要位置，具备发展现代农产品生产加工基地的良好条件。此区域内儒家文化闻名世界，文化、旅游元素丰富多彩，包括济宁的孔圣文化、临沂的蒙山沂水、枣庄的微山湖、菏泽牡丹花都、日照滨海风光，因此此区域人文旅游、生态旅游、红色旅游开发的潜力巨大[11]。

4)创新帮扶机制，实验“飞地经济”

正如我们聚类分析中反映的目前菏泽市是山东最落后的地区，山东省因此也提出了“突破菏泽”的战略，由济南、青岛、淄博、东营、潍坊、济宁、威海、烟台8市结对帮扶菏泽8县，实施的东企西进、西输东接和干部交流等措施。建议借鉴“飞地经济”模式，发达地区作为“飞出地”，把资金和项目放到欠发达地区的“飞入地”开发区，通过规划建设管理和税收分配等合作机制，实现发达地区和欠发达地区的互利共赢。

4总结

本文主要探讨了面板数据的聚类分析方法的运用。文中首先介绍了聚类分析方法的基本思想，然后介绍了面板数据的统计描述方法，构造了面板数据之间相似性的统计指标，并在此基础上提出了面板数据聚类分析的有效方法。讨论了多指标面板数据的聚类分析的统计指标以及聚类分析的具体方法。通过应用面板数据的聚类分析，利用SPSS软件，对山东省各市区经济发展地区性差异进行分析，取得了良好的效果。当然本文采取的这种降维的处理方法，将多指标综合成一个综合得分存在信息损失问题,在相似度的测度中并未详细考察面板数据的动态数字特征，此得分未能表现事物动态发展情况,不能反映其他分布特征,如离散程度等。由于面板数据的复杂性和本人能力有限，未能完全挖掘多指标面板数据所包含的信息，在今后的学习过程中我还要继续研究，争取用更优化的方法研究面板数据。