聚类分析实验报告

《应用多元统计分析》课程实验报告实验名称：用聚类分析的方法研究山东省17个市的产业类型的差异化学生班级：统计0901学生姓名：贾绪顺杜春霖陈维民张鹏指导老师：____________***_____________________完成日期：2011.12.12一，实验内容根据聚类分析的原理，使用系统聚类分析的COMplete linkage (最长距离法)和WARD(离差平方和法)，运用SPSS软件对2009年山东省17个城市生产总值的数据进行Q型聚类，将17个城市分为5类，发现不同城市产业类型的差异化，并解释造成这种差异的原因二，实验目的希望通过实验研究山东省17个市的生产总值的差异化，并分析造成这种差异化的原因，可以更深刻的掌握聚类分析的原理；进一步熟悉聚类分析问题的提出、解决问题的思路、方法和技能；达到能综合运用所学基本理论和专业知识；锻炼收集、整理、运用资料的能力的目的；希望能会调用SPSS软件聚类分析有关过程命令，并且可以对数据处理结果进行正确判断分析，作出综合评价。

三，实验方法背景与原理3.1方法背景聚类分析又称群分析，是多元统计分析中研究样本或指标的一种主要的分类方法，在古老的分类学中，人们主要靠经验和专业知识，很少利用数学方法。

随着生产技术和科学的发展，分类越来越细，以致有时仅凭经验和专业知识还不能进行确切分类，于是数学这个有用的工具逐渐被引进到分类学中，形成了数值分类学。

近些年来，数理统计的多元分析方法有了迅速的发展，多元分析的技术自然被引用到分类学中，于是从数值分类学中逐渐的分离出聚类分析这个新的分支。

结合了更为强大的数学工具的聚类分析方法已经越来越多应用到经济分析和社会工作分析中。

在经济领域中，主要是根据影响国家、地区及至单个企业的经济效益、发展水平的各项指标进行聚类分析，然后很据分析结果进行综合评价，以便得出科学的结论。

聚类分析源于很多领域，包括数学，计算机科学，统计学，生物学和经济学。

在不同的应用领域，很多聚类技术都得到了发展，这些技术方法被用作描述数据，衡量不同数据源间的相似性，以及把数据源分类到不同的簇中。

聚类分析的主要应用，在商业方面，最常见的就是客户群的细分问题，可以从客户人口特征、消费行为和喜好方面的数据，对客户进行特征分析，充分利用数据进行客户的客观分组，使诸多特征有相似性的客户能被分在同一组内，而不相似的客户能被区分到另一些组中。

在生物方面，聚类分析可以用来对动植物进行分类，对基因进行分类等，从而获取对动植物种群固有结构的认识，对物种进行很好的分类。

在电子商务方面，聚类分析在电子商务中网站建设数据挖掘中也是很重要的一个方面，通过对客户的浏览行为、浏览网站、客户的年龄等，对客户进行分析，找出不同客户的共同特征，通过共同特征对客户进行分类，可以帮助电子商户更好的了解他们的客户，并向客户提供更合适的服务。

在保险行业上，根据产、寿险进行分类，不同类别的公司进行分类，对保险投资比例进行分类管理，从而提高保险投资的效率。

3.2实验的方法与原理聚类分析是研究“物以类聚”的一种科学有效的方法。

做聚类分析时，出于不同的目的和要求，可以选择不同的统计量和聚类方法。

聚类分析方法中最常用的一种是系统聚类法，其基本思想是：先将待聚类的n个样品（或者变量）各自看成一类，共有n类；然后按照选定的方法计算每两类之间的聚类统计量，即某种距离（或者相似系数），将关系最为密切的两类合为一类，其余不变，即得到n-1类；再按照前面的计算方法计算新类与其他类之间的距离（或相似系数），再将关系最为密切的两类并为一类，其余不变，即得到n-2类；如此下去，每次重复都减少一类，直到最后所有的样品（或者变量）都归为一类为止。

系统聚类分析有两种类型：Q 型样本聚类和R 型变量聚类。

这里我们运用的是Q 型聚类。

Q 型聚类是对样本进行聚类，它使具有相似特征的样本聚集在一起，使差异性大的样本分离开来。

本实验中，分别采用最长距离法和离差平方和法对样本进行分类。

方法一：用最长距离对样本进行分类个体与小类间的最长距离是该个体与小类每个个体距离的最大值 在聚类分析前，首先把数据进行标准化变换()n j n i R x x x jjij ij ,,2,1,,,2,1 ==-=*，变换后的数据，每个变量样本均值为0，标准差为1，而且标准化变换后的数据{}*ij x 与变量的量纲无关。

采用系统聚类的方法，用最长距离法计算欧氏距离()n j i x x d mi jtit ij ,,2,1,12=-=∑=，其中it x 表示第i 个样品的第t 个指标的观测值，jt x 表示第j 个样品的第t 个指标的观测值，ij d 为第i 个样品与第j 个样品之间的欧式距离。

若ij d 越小，那么第i 与j 两个样品之间的性质就越接近。

最长距离法求类与类之间的距离，设类p G 和q G 合并r G 后，按照最长距离计算新类r G 与k G 其他类的类间距离，其递推公式为{}(){}{}(),,,max ,=maxmax ,max =max ,,r kp kq krk ij r p q ij ij pk qk i G j G i G j G i G j G D d G G G d d D D k p q ∈∈∈∈∈∈==≠方法二：用离差平方和法（WARD ）对样品进行分类离差平方和法是Ward （1936）提出的，也称为Ward 法。

它基于方差分析思想，如果类分得正确，则同类样品之间的离差平方和应当较小，不同类样品之间的离差平方和应当较大。

假定已将n 个样品分为k 类，记为1G ,2G ,…,k G ，t n 表示t G 类的样品个数，(t)X表示t G 的重心，(t )i X （）表示t G 中第i 个样品（i=1,…,t n ），则t G 中样品的离差平方和为 ()()tn (t)(t)(t)(t)t i i 1=i W X X X X='--∑（）（）， 其中(t )i X （），(t)X为m 维向量，t W 为一数值（t=1,2,…,k ）。

k 个类的总离差平方和为()()tn kk(t)(t)(t)(t)t i i t=1t=11==i W W X X X X ='--∑∑∑（）（）.当k 固定时，要选择使W 达到极小的分类。

Ward 法的基本思想是，先将n 个样品各自成一类，此时W =0；然后每次将其中某两类合并为一类，因每缩小一类离差平方和就要增加，每次选择使W 增加最小的两类进行合并，直至所有样品合并为一类为止。

Ward 法把某两类合并后增加的离差平方和看成为类间的平方距离，即令()2pq r p q =D W W W -+表示类p G 和q G 的平方距离，其中{},r p q G G G =，r W ，p W ，q W 分别为r G ，p G ，q G 类中样品的离差平方和。

利用r W 的定义，可得()()rn (r)(r)(r)(r)r t t t 1=W X X X X='--∑（）（）()()()()pqn n (p)(r)(p)(r)(q)(r)(q)(r)i i i i i 1i 1=XXX X X X X X==''--+--∑∑（）（）（）（）， 其中1r p q p q rXn X n X n ()()()⎡⎤=+⎣⎦.经整理可得 ()()2p q p q p q pq rn n D XX X X n ()()()()'=--.当样品间距离采用欧氏距离时，上式可表为22p q pqpqrn n D d n =， 其中2pq d 表示,p q G G 的重心p X()与q X()的平方距离：()22,p q pq d d X X ()()=.这表明此时Word 法定义的类间距离与重心法只相差一个常数倍。

当p G 和q G 合并为r G 后，r G 与其他类k G 的距离有如下递推公式2222k p k q k rk pk qk pqr kr kr kn n n n n D D D D n n n n n n ++=+-+++ 上述两种方法都是将性质接近的样品划为一类。

聚类分析依据的基本原则是直接比较样本中各事物之间的性质，将性质相近的归为一类，而将性质相差比较大的分在不同类。

也就是说，同类事物之间性质差异小，类与类之间的性质相差比较大。

系统聚类分析是聚类分析中应用的最广泛的一种方法。

首先将n 个样品每个自成一类，然后每次将具有最小距离的两类合并成一类，合并后重新计算类与类之间的距离，这个过程一直持续到所有样品归为一类为止。

分类结果可以画成一张直观的聚类谱系图。

应用系统聚类法进行聚类分析的步骤如下：①确定待分类的样品的指标②收集数据③对数据进行变换处理④使各个样品自成一类，即n个样品一共有n类⑤计算各类之间的距离，得到一个距离对称矩阵，将距离最近的两个类并成一类⑥并类后，如果类的个数大于1，那么重新计算各类之间的距离，继续并类，直至所有样品归为一类为止⑦最后绘制系统聚类谱系图，按不同的分类标准或不同的分类原则，得出不同的分类结果。

四、实验数据与实验结果我们根据2010年山东统计年鉴的数据，运用SPSS软件进行分析，得到如下实验数据与结果：1，原始数据表1-1 山东省17城市生产总值原始数据(来源：2010年山东统计年鉴)X1-规模以上国有控股工业总产值（单位：万元） X2-规模以上非公有工业总产值（单位：万元） X3-规模以上外商和港澳台投资工业总产值（单位：万元） X4-规模以上高新技术产业总产值（单位：万元） X5-农林牧渔业总产值（单位：万元） X6-建筑业总产值（单位：万元） X7-邮电业务总量（单位：亿元） X8-社会消费品零售总额 (单位：万元)2，SPSS软件处理结果我们首先对原始数据进行标准化，然后采用系统聚类分析法的Furthest Neighbor(最长距离法)和Ward’s Method(离差平方和)分别对标准化的数据进行处理，下面对软件输出结果进行详细介绍。

【1】，用层次聚类分析中最长距离法的SPSS结果（1），表1-2 山东省17个城市生产总值层次聚类分析中的凝聚状态表（2），表1-3山东省17个城市生产总值层次聚类分析中分为五类的类成员Cluster MembershipCase 5 Clusters1:济南市 12:青岛市 23:淄博市 34:枣庄市 45:东营市 36:烟台市 2分为五类时，1号样本济南市为一类，2号样本青岛市、6号样本烟台市为一类，3号样本淄博市、5号样本东营市为一类，7号样本潍坊市、8号样本济宁市、13号样本临沂市为一类，其他4号样本枣庄市、9号样本泰安市、10号样本威海市、11号样本日照市、12号样本莱芜市、14号样本德州市、15号样本聊城市、16号样本滨州市、17号样本菏泽市13个城市为一类。