08聚类分析(管理统计学与SPSS 16.0应用课件)

（1）最短距离法
– 距离最近的样品归入一类 – 计算新类和单个样品间的距离作为单个样品和类中的样品间的最小距 离，尚未合并的样品间的距离并未改变 – 在每一步，两类之间的距离是它们两个最近点间的距离
（2）最长距离法
– 按两个最远成员间的距离进行类的归并 – 最长距离法与最短距离法相比，类与类之间的距离定义和计算新类与 其他类的距离所用的公式不同
系统聚类方法分类（续）
（5）类间平均连接法
– 按各个团体中成员间的平均距离连类，两个类间的距离为所有样 品偶对间的平均距离
（6）类内平均连接法
– 按各个团体中成员间的平均距离连类，且使产生类的所有样品之 平均距离尽可能小，是取产生类的所有可能样品偶对间的平均距 离
（7）离差平方和法
– 如果分类正确，同类样品的离差平方和应当较小，类与类的离差 平方和应当较大。具体做法是
距离的测度方法选择（待续）
• 在Measure栏中选择距离计算方法
– Interval：应用于等间隔测度的变量。单击矩形框右侧 的下箭头展开下拉，选择连续变量距离测度的方法
• Eucidean distance：欧式距离，即两样本间距离为其对应指标 值之差的平方和的平方根 • Squrared Eucidean distance：欧式距离平方，即两样本间距离为 其对应指标值之差的平方和；Cosine：变量矢量的余弦，这是 模型相似性的度量 • Pearson Correalation：相关系数距离 • Chebychev：切比雪夫距离，即两样本间的距离为两样本对应 指标值之差的绝对值中的最大值 • Block：City-Block或Manhattan距离，即两样本间的距离为两样 本对应指标值之差的绝对值和 • Minkowski：两样本间的距离是一个绝对幂的度量，即两样本 对应指标值之差的绝对值的p次幂之和的p次根，p由用户指定 • Customized：距离是一个绝对幂的度量，即两样本对应指标值 之差的绝对值的p次幂之和的r次根，p与r由用户指定
– 准则1：任何类都必须在邻近各类中是突出的，即各类 重心之间距离必须大 – 准则2：各类所包含的元素都不要过多 – 准则3：分类的数目应该符合使用的目的 – 准则4：若采用几种不同的聚类方法处理，则在各自的 聚类图上应发现相同的类
• 层次聚类中每次合并的类与类之间的距离也可以 作为确定类数的一个辅助工具
常用距离的分类
①欧氏距离 ②欧氏距离平方 ③偏差距离 ④明考夫斯基距离
d ij
d ij
x
p k 1
p k 1
xik y jk
ik
y
2
2
jk
d ij
k 1
p
x x
ik
jk
p d ij q中，先把离得近的类合并，在并类过 程中聚合系数呈增加趋势 – 聚合系数小，表示合并的两类的相似程度大，两个差 异很大的类合到一起，会使该系数增大
聚类方法的选择
• 影响聚类方法的使用效果的因素
– – – – 类的结构（主要指类的形状、规模和个数） 奇异值的存在 类与类之间重叠的程度 相似测度的选择
x11● x12● （a）最短距离 d x11● x22●
• 最短距离连接法：
– 用两类中所有样本对距离的最小值作为 两类的距离，合并距离最近或相关系数 最大的两类
x11● x12● X22● d x21●
• 最长距离连接法：
– 用两类中所有样本对距离的最大值作为 两类的距离，合并距离最近或相关系数 最大的两类
（3）重心法
– 两类之间的距离为两类重心间的距离，对样品聚类的重心就是该类的 均值 – 缺陷是较后合并的类比较前合并的类更不相似
（4）类平均法（Median clustering）
– 两类之间的距离是以各自的中数加以度量的，这使两个正被合并的类， 在均值计算中被赋予相等的权力，而不管每一类中的样品数
Hierarchical Cluster Analysis
Hierarchical Cluster Analysis： Statistics
Statistics → {Hierarchical Cluster Analysis：Statistics}
聚集状态表 各项间的距离矩阵 类成员栏 不显示类成员表， 为系统默认值 要求列出聚为一定类数 的各观测量所属的类 某个范围中每步各 观测量所属的类
• 分类的基本思想：把一些相似程度较大的样品 （或指标）聚合为一类，关系密切的聚合到一个 小的分类单位，关系疏远的聚合到一个大的分类 单位，直到把所有的样品（或指标）聚合完毕
聚类分析
– 例如：有p个指标（变量），n个对象，依据这n个对象 在p个指标下的数据，对这n个对象进行聚类。设数据 为：
指标： 1 2 x12 x 22 xn 2 p 对象1 x11 对象1 x 21 对象p x n1 x1 p x2 p x np
管理统计学
2010年
9 聚类分析与判别分析
9.1 聚类分析 9.2 判别分析
9.1 聚类分析
9.1.1 9.1.2 9.1.3 9.1.4 9.1.5 基本原理和方法 系统聚类法 系统聚类的SPSS应用 K均值聚类法 K均值聚类法的SPSS应用
9.1.1 基本原理和方法
• 聚类分析：采用定量数学方法，根据一批样品的 多个观测指标，具体找出一些能够度量样品或指 标之间相似程度的统计量，以这些统计量为划分 类型的依据
聚类分析的分类
• 样本聚类/Q型聚类：对观测量(Case)进行聚 类，不同的目的选用不同的指标作为分类 的依据
• 变量聚类/R型聚类：能够找出彼此独立且有 代表性的自变量，而又不丢失大部分信息， 主要是对研究对象的观测变量进行聚类， 使得具有共同特征的变量作为一类
聚类分析的步骤
① 选择描述事物对象的变量（指标） X ij X j xij ② 形成数据文件，建立样品资料矩阵 Sj ③ 确定数据是否需要标准化 ④ 确定表示对象距离或相似程度的统计量 ⑤ 计算对象间的距离（rij）和相似关系矩阵R（rij） 对称阵：i到j的距离与j到i的距离相等 ⑥ 选择类与类之间的距离定义 指标： 1 2 p ⑦ 聚类 对象1 r11 r12 r1 p ⑧ 分类 r r r
• 例9.1 有关研究机构通过2008年我国部分省 市的土地利用情况（单位：万公顷）进行 分析，试图依据给出的数据对土地利用结 构进行分类
地区
园地
牧草地
居民点及工矿
交通用地
水利设施
北 京
天 津 河 北
12.0
3.5 70.5
0.2
0 79.9
27.9
28.1 154.5
3.3
2.2 12.0
2.6
3.3
9.3 14.8 15.6 21.2 0.2 19.3
浙 江
安 徽 福 建 江 西 山 东
66.1
33.9 62.9 27.8 100.7
0
2.8 0.3 0.4 3.4
81.7
133.4 50.7 67.5 209.3
9.5
10.1 7.9 7.5 16.3
13.8
22.7 6.1 20.5 25.5
• • • • dij≥0，对一切i和j成立 dij＝0，当且仅当i＝j成立 dij＝dji≥0，对一切i和j成立 dij≤dik＋dkj，对于一切i和j成立
• 相似系数： – 变量或样品的关系越密切，其性质就越接近，它们的相似系数的 绝对值越接近1；反之，它们的相似系数的绝对值越接近于零，即 样品的关系越疏远 – 样品之间相似系数大的样品归为一类，样品之间相似系数小的样 品归为不同的类，即两点相似系数越接近1，就相当于距离越短， 即相似的为一类，不相似的属于不同类
Agglomeration schedule →continue → Method → {Hierarchical Cluster Analysis：Method}
Hierarchical Cluster Analysis： Method
Cluster Method选择的聚类方法
– Between-groups linkage(组间连接)：合并两类的结果使所有的两 两项对之间的平均距离最小，项对的两个成员分别属于不同的类， 该方法中使用各对之间的距离 – Within-groups linkage(组内连接)：若当两类合并为一类后，合并 后的类中的所有项之间的平均距离最小，两类间的距离即是合并 后的类中所有可能的观测量对之间的距离平方 – Nearest neighbor（最近邻法）：该方法首先合并最近的或最相似 的两项，用两类间最近点间的距离代表两类间的距离 – Furthest neighbor：最远邻法/完全连接，用两类之间最远点的距 离代表两类之间的距离 – Centroid clustering（重心法）：应与欧氏距离平方法一起使用， 像计算所有各项均值之间短距离那样计算两类之间的距离，该距 离随聚类的进行不断减小 – Median clustering（中间距离法）：应与欧氏平方距离一起使用 – Ward’s method：离差平方和法，应与欧氏平方距离一起使用
• 先将n个样品看成一类 • 每次缩小一类，每缩小一类离差平方和就要增大，选择使S增加最小 的两类合并直到所有的样品归为一类为止 • 计算每一类所有变量的均值 • 对每一个样品计算到类均值的距离平方，对所有样品求这些距离之和 • 合并的两类是使类内距离总平方和增加最少的类
9.1.3 系统聚类的SPSS应用
6.5 12.9
山 西
内蒙古 辽 宁 吉 林 黑龙江 上 海 江 苏
29.5
7.3 59.6 11.5 6.0 2.1 31.6
65.8
6560.9 34.9 104.4 220.8 0 0.1