聚类分析与判别分析

P(l | x),l 1,2,, k ,然后比较这k个概率值的大小，将待判 样本归为条件概率最大的总体。
在观测到一个样品x的情况下，利用Bayes公式，可以计算
它来自第g个总体的后验概率P：(g | x)
qg fg (x)
k
。
qi fi (x)
分类： Q型聚类—对样本进行分类处理； R型聚类—对变量进行分类处理。
方法： 系统聚类法 K-均值聚类法 有序样品聚类法
个体之间距离的度量方法
针对连续变量的距离测量： 欧式距离； 欧式距离平方； 切比雪夫距离； 布洛克距离； 明可夫斯基距离； 自定义距离； 夹角余弦； 皮尔逊相关系数
案例9.3 系统聚类分析
案例9.3.sav的资料是我国2005年各地城镇居民平均每人全 年家庭收入来源统计表。试对全国各地区的收入来源结构 进行分类。
二阶段聚类分析
二阶段聚类分析是一种新型的分层聚类方法，主要用于一 般的数据挖掘和多元统计的交叉领域—模式分类，其算法 适用于任何尺度的变量。
系统聚类/层次聚类
凝聚式聚类和分解式聚类。 基本思想：距离相近的样品（或变量）先聚成类，距离相 远的后聚成类，过程一直进行下去，每个样品（或变量）总 能聚到合适的类中。 步骤：
第一步：每个样品独自聚成类，共n个类； 第二步：把距离较近的两个样品聚合为一类，形成n-1类； 第三步：将n-1个类中“距离”最近的两个类进一步聚成一类， 形成n-2类； 直至所有样品全聚成一类。
概述
聚类分析：顾名思义是一种分类的多元统计分析方法。按 照个体或样品(individuals, objects or subjects)的特征将 它们分类，使同一类别内的个体具有尽可能高的同质性 (homogeneity)，而类别之间则应具有尽可能高的异质性 (heterogeneity)。
基本思想
系数 u (u1,u2,,up )' 确定的原则是使得各总体之间区别
最大，而使得每个总体内部的离差最小。
判别规则：待判样品的典型判别函数值u'x与第G类中心的 典型判别函数值u'µ(i)的绝对离差 u'x u' (i) 最小，则可以 将该样品判入第G类。
Bayes判别分析
基本思想：首先计算待判样品属于各个总体的条件概率,
针对计数变量的距离测度：
卡方距离；
Phi方距离；
针对二值变量的距离测度：
二值欧式距离；
二值欧式距离平方；
不对称指数； 不相似性测度； 方差
一般聚类个数在4－6类， 不宜太多，或太少；
聚类分析应注意的问题
所选择的变量应符合聚类的要求； 各变量的变量值不应有数量级上的差异； 各变量间不应有较强的线性相关关系。
个体与小类，小类与小类“亲疏程度”度量方法
组间平均连接距离：个体与小类中每个个体距离的平均值； 组内平均连接距离：个体与小类中每个个体距离以及小类 内各个体间距离的平均值； 最近邻距离：个体与小类中每个个体距离的最小值； 最远邻距离：个体与小Байду номын сангаас中每个个体距离的最大值； 重心距离：该个体与小类的重心点的距离； 中位数距离； 离差平方和法：使小类内离差平方和增加最小的两小类应 首先合并为一类。
指标：描述研究对象（样本或变量，常用的是样本）之间 的联系的紧密程度。“距离”和“相似系数”，假定研究 对象均用所谓的“点”来表示。
一般的规则是将“距离”较小的点或“相似系数”较大的 点归为同一类，将“距离”较大的点或“相似系数”较小 的点归为不同的类！
严格说来聚类分析并不是纯粹的统计技术，它不像其它多 元分析法那样，需要从样本去推断总体。聚类分析一般都 涉及不到有关统计量的分布，也不需要进行显著性检验。 聚类分析更像是一种建立假设的方法，而对假设的检验还 需要借助其它统计方法。
若W(X)>0，则 X G1 ；若W(X)<0，则 W(X)=0，则待判断。
X G2 ；若
各总体协方差阵相等，判别函数为线性判别函数；
各总体协方差阵不相等，判别函数为二次判别函数；
Fisher判别分析
借助方差分析思想构造一个线性判别函数：
U(X ) u1X1 u2 X2 up X p u' X
① 指定聚类数目K ② 确定K个初始类中心（用户指定或系统指定）； ③ 根据距离最近原则进行分类（欧式距离）； ④ 重新确定K个类中心； ⑤ 判断是否已满足终止聚类分析的条件：迭代次数或类中心偏
移程度（0.02）。
案例9.2 K中心聚类分析
案例9.2.sav的资料是我国2006年各地区能源消耗的情况。 根据不同省市的能源消耗情况，进行分类，以了解我国不 同地区的能源消耗情况。
案例9.2 二阶段聚类分析
案例9.1.sav的资料是美国22个公共团体的数据。试以“是 否使用核能源”为分类变量对这些团体进行聚类分析，其 中“1”表示使用核能源，“0”表示没有使用核能源，观测 这两类企业所属类别的情况。
K-均值聚类
是一种快速聚类法。适合处理大样本数据。 基本思想是：将每个样品分配给最近中心（均值）的类中， 具体步骤：
判别分析概述
根据已有的划分类别的有关历史资料，确定一种判定方法， 判定一个新的样本归属哪一类。
设定有k个样本，对每个样本测得p项指标的数据，已知每 个样本属于k个类别中的每一类。利用这些数据，找出一种 判别函数，使得这一函数具有某种最优性质，能把属于不 同类别的样本点尽可能地区别开来，并对测得同样p项指标 数据的一个新样本，能判定这个样本属于哪一类。
距离判别法
两个总体G1和G2，均值向量：1和2 ；协差阵： 1和 2
数据点X到总体Gi的马氏距离定义为：
D2 (X ,Gi ) (X (i) )' ( (i) )1(X (i) )(i 1,2)
设判别函数：W ( X ) D2 ( X ,G2 ) D2 ( X ,G1)