模式识别(第十章)

c c i =1 j =1 i j
2
p ( y )dy
它反映了 f ( y | Γ i ) 和 f ( y | Γ j ) 之间的“距离”。
目标：求使 J 最大的子集划分
p( y | Γ i ) =
1 Ni
∑
j =1
Ni
k ( y, y i ) ，y j ∈ Γ i
（Parzen 窗法）
考查某个样本 y k ，若它原属于 Γ j ，从 Γ j 移入 Γ i ，得新的 Γ j 和 Γ i ， 则显然
算法研究： 设已有一个划分方案，考查 Γ k 中的样本 y ，若把 y 移入 Γ j ，此时 Γ k 变成 Γ k ， Γ j 变成 Γ j ，有
~
~
~ =m + m k k
~ =m + m j j
1 [mk − y ] Nk −1
1 y − mj N j +1
[
]
N ~ J k = J k − k y − mk N k −1
3.4
非监督参数估计
非监督参数估计指样本类别未知，但各类条件概率密度函数的形式已 知，根据所有样本估计各类密度函数中的参数。 ---- 混合概率模型
3.4.1 非监督参数估计的最大似然法 3.4.2 非监督参数估计示例：正态分布情况 -----局限：需要较强的先验假设，需要较多的样本
10.3
回顾：
投影方向：使方差最大的方向，即协方差阵本征值最大的本征向量方向。
算法步骤： （1）计算样本协方差矩阵的最大本征值对应的 本征向量 u j ，把样本投影到 u j 上。 （--- KL 变换）
（2）估计投影后样本 v j = u j x 的概率密度函数 p (v j ) 。
T
（用直方图方法或其它方法） ， （3）求 p (v j ) 中的极小点（波谷） 在这些极小点上作垂直于 u j 的超平面作为分类超平面， 得到子集划分。 （4）如果 p (v j ) 上没有这种极小点， 则用下一个本征值对应的本征向量作为投影方向，重复（2）～（3） 。 （5）对划分出的第一个子集重复上述过程， 直到不能再分（所有方向上都是单峰） 。
2
Nj ~ y − mj Jj = Jj + N j +1
若
2
Nj N j +1
y − mj
2
<
Nk y − mk Nk −1
2
则把 y 从 Γ k 移入 Γ j 会使 J e 减小。
C 均值算法： （1）初始划分 c 个聚类， Γ i ， i = 1, L , c 计算 mi ， i = 1, L , c 和 J e （2）选样本 y ，设 y ∈ Γ i （3）若 N i = 1 ，则转（2） ；否则继续。 （4）计算 ρ j ：
直方图法求概率密度函数：
N 个样本 v ij ， i = 1, L, N ，按小到大排队，组成 {v j (l )}N ，其中
v j (l ) ≤ v j (l + i ) ， ∀l , i > 0 ， l + i ≤ N
将 v j 划分为若干间隔，统计每个间隔内样本的数目，用它（占样本总 数的比例）作为对概率密度函数值的估计 间隔长度 ρ 的确定：对某个 k ，求
~
~
~ f ( y | Γi ) ≥ f ( y | Γi )
~ f (y | Γ j ) i ) = f ( y | Γ i ) + ∆f i ，
∆f i = −∆f i =
1 k ( y, y k ) N
把 y k 从 Γ j 移入 Γ i 引起的指标变化量：
相似性度量：以某种距离定义
直观理解：同一类的样本的特征向量应是相互靠近的。 ——前提：特征选取合理，能反映所求的聚类关系。
与基于密度函数的方法的关系： 概念上相互关联，因密度估计也是在样本间距离的基础上的。 具体关系取决于具体数据情况。
10.3.1
动态聚类方法
多次迭代，逐步调整类别划分，最终使某准则达到最优。
ρ = min{v j (l + k ) − v j (l )}. 1 ≤ l ≤ N − k
l
其中 k 应满足：
N →∞
lim k = ∞
lim
k =0 N →∞ N
N →∞
lim
k =∞ log N
通常可选 k = & a N ， a 为一定的常数 问题： 如何选择投影方向？ ----- 方差最大的准则有时并不一定最有利于聚类。
ρj =
ρi =
Nj N j +1
y − mj ， j ≠ i
2
2
Ni y − mi Ni + 1
（5）选 ρ j 中的最小者，即若 ρ k <
ρ j ， ∀j ，则把 y 从 Γ i 移到 Γ k 中。
（6）重新计算 mi ， i = 1, L , c 和 J e
（7）若连续 N 次迭代 J e 不改变，则停止；否则转（2） 。
（2） 对 S 中的第 r + 1 个样本 y r +1 ，考查它与已有各子集的关系， 即考查它是否是剩余候选样本中离该子集距离最近的样本。 可能有三种情况： (a) 若对所有已有子集 Γ j ， j = 1, L , i ， y r +1 都不是下一个离它最
近的样本，则用 y r +1 开始一个子集 Γ i +1 ，置 i = i + 1 ； (b) 若对某个 Γ j ， y r +1 是候选点中离它最近的样本，而对其它子集 都不是候选最近样本，则令 y r +1 ∈ Γ j ； (c) 若对一个以上的子集， y r +1 都是候选点中离它们最近的样本，则 选择其中与 y r +1 距离最近的子集 Γ j ，使 y r +1 ∈ Γ j 。 （3） 从候选样本中去掉 y r +1 ，更新候选样本距离排序，置 r = r + 1 ， 重复（2） ，直到 r == N 。 （4） 这样找出的子集数可能多于单峰子集数，因此：根据 p ( y ) 的极大点 是哪些子集 Γ j 的内点确定出单峰子集的核 y j 。 （5） 对于其余（非核）子集，根据其峰值点距各核中最近样本（或中心） 的距离合并到最近的单峰子集（核）中。
i j i
目标：
通过把 y k 从 Γ j 移入 Γ i ，使 J 增大，故应选择使 ∆J 尽可能大的 Γ i 移入， 即选择
f ( y k | Γ i ) = max f ( y k | Γ l )
l
以使 f ( y | Γ i ) − f ( y | Γ j ) 最大，从而使 ∆J 最大。 ，则可移入其中任一 若存在两个（或以上）子集的 f ( y k | Γ i ) 最大（相等） 类。
10.2.3
单峰子集分离的迭代算法
设数据集 Y 划分为 c 个子集 Γ i ， i = 1,2, L , c 每个子集中样本数为 N i ，总样本数为 N 。 考查类条件概率密度的加权估计值：
f ( y | Γi ) =
Ni p( y | Γ i ) N
定义指标
J=
1 2∫
∑ ∑ [ f ( y | Γ ) − f ( y | Γ )]
三个要点： ① 选某种距离作为样本相似性度量 ② 定义某个准则函数，用于评价聚类质量。 ③ 初始分类方法及迭代算法
（一） C 均值算法（ k 均值，C-means or k-means）
误差平方和聚类准则
Je = ∑
i =1
c
y∈Γi
∑
y − mi
2
= ∑ Ji
i =1
c
其中， Γ i 是第 i 个聚类， i = 1, L , c ，其中样本数为 N i ，
∆J = ∫ f ( y | Γ i ) − f ( y | Γ j ) − [ f ( y | Γ i ) − f ( y | Γ j )]
~ ~
2
{[
]
2
+
k =1 k ≠i , j
∑ [( f ( y | Γ
c
k
~ ) − f ( y | Γ j )) 2 − ( f ( y | Γ k ) − f ( y | Γ j )) 2
~ + ( f ( y | Γ k ) − f ( y | Γ i )) 2 − ( f ( y | Γ k ) − f ( y | Γ i )) 2 p ( y )dy
]}
= ∫ [2c∆f i ] p( y )dy + 2c ∫
2
[ f ( y | Γ ) − f ( y | Γ )]∆f p( y)dy
两大类方法
直接方法 : 基于概率密度函数估计 间接聚类方法
: 基于样本间相似性度量
10.2
单峰子集（类）的分离方法
基本假定： 各类样本的分布是单峰的，根据总体分布中的单峰来划分子集
10.2.1
基本思路：
投影方法
把样本投影到某一一维坐标轴（按某种准则） ，在这一维上求样本的概 率密度（边缘概率密度） ，根据这一概率密度函数的单峰划分子集。 （如果这一维上只有一个峰，则寻找下一个投影方向。 ）
[
]
算法步骤： （1） 初始划分 Y （2） 对每个样本 y k ， k = 1, L , N ，逐一计算 f ( y k | Γ i ) ，并归入使
f ( y k | Γ i ) 最大的子集中。
（3） 重复（2） ，直到不再有样本发生转移。
10.2.4
参数化方法
以上介绍方法均属非参数方法，在对数据分布没有先验知识的情况下采用。 如果已知（或可假设）数据分布的概率密度函数的形式，则可采用参数化方 法。 回顾：
z z
对称集一定是单峰的 划分单峰子集→划分对称集