模式识别基本知识

2.2 几种常用的决策规则 2.2.1 基于最小错误率的贝叶斯决策 希望尽量减少分类错误，从此要求出发，利用贝叶斯公式，就能 得出使错误率最小的分类规则。 例子 癌细胞识别 设每个要识别的细胞已做过预处理，抽取出 d 个表示细胞基本特 性的特征成为一个 d 维向量 x, 识别的目的是将 x 分为正常细胞 或者异常细胞
p(ω1 ) = 0.9 ， p(ω2 ) = 0.1，现有一待识别的细胞，其观察值为 x, 从
类条件概率分布曲线得
p(
x
/
ω 1
)
=
0.2
，p
(
x
/
ω
2
)
=
0.4
，试对该细胞
进行分类。
解：分别计算出ω1和ω2 的后验概率
p(ω1
/ x)
=
p(x / ωi ) p(ωi )
2
∑
j =1
p(
x
/
ω
j
第二章 贝叶斯决策理论
2.1 引言 模式识别的分类问题是根据识别对象特征的观察值将其分到某 个类别中去。统计决策理论是处理模式分类问题的基本理论之 一。贝叶斯决策理论是统计模式识别的一个基本方法，用它进行 分类时要求：
（1） 各类别总体的概率分布是已知的 （2） 要决策分类的类别数是一定的
在连续情况下，假设对要识别的物理对象 d 种特征观察量 x1, x2 Lxd ， 这些特征的所有可能的取值范围构成了 d 维特征空 间， x = (x1 ,L, xd )T 为 d 维向量。 要研究的分类问题有 c 个类别，各类别状态用ωi 表示，i = 1, 2,L, c 对应于各个类别 ωi 出现的先验概率 p(ωi ) 及条件概率密度函数 p(x / ωi ) 是已知的。
)
p
(ω
j
)
=
0.818
p(ω2 / x) = 1 − p(ω1 / x) = 0.182 根据贝叶斯决策规则，有
p(ω1 / x) = 0.818 > p(ω2 / x) = 0.182 所以合理的决策是把 x 归类于正常状态。
以一维情况说明按这种规则进行分类确实使错误率最小 p(e) 为平均错误率
1.3 模式识别的一些基本问题
1)模式类的紧致性 为了能在某个空这个紧致集中的任何一点可以均匀地 过度到同一集中的另外一点，而在过度中的所有各点都仍然属于 这个紧致集即属于同一模式类。此外当紧致集中各点在任意方向 有某些不大的移动（微小的变形）时它仍然属于这个集合。
ω = ω 表示正常 1
ω = ω 表示异常 2
如果已知正常状态的概率 p(ω1 ) ，异常状态的概率 p(ω2 ) ，显然
p(ω1 ) + p(ω2 ) = 1
如果不作细胞特征的仔细观察，只依靠先验概率 p(ω1) ，p(ω2 ) 做决
策，则合理的决策规则为
若
p(ω1 ) > p(ω2 )
则作出ω = ω 的决策 1
如果用集合论中的子集和元素来代表模式类和模式，可以用集合 论中的概念讨论相似关系。
M 中定义一个关系 R 如果对于所有 x ∈ M ， xRx 成立，则称关 系 R 是自返的
如果对于 x, y ∈ M , xRy ⇒ yRx 成立，则称关系 R 是对称的。相似 关系是满足对称和自返关系的。 如果对于 x, y, z ∈ M , xRy, yRz ⇒ xRz 成立，则称关系 R 是传递的。 同时满足自返、对称和传递关系，则称为等价关系。相等就是一 种等价关系。
满足等价关系的集合必定可以划分为若干子集，即 M = U M i 而且 M i I M j = φ (i ≠ j)
i
目前，得到广泛应用的相似性度量是在空间中定义的某种距离。
一输入样本集合Χ，用 D 维空间中的一个点表示某个样本，两 个样本 xk 和 x j 的相似性度量δ (xk , x j ) 满足 （1） 相似性度量应为非负值，δ (xk , x j ) ≥ 0 （2） 样本本身之间相似性度量应为最大 （3） 相似性度量应满足对称性，δ (xk , x j ) = δ (x j , xk ) （4） 在模式满足紧致性条件下，相似性度量应是点间距离的单
率的贝叶斯决策规则
如果
p(ω1 )
则 x ∈ ⎩⎨⎧ωω12
（4）对上式取自然对数，则
若 h(x) = − ln(l(x))
=
−
ln
p(x
/
ω 1
)
+
np( x
/
ω 2
)
>
或
<
ln(
p(ω1 p(ω 2
) ) )
则x
∈
⎩⎨⎧ωω12
例 2.1 假设在某局部地区细胞识别中正常细胞 ω1 和异常细胞 ω2 两类的先验概率分别为
/
x)
=
max
j =1,2
p(ω j
/
x)
则 x ∈ωi
利用贝叶斯公式，可以得到几种最小错误率的贝叶斯决策规则的
等价形式
将贝叶斯公式代入（1）有
（2） 如果
p(x
/ ωi
)
p(ωi
)
=
max
j =1,2
p(x
/ω
j
)
p(ω
j
)
则
x
∈
ω i
（3） 若
l(x) =
p(
x
/
ω 1
)
>或<
p(ω2 )
p(x /ω2 )
类条件概率 p(x / ωi ) i = 1,2 利用贝叶斯公式
p(ω i
/ x)
=
p(x / ωi ) p(ωi )
2
∑
j =1
p(
x
/
ω
j
)
p
(ω
j
)
p(ωi / x) 为后验概率。贝叶斯公式实质上是通过观察 x（即识别细 胞特征的测量）把状态的先验概率 p(ωi ) 转化为后验概率 p(ωi / x)
的信息。 模式识别的作用和目的就是在于面对某一具体的事物时将其正 确归入某一类别。如“4”有不同的写法或字体，但都属于同一 类。 把通过对具体的个别事物进行观测所得到的具有时间和空间分 布的信息称为模式。
1.2 模式识别系统
与此相适应的模式识别系统都由两个过程所组成—即设计与实 现。
设计⇒用一定数量的样本（训练集或学习集）进行分类器的设计。
类条件概率 p(x / ωi ) i = 1,2
p(ω1 / x)
后验概率 p(ωi / x)
基于最小错误率的贝叶斯决策规则为
简写为
如果 p(ω1 / x) > p(ω2 / x) 则把x归类于正常状态ω1 如果 p(ω1 / x) < p(ω2 / x) 则把x归类于异常状态ω2
（1） 如果
p(ωi
紧致集的性质 ① 临界点的数量与总的点数相比很少 ② 集合中任意两个内点可以用光滑线连接，该线上的点也属于 这个集合 ③ 每个内点都有一个足够大的领域，该领域中只包含同一集合 中的点
假如每个模式类都满足紧致性假设，则解决模式识别问题就不会 碰到什么原则上的困难了。但对很多实际问题这个假设是不成立 的。
p
(
x
/
ω 1
)dx
= p(ω2 ) p2 (e) + p(ω1 ) p1 (e)
p(x / ω1 ) p(ω1 )
p(x / ω2 ) p(ω2 )
Χ1
t
Χ2
x
决策规则实际上是对每个 x 都使 p(e / x) 取最小值，即是平均错误
率 p(e) 达到最小。
在多类决策过程中（假设为 c 类），很容易得出相应的最小错误
=
∫−t ∞
p(x
/
ω 2
)
p(ω 2
)dx
+
∫t∞
p(x
/
ω 1
)
p(ω1
)dx
p(e) = p(x ∈ Χ1 ,ω2 ) + p(x ∈ Χ 2 ,ω1 )
=
p(x ∈ Χ1
/ ω2 ) p(ω2 )
+
p(x ∈ Χ2
/
ω 1
)
p(ω1
)
=
p(ω2 )∫Χ1
p(x / ω2 )dx
+
p(ω1 )∫Χ2
p(e
/
x)
=
⎧ ⎨ ⎩
p(ω 2 p(ω1
/ /
x), x),
当p(ω2 / x) > p(ω1 / x) 当p(ω1 / x) > p(ω2 / x)
令 t 为两类的分界面，则特征向量 x 为一维时，t 为 x 轴上的一
点，且
t
将
x
轴分为
2
个区域
Χ 1
∈
(−∞,
t
)
和
Χ
2
∈
(t,
∞)
，则
p(e) = ∫−t ∞ p(ω2 /x) p(x)dx + ∫t∞ p(ω1 /x) p(x)dx
模式识别
参考书 1 模式识别，边肇祺，张学工等 编著，清华大学出版社，北京，2000
第一章 绪论
40 年代计算机
模式识别诞生于 20 世纪 20 年代 ⇒ 60 年代成为一门学科。
50 年代人工智能
模式识别推动人工智能系统的发展，扩大计算机应用的可能性。
1.1 模式识别概念 日常生活中的模式识别：物体、声音、气味等。 模式识别⇒用计算机实现人的模式识别能力。 →研究人脑中的模式识别过程对于提高机器的能力有益。 ←研究机器模式识别的能力对于理解人脑中的过程也有很大帮 助。 模式⇒存在于时间和空间的事物，如果可以区别它们是否相同或 者是否相似，都可称为模式。 模式是指我们从事物获得的信息，它表示为具有时间或空间分布