模式识别复习重点总结
1.什么是模式与模式识别？模式识别的应用领域主要有哪
些？
模式：存在于时间，空间中可观察的事物，具有时间或空间分布的信息；
模式识别：用计算机实现人对各种事物或现象的分析,描述,判断,识别。
模式识别的应用领域：（1）字符识别；（2）医疗诊断；（3）遥感；
(4）指纹识别脸形识别；（5）检测污染分析，大气，水源，环境监测；
（6）自动检测；（7 ）语声识别，机器翻译，电话号码自动查询，侦听，机器故障判断；
（8）军事应用。
2.模式识别系统的基本组成是什么？
（1）信息的获取：是通过传感器，将光或声音等信息转化为电信息；
（2）预处理：包括A\D,二值化，图象的平滑，变换，增强，恢复，滤波等, 主要指图象处理；
（3）特征抽取和选择：在测量空间的原始数据通过变换获得在特征空间最能反映分类本质的特征；
（4）分类器设计：分类器设计的主要功能是通过训练确定
判决规则，使按此类判决规则分类时，错误率最低。
把这些判决规则建成标准库；
（5）分类决策：在特征空间中对被识别对象进行分类。
3.模式识别的基本问题有哪些？
（1）模式(样本)表示方法：（a）向量表示；（b）矩阵表示；（c）几何表示；（4）基元(链码)表示；
（2）模式类的紧致性：模式识别的要求:满足紧致集，才能很好地分类；如果不满足紧致集，就要采取变换的方法,满足紧致集
（3）相似与分类；(a)两个样本，之间的相似度量满足以下要求：
①应为非负值
②样本本身相似性度量应最大
③度量应满足对称性
④在满足紧致性的条件下，相似性应该是点间距离的
单调函数
(b) 用各种距离表示相似性
（4）特征的生成:特征包括：(a)低层特征;(b)中层特征;(c)高层特征
（5）数据的标准化:(a)极差标准化；(b)方差标准化
4．线性判别方法
（1）两类：二维与多维判别函数，判别边界，判别规则 二
维
情
况
：（a ）判别函数：
( )
（b ）判别边界：g(x)=0;
（c
n 维情况：（a ）判别函数： 也可表示为：
（b ）判别边界：g 1(x ) 0
（c ）判别规则：
（2）多类：3种判别方法（函数、边界、规则） (A)第一种情况：(a)判别函数：M 类可有M 个判别函数
32211)(w x w x w x g ++=为坐标向量
为参数，21,x x w 1
2211......)(+++++=n n n w x w x w x w x g X
W x g T =)(为增值模式向量。
，＝为增值权向量，T n n T n n x x x x X w w w w W )1,...,,(),,...,,(21121+=+权向量。
个判别函数的为第式中i w w w w W T in in i i i ),,,...,,(121+=
(b) 判别边界：ωi （1,2,…）类与其它类之间的边界由 (x )=0确定
(B)第二种情况：(a)判别函数：有 M (M _ 1)/2个判别平面
(b) 判别边界： (c) 判别规则：
(C)第三种情况：(a)判别函数：
(b) 判别边界： (x ) (x ) 或(x ) (x ) =0 (c) 判别规则：
X
W x g T
ij ij =)(0
)(=x g ij j
i x g ij ≠???∈→<∈→>j
i
x 0x 0)(ωω
当当X
W x g K k =)(??
?∈=小，其它
最大，当i
T k i x X W x g ω)(
5．什么是模式空间与加权空间，解向量与解区？ （1）模式空间：由 构成的n 维欧氏空间； （2）加权空间：以 为变量构成的欧氏空间； （3）解向量：分界面为H ，W 与H 正交，W 称为解向量； （4）解区：解向量的变动范围称为解区。
6．超平面的四个基本性质是什么？
性质①：W 与H 正交； 性质 ②：
W
)
x (g r =
其中， 为x 矢量到H 的正交投影； 性质③：
性质④：
7．二分法能力如何表示？
N 个样品线性可分数目(条件：样本分布良好）：
T
n
x x x x X ),...,,(3
2
1
=121,...,,+n w w w r
成正比
的距离与原点到11
,++=
n n W H W
W q 通过原点。
，说明超平面则若在原点负侧。则在原点正侧，若则若H x W x g W H W H W T n n n ==<>+++)(,0,0,0111???
??+>+<=∑=-n k k
N N n N C n N n N D 0
11,21
,2),(若若
线性可分概率:
8．广义线性判别方法
为特征数
为样本数其中n N k N k N C k
N ,,]
)!1(![)!
1(1---=
-强。
说明样本少时二分能力范围，即在。
时，线性可分概率为时，即值，对于任意。处出现明显的门限效应时，曲线急剧下降，在
由当,1),(),1(22:)(21),()1(22:)(21:)(≈+<<=+===∞→n N P n N c n N P n N n b n a λλλ.
2),1(2:)(,),1(22:)(0是最好情况即二分能力）的估计：个样本的线性可分性（对多线性可分能力越差。
说明样品越线性可分概率急剧下降范围，即在=+=+>>λλn N N e n N d
（1）非线性→线性
一个非线性判别函数通过映射，变换成线性判别函数：
（2）线性判别
9．分段线性判别方法
1）基于距离:（1）子类，类判别函数 （2）判别规则
（1）子类：把ωi 类可以分成个子类: ∴ 分成l 个子类。
)
(,)(...)()()(,...)
()()(212111
增广模式向量。广义权向量其中：空间
变换空间?
?
???
?
??????=????????????==??????→?=→→+=∑x f x f x f Y w w w W Y g Y W x f w x g k k T y x k i i i 0
=Y W T 判别平面：??
?
∈<∈>=2
1
,0,0)(ωωx x Y g Y W T )
,...,,(21l i i i i ωωωω=
子类判别函数：
在同类的子类中找最近的均值 （2）判别规则：
这是在M 类中找最近均值。则把x 归于ωj 类完成分类
2）基于函数：（1）子类，类判别函数 （2）判别规则
（1）子类类判别函数：对每个子类定义一个线性判别函数为：
（2）判别规则：在各子类中找最大的判别函数作为此类的代表，则对于M 类，可定义M 个判别函数(x )1,2,…,因此，决策规则
3）基于凹函数的并：（1）析取范式，合取范式，凹函数
（2） 判别规则
（1）
析取范式：(L 11∧L 12
∧…∧L 1m )∨…∨(1∧2∧…∧)
l
i l
l i x x g μ-==,...,2,1m in )(M
i x g x g i j ,...,2,1),(min )(==子类的权向量。
为其中l i l i l i l i w x w x g ω,)(=j
i M
i j x x g x g ω∈==则),(max )(,.....,2,1
合取范式： (L 11 ∨ L 12 ∨ … ∨ L 1m ) ∧ … ∧(1
∨ 2 ∨ … ∨ )
凹函数：1∧2∧…∧ （2）
判别规则：设第一类
有q 个峰，则有q 个凹函数。 即1∨P 2∨……∨
10．非线性判别方法 （1）1ω集中，2ω分散
??
?
=∈<=∈>=。每个子类的判别函数数
子类。m j x q i x x w L ij ij ,...,2,1,,0,...,2,1,,021ωω??
?∈≤∈>2
1,0,0ωωx P x P 则则判别规则：协方差
为均值，为其中：大小。
的大小，决定超平面的判别函数定义1111111121,)()()(:ωωμμμω∑∑---=-k x x k x g T 控制大小
是个超球面由判别平面：判别规则：
k 0)(,0)(,0)(12
1=??
?∈<∈>x g x x g x x g ωω
（2）1ω, 2ω均集中
11．分类器的设计
（1）梯度下降法（迭代法）：准则函数，学习规则 （a ）准则函数：J(W)≈J()+ ▽( )+( )( )2
其中D 为当W = 时 J(W)的二阶偏导数矩
阵
（b ）学习规则：从起始值W 1开始，算出W 1处目标函数的
协方差，为均值，，为其中：，两个判别函数：都比较集中，那么定义，如果212112212
,1)()
()(ωωωωμμμωω∑∑
=---=-i i i i
T i i i i x x k x g 。
可用来调整二类错误率判别规则：判别平面方程：2121
2221212211111221111211221,,0,0)(0
)()()(2)()
()()(k k x x x g k k x x x x g x g x g T T T T ??
?∈<∈>=-+--
-+--=-=∑∑∑∑∑∑-
-----ωωμμμμμμ
梯度矢量▽J(W 1)，则下一步的w 值为：W 2 = W 1-ρ1▽J(W 1) 其中W 1为起始权向量， ρ1为迭代步长，J(W 1) 为目标函数，▽J(W 1)为W 1处的目标函数的梯度矢量 在第K 步的时候
1
= ρk ▽J() 最佳步长为ρ▽2/▽▽J
这就是梯度下降法的迭代公式。
（2）感知器法：准则、学习规则（批量，样本） （a ）准则函数： 其中x 0为错分样本
（b ）学习规则：
1.错误分类修正
如≤0并且x ∈ω1 1= ρ
如≥0并且x ∈ω2 1= ρ
2.正确分类 ，不修正 如＞0并且x ∈ω1 如＜0并且x ∈ω2 1=
（3）最小平方误差准则法（法）（非迭代法）：准则、权向量解
()∑
∈-=
)(X X X W
W J T
(a)准则函数：
(b)权向量解：
（4）韦—霍氏法（法）（迭代法）：准则，学习规则
(a)准则函数：
(b)学习规则： W 1任意 ，1ρk ()
ρk 随迭代次数k 而减少，以保证算法收敛于
满意的W 值
（5）何—卡氏法（法）（迭代法）：准则，b ，W 的学习规则 (a)准则：
它的解为：
（b ）b ，W 的学习规则：
()
∑
-==-==N
i b i
X i W
T
b XW e W J 12
22||||||||)(()
b
X b X X X T W T +
-==1
()
的伪逆（规范矩阵）
称为其中X X X X T X T
=-+1
()
∑
-==-==N i b i
X i W
T
b XW e W J 1
2
22||||||||)(k
1
K ρρ=
取(
)
∑-==-==N
i b i
X i
W T
b XW e W J 1
2
2
2
||||||||)((
)
b
X b X X
X T W T +-==
1
k
k k b b b b δ+=+1前后两次迭代后，对的增量
为其中b b k δ|]
|[k k k e e C b +=δ
其中 c 为矫正系数，为误差矢量， 初始条件 W 11并且b 1>0 迭代时检测
如果≥0时， >b ，系统线性可分，迭代收敛 如果<0时，
（6）分类法：准则函数的建立，W 权值计算，0W 的选择
(a)准则函数的建立：投影样本之间的类间分离性越大越好，投影样本的总离散度越小越好。 即可表示为：
其中为类内散布矩阵, 为类间散布矩阵
(b)W 权值计算：
(c)W 0的选择 ： ]|[][|11k K k k K k K K k e e X c W b X b X b b X b X W ++=+=+==+
++++++δδ()
2212212
||)(σσ+-=
Y Y W J Fisher 准则函数有所以W
S W W
S W )(w T
b T
=W J ()
X X S W W J w 211
)(-=-求极值得对2
.12
1
0Y Y
W +=12
w S S S =+()
(
)
11
1
1
T
S X X X X X N =
-∈-∑()
(
)
22
2
2
T
S X X X X X N =
-∈-∑()(
)
1212
T
b X X X X S =--
表示第i 类中第k 个样本的投影值
N 1为ω1样本数 N 2为ω2样本数 （7）电位函数分类器：电位函数，累积电位的计算
(a)电位函数：电位分布函数有如下三种形式：
α为系数 为某一特定点
(b)累计电位的计算： 1(x)= (x)1K()
2
121212102
122.2N N X W N X W N N N Y N Y N W T T ++=
++=()
()()
∑∑∑===-+---+=N Y Y N Y Y N Y Y Y Y Y W k k k k k k 2
2
1
1
1
1
1211
22
1
12
1
12
0)
(.3}
||||ex p{- )K( 1.2k k x x XX -=α||||11
)K( 2.2
k k x x XX -+=α|||
||||||sin |)K( 3.2
2
k k k x x x x XX --=αα
其中： 1∈ω1并且(1)>0时 1= 0 1∈ω1并且(1) ≤ 0时 1= 1 1∈ω2并且(1)<0时 1= 0 1∈ω2并且(1) ≥ 0时 1= -1
12．1）二类问题的贝叶斯判别
（1）判别函数的四种形式 （2）决策规则 （3）决策面方程 （4）决策系统的结构
（1）判别函数的四种形式：
（2）判别规则：
)
(,)
()
(ln )()(ln
)()()
(,)
()
()()()()()(),()()()()()()(),()()()(12211221221121取对数方法似然比形式类条件概率密度后验概率ωωωωωωωωωωωωωωP P x P x P x g D P P x P x P x g C P x P P x P x g B x P x P x g A -=-=
-=-=21
12212
1122121
221121
21
)
()
(ln )()(ln
)()()
()
()()
()
()()()()()()()()(ωωωωωωωωωωωωωωωωωωωωω∈?<>=∈
?<
>∈?<
>
∈?<
>
x P P x P x P x g D x P P x P x P C x P x P P x P B x x P x P A
（3）决策面方程：g （x ）=0 （4）决策系统的结构
（A ）向量特征（B ）判别计算（C ）阈值单元（D ）决策
2）多类问题的贝叶斯判别 （1）判别函数的四种形式 （2）决策规则 （3）决策面方程 （4）决策系统的结构
（1）判别函数的四种形式：M 类有M 个判别函数g 1(x ), g 2(x ),…, (x ).
)
(,)
()
(ln )()(ln
)()()
(,)
()
()()()()()(),()()()()()()
(),()()()(12211221221121取对数方法似然比形式类条件概率密度后验概率ωωωωωωωωωωωωωP P x P x P x g D P P x P x P x g C P x P P x P x g B x P x P x g A -=-=
-=-=
（2）决策规则：
另一种形式：
（3）决策面方程：
（4）决策系统的结构：
(a)特征向量；(b)判别计算；(c)最大选择器；(d)决策
)
,...,2,1(,)()(max )
()()(1M i x P x P P x P x g i j j M
j i i i =∈?==≤≤ωωωωω{}i
i j M
j i i i x P x P P x P x g ωωωω∈?+=+=≤≤)(ln )(ln max )
(ln )(ln )(10
)()(),()(=-=x g x g x g x g j i j i 即
13．三种最小错误率贝叶斯分类器（正态分布）：判别函数，判别规则，决策面方程
（1）第一种情况：各个特征统计独立，且同方差情况。(最简单情况)
(a)判别函数：
(b)判别规则：
(c)决策面方程：
（2）第二种情况：Σi ＝ Σ相等，即各类协方差相等。
)
(ln 21
,21
)(,)(2
02
0i i T i i i i i T
i i P w w w x w x g ωμμδ
μδ
+-
==
+=其中：线性判别函数{}i
j T
j M
w i T i i x w x w w x w x g ω∈?+=+=≤≤010max )(())()(ln
)(21
0)(0
)()(200j i j
i j i j i j
i j i P P x W x x W x g x g ωωμμμμδμμμμ---+=-==-=-其中
(a)判别函数：
(b)判别规则：
(c)决策面方程：
（3）第三种情况(一般情况)：Σ?为任意，各类协方差矩阵不等，二次项 Σ? x 与i 有关。所以判别函数为二次型函数。
(a)判别函数：
(b)判别规则： )
(ln 2
1
,)(1010i i T i i i
i i T
i i P w W w x W x g ωμμμ+-==+=∑∑--其中（线性函数）
{}i j T j M
j i T
i i x w x W w x W x g ω∈?+=+=≤≤010m ax )(0)()(=-∴x g x g j i j i 相邻与若ωω)
()()()
()
(ln
)(21
)(,0)(1010j i T j i j i j i j i j i T P P x W x x W μμμμμμωωμμμμ----
-=-==-∴∑∑--。其中)
(ln ln 21
21)()(,21,)(1011
0i i i i T i i i i i i i i T i i T i P w n W n n W w x W x W x x g ωμμμ+--==?-
=++=∑∑∑∑---，维列向量矩阵其中{
}
i
j T j j T M
j i T i i T i
x w x W x W x w x W x W x x g ω∈?++=++=
≤≤010
max )(
(c)决策面方程：
14．最小风险贝叶斯分类器：判别函数，判别规则 （1）判别函数： 条件风险：
αi ：表示把模式x 判决为ωi 类的一次动作
期望风险：
（2）判别规则： ：
15．聂曼—皮尔逊判决：（二类）：准则，判别规则，阈值的确定
（1）准则： （2）判别规则：
)()(=-x g x g j i ()()[]
()())
.(,...,2,1,1
M a a i x P E x R j M
j j i j i i <===∑=ωαλωαλα()()k i M i k x x R x R ω
αα∈==则若,min ,...,2,1()()())
(,平均风险dx x P x x R R ?=α最小，
使为常数时在取1022,,εεεε=