模式识别中Genetic Algorithm8_第八章1
第八章
特征的提取与选择
1
特征的提取
概念：特征提取，特征选择。
2
3
特征的提取
特征对分类器性能的影响举例：
1. 玉米与杂草：高度、粗、化学物质。
2. 长桌与方凳：长，宽，高，颜色，质地。
3. 对人的识别。
4
特征的提取
特征对分类器性能的影响
5
特征的提取
特征对分类器性能的影响
6
特征越多越好吗？
特征的提取
特征的提取
什么特征具有分类价值？
什么特征容易提取？
笔画的多少。
像素的多少。
7
特征的提取
什么特征具有分类价值？
什么特征有好的稳定性？
人脸的几何信息稳定吗？
指纹的端点和分叉点？
8
9
什么特征具有分类价值？获取什么特征代价比较小？人脸？指纹？DNA?
特征的提取
10
提取特征的方法
各种数据处理的理论和技术 信号处理，图象处理
生物医学信号处理，雷达信号处理，生物图象处理
特征的提取
特征的提取－图象处理
11特征的提取－图象处理
12
特征的提取－图象处理
13特征的提取－图象处理
14
特征的提取－图象处理
15特征的提取－图象处理
16
特征的提取－图象处理
17特征的提取－图象处理
18
特征的提取－图象处理
19特征的提取－图象处理
20
特征的提取－图象处理
21特征的提取－图象处理
22
特征的提取－图象处理
23
特征的提取
对差异性机理的研究
对专家的依赖性
24
25
类别可分离性判据
（1）与错误率有单调关系（2）特征独立时
（3）（4）
)
(),,,(1
21∑==d
k k ij d ij x J x x x J L 时
当j i J ij ≠>,
0时
当j i J ij ==,
0ji
ij J J =)
,,,,(),,,(12121+≤d d ij d ij x x x x J x x x J L L 26
1、类内类间距:类间距离尽可能大。
欧氏距离：
∑∑∑∑=====c i c
j n k n l j l i k j
i j
i d i
j
x x n n P P x J 1111)()(),(1
21)(δ)
~
~()(b w d S S tr x J +=
27
∑=??=c
i T
i i i b m m m m P S 1
))((~
∑∑==??=c
i n k T
i i k
i i k
i i
w i
m x
m x
n P S 1
1
)()
()
)((1~
∑==
i
n i i k i
i x n m 1
)(1∑==c
i i
i m P m 1
28
2、基于概率分布的可分性判据a.
b.两类完全可分时，最大
c.两类完全不可分时，
≥p J )(p J 0
)(=p J
29
∫?=dx
x p x p J B 2121)]|()|([ln ωω∫∫?
?
+=dx
x p P dx x p P e P )|()()|()()(2211ωωωω∫∞
∞
?=dx
x p P x p P )}|()(),|()(min{2211ωωωωdx
x p x p P P ∫∞
∞
?≤212121)}|()|()()({ωωωω30
dx
x p x p P P ∫
∞
∞
?=21212
121)}|()|({)]
()([ωωωω}
exp{)]()([2121B J P P ?=ωω∫??=dx
x p
x p J s
s C )|()|(ln 211ωω
31
散度：
正态分布且时，
∫?=X j i j i D dx x p x p x p x p J )
|()
|(ln
)]|()|([ωωωωΣ=Σ=Σj i
M
j i T j i D B J J J =??==∑?)()(81μμμμ112121221()
(,)()log
()
(,)(,)
D f x D f f f x dx f x J D f f D f f ==+∫32
特征提取
1、欧氏距离判据：
)
()(1b w S S tr x J +=)
(1
2b w S S tr J ?=]
ln[3w
b S S J =w b
trS trS J =4w
b
w S S S J +=
5
33
问题：求使
的判据最大，求的特征值有：
选前d 个特征值对应的特征向量
w y W x T
=),,(52J J L b w S S 1
?D λλλ,,,21L D
λλλ≥≥≥L 21]
,,,[21d u u u W L =34
各种距离度量
1、s 阶Minkowski 度量
s =1时，
s
s
d
j lj kj l k M x x x x /11
][),(∑=?=δ∑=?=d
j lj
kj l k c x x x x 1
),(δ
35
各种距离度量
2、欧氏距离度量（s =2时）：
s
s
d
j lj kj l k M x x x x /11
][),(∑=?=δ2
/11
2]
)([),(∑=?=d
j lj kj l k E x x x x δ36
各种距离度量
3、Chebychev 距离
4、平方距离：Q 正定标尺矩阵
lj
kj j
l k T x x x x ?=max ),(δ)
()(),(l k T l k l k Q x x Q x x x x ??=δ
问题2
几种距离度量之间的关系?
37
问题2
几种距离度量之间的关系?
38
各种距离度量
其他距离度量？
39 Tangent distance in visual patterns Patrice Y. Simard, Yann A. Le Cun, John S. Denker, Bernard Victorri, “Transformation Invariance in Pattern Recognition --Tangent Distance and Tangent Propagation”. In Neural Networks: Tricks of the Trade, G.
B. Orr and K-R Muller (Eds), Chapter 12, Springer, 1998.
40