特征选择和特征提取

在这个例子里，用LLE 进行降维成功的体现了数 据内在的局部分布结构，而用PCA 映射则会将高维空 间里的远点映射到低维空间后变成了近邻点。
四、特征的选择
特征选择:=从原始特征中挑选出一些最有代表性、 分类性能最好的特征进行分类。
从－D典个型特的征组中合选优取化d个问,共题CdCD种Dd 组合。 特征选择的方法大体可分两大类：
u2
x2
u1 x1
主成分是这个椭圆的「长轴」方 向。短轴的方向和长轴垂直，是 「第二个」主成分的方向。变换 后的各分量，它们所包括的信息 量不同，呈逐渐减少趋势。事实 上，第一主分量集中了最大的信 息量，常常占80％以上。第二、 三主分量的信息量依次很快递减， 到了第n分量，信息几乎为零。
从几何意义来看，变换后的主分量空间坐标系与变
➢ 等距映射(Isomap).
J.B. Tenenbaum, V. de Silva, and J. C. Langford. A global geometric framework for nonlinear dimensionality reduction. Science, vol. 290, pp. 2319--2323, 2000.
• LDA的思想: 寻找最能把两类样本分开的投影直线. • LDA的目标: 使投影后两类样本的均值之差与投影
样本的总类散布的比值最大 . • LDA的求解: 经过推导把原问题转化为关于样本集
总类内散布矩阵和总类间散布矩阵的广义特征值 问题.
Best projection direction for classification
y
2 j


E


uTj
xxT
u
j

jd 1
jd 1

因为uj是确定性向量，所以有



uTj E xxT u j
uTj Ru j
j d 1
j d 1
R rij E( xi x j ) E xxT
求解最小均方误差正交基
2 1
求其特征向量。
Q 1 1

2 2
2
1
2 v1 0 v1 1
Q 2 3

2

2
2
1
2 v2 0 v2 1
K-L变换
特征 提取
• 离散K-L变换：对向量x用标准正交向量系uj进行线 性变换，得到新的向量Y. 经过K－L变换组合，输出
例：A

1 2
2 1
1 2 1 2 4 0
向量vk , Avk kvk ,则vk称为A的特征向量。
求特征向量的方法是解线性方程组
A k V 0
例：A

1 2

主成分分析 ( PCA )
➢主分量分析（Primary Component Analysis, PCA）就 是基于K-L变换的提取图像特征的一种最优正交线性变 换，可以有效去掉一个随机向量中各元素间的相关性。
➢PCA的目的：寻找能够表示采样数据的最好的投影子 空间.
➢ PCA的求解：特征向量常被叫做“主分量”，每个样 本被它在前几个主分量上的投影近似表示，U张成的空 间称为原空间的子空间，PCA实际上就是在子空间上的 投影.
K-L变换：当取矩阵R的d个最大特征值对应的特征向量来展 开x时，其截断均方误差最小。这d个特征向量组成的正交 坐标系称作x所在的D维空间的d维K-L变换坐标系， x在K-L 坐标系上的展开系数向量y称作x的K-L变换
K-L变换的表示
特征 提取
K-L变换的向量展开表示：
d
x
y ju j
模式识别原理与应用
专 业： 模式识别与智能系统 学生姓名： *** 任课教师： 余老师
一、基本概念
引言
特征的选择与提取是模式识别中重要而困 难的一个环节：
➢分析各种特征的有效性并选出最有代表性的特 征是模式识别的关键一步。
➢降低特征维数在很多情况下是有效设计分类器 的重要课题。
特征的形成
引言
换前的空间坐标系相比旋转了一个角度。而且新坐标系的 坐标轴一定指向数据信息量较大的方向。以二维空间为例， 假定某样本的分布呈椭圆状，那么经过旋转后，新坐标系 的坐标轴一定分别指向椭圆的长半轴和短半轴方向——主 分量方向，因为长半轴这一方向的信息量最大。
Principal component
PCA对于椭球状分布的样本集有很好的效果, 学习所 得的主方向就是椭球的主轴方向.
特征形成 (acquisition)： ➢信号获取或测量→原始测量 ➢原始特征
实例： ➢数字图象中的各像素灰度值 ➢人体的各种生理指标
原始特征分析： ➢原始测量很大程度上不能反映对象本质
➢高维原始特征不利于分类器设计：计算量大， 冗余，样本分布十分稀疏。
二、特征的选择与提取
两类提取有效信息、压缩特征空间的方法： 特征提取和特征选择
j 1
y j uTj x
K-L变换的矩阵表示：
x [u1, u2 ,..., ud ]y Uy
y UT x
K-L变换的性质
特征 提取
y的相关矩阵是对角矩阵：
E yi y j E uTi xxT u j uTi E xxT u j
uTi Ru j uTi ju j iij
人脸图像所包含的模式特征十分丰富,它不仅包括一些能直观感觉到的特征，如肤色、 发色等颜色特征，脸的轮廓等轮廓特征，用到的更多的是不能感觉，只能通过变换等处理 之后才表现出来的特征，如特征脸、小波特征等变换域特征，均值、方差等模板特征。
直方图特征 （分布、距离等）
颜色特征 （肤色、发色等）
轮廓特征 （椭圆轮廓等）
PCA 是一种非监督的算法, 能找到很好地代表所有样 本的方向, 但这个方向对于分类未必是最有利的
人脸特征表述
人脸识别就是将已检测到的待识别人脸与数据库中的已知人脸进行比较匹配， 得出相关信息，来鉴别该人是谁。这一过程的核心是选择恰当的人脸表征方式与 匹配策略，即选择合适的人脸模式的特征，根据所提取的特征进行匹配。
– 特征值
对于一个N N的矩阵A，有N个标量k，k 1，L N，满足 A k I 0 k 称为矩阵的一组特征值。
如果给定的矩阵是奇异的，那么N个特征值中至
少有一个为0。
矩阵的秩
定义为矩阵非零特征值的个数。
矩阵的条件数 定义为最大特征值与最小特征值
的比值的绝对值。
病态矩阵
条件数很大。
三、特征提取与K-L变换
特征提取：用映射（或变换）的方法把原始 特征变换为较少的新特征
PCA (Principle Component Analysis)方法： 进行特征降维变换，不能完全地表示原有的 对象，能量总会有损失。希望找到一种能量 最为集中的的变换方法使损失最小。
K-L (Karhunen-Loeve)变换：最优正交线性变 换，相应的特征提取方法被称为PCA方法
E yyT E U T xxTU U T RU Λ
K-L变换的性质
特征 提取
K-L坐标系把矩阵R对角化，即通过K-L变 换消除原有向量x的各分量间的相关性，
从而有可能去掉那些带有较少信息的分 量以达到降低特征维数的目的
1
Λ
2

O

0
0



d
细胞自动识别：
➢原始测量：（正常与异常）细胞的数字图像 ➢原始特征（特征的形成，找到一组代表细胞性质
的特征）：细胞面积，胞核面积，形状系数，光 密度，核内纹理，核浆比
➢压缩特征：原始特征的维数仍很高，需压缩以便 于分类
• 特征选择：挑选最有分类信息的特征 • 特征提取：数学变换
– 傅立叶变换或小波变换 – 用PCA方法作特征压缩
称为特征脸空间。
特征值与特征图像 ORL 20人×10幅
特征脸空间
特征值
特征提取－LDA
• 线性判别分析：LinearDiscriminantAnalysis (LDA) Fisher(1936)
• ������ 在线性判别函数一章，我们讲过Fisher线性判 别函数。它的思想是，找一个方向作投影，使得 投影后的数据类间距尽可能大，类内距尽可能小。 这实际上是两类数据的特征提取，提取的特征数 是１。这一思想可以推广到任意类数据，提取任 意多个特征。
形式，得到M个维向量 1, 2 , M
② 均值
1 M
M
n
n1
差值
③图像集的协方差矩阵 C
n n n
1 M
M

n

T n
n 1

AAT
特征值 i (i , 1,2, , M ) 特征向量 ui (i 1,2, , M )
④可以从以上求得的M个特征向量中取出对构造图像影响最大的m个， 这样就可以构造了一个原始图像空间的m维子空间，这个m维子空间
➢ 拉普拉斯特征映射(Laplacian Eigenmap).
M. Belkin, P. Niyogi, Laplacian Eigenmaps for Dimensionality Reduction and Data Representation. Neural Computation, Vol. 15, Issue 6, pp. 1373 –1396, 2003 .
Y的各分量之间将具有最小的相关性.
L:x y

x
y ju j
j 1
y j uTj x
离散K-L变换的均方误差
特征 提取
用有限项估计x ：