第八章 特征的选择与提取

特征的选择与提取
两类提取有效信息、压缩特征空间的方法：特征提取 和特征选择 特征提取 (extraction)：用映射（或变换）的方法把原 始特征变换为较少的新特征 特征选择(selection) ：从原始特征中挑选出一些最有 代表性，分类性能最好的特征 特征的选择与提取与具体问题有很大关系，目前没有 理论能给出对任何问题都有效的特征选择与提取方法
Sb = ∑ P(mi − m)(mi − m) i
i =1 c
c
T
S w = ∑ PEi [(mi − m)(mi − m)T ] i
i =1
其中， 为总均值向量， 其中， m 为总均值向量，Pi表示各类别的先验 概率， 表示i类的期望符号 类的期望符号。 概率，Ei表示 类的期望符号。
基于距离的可分性判据
8.2 类别可分性判据
理想准则： 理想准则： 与错误率有单调关系， ◆与错误率有单调关系，使判据取最大值的效果使分类器 错误概率最小。 错误概率最小。
◆当特征独立时有可加性 ◆度量特性：J ij > 0,当i ≠ 度量特性：
j时
J ij ( x1 , x2 ,..., xd ) = ∑ J ij ( xk )
8.1 基本概念
本章要讨论的问题是对已有的特征空间进行改 本章要讨论的问题是对已有的特征空间进行改 着重于研究对样本究竟用什么样的度量方 造，着重于研究对样本究竟用什么样的度量方 更好。 法更好。 对分类器设计来说， 对分类器设计来说，使用什么样的特征描述事 物，也就是说使用什么样的特征空间是个很重 要的问题。这个问题称之为描述量的选择问题， 选择问题 要的问题。这个问题称之为描述量的选择问题， 即保留哪些描述量，删除哪些描述量的问题。 即保留哪些描述量，删除哪些描述量的问题。 由于对特征空间进行改造目的在于提高其某方 面的性能，因此又称特征的优化问题 特征的优化问题。 面的性能，因此又称特征的优化问题。
计算所有样本平均距离作为判据 J d ( x ) = tr( S w + Sb ) 其中“ 表示矩阵的迹 对角线元素的和）。 表示矩阵的迹（ 其中“tr”表示矩阵的迹（对角线元素的和）。 各类特征向量之间的平均距离可写成： 各类特征向量之间的平均距离可写成： 可写成
特征选择 从一组特征中挑选出一些最有效的特征以达到 降低特征空间维数的目的，这个过程叫特征选 择。就是从原始特征中挑选出一些最有代表性的特征来
。 假设已有D维特征向量空间 假设已有 维特征向量空间 ，则所谓特 征选择是指从原有的 维特征空间，删去一些特征描述量， 是指从原有的D维特征空间 征选择是指从原有的 维特征空间，删去一些特征描述量， 从而得到精简后的特征空间。在这个特征空间中，样本由d 从而得到精简后的特征空间。在这个特征空间中，样本由 维的特征向量描述： 维的特征向量描述： ，d＜D。由于 只 ＜ 。由于X只 的一个子集， 是Y的一个子集，因此每个分量 i必然能在原特征集中找到 的一个子集 因此每个分量x 其对应的描述量x 其对应的描述量 i＝yj。
基于距离的可分性判据
Fisher准则时曾用过两个描述离散度的矩阵。一个 准则时曾用过两个描述离散度的矩阵。 准则时曾用过两个描述离散度的矩阵 是类间离散矩阵S 是类间离散矩阵 b
Sb = (m1 - m2 )(m1 - m2 )T
另一个是类内离散度矩阵S 另一个是类内离散度矩阵 W
Si =
x∈ X i
特征选择：挑选最有分类信息的特征 特征提取：数学变换
傅立叶变换或小波变换 用PCA方法作特征压缩
思考： 思考：
设原特征空间表示成 现在在x空间基础上得到一个二维的特征空 间 其中若 ，属特征选择还是组合优 化？ 若 ，属特征选择还是组合优化？
8.2 类别可分性判据
特征选择与特征提取的任务是求出一组对分类最 特征选择与特征提取的任务是求出一组对分类最 求出一组 有效的特征，所谓有效是指在特征维数减少到同 有效的特征，所谓有效是指在特征维数减少到同 等水平时，其分类性能最佳。 等水平时，其分类性能最佳。 因此需要有定量分析比较的方法， 因此需要有定量分析比较的方法，判断所得到的 特征维数及所使用特征是否对分类最有利， 特征维数及所使用特征是否对分类最有利，这种 用以定量检验分类性能的准则称为类别可分离性 用以定量检验分类性能的准则称为类别可分离性 判据。 判据。
8.1 基本概念
Ø
核心：如何构造一个特征空间， 核心：如何构造一个特征空间，即对要识别的事 物用什么方法进行描述、分析的问题。 物用什么方法进行描述、分析的问题。 对一个具体问题来说，有以下几个不同的层次： 对一个具体问题来说，有以下几个不同的层次： 1．物理量的获取与转换。 ．物理量的获取与转换。 指用什么样的传感器获取电信号， 指用什么样的传感器获取电信号，如摄取景物 则要用摄像机， 则要用摄像机，文字与数字识别首先要用扫描 仪等设备。这些都属于物理量的获取， 仪等设备。这些都属于物理量的获取，并且已 转换成电信号，为计算机分析打下了基础。 转换成电信号，为计算机分析打下了基础。 对从传感器中得到的信号，可以称之为原始信 对从传感器中得到的信号，可以称之为原始信 因为它要经过加工、 息，因为它要经过加工、处理才能得到对模式 分类更加有用的信号。 分类更加有用的信号。
8.1 基本概念
•特征提取： 原始特征通过映射（或变换）的方法可以用低 维空间来表示样本，这个过程叫特征提取。也可以说用映射 的方法把原始特征变换为较少的新特征
◆映射后的特征叫二次特征，它们是原始特征的某 种组合（通常是线性组合） ◆广义上也是一种变换。即Y是测试空间。X是特征 空间，特征提取则是找到一个映射关系：A:Y→X；使 新样本特征描述维数比原维数降低。其中每个分量xi 是原特征向量各分量的函数，即 则变换A：Y→X
8.1 基本概念
3．特征空间的优化 ． 本层次工作发生在已有了特征的描述方法之后， 本层次工作发生在已有了特征的描述方法之后， 也就是已有了一个初始的特征空间 如何对它进 初始的特征空间， 也就是已有了一个初始的特征空间，如何对它进 行改造与优化的问题 的问题。 行改造与优化的问题。 要对初始的特征空间进行优化是为了降维。即初 要对初始的特征空间进行优化是为了降维 降维。 始的特征空间维数较高。 始的特征空间维数较高。能否改成一个维数较低 的空间，称为优化， 的空间，称为优化，优化后的特征空间应该更有 利于后续的分类计算， 利于后续的分类计算，这就是本章着重讨论的问 题。
模式识别
第八章特征的选择与提取(1) 第八章特征的选择与提取
模式识别系统： 模式识别系统：
8.1 基本概念
前几章主要讨论模式识别的重要概念， 前几章主要讨论模式识别的重要概念，如贝叶 斯分类器、线性分类器等 斯分类器、线性分类器等。在讨论这些设计分 类器的方法时，提到有一个样本集 一个样本集， 类器的方法时，提到有一个样本集，样本集中 已经确定的向量来描述 的样本用一个已经确定的向量来描述。 的样本用一个已经确定的向量来描述。 尺寸、 例：对苹果与梨分类 尺寸、重量和颜色三 种度量。 种度量。 即对要分类的样本怎样描述这个问题是已经确 定的。 定的。在这种条件下研究分类器设计问题是一 个选择什么准则、使用什么方法，将已确定的 选择什么准则、使用什么方法， d维特征空间划分成决策域的问题 。
8.1 基本概念
设计对事物的描述方法是充分发挥设计者智慧的过程， 设计对事物的描述方法是充分发挥设计者智慧的过程， 这个层次的工作往往因事物而易， 这个层次的工作往往因事物而易，与设计者本人的知识结 构也有关。 构也有关。 这个层次的工作是最关键的，但因为太缺乏共性， 这个层次的工作是最关键的，但因为太缺乏共性，也不 是本章讨论的内容。 是本章讨论的内容。
8.1 基本概念
对特征空间进行优化有两种基本方法： 对特征空间进行优化有两种基本方法：
特征选择：删掉部分特征； 特征选择：删掉部分特征； 特征的组合优化：要通过一种映射， 特征的组合优化：要通过一种映射，也就是说新的 每一个特征是原有特征的一个函数。 每一个特征是原有特征离的可分性判据：计算样本在特征空间离散程度 基于距离的可分性判据：
基于距离的可分性判据
基于距离度量是人们常用来进行分类的重要依据， 基于距离度量是人们常用来进行分类的重要依据，因为一 般情况下同类物体在特征空间呈聚类状态， 般情况下同类物体在特征空间呈聚类状态，即从总体上说 同类物体内各样本由于具有共性， 同类物体内各样本由于具有共性，因此类内样本间距离应 比跨类样本间距离小。 比跨类样本间距离小。 Fisher准则正是以使类间距离尽可能大同时又保持类内 准则正是以使类间距离尽可能大同时又保持类内 准则正是以使 距离较小这一种原理为基础的。 距离较小这一种原理为基础的。 这一种原理为基础的 基于距离的可分性判据的实质是Fisher准则的延伸， 准则的延伸 基于距离的可分性判据的实质是Fisher准则的延伸，即综 类内聚集程度与 合考虑不同类样本的类内聚集程度与类间的离散程度这两 合考虑不同类样本的类内聚集程度 类间的离散程度这两 个因素。换句话说，这种判据的优化体现出降维后的特征 个因素。换句话说，这种判据的优化体现出降维后的特征 空间较好地体现类内密集、类间分离的要求。 空间较好地体现类内密集、类间分离的要求。换句话说一 些不能体现类间分隔开的特征很可能被排除掉了。 些不能体现类间分隔开的特征很可能被排除掉了。
k =1
d
J ij = 0, 当i = j时
J ij = J ji
◆单调性，即加入新的特征时，判据不减少。 单调性，即加入新的特征时，判据不减少。
常见类别可分离性判据： 常见类别可分离性判据：
－ 基于概率密度分布的判据
J ij ( x1 , x2 ,..., xd ) ≤ J ij ( x1 , x2 ,..., xd , xd +1 )
因此这两种降维的基本方法是不同的。 因此这两种降维的基本方法是不同的。在实际应用中可将 两者结合起来使用，比如先进行特征提取， 两者结合起来使用，比如先进行特征提取，然后再进一步 选择其中一部分，或反过来。 选择其中一部分，或反过来。