第8章 特征的选择与提取(特征选择)
合集下载
模式识别讲义-特征提取和特征选择
完全可分：若p(x|ω1) ≠0时， p(x|ω2)＝0；
完全不可分：对任意x，都有 p(x|ω1) ＝ p(x|ω2)；
二、距离
（2）概率距离
若任何函数Jp g[ p(x | 1), p(x | 2), P1, P2]dx满足以下条件：
a、Jp 0； b、当两类完全可分时 Jp取得最大值； c、当两类完全不可分是 Jp为0；
总错误率P(e) P(x R2 1) P(x R3 1) ... P(x RM 1)P(1) P(x R1 2 ) P(x R3 2 ) ... P(x RM 2 )P(2 ) ... P(x R1 M ) P(x R2 M ) ... P(x RM 1 M )P(M )
X
p(x | j)
Xp(x | i)来自 [ p(x | i) p(x | j）]ln p(x | i) dx
X
p(x | j)
三、特征提取算法
1、使用类内类间距离进行特征提取类内类间距离
Jd=Jw+Jb＝tr（Sw＋Sb)
其中Jw是类内平均距离，Jb是类间平均距离 通常给定一个训练集后，Jd是固定的，因此，在特征
模式识别 第八讲 特征选择与特征提取
回顾：
贝叶斯分类的原理 最小错误率贝叶斯分类 最小风险贝叶斯分类 最大似然比贝叶斯分类 正态分布情况下的贝叶斯分类
分类器的错误率
1、分类器的错误率
•错误率是评价一个分类器的重要指标 •错误率受分类决策方法、训练集、测试集和偶然因 素的影响 •分类错误是一个概率事件，错误率应由概率方式表 达
各特征向量之间的距离 的平均值，称为类内类 间距离：
c
第八章-特征选择与提取
19
基于熵的判据
熵（Entropy）:
Y
Ent(D) pk log2 pk k 1 样本类别确定： ������������ = 1, ������������������ = 0; 样本类别不确定： ������������ < 1, ������������������ > 0;
目标函数
m
min
( yi T xi )2 1
i 1
易获得稀疏解， 是一种嵌入式 特征选择方法
L1 norm
特征选择+特征提取
并行的思路
L1范数比L2范数更易获得稀疏解
m
min
( yi
i 1
T xi )2
2 2
L2 norm
33
嵌入式
34
总结
• 背景 • 特征子集搜索方法
14
基于距离的判据
• 搜索一个特征子集，我们希望 : 样本类内的距离尽可能小 样本类间距离尽可能大
Far away…
Far away…
Class1
Class2
15
基于距离的判据
样本均值向量:
ui
1 Ni
xDi
x,
(i 1, 2)
协方差矩阵:
Si (x ui )(x ui )T , (i 1, 2)
23Βιβλιοθήκη 基于熵的判据香农熵（Shannon Entropy）:
������
������ ������ = − ������(������������|������) log2 ������(������������|������)
������=1
基于熵的判据
熵（Entropy）:
Y
Ent(D) pk log2 pk k 1 样本类别确定： ������������ = 1, ������������������ = 0; 样本类别不确定： ������������ < 1, ������������������ > 0;
目标函数
m
min
( yi T xi )2 1
i 1
易获得稀疏解， 是一种嵌入式 特征选择方法
L1 norm
特征选择+特征提取
并行的思路
L1范数比L2范数更易获得稀疏解
m
min
( yi
i 1
T xi )2
2 2
L2 norm
33
嵌入式
34
总结
• 背景 • 特征子集搜索方法
14
基于距离的判据
• 搜索一个特征子集，我们希望 : 样本类内的距离尽可能小 样本类间距离尽可能大
Far away…
Far away…
Class1
Class2
15
基于距离的判据
样本均值向量:
ui
1 Ni
xDi
x,
(i 1, 2)
协方差矩阵:
Si (x ui )(x ui )T , (i 1, 2)
23Βιβλιοθήκη 基于熵的判据香农熵（Shannon Entropy）:
������
������ ������ = − ������(������������|������) log2 ������(������������|������)
������=1
第八章特征提取
23
未知类别样本的K-L变换
特征 提取
常用总体样本的协方差矩阵C=E[(x-μ) (x-μ)T]
进行K-L变换，K-L坐标系U=[u1,u2,...,ud]按照C
的本征值的下降次序选择。
例：设一样本集的协方差矩阵是： C 求最优2x1特征提取器U
19.5
9.5
9.5 7.5
解答：计算特征值及特征向量[V, D]=eig(C);
特征选择(selection) ：从原始特征中挑选出 一些最有代表性、分类性能最好的特征。
特征的选择与提取与具体问题有很大关系， 目前没有理论能给出对任何问题都有效的特 征选择与提取方法。
第八章 特征提取
6
特征的选择与提取举例
引言
细胞图像自动分类：
原始测量：（正常与异常）细胞的数字图像
y = UTx = u1T x = y1
变换的能量损失为
22 1 5.9% 12 22 42 12
第八章 特征提取
22
K-L变换的产生矩阵
特征 提取
数据集KN={xi}的K-L变换的产生矩阵由数据 的二阶统计量决定，即K-L坐标系的基向量为 基于数据x的某种二阶统计量的产生矩阵的 本征向量。
d个本征值对应的本证向量组 成变换矩阵W，就是构造d个
主成分1,...,d的最佳变换。
数据中大部分信息集中在较少的几个主成分上
d
D
i / i
1
1
根据给定的比例，选择适当数目的主成分作为样本的新特征
第八章 特征提取
13
8.4 K-L (Karhunen-Loeve)变换
特征提取：
降低特征维数在很多情况下是有效设计分类器的重要课题。
《模式识别》PPT课件
征组来。 ② 找一个较好的算法，以便在较短的时间内找出最优的那一组特征。
有两个极端的特征选择算法，一个是单独选择法，另一个是穷举选择法。
1. 单独选择法 就是把n个特征每个特征单独使用时的可分性准则函数值都算出来，按准则
函数值从大到小排序，如 J(x1)＞J(x2)＞…＞J(xm)＞…J(xn)
然后，取使J较大的前m个特征作为选择结果。 问题：这样得到的m个特征是否就是一个最优的特征组呢？
1 Pe 1 c
另一个极端情况是，如果能有一组特征使得
此时x划归 P类(，其i /错x误)概率1为, 0。且P( j / x) 0 , j i
可见后验概率越集中，错误概率就越小。后验概率分布越平缓(接近均匀分布)
，则分类错误概率就越i 大。
为了衡量后验概率分布的集中程度，需要规定一个定量准则，我们可以借助于 信息论中关于熵的概念。
，
的函数。可定义如下形式的广义熵：
P(1 / x) P(2 / x)
P(c / x)
，
，…
式中，
是一个实的正参数，
。
J
a C
[
P
(1
/
x),
P ( 2
/
x),,
P ( c
/
x)]
c
(21a 1)1[ P a (i / x) 1] i 1
a
a1
不同的 spital法则有
a
a值可以得到不同的熵分离度量，例如当
8.1.1 基于距离的可分性准则 各类样本之间的距离越大，则类别可分
性越大。因此，可以用各类样本之间的距离的平 均值作为可分性准则
Jd
1 2
c
Pi
i 1
c
有两个极端的特征选择算法，一个是单独选择法，另一个是穷举选择法。
1. 单独选择法 就是把n个特征每个特征单独使用时的可分性准则函数值都算出来，按准则
函数值从大到小排序，如 J(x1)＞J(x2)＞…＞J(xm)＞…J(xn)
然后，取使J较大的前m个特征作为选择结果。 问题：这样得到的m个特征是否就是一个最优的特征组呢？
1 Pe 1 c
另一个极端情况是，如果能有一组特征使得
此时x划归 P类(，其i /错x误)概率1为, 0。且P( j / x) 0 , j i
可见后验概率越集中，错误概率就越小。后验概率分布越平缓(接近均匀分布)
，则分类错误概率就越i 大。
为了衡量后验概率分布的集中程度，需要规定一个定量准则，我们可以借助于 信息论中关于熵的概念。
，
的函数。可定义如下形式的广义熵：
P(1 / x) P(2 / x)
P(c / x)
，
，…
式中，
是一个实的正参数，
。
J
a C
[
P
(1
/
x),
P ( 2
/
x),,
P ( c
/
x)]
c
(21a 1)1[ P a (i / x) 1] i 1
a
a1
不同的 spital法则有
a
a值可以得到不同的熵分离度量，例如当
8.1.1 基于距离的可分性准则 各类样本之间的距离越大，则类别可分
性越大。因此，可以用各类样本之间的距离的平 均值作为可分性准则
Jd
1 2
c
Pi
i 1
c
特征选择和特征提取
细胞自动识别：
原始测量：（正常与异常）细胞的数字图像 原始特征（特征的形成，找到一组代表细胞性质
的特征）：细胞面积，胞核面积，形状系数，光 密度，核内纹理，核浆比
压缩特征：原始特征的维数仍很高，需压缩以便 于分类
• 特征选择：挑选最有分类信息的特征 • 特征提取：数学变换
– 傅立叶变换或小波变换 – 用PCA方法作特征压缩
– 特征值
对于一个N N的矩阵A，有N个标量k，k 1， N，满足 A k I 0 k 称为矩阵的一组特征值。
如果给定的矩阵是奇异的，那么N个特征值中至
少有一个为0。
矩阵的秩
定义为矩阵非零特征值的个数。
矩阵的条件数 定义为最大特征值与最小特征值
的比值的绝对值。
病态矩阵
条件数很大。
jd1
jd1
因为uj是确定性向量，所以有
u T jE x xT uj u T jR uj
j d 1
j d 1
R r ij E (x ix j) E x x T
求解最小均方误差正交基
特征 提取
用Lagrange乘子法，可以求出满足正交条件下的ε 取极值时 的坐标系统：
特征形成 (acquisition)： 信号获取或测量→原始测量 原始特征
实例： 数字图象中的各像素灰度值 人体的各种生理指标
原始特征分析： 原始测量很大程度上不能反映对象本质
高维原始特征不利于分类器设计：计算量大， 冗余，样本分布十分稀疏。
二、特征的选择与提取
两类提取有效信息、压缩特征空间的方法： 特征提取和特征选择
PCA的求解：特征向量常被叫做“主分量”，每个样 本被它在前几个主分量上的投影近似表示，U张成的空 间称为原空间的子空间，PCA实际上就是在子空间上的 投影.
原始测量：（正常与异常）细胞的数字图像 原始特征（特征的形成，找到一组代表细胞性质
的特征）：细胞面积，胞核面积，形状系数，光 密度，核内纹理，核浆比
压缩特征：原始特征的维数仍很高，需压缩以便 于分类
• 特征选择：挑选最有分类信息的特征 • 特征提取：数学变换
– 傅立叶变换或小波变换 – 用PCA方法作特征压缩
– 特征值
对于一个N N的矩阵A，有N个标量k，k 1， N，满足 A k I 0 k 称为矩阵的一组特征值。
如果给定的矩阵是奇异的，那么N个特征值中至
少有一个为0。
矩阵的秩
定义为矩阵非零特征值的个数。
矩阵的条件数 定义为最大特征值与最小特征值
的比值的绝对值。
病态矩阵
条件数很大。
jd1
jd1
因为uj是确定性向量，所以有
u T jE x xT uj u T jR uj
j d 1
j d 1
R r ij E (x ix j) E x x T
求解最小均方误差正交基
特征 提取
用Lagrange乘子法，可以求出满足正交条件下的ε 取极值时 的坐标系统：
特征形成 (acquisition)： 信号获取或测量→原始测量 原始特征
实例： 数字图象中的各像素灰度值 人体的各种生理指标
原始特征分析： 原始测量很大程度上不能反映对象本质
高维原始特征不利于分类器设计：计算量大， 冗余，样本分布十分稀疏。
二、特征的选择与提取
两类提取有效信息、压缩特征空间的方法： 特征提取和特征选择
PCA的求解：特征向量常被叫做“主分量”，每个样 本被它在前几个主分量上的投影近似表示，U张成的空 间称为原空间的子空间，PCA实际上就是在子空间上的 投影.
Ch8 特征的选择与提取之特征选择
特征选择
两种最为显见的选择方法：单独选择法 与穷举法。
单独选择法指的是把n个特征单独使用时的 可分性准则都计算出，从大到小排序，如：
J ( x1 ) > J ( x2 ) > L > J ( xm ) > L > J ( xn )
使得J较大的前m个特征作为选择结果，但是 这样所得到的m个特征一般未必时最好的。
Tabu搜索算法
Tabu(禁忌)搜索算法的基本框架 步骤 1 令迭代步数 i = 0 ，Tabu 表为 T = φ ，给 出初始解为x，并令最优解 xg = x ；
步骤 2 从x的邻域中选择一定数量的解构成候选集 合N(x)； 步骤 3 若N(x)＝Φ ，则转2，否则从N(x)中找出最 优解x’； 步骤 4 若 x ' ∈ T ，并且 x ' 不满足激活条件，则令 N ( x) = N ( x) − {x '} ，转3，否则，令 x = x ' 。
遗传算法的应用
控制 规划 设计 图像处理 信号处理 机器人 人工生命 人工神经网络 煤气管道控制，防避导弹控制，机器人控制 生产规划，并行机任务分配 VLSI布局，背包问题，图划分问题 识别，特征抽取模式 滤波器设计 路径规划 生命的遗传进化 权值训练和网络结构生成
遗传算法
几个常用的术语(这些术语来自于生物学，但 是与其在生物学中的含义有所不同)
Tabu(禁忌)搜索算法
算法的基本思想：一个解的某个“邻域”中一般存 在性能更好的解。因此，Tabu搜索算法仅仅在一些 解的邻域中进行。为了避免搜索过程的重复，从而 能够搜索更大的解空间，因此该算法要求记录近期 的搜索过的解。 使用一个表，Tabu表，记录这一搜索过程的解。 如果一个解在Tabu表中，说明该解在近期被访问过。 一旦被收入Tabu表中，在某个时间段内禁止访问该 解。
模式识别7-特征选择和提取
为一般来说，原来的n个数据各自在不同程度上反映
了识别对象的某些特征，简单地删去某些特征可能会
丢失较多的有用信息。
• 如果将原来的特征做正交变换，获得的每个数据都是
原来n个数据的线性组合，然后从新的数据中选出少
数几个，使其尽可能多地反映各类模式之间的差异，
而这些特征间又尽可能相互独立，则比单纯的选择方
➢遗传算法
单独最优特征组合
特征
选择
计算各特征单独使用时的可分性判据J并加
以排队，取前d个作为选择结果
不一定是最优结果
当可分性判据对各特征具有(广义)可加性，
该方法可以选出一组最优的特征来，例：
➢各类具有正态分布
➢各特征统计独立
➢可分性判据基于Mahalanobis距离
d
J ij ( x1 , x2 ,..., xd ) J ij ( xk ) J D (x) (μi μ j )T 1(μi μ j )
k 1
顺序前进法
特征
选择
自下而上搜索方法。
每次从未入选的特征中选择一个特征，使得
它与已入选的特征组合在一起时所得的J值
为最大，直至特征数增加到d为止。
该方法考虑了所选特征与已入选特征之间的
相关性。
顺序后退法
特征
选择
该方法根据特征子集的分类表现来选择特征
搜索特征子集：从全体特征开始，每次剔除
➢ 当特征独立时有可加性：
k 1
➢ 单调性：
J ij ( x1 , x2 ,..., xd ) J ij ( x1 , x2 ,..., xd , xd 1 )
常见类别可分离性判据：基于距离、概率分布、熵
函数
了识别对象的某些特征，简单地删去某些特征可能会
丢失较多的有用信息。
• 如果将原来的特征做正交变换，获得的每个数据都是
原来n个数据的线性组合，然后从新的数据中选出少
数几个，使其尽可能多地反映各类模式之间的差异，
而这些特征间又尽可能相互独立，则比单纯的选择方
➢遗传算法
单独最优特征组合
特征
选择
计算各特征单独使用时的可分性判据J并加
以排队，取前d个作为选择结果
不一定是最优结果
当可分性判据对各特征具有(广义)可加性，
该方法可以选出一组最优的特征来，例：
➢各类具有正态分布
➢各特征统计独立
➢可分性判据基于Mahalanobis距离
d
J ij ( x1 , x2 ,..., xd ) J ij ( xk ) J D (x) (μi μ j )T 1(μi μ j )
k 1
顺序前进法
特征
选择
自下而上搜索方法。
每次从未入选的特征中选择一个特征，使得
它与已入选的特征组合在一起时所得的J值
为最大，直至特征数增加到d为止。
该方法考虑了所选特征与已入选特征之间的
相关性。
顺序后退法
特征
选择
该方法根据特征子集的分类表现来选择特征
搜索特征子集：从全体特征开始，每次剔除
➢ 当特征独立时有可加性：
k 1
➢ 单调性：
J ij ( x1 , x2 ,..., xd ) J ij ( x1 , x2 ,..., xd , xd 1 )
常见类别可分离性判据：基于距离、概率分布、熵
函数
数据科学中的特征选择与特征提取方法探究
数据科学中的特征选择与特征提取方法探究特征选择与特征提取是数据科学中的重要步骤，它们对于机器学习模型的性能和效果起着至关重要的作用。
在本文中，我们将深入探讨特征选择与特征提取的方法，包括它们的定义、原理、应用场景和常见算法。
我们将重点介绍递归特征消除、主成分分析、线性判别分析等经典的特征选择和提取方法，并分析它们的优缺点以及适用的情况。
最后，我们还将介绍一些新兴的特征选择与提取方法，以及未来的发展趋势。
一、特征选择与特征提取的定义及意义特征选择与特征提取都是指将原始的特征数据进行处理，提取出其中最具代表性的特征，以便于构建更加精确的机器学习模型。
特征选择是指从原始特征中选择出最有效、最相关的特征，剔除掉噪声或不相关的特征，以提高模型的精度和泛化能力。
而特征提取则是指通过某种数学变换，将原始特征转化为一组新的特征，这些新的特征通常包含了原始特征中的大部分信息，但是具有更好的可分性。
特征选择与特征提取在数据科学中具有重要的意义。
首先，它可以提高模型的计算效率。
原始的特征数据通常包含了大量的噪声和冗余信息，特征选择与提取可以减少模型的维度，提高计算效率。
其次，它可以提高模型的泛化能力。
过多的特征会导致过拟合，特征选择可以避免这种情况的发生。
特征提取则可以提高特征的可分性，使模型更容易捕捉到数据的本质特征。
最后，它可以提高模型的解释性。
经过特征选择与提取后的特征更具代表性，可以更好地解释数据。
二、特征选择的方法1. Filter方法Filter方法是通过对每个特征进行单独的统计检验，然后根据统计指标进行特征排序，选取排名靠前的特征。
常用的统计指标包括卡方检验、互信息、相关系数等。
Filter方法简单高效，计算速度快，但是它忽略了特征之间的关联性，可能选取出相关性较弱的特征。
2. Wrapper方法Wrapper方法是利用训练好的机器学习模型来评估特征的重要性，然后根据其重要性进行特征选择。
常用的Wrapper方法包括递归特征消除、正向选择和反向选择等。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
其核心问题
是通过合理组合搜索过程，可以避免一些 计算而仍能得到最优的结果。
其关键是利用了判据的单调性
最优搜索算法
判据的单调性
如果特征存在包含关系: 则有: 称该判据具有单调性 讨论过的J1-J5,以及基于概率距离的判据 JD,JC,JB都满足上述关系
最优搜索算法
下面我们结合一个从D＝6的六维特征空 间选择d＝2的二维最优子空间的例子， 说明该算法的原理以及如何利用判据的 单调性减少计算量。 设原D维空间有六个特征表示成 {x1,x2,x3,x4,x5,x6}
(2) 确定直接后继结点要删除的特征
删去其中一特征的相应判据值，判据最小
最优搜索算法
回溯过程
要执行的任务是将第i层的ψ加上第i-1层被删 除的特征，并检查其分支路数q 待发现到 qi-1>1,就到达回溯转折点，转入其 相邻左边第i层结点。
最优搜索算法
优点
该算法避免了部分d个特征组合的判据计算，与穷 举相比节约了时间。
当l＜r时，入选特征数逐渐增加，属“自下而上” 型 反之属“自上而下”型。
增l减r法(l-r法)
此法也可推广至用GSFS及GSBS代替SFS及SBS 并可在实现增加l特征时采用分几步实现
增l特征用Zl步减r则用Zr步，该种方法一般称为(Zl, ( Zr)法 这种做法是为了既考虑入选(或剔除)特征之间的相 关性，又不至因此引起计算量过大。 合理地设置Zl和 Zr可以同时对两者，即计算复杂性 及特征选择的合理性兼顾考虑
简单回顾
类别可分离性判据的种类
基于距离度量的可分性判据 基于概率分布的可分性判据等
特征提取
按欧氏距离度量的特征提取方法 按概率距离判据提取特征
8.4 特征选择
特征选择
即对原有特征进行删选优化
概念上十分简单
一般人常想，只要逐个分析每个特征，判断 它对分类的价值，然后根据其优值删去或保 留，这是一个为人们常采用方法 但是这种方法并不能保证特征空间的最优组 合优化
搜索算法
要得最优解，就必需采用穷举法
任何非穷举的算法都不能确保所得结果是最 优的，因此要得最优解，就必需采用穷举法 搜索技术上采用一些技巧，使计算量有可能 降低 最优特征搜索法，次优解的算法
搜索算法
“自上而下”与“自下而上”两类算法
“自上而下”: 从D维特征开始，逐步将其 中某些特征删除，直到剩下所要求的d维特 征为止。
单独最优特征组合
单独最优特征组合
将各特征按单独使用计算其判据值，然后取 其前d个判据值最大的特征作为最优特征组 合。 这种做法的问题在于即使各特征是独立统计 的，也不一定得到最优结果。 但如果可分性判据可写成如下形式
可以选出最 优特征来
顺序前进法(SFS)
顺序前进法
最简单的自下而上搜索方法 首先计算每个特征单独进行分类的判据值， 并选择其中判据值最大的特性，作为入选特 征。 然后每次从未入选的特征中选择一个特征， 使得它与已入选的特征组合在一起时所得的 J值为最大，直到特征数增至d个为止。
可用下面的搜索树形结构图表示搜索过程
最 优 搜 索 算 法
最优搜索算法
搜索树形结构图
根结点为原特征空间，包含全部特征，在这里是六 个特征 除了根结点外，其它结点每删除一个特征，结点上 的号表示被删特征序号 叶结点本身也删除一个特征，而剩下的特征组的特 征数为d，在此为2。 该树的结构特点:即每一层结点的直接后继结点数各 不相同，但是却有规律性。
另一个问题是要找出较好的特征选择方法
以在允许的时间内选择出一组最优的特征。 所谓最优的特征组，就是要找到合适的特征的组 合
搜索算法
计算量问题
如果从逐个特征配组进行性能比较的话，即穷举 的算法，特征配组的数量极大
如果D＝100，d＝10，则q的数量级就是1013， 即使D＝20，d＝10，则q也可达184756种。 如果将所有可能的特征配组列举出来，按某选定 的可分离性判据进行计算，从中择优，其计算量 非常大
搜索算法
如何解决这个问题呢?
如果将每维特征单独计算可分离性判据，并按其 大小排队，如
然后直接选用前d个特征构成新的特征空间 能得到最优的可分离性？ 不能 即使所有特征都互相独立，除了一些特殊情况外， 一般用前d个最有效的特征组合成的特征组并非是 最优的d维特征组 因此采用这种方法并不能保证得到最优的特征组 合
譬如第一层中三个结点各自的直接后继结点数从左到右分 别是3、2与1个，而第一层的最左结点的三个直接后继结 点的后继结点数也是如此
最 优 搜 索 算 法
最优搜索算法
在每个当前计算结点要执行的计算按是 否处于回溯过程而不同。如处在非回溯 过程，则执行以下几个计算:
(1)确定直接后继结点数
一结点的直接后继点数: 在根结点处r＝6，故q＝3，有三个直接后继结点
缺点
但是由于在搜索过程中要计算中间的判据值，因 此在d很小或d很接近D时，还不如使用穷举法 另外该算法必须使用具有单调性的判据
有时在理论上具有单调性的判据，在实际运用样本计算 时，可能不再具备单调性 因此存在不能保证结果为最优的可能性
8.4.2 次优搜索法
上述分支定界算法虽然比盲目穷举法节 省计算量，但计算量仍可能很大而无法 实现，因此人们还是常用次优搜索法
模式识别
徐蔚然 北京邮电大学信息工程学院
简单回顾
本章讨论的问题
对已有的特征空间进行改造,着重于研究对 样本究竟用什么样的度量方法更好 譬如用三种度量来描述苹果与梨
那么是否运用这三种度量是最有效的呢？ 颜色：
这一个指标对区分红苹果与梨很有效 区分黄苹果与梨就会困难得多 即，这个指标就不很有效了
简单回顾
顺序后退法(SBS)
顺序后退法(SBS)
与面一个方法相反，是自上而下的方法 从现有的特征组中每次减去一个不同的特征并计算 其判据，找出这些判据值中之最大值，如此重复下 去直到特征数达到予定数值d为止 与SFS相比，此法计算判据值是在高维特征空间进 行的，因此计算量比较大 此法也可推广至每次剔除r个，称为广义顺序后退法 (GSBS)
增l减r法(l-r法)
前面两种方法的缺点
即一旦特征入选(或剔除)，过程不可逆转
为了克服这种缺点，可采用将这两种方法结 合起来的方法，即增l减r法 原理:对特征组在增加l个特征后，转入一个局 部回溯过程，又用顺序后退法，剔除掉r个特 征 这种方法既可能是“自上而下”方法，也可 能是“自下而上”的，这取决于l与r的数据大 小
顺序前进法(SFS)
优点
顺序前进法与前一小节的单独特征最优化组合相比， 由于考虑了特征之间的相关性，在选择特征时计算 与比较了组合特征的判据值，要比前者好些。
缺点
一旦某一特征被选入，即使由于后加入的特征使它 变为多余，也无法再把它剔除。
该法可推广至每次入选r个特征，而不是一个， 称为广义顺序前进法(GSFS)
增l减r法(l-r法)
筛选剩下的特征组在每一步上都是最优的
“自下而上”: 从零维特征空间开始，逐个 地从D维持征中选择特征，直至达到预定的 维数指标为止。
在每一步都生成最优的特征空间
8.4.1 最优搜索算法
用最少的计算量得到最优的特征组合 “分支定界”算法
能得到最优解的唯一快速算法 属于“自上而下”算法，但是具有回溯功 能，可使所有可能的特征组合都被考虑到。
简单回顾
特征选择和特征提取
两者区别
特征选择: 删掉部分特征 特征提取:通过一种映射，也就是说新的每一个 特征是原有特征的一个函数
简单回顾
类别可分离性判据
特征选择与特征提取的任务是求出一组对 分类最有效的特征 所谓有效是指在特征维数减少到同等水平 时，其分类性能最佳 因此需要有定量分析比较的方法, 判断所得 到的特征维数及所使用特征是否对分类最 有利 这种用以定量检验分类性能的准则称为 类别可分离性判据
降维主要有两种途径
对特征空间的改造、优化、主要的目的是降维，即 把维数高的特征空间改成维数低的特征空间 ，降维 主要有两种途径 特征的选择: 一种是删选掉一些次要的特征
问题在于如何确定特征的重要性，以及如何删选
特征的提取: 另一种方法是使用变换的手段，在 这里主要限定在线性变换的方法上，通过变换来实 现降维
搜索算法
特征选择的含意
由原有D维特征所组成的特征空间中选出若 干个特征，组成描述样本的新特征空间 即从原有的D维空间选取一个d维子空间(d＜ D)，在该子空间中进行模式识别
搜索算法
有两个问题要解决
一个是选择特性的标准
也就是选择前面讨论过的可分离性判据 以这些判据为准则，使所选择的d维子空间具有 最大的可分离性