第八章-特征选择与提取
模式识别—特征选择与提取课件
2、特征的类别
• 形式上分三类： • 1、物理特征 • 物理特征是比较直接、人们容易感知的特 征，很容易被选出，如为了描述某个学生， 可以用：性别、身高、胖瘦、肤色等外在 特征。物理特征虽然容易感知，却未必能 非常有效地表征分类对象。 • 2、结构特征 • 结构特征的表达能力一般要高于物理特征，
• 如汉字识别的成功、指纹的识别就实现离 不开结构特征的选择。结构特征的表达是 先将观察对象分割成若干个基本构成要素， 再确定基本要素间的相互连接关系。 • 结构信息对对象的尺寸往往不太敏感，如 汉字识别时，识别系统对汉字大小不敏感， 只对笔划结构信息敏感。 • 3、数字特征 • 一般来说，数字特征是为了表征观察对象 而设立的特征，如给每个学生设立一个学 号，作为标志每个学生的特征。
第8章 特征选择与特征提取
8.1 基本概念 8.2 类别可分性测度
8.3 基于可分性测度的特征提取方法
8.1 基本概念
• 1、特征的特点 • 模式识别的主要功能在于利用计算机实现 人的类识别能力，在模式识别过程中，特 征的确定比较复杂，研究领域不同，选择 的特征也不同，但不论采用什Байду номын сангаас样的特征， 都应该满足以下条件： • （1）特征是可获取的 • （2）类内稳定 • （3）类间差异
x2
x2B 2
' x2
x1'
BB A
x2 A2
[法2]：① 特征抽取：测量
物体向两个坐标轴的投影 值，则A、B各有2个值域区
x1
x 2 B1 x 2 A1
x1 B1
x1 A1
间。可以看出，两个物体的 投影有重叠，直接使用投影 值无法将两者区分开。
x1B 2 x1 A 2
特征的提取和选择
特征的提取和选择
特征提取和选择是机器学习中非常重要的环节，它既可以减少计算量，又可以提高模型的性能。
选择较好的特征可以让模型更加简单，更加容易
和快速的训练出最佳参数，从而使得模型更加精确、效果更好。
一般来说，特征提取和选择有以下几步：
1.特征提取。
特征提取关注的是利用现有特征生成新的特征。
它可以
是特征融合（如结合多个特征生成更强大的特征），也可以是特征变换
（如离散特征变换成连续特征）。
2.无关特征删除。
把没有帮助的特征删除，有助于减少模型的运行时间，提高模型的效果。
3.有关特征选择。
把与目标值有很强关联的特征选择出来，这些特征
被称为有关特征，它们可以帮助模型训练出更好的结果。
4.特征降维。
为了减少特征之间的相关性，减少计算量，与有关特征
相关性比较低的特征可以被删除。
5.特征加权。
调整特征的权重，使得有关特征拥有更大的影响力，从
而帮助模型更好的进行预测。
通过这种特征提取和选择的过程，可以把训练集中拥有相关性比较高
的有用特征保留下来，把没用的特征抛弃，有效的提高模型的性能。
第八章特征提取
23
未知类别样本的K-L变换
特征 提取
常用总体样本的协方差矩阵C=E[(x-μ) (x-μ)T]
进行K-L变换，K-L坐标系U=[u1,u2,...,ud]按照C
的本征值的下降次序选择。
例：设一样本集的协方差矩阵是： C 求最优2x1特征提取器U
19.5
9.5
9.5 7.5
解答：计算特征值及特征向量[V, D]=eig(C);
特征选择(selection) ：从原始特征中挑选出 一些最有代表性、分类性能最好的特征。
特征的选择与提取与具体问题有很大关系， 目前没有理论能给出对任何问题都有效的特 征选择与提取方法。
第八章 特征提取
6
特征的选择与提取举例
引言
细胞图像自动分类：
原始测量：（正常与异常）细胞的数字图像
y = UTx = u1T x = y1
变换的能量损失为
22 1 5.9% 12 22 42 12
第八章 特征提取
22
K-L变换的产生矩阵
特征 提取
数据集KN={xi}的K-L变换的产生矩阵由数据 的二阶统计量决定，即K-L坐标系的基向量为 基于数据x的某种二阶统计量的产生矩阵的 本征向量。
d个本征值对应的本证向量组 成变换矩阵W，就是构造d个
主成分1,...,d的最佳变换。
数据中大部分信息集中在较少的几个主成分上
d
D
i / i
1
1
根据给定的比例，选择适当数目的主成分作为样本的新特征
第八章 特征提取
13
8.4 K-L (Karhunen-Loeve)变换
特征提取：
降低特征维数在很多情况下是有效设计分类器的重要课题。
Ch8 特征的选择与提取之特征选择
特征选择
两种最为显见的选择方法：单独选择法 与穷举法。
单独选择法指的是把n个特征单独使用时的 可分性准则都计算出，从大到小排序，如：
J ( x1 ) > J ( x2 ) > L > J ( xm ) > L > J ( xn )
使得J较大的前m个特征作为选择结果，但是 这样所得到的m个特征一般未必时最好的。
Tabu搜索算法
Tabu(禁忌)搜索算法的基本框架 步骤 1 令迭代步数 i = 0 ，Tabu 表为 T = φ ，给 出初始解为x，并令最优解 xg = x ；
步骤 2 从x的邻域中选择一定数量的解构成候选集 合N(x)； 步骤 3 若N(x)＝Φ ，则转2，否则从N(x)中找出最 优解x’； 步骤 4 若 x ' ∈ T ，并且 x ' 不满足激活条件，则令 N ( x) = N ( x) − {x '} ，转3，否则，令 x = x ' 。
遗传算法的应用
控制 规划 设计 图像处理 信号处理 机器人 人工生命 人工神经网络 煤气管道控制，防避导弹控制，机器人控制 生产规划，并行机任务分配 VLSI布局，背包问题，图划分问题 识别，特征抽取模式 滤波器设计 路径规划 生命的遗传进化 权值训练和网络结构生成
遗传算法
几个常用的术语(这些术语来自于生物学，但 是与其在生物学中的含义有所不同)
Tabu(禁忌)搜索算法
算法的基本思想：一个解的某个“邻域”中一般存 在性能更好的解。因此，Tabu搜索算法仅仅在一些 解的邻域中进行。为了避免搜索过程的重复，从而 能够搜索更大的解空间，因此该算法要求记录近期 的搜索过的解。 使用一个表，Tabu表，记录这一搜索过程的解。 如果一个解在Tabu表中，说明该解在近期被访问过。 一旦被收入Tabu表中，在某个时间段内禁止访问该 解。
特征选择与提取
分类：根据对象的观察值确定对象的类别属性。
分类的一般过程：特征的发现与提取（特征提取的好坏将直接影响到分类的结果。
特征选取的原则包括：明显有区分意义（同一类别样本的特征值比较相近，而不同类别的样本特征值有较显著的差异）；容易提取；对不相关因素变化保持稳定；对噪声不敏感等）；确定决策函数特征发现：将先验知识和实验数据有机结合起来，通过对学习样本（实验数据）的分析，发现并提取有效的特征。
•根据特定的问题领域（包括实验数据）的性质，提出可能特征的假设•利用已有的实验数据，验证假设是否正确特征处理：在已经得到数据样本之后如何用数学的办法对数据进行必要的选择和变换使得特征更易于分类，求出一组对分类最有效的特征1.高维特征带来的问题实际应用中，通常发现当特征个数增加到某一个临界点后，继续增加反而会导致分类器的性能变差。
1)概率模型与实际情况不匹配2)训练样本数有限→概率分布的估计不准确3)训练样本数有限→过拟合4)训练过程中的计算复杂度、时间－空间复杂度太大。
2.特征选择：1）概念：特征选择是从数量为D的原始特征中挑选出一组（d个）最有代表性，分类性能最好的特征；每个特征的状态是离散的－选与不选；从N个特征中选取k个，共C N k种组合；若不限定个数，则共2N种；这是一个典型的组合优化问题。
（思路）2）方法：Filter方法：不考虑所使用的学习算法。
通常给出一个独立于分类器的指标μ（可分离性判据）来评价所选择的特征子集S，然后在所有可能的特征子集中搜索出使得μ最大的特征子集作为最优特征子集；Wrapper方法：将特征选择和分类器结合在一起，即特征子集的好坏标准是由分类器决定的，在学习过程中表现优异的特征子集被选中；另外，按照最优特征组的构成可以分为“自下而上”法（特征数从0渐增）和“自上而下”法（特征数从D递减）。
3）可分离性判据：衡量特征对分类的有效性（关键问题）要求：A.与错误概率（或者错误概率的上界及下界）有单调关系，一般使判据取最大值时对应较小错误概率B.当特征（x1, x2, …, xd）相互独立时有可加性，即：；其中Jij是第i类和第j类的可分性准则函数。
特征提取与特征选择的区别与联系
特征提取与特征选择的区别与联系在机器学习和数据挖掘领域，特征提取和特征选择是两个重要的概念。
它们在数据预处理和模型构建中起着至关重要的作用。
本文将探讨特征提取与特征选择的区别与联系，并从理论和实践角度进行深入分析。
1. 特征提取的定义与意义首先，我们来看看特征提取的定义与意义。
特征提取是指从原始数据中提取出具有代表性的特征，以便进行后续的数据分析和建模。
在实际应用中，原始数据往往包含大量的冗余信息和噪声，特征提取的目的就是通过某种算法或方法，对原始数据进行转换或映射，得到更加有用和有效的特征表示。
这样可以提高模型的准确性和泛化能力，同时减少计算复杂度和存储空间的消耗。
特征提取的方法有很多种，比如主成分分析（PCA）、独立成分分析（ICA）、线性判别分析（LDA）等。
这些方法都是通过对原始数据进行变换，得到新的特征表示，从而达到降维、去噪或增强特征的目的。
2. 特征选择的定义与意义接下来，我们再来看看特征选择的定义与意义。
特征选择是指从原始特征中选择出最具有代表性和重要性的特征子集，以用于后续的建模和预测。
在实际应用中，原始特征往往包含很多冗余和无关的信息，特征选择的目的就是找出对目标变量影响最大的特征，从而简化模型、提高预测性能和可解释性。
特征选择的方法有很多种，比如过滤式、包裹式和嵌入式等。
过滤式方法是直接对特征进行评估和排序，选择最高分的特征子集；包裹式方法是把特征选择看作一个搜索问题，通过试验不同的特征子集来找到最佳组合；嵌入式方法则是在模型训练过程中，通过正则化或增加惩罚项的方式来选择特征。
3. 特征提取与特征选择的区别特征提取与特征选择虽然都是对原始数据或特征进行处理，但它们在目的和方法上有着明显的区别。
首先，特征提取是通过某种变换或映射，得到新的特征表示，目的是降维、去噪或增强特征；而特征选择是从原始特征中选择出最具有代表性和重要性的特征子集，目的是简化模型、提高预测性能和可解释性。
第8章 特征的选择与提取(特征选择)
其核心问题
是通过合理组合搜索过程，可以避免一些 计算而仍能得到最优的结果。
其关键是利用了判据的单调性
最优搜索算法
判据的单调性
如果特征存在包含关系: 则有: 称该判据具有单调性 讨论过的J1-J5,以及基于概率距离的判据 JD,JC,JB都满足上述关系
最优搜索算法
下面我们结合一个从D＝6的六维特征空 间选择d＝2的二维最优子空间的例子， 说明该算法的原理以及如何利用判据的 单调性减少计算量。 设原D维空间有六个特征表示成 {x1,x2,x3,x4,x5,x6}
(2) 确定直接后继结点要删除的特征
删去其中一特征的相应判据值，判据最小
最优搜索算法
回溯过程
要执行的任务是将第i层的ψ加上第i-1层被删 除的特征，并检查其分支路数q 待发现到 qi-1>1,就到达回溯转折点，转入其 相邻左边第i层结点。
最优搜索算法
优点
该算法避免了部分d个特征组合的判据计算，与穷 举相比节约了时间。
当l＜r时，入选特征数逐渐增加，属“自下而上” 型 反之属“自上而下”型。
增l减r法(l-r法)
此法也可推广至用GSFS及GSBS代替SFS及SBS 并可在实现增加l特征时采用分几步实现
增l特征用Zl步减r则用Zr步，该种方法一般称为(Zl, ( Zr)法 这种做法是为了既考虑入选(或剔除)特征之间的相 关性，又不至因此引起计算量过大。 合理地设置Zl和 Zr可以同时对两者，即计算复杂性 及特征选择的合理性兼顾考虑
简单回顾
类别可分离性判据的种类
基于距离度量的可分性判据 基于概率分布的可分性判据等
特征提取
按欧氏距离度量的特征提取方法 按概率距离判据提取特征
8.4 特征选择
遥感技术应用课件：特征提取与选择
知识点
• 在多光谱图像中，邻近波段之间往往具有 高度的相关性，存在着大量冗余和重复的 信息，需从这些数据中提取那些无冗余的 有效信息来识别目标地物。
知识点
知识点
• 西北部为植被稀少区 • 东部为植被密集区
知识点
• 空间特征属于局部统计变量，反映 图像局部的灰度变化、像元组合及 其与周边的关系。
知识点
用于遥感图像分类的属性特征可能非常多，如果不加选择地 将所有属性都作为分类特征，那么分析特征、训练模型所需的时 间就会很长，模型也会变得复杂，其推广能力（泛化能力）就会 下降；此外，特征变量过多会引起“维数灾难”，使得识别精度 不增反降。
知识点
知识点
知识点
• 光谱特征提取的基本思想就是对多 种属性进行某种线性或非线性组合 得到综合指标。
知识点
先验知识往往受限于所识 别的地物类别及其所处的环境。
知识点
知识点
知识点
知识点
知识点
知识点
课程小结
特征的概念 特征提取 特征选择 特征组合
谢谢观看
知识点
知识点
• 根据影像信息的不同合 理选择空间特征提取的 算法，以达最优的特征 显示效果与提取效果。
知识点
知识点
知识点
原始 属性集
子集 产生
属性 子集
否
子集 评价
终止 条件
是研究区地物及其属性比较熟 悉，已经知道某些属性可以很好地区分待分 类的地物，可以根据这些先验知识直接选择 这些可以区分特定地物的属性。
特征提取与选择
课程导入
特征的概念 特征提取 特征选择 特征组合
知识点
• 在两个或多个目标物之间具有差异的属性就是 物体的特征，可以被用来区分目标物的属性。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
基于熵的判据
熵（Entropy）:
Y
Ent(D) pk log2 pk k 1 样本类别确定： ������������ = 1, ������������������ = 0; 样本类别不确定： ������������ < 1, ������������������ > 0;
目标函数
m
min
( yi T xi )2 1
i 1
易获得稀疏解， 是一种嵌入式 特征选择方法
L1 norm
特征选择+特征提取
并行的思路
L1范数比L2范数更易获得稀疏解
m
min
( yi
i 1
T xi )2
2 2
L2 norm
33
嵌入式
34
总结
• 背景 • 特征子集搜索方法
14
基于距离的判据
• 搜索一个特征子集，我们希望 : 样本类内的距离尽可能小 样本类间距离尽可能大
Far away…
Far away…
Class1
Class2
15
基于距离的判据
样本均值向量:
ui
1 Ni
xDi
x,
(i 1, 2)
协方差矩阵:
Si (x ui )(x ui )T , (i 1, 2)
23Βιβλιοθήκη 基于熵的判据香农熵（Shannon Entropy）:
������
������ ������ = − ������(������������|������) log2 ������(������������|������)
������=1
平方熵（Square Entropy）:
���������2��� = ������ ������1 ������ , ������ ������2 ������ , … ������ ������������ ������
基于距离的类可区分性判据 Distance based separation criterion
基于概率分布的类可区分性判据 Probability distributions based separation criterion
基于熵的类可区分性判据 Entropy based separation criterion
8
特征选择
特征：对象所具有的属性 例如: 西瓜{颜色, 根蒂, 敲声, 纹理, 触感…}
根蒂: 蜷缩 敲声: 清脆 纹理: 清晰
有经验瓜农判断：
恩，这是一个好瓜
9
特征选择
相关特征: 和任务相关的属性，且属性之间互相不相关 比如：{根蒂、敲声、纹理} 好而不同
无关特征: 和任务不相关的属性 比如：{颜色、触感…}
空间 • 特征提取是特征工程的一种
37
特征提取的方法
• 线性方法
• Principal Component Analysis (PCA)[Pearson , 1901] • Linear Discriminant Analysis (LDA) [Ronald Fisher , 1936]
[Belhumeur, 1996]
特征选择：从所有的已知属性中选择出和任务相关，且相 互之间不相关的属性
10
特征选择
一般来说，特征选择步骤如下，主要包括子集搜索和子集评 估
原始特 征集合
子集搜索
子集评估
分类器
否
是否满足
是
停止条件
11
目录
• 背景 • 特征选择简介 • 特征子集搜索与子集评估 • 特征提取 • 特征选择与特征提取讨论 • 总结
25
特征选择
过滤式 ：特征选择发生在训练过程之前 （无训练过程）
代表性方法: Relief
包裹式：直接将分类器的性能作为特征选择中的子集评估方法 （无训练过程）
代表性方法: LVW（拉斯维加斯算法）
嵌入式：特征选择和学习器训练同时嵌入到一个优化过程中，特 征选择在学习器训练过程中完成（有训练过程）
分类错误率:
������
=
1
−
1 ������
=
������−1 ������
������������ ������ ������������ ������ = 1 , ������ ������������ ������ = 0, ������ ≠ ������
分类错误率: ������ = 0
熵值可以度量后验概率的分布!
• 非线性方法
• Multidimensional Scaling (MDS) [Torgerson, W.S. et al. ,1958] • Kernel principal component analysis (KPCA) [Scholkopf et al., 1998] • Principal Curves [Hastie, 1989] • Self-Organizing Feature Map (SOM) [Kohonen et al., 1995] • Generative topographic map (GTM) [Bishop et al., 1998] • Manifold Learning：Isomap,LLE,LE……. • ......
类 ������ ������ ������1 条 件 概 率 密 度
分离 ������ ������ ������2
x
Class1
Class2
类条件概率密度曲线
������ ������ ������1
类
条 件
������ ������ ������2
概 率
Class1
密
度
Class2
根据搜索到的特征子集，分析一下两 个类的类条件概率密度曲线分布情况
m
min
( yi
i 1
T xi )2
1
L1 norm
易获得稀疏解， 是一种嵌入式 特征选择方法
26
过滤式
过滤式 ：特征选择发生在训练过程之前
Relief (Relevant Features) [Kira and Rendell, 1992] • 给定‘相关统计量’，度量特征的重要性 • 设置一个阈值t, 如果某一个特征的相关统计量大于阈
其他子集搜索方法：
/heaad/archive/2011/01/02/1924088.html
How Question:
to evaluate the searched feature?
13
子集评估
类可区分性判据(Separation Criterion) 用于评估特征子集的类别 区分性的能力
• 特征提取： 将原始特征通过线性或者非线性组合的方式转化为新的特征表示 For example:������ = σ������������=1 ������������������������ 作用: 降维 特征优化 提升分类性能
7
目录
• 背景 • 特征选择简介 • 特征子集搜索与子集评估 • 特征提取 • 特征选择与特征提取讨论 • 总结
18
基于概率密度的判据
• 满足以上条件的任何函数都可以作为基于概率密 度的类可区分性判据的距离度量!!!
• 概率密度距离的常用函数: 1) 巴氏距离（Bhattacharyya distance） 2) Chernoff 界限（Chernoff bound ） 3) 散度（Divergence）
参考书: 边肇祺《模式识别》第8章
西瓜特征
分类器
(SVM,Beyes,KNN….)
好瓜 坏瓜
原始特征: 西瓜{颜色, 根蒂, 敲声, 纹理, 触感…}
以往研究，是特征固定，研究重点是分类器
4
背景
举例: 对于一个有经验的瓜农，怎么判断西瓜是好还是坏？
特征
结果
颜色：绿色 根蒂：蜷缩 ① 敲声：清脆 纹理：清晰 触感：光滑
好瓜
根蒂：蜷缩 ② 敲声：清脆
值t, 那么就将其加入特征子集 • 特征子集的重要性等于特征子集相关统计量的和
27
包裹式
包裹式：直接将分类器的性能作为特征选择中的子集评 估方法 LVW(Las Vegas Wrapper) 是一种典型的包裹式算法 1）在候选特征集中自由选择特征子集 2）在特征子集表示的数据集上，运行学习算法 3）用分类的错误率来评估特征子集的好坏
12
子集搜索
1) 前向搜索: 依次在候选集合中增加相关特征
Optimal feature:
⇒ ������2 ⟹ ������2, ������4 … . .
子集评估
2) 后向搜索: 在候选集合中，依次去除不相关特征
Optimal feature:
These strategies are greedy, only consider optimization of this round 这些方法是贪心的策略，因为是在上一轮的基础上考虑本轮最优， 所以不一定得到最优特征组合
前向搜索，后向搜索，双向搜索
• 特征子集评估方法
基于距离的判据，基于概率密度的判据，基于熵的判据
• 特征选择的策略
过滤式，包裹式，嵌入式
35
目录
• 背景 • 特征选择介绍 • 特征子集搜索与子集评估 • 特征提取 • 特征选择与特征提取讨论 • 总结
36
特征提取
• 特征提取不同于特征选择 • 特征提取是将原始特征通过组合转换到新的特征
纹理：清晰
好瓜
③ 颜色：绿色
① 相比 ②，部分特征冗余，需要选择特征
5
背景
特征: {根蒂，敲声，