第五章-特征选择与特征提取教学内容
特征的提取和选择
特征的提取和选择
特征提取和选择是机器学习中非常重要的环节，它既可以减少计算量，又可以提高模型的性能。
选择较好的特征可以让模型更加简单，更加容易
和快速的训练出最佳参数，从而使得模型更加精确、效果更好。
一般来说，特征提取和选择有以下几步：
1.特征提取。
特征提取关注的是利用现有特征生成新的特征。
它可以
是特征融合（如结合多个特征生成更强大的特征），也可以是特征变换
（如离散特征变换成连续特征）。
2.无关特征删除。
把没有帮助的特征删除，有助于减少模型的运行时间，提高模型的效果。
3.有关特征选择。
把与目标值有很强关联的特征选择出来，这些特征
被称为有关特征，它们可以帮助模型训练出更好的结果。
4.特征降维。
为了减少特征之间的相关性，减少计算量，与有关特征
相关性比较低的特征可以被删除。
5.特征加权。
调整特征的权重，使得有关特征拥有更大的影响力，从
而帮助模型更好的进行预测。
通过这种特征提取和选择的过程，可以把训练集中拥有相关性比较高
的有用特征保留下来，把没用的特征抛弃，有效的提高模型的性能。
第5章-图像特征提取与分析幻灯片课件
像 特
矩来描述颜色的分布。
征 颜色矩通常直接在RGB空间计算。
提 取
颜色分布的前三阶矩表示为：
与 分 析
i
1 N
N
Pij
j 1
i
(1 N
N
(Pij i)2)12
j1
si
( 1 N
N
(Pij
j1
i)3)13
第
4 章
4.2.3
颜色矩
图 特点
像
特 图像的颜色矩有九个分量（3个颜色分量，每个分
征 提
V
H
析 其中两个delta值分别是通过图像卷积下列两个操作
符所得到的水平和垂直方向上的变化量定义的：
1 0 1
111
1 0 1
000
1 0 1
1 1 1
第
4 4.3.2 Tamura 纹理特征
提 取
选取的特征应具有如下特点：
与
可区别性
分 析
可靠性
独立性好
数量少
第
4 章
4.1.1
基本概念
图 特征选择和提取的基本任务
像 特 如何从众多特征中找出最有效的特征。
征 提
图像特征提取的方法
取 与
低层次：形状、纹理、颜色、轮廓等图像某一方面
分 的特征。
析 中层次：
高层次：在图像中层次特征基础上的再一次抽象，
征 提
从广义上讲，图像的特征包括基于文本的特征
取 （如关键字、注释等）和视觉特征（如色彩、纹理、
与 分
形状、对象表面等）两类。
析
视觉特征分类：颜色(color)、形状(shape)、
纹理(texture)等
第五讲特征提取和特征选择
第五讲特征提取和特征选择
**特征提取和特征选择**
特征提取和特征选择是机器学习的重要组成部分，它们既可以提高机
器学习算法的性能、训练速度，也可以帮助研究者了解数据。
特征提取和
特征选择的目的是最大限度地挖掘数据中的有用信息，并创建出一组有意
义的特征，以便进一步的分析和模型建立。
特征提取是指从原始数据中提取出具有含义的特征，一般情况下，特
征提取过程中会涉及到一定的数据预处理、特征提取算法和特征可视化等
步骤。
常见的特征提取方法有主成分分析（PCA）、独立成分分析（ICA）、因子分析（FA）、降维分析（DA）、线性判别分析（LDA）等。
特征选择是从特征矩阵中选择最有效的特征，可以提高模型的准确率，减少模型的运行时间，同时可以更加深入地了解数据。
常见的特征选择方
法有过滤法（Filter）、包裹法（Wrapper）和嵌入法（Embedded）。
特征提取和特征选择非常重要，可以在机器学习的各个阶段发挥重要
作用，比如，可以在训练数据集合的构建阶段快速提取有效特征，以减少
数据集的维度；可以在模型训练阶段和测试阶段选择最优特征，以提高模
型性能，减少运算负担；还可以在结果分析和结论阶段。
特征选择和特征提取
原始测量：（正常与异常）细胞的数字图像 原始特征（特征的形成，找到一组代表细胞性质
的特征）：细胞面积，胞核面积，形状系数，光 密度，核内纹理，核浆比
压缩特征：原始特征的维数仍很高，需压缩以便 于分类
• 特征选择：挑选最有分类信息的特征 • 特征提取：数学变换
– 傅立叶变换或小波变换 – 用PCA方法作特征压缩
– 特征值
对于一个N N的矩阵A，有N个标量k，k 1， N，满足 A k I 0 k 称为矩阵的一组特征值。
如果给定的矩阵是奇异的，那么N个特征值中至
少有一个为0。
矩阵的秩
定义为矩阵非零特征值的个数。
矩阵的条件数 定义为最大特征值与最小特征值
的比值的绝对值。
病态矩阵
条件数很大。
jd1
jd1
因为uj是确定性向量，所以有
u T jE x xT uj u T jR uj
j d 1
j d 1
R r ij E (x ix j) E x x T
求解最小均方误差正交基
特征 提取
用Lagrange乘子法，可以求出满足正交条件下的ε 取极值时 的坐标系统：
特征形成 (acquisition)： 信号获取或测量→原始测量 原始特征
实例： 数字图象中的各像素灰度值 人体的各种生理指标
原始特征分析： 原始测量很大程度上不能反映对象本质
高维原始特征不利于分类器设计：计算量大， 冗余，样本分布十分稀疏。
二、特征的选择与提取
两类提取有效信息、压缩特征空间的方法： 特征提取和特征选择
PCA的求解：特征向量常被叫做“主分量”，每个样 本被它在前几个主分量上的投影近似表示，U张成的空 间称为原空间的子空间，PCA实际上就是在子空间上的 投影.
特征选择与特征提取
特征选择与特征提取特征选择主要是从原始特征集中选择出一部分最具有代表性的特征，以减少数据维度和消除冗余信息，同时提高模型的泛化性能和可解释性。
特征提取则是从原始数据中提取出一组新的特征集，用于替代原始特征集，以更好地表示数据的内在特点。
特征选择和特征提取可以单独使用，也可以结合使用。
特征选择通常从以下几个方面进行考虑：1. 特征重要性：通过模型训练的过程中，可以计算每个特征在模型中的重要性，根据重要性进行特征选择。
例如，可以使用随机森林、决策树等模型计算特征的Gini指数或信息增益，选择重要性较高的特征。
2.相关性分析：通过计算特征之间的相关性，选择与目标变量相关性较高的特征。
例如，可以使用皮尔森相关系数、互信息等方法进行相关性分析。
3.方差分析：通过计算特征的方差，选择方差较大的特征。
方差较大的特征表示特征值在样本间的差异较大，对于区分不同类别的样本有更好的能力。
4.正则化方法：通过添加正则化项，使得模型选择更少的特征。
例如，LASSO正则化可以使得特征的系数趋向于0，从而实现特征选择。
特征提取主要通过以下几种方法进行：2.独立成分分析（ICA）：通过独立地解耦数据的非高斯分布特性，将原始数据分解为独立的子信号，从而实现特征提取。
3.稀疏编码：通过稀疏表示的方式，将原始数据表示为尽可能少的非零元素组成的代码，从而实现特征提取。
4.字典学习：通过学习一个字典，将原始数据表示为字典中原子的线性组合，从而实现特征提取。
特征选择和特征提取的选择与应用主要依赖于具体的数据集和问题。
在选择方法时需要考虑数据的性质、特征与目标变量的相关性、特征的可解释性以及模型的复杂度等因素。
总之，特征选择和特征提取是机器学习领域中常用的数据预处理技术，可以提高模型训练的效果和泛化能力。
在实际应用中，根据不同的需求选择适合的方法，对数据进行处理，提取最有用的特征。
特征选择和特征提取
睛或睁或闭，戴或不戴眼镜；人脸姿态也有相当程度旳变化，深度旋转和平面旋
转可达20度；人脸旳尺度也有多达10％旳变化。
① M幅人脸图像样本，其图像矩阵 T1 , T2 ,TM ，将它们转化为向量
形式，得到M个维向量 1 , 2 , M
E
yy
E
U
xx
U
T
U RU Λ
T
T
T
特征
提取
K-L变换旳性质
K-L坐标系把矩阵R对角化，即经过K-L变
换消除原有向量x旳各分量间旳有关性，
从而有可能去掉那些带有较少信息旳分
量以到达降低特征维数旳目旳
1
Λ
0
2
0
d
主成份分析 ( PCA )
➢原始特征（特征旳形成，找到一组代表细胞性质
旳特征）：细胞面积，胞核面积，形状系数，光
密度，核内纹理，核浆比
➢压缩特征：原始特征旳维数仍很高，需压缩以便
于分类
• 特征选择：挑选最有分类信息旳特征
• 特征提取：数学变换
– 傅立叶变换或小波变换
– 用PCA措施作特征压缩
三、特征提取与K-L变换
特征提取：用映射（或变换）旳措施把原始
• 这种措施首先将人脸图像映射为高维空间旳向量，然后应
用基于统计旳离散K-L变换措施，构造一种各分量互不有
关旳特征空间，即特征脸空间，再将人脸图像在高维空间
中旳向量映射到特征脸空间，得到特征系数。
ORL人脸库(英国剑桥大学)
第八讲 特征提取和特征选择(讲义)
第八讲特征提取和特征选择一、基本概念1、特征的生成（1）原始特征的采集和转换通过对原始特征的信号采集，获得样本的原始表达数据，从原始数据中选择或计算出对分类任务有用的原始特征，并转换成可用的形式原始数据：像素点RGB值矩阵可用的原始特征：轮廓特征颜色特征纹理特征数学特征（2）有效特征的生成目的：降低特征维数，减少信息冗余提升特征的有效性方法：特征提取：提高特征对类别的分辨能力特征选择：寻找对分类最重要的特征 2、 特征提取通过某种变换，将原始特征从高维空间映射到低维空间。
A ：X →Y ； A 为特征提取器，通常是某种正交变换。
最优特征提取：J(A*)=max J(A)， J 是准则函数3、 特征选择从一组特征中挑选出一些最有效的特征，以达到降低特征空间维数的目的。
Dd d i S y y y y F x x x S i d D <=∈→;,...,2,1,},......,,{:},......,,{:2121原始特征集合S 中包含D 个特征，目标特征集合F 中包含d 个特征；最优特征选择：J(F*)=max J(F)， J 是准则函数 4、 准则函数的选取（1） 准则函数的选取原则分类正确率是最佳的特征提取和特征选择准则函数，但难以计算。
实用的类别可分性准则函数应满足以下要求：与分类正确率有单调递增关系当特征独立时具有可加性：∑==dk kijd ij x J x x x J 1)()...21，，，（具有标量测度特性：⎪⎩⎪⎨⎧===≠>ji ij ij ij J J j i J j i J 时，当时，当00对特征具单调性：)...)...12121＋，，，，（，，，（ddijdij xxxxJxxxJ<（2）类内类间距离是各类的先验概率。
，中的样本数，为中的样本数，为），（：值，称为类内类间距离向量之间的距离的平均离，则各类中各特征）为这两个向量间的距，（特征向量，维类中的类及分别为，类，令设一个分类问题共有定义：jijjiinknljlikci jicjjidjlikjijlikPPnnxxnnPPxJxxxxai jωωδδωω∑∑∑∑=====1111121)()()()()()()(Dc.例：∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑================⨯⨯⨯⨯⨯⨯⨯⨯========2121222221311212312121213131111111212121211111221213212123121331211212340602121k l l k k l l k k l l k k l l k n k n l j l i k i ji j jid n k n l j l i k c i ji cj jid x xP P x xP P x x P P x x P P x x n n P P x J n n P P c x x n n P P x J ijij），（＋），（＋），（＋），（），（），（)()()()()()()()()()()()()(,,.,.,)(δδδδδδ对于随机性统计分类，类内类间距离和分类错误率不相关 b.类内类间距离的分解()()()()()()()()m m m mn P m xm xn P m m m m m x m x n P x J mP m m x m i m x x x x x x i Tici ii n k i i kTii kic i in k i Ti i i kTii kici i d ci ii n k i k n i i j l i k j l i k j l i k iiii--+--=⎥⎥⎦⎤⎢⎢⎣⎡--+--===∑∑∑∑∑∑∑=======11111111111)()()()()()()(T )()()()( )( : 则总均值向量：表示所有各类样本集的用类样本集的均值向量表示第用）－（）－）＝（，（则有的距离，度量两个特征向量之间如采用均方欧氏距离来δ()()()()()bw b w b w d Ti ic i ib n k Tii kii kici iw J J S tr S tr S S tr x J m m m mP S m x m x n P S i+=+=+=--=--=∑∑∑===)()( )( )()(则间离散度矩阵分别为令类内离散度矩阵和类1111Jw 称为类内平均距离，Jb 称为是类间平均距离从类别可分性的要求来看，希望Jw 尽可能小， Jb 尽可能大 （3） 概率距离类间的概率距离可用分布函数之间的距离来度量完全可分：若p(x|ω1) ≠0时， p(x|ω2)＝0；完全不可分：对任意x ，都有 p(x|ω1) ＝ p(x|ω2)；性的概率距离度量则可作为两类之间可分；为、当两类完全不可分是取得最大值；、当两类完全可分时；、满足以下条件：若任何函数0c b 0a ],),|(),|([)(p p p p J J J dx P P x p x p g J ≥=∙⎰2121ωω二、 使用类内类间距离进行特征提取1、 准则函数的构造：类内类间距离为：Jd=Jw+Jb ＝tr （Sw ＋Sb)其中Jw 是类内平均距离，Jb 是类间平均距离通常给定一个训练集后，Jd 是固定的，在特征提取时，需要加大Jb ，减小Jw ，来获得满意的分类效果。
人工智能开发技术中的特征选择与特征提取技巧
人工智能开发技术中的特征选择与特征提取技巧在人工智能开发技术的领域中，特征选择和特征提取是两个关键的环节，能够对数据进行处理和优化，从而提高机器学习算法的准确性和性能。
特征选择的目标是从原始特征中选择最具有代表性和区分性的子集，而特征提取则是将原始特征进行转换和组合，得到新的特征空间。
本文将介绍人工智能开发技术中的特征选择和特征提取技巧，并探讨它们在不同应用领域中的应用。
一、特征选择技巧特征选择在机器学习中有着重要的地位，它能够提高模型的泛化能力和训练的效率。
在进行特征选择时，需要考虑以下几个方面：1. 相关性分析：通过计算特征与目标变量之间的相关性，判断特征对目标变量的贡献程度。
常用的方法有皮尔逊相关系数和互信息等。
相关系数越大，则特征对目标变量的相关性越强，应优先选择。
2. 嵌入式方法：在特征选择的训练过程中，将特征选择过程嵌入到机器学习算法中。
常用的方法有L1正则化和决策树等。
L1正则化能够使得某些特征的系数为0，从而实现特征选择的效果。
3. 过滤式方法：在特征选择之前，通过统计量或某种评价函数对特征进行排序，选择排名靠前的特征。
常用的过滤式方法有相关系数法、卡方检验和相关矩阵等。
二、特征提取技巧特征提取是将原始特征进行转换和组合，从而得到新的特征空间。
特征提取的目标是减少特征空间的维度，同时保留原始数据的关键信息。
在进行特征提取时，需要考虑以下几个方面：1. 主成分分析（PCA）：PCA是一种经典的降维方法，通过线性变换将原始特征投影到新的低维子空间中。
这样可以保留原始数据的主要信息，并且降低特征空间的维度。
2. 独立成分分析（ICA）：ICA是一种盲源分离方法，通过寻找数据中的独立成分，将原始特征进行线性组合。
这样可以从原始数据中分离出相互独立的特征。
3. 非负矩阵分解（NMF）：NMF是一种非线性的降维方法，通过将原始特征分解为非负的基向量和系数矩阵。
这样可以得到原始数据的非负线性表示，从而获得更加有意义和准确的特征表示。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
难分的类对的可分性，选择可分性最大的特征组合作 为新的最优特征子集。 四、重复执行第三步，直到最优的特征子集达到m。
9
（5）搜索树 是一种自上而下的搜索方法，具有回溯功
能，使得所有的特征组合都能被考虑到。搜 索树具有最大的特点是所用到的可分性函数 具有单调性，利用单调性的特点，减少对一 些特征组合的搜索。
5
B、选择特征的算法 定义：短时间内找出高光谱数据波段中最 优的一组特征常用算法介绍： （1）单独选择法
根据可分性准则函数计算n个特征中每个特征可 分性，然后根据各个特征的可分性大小进行排序， 选择可分性最大的前m（n>m）个特征。
6
（2）扩充最优特征子集 一、计算每个特征对应的所有类别的可分性，选择
16
两种分布的可分离性比较
17
（2）类别间的相对距离
根据费歇尔准则，分类时总是希望类内的离散 度尽量小，类间的离散度尽量大，那么根据这 个定律，可以作为相对距离的一个度量，度量 的公式，都是根据类内和类间离散度矩阵来进 行定义。
18
（3）离散度
相对距离是基于类间距离和类内方差，类内方 差越大，分类误差越大。而离散度则是基于条 件概率之差，表达式为：
D ijE [L 'i(jX )/w i]E [L 'i(jX )/w j]
L ij 代表某一点的似然比
L
' ij
代表似然比的自然对数
E 代表期望值
19
（4）J-M 距离
J-M距离也是基于类条件概率之差，与离散度 的评价方式一样，其表达式为：
Jij {[p (X /w i)p (X /w j)]2d} 1 X /2
15
（1）各类样本间的平均距离
各类样本之间的距离越大，类别可分性越大，因此可 以利用各类样本之间的距离的平均值作为可分性的准 则。
常用的距离函数有：欧氏距离，马氏距离，明氏距离 等。
p
欧几里德距离： dij (xki xkj)2 kl
需要注意：很多情况下，类别之间的平均距离并不一 定代表了类别之间的可分性。如下图所示
大值的情况下，所得到的错误概率应该是最小 的。
（2）度量特性。设定两类地物类别i，j的度量特
性为
J
ij
，J
越大，两类特征的分离程度越大。
ij
（3）单调性，新加入的特征，准则函数的值并
不减小。
14
光谱距离可分性准则
从n个特征中求取最有效的m个特征，相应的 组合方式有：C nm种，主要的考核指标： （1）各样本之间的平均距离； （2）类别间的相对距离； （3）离散度； （4）J-M距离； （5）基于熵函数的可分性准则
择可分性最大的特征进入最优子集。 三、增加一个特征，形成新的组合，计算新组合对
于最难分的类对的可分性，选择可分性最大的特 征组合作为新的最优特征子集。 四、重复执行第三步，直到最优的特征子集达到m。
8
（4）去掉最难分类正确分类贡献最小 一、根据类别可分性函数计算每一个类对的可分性，找
出最难分的类对。 二、计算各个特征对于最难分的类对的可分性，去掉择
第一个策略比较难照顾到分布比较集中的类别，如 果使用这个策略，选用能均衡照顾到各类的可以弥 补其不足；第二个策略能照顾到最难分的类别，但 是可能会漏掉某些可分性最大的特征，从而使分类 精度下降。思想，使 效率和模式分布能够达到平衡。如果模式分布 的比较均匀，选择哪一个策略都是无关紧要的； 但是如果模式分布的不均匀，选择第一个策略 就必须考虑可分性准则的有效性，选择第二个 策略就必须考虑最难分的类别，提高分类精度。
熵是一种不确定性的度量，熵函数越大，模式 归属为那一类的就越模糊，从而类别间的可分 性就越小。
21
5.1.2 光谱特征位置搜索
特征位置通常是指：特征吸收波段的位置 包络线去除（包络线归一化）方法的具体步骤
如下：
x
J-M距离的组成成分与离散度是一样的，只是 函数表现形式不一样，因此，把离散度加以改 造，也能够很好的区分类别之间的距离和可分 离性。
20
（5）基于熵函数的可分性准则
在信息论中，一般用“熵”作为不确定性的度 量，是错误概率的函数。为了对所有特征进行 评价，需要计算空间中每一个点的熵函数，因 此利用熵函数期望值就可以表征类别的分离成 都，它可以用来作为提取特征分类性能的准则 函数。
10
必须指出的是以上的算法均假设各个特征之 间相互独立，没有考虑特征之间的相关性。 实际上，各个特征之间是存在相关性的，首 先应该剔除一些可分性小，与其他特征相关 性大的特征，选择最优，可分性最大的特征 组。
11
光谱特征选择的策略按照以上选择的方法 来划分类别，我们从以下三个方面的内容 来具体介绍： 一、光谱距离统计 二、光谱特征位置搜索 三、光谱相关性分析
第五章-特征选择与特征提取
5.1 光谱特征的选择
2
特征选择的方法是根据专家知识来进行挑选或者 是根据类别可分性准则选择。前者由于涉及到人 为的因素比较多，因此不作讨论；后者根据类别 可分性准则，挑选光谱特征。
选择步骤： A、选择可分性准则，确定使用策略 B、确定选择特征的算法
3
A、选择可分性准则 选择可分性准则有两个策略： 一、选择各类平均可分性最大的特征 二、选择最难分的类别具有的可分性最大的特征
可分性最大的进入到最优子集当中； 二、增加一个特征构成新的特征集，重新计算特征
集合的可分性，选择最大的特征组合作为新的最 优子集。 三、重复执行第二步，直到最优的特征子集达到m 个为止。
7
（3）选择最难分类的类对做出正确分类贡献最大 一、根据类别可分性函数计算每一个类对的可分性，
找出最难分的类对。 二、计算各个特征对于最难分的类对的可分性，选
12
5.1.1 光谱距离统计
光谱距离统计是考虑在进行特征选择时，需要依据一定的 准则进行判断。类别可分性根据这些判据能够反映各类在 特征空间的分布情况，还能刻划各特征分量在分类识别中 的重要性或贡献。
13
满足光谱距离可分性的要求：
设计光谱可分性的准则必须满足三个方面的要 求：
（1）与错误概率具有单调关系，这样准则取最