特征选择与提取
5.1 基本概念 5.2 类别可分性测度 5.3 基于类内散布矩阵的单类模式特征提取 5.4 基于K-L变换的多类模式特征提取
5.1 基本概念
1．两种数据测量情况
① 由于测量上可实现性的限制或经济上的考虑，所获得的测量
值为数不多。 ② 能获得的性质测量值很多。如果全部直接作为分类特征，耗 费机时，且分类效果不一定好。有人称之为“特征维数灾难”。 特征选择和提取的目的：经过选择或变换，组成识别特征， 尽可能保留分类信息，在保证一定分类精度的前提下，减少特征
x2
x2 B 2
' x2
x1'
B B A
x2 A2
[法2]：① 特征抽取：测量
物体向两个坐标轴的投影 值，则A、B各有2个值域区
x1
x2 B1 x2 A1
x1B1
x1 A1
间。可以看出，两个物体的 投影有重叠，直接使用投影 值无法将两者区分开。
x1B 2 x1ห้องสมุดไป่ตู้2
② 分析：将坐标系按逆时针方向做一旋转变化，或物体按顺时
k2 ：C主对角线上的元素，表示模式向量第k个分量的方差；
2) 类内散布矩阵：表示各样本点围绕均值的散布情况 ——该类分布的协方差矩阵。
特征选择和提取的结果应使类内散布矩阵的迹愈 小愈好。 ？愈好。
2．类间距离和类间散布矩阵 1) 类间距离：模式类之间的距离，记为 Db 。
2 b c 2 c
D P(i ) || M i M 0 || P(i )(M i M 0 ) T ( M i M 0 )
i ： i 类的第 k 个样本； X l j ： ω j 类的第 l 个样本； Xk
n i 和 n j ： i 和 ω j 类的样本数；
i i 和 X l j 间欧氏距离的平方。 D2 ( X k , X lj ) ： X k
(2) Jd的另一种形式：将以下3式代入(5-8)式
i i i , Xlj ) ( X k X l j )T ( X k X lj ) 平方距离： D2 ( X k ni i 类的均值向量： Mi 1 X ki ni k 1 c c类模式总体的均值向量： M 0 P(i ) M i
若{X}中的样本相互独立，有
T T D2 2E{X T X} 2E{X T }E{X} 2[ E{X X } M M ]
n
2tr[ R MM T ] 2tr[C ] 2 k
k 1
2
式中，R：该类模式分布的自相关矩阵； M：均值向量； C：协方差矩阵； tr：矩阵的迹（方阵主对角线上各元素之和）。
3．多类模式向量间的距离和总体散布矩阵 1）两类情况的距离
设 ω1 类中有 q 个样本， ω2 类中有 p 个样本。
q个
p个
ω1
共p×q个距离
2
两个类区之间的距离 = p×q个距离的平均距离
类似地 多类情况
多类间任意两个点间距离的平均距离 多类间任意两个点间平方距离的平均值
任意类的组 特定两类间 2）多类情况的距离 合 任意样本的组合 (1)多类模式向量间的平均平方距离Jd n c 1 c 1 ni j 2 i j J d P(i ) P( j ) D ( X , X （5-8） k l ) 2 i 1 ni n j k 1 l 1 j 1 式中， P(ωi ) 和 P( j ) ： i 和 ω j 类先验概率；c：类别数；
类别可 分性测 度
5.2.1 基于距离的可分性测度 1．类内距离和类内散布矩阵
1) 类内距离：同一类模式点集内，各样本间的均方距离。
平方形式： D 2 E{|| Xi X j ||2} E{( Xi X j )T ( Xi X j )}
Xi,，Xj： n维模式点集{X}中的任意两个样本 。
' 针方向变，并适当平移等。根据物体在 轴上投影的坐标值的正 x2 负可区分两个物体。
——特征提取，一般用数学的方法进行压缩。
5.2 类别可分性测度
类别可分性测度：衡量类别间可分性的尺度。 空间分布：类内距离和类间距离 随机模式向量：类概率密度函数 错误率 与错误率有关的距离
相似性测度：衡 量模式之间相似 性的一种尺度
2) 类间散布矩阵：表示c类模式在空间的散布情况，记为Sb。
Sb P(i )(M i M 0 )(M i M 0 ) T
i 1
2 3) 类间距离与类间散布矩阵的关系： Db tr{Sb } 类间散布矩阵的迹愈大愈有利于分类。 类间散布矩阵的迹愈？愈有利于分类。
注意：与类间距离 的转置位置不同。
i 1 i 1
式中， P(ωi ) ： i 类的先验概率；
每类模式均值向量 与模式总体均值向 M i ： i 类的均值向量； 量之间平方距离的 M 0 ：所有 c 类模式的总体均值向量。 先验概率加权和。
M0 EX
c i 1 c
X i , i 1,2,, c
P(i ) M i
维数，使分类器的工作即快又准确。
2．对特征的要求 (1) 具有很大的识别信息量。即应具有很好的可分性。
(2) 具有可靠性。模棱两可、似是而非、时是时非等不易判别
的特征应丢掉。 (3) 尽可能强的独立性。重复的、相关性强的特征只选一个。
(4) 数量尽量少，同时损失的信息尽量小。
3. 特征选择和特征提取的异同 （1）特征选择：从L个度量值集合 x1 , x2 , xL 中按一定准 则选出供分类用的子集，作为降维（m维，m < L）的分类 特征。 （2）特征提取：使一组度量值 ( x1 , x2 , xL ) 通过某种变换 hi 产生新的m个特征 ( y1 , y2 , ym ) ，作为降维的分类特征， 其中 i 1,2,, m ; m L 。
当模式在空间中发生移动、旋转、缩放时，特征值应保持 不变，保证仍可得到同样的识别效果。
例：特征选择与特征提取的区别：对一个条形和圆进行识别。
解：[法1] ① 特征抽取：测量三个结构特征
B
(a) 周长
A
(b) 面积 (c)两个互相垂直的内径比
② 分析： (c)是具有分类能力的特征，故选(c)， 扔掉(a) 、 (b) 。 —— 特征选择：一般根据物理特征或结构特征进行压缩。
特征提取与特征选择的区别与联系(四)
特征提取与特征选择是机器学习和模式识别领域的两个重要概念，它们在数据分析和模型构建中扮演着至关重要的角色。
在本文中，我将探讨特征提取与特征选择的区别和联系，以及它们在实际应用中的作用。
特征提取是指从原始数据中提取对于解决问题有用的信息的过程。
在机器学习或模式识别任务中，通常需要从大量的原始数据中提取出最能够反映数据特点的特征，这些特征可以是数值型、文本型、图像型等。
特征提取的目的是将原始数据转化为更加易于处理和分析的形式，同时保留数据的重要信息。
常见的特征提取方法包括主成分分析（PCA）、独立成分分析（ICA）、小波变换等。
与特征提取不同，特征选择是指从原始特征中选择出最具有代表性、对模型构建有帮助的特征的过程。
在实际应用中，原始数据可能包含大量的特征，但并不是所有的特征都对于解决问题有用，有些特征可能是噪声或冗余的。
因此，通过特征选择可以剔除这些无用的特征，提高模型的准确性和泛化能力。
常见的特征选择方法包括过滤式特征选择、包裹式特征选择和嵌入式特征选择等。
特征提取和特征选择之间有着一定的联系。
特征提取可以看作是一种特征选择的方式，它不仅可以提取原始数据中的重要信息，还可以通过降维的方式来减少特征的数量。
而特征选择则是在原始特征的基础上进行筛选，保留最具有代表性的特征。
在实际应用中，常常会将特征提取和特征选择结合起来，以达到更好的效果。
特征提取与特征选择在实际应用中有着广泛的应用。
以图像识别为例，通过对图像进行特征提取和特征选择，可以将图像中的信息转化为机器可以理解和处理的形式，从而实现图像的自动识别和分类。
在自然语言处理领域，通过对文本进行特征提取和特征选择，可以从中提取出关键词、短语等信息，用于文本分类、情感分析等任务。
总的来说，特征提取和特征选择是机器学习和模式识别中至关重要的步骤，它们可以帮助我们从海量的数据中提取出最有用的信息，为模型构建提供有力的支持。
同时，特征提取和特征选择也是一门值得深入研究的学科，在不断的实践中不断完善和发展。
特征的提取和选择
特征的提取和选择
特征提取和选择是机器学习中非常重要的环节，它既可以减少计算量，又可以提高模型的性能。
选择较好的特征可以让模型更加简单，更加容易
和快速的训练出最佳参数，从而使得模型更加精确、效果更好。
一般来说，特征提取和选择有以下几步：
1.特征提取。
特征提取关注的是利用现有特征生成新的特征。
它可以
是特征融合（如结合多个特征生成更强大的特征），也可以是特征变换
（如离散特征变换成连续特征）。
2.无关特征删除。
把没有帮助的特征删除，有助于减少模型的运行时间，提高模型的效果。
3.有关特征选择。
把与目标值有很强关联的特征选择出来，这些特征
被称为有关特征，它们可以帮助模型训练出更好的结果。
4.特征降维。
为了减少特征之间的相关性，减少计算量，与有关特征
相关性比较低的特征可以被删除。
5.特征加权。
调整特征的权重，使得有关特征拥有更大的影响力，从
而帮助模型更好的进行预测。
通过这种特征提取和选择的过程，可以把训练集中拥有相关性比较高
的有用特征保留下来，把没用的特征抛弃，有效的提高模型的性能。
第五讲特征提取和特征选择
第五讲特征提取和特征选择
**特征提取和特征选择**
特征提取和特征选择是机器学习的重要组成部分，它们既可以提高机
器学习算法的性能、训练速度，也可以帮助研究者了解数据。
特征提取和
特征选择的目的是最大限度地挖掘数据中的有用信息，并创建出一组有意
义的特征，以便进一步的分析和模型建立。
特征提取是指从原始数据中提取出具有含义的特征，一般情况下，特
征提取过程中会涉及到一定的数据预处理、特征提取算法和特征可视化等
步骤。
常见的特征提取方法有主成分分析（PCA）、独立成分分析（ICA）、因子分析（FA）、降维分析（DA）、线性判别分析（LDA）等。
特征选择是从特征矩阵中选择最有效的特征，可以提高模型的准确率，减少模型的运行时间，同时可以更加深入地了解数据。
常见的特征选择方
法有过滤法（Filter）、包裹法（Wrapper）和嵌入法（Embedded）。
特征提取和特征选择非常重要，可以在机器学习的各个阶段发挥重要
作用，比如，可以在训练数据集合的构建阶段快速提取有效特征，以减少
数据集的维度；可以在模型训练阶段和测试阶段选择最优特征，以提高模
型性能，减少运算负担；还可以在结果分析和结论阶段。
高光谱影像特征选择与提取
高光谱影像特征选择与提取高光谱遥感影像是指通过遥感技术获取的光谱波段范围较宽的遥感影像，相比于普通遥感影像，具有更多的光谱信息。
高光谱影像的特征选择与提取是指从大量的光谱波段中选择出最能表达影像特征的波段，并对这些波段进行特征提取，以达到降维、去冗余和突出关键信息的目的。
本文将介绍高光谱影像特征选择与提取的方法和应用。
高光谱影像特征选择主要有两个目标：一是减少维度，将原始光谱数据降维为较低维度的特征向量，以方便后续处理；二是挖掘出与分类或回归任务相关的关键特征波段，以提高分类或回归的准确性。
常用的特征选择方法包括相关系数法、信息增益法、主成分分析法等。
相关系数法通过计算每个波段与所研究对象的相关程度，选择与目标变量相关性较强的波段作为特征波段。
信息增益法则根据每个波段对目标变量的贡献度选择特征波段，贡献度高的波段被认为是最有价值的特征波段。
主成分分析法则通过对原始光谱数据进行线性变换，将原始变量转换成一组互不相关的主成分，从而实现降维的目的。
在特征选择的基础上，还需要进行特征提取，以提取出更具有鉴别能力的特征。
常用的特征提取方法包括谱角法、植被指数法、特征空间法等。
谱角法是基于波段直接组合获取鉴别能力强的特征，通过计算不同波段之间的角度，来提取出能够鉴别不同地物的特征。
植被指数法是基于植被光谱反射率特点的一种特征提取方法，通过计算植被指数，如归一化植被指数（NDVI）、差值植被指数（DVI）等，来提取出与植被相关的特征。
特征空间法是基于光谱波段组合的一种特征提取方法，通过对多个波段进行线性或非线性组合，生成新的特征空间，从而提取出不同地物的特征。
除了上述方法，还可以通过机器学习算法，如支持向量机、决策树等，来进行特征选择与提取。
这些算法能够在训练模型的过程中自动选择最具有鉴别能力的特征，并对其进行提取。
高光谱影像特征选择与提取在农业、环境监测、地质勘探等领域有着广泛的应用。
例如，在农业领域，可以通过对农作物的高光谱影像进行特征选择与提取，来实现病虫害的自动检测与预警；在环境监测领域，可以通过高光谱影像进行景观类型分类与变化监测；在地质勘探领域，可以通过高光谱影像提取地质矿产信息，实现资源勘探与开发。
特征提取与特征选择的区别与联系(七)
特征提取与特征选择的区别与联系特征提取和特征选择是机器学习和模式识别领域中常用的两种特征处理方法。
它们都是在原始特征空间中对特征进行加工和处理，以便更好地应用于后续的分类、聚类或回归任务。
虽然它们都是对特征进行处理，但是它们的目的和方法却有很大的不同。
下面我们将详细探讨特征提取与特征选择的区别与联系。
特征提取是指从原始特征中抽取出新的特征表示。
在实际应用中，原始特征往往具有冗余和噪声，通过特征提取可以将原始特征进行变换，得到更具有辨识度和可分性的特征表示。
常见的特征提取方法包括主成分分析（PCA）、线性判别分析（LDA）、独立成分分析（ICA）等。
这些方法通过线性或非线性的变换，将原始特征映射到一个新的特征空间中，以便更好地进行后续的分类或聚类任务。
特征选择则是从原始特征中选择出子集，以降低维度、提高模型的泛化能力和减少计算复杂度。
特征选择方法包括过滤式、包裹式和嵌入式三种。
过滤式方法通过对特征进行打分或排序，然后选择得分高的特征作为子集；包裹式方法则是将特征选择看作一个搜索问题，针对具体的学习算法进行搜索；嵌入式方法则是将特征选择融入到学习器的训练过程中。
这些方法都是通过评估特征子集的质量，选择对模型性能影响最大的特征子集。
特征提取和特征选择在目的和方法上存在着很大的不同。
特征提取的目的是通过变换原始特征，得到更具有可分性和辨识度的新特征表示，从而提高模型的性能；而特征选择的目的则是通过选择出对模型性能影响最大的特征子集，降低维度、提高泛化能力和减少计算复杂度。
从方法上看，特征提取是通过线性或非线性的变换，将原始特征映射到一个新的特征空间中；而特征选择则是在原始特征空间中进行子集选择，保留对模型性能影响最大的特征子集。
特征提取和特征选择虽然在目的和方法上有很大的不同，但是它们之间也存在着联系。
首先，特征提取可以看作是一种特殊的特征选择，它通过对原始特征进行变换和映射，得到一个新的特征表示，实质上也是在选择对模型性能影响最大的特征子集。
特征提取与特征选择的区别与联系
特征提取与特征选择的区别与联系在机器学习和数据挖掘领域，特征提取和特征选择是两个重要的概念。
它们在数据预处理和模型构建中起着至关重要的作用。
本文将探讨特征提取与特征选择的区别与联系，并从理论和实践角度进行深入分析。
1. 特征提取的定义与意义首先，我们来看看特征提取的定义与意义。
特征提取是指从原始数据中提取出具有代表性的特征，以便进行后续的数据分析和建模。
在实际应用中，原始数据往往包含大量的冗余信息和噪声，特征提取的目的就是通过某种算法或方法，对原始数据进行转换或映射，得到更加有用和有效的特征表示。
这样可以提高模型的准确性和泛化能力，同时减少计算复杂度和存储空间的消耗。
特征提取的方法有很多种，比如主成分分析（PCA）、独立成分分析（ICA）、线性判别分析（LDA）等。
这些方法都是通过对原始数据进行变换，得到新的特征表示，从而达到降维、去噪或增强特征的目的。
2. 特征选择的定义与意义接下来，我们再来看看特征选择的定义与意义。
特征选择是指从原始特征中选择出最具有代表性和重要性的特征子集，以用于后续的建模和预测。
在实际应用中，原始特征往往包含很多冗余和无关的信息，特征选择的目的就是找出对目标变量影响最大的特征，从而简化模型、提高预测性能和可解释性。
特征选择的方法有很多种，比如过滤式、包裹式和嵌入式等。
过滤式方法是直接对特征进行评估和排序，选择最高分的特征子集；包裹式方法是把特征选择看作一个搜索问题，通过试验不同的特征子集来找到最佳组合；嵌入式方法则是在模型训练过程中，通过正则化或增加惩罚项的方式来选择特征。
3. 特征提取与特征选择的区别特征提取与特征选择虽然都是对原始数据或特征进行处理，但它们在目的和方法上有着明显的区别。
首先，特征提取是通过某种变换或映射，得到新的特征表示，目的是降维、去噪或增强特征；而特征选择是从原始特征中选择出最具有代表性和重要性的特征子集，目的是简化模型、提高预测性能和可解释性。
特征提取与特征选择的区别与联系(Ⅲ)
特征提取和特征选择是机器学习和数据挖掘领域中常用的两个概念。
虽然它们都是为了从原始数据中提取出有用的特征以便进行进一步的分析和建模，但是它们之间有着明显的区别和联系。
首先我们来看看特征提取，特征提取是指从原始数据中提取出一些能够代表数据特征的特征。
这些特征可以是原始数据中的某些属性，也可以是对原始数据进行某种变换得到的新的特征。
特征提取的目的是将原始数据转化为更容易被机器学习算法处理的形式，同时保持数据的最重要的特征。
特征提取的方法有很多种，比如说主成分分析（PCA）、线性判别分析（LDA）、小波变换等。
这些方法可以将高维度的数据降维到低维度，从而减小了数据的复杂度，提高了机器学习的效率。
特征提取的过程可以看成是对数据的一种抽象和概括，它的目的是提取出对于目标任务最有用的信息。
而特征选择则是在特征提取的基础上进行的一个步骤。
特征选择是指从已有的特征中选择出对目标任务最有用的特征。
在特征提取的过程中，可能会产生大量的特征，有些特征可能对于目标任务没有太大的作用，甚至会影响到机器学习算法的性能。
因此需要进行特征选择，选择出对目标任务最有用的特征，去除那些冗余或者无关的特征。
特征选择的方法也有很多种，比如说过滤式特征选择、包裹式特征选择、嵌入式特征选择等。
过滤式特征选择是指通过对特征进行评估，选择出对目标任务最有用的特征，比如说使用相关系数或者信息增益进行特征评估。
包裹式特征选择是指在特征子集上训练出一个机器学习模型，通过模型的性能来评估特征的重要性。
嵌入式特征选择则是指在模型训练的过程中自动选择出对目标任务最有用的特征，比如说使用正则化方法。
特征提取和特征选择在实际应用中经常会同时进行，它们之间有着很大的联系。
特征提取会产生大量的特征，在特征选择的过程中，有时候也需要对特征进行一些变换和组合。
比如说，在包裹式特征选择的过程中，需要对特征子集进行训练，可能需要将特征进行某种组合，而这个过程有点类似于特征提取。
模式识别7-特征选择和提取
了识别对象的某些特征，简单地删去某些特征可能会
丢失较多的有用信息。
• 如果将原来的特征做正交变换，获得的每个数据都是
原来n个数据的线性组合，然后从新的数据中选出少
数几个，使其尽可能多地反映各类模式之间的差异，
而这些特征间又尽可能相互独立，则比单纯的选择方
➢遗传算法
单独最优特征组合
特征
选择
计算各特征单独使用时的可分性判据J并加
以排队，取前d个作为选择结果
不一定是最优结果
当可分性判据对各特征具有(广义)可加性，
该方法可以选出一组最优的特征来，例：
➢各类具有正态分布
➢各特征统计独立
➢可分性判据基于Mahalanobis距离
d
J ij ( x1 , x2 ,..., xd ) J ij ( xk ) J D (x) (μi μ j )T 1(μi μ j )
k 1
顺序前进法
特征
选择
自下而上搜索方法。
每次从未入选的特征中选择一个特征，使得
它与已入选的特征组合在一起时所得的J值
为最大，直至特征数增加到d为止。
该方法考虑了所选特征与已入选特征之间的
相关性。
顺序后退法
特征
选择
该方法根据特征子集的分类表现来选择特征
搜索特征子集：从全体特征开始，每次剔除
➢ 当特征独立时有可加性：
k 1
➢ 单调性：
J ij ( x1 , x2 ,..., xd ) J ij ( x1 , x2 ,..., xd , xd 1 )
常见类别可分离性判据：基于距离、概率分布、熵
函数
特征选择与特征提取
特征选择与特征提取特征选择主要是从原始特征集中选择出一部分最具有代表性的特征，以减少数据维度和消除冗余信息，同时提高模型的泛化性能和可解释性。
特征提取则是从原始数据中提取出一组新的特征集，用于替代原始特征集，以更好地表示数据的内在特点。
特征选择和特征提取可以单独使用，也可以结合使用。
特征选择通常从以下几个方面进行考虑：1. 特征重要性：通过模型训练的过程中，可以计算每个特征在模型中的重要性，根据重要性进行特征选择。
例如，可以使用随机森林、决策树等模型计算特征的Gini指数或信息增益，选择重要性较高的特征。
2.相关性分析：通过计算特征之间的相关性，选择与目标变量相关性较高的特征。
例如，可以使用皮尔森相关系数、互信息等方法进行相关性分析。
3.方差分析：通过计算特征的方差，选择方差较大的特征。
方差较大的特征表示特征值在样本间的差异较大，对于区分不同类别的样本有更好的能力。
4.正则化方法：通过添加正则化项，使得模型选择更少的特征。
例如，LASSO正则化可以使得特征的系数趋向于0，从而实现特征选择。
特征提取主要通过以下几种方法进行：2.独立成分分析（ICA）：通过独立地解耦数据的非高斯分布特性，将原始数据分解为独立的子信号，从而实现特征提取。
3.稀疏编码：通过稀疏表示的方式，将原始数据表示为尽可能少的非零元素组成的代码，从而实现特征提取。
4.字典学习：通过学习一个字典，将原始数据表示为字典中原子的线性组合，从而实现特征提取。
特征选择和特征提取的选择与应用主要依赖于具体的数据集和问题。
在选择方法时需要考虑数据的性质、特征与目标变量的相关性、特征的可解释性以及模型的复杂度等因素。
总之，特征选择和特征提取是机器学习领域中常用的数据预处理技术，可以提高模型训练的效果和泛化能力。
在实际应用中，根据不同的需求选择适合的方法，对数据进行处理，提取最有用的特征。
人工智能开发技术中的特征选择与特征提取技巧
人工智能开发技术中的特征选择与特征提取技巧在人工智能开发技术的领域中，特征选择和特征提取是两个关键的环节，能够对数据进行处理和优化，从而提高机器学习算法的准确性和性能。
特征选择的目标是从原始特征中选择最具有代表性和区分性的子集，而特征提取则是将原始特征进行转换和组合，得到新的特征空间。
本文将介绍人工智能开发技术中的特征选择和特征提取技巧，并探讨它们在不同应用领域中的应用。
一、特征选择技巧特征选择在机器学习中有着重要的地位，它能够提高模型的泛化能力和训练的效率。
在进行特征选择时，需要考虑以下几个方面：1. 相关性分析：通过计算特征与目标变量之间的相关性，判断特征对目标变量的贡献程度。
常用的方法有皮尔逊相关系数和互信息等。
相关系数越大，则特征对目标变量的相关性越强，应优先选择。
2. 嵌入式方法：在特征选择的训练过程中，将特征选择过程嵌入到机器学习算法中。
常用的方法有L1正则化和决策树等。
L1正则化能够使得某些特征的系数为0，从而实现特征选择的效果。
3. 过滤式方法：在特征选择之前，通过统计量或某种评价函数对特征进行排序，选择排名靠前的特征。
常用的过滤式方法有相关系数法、卡方检验和相关矩阵等。
二、特征提取技巧特征提取是将原始特征进行转换和组合，从而得到新的特征空间。
特征提取的目标是减少特征空间的维度，同时保留原始数据的关键信息。
在进行特征提取时，需要考虑以下几个方面：1. 主成分分析（PCA）：PCA是一种经典的降维方法，通过线性变换将原始特征投影到新的低维子空间中。
这样可以保留原始数据的主要信息，并且降低特征空间的维度。
2. 独立成分分析（ICA）：ICA是一种盲源分离方法，通过寻找数据中的独立成分，将原始特征进行线性组合。
这样可以从原始数据中分离出相互独立的特征。
3. 非负矩阵分解（NMF）：NMF是一种非线性的降维方法，通过将原始特征分解为非负的基向量和系数矩阵。
这样可以得到原始数据的非负线性表示，从而获得更加有意义和准确的特征表示。