特征选择常用算法综述
高光谱图像分类算法中的特征选择方法
高光谱图像分类算法中的特征选择方法随着遥感技术的发展，高光谱图像在地质勘探、农业、城市规划等领域得到了广泛的应用。
为了有效利用高光谱图像数据，研究人员一直在探索合适的特征选择方法，以提高图像分类的准确性和效率。
本文将介绍几种常用的特征选择方法，并对它们在高光谱图像分类算法中的应用进行讨论。
一、相关性分析法相关性分析法是最常用的特征选择方法之一。
它基于特征与目标变量之间的相关性，通过计算它们之间的统计指标（如相关系数）来选择最相关的特征。
在高光谱图像分类中，可以使用相关性分析法来确定哪些波段与分类任务最相关，并在分类模型中仅使用这些波段的信息。
通过减少特征维度，可以提高分类算法的效率，并降低过拟合的风险。
二、信息增益法信息增益法是一种基于信息论的特征选择方法。
它通过计算每个特征对于分类任务的信息增益，确定其重要性。
信息增益是指特征引入后对系统整体不确定度的减少程度。
在高光谱图像分类中，信息增益法可以用于选择那些在分类过程中能提供更多信息的特征。
通过选择具有较高信息增益的特征，可以提高分类算法的准确性。
三、最大信息系数法最大信息系数法是一种非参数的特征选择方法。
它可以测量两个变量之间的相关性，并通过计算它们的最大信息系数来选择最相关的特征。
在高光谱图像分类中，最大信息系数法可以用于筛选那些在分类任务中与目标变量相关性最强的特征。
对于高光谱图像来说，不同波段之间可能存在较强的相关性，因此使用最大信息系数法可以帮助排除冗余的特征，提高分类算法的效果。
四、L1范数稀疏化方法L1范数稀疏化方法是一种基于稀疏表示的特征选择方法。
它通过最小化特征向量的稀疏性度量，实现特征的选择与分类同时进行。
在高光谱图像分类中，L1范数稀疏化方法可以帮助选择那些对分类任务最重要的特征。
与其他方法相比，L1范数稀疏化方法具有较好的鲁棒性和稳定性，对于高光谱图像分类任务具有一定的优势。
五、主成分分析法主成分分析法是一种常用的特征选择方法。
无监督特征选择算法的分析与总结
无监督特征选择算法的分析与总结
无监督特征选择算法是机器学习中的一个重要问题，它主要用于从原始数据中选择出最具有代表性和区分性的特征，将这些特征作为输入，用于构建模型或进行进一步的数据分析。
无监督特征选择算法不需要事先标注好的样本标签，即不依赖于训练数据的标签，因此它可应用于更广泛的应用场景。
当前，无监督特征选择算法被广泛应用于降维、数据压缩和异常检测等领域。
本文将对其中三种经典的无监督特征选择算法进行分析与总结，包括卡方检验、互信息和稀疏编码。
卡方检验是一种常用的无监督特征选择方法，它主要用于衡量特征与目标变量之间的相关性。
卡方检验可以计算特征与目标变量之间的卡方统计量，通过统计特征与目标变量之间的相关程度来选择重要的特征。
卡方检验的优点是计算简单，适用于分类问题。
卡方检验忽略了特征之间的相关性，只考虑了特征与目标变量之间的单向相关性。
在实际应用中，需要注意卡方检验可能会选择到一些冗余特征。
稀疏编码是一种基于字典学习的无监督特征选择方法，它主要用于从原始特征中学习出一组最具有代表性和稀疏性的特征。
稀疏编码通过最小化重构误差和稀疏性约束来进行特征选择。
稀疏编码的优点是可以学习出更具有代表性和区分性的特征，适用于降维和数据压缩问题。
稀疏编码方法需要预先确定字典的大小和稀疏度等参数，参数选择可能会对结果产生影响。
lasso算法公式
lasso算法公式
Lasso算法，全称Least Absolute Shrinkage and Selection Operator，是一种常用的特征选择和正则化方法。
其数学公式如下
所示：
给定数据集D={x1, x2, ..., xn}，其中每个样本xi包含p个
特征{x1i, x2i, ..., xpi}，对应的响应变量为{y1, y2, ..., yn}。
Lasso算法的优化目标是最小化以下损失函数：
minimize 1/2n ||Y Xβ||^2 + λ ||β||_1。
其中，Y是响应变量的向量，X是特征矩阵，β是模型的系数
向量，λ是正则化参数，||||_1表示L1范数。
Lasso算法通过调节λ的大小来控制特征选择的严格程度。
当
λ足够大时，部分特征的系数会被压缩至零，实现了特征选择的效果。
因此，Lasso算法不仅可以用于拟合数据，还可以用于特征选择，有助于提高模型的泛化能力。
除了数学公式外，Lasso算法还涉及到具体的优化方法，如坐
标下降法或者最小角回归（LARS）等。
在实际应用中，需要根据具体的问题和数据特点来选择合适的参数和优化方法，以获得最佳的模型效果。
希望这个回答能够帮助你更好地理解Lasso算法。
常见特征选择方法
常见特征选择方法特征选择是机器学习中非常重要的一步，它能够帮助我们从原始数据中选择出最具有代表性和有用的特征，以提高模型的性能和效果。
在实际应用中，常见的特征选择方法有以下几种：1. Filter方法Filter方法是一种基于特征本身的统计量来进行特征选择的方法。
它通过计算各个特征与目标变量之间的相关性或者相关系数，然后按照一定的规则来选择出具有显著相关性的特征。
常见的统计量包括皮尔逊相关系数、卡方检验、互信息等。
这种方法的优点是计算简单、效率高，但是忽略了特征与特征之间的关系。
2. Wrapper方法Wrapper方法是一种基于模型性能来进行特征选择的方法。
它通过构建不同的特征子集，然后利用机器学习算法训练模型，并评估模型的性能，从而选择出最佳的特征子集。
常见的Wrapper方法有递归特征消除（Recursive Feature Elimination, RFE）、遗传算法等。
这种方法的优点是考虑了特征与特征之间的关系，但是计算复杂度较高，耗时较长。
3. Embedded方法Embedded方法是一种将特征选择与模型训练合并在一起的方法。
它通过在模型训练过程中自动选择特征，从而得到最佳的特征子集。
常见的Embedded方法有L1正则化（L1 Regularization）、决策树算法等。
这种方法的优点是计算简单、效率高，但是需要选择合适的模型和参数。
4. 主成分分析（Principal Component Analysis, PCA）主成分分析是一种常用的无监督学习方法，它通过线性变换将原始特征空间映射到新的低维特征空间，从而达到降维的目的。
在主成分分析中，我们选择的新特征是原始特征的线性组合，使得新特征之间的相关性最小。
通过保留较高的主成分，我们可以保留原始数据中的大部分信息，同时减少特征的维度。
5. 基于信息增益的特征选择信息增益是一种用于衡量特征对分类任务的贡献程度的指标。
它通过计算特征对目标变量的不确定性减少程度来评估特征的重要性。
特征选择方法
特征选择方法在机器学习领域中，特征选择是一个重要的预处理步骤，目的是从原始数据中选取最相关的特征用于模型训练和预测。
与全量特征相比，有选择地使用特征可以降低计算复杂度、提高模型泛化性能以及减少数据维度。
在特征选择方法的研究中，主要有三个方向：过滤法、包装法和嵌入法。
一、过滤法过滤法是将特征选择作为一个独立的过程，通过特征排序或者评估函数来选择最好的特征子集。
其主要优点是快速简洁，不涉及模型构建，不需要对特征子集中的特征进行组合，多用于数据初始处理和预处理。
常用的过滤法有 ReliefF 特征选择、卡方检验、互信息、皮尔逊相关、t检验与平均差异度等。
其中，ReliefF 特征选择算法是最具代表性的过滤法之一。
该算法通过计算每个特征对类别的贡献度来选择最相关的特征。
一般而言，该算法被用于处理带有噪声的多类不平衡数据集，该类方法属于加权型特征选择算法，但是在选取特征时能够考虑不同类别中的样本权重，提高了选取特征的准确性。
二、包装法包装法是将特征选择和模型构建联系起来的方法，即在每一次模型训练过程中对特征子集进行选择，从而提高模型预测性能。
这种方法的优点在于能够更好地适应模型，尤其是个性化和复杂模型中。
包装法的缺点在于计算代价较大。
代表性的包装法有基于遗传算法(GA)的特征选择、递归特征消除(RFE)和贪婪增量算法(GIA)。
递归特征消除是一种经典的包装法之一，基于一个全量特征子集训练出来的模型，依次递归地删除无关紧要的特征，直到达到预设的特征个数或者准确率为止。
通过这样的过程，达到筛选出对模型影响最大的特征子集的目的，并且最终留下到的特征子集不会过于冗余。
三、嵌入法嵌入法是在模型训练的过程中直接学习出最优特征子集的方法。
这种方法能够有效简化特征选择过程，同时减少特征子集中的冗余特征。
嵌入法有点类似于包装法，但是不同之处在于它是在模型训练过程中进行的，是从模型构建的角度去考虑特征的。
常见的嵌入法有 L1 正则化、决策树方法、支持向量机(SVM)等。
基于随机森林的特征选择算法
基于随机森林的特征选择算法随机森林是一种集成学习模型，它使用多个决策树来构建模型，并将它们的预测结果进行集成，以便获得更加准确的结果。
基于随机森林的特征选择算法使用随机森林的输出来评估每个特征的重要性，并选择那些对模型预测结果最重要的特征。
准备数据集：准备包含多个特征的数据集，并将其分为训练集和测试集。
构建随机森林模型：使用随机森林算法构建模型，通过训练集训练模型，并使用测试集来评估模型的性能。
计算特征重要性：在训练好的随机森林模型上，计算每个特征的重要性得分，这些得分反映了每个特征对模型预测结果的影响程度。
选择重要特征：根据特征重要性得分，选择那些对模型预测结果最重要的特征，并将它们用于构建新的随机森林模型。
评估特征选择效果：使用测试集来评估新的随机森林模型的表现，并与原始模型进行比较，以确定特征选择的效果。
基于随机森林的特征选择算法有很多优点。
它能够自动处理大量的特征，并选择最重要的特征，避免了手工选择特征的困难。
它能够度量每个特征的重要性，从而了解哪些特征对模型的预测结果影响最大。
它能够提高模型的预测精度和效率，从而减少了模型的运行时间和内存占用。
基于随机森林的特征选择算法是一种有效的机器学习方法，它可以提高模型的预测精度和效率，并为机器学习提供更高级别的特征选择能力。
随机森林是一种被广泛使用的机器学习算法，具有出色的分类和预测性能。
在随机森林中，特征选择和模型优化是提高算法性能的重要步骤。
本文将介绍随机森林的特征选择和模型优化算法的研究。
特征选择是随机森林算法中重要的一环。
特征选择的目标是挑选出对分类或预测有帮助的特征，从而降低模型的复杂度，提高模型的准确率和泛化能力。
在随机森林中，特征选择的方法主要包括降维和基于模型的方法。
降维方法是特征选择的一种常用手段，它通过将高维特征空间降维到低维空间，从而简化模型的复杂度，提高模型的泛化能力。
常用的降维方法包括主成分分析（PCA）和t-SNE等。
无监督特征选择算法的分析与总结
无监督特征选择算法的分析与总结特征选择是机器学习中一个重要的问题。
传统的特征选择方法往往需要预先设定一个分类器，并在此基础上进行特征选择。
无监督特征选择算法则不需要预先设定一个分类器，而是直接利用数据本身的结构进行特征选择。
本文将对几种常见的无监督特征选择算法进行分析与总结。
1. 互信息互信息是一种常用的无监督特征选择算法。
它利用信息论的概念，衡量两个随机变量之间的相关性。
对于一个特征Xi和一个类别变量Y，它们之间的互信息可以定义为：I(Xi;Y) = H(Xi) - H(Xi|Y)其中H是熵。
I(Xi;Y)越大，则代表着特征Xi和类别变量Y的相关性越强，特征Xi越有可能成为一个好的特征。
2. 基尼指数基尼指数是一个衡量数据的不纯度的指标，用于衡量一个特征对于分类的重要性。
它的计算方式如下：Gini_index = Σj p(j) (1-p(j))其中p(j)是样本中类别j的比例。
如果一个特征的基尼指数越小，则代表着它越有可能成为一个好的特征。
3. 主成分分析主成分分析是一种常见的无监督降维方法，但也可以用来进行特征选择。
它的基本思想是将原数据投影到一个低维空间中，使得投影后的数据能够最大程度地保留原始数据的信息。
主成分分析通常会根据投影后数据的可解释性（即每个主成分所占的方差）对特征进行排序，因此它也可以用作特征选择算法。
4. 随机森林随机森林是一种集成学习算法，它的基本思想是训练一组随机森林分类器，并将它们的结果合并起来得到最终的分类结果。
在每个随机森林中，它会随机选择一部分特征进行训练。
在这个过程中，随机森林算法会根据各个特征的重要性（即在随机森林中被选择的次数）对特征进行排序，因此它也可以用作特征选择算法。
特征筛选算法
特征筛选算法特征筛选算法是机器学习中的一种重要技术，它可以帮助我们从大量的特征中筛选出最具有代表性的特征，从而提高模型的准确性和泛化能力。
本文将介绍特征筛选算法的原理、常用方法和应用场景。
特征筛选算法的核心思想是通过对特征进行评估和排序，选出最具有代表性的特征，从而提高模型的准确性和泛化能力。
其原理可以分为两个步骤：1. 特征评估：对每个特征进行评估，计算其与目标变量之间的相关性或重要性。
常用的评估方法包括Pearson相关系数、卡方检验、信息增益等。
2. 特征排序：将所有特征按照评估结果进行排序，选出最具有代表性的特征。
常用的排序方法包括基于权重的排序、基于模型的排序、基于迭代的排序等。
二、常用的特征筛选方法1. 方差选择法：根据特征的方差大小来筛选特征。
方差较小的特征往往表示的是噪声或冗余信息，可以被剔除。
2. 相关系数法：根据特征与目标变量之间的相关性来筛选特征。
相关性较低的特征往往表示的是无用信息，可以被剔除。
3. 卡方检验法：根据特征与目标变量之间的卡方值来筛选特征。
卡方值较小的特征往往表示的是无用信息，可以被剔除。
4. 互信息法：根据特征与目标变量之间的互信息来筛选特征。
互信息较低的特征往往表示的是无用信息，可以被剔除。
5. 基于模型的特征选择法：根据模型的特征重要性来筛选特征。
常用的模型包括决策树、随机森林、支持向量机等。
三、特征筛选算法的应用场景特征筛选算法在机器学习中有着广泛的应用场景，例如：1. 数据预处理：在数据预处理阶段，可以使用特征筛选算法来剔除无用的特征，减少数据维度，提高模型训练效率。
2. 特征工程：在特征工程阶段，可以使用特征筛选算法来选出最具有代表性的特征，提高模型的准确性和泛化能力。
3. 模型优化：在模型优化阶段，可以使用特征筛选算法来优化模型的特征选择，提高模型的性能和效率。
特征筛选算法是机器学习中的一项重要技术，它可以帮助我们从大量的特征中筛选出最具有代表性的特征，提高模型的准确性和泛化能力。
机器学习中的特征选择算法实现方法
机器学习中的特征选择算法实现方法随着信息技术的发展，我们现在能够获得的数据越来越多，而这些数据中往往包含大量的冗余或噪声信息。
如果我们仍然对所有数据进行训练和模型预测，往往会浪费计算资源，影响模型的性能，所以在机器学习中，选择合适的特征可以提高模型的学习效率和性能。
本文将介绍一些特征选择算法的实现方法。
一、过滤法过滤法是特征选择中最简单的方法之一。
它的基本思想是通过一些统计或数学方法将特征进行排序，并选择排名靠前的特征进行训练和模型预测。
常见的过滤法包括相关系数法、卡方检验法、互信息法等。
相关系数法的实现方法是计算每个特征和目标变量之间的相关系数，并按照相关系数的绝对值大小进行排序，取出前K个特征进行训练和预测。
通常取前10%~20%的特征作为训练特征。
卡方检验法的实现方法是将特征和目标变量之间的关系转化为卡方统计量，并根据卡方值的大小进行排序，选择排序靠前的特征进行训练和预测。
常用的取前K个特征，通常取前10%~20%的特征作为训练特征。
互信息法的实现方法是计算每个特征和目标变量之间的互信息，按照互信息值的大小进行排序，取出前K个特征进行训练和预测。
常见的取前K个特征，通常取前10%~20%的特征作为训练特征。
二、包装法包装法是一种对特征进行全局搜索的方法。
它的基本思想是通过迭代训练和预测，不断更新特征的子集，直到找到最优的特征子集。
包装法本质上是一种特征选择和模型选择的结合。
包装法的实现方法有很多，其中比较常见的有Lasso、Elastic Net、随机森林等。
Lasso的实现方法是通过最小化线性回归模型的误差和L1正则项来选择特征。
Lasso会将某些特征的系数压缩至零，即不选择这些特征。
通常取前K个特征，通常取前10%~20%的特征作为训练特征。
Elastic Net的实现方法是通过将L1和L2正则化结合起来，选择一些特征，同时保证选出的特征是稳定的。
相比于Lasso，Elastic Net能够处理高维数据，并且不容易产生过拟合的问题。
特征选择算法综述及进展研究
具 备 大 量 的训 练样 本 ， 者 说 ， 训 练样 本数 目 或 在
有 限 的实 际情 况下 ， 高 的 特征 空 间 维数 会 导致 过 参 数 估计 的 准确 率 下 降 ，进 而 影 响学 习器 的性
能。 特征 选择 是 常用 的数 据 降维方 法之 一 。特 征
假定 特 征之 间是 独立 的。上 个 世 纪 ９ 代 以来 ０年
２ ０ 年 第 １ 卷 第 ６期 ｏ８ ０ 总第 ９ 期 ３
巢 湖 学 院学 报
Ｊｕ ｏ ｍ ｏ Ｃ ａｈ ０ｌｇ ｆ ｈ ｏ ｕＣ １ ｅ ｅ
ห้องสมุดไป่ตู้
Ｎｏ６ ． ｏ ．Ｏ ２ ０ ． ． １ ．０ ８ Ｖ １ Ｇｅ ｅ Ｓ ｒ Ｎ０９ ｎ ｒ ｅｉ ．３
特 征 选 择 算 法 综 述 及 进 展 研 究
算 法泛 化 能力 ， 高 模 型 的可 理解 性 。给定 一个 提
包 含 ｄ个 特 征 的数 据集 合 ， 征 选择 就是 要 挑 出 特
一
个导 致更 小 学 习错误 率 的特 征子集 。 本质上 从
说 这就 是 一个 搜 索最 优 或 次优 子集 的优 化 问题 。 通 过特 征 选择 ， 些 和任 务 无 关或 者 弱相 关 的特 一
４１
下 面我们 将对 特 征选 择 的基 本概 念 、 征选 特
当然 ， 有些特 征 选择 算法 不 具有 以上 四个方
择 和 学 习算 法 的关 系 、典 型 的特 征选 择算 法 框
架 、 目前特 征 选择 算 法 研 究 现 状 等 给 予 简要 概
述， 最后 我们探讨 了接下来 可 能的研 究方 向 。 ２ 特 征选择 算法框 架 ＬｕＨ和 Ｙ 闭提 出了一 个 基本 的特征 选择 ｉ ｕＬ
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2.2.2 启发式搜索
(1)序列前向选择( SFS , Sequential Forward Selection )
算法描述：特征子集X从空集开始，每次选择一个特征x加入特征子集X，使得特征函 数J( X)最优。简单说就是，每次都选择一个使得评价函数的取值达到最优的特征加入，其实就 是一种简单的贪心算法。
23 4 5678
搜索
posts 19, comments 255, trackbacks 0, articles 0 特征选择常用算法综述 Posted on 20110102 14:40 苍梧 阅读(36823) 评论(12) 编辑 收藏
1 综述
(1) 什么是特征选择 特征选择 ( Feature Selection )也称特征子集选择( Feature Subset Selection , FSS ) ，或属性选
<1>序列浮动前向选择( SFFS , Sequential Floating Forward Selection )
算法描述：从空集开始，每轮在未选择的特征中选择一个子集x，使加入子集x后 评价函数达到最优，然后在已选择的特征中选择子集z，使剔除子集z后评价函数达到最优。
<2>序列浮动后向选择( SFBS , Sequential Floating Backward Selection )
chrischeng
2. Re:那些优雅的数据结构 (1) : BloomFilter——大规 模数据处理利器
你好，请问一下表1D1 D2 D3 M11 2 3 1002 3 1 503 2 1 80表2d1 d2 d3 m1 flag2 3 1 60 U1 2 3100 D4 3 4 30 I 我......
择( Attribute Selection ) ，是指从全部特征中选取一个特征子集，使构造出来的模型更好。
(2) 为什么要做特征选择 在机器学习的实际应用中，特征数量往往较多，其中可能存在不相关的特征，特征之间也
可能存在相互依赖，容易导致如下的后果： 特征个数越多，分析特征、训练模型所需的时间就越长。 特征个数越多，容易引起“维度灾难”，模型也会越复杂，其推广能力会下降。
随笔分类(19)
Linux相关(5) 多媒体·信号处理(2) 机器学习(5) 数据结构·算法(4)
2.1 特征选择的一般过程
特征选择的一般过程可用图1表示。首先从特征全集中产生出一个特征子集，然后用评价函 数对该特征子集进行评价，评价的结果与停止准则进行比较，若评价结果比停止准则好就停 止，否则就继续产生下一组特征子集，继续进行特征选择。选出来的特征子集一般还要验证其 有效性。
算法评价：缺点是只能加入特征而不能去除特征。例如：特征A完全依赖于特征B 与C，可以认为如果加入了特征B与C则A就是多余的。假设序列前向选择算法首先将A加入特 征集，然后又将B与C加入，那么特征子集中就包含了多余的特征A。
(2)序列后向选择( SBS , Sequential Backward Selection )
(3) 停止准则( Stopping Criterion ) 停止准则是与评价函数相关的，一般是一个阈值，当评价函数值达到这个阈值后就可停
止搜索。
(4) 验证过程( Validation Procedure )
数学·趣题(3)
在验证数据集上验证选出来的特征子集的有效性。
随笔档案(19)
( 2) 距离 (Distance Metrics ) 运用距离度量进行特征选择是基于这样的假设：好的特征子集应该使得属于同一类的样
遗传算法可参考 遗传算法入门 。
算法描述：首先随机产生一批特征子集，并用评价函数给这些特征子集评分，然后通 过交叉、突变等操作繁殖出下一代的特征子集，并且评分越高的特征子集被选中参加繁殖的概 率越高。这样经过N代的繁殖和优胜劣汰后，种群中就可能产生了评价函数值最高的特征子 集。
随机算法的共同缺点：依赖于随机因素，有实验结果难以重现。
算法描述：从特征全集O开始，每次从特征集O中剔除一个特征x，使得剔除特征x后 评价函数值达到最优。
算法评价：序列后向选择与序列前向选择正好相反，它的缺点是特征只能去除不能加 入。
另外，SFS与SBS都属于贪心算法，容易陷入局部最优值。
(3) 双向搜索( BDS , Bidirectional Search )
最新随笔
1. Let’s Play Games! 2. 机器学习中的相似性度量 3. 神经网络编程入门 4. MPEG7实例入门 5. 那些优雅的数据结构(1) : BloomFilter——大规模数据 处理利器 6. 特征选择常用算法综述 7. 遗传算法入门 8. 二进制与三进制的那些趣 题 9. 色彩学基础知识 10. 大白话解析模拟退火算 法
算法描述：与SFFS类似，不同之处在于SFBS是从全集开始，每轮先剔除特征， 然后加入特征。
算法评价：序列浮动选择结合了序列前向选择、序列后向选择、增L去R选择的特 点，并弥补了它们的缺点。
(6) 决策树( Decision Tree Method , DTM) 算法描述：在训练样本集上运行C4.5或其他决策树生成算法，待决策树充分生长后，再
综上所述，特征选择过程一般包括产生过程，评价函数，停止准则，验证过程，这4个部 分。
(1) 产生过程( Generation Procedure ) 产生过程是搜索特征子集的过程，负责为评价函数提供特征子集。搜索特征子集的过程
有多种，将在2.2小节展开介绍。
(2) 评价函数( Evaluation Function ) 评价函数是评价一个特征子集好坏程度的一个准则。评价函数将在2.3小节展开介绍。
导航
博客园 首页 新随笔 联系
订阅 管理
公告
昵称： 苍梧 园龄： 6年2个月 粉丝： 573 关注： 2 +加关注
<
2015年7月
>
日一 二 三四五六
28 29 30 1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30 31 1
apchy09
3. Re:遗传算法入门
写的太好了，通俗易懂
猛龙过蒋
4. Re:大白话解析模拟退火 算法
真心感谢额，好文
XU東—昇
5. Re:神经网络编程入门
神经网选择的过程 ( M. Dash and H. Liu 1997 )
2.2 产生过程
产生过程是搜索特征子空间的过程。搜索的算法分为完全搜索(Complete)，启发式搜索 (Heuristic)，随机搜索(Random) 3大类，如图2所示。
特征选择能剔除不相关(irrelevant)或亢余(redundant )的特征，从而达到减少特征个数，提 高模型精确度，减少运行时间的目的。另一方面，选取出真正相关的特征简化了模型，使研究 人员易于理解数据产生的过程。
找找看 谷歌搜索
2 特征选择过程
常用链接
我的随笔 我的评论 我的参与 最新评论 我的标签
在树上运行剪枝算法。则最终决策树各分支处的特征就是选出来的特征子集了。决策树方法一 般使用信息增益作为评价函数。
2.2.3 随机算法
(1) 随机产生序列选择算法(RGSS, Random Generation plus Sequential Selection) 算法描述：随机产生一个特征子集，然后在该子集上执行SFS与SBS算法。 算法评价：可作为SFS与SBS的补充，用于跳出局部最优值。
图4. Wrapper原理 (Ricardo GutierrezOsuna 2008 )
下面简单介绍常见的评价函数。
(1) 相关性( Correlation) 运用相关性来度量特征子集的好坏是基于这样一个假设：好的特征子集所包含的特征应
该是与分类的相关度较高（相关度高），而特征之间相关度较低的（亢余度低）。 可以使用线性相关系数(correlation coefficient) 来衡量向量之间线性相关度。
2.3 评价函数
评价函数的作用是评价产生过程所提供的特征子集的好坏。 评价函数根据其工作原理，主要分为筛选器(Filter)、封装器( Wrapper )两大类。 筛选器通过分析特征子集内部的特点来衡量其好坏。筛选器一般用作预处理，与分类器的 选择无关。筛选器的原理如下图3：
图3. Filter原理(Ricardo GutierrezOsuna 2008 ) 封装器实质上是一个分类器，封装器用选取的特征子集对样本集进行分类，分类的精度作 为衡量特征子集好坏的标准。封装器的原理如图4所示。
算法描述：广度优先遍历特征子空间。
算法评价：枚举了所有的特征组合，属于穷举搜索，时间复杂度是O(2n)，实用性不 高。
(2)分支限界搜索( Branch and Bound )
算法描述：在穷举搜索的基础上加入分支限界。例如：若断定某些分支不可能搜索出比 当前找到的最优解更优的解，则可以剪掉这些分支。
2011年3月 (3) 2011年1月 (3) 2010年12月 (4) 2010年11月 (2) 2010年8月 (1) 2010年7月 (2) 2010年6月 (1) 2010年5月 (1) 2009年8月 (1) 2009年5月 (1)
最新评论
1. Re:大白话解析模拟退火 算法
从POJ跳过来的~感谢您的分 享
算法评价：增L去R选择算法结合了序列前向选择与序列后向选择思想， L与R的选择 是算法的关键。
(5) 序列浮动选择( Sequential Floating Selection ) 算法描述：序列浮动选择由增L去R选择算法发展而来，该算法与增L去R选择算法的
不同之处在于：序列浮动选择的L与R不是固定的，而是“浮动”的，也就是会变化的。 序列浮动选择根据搜索方向的不同，有以下两种变种。