特征选择综述
几种特征选择方法在局部放电模式识别中的应用
实 际对 局 部放 电进行 模 式 识别 时 ， 优 先 考 虑使 用 可
者 ２种方 法来 提取 特 征 向量 。
参考文献
［ 阳国庆， １ ］ 郑殿 春 学勇． 基于小波神 经网络局部放 电模式
识别 方法 的实验研 究［ ． Ｊ哈尔滨 理工大学学 报 ，０ ５ １ ］ ２０ ，０
（） ８ １１ ５ ： －０． ９ ［］ Ｃ Ｖ Ｌ Ｉ Ｉ ， Ｏ Ｔ Ｃ Ｎ Ｉ ， ｔ １Ａ ｖｎ ｅ Ｄ ２ Ａ Ａ ＬＮ Ｃ Ｎ Ｉ Ａ Ｍ， Ｏ ＴＮ Ａ ｅ ａ ｄａ ｃｄＰ ．
Ｂ ｓｄ ｏ ｔ ｈ ｓｃＰｏｅｓＡ ｐｏｃ 叨． Ｊｕｎ ｌ ｆ ａｅ ｎ ａＳｏ ａｔ ｒｃｓ ｐ ｒａｈ ｃ ｉ ｏｒａ ｏ
Ｐ ｙｉ ： ｐ ｌ ｄＰ ｙｉｓ２ ０ ，５ １ ） １９ １６ ． ｈｓ ｓ Ａ ｐ ｅ ｈｓ ，０ ２ ３ （１ ： ４ － １３ ｃＤ ｉ ｃ １
及对策综述［ ． Ｊ陕西电力 ，０ ０ ３ （ ）５ — ７ １ ２ １ ，８ １ ：３ ５ ．
［ Ｉ Ｅ ｔ ｄ ｒ ｏ ｉｒ ｕｅ ｅｏ ｒｅ Ｉｔｒｏｎｃｉ ４ ］ Ｅ Ｅ Ｓａ ａｄ ｆ Ｄｓ ｂ ｔｄ Ｒ ｓｕｃｓ ｎｅ ｎ ｅｔ ｎ ｎ ｒ ｔ ｉ ｃ ｏ ｗｔ Ｅｅ ｔｃＰ ｗ ｒ ｙｔｍ ［ ． ０ ． ｉ ｌｃ ｉ ｏ ｅ Ｓ ｓ ｓ ］ ０ ３ ｈ ｒ ｅ Ｓ２
Ｔａ ｓｃｉ ｓｏ ｌｃ ｉ ｌＩｓｌ ｉ ，９ ３ ２ （ ） ８ — ｒｎａｔ ｎ ｎ Ｅｅｔｃ ｎｕａ ｏ １９ ，８ ６ ： ４ ｏ ｒａ ｔｎ ９
１ ０１ ０ ．
（ 责任编 缉
收稿 日 ：０ １ ９ ２ 期 ２ １— — ０ 基 金项 目： 国家 自然科学基金资助项 Ｈ ５ ８ ７ ６ ） （ ７０４ ０ 。
机器学习算法在药物剂量优化中的应用研究
机器学习算法在药物剂量优化中的应用研究摘要：药物剂量优化是药物治疗的重要环节，直接影响患者治疗效果和安全性。
传统的药物剂量选择依赖于经验和试错，存在个体差异和剂量调整困难等问题。
近年来，随着机器学习算法在医疗领域的应用日益增多，药物剂量优化中也开始利用机器学习算法进行个体化剂量预测。
本文综述了机器学习算法在药物剂量优化中的应用研究，包括数据集构建、特征选择、算法选择和模型评估等方面，为未来相关研究提供参考。
1. 引言药物剂量优化是指根据患者的特点和药物的特性，确定最佳剂量以达到最佳疗效和安全性的目的。
传统的剂量选择方法主要基于经验和试错，存在个体差异大和剂量调整困难等问题。
而机器学习算法则能够根据大数据分析和学习，构建个体化的剂量预测模型，为药物剂量优化提供新的方法和思路。
2. 数据集构建在机器学习算法应用于药物剂量优化的研究中，构建合适的数据集是关键。
首先，需要收集包括药物特性、患者个体信息以及治疗效果等多种数据，并进行合理的整理和处理。
其次，数据集应包含大量的样本，以提高模型的训练效果和推广能力。
此外，还应注意数据的质量和准确性，以保证模型的可靠性和可行性。
3. 特征选择在机器学习算法应用中，特征选择是构建准确模型的关键环节。
针对药物剂量优化，特征选择应考虑患者的基因型、年龄、性别、身体质量指数等多方面因素。
通过分析不同特征与药物剂量的相关性和预测性能，筛选出对剂量预测具有重要作用的特征，进而构建高效的模型。
4. 算法选择机器学习算法广泛应用于药物剂量优化中，常用的算法包括决策树、支持向量机、随机森林、神经网络等。
不同算法具有不同的优势和适用场景，应根据具体数据和研究目的选择合适的算法。
同时，在算法选择过程中可考虑使用集成学习方法，将多个算法的优势结合起来，提高模型的准确性和稳定性。
5. 模型评估模型评估是机器学习算法应用研究中不可或缺的一环。
对于药物剂量优化的研究，模型评估可以通过交叉验证、训练集和测试集的划分等方法进行。
hsi分类综述 -回复
hsi分类综述-回复文章题目：HSI分类综述：从原理到应用的一步一步解析引言：随着人工智能和计算机视觉的快速发展，图像分类成为一个备受关注和研究的领域。
HSI（Hyper-spectral Imaging）分类作为一种新兴的图像分类技术，对于光谱数据的高效处理和准确分类具有重要意义。
本文将从HSI分类的原理到应用的多个方面进行逐步解析，以帮助读者全面了解这项技术及其潜力。
一、HSI分类的原理解析1.1 HSI分类介绍HSI分类是一种基于光谱信息的高光谱图像分类技术，可以对图像数据进行细致精确地分析和分类。
相比于传统的图像分类方法，HSI分类能够利用图像中多个波段的光谱信息，提供更加丰富的图像特征，从而达到更高的分类准确度。
1.2 HSI分类的基本原理HSI分类的基本原理是将图像数据从三维的光谱空间转化为二维的特征空间，然后利用分类算法对特征空间进行处理和分类。
具体来说，通过提取和选择合适的光谱特征，将高维的光谱数据降维到低维的特征空间中，再使用分类算法进行模型训练和分类任务的完成。
1.3 HSI分类的关键技术在实现HSI分类过程中，有几个关键的技术需要关注：- 光谱信息提取：提取图像中每个像素点的光谱信息，获取不同波段的光谱曲线。
- 光谱特征选择：从光谱数据中选择出具有较高分类能力的光谱特征，如主成分分析（PCA）、线性判别分析（LDA）等方法。
- 分类算法选择：选择适合HSI分类的算法，如支持向量机（SVM）、随机森林（RF）等。
二、HSI分类算法的研究进展2.1 传统HSI分类算法在HSI分类算法的研究中，传统的分类方法主要包括最大似然分类（MLC）、支持向量机分类（SVM）、随机森林分类（RF）等。
这些方法在一定程度上满足了HSI分类的需求，但仍然存在一些问题，例如计算复杂度高、泛化能力差等。
2.2 深度学习在HSI分类中的应用随着深度学习技术的发展，越来越多的研究者开始尝试将深度学习方法应用于HSI分类中。
文本情绪分析综述
文本情绪分析综述随着社交媒体和在线交流的普及，人们产生和接触到的文本信息越来越丰富。
这些文本信息中蕴含着大量的情感信息，对于理解人们的需求、意见和态度具有重要意义。
文本情绪分析正是一种用于提取和处理这些情感信息的技术。
本文将综述文本情绪分析的基本概念、现状、趋势以及未来研究方向。
一、引言文本情绪分析是一种自然语言处理技术，通过计算机算法自动识别和分析文本中的情感倾向。
这种技术可以应用于诸多领域，如智能客服、广告效果评估、新闻报道分析等。
准确、高效的文本情绪分析技术对于企业、政府和社会各界具有重要意义。
二、情感分析文本情绪分析的核心是情感词典和机器学习算法。
情感词典是一种包含情感词汇及其权重的词典，用于表示文本中的情感倾向。
机器学习算法则是通过训练大量样本学习文本情感倾向的模型，并对新文本进行情感预测。
在情感分析过程中，特征选择和模型训练是两个关键环节。
特征选择涉及到从文本中提取有意义的信息，如词频、词性、句法等，用于判断文本的情感倾向。
模型训练则是通过机器学习算法，将提取的特征输入到模型中进行训练，以得到更准确的情感预测结果。
三、应用领域文本情绪分析在各个领域都有广泛的应用。
例如，在智能客服领域，文本情绪分析可以帮助企业快速了解客户需求和意见，提高客户满意度；在广告文案领域，文本情绪分析可以评估广告效果，为广告制作提供参考；在新闻报道领域，文本情绪分析可以分析作者的情感倾向，帮助读者更好地理解报道内容。
然而，文本情绪分析在实际应用中仍面临一些挑战，如情感词典的不完善、不同文化背景下的情感差异等。
因此，提高文本情绪分析的准确性和普适性仍是未来的重要研究方向。
四、未来展望随着深度学习和自然语言处理技术的不断发展，文本情绪分析的准确性和应用范围也将得到进一步提升。
未来，文本情绪分析有望实现以下发展：1、算法优化：结合深度学习和传统机器学习算法的优点，提高情感分析的准确性。
例如，使用预训练的深度学习模型进行情感预测，以及结合多种特征进行模型训练等。
特征融合综述-概述说明以及解释
特征融合综述-概述说明以及解释1.引言1.1 概述在特征融合的研究领域中，特征融合是指将来自不同数据源、不同特征空间或不同特征提取算法得到的特征信息进行整合、融合，以提高模式分类、识别、检测等任务的性能。
特征融合在计算机视觉、模式识别、人工智能等多个领域都有着广泛的应用。
随着深度学习技术的兴起，特征融合也得到了更多的关注和研究。
本篇文章将系统地综述特征融合的定义、背景、发展历程、方法与技术、优势与挑战以及未来发展趋势。
通过对已有研究成果的总结和分析，将全面展示特征融合在各个领域的应用情况和未来发展方向，为相关研究人员提供有益的参考和启示。
1.2文章结构文章结构本文主要包括三个部分：引言、正文和结论。
在引言部分，将对特征融合进行概述，介绍文章的结构和目的。
在正文部分，将详细介绍特征融合的定义和背景，包括特征融合的概念和意义、在不同领域的应用以及发展历程。
接着将介绍特征融合的方法与技术，包括传统特征融合方法、深度学习在特征融合中的应用以及其他新兴特征融合技术。
最后，将探讨特征融合的优势与挑战，包括其优势、挑战以及未来发展趋势。
在结论部分，将对文章进行总结和展望，强调特征融合的重要性，并提出结论和展望未来发展方向。
文章的目的是对特征融合这一技术进行深入探讨和综述，系统地总结特征融合的定义、背景、方法与技术、优势与挑战以及未来发展趋势。
通过对特征融合在不同领域的应用进行分析和总结，探讨其在实际问题中的作用和意义。
同时，文章旨在展示特征融合的重要性，帮助读者更好地理解和应用这一技术，促进相关领域的发展和创新。
最终目的是为读者提供一个全面、清晰的了解特征融合的综合资料，激发读者对特征融合的兴趣，推动其在实际应用中的广泛应用。
请编写文章1.3 目的部分的内容2.正文2.1 特征融合的定义和背景特征融合是指将来自多个信息源的特征结合在一起，以提高数据处理和分析的效果。
在数据科学和机器学习领域，特征融合被广泛应用于分类、回归、聚类等任务中。
hsi分类综述 -回复
hsi分类综述-回复什么是HSI 分类？HSI（Hue-Saturation-Intensity）分类是一种基于图像颜色和亮度的分类方法。
它将图像的颜色信息转换为颜色空间中的向量，并使用这些向量来区分不同的类别或类型。
HSI分类是一种常见的计算机视觉任务，它在许多领域中得到了广泛的应用，如图像处理、计算机视觉、图像识别等。
HSI 颜色空间基础HSI 颜色空间是一种二维的圆柱坐标系，在这个坐标系中，颜色信息被表示为色相（Hue）、饱和度（Saturation）和强度（Intensity）三个分量。
色相表示颜色的基本属性，是纯色的唯一属性，范围从0-360度。
饱和度表示颜色的纯度和鲜艳程度，从0-1之间的值。
强度表示颜色的亮度，也从0-1之间的值。
HSI 分类的一般步骤HSI 分类的一般步骤包括图像预处理、特征提取、特征选择和分类器设计。
1. 图像预处理图像预处理是任何图像分类任务的第一步，其目的是对图像进行一些基本操作，以提高分类算法的效果。
常用的图像预处理操作包括去噪、平滑处理、边缘检测等。
去噪操作可以去除图像中的噪声，使得分类器更准确地提取特征。
平滑处理可以降低图像的噪声级别，并改善特征的稳定性。
边缘检测可以提取图像的边缘信息，有助于区分不同类别的样本。
2. 特征提取特征提取是从图像中抽取有意义的信息用于分类的过程。
在HSI分类中，常用的特征提取方法包括直方图特征、纹理特征和颜色特征。
直方图特征是在HSI颜色空间中统计不同颜色区域的像素数量，可以反映出图像的色彩分布情况。
纹理特征可以利用灰度共生矩阵等方法来描述图像的纹理信息。
颜色特征可以通过计算图像中不同颜色在HSI颜色空间内的分布情况来区分不同类别的图像。
3. 特征选择特征选择是从提取的特征中选择最具有代表性的特征，以提高分类器的分类准确率和效率。
常用的特征选择方法包括信息增益、互信息和卡方检验等。
这些方法可以评估特征与目标类别之间的相关性，选择最具有判别能力的特征。
环境因子向前选择法
环境因子向前选择法标题：环境因子向前选择法：优化模型预测与特征选择的有效手段导语：在大数据时代，模型预测及特征选择是数据挖掘领域的重要研究课题。
环境因子向前选择法，作为一种有效的模型优化手段，在数据处理中被广泛运用。
本文将介绍环境因子向前选择法的原理、应用及其在优化模型预测与特征选择中的作用。
一、环境因子向前选择法的原理（重要性排序）环境因子向前选择法是一种以环境因子重要性排序为基础的方法，通过对多个特征的组合进行逐步选择，最终形成一个最佳模型。
其核心过程包括：1. 初始化：选择一个特征（环境因子）作为首要特征，构建初始模型，并评估其性能。
2. 增加特征：逐步添加其他特征，并通过交叉验证或信息准则计算模型误差，判断特征的重要性。
3. 选择重要特征：选择最优特征，并更新模型。
4. 终止条件：根据事先确定的终止准则，如最大特征数目或性能改善的阈值，确定模型选择的终止。
二、环境因子向前选择法在模型预测中的应用1. 模型选择：环境因子向前选择法通过不断选择重要环境因子，可以有效优化模型的选择过程，避免过拟合或欠拟合问题，提高模型的预测准确性。
2. 特征选择：在大规模数据集中，选取合适的特征对模型来说至关重要。
环境因子向前选择法通过筛选和评估特征，可以挖掘出真正与结果相关的特征，降低特征的维度和冗余，提高模型的可解释性。
3. 敏感性分析：环境因子向前选择法通过不断添加、删除特征，可以评估不同特征对模型结果的影响，帮助分析模型的敏感性和鲁棒性。
三、环境因子向前选择法在优化模型预测与特征选择中的局限性1. 特征依赖性：环境因子向前选择法无法考虑特征间的依赖关系，可能选择出具有冗余信息的特征，降低模型性能。
2. 数据局部性：环境因子向前选择法在进行特征选择时，可能受到数据的局部性影响，无法全局优化特征选择结果。
3. 终止准则选择：环境因子向前选择法终止准则的选择对模型性能有较大影响，需要根据具体问题进行合理选择。
【浙江省自然科学基金】_特征选择_期刊发文热词逐年推荐_20140811
推荐指数 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
2009年 序号 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52
2008年 序号 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52
推荐指数 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
2011年 序号 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52
2011年 科研热词 推荐指数 特征选择 7 支持向量机 3 预处理 1 非酒精性脂肪性肝病 1 集群政策 1 随机搜索 1 选择意愿 1 选择 1 适应条件 1 迭代模型 1 连续时间markov决策过程 1 近自然毛竹纯林 1 运动传感器:人机交互 1 过滤 1 转型升级 1 路径识别 1 超高效液相色谱-串联质谱 1 设计参数 1 角尺度 1 视见描述子 1 视点互信息 1 裂解机制 1 蛋白质组学 1 自动导引车 1 肿块 1 群落结构 1 绝热隧穿 1 经济社会特征 1 织物疵点 1 粒计算 1 空间结构 1 种类组成 1 种子变量 1 秆龄混交度 1 离散选择模型 1 离散粒子群算法 1 生物标志物 1 生态化经营 1 玻色-爱因斯坦凝聚 1 环境关心 1 特征权重 1 特征子集 1 滚动的排名 1 浮雕显著性 1 水飞蓟素 1 模型检测 1 概率检索 1 概念漂移 1 森林经理学 1 枫香属 1 最大互信息 1 最优视点 1
提高模型准确度的机器学习技巧
提高模型准确度的机器学习技巧综述机器学习模型的准确度是评估模型性能的重要指标之一。
提高模型准确度的关键是找到合适的特征、选择适当的算法和优化超参数。
本文将介绍几种提高机器学习模型准确度的常用技巧，包括特征工程、数据预处理、模型选择和调参优化。
一、特征工程特征工程是应用机器学习的关键步骤之一。
良好的特征能够提供更多有价值的信息，从而改善模型的性能。
以下是几种常用的特征工程技巧：1. 特征选择：通过选择最相关的特征来减少特征空间的维度，从而降低模型复杂度。
常用的特征选择方法有卡方检验、信息增益、相关系数等。
2. 特征变换：通过对特征进行数学变换，可以提取出更具有代表性的特征。
例如，对数变换、归一化、标准化等。
3. 特征创造：通过组合已有的特征或者从原始数据中提取新的特征，可以增加模型的表达能力。
例如，多项式特征、交叉特征等。
二、数据预处理数据预处理是指对原始数据进行清洗、转换和归一化等操作，以提高模型的性能和稳定性。
以下是几种常用的数据预处理技巧：1. 数据清洗：去除重复值、处理缺失值和异常值等。
处理缺失值的方法有删除样本、均值填充、中位数填充、插值等。
2. 数据转换：将非数字型数据转换为数字型数据，以便模型能够处理。
例如，使用独热编码将分类特征转换为数值特征。
3. 数据归一化：通过将数据映射到一个特定的范围内，可以加快模型的收敛速度和提高模型的稳定性。
常用的归一化方法有Z-score标准化和MinMax标准化。
三、模型选择选择适合问题的机器学习算法也是提高模型准确度的关键之一。
以下是几种常用的机器学习算法：1. 决策树：通过构建一棵树形的判定模型来进行分类和预测。
决策树易于解释和理解，适用于处理特征具有明显分割点的问题。
2. 支持向量机（SVM）：通过将样本映射到高维空间，使得样本能够更好地分离。
SVM适用于处理高维数据和非线性问题。
3. 随机森林：通过构建多个决策树，并采用投票方式进行分类，提高了模型的鲁棒性和准确度。
可解释的深度知识追踪方法综述
可解释的深度知识追踪方法综述目录一、内容概述 (2)1.1 背景与意义 (3)1.2 研究目的与问题 (4)1.3 文献综述范围与限制 (5)二、深度知识追踪基本概念 (6)2.1 深度学习与知识追踪 (7)2.2 可解释性在知识追踪中的重要性 (9)2.3 现有研究的不足与挑战 (10)三、基于模型可解释性的知识追踪方法 (12)3.1 基于决策树的追踪方法 (13)3.2 基于贝叶斯网络的追踪方法 (14)3.2.1 贝叶斯网络构建过程 (16)3.2.2 基于概率推理的追踪算法 (17)3.3 基于神经网络的可解释性方法 (18)3.3.1 神经网络结构可视化 (19)3.3.2 权重分析 (20)四、基于数据可解释性的知识追踪方法 (22)4.1 数据预处理与特征选择 (23)4.2 可视化技术 (24)4.3 基于统计分析的方法 (25)4.3.1 相关性分析 (27)4.3.2 因子分析 (28)五、混合方法与创新点 (30)5.1 结合多种追踪方法的混合方法 (31)5.2 新型可解释性追踪方法的提出 (33)5.3 在实际应用中的效果评估 (34)六、结论与展望 (35)6.1 研究成果总结 (36)6.2 研究局限与未来方向 (37)6.3 对相关领域研究的启示 (38)一、内容概述随着人工智能技术的不断发展，深度知识追踪已成为研究热点。
为了更好地理解和应用深度知识追踪方法，本文将对相关方法进行综述，概括其基本原理、主要任务、关键技术和应用场景。
深度知识追踪方法旨在通过学习数据中的隐含关系，构建可解释的深度模型，以实现对未知数据的预测和推理。
其主要任务包括：特征提取、关系挖掘、模型构建和模型评估。
特征提取是基础，关系挖掘是关键，模型构建是手段，模型评估是目的。
在关键技术方面，深度知识追踪方法主要依赖于表示学习、迁移学习、多任务学习和强化学习等技术。
表示学习旨在将原始数据转化为具有丰富语义信息的表示，以便于后续处理；迁移学习利用已有知识解决新领域中的问题；多任务学习旨在同时学习多个相关任务，提高模型的泛化能力；强化学习则通过与环境交互来优化模型性能。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
特征选择常用算法综述
一.什么是特征选择(Featureselection )
特征选择也叫特征子集选择 ( FSS , Feature SubsetSelection ) 。
是指从已有的M个特征(Feature)中选择N个特征使得系统的特定指标最优化。
需要区分特征选择与特征提取。
特征提取 ( Feature extraction )是指利用已有的特征计算出一个抽象程度更高的特征集，也指计算得到某个特征的算法。
特征提取与特征选择都能降低特征集的维度。
评价函数 ( Objective Function )，用于评价一个特征子集的好坏的指标。
这里用符号J ( Y )来表示评价函数，其中Y是一个特征集，J( Y )越大表示特征集Y 越好。
评价函数根据其实现原理又分为2类，所谓的Filter和Wrapper 。
Filter（筛选器）：通过分析特征子集内部的信息来衡量特征子集的好坏，比如特征间相互依赖的程度等。
Filter实质上属于一种无导师学习算法。
Wrapper（封装器）：这类评价函数是一个分类器，采用特定特征子集对样本集进行分类，根据分类的结果来衡量该特征子集的好坏。
Wrapper实质上是一种有导师学习算法。
二.为什么要进行特征选择？
获取某些特征所需的计算量可能很大，因此倾向于选择较小的特征集特征间的相关性，比如特征A完全依赖于特征B，如果我们已经将特征B选入特征集，那么特征A 是否还有必要选入特征集？我认为是不必的。
特征集越大，分类器就越复杂，其后果就是推广能力（generalization capability）下降。
选择较小的特征集会降低复杂度，可能会提高系统的推广能力。
Less is More !
三.特征选择算法分类
精确的解决特征子集选择问题是一个指数级的问题。
常见特征选择算法可以归为下面3类：
第一类：指数算法 ( Exponential algorithms )
这类算法对特征空间进行穷举搜索（当然也会采用剪枝等优化），搜索出来的特征集对于样本集是最优的。
这类算法的时间复杂度是指数级的。
第二类：序列算法 ( Sequential algorithms )
这类算法实际上是一种贪心算法，算法时间复杂度较低，但是可能会陷入局部最优值，不一定能找到全局最优解。
第三类：随机算法 ( Randomized algorithms )
随机算法属于一种近似算法，能找出问题的近似最优结。
随机算法在近似求解NP 完全问题上显示出突出的优势，可尝试用在特征选择上。
四.指数算法
1. 穷举搜索( Exhaustive Search )
算法描述：穷举所有满足条件的特征子集，从中选择最优。
若不限定选取特征的个数，则特征子集有2^M个。
算法评价：该算法理论上可以找出最优特征子集，但其复杂度是指数级的，而实际上使用的特征数一般比较多，因而通常是不可取的。
2. 分支限界搜索( Branch and Bound )
在穷举基础上加上了分支限界，例如可以剪掉不可能搜索出比当前已找到的最优解更优的解的分支。
使用分支限界进行特征选择需要先引入一个单调性假设(monotonicity assumption)：J(Y) < J(Y+x)，即任何特征集的都优于其任何的子集。
这样才能剪枝！看到这里读者们可能会嚷嚷了：如果这个假设成立，那直接选择全部特征就得了，还分支限界个屁啊。
的确，这个假设本身就有问题，特征过多反而会因此所谓“维度灾难”( curse of dimensionality ) 。
3. 定向搜索(Beam Search )
算法描述：选择N个得分最高的特征作为特征子集，将其加入一个限制最大长度的优先队列，每次从队列中取出得分最高的子集，然后穷举向该子集加入1个特征后产生的所有特征集，将这些特征集加入队列。
若不限制队列的长度，这个算法就变成了最佳优先搜索( best-first search ) 。
五.序列算法
１. 朴素序列特征选择( Naïvesequential feature selection )
算法描述：将M个特征逐个送入评价函数，选择得分最高的N个特征组成特征子集。
算法评价：简单，但没有考虑特征间的相关性，因此通常性能不好。
例如，有{1,2,3,4,5}这五类样本，一共有A,B,C三个特征，现要从中选出2个特征来区分这5类。
特征A能将其分为 1，2，3，{4，5}这4类，特征B能将其分为1，{2，3}，{4，5}这3类，特征C只能将其分为{1，2，3，4}，{5} 这2类。
那么显然最
优特征是A，然后是B，最后是C，朴素序列特征选择算法会选择特征A和B，但是特征A和B并不能区分4和5类。
其实最优选择应该是A和C，只有特征A和C能将5类区分开来。
2. 序列前向选择( SFS , Sequential Forward Selection )
算法描述：每次选择一个特征x加入特征子集Y，使得特征函数J( Y+x )最大。
简单说就是，每次都选择一个使得特征函数的取值达到最优的特征加入，其实就是一种简单的贪心算法。
“前向”的意思就是这个算法只能加入特征而不能去除特征。
算法评价：缺点是只能加入不能去除，例如：特征A完全依赖于特征B与C，可以认为如果加入了特征B与C则A就是多余的。
假设序列前向选择算法首先将A加入特征集，然后又将B与C加入，那么特征子集中就包含了多余的特征A。
3. 序列后向选择( SBS , Sequential Backward Selection )
算法描述：首先将全部特征加入特征集合Y，然后每次从特征集Y中去除一个特征x，使得J(Y-x)最优。
“后向”的意思就是特征只能去除而不能加入。
算法评价：序列后向选择与序列前向选择正好相反，它的缺点是特征只能去除不能加入。
4. 增L去R选择算法 ( LRS , Plus-L Minus-RSelection )
算法描述：该算法有两种形式。
当L>R ，算法从空集开始，每轮先加入L个特征，然后从中去除R个特征，使得J(Y)最大。
当L<R ，算法从全集开始，每轮先去除R个特征，然后加入L个特征，使得J(Y)最大。
算法评价：增L去R选择算法结合了序列前向选择与序列后向选择思想， L与R的选择是算法的关键。
5. 双向搜索( BDS , Bidirectional Search )
算法描述：使用序列前向选择(SFS)与序列后向选择(SBS)分别从两端开始搜索，两者搜索到一个相同的特征子集Y才停止搜索。
双向搜索的出发点是O(2*N^(k/2)) < O(N^k)，如下图所示，O点代表搜索起点，A点代表搜索目标。
灰色的圆代表单向搜索可能的搜索范围，绿色的2个圆表示某次双向搜索的搜索范围，容易证明绿色的面积必定要比灰色的要小。
图1. 双向搜索
为了确保序列前向选择与序列后向选择会搜索到相同的子集，需要确保：
(1) 被SFS选中的特征SBS就不能去除
(2) 被SBS去除的特征SFS就不能选择
算法评价：BDS结合了SFS与SBS，其时间复杂度比SFS与SBS小，但是兼有SFS与SBS的缺点。
6. 序列浮动选择( Sequential Floating Selection )
算法描述：序列浮动选择由增L去R选择算法发展而来，该算法与增L去R
选择算法的不同之处在于L与R不是固定的，而是“浮动”的，也就是变化的。
序列浮动选择同样有以下两种变种。
(1) 序列浮动前向选择( SFFS , Sequential Floating Forward Selection )
算法描述：从空集开始，每轮在未加入的特征中选择一个集合x，使得J(Y+x)达到最优，将x加入Y，然后在已选择特征集中选择集合z，使得J(Y-z)达到最优，然后再Y中剔除z。
(2)序列浮动后向选择( SFBS , Sequential Floating Backward Selection )
算法描述：与SFFS类似，不同之处在于SFBS是从全集开始，每轮先去除特征，
然后加入特征。
六.随机算法
1. 随机产生序列选择算法(RGSS, Random Generation plus Sequential Selection)
算法描述：首先随机产生一个特征子集，然后在该子集上执行SFS与SBS 算法。
算法评价：作为SFS与SBS的补充，用于跳出局部最优值。
2. 模拟退火算法( SA, Simulated Annealing )
模拟退火可以参考这篇文章：模拟退火算法入门。
3. 遗传算法( Genetic Algorithms )
遗传算法可以参考这篇文章：遗传算法入门。