选择性集成算法分类与比较
基于重采样策略的选择性谱聚类集成学习算法
， 导师。研究方 向： 数据挖 掘与企业信息化。
力， 实现 简单 且 不 会 陷入 局 部 最 优 解 ， 但 谱 聚 类 算
１ ９期
柳炳 祥 ， 等： 基 于重采样 策略的选择性谱聚类集成学习算法
法 自身 也存 在 一 些 问 题 ， 如计算量大 、 构 造 相 似 性 矩 阵 复杂 ， 特别 是对 尺度 参 数 十 分 敏感 。设 有 数 据 集 Ｘ ＝｛ ， ： ， …， ｝∈Ｒ ， 算 法 的基本 步骤 如下 ： 步骤 １ ： 选 择 适 当 的 径 向基 函 数 Ｓ ＝
算法在聚类准确率方面得到了一定的提高。
１ 基学 习器
利 用最 近 出 现 的谱 聚类 算 法 来 产 生 集 成
国 家 自然 科 学 基 金 项 目（ ６ １ ２ ０ ２ ３ １ ３ ， ６ １ ２ ６ １ ０ ２ ７ ） 、 江 西 省 自然 科 学基 金 项 目（ ２ ０ １ ２ ２ Ｂ Ａ Ｂ ２ １ １ ０ ３ ３ ，
个 重要 的研 究 内容 ， 广 泛 应 用 于数 据 挖 掘 、 模 式
识别 等 诸 多 领 域 。近 年 来 ， 集 成 学 习 受 到 广 泛 关 注， 是机器 学 习的一 个 重 要 的研 究 方 向 。集 成 学 习组 合不 同算 法 或 同一 算 法 在 不 同参 数 情 况 下 的 结果 来解 决 同一 个 问题 ， 可 以得 到 比单 个 学 习 器更 好 的结果 ， 提 高 学 习 系统 的泛 化 能 力 。然 而 ， 大部 分 的集 成学 习算法 如 Ｂ ａ ｇ ｇ ｉ ｎ ｇ 和Ｂ ｏ ｏ ｓ ｔ ｉ ｎ ｇ 是为 监 督 学 习而设 计 的 ， 对 于 无 监 督 学 习如 聚 类 ， 由于 缺
机器学习中的集成学习算法
机器学习中的集成学习算法一、集成学习简介集成学习（Ensemble Learning）是机器学习中的一种重要算法。
它的主要思想是将多个弱学习算法集合起来形成一个强学习算法。
二、集成学习分类按照分类器的生成方式可将集成学习分类为Bagging算法、Boosting算法和Stacking算法。
1. Bagging算法Bagging全称为Bootstrap AGGregating，是自举聚合的缩写。
它的基本思想是采用自助法来产生k个新的训练集，在每个训练集上训练出一个基学习器，然后将这k个基学习器的结果进行平均或多数表决等方式来得到最终的结果。
2. Boosting算法Boosting算法基本思想是将一系列弱分类器相互结合，构成一个强分类器的过程。
它的主要特点是每一轮都学习一个新的分类器，并使得之前所有分类器的分类准确率加权相加。
3. Stacking算法Stacking算法是一种用来组合多个学习器的方法。
与传统的集成学习方法不同，Stacking算法通过加入一个“次级学习器”来对多个基学习器进行组合，从而构建出一个强学习器。
三、集成学习的优点1. 集成学习可显著提高机器学习算法的准确率和性能，并且对于许多不同类型的学习算法均有效。
2. 集成学习能够减轻模型过拟合问题，提高模型鲁棒性和泛化能力。
3. 集成学习能够减少各个单个模型产生的误差或者偏差，从而提高模型的精度。
四、集成学习案例1. 随机森林（Random Forest）随机森林是一种集成学习方法，它基于决策树算法创建多个随机子集的基学习器，最终将这些基学习器合并成一个强学习器。
2. AdaBoostAdaBoost是一种常见的Boosting算法，它通过不断调整训练样本的权重来训练机器学习模型，从而提高模型准确率。
3. Gradient Boosting Machines（GBM）GBM也是一种常见的Boosting算法，它采用一种梯度下降算法来学习弱学习器的加权。
数据流选择性集成的两阶段动态融合方法
并不一定越好 。为此，文献【］ ６从差异性 角度 出发提 出选择性 集成方法 ，证 明在 多个个体分类器 中选 出部分差异性大 的进
行集成 ，可 以有效提高集合分类器 的泛化性 ，并给 出具体 的 学 习算法 Ｇ Ｅ ＡＳ Ｎ。它 为集 合分类器结果 融合 提供 了新 的研
第３ ７卷 第 ２ ０期
、０ ．７ ， １３
・
计
算
机
工
程
２１年 １ ０１ ０月
Ｏｃｏｂ ｒ ０１１ ｔ ｅ ２
Ｎｏ．０ ２
Ｃｏ ｕｔｒＥｎ ｉ ｅ ｒｎｇ ｍｐ ｅ ｇ ｎ ｅ ｉ
人 工智 能及 识别 技 术 ・
文章绩号： ｏ ３２（ｌ） ＿ ｌ 一３ 文献标识码： １ｏ＿４８ ０１ ＿ ８ ＿ ２ ２ ０ｏ０ Ａ
［ ｙｗｏ ｄ ］ｄ ｔ ｓｅ ｍ；ｅｅｔ ｅｎｅｒｔ ｎ ｃａｓ ｃｔ ｎ ｓｌａ ａｔ ｎ ｅｇｎｐ ｃ Ｋｅ ｒ ｓ ａａ ｔ ａ ｓｌｃ ｖ ｔｇａ ｏ ； ｌｓｉ ａ ｏ ；ｅｆ ｄｐｉ ； ｉｅｓ ａｅ ｒ ｉ ｉ ｉ ｉ ｆ ｉ － ｏ
ＤＯＩ １．９ ９ｊｓｎ１０ —４ ８２ １．００ ２ ： ０３ ６ ／ｉ ．０ ０３ ２ ．０ １２ ．６ ．ｓ
之 一 『２ ｌ】 ＿。
ｌ １ Ｘ＝ —１ —
集合分类器通过组合多个弱学 习器 ，可 以获得较强 的分
集成学习算法总结
集成学习算法总结1、集成学习概述1.1 集成学习概述集成学习在机器学习算法中具有较⾼的准去率，不⾜之处就是模型的训练过程可能⽐较复杂，效率不是很⾼。
⽬前接触较多的集成学习主要有2种：基于Boosting的和基于Bagging，前者的代表算法有Adaboost、GBDT、XGBOOST、后者的代表算法主要是随机森林。
1.2 集成学习的主要思想集成学习的主要思想是利⽤⼀定的⼿段学习出多个分类器，⽽且这多个分类器要求是弱分类器，然后将多个分类器进⾏组合公共预测。
核⼼思想就是如何训练处多个弱分类器以及如何将这些弱分类器进⾏组合。
1.3、集成学习中弱分类器选择⼀般采⽤弱分类器的原因在于将误差进⾏均衡，因为⼀旦某个分类器太强了就会造成后⾯的结果受其影响太⼤，严重的会导致后⾯的分类器⽆法进⾏分类。
常⽤的弱分类器可以采⽤误差率⼩于0.5的，⽐如说逻辑回归、SVM、神经⽹络。
1.4、多个分类器的⽣成可以采⽤随机选取数据进⾏分类器的训练，也可以采⽤不断的调整错误分类的训练数据的权重⽣成新的分类器。
1.5、多个弱分类区如何组合基本分类器之间的整合⽅式，⼀般有简单多数投票、权重投票，贝叶斯投票，基于D-S证据理论的整合，基于不同的特征⼦集的整合。
2、Boosting算法2.1 基本概念Boosting⽅法是⼀种⽤来提⾼弱分类算法准确度的⽅法,这种⽅法通过构造⼀个预测函数系列,然后以⼀定的⽅式将他们组合成⼀个预测函数。
他是⼀种框架算法,主要是通过对样本集的操作获得样本⼦集,然后⽤弱分类算法在样本⼦集上训练⽣成⼀系列的基分类器。
他可以⽤来提⾼其他弱分类算法的识别率,也就是将其他的弱分类算法作为基分类算法放于Boosting 框架中,通过Boosting框架对训练样本集的操作,得到不同的训练样本⼦集,⽤该样本⼦集去训练⽣成基分类器;每得到⼀个样本集就⽤该基分类算法在该样本集上产⽣⼀个基分类器,这样在给定训练轮数 n 后,就可产⽣ n 个基分类器,然后Boosting框架算法将这 n个基分类器进⾏加权融合,产⽣⼀个最后的结果分类器,在这 n个基分类器中,每个单个的分类器的识别率不⼀定很⾼,但他们联合后的结果有很⾼的识别率,这样便提⾼了该弱分类算法的识别率。
选择性集成—周志华
选择性集成*周志华南京大学软件新技术国家重点实验室，南京2100931 引言一个好的机器学习系统应该有较强的泛化能力，简单的说，就是其根据已有数据建立的模型应该能够很好地处理新的数据。
因此，泛化能力一直是机器学习关心的一个根本问题。
由于集成学习（ensemble learning）可以有效地提高泛化能力，因此从20世纪90年代开始，对集成学习理论和算法的研究成为了机器学习的一个热点。
早在1997年，国际机器学习界的权威T.G. Dietterich就将集成学习列为机器学习四大研究方向之首 [Die97]，而在今天，集成学习仍然是机器学习中最热门的研究领域之一，研究人员众多、成果层出不穷。
由于集成学习是一个仍在迅速发展中的研究领域，因此关于“什么是集成学习”，机器学习界目前还没有最终达成共识。
狭义地说，集成学习是指利用多个同质的学习器来对同一个问题进行学习，这里的“同质”是指所使用的学习器属于同一种类型，例如所有的学习器都是决策树、都是神经网络等等。
广义地来说，只要是使用多个学习器来解决问题，就是集成学习。
在集成学习的早期研究中，狭义定义采用得比较多，而随着该领域的发展，越来越多的学者倾向于接受广义定义。
例如，以神经网络集成为例，P. Sollich和A. Krogh [SK96] 在1996年给出的定义就采用了狭义定义，而Opitz和Maclin [OM99] 在1999年给出的定义则采用了广义定义。
采用广义定义有一个很大的好处，就是以往存在的很多名称上不同、但本质上很接近的分支，例如多分类器系统（multi-classifier system）、基于委员会的学习（committee-based learning）等，都统一地归属到集成学习之下进行研究，由于这些子领域之间有很多共通性，因此把它们放到一起，不再强调各自之间的区别，反倒会对更深入的理论、算法、应用研究带来一些好处。
所以在今天来看，集成学习已经成为了一个包含内容相当多的、比较大的研究领域。
基于约束规划的选择性神经网络集成方法
关键词
神 经 网络 ， 经 网络 集 成 ， 束 规 划 神 约
Ｃｏ ｓ ｒ ｉ ｅ Ｐｒ ｇ ａ ｎ ｔ ａ ｎ ｄ ｏ ｒ ｍｍｉ ｓ ｄ Ｓ ｌｃ ｉ ｅ Ｎｅ ａ ｌＮｅ ｗｏ ｋ ｓ ｍ ｂ ｅ Ｍ ｅ ｈ ｄ ｎｇ Ｂａ ｅ ｅ ｅ ｔｖ ｕｒ ｔ ｒ Ｅｎ ｅ ｌ ｔ ｏ
１ 引言
随着人 工神经网络理论 的逐渐成 熟 、 高速计算 与并 行处 理 的发展 ， 神经网络集 成 已成 为机 器学 习和神经计 算领 域的 新 的研究热点 ， 也成 为人工 神经 网络研究 向广度 和纵深 发展
的一 种 趋 势 。
各 网络 分别 被赋 予权值 Ｗ （—Ｉ ２ … ， ， ｉ ， ， Ｎ） 满足 ∑Ｗｉ —Ｉ且 ０
Ｇ０ＮＧ Ｚ Ａｎ ＨＡＮＧ ｉ Ｍ “
（ ｈ Ｉｏ ｍｐ ｔ ｒＳ ｉｎ ｅａ ｄＣ ｍｍ ｕ ｉａ ｉｎ Ｅｎ ｉｅ ｒｎ Ｃ Ｓ ￣ ｆＣｏ ｕ ｅ ｃｅ ｃ ｎ ｏ ｎｃ ｔｏ ｇｎ ｅｉｇ，ＣｈｎａＵｎｖ ｒｉｙｏ ｅ ｒ ｌｕ ，Ｄｏｎ ｙｎ ５ ０６ ） ｉ ｉｅ ｓｔ ｆＰ ｔｏｅ ｍ ｇ ｉｇ ２ ７ １
通常情 况下不能得 到最优解 ， 即在验证集 上 的泛化误差 较大
（） ２
其 中 ＧＪ 为个体网络 与 厂 的相关度 ， Ｊ 定义为 ： Ｃ —Ｊ ｘ （ ） （ ） ｄ ｘ ） （ ） ｄ ｘ ） ｏ ｄ ｐ ｘ （ ｚ － （ ） （ ｚ － （ ）
且 Ｇ， 足 满
Ｇ — Ｅ 且 Ｃ 一 ，
Ｅ一 ∑ Ｚ ｗｆ ｗ，
．
训练生成若 干个神经 网络之后 ， 不对所有 的网络进行集成 ， 而 是选择 出相对最佳 的个 体网络组成集 成 。 目前 常用 的选择性集 成方 法有简单 枚举 法、 心算法 和 贪 遗传算法等 。简单枚举 法可 以获得最优 解 ， 但在个 体网络 较 多时 ， 方法由于计算复杂 度太 大而无法 实现 。基 于贪心 法 该 的选择性集成计算复杂度较小 ， 但是容易陷入“ 局部极小点 ” ，
选择性集成学习算法综述
进行 了详细综述 ， 按照算法采用 的选择 策略对其进行了分类 ， 分析 了各种算法 的主要特点 ， 并 最后对选 择性集成 学
习 在将 来 的 可 能 研 究 方 向进 行 了探 讨 ．
关 键 词 选 择性 集 成 学 习 ； 学 习 机 ； 成 学 习机 ； 样 性 ； 化 能力 基 集 多 泛
Ｗ ｉ ｎ ｒ ａ ｉ ｇ ｎ ｍ ｂ ｒｏ ｎ ｅ ｌ ｍ ｂ ｒ ，ｈ ｗｅ ｅ ，ｔ ｅｐ ｅ ｉｔｏ ｐ ｅ ｆａ ｎ ｅ ｌ ｍ ａ ｔ ｉ ｃ ｅ ｓｎ ｕ ｅ ｆ ｓ ｍｂ ｅ ｍｅ ｅ ｓ ｏ ｖ ｒ ｈ ｒ ｄ ｃ ｉ ｎ ｓ ｅ ｄ ｏ ｎ ｅ ｓ ｍｂ ｅ ｈ ｅ — ｃ ｉ ｅ ｄ ｃ ｅ ｓ ｓ ｓｇ ｉｉａ ｔｙ ａ ｄ ｉｓｓ ｏ ａ ｅ ｎ ｅ ｎ ｒ ａ ｅ ｕ ｃ ｌ ．Ｔｈ ｉ ｏ ｅ ｅ ｔｖ ｎ ｅ ｌ ｈ ｎ ｅ ｒ ａ ｅ ｉ ｎ ｆｃ ｎ ｌ ｎ ｔ ｔ ｒ ｇ ｅ ｄ ｉ ｃ ｅ ｓ ｓｑ ｉｋ ｙ ｅ ａ ｍ ｆｓ ｌｃ ｉ ｅ ｅ ｓ ｍｂ ｅ
（ ｔ ｔ Ｋｅ ａ ｏ ａ ｏ ｙ ｆ ｒＭａ ｕ ａ ｔ ｒｎ ｙ ｔｍｓＥ ｇ ｎ ｅｉ ｇ，Ｘｉ ｎＪ ａ ｔｎ ｎ ｖ ｒ ｉ Ｓ ａ ｅ ｙ Ｌ ｂ ｒ ｔｒ ｏ ｎ ｆ ｃｕ ｉ ｇ Ｓ ｓｅ ｎ ｉ ｅｒｎ ｉ ｏｏ ｇ Ｕ ｉｅ ｓ ｙ，ｘｉ ｎ ７ ０ ４ ） ａ ｔ １ ０ ９ ａ
ｄ ｃ ｉ ｎ ｓ ｅ ｄ ａ ｌ ａ ｏ ｄ ｃ ｅ ｓ ｔ ｔ ｒ ｇ ｅ ｄ Ｔｈ ｓ ｐ ｐ ｒ ｐ ｅ ｅ ｔ ｅ ａｌｄ ｒ ｖｅ ｏ ｈ ｉｔ ｐ ｅ ｓ ｗｅ ｌ ｓ ｔ ｅ ｒ ａ ｅ ｉｓ ｓ ｏ ａ ｅ ｎ ｅ ． ｏ ｉ ａ ｅ ｒ ｓ ｎ ｓ ａ ｄ ｔ ｉ ｅ ｉｗ ｆｔ ｅ ｅ
采用离散化处理的选择性SVM集成学习算法
关键词 ：支持 向量机 ；集成学 习：选择 性集成 ：离散化
中 图分 类 号 ：Ｔ １ １ Ｐ ８ 文 献 标 识 码 ：Ａ
集 成 学 习是 近 年 来 机 器 学 习领 域 的 研 究 热 点 确 、更具 差异 性 的基 分类 器 ，并 通过 选 择性 集成 进
提 出了选 择性 集 成方 法 ，能 够通 过选 择部 分 基分 Ｄ＝ ｝ ， 为决策属性 ， 是各属性值域的并集 ， 为 厂 类 器 进行 集成 ，取得 比全 部 个体 集 成更 好 的泛 化性 信 息 函数 。对 于ｖ 口∈Ｃ，值域 ＝【 ， ） ， 为
能 。此外 ，已有 的大多数 集 成学 习方法 主要 以神 经 上 的一 个划 分 ，即 ：
：
［０ｃ ） ｃ ， Ｕ…Ｕ［ ， ） ｃ ，Ｆ ｕ［ ｃ ） ａ ｌ ｃ ｃ的基 分 类 器 出发 ，提 出一
尔推 理 （ ｏｇ ｅ ａ ｄＢ ｏ ａ ｅ ｓｎｎ ｐ ｒａｈ Ｒ ｕ ｈＳｔ ｎ ｏｌ ｎＲ ａｏ ｉｇＡ ｐｏｃ ， ｅ
构 造 和基 分类 器 的组 合 。其 中基 分 类器 的构 造 极其
重要 ，它 决定 了集 成 学 习 的泛 化 误差 。 当前 ，许 ］
多研 究人 员对 集 成学 习 已展 开 大量 的研 究 ，并 提 出
１ Ｓ Ｒ Ｒ Ｂ Ａ离 散化 方 法
作 为 数据 预 处理 的一 个 重要 内容 ，数 据 离散 化
（． １ 深圳信息职业技术学 院信息技术研究所 ，深圳 ５ ２ ； ０ ９ １ ８ ２深圳 信息职业 技术学院图 书馆 ，深圳 ５ ８ ２ ． １０ ９）
摘 要 ：为 提 高 分 类性 能 ，提 出 了 一 种 新 的 基 于数 据 离散 化 和 选 择 性 集 成 的 Ｓ Ｍ集 成 学 习 算 法 。该 算 法 采 用 粗 Ｖ
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
预测性能和选择速度方面均位居列。其他基于排 名法的选择性集成算法还有Ｋａｐｐａ算法、基于 ＢＯｏｓｔｉｎｇ的选择性集成法等。 排名法的关键是采用何种标准对各基分类器 进行评估，即所使用的排序标准。早期的算法大都 是基于预测性能以及源于信息论的各种统计量，但 是实验证明：个体基分类器预测性能好并不能保证 集成分类器也具有较好的预测性能，因此目前许多 基于排名的算法都是通过分析分类器之间的相关 性，使得所选的基分类器具有互补性，从而避免它 们的优势互相抵消。 排名法的另一个重要问题是如何确定最终获 得的目标集成分类器的大小。最简单的方法是预 设目标集成分类器的大小或基分类器数目占总数 的百分比；另一种方法是设定基于精度或其他度量 的阈值，只有达到该阈值的基分类器才能入选。为
究重点。
Ａｂｓｔｒａｃｔ：Ｅｎｓｅｍｂｌｅ ｐｒｕｎｉｎｇ ｉｓ
ａｎ
ａｃｔｉｖｅ ｒｅｓｅａｒｃｈ ｄｉｒｅｃｔｉｏｎ ｉｎ ｔｈｅ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ｆｉｅｌｄ．
ｕｓｅ
Ｅｎｓｅｍｂｌｅ Ｔｈｅｒｅ
ｏｎ
ｐｒｕｎｉｎｇ ｉｓ ａｎ ＮＰ—ｈａｒｄ ｐｒｏｂｌｅｍ，ｍｏｓｔ ｒｅｓｅａｒｃｈｅｒｓ
ｐｒｕｎｉｎｇ ａｐｐｒｏａｃｈｅｓ
ｂａｓｅｄ， ｉｔ ｉｓ ｄｉｆｆｉｃｕｌｔ
ｔｏ
ｕｎｄｅｒｓｔａｎｄ ｔｈｅｍ ｃｌｅａｒｌｙ．
ｔｏ
Ｉｎ
ｔｈｉｓ
ｐａｐｅｒ，
ቤተ መጻሕፍቲ ባይዱ
ｔｈｅ ｅｎｓｅｍｂｌｅ ｏｐｔｉｍｉｚａｔｉｏｎ—
ａｒｅ
ｄｉｖｉｄｅｄ ｉｎｔｏ ｆｏｕｒ ｃａｔｅｇｏｒｉｅｓ ａｃｃｏｒｄｉｎｇ
ｔｈｅｉｒ ｐｒｕｎｉｎｇ ｓｔｒａｔｅｇｉｅｓ：
赵强利，蒋艳凰，徐明
ＺＨＡＯ Ｑｉａｎ矿¨，ＪＩＡＮＧ Ｙａｎ－ｈｕａｎｇ。ＸＵ Ｍｉｎｇ
（国防科学技术大学计算机学院。湖南长沙４１００７３）
（Ｓｃｈｏｏｌ
ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ，Ｎａｔｉｏｎａｌ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｄｅｆｅｎｓｅ Ｔｅｃｈｎｏｌｏｇｙ，Ｃｈａｎｇｓｈａ
４１００７３，Ｃｈｉｎａ）
排名法 排名法采用特定函数对所有基分类器进行评
估并排序，然后按照该次序选择基分类器。排名法 的最大优势在于分类器选择速度快，该类方法涵盖 的选择性集成算法较多，其中方向排序（Ｏｒｉｅｎｔｅｄ ｏｒｄｅｒ，简称ｏｏ）［４］、边界距离最小化（Ｍａｒｇｉｎ
ｔａｎｃｅ
Ｄｉｓ—
Ｍｉｎｉｍｉｚａｔｉｏｎ，简称ＭＤＳＱ）Ｌ５３这两种算法在
ｂａｓｅｄ，ｒａｎｋｉｎｇ—ｂａｓｅｄ，ｃｌｕｓｔｅｒｉｎｇ ｂａｓｅｄ ａｎｄ ｐａｔｔｅｒｎ ｍｉｎｉｎｇ—ｂａｓｅｄ．
ｃａｔｅｇｏｒｙ
ａｒｅ
Ｎｅｘｔ，ｔｈｅ ｐｏｐｕｌａｒ ａｌｇｏｒｉｔｈｍｓ ｏｆ ｅａｃｈ
ｉｍｐｌｅｍｅｎｔｅｄ ａｎｄ ｔｅｓｔｅｄ
ｏｎ
２０ ｄａｔａｓｅｔｓ ｆｒｏｍ
ｔｈｅ ＵＣＩ ｒｅｐｏｓｉｔｏｒｙ，ａｎｄ ｃｏｍｐａｒｅｄ ｆｒｏｍ ｔｈｒｅｅ Ｔｈｅ ａｄｖａｎｔａｇｅｓ ａｎｄ
２．２
２选择性集成算法分类
根据不同的分类标准，可将选择性集成算法分 为不同的几类。主要的分类方法有如下三种： （１）根据基分类器的选择时机的不同，可分为 静态法和动态法。静态法是利用一个校验样本集 来计算最佳的基分类器集合，该基分类器集合将持 续用于对新样本的预测。动态法是在预测新样本 类别时才进行分类器选择，选择的依据是新样本的 属性特征以及基分类器在训练时的表现，每个新样 本所选的基分类器集合可能互不相同。目前选择 性集成方法的研究多集中在静态方法上。 （２）根据选择过程中对集成分类器的度量标准 的不同，可分为基于预测精度的方法和基于多样性 的方法。预测精度度量包括基分类器的预测准确 度及其变体，而多样性度量的目的则是发现和利用 分类器之间的互补性，从而间接地提升集成预测性 能。 （３）根据算法采用的选择策略，可将选择性集 成方法分为四类：迭代优化法、排名法、分簇法、模 式挖掘法。 下面对第三种划分进行详细介绍。 ２．１迭代优化法 给定一个度量准则（例如集成分类器在校验样 本集上的预测精度），选择性集成的目的是找到一 个基分类器集合，使得该度量的值最优。分类器的 选择过程是一个组合优化问题，如采用穷举法则存 在组合爆炸问题，因此研究者们将选择性集成问题
ａｒｅ
ｈｅｕ“ｓｔｉｃｓ
ｔｏ
ｏｂｔａｉｎ
ｎｅａｒ
ｏｐｔｉｍａｌ ｓ０１ｕｔｉｏｎｓ．
ａｌｒｅａｄｙ ｍａｎｙ ｅｎｓｅｍｂｌｅ ｐｒｕｎｉｎｇ ａｐｐｒｏａｃｈｅｓ ｉｎ １ｉｔｅｒａｔｕｒｅｓ，ｂｕｔ ｂｅｃａｕｓｅ ｏｆ ｔｈｅ ｄｉｆｆｅｒｅｎｔ ｐｅｒｓｐｅｃｔｉｖｅｓ
ａｒｅ
ｗｈｉｃｈ ｔｈｏｓｅ ｍｅｔｈｏｄｓ
ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００７—１３０Ｘ．２０１２．０２．０２５
中图分类号：ＴＰｌ８
文献标识码：Ａ 对这些分类器进行某种方式的组合，共同解决同一
１
引言
集成学习（Ｅｎｓｅｍｂｌｅ Ｌｅａｒｎｉｎｇ）‘１３通过对训练
个学习任务。集成学习过程可分为两大阶段，一是 构造基分类器，二是对这些基分类器的预测结果进 行组合。相对于单个分类器，集成学习有效地提高 了分类器的泛化能力。选择性集成（Ｅｎｓｅｍｂｌｅ
ＣＮ４３—１２５８／ＴＰ ＩＳＳＮ １００７—１３０Ｘ
计算机工程与科学
ＣＯＭＰＵＴＥＲ ＥＮＧＩＮＥＥＲＩＮＧ＆ＳＣＩＥＮＣＥ
２０１２年第３４卷第２期
Ｖ０１．３４，Ｎｏ．２，２０１２
文章编号：１００７—１３０Ｘ（２０１２）０２一０１３４一０５
选择性集成算法分类与比较＋
Ｃａｔｅｇｏｒｉｚａｔｉｏｎ ａｎｄ Ｃｏｍｐａｒｉｓｏｎ ｏｆ ｔｈｅ Ｅｎｓｅｍｂｌｅ Ｐｒｕｎｉｎｇ Ａｌｇｏｒｉｔｈｍｓ
样本的学习获取若干分类器（称为基分类器），然后
＊
收稿日期：２０１０一Ｏ卜０６；修订日期：２０ｌｏ—０４—２５
基金项目：国家自然科学基金资助项目（６０９０５０３２，６０７７３０１７） 通讯地址：４１００７３湖南省长沙市国防科学技术大学计算机学院博士生队
Ａｄｄｒ姻ｓ：Ｄｏｃｔｏｒａｌ Ｂｒｉｇａｄｅ，Ｓｃｈｏｏｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ，Ｎａｔｉｏｎａｌ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｄｅｆｅｎｓｅ Ｔｅｃｈｎｏｌｏｇｙ，Ｃｈａｎｇｓｈａ，Ｈｕｎａｎ ４１００７３，Ｐ．Ｒ． Ｃｈｉｎａ
转换为逐步求优问题，以便在较短的时间内获得问 题的近似最优解。迭代优化方法涵盖了一大批选 择性集成算法，这类方法的核心是问题的映射，即 如何将分类器选择问题表示为相应的优化问题。 迭代优化法需要引入某一优化处理过程，例如 ＧＡＳＥＮ算法凹］利用遗传算法来进化一组与分类 器对应的权重向量，目标是使得集成分类器对校验 样本集的预测精度最优。ＥＰＲＬ算法利用强化学 习的方法获得一个最优的决策函数，同时将该函数 作为启发式来指导搜索过程的进行。ＳＤＰ算法利 用数学变换将选择性集成转化为二次整数规划问 题，并利用整数规划法求得近似最优的基分类器集 合。受限于优化方法的特性，这些选择性集成算法 的收敛速度均较慢。 爬山法也将选择性集成看作是一个逐步求优 的搜索过程，不过它每一次搜索都是建立在对前一 次搜索评估的基础之上，因此它的搜索空间可以迅 速减小，速度大为提高。爬山法根据搜索的方向分 为前向选择（Ｆｏｒｗａｒｄ Ｓｅｌｅｃｔｉｏｎ，简称ＦＳ）和向后 消除（Ｂａｃｋｗａｒｄ Ｅｌｉｍｉｎａｔｉｏｎ）两种¨ｊ。爬山法的关 键在于评估标准的确定。由于爬山法思想简单，速 度较快，因此得到了广泛的关注。
关键词：集成学习；选择性集成；排名法；分簇法；迭代优化法；模式挖掘法
Ｋｅｙ ｗｏｒｄｓ：ｅｎｓｅｍｂｌｅ １ｅａｒｎｉｎｇ；ｅｎｓｅｍｂｌｅ
ｐｒｕｎｉｎｇ；ｏｐｔｉｍｉｚａｔｉｏｎ ｂａｓｅｄ ｐｒｕｎｉｎｇ；ｒａｎｋｉｎｇ ｂａｓｅｄ ｐｒｕｎ—
ｉｎｇ；ｃｌｕｓｔｅｒｉｎｇ ｂａｓｅｄ ｐｒｕｎｉｎｇ；ｐａｔｔｅｒｎ ｍｉｎｉｎｇ ｂａｓｅｄ ｐｒｕｎｉｎｇ
万方数据
赵强利等：选择性集成算法分类与比较
１３５
Ｐｒｕｎｉｎｇ）［２］是在集成学习的基分类器构造和分类 器组合之间又增加了一个阶段，即分类器选择阶 段。选择性集成具有两个方面的优越性：（１）提高 泛化能力：通过剔除对集成分类器的预测能力具有 负面影响的基分类器，进一步提高预测性能；（２）降 低预测阶段的开销：去掉冗余基分类器以减少集成 分类器的存储空间、降低预测运算量、加快预测速 度。 本文对选择性集成算法的分类进行了介绍，并 根据选择策略将已有的选择性集成算法分为四类， 最后从预测精度、分类器选择时间、目标集成分类 器大小三个方面对各类典型算法进行了比较分析。 文章的结构如下：第２节介绍选择性集成算法分类 以及典型的选择性集成算法；第３节对实验结果进 行比较分析；最后总结全文，并展望了未来这一方 向的研究重点。
来自不同领域的数据集。
３．１
实验方法 实验采用十次交叉验证的方法。为了充分验
证各算法的性能，实验采用了四种异构的基分类 器［１…，所生成基分类器中有４０个ＢＰＮＮ神经网 络，２０个Ｃ４．５决策树，２０个简单贝叶斯，２０个 ＳＶＭ支持向量机。 ３．２预测精度 从表１可以看出，ＳｅｌＢ的结果表明选择单个 最优基分类器极有可能出现过适应问题。Ｂａｇｇｉｎｇ 的结果说明在绝大多数情况下集成学习的性能优 于单个分类器，同时也可能表明基分类器相关性强 或是性能较差会对集成分类器的预测性能有较大 影响。其他六种选择性集成算法的实验结果再次 验证了选择性集成能够提高集成分类器的泛化能 力。ＧＡＳＥＮ算法的性能相对不佳，我们认为其主 要原因在于ＧＡＳＥＮ终止条件的确定相对困难，从 而难以达到全局最优。ＣＰＦ利用分簇思想引入了 多样性的考虑，其存在的问题是即使性能较差的基 分类器，由于其差异性较高，也可能被选人到目标 集成分类器。ＦＳ算法以预测精度作为度量标准进 行贪婪式选择，ＯＯ算法以基分类器签名向量与参 考向量间的角度进行排序，它们均获得较好的预测 性能。ＭＤＳＱ和ＰＭＥＰ是最近提出的新算法，这 两种算法均综合考虑了基分类器的预测精度和多 样性，并获得了优异的性能。