多核学习方法_汪洪桥

合集下载

本科专业认证《多核与并行程序设计》课程教学大纲

《多核与并行程序设计》课程教学大纲（Multicore and ParallelProgramming）编写单位：计算机与通信工程学院计算机科学与技术系编写时间：2021年7月《多核与并行程序设计》课程教学大纲一、基本信息课程名称：多核与并行程序设计英文名称：Multicore and Parallel Programming课程类别：专业教育课程课程性质：选修课课程编码：0809000040学分：1.5总学时：24。

其中，讲授16学时，实验0学时，上机8学时，实训0学时适用专业：计算机科学与技术先修课程与知识储备：程序设计、算法与数据结构后继课程：云计算二、课程简介本课程是介绍多核并行计算领域理论和实践问题的一门核心课程，是计算机科学与技术的一门选修课程，也是软件工程及计算机技术相关专业的重要选修课程。

本课程的目标是让学生掌握并行计算技术在开发中的应用，能够根据自己的需要选择合适的并行计算环境与并行计算编程技术，独立完成针对多核计算环境具体任务的并行算法，并能够独立完成并行应用程序的编制、调试与部署。

三、教学目标1、课程思政教学目标：以知识传授为主线，围绕计算机科学知识进行思政教育，以培养学生积极的态度，培养学自学、自省、自控能力，养成学生坚持做好每一件事的品德为目标。

其次，在我国并行计算领域现状介绍中要激发学生们的爱国情怀，立志发展我国高性能计算产业的信心。

最后，以专业技能知识为载体,以实现增强学生“四个自信”为育人目标,将知识传授、价值引领和思想政治教育有机融合,做到课程教学全过程育人。

2、课程教学总目标：课程教学目标是让学习本课程的同学了解多核计算机体系结构、并行算法设计方法、多线程编程、OpenMP/MPI并行编程方法，掌握基本的并行程序设计技术，为未来的工作或者应用打好基础。

其次，学习并行计算的一些基本开发方法。

最后，能够独立开展并行计算领域的应用开发工作。

3、课程目标与学生能力和素质培养的关系：课程思政目标的实施有利于培养学生爱国精神、职业责任感，团队合作、组织、沟通等社会能力。

多核课程中的编译原理知识点分析

多核课程中的编译原理知识点分析摘要：多核技术引起了包括编译在内的计算机技术的巨大变化。

教育首先要解决如何设置多核课程中编译原理知识点的问题。

本文以武汉大学“多核架构及编程技术”课程为例，根据多核和编译技术的发展和课程教学经验，对多核课程中的编译原理知识点进行分析，并提出课程内容设置方面的要求。

关键词：多核课程；编译原理；知识点多核技术的出现与快速发展使计算机技术发生了重大变化。

多个处理器核心的出现，为软件在单处理器上的并行提供了丰富的硬件资源。

为了充分利用这些计算资源，编译技术需要从为单核编译发展到为多核编译，因此有了新的发展。

为了应对多核技术及其引起的相关计算机技术发展的需要，众多高校都通过开设多核课程的方式，将多核技术引入到计算机教育体系当中。

编译是多核技术发展的重要推动技术之一，多核资源的有效利用有赖于编译对多核的支持。

因此，在多核课程中，将编译原理相关知识内容融入进来，对多核课程中多核基本原理、多核编译优化方法教学和多核编译优化工具的使用具有重要作用。

笔者以武汉大学“多核架构及编程技术”课程为例，对多核课程中的编译原理知识点进行分析。

1“多核架构及编程技术”课程概述武汉大学从2005年就开始关注多核技术，并已经开始探索将多核技术引入到计算机教学体系当中。

随后，武汉大学基于自身教学和科研积累，根据对多核技术的深入了解，对多核知识点进行了分析，开设了面向本科生的“多核架构及编程技术”课程[1]。

1.1课程目标多核技术的出现使多线程在单处理器上的并行成为可能。

而多核处理器则已经成为了主流处理器。

传统面向单核处理器的程序设计方式正逐渐向多核并行程序设计迁移。

学生需要学习和掌握多核相关知识，才能够更好地适应技术发展和来自企业的需求。

课程力求使学生在学习之后，能够了解和熟悉多核的基础理论，并在此基础上掌握多核程序设计方法以及相关的多核优化工具。

为了更好地开展多核课程教学，课程可以分为两个模块，分别是理论教学模块和实践教学模块。

多核学习方法在分类中的应用研究

性规划（ＳＩＬＰ）的多核学习算法，并将其应用在ＵＣＩ机器学习数据库的二分类和多分类数据集中。该算法用列生成和块算法
的方法，固定次优参数并确定工作集后求解优化问题，提高了算法的速度。实验表明，该算法的分类效果比传统支持向量机算法结果更优，具有更好的鲁棒性和普遍适用性。关键词核方法多核学习模式分类
获得更好的性能。ＭＫＬ最重要的问题是如何得到
ＳＶＭ的学习结果可以由如下线性组合表示：
Ｎ
）＝ｓｉｇｎ［ ∑ ｋ（ｘ，）＋６］
式（１）中，
（１）
组合的特征空问，即通过优化算法得到权系数。
单核ＳＶＭ在如下方面表现不够理想： ① 对于分
中图法分类号
ＴＰ１８１；
文献标志码
Ａ
支持向量机
（ｓｕｐｐｏ￣ｖｅｃｔｏｒｍａｃｈｉｎｅ，ＳＶＭ）
类问题中涉及的大量的高维的异构的数据，传统
具有强大的求解数据和分析问题的能力，核函数的使用使线性ＳＶＭ可以容易的推广到非线性的ＳＶＭ。其核心是利用相对简单的核函数进行运算，这样既避免了特征空问中的内积运算，也避免了特征空间的设计。虽然ＳＶＭ在众多领域都能有效的应用，但大多都是基于单个特征空间的单核方法。由于不同核函数及参数对ＳＶＭ的性能有很大的影响，从而使得在不同的应用点，使用不同核函数的ＳＶＭ性能相差很大。另外，当样本特征含有异构信息、较大的样本规模、多维数据的不规则或多维样本分布不平坦，利用单核方法对样本进行处理的效果不理

在集群多核CPU环境下的等高线并行提取方法

ＣｍｕｅｎｉｅｉｎｐｌａｏｓｏｐｔＥｇｎｒｇａｄＡｐｉｔｎ计算机工程与应用ｒｅｎｃｉ
在集群多核ＣＵ环境下的等高线并行提取方法Ｐ
王宗跃一马洪超２徐宏根，．，，邬建伟２彭检贵７
ＷＡＮＧＺｎ — ｕ，ｏｇｙｅＭＡｎ — ｈｏ，Ｈｏｇｇｎ，ＵＪａ－ｅ２ＰＮＧＪａ－ｕＨｏｇｃａＸＵｎ－ｅＷｉｎｗｉ，Ｅｉｎｇｉ

ｓｄｅｏｈｃｓｂｉｈｎＩＭｅｈａｄｔａｋｎｏｔｕｓａｅａｔｄｃｓｓｏａａｌｌｓａｅｍｏ．ａｔｔｅｆａｉｉｔｔｉｄ，ｆｗｉｈｅｔｌｉｇＴＮ－ｓｎｒｃｉｇｃｎｏｒｒｓｓｕｙａｅｆｐｒｌｈｒｄｍｅｒＡｔｌｓ，ｈｅｓｂｌｙｕａｓｅｙｉ
ｃｒＰ．ｏｕｅｎｉｅｒｇａｄＡｐｌａｉｎ。００４（７： — ．ｏｅＣＵＣｍｐｔｒＥｇｎｅｉｎｐｉｔｓ２１。６１）５７ｎｃｏ
ＡｂｔａｔＡｆｒｎｌｚｎｔｅｄａｔｇｓｄｓｄａｔｇｓｆｉｔｂｔｄｓｒｃ：ｔａａｙｉｇｈａｖｎａｅ／ｉａｖｎａｅｏｄｓｒｕｅｍｅｒｐｏｒｍｍｉｇｅｉｍｏｙｒｇａｎｍｏｅｉｃｕｔｒｎｉｏｍｅｔｎｄｌｎｌｓｅｅｖｒｎｎａｄｓａｅｍｏｒｇａｈｒｄｍｅｒｐｏｒｍｍｉｇｍｏｅｎｍｕｔ— ｏｅＣＰｅｐｃｉｅｙａｐｒｌｌｙｎｄｌｉｌｃｒＵｒｓｅｔｌ，ａａｌｍｅｈｄ，ｏｉｉｇｃｕｔｒｇｎｌ－ｏｅｉｍ— ｉｖｅｔｏｃｍｂｎｎｌｓｅｉａｄｍｕｔｃｒ，ｓｐｎｉｐｓｄｏｎａｃｔｅｔｎｔｓｎｅｉｎｔｔｅｏｅｔｅｈｎｅｈｓｒｇｈａｄｌｅｍｉａｅｈｗｅｋｅｓｓＴｅｔｅｅｅａｔａａｌｌｌｏｉｍｓｆｘｒｃｉｇｏｔｕｓｒａｎｓｅ．ｈｎｈｒｌｖｎｐｒｌａｇｒｈｏｅｔｔｃｎｏｒａｅｅｔａｎ

多核学习方法

自动化学报
ACTA AUTOMATICA SINICA
Vol. 36, No. 8 August, 2010
多核学习方法
汪洪桥 1, 2 孙富春 2 蔡艳宁 1 陈宁2 丁林阁 2
摘要多核学习方法是当前核机器学习领域的一个新的热点. 核方法是解决非线性模式分析问题的一种有效方法, 但在一些复杂情形下, 由单个核函数构成的核机器并不能满足诸如数据异构或不规则、样本规模巨大、样本不平坦分布等实际的应用需求, 因此将多个核函数进行组合, 以获得更好的结果是一种必然选择. 本文根据多核的构成, 从合成核、多尺度核、无限核三个角度, 系统综述了多核方法的构造理论, 分析了多核学习典型方法的特点及不足, 总结了各自的应用领域, 并凝炼了其进一步的研究方向. 关键词
1038
自
动
化
学
报
36 卷
据. 此外, 当样本特征含有异构信息 (Heterogeneous information)[20−26] , 样本规模很大[27−30] , 多维数据的不规则 (Unnormalised data)[31−32] 或数据在高维特征空间分布的不平坦 (Non-ﬂat)[33−34] , 采用单个简单核进行映射的方式对所有样本进行处理并不合理. 针对这些问题, 近年来, 出现了大量关于核组合 (Kernel combination) 方法的研究, 即多核学习方法[23, 31, 35−40] . 多核模型是一类灵活性更强的基于核的学习模型, 近来的理论和应用已经证明利用多核代替单核能增强决策函数的可解释性 (Interpretability), 并能获得比单核模型或单核机器组合模型更优的性能[41−42] . 构造多核模型, 最简单也最常用的一种方法就是考虑多个基本核函数的凸组合, 其形 M M 如: K = j =1 βj Kj , βj ≥ 0, j =1 βj = 1, 这里 Kj 是基本核函数, M 是基本核的总个数, βj 是权系数. 因此, 在多核框架下, 样本在特征空间中的表示问题转化成为基本核与权系数的选择问题. 在这个由多个特征空间构建的组合空间中, 由于组合利用了各基本核的特征映射能力, 很好地解决了核函数的选择以及与核目标度量 (Kernel target alignment, KTA)[43−44] 相关的变量与模型的选择难题[31, 45−46] . 同时, 通过将异构数据的不同特征分量分别输入对应的核函数进行映射, 使数据在新的特征空间中得到更好的表达, 能显著提高分类正确率或预测精度. 但是, 这里最重要的问题就是如何得到这个组合的特征空间, 也就是如何学习得到权系数. 针对这一问题, 近来出现了多种有效的多核学习理论及方法. 如早期的基于 Boosting[21, 47] 的多核组合模型学习方法, 基于半定规划 (Semideﬁnite programming, SDP)[41] 的多核学习方法, 基于二次约束型二次规划 (Quadratically constrained quadratic program, QCQP)[36] 的学习方法, 基于半无限线性规划 (Semi-inﬁnite linear program, SILP)[24, 37] 的学习方法, 基于超核 (Hyperkernels)[31] 的学习方法, 以及近来出现的简单多核学习 (Simple MKL)[27, 29] 方法和基于分组 Lasso 思想的多核学习方法. 在权系数与核函数的组合方面, 研究人员也对多核方法进行了一些改进, 如非平稳的多核学习方法[23] , 局部多核学习方法[40] , 非稀疏多核学习方法[30] 等. 此外, 基于一类具有多尺度表示特性的核函数, 多核学习方法向多尺度核方法方向又出现了众多的扩展[32−34, 48−52] . 前述的这些多核学习方法都是在有限个基本核函数组合假设下进行的, 容易看到, 有限核的组合受限于选择的有限性, 为了将其扩展到大量核组合的情形, 近来又出现了基于无限核的学习方法[39, 53−54] . 从最初在生物信息学领域[55−56] 被提出, 多核

多核学习的基本原理与概念(Ⅰ)

多核学习的基本原理与概念随着科技的不断发展，人工智能、大数据等领域的应用越来越广泛。

在这些领域中，机器学习是一个非常重要的技术，它可以让计算机系统通过学习数据来提高自身的性能和准确性。

在机器学习中，多核学习是一个重要的概念，它可以帮助机器学习系统更好地处理复杂的数据以及提高系统的性能。

在本文中，我们将探讨多核学习的基本原理与概念。

一、多核学习的概念多核学习是一种将核技术与机器学习相结合的方法。

在传统的机器学习中，通常会使用一种单一的核函数来处理数据。

然而，由于不同类型的数据往往具有不同的特征，单一的核函数并不能很好地处理这些数据。

因此，多核学习的概念应运而生。

多核学习通过将多个核函数结合起来，以适应不同类型的数据，从而提高机器学习系统的性能。

二、多核学习的基本原理多核学习的基本原理是将多个不同类型的核函数进行组合，以适应不同类型的数据。

在多核学习中，核函数的选择非常重要，不同的核函数适用于不同类型的数据。

因此，多核学习需要根据数据的特征来选择合适的核函数。

通过将这些核函数进行组合，可以更好地处理复杂的数据，从而提高机器学习系统的性能。

三、多核学习的应用多核学习在实际应用中具有广泛的应用。

在图像识别、自然语言处理等领域，数据往往具有复杂的特征，传统的单一核函数往往难以处理这些数据。

而多核学习可以根据数据的特征选择合适的核函数，从而更好地处理这些数据。

另外，在生物信息学、医学影像处理等领域，多核学习也有着重要的应用，可以帮助科研人员更好地处理和分析数据。

四、多核学习的挑战与发展尽管多核学习在机器学习中具有重要的应用，但是它也面临着一些挑战。

首先，多核学习需要根据数据的特征选择合适的核函数，这需要大量的经验和专业知识。

其次，多核学习的算法和模型也需要不断的改进和优化，以适应不断变化的数据。

然而，随着人工智能、大数据等领域的不断发展，多核学习的发展空间也非常广阔。

未来，我们可以期待多核学习在更多的领域中得到应用，并帮助机器学习系统更好地处理复杂的数据。

多核学习的基本原理与概念(四)

多核学习的基本原理与概念多核学习是指基于多核学习理论和方法进行的一种学习方式。

它是一种基于多核学习理论和方法进行的一种学习方式。

通过整合多个核心，有效地利用不同的信息来增强模型的泛化能力。

多核学习包括多核学习算法和多核学习模型。

它是一种基于多核学习理论和方法进行的一种学习方式。

通过整合多个核心，有效地利用不同的信息来增强模型的泛化能力。

多核学习包括多核学习算法和多核学习模型。

多核学习的基本原理是通过整合多个核心，有效地利用不同的信息来增强模型的泛化能力。

核心是一个用于描述数据的函数，多核学习算法通过整合多个核心来学习数据的特征。

多核学习算法通过整合多个核心来学习数据的特征。

多核学习的基本概念包括核函数、核方法和支持向量机。

核函数是一种用于度量和处理数据特征的函数，它可以将数据映射到高维空间中，从而有效地捕捉数据的非线性特征。

核方法是一种通过核函数来处理数据的方法，通过核方法可以有效地处理非线性数据，并增强模型的泛化能力。

支持向量机是一种基于核方法的学习模型，它通过构建最优的超平面来对数据进行分类和回归。

多核学习的应用包括图像识别、文本分类、生物信息学、医学影像分析等领域。

多核学习在图像识别、文本分类、生物信息学、医学影像分析等领域有着广泛的应用。

多核学习的发展趋势包括深度多核学习、多任务多核学习、增量多核学习等方向。

深度多核学习是一种将深度学习和多核学习相结合的学习方式，多任务多核学习是一种同时学习多个任务的学习方式，增量多核学习是一种通过逐步增加核心来学习数据的特征的学习方式。

总的来说，多核学习是一种通过整合多个核心，有效地利用不同的信息来增强模型的泛化能力的学习方式。

多核学习中的增量学习与迁移学习方法(六)

在机器学习领域，多核学习是一种比较新的研究方向。

它是指利用多个核函数来对数据进行特征表示和分类，以提高机器学习算法的性能。

与传统的单核学习相比，多核学习具有更强的表达能力和更大的灵活性。

但是，多核学习也面临着一些挑战，其中之一就是如何有效地进行增量学习和迁移学习。

本文将从增量学习和迁移学习的角度出发，探讨多核学习中的方法和技术。

增量学习是指在不断接收新数据的情况下，对已有的模型进行更新和优化的过程。

在多核学习中，增量学习可以帮助模型适应新的数据分布，提高模型的泛化能力。

目前，已经有一些研究工作探讨了在多核学习中如何进行增量学习。

其中一种方法是基于核矩阵的增量学习。

核矩阵是多核学习中的重要概念，它可以用来表示数据之间的相似度。

在增量学习中，可以通过更新核矩阵来实现模型的更新。

另一种方法是基于核特征的增量学习。

在这种方法中，可以通过添加新的核特征来适应新的数据，从而实现增量学习。

这些方法为在多核学习中进行增量学习提供了一些思路和技术手段。

除了增量学习，迁移学习也是多核学习中的一个重要问题。

迁移学习是指在不同的领域或任务之间，通过利用已有的知识来改善学习性能的过程。

在多核学习中，迁移学习可以帮助模型在不同的数据集上进行泛化。

目前，已经有一些研究工作探讨了在多核学习中如何进行迁移学习。

其中一种方法是基于核对齐的迁移学习。

核对齐是指将不同的核函数映射到同一个特征空间中，从而可以比较它们之间的相似度。

在迁移学习中，可以通过核对齐来将来自不同领域的知识整合起来，从而提高模型的泛化能力。

另一种方法是基于核选择的迁移学习。

在这种方法中，可以通过选择合适的核函数来适应不同的数据分布，从而实现迁移学习。

这些方法为在多核学习中进行迁移学习提供了一些思路和技术手段。

除了增量学习和迁移学习，多核学习还面临着一些其他挑战。

其中之一就是如何选择合适的核函数。

在多核学习中，核函数的选择对模型的性能影响非常大。

目前，已经有一些研究工作探讨了在多核学习中如何选择合适的核函数。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

DOI
核方法, 多核学习, 合成核, 多尺度核, 支持向量机, 模式识别, 回归
10.3724/SP.J.1004.2010.01037
On Multiple Kernel Learning Methods
WANG Hong-Qiao1, 2 SUN Fu-Chun2 CAI Yan-Ning1 CHEN Ning2 DING Lin-Ge2 Abstract Multiple kernel learning is a new research focus in the current kernel machine learning ﬁeld. The kernel method is an eﬀective approach for non-linear pattern analysis problems. But in some complicated cases, researchers ﬁnd that the kernel machines with a single kernel function can not meet some practical requirements such as heterogeneous information or unnormalised data, large scale problems, non-ﬂat distribution of samples, etc. Therefore, it is an inevitable choice to consider the combination of kernel functions for better results. According to the composition of multiple kernels, the construction theories of multiple kernel methods are systematically reviewed, the learning methods of multiple kernel with the corresponding characteristics and disadvantages are also analyzed, and the respective applications are summarized from three aspects, which are the composite kernels, the multi-scale kernels, and the inﬁnite kernels. In addition, the paper generalizes the conclusions and some new directions for future work. Key words Kernel method, multiple kernel learning, composite kernel, multi-scale kernel, support vector machine (SVM), pattern recognition, regression
1038
自
动
化
学
报
36 卷
据. 此外, 当样本特征含有异构信息 (Heterogeneous information)[20−26] , 样本规模很大[27−30] , 多维数据的不规则 (Unnormalised data)[31−32] 或数据在高维特征空间分布的不平坦 (Non-ﬂat)[33−34] , 采用单个简单核进行映射的方式对所有样本进行处理并不合理. 针对这些问题, 近年来, 出现了大量关于核组合 (Kernel combination) 方法的研究, 即多核学习方法[23, 31, 35−40] . 多核模型是一类灵活性更强的基于核的学习模型, 近来的理论和应用已经证明利用多核代替单核能增强决策函数的可解释性 (Interpretability), 并能获得比单核模型或单核机器组合模型更优的性能[41−42] . 构造多核模型, 最简单也最常用的一种方法就是考虑多个基本核函数的凸组合, 其形 M M 如: K = j =1 βj Kj , βj ≥ 0, j =1 βj = 1, 这里 Kj 是基本核函数, M 是基本核的总个数, βj 是权系数. 因此, 在多核框架下, 样本在特征空间中的表示问题转化成为基本核与权系数的选择问题. 在这个由多个特征空间构建的组合空间中, 由于组合利用了各基本核的特征映射能力, 很好地解决了核函数的选择以及与核目标度量 (Kernel target alignment, KTA)[43−44] 相关的变量与模型的选择难题[31, 45−46] . 同时, 通过将异构数据的不同特征分量分别输入对应的核函数进行映射, 使数据在新的特征空间中得到更好的表达, 能显著提高分类正确率或预测精度. 但是, 这里最重要的问题就是如何得到这个组合的特征空间, 也就是如何学习得到权系数. 针对这一问题, 近来出现了多种有效的多核学习理论及方法. 如早期的基于 Boosting[21, 47] 的多核组合模型学习方法, 基于半定规划 (Semideﬁnite programming, SDP)[41] 的多核学习方法, 基于二次约束型二次规划 (Quadratically constrained quadratic program, QCQP)[36] 的学习方法, 基于半无限线性规划 (Semi-inﬁnite linear program, SILP)[24, 37] 的学习方法, 基于超核 (Hyperkernels)[31] 的学习方法, 以及近来出现的简单多核学习 (Simple MKL)[27, 29] 方法和基于分组 Lasso 思想的多核学习方法. 在权系数与核函数的组合方面, 研究人员也对多核方法进行了一些改进, 如非平稳的多核学习方法[23] , 局部多核学习方法[40] , 非稀疏多核学习方法[30] 等. 此外, 基于一类具有多尺度表示特性的核函数, 多核学习方法向多尺度核方法方向又出现了众多的扩展[32−34, 48−52] . 前述的这些多核学习方法都是在有限个基本核函数组合假设下进行的, 容易看到, 有限核的组合受限于选择的有限性, 为了将其扩展到大量核组合的情形, 近来又出现了基于无限核的学习方法[39, 53−54] . 从最初在生物信息学领域[55−56] 被提出, 多核
收稿日期 2009-07-13 录用日期 2010-04-01 Manuscript received July 13, 2009; accepted April 1, 2010 国家重点基础研究专项基金 (G2007cb311003), 国家自然科学基金 (60625304, 60621062) 资助 Supported by National Key Project for Basic Research of China (G2007cb311003) and National Natural Science Foundation of China (60625304, 60621062) 1. 第二炮兵工程学院指挥自动化系西安 710025 2. 清华大学计算机科学与技术系智能技术与系统国家重点实验室清华信息科学与技术国家实验室北京 100084
1. Department of Command Automation, the Second Artillery Engineering Institute, Xi an 710025 2. Department of Computer Science and Technology, State Key Laboratory of Intelligent Technology and Systems, Tsinghua National Laboratory for Information Science and Technology, Tsinghua University, Beijing 100084
学习通过与 SVM 方法相结合, 在众多领域都得到了研究人员的关注, 如模式分类[45, 57−61] 、多类目标检测与识别[25, 62−65] 、模式回归[22, 33−34, 46] 、特征提取[66] 等, 给核机器学习提供了更丰富的设计思路和更广泛的应用前景. 本文系统综述了多核方法的构造和学习, 在分析各种典型方法的特点、总结该领域的研究现状和应用的基础上, 凝炼了其进一步的发展方向. 本文后续内容如下: 首先, 简单介绍核方法原理和基本核函数的一些简单扩展; 然后, 从合成核方法、多尺度核方法、无限核方法三个方面综述了各自的构造理论、学习方法及其优缺点, 以及相应的应用领域; 最后, 总结了多核学习方法目前存在的关键问题和难点, 指出了该领域进一步的研究方向.
第 36 卷第 8 期
2010 年 8 月
自动化学报
ACTA AUTOMATICA SINICA
Vol. 36, 洪桥 1, 2 孙富春 2 蔡艳宁 1 陈宁2 丁林阁 2
摘要多核学习方法是当前核机器学习领域的一个新的热点. 核方法是解决非线性模式分析问题的一种有效方法, 但在一些复杂情形下, 由单个核函数构成的核机器并不能满足诸如数据异构或不规则、样本规模巨大、样本不平坦分布等实际的应用需求, 因此将多个核函数进行组合, 以获得更好的结果是一种必然选择. 本文根据多核的构成, 从合成核、多尺度核、无限核三个角度, 系统综述了多核方法的构造理论, 分析了多核学习典型方法的特点及不足, 总结了各自的应用领域, 并凝炼了其进一步的研究方向. 关键词
在研究模式识别的势函数方法时, 利用 Mercer 理论, 把核函数解释为一个特征空间的内积, 并引入到机器学习中. 但是, 当时核方法的潜能并没有被完全挖掘. 直到 1992 年, Boser 等[11] 提出 SVM 方法. SVM 的成功促进了核方法的迅速普及和发展, 逐渐渗透到了机器学习的诸多领域, 如回归估计[12] 、模式分类[13] 、概率密度估计[14] 、子空间分析等[15] . 典型的如 Sch¨ olkopf 等[15] 提出了核主成分分析 (Kernel principal component analysis, KPCA), Mika 等[16] 实现了核 Fisher 判别 (Kernel Fisher discriminant, KFD), Baudat 等[17] 提出的核判别分析 (Kernel discriminant analysis, KDA), Lai 等[18] 提出了核规范相关分析 (Kernel canonical correlation analysis, KCCA), Bach 等[19] 提出了核独立分量分析 (Kernel independent component analysis, KICA) 等. 此后, 核方法又得到了大量的改进和推广, 在多个领域得到了广泛应用. 尽管上述的核方法在众多的应用领域有效并且实用, 但这些方法都是基于单个特征空间的单核方法. 由于不同的核函数具有的特性并不相同, 从而使得在不同的应用场合, 核函数的性能表现差别很大, 且核函数的构造或选择至今没有完善的理论依