一种新的人工智能技术-支持向量机

目录

摘要 (2)

关键词 (2)

第一章绪论 (2)

1.1统计学习理论和支持向量机概述 (2)

1.2国内外研究状况及发展趋势 (4)

1.3课题研究目的及意义 (4)

第二章统计学习理论基础 (5)

2.1机器学习概述 (5)

2.2机器学习基本问题 (5)

2.3经验风险最小化 (6)

2.4学习过程的一致性条件 (6)

2.5VC维理论 (6)

2.6推广性的界 (7)

2.7结构风险最小化 (7)

第三章支持向量机 (8)

3.1SVM的基本思想 (8)

3.1.1 最优超平面的概念 (8)

3.1.2 线性可分情况下的最优超平面的构建 (9)

3.1.2线性不可分的情况最优超平面的构建 (11)

3.2SVM分类问题的基本理论 (12)

3.3回归估计问题的基本理论 (12)

3.3.1 线性回归函数估计 (13)

3.3.2 非线性回归函数估计 (15)

3.4支持向量机的训练算法 (15)

3.4.1 标准的SVM算法 (15)

3.4.2 改进的SVM算法 (16)

3.5用于回归估计的支持向量机新方法 (17)

3.5.1 V-SVM算法 (17)

3.5.2 LS-SVM算法 (18)

3.5.3 回归加权型支持向量机（W-SVM）算法 (19)

3.5.4 基于线性规划的SVM (19)

第四章支持向量机的应用实例：电磁逆散射问题 (20)

4.1电磁逆散射问题概述 (20)

4.2电磁逆散射常规算法概述 (20)

4.3电磁逆散射问题的模型 (21)

4.4介质电磁参数重构 (21)

第五章全文总结 (23)

致谢 (24)

参考文献 (24)

一种新的人工智能技术-支持向量机

摘要：支持向量机(SVM)是20世纪90年代在统汁学习理论基础发展起来的一种机器学习方法，较好地解决了小样本学习问题。由于其出色的学习性能，该技术已成为当前国际机器学习界的研究热点，在模式识别、回归估计、函数逼近等领域有了广泛的应用。本文旨在介绍SVM的基本思想、训练算法、特点及其研究发展现状。

本文介绍了统计学习理论基础知识，引出支持向量机方法，并讨论其基本原理和训练算法，尤其是用于回归估计的支持向量机方法。V-SVM、最小二乘法、加权SVM、线性SVM 等支持向量机的新方法，降低训练时间和减少计算时间复杂性的块算法、分解法、SMO及增量学习算法。最后研究了支持向量机在电磁逆散射问题上的应用。

Abstract：Support vector machine（SVM）is one new machine learning method which developped in 1990s and based on statistical leaming theory，it can solve small-sample learning problems better. It has become the focus in international machine learning research because of its excellent learning performance，and it has been used in involving pattern recognition，regression estimation and function approximation widely.This article mainly discusses its basic ideas of SVM and the SVM training algorithm and their major characteristics and some current research t rends.

The Statistical Learning Theory（SLT）is introduced first，This text has expounded the basic principle and thought and training algorithm of Support Vector Machine，especially for Support Vector Machines（SVM）for regression .In particular, new methods such as V-SVM，LS-SVM，weighted SVM and linear SVM，and optimization algorithms including chunking method and SMO and incremental learning wish fast computational speed and ease of implementation are concentrated as well. Finally，its application research for the solution of inverse scattering problems is discussed in this paper.

关键词：支持向量机；统计学习理论；机器学习；训练算法；回归估计；逆散射

key words：Support vector machine；Statistical learning theory；Machine learning；Training algorithm；Regression；Inverse scattering

第一章绪论

1.1 统计学习理论和支持向量机概述

基于数据的机器学习是现代智能技术中的重要方面，研究从观测数据（样本）出发寻找规律，利用这些规律对未来数据或无法观测的数据进行预测。迄今为止，关于机器学习还没有一种被共同接受的理论框架，关于其实现方法大致可以分为三种：

第一种是经典的（参数）统计估计方法。统计学是现有机器学习方法（包括HMM,Logistic Reression,GMM等）共同的重要理论基础之一。参数方法正是基于传统统计学的，在这种方法中，参数的相关形式是已知的，训练样本用来估计参数的值。这种方法有很大的局限性，首先，它需要已知样本分布形式，这需要花费很大代价，还有，传统统计学研究的是样本数目趋于无穷大时的渐近理论，现有学习方法也多是基于此假设。但在实际问题中，样本数往往是有限的，因此，一些理论上很优秀的学习方法在实际中的表现却可能不尽人意。

第二种方法是经验非线性方法，如人工神经网络（ANN）。这种方法利用已知样本建立非

线性模型，克服了传统参数估计方法的困难。但是，这种方法缺乏一种统一的数学理论。

与传统统计学相比，统计学习理论（Statistical Learning Theory，简称SLT）是一种专门研究小样本情况下机器学习规律的理论。该理论针对小样本统计问题建立了一套新的理论体系，在这种体系下的统计推理规则不仅考虑了对渐近性能的要求，而且追求在有限信息的条件下得到最优结果。Vladimir N.Vapnik等人从20世纪60年代开始致力于统计学习理论的研究，到20世纪90年代中期，随着该理论的不断发展和成熟，也由于神经网络等学习方法在理论上缺乏实质性进展，统计学习理论开始受到越来越广泛的重视。

统计学习理论的一个核心概念就是VC维(VC Dimension)概念，它是描述函数集或学习机器的复杂性或者说是学习能力(Capacity of the machine)的一个重要指标，在此概念基础上发展出了一系列关于统计学习的一致性(Consistency)、收敛速度、推广性能(Generalization Performance)等的重要结论。

统计学习理论是建立在一套较坚实的理论基础之上的，为解决有限样本学习问题提供了一个统一的框架。它能将很多现有方法纳入其中，有望解决许多原来难以解决的问题（比如神经网络结构选择问题、局部极小点问题等）；同时，在该理论基础上发展了一种新的通用学习方法──支持向量机（Support Vector Machine，简称SVM），已初步表现出很多优于已有方法的性能。一些学者认为，SLT和SVM正在成为继神经网络研究之后新的研究热点，并将推动机器学习理论和技术有重大的发展。

支持向量机方法是建立在统计学习理论的VC维理论和结构风险最小化（Structural Risk Minimization，SRM）原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度）和学习能力（即无误识别任意样本的能力）之间寻求最佳折衷，以期获得最好的推广能力(Generalization Ability)。支持向量机方法的几个主要优点有：

?专门针对有限样本情况，其目标是得到现有信息下的最优解而不仅仅是

样本数趋于无穷大时的最优值；

?算法最终将转化为一个二次规划（QP）问题，从理论上说，得到的将是全局最优

点，解决了在神经网络方法中无法避免的局部极值问题；

?算法将实际问题通过非线性变换转换到高维的特征空间(Feature Space)，在高

维空间中构造线性判别函数来实现原空间中的非线性判别函数，从而保证学习机

器有较好的推广能力，同时它巧妙地解决了维数问题（只需计算原始空间的两个

向量的内积），其算法复杂度与样本维数无关。

在SVM方法中，只要定义不同的内积函数，就可以实现多项式逼近、贝叶斯分类器、径向基函数(Radial Basic Function，简称RBF)方法、多层感知器网络等许多现有学习算法。统计学习理论从20世纪60年代末诞生，到20世纪90年代之前都处在初级研究和理论准备阶段，近几年才逐渐得到重视，其本身也趋向完善，并产生了支持向量机这一将这种理论付诸实现的有效的机器学习方法。目前，SVM算法在模式识别、回归估计、概率密度函数估计等方面都有非常成功的应用。例如，在模式识别方面，对于手写数字识别、语音识别、人脸图像识别、文本分类等问题，SVM算法在精度上已经超过传统的学习算法或与之不相上下。目前，国际上对SLT和SVM的研究和应用方兴未艾，我国学者从20世纪90年代末开始引进并翻译关注该理论的重要著作，并及时学习掌握有关理论，同时开展了有效的研究和应用工作，以期在这一有着重要意义的领域中能够尽快赶上国际先进水平。由于SLT理论和SVM 方法尚处在发展阶段，很多方面尚不完善，比如：许多理论目前还只有理论上的意义，尚不能在实际算法中实现；而有关SVM算法某些理论解释也并非完美（J.C.Burges曾提到结构风险最小原理并不能严格证明SVM为什么有好的推广能力）；此外，对于一个实际的学习机器的VC维的分析尚没有通用的方法；SVM方法中如何根据具体问题选择适当的核（内积）函数也没有理论依据。因此，在这方面可做的研究探索工作还有很多。

1.2 国内外研究状况及发展趋势

支持向量机SVM（Support Vector Machine）是在统计学习理论基础上发展起来的一种新的机器学习方法，又被称为支持向量网络，具有理论完备、适应性强、全局优化、训练时间短、泛化性能好等优点，已经成为目前国际、国内研究的热点。支持向量机算法一经提出，就得到国内外学者的高度关注。学术界普遍认为它是继神经网络之后的一个新的研究方向。

SVM方法在理论上具有突出的优势，贝尔实验室率先对美国邮政手写数字库识别研究方面应用SVM方法，取得了较大的成功。在随后的近几年内，有关SVM的应用研究得到了很多领域的学者的重视，在人脸检测、验证和识别、说话人/语音识别、文字/手写体识别、图像处理、及其他应用研究等方面取得了大量的研究成果，从最初的简单模式输入的直接的SVM 方法研究，进入到多种方法取长补短的联合应用研究，对SVM方法也有了很多改进。

虽然支持向量机发展时间很短，但是由于它的产生是基于统计学习理论的，因此具有坚实的理论基础。近几年涌现出的大量理论研究成果，更为其应用研究奠定了坚实基础。如Anthony et al.(1999）等人给出了关于硬邻域支持向量机学习误差的严格理论界限，Shawe-Taylor（2000）和Cristianini（2000）也给出了类似的关于软邻域支持向量机和回归情况下的误差界限；Weston et al.（1998）和 Vapnik（1995，1998）等研究了支持向量机的泛化性能及其在多值分类和回归问题的扩展问题；Smola（1998）和Schoelkopf（1999）提出了支持向量机一般意义下的损失函数数学描述；脊回归是由Tikhonov 提出的一种具有特殊形式的正则化网络，Girosi（1990）、Poggio（1975）等将其应用到正则化网络的学习中，Smola et al.（1999）研究了状态空间中脊回归的应用，Girosi（1990）、Smola（1998）、Schoelkopf（1999）等讨论了正则化网络和支持向量机的关系。随着支持向量机理论上深入研究，出现了许多变种支持向量机，如Smola et al.（1999）提出的用于分类和回归的v 支持向量机。另外，一些学者还扩展了支持向量机概念，如Mangasarian（1997）等人的通用支持向量机（Generalised SVMs）。

就目前的应用研究状况而言，支持向量机的应用研究已经很广泛。但比较遗憾的是,虽然SVM方法在理论上具有很突出的优势,但与其理论研究相比,应用研究尚相对比较滞后, 目前只有较有限的实验研究报道, 且多属仿真和对比实验，应用不及人工神经网络方法。但或许是由于统计学理论为人们系统研究有限样本情况下机器学习问题提供了有力的理论基础，或许更是因在支持向量机方法所表现出的令人向往的优良特性，人们开始迅速重视这一早在20年前就该重视的学术方向，所以有理由相信SVM的应用研究还有很大潜力可挖的，应该是一个大有作为的方向。

1.3 课题研究目的及意义

基于统计学习理论发展而来的一种的新的通用学习方法---支持向量机，相比神经网络，较好地解决了小样本、非线性、高维数和局部极小点等实际问题。目前，支持向量机已在模式识别、非线性系统辨识、预测预报等领域得到了极大的应用，并展现了极好的学习性能，具有很高的研究价值和应用前景。本课题要求掌握支持向量机，并能应用到一些简单的电磁逆散射问题。

本课题是一个片理论性的课题，将物理学、电子信息科学与技术专业学科内容与计算机知识的应用紧密切结合在一起，符合本科生学习的基本要求。研究本课题，有利于自身知识水平和创新能力的提高，培养了学习和接受新理论知识的能力。同时，由于本课题理论知识较深，很多知识点在之前课堂上没有接触，所以研究此课题，还很好的训练了我资料收集、文献查询、理论分析、计算机应用、数值计算、创新意识等方面的能力。