模式识别期末论文最终版

xxxx大学

研究生课程论文

课程名称支持向量机及应用问题讨论

任课教师

考生姓名

考生学号

考生专业

所在院系数学与计算机学院

提交日期年月日

摘要

支持向量机（Support Vector Machine，SVM）是一种新型的机器学习方法并且也是当代国际机器学习前沿热点。它是继人工神经网络后，智能计算领域发展的又一新里程碑。支持向量机以严格证明的统计学习理论为基础，使用核函数把数据从样本空间映射到高维特征空间，将非线性问题转化为线性可分问题，获得最优解，是一重大的理论创新。文中重要分析了机器学习方法的核心思想及训练算法，还有其具体应用。

关键字：支持向量机、统计学习理论、机器学习

SVM (Support Vector Machine, SVM) is a kind of novel Machine learning method and is contemporary international Machine learning frontier hot spots.It is after the artificial neural network, and a new milestone in the development of intelligent computing.Support vector machine (SVM) based on the strict proof of statistical learning theory, using the kernel function is the data from the sample space is mapped to high-dimensional feature space, and the nonlinear problem is converted into linear separable problem, obtain the optimal solution, is a major theoretical innovation.This paper analyzes the core idea of machine learning methods and important training algorithm, and its concrete application.

Key words:support vector machine, statistical learning theory, machine learning

引言

理论和结构风险最小原理基础上的，根据有限的样本信本文章首先开始介绍支持向量机面前的发展现状和形势，然后介绍它的原理，最后重点介绍最优分类超平面及其支持向量机的应用。

一、支持向量机的简介

支持向量机是由Boser,Guyon和Vapnik发明，并首次在计算学习理论（COLT）1992年年会论文中提出。它与传统的统计学习理论不同，是由于它基于结构风险最小化（ＳＲＭ），而不是传统统计学的经验风险最小化（ＥＲＭ）。目前传统的统计模式识别方法只有在样本趋向无穷大时，其性能才有理论的保证。统计学习理论（STL）研究有限样本情况下的机器学习问题。SVM的理论基础就是统计学习理论。推广能力是指: 将学习机器(即预测函数,或称学习函数、学习模型)对未来输出进行正确预测的能力。

支持向量机方法是建立在统计学习理论的VC维息在模型的复杂性（即对特定训练样本的学习精度）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折衷，以求获得最好的推广能力。它是继人工神经网络后，智能计算领域发展的又一里程碑[1]。广泛关注，并且已成功应用于人脸识别、手写体数字识别，图像检索、模式分类和回归领域等许多领域。本文在介绍最优分类超平面概念的基础上，分析SVM的特点并且给出常用的SV支持向量机简称SVM,是一种基于统计学习理论的新型机器学习算法，有着严密的数学基础，出色的学习性能，训练结果只与支持向量有关，且泛化性强，成为了解决非线性问题的重要工具，因此，受到智能计算领域学者的M训练算法及其应用。

二、支持向量机原理

支持向量机是从数据分类问题的研究中发展起来的，它实质上是统计学习理论在实际应用中的一种实现方法，在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势，而且可以推广应用到函数估计等其他机器学习问题中。

结构风险最小化

[2]设有ｎ个独立同分布观测样本（ｘ１，ｙ１），（ｘ２，ｙ２），…，（ｘｎ，ｙｎ），其中ｙｉ∈Ｒ，ｉ＝１，２…ｎ，用函数ｆ进行拟和的期望风险定义为：Ｒ＝∫Ｌ（ｙ，ｆ（ｘ））ｄＦ（ｘ，ｙ） (1)

其中，Ｌ是由于用ｆ对ｙ进行预测而造成的损失，Ｆ（ｘ，ｙ）是ｘ和ｙ之间的联合分布函数。

[3]测量建模就是在已知ｎ个样本的条件下，在某个函数类中求取ｆ使得Ｒ最小化。在实际应用时，一般分布函数Ｆ（ｘ，ｙ）是未知的，直接利用(1)式进行计算几乎不可能，经常用的方法是用经验风险Ｒｅｍｐ代替Ｒ进行风险计算，其中经验风险定义为：

Ｒｅｍｐ（Ｗ）＝１ｎｎｉ＝１%Ｌ（ｙｉ，ｆ（ｘｉ，ｗ））(2)

用经验风险Ｒｅｍｐ来逼近期望风险Ｒ就是经验风险最小化原则（ＥＲＭ原则），传统的软测量方法（如神经网络和最小二乘方法等）就是基于这一原则。然而，从期望风险最小化到经验风险最小化并没有可靠的理论依据，它只是直观上的想当然做法，在许多情况下，经验风险Ｒｅｍｐ不能完全反映真实风险Ｒ，有时候经验风险过小反而会导致真实风险增大，这就是过学习（ｏｖｅｒｆｉｔｔｉｎｇ）问题，它会导致推广能力下降。出现过学习现象的原因，既有学习样本不充分的原因，也有学习机器设计不合理的因素，即在样本有限的情况下：经验风险最小并不一定意味着期望风险最小；学习机器的复杂性不但与所研究的系统有关，而且要和有限的学习样本相适应。

统计学习理论系统地研究了各种类型的函数集，经验风险Ｒｅｍｐ和实际风险Ｒ

之间的关系，它们之间至少以概率１－η满足如下关系：

(3)

式中，ｈ是函数集的ＶＣ维，ｎ是样本数。从结论中可以看出学习机器的实际风

险由两部分组成：一是训练样本的经验风险Ｒｅｍｐ，另一部分是置信范围"（ｈ

／ｎ），它不仅同置信水平１－η有关，而且同学习机器的ＶＣ维和训练样本数

有关。

三、最优分类超平面

设给定训练数据为{(x1,y1),(x2,y2),...,(xl,yl)},其中x∈Rn,y∈

{-1,+1},又若n维空间中的线性判别函数一般形式为:g(x)=(w?x)+b,且集合中

的所有数据都可以被分类面(w?x)+b=0所正确划分,则该分类面就是最优超平

面。而距离该最优超平面最近的异类向量就是所谓的支持向量(SupportVecter),

支持向量与超平面之间的距离最大(即边缘最大化),一组支持向量可以唯一的确

定一个超平面。如图1所示。

图1 SVM算法原理示意图

图中,实心点和空心点代表两类样本,H为分类线,H1,H2分别为过各类中离分类

线最近的样本且平行于分类线的直线,它们之间的距离叫做分类间隔(Margin)。

由于支持向量与超平面之间的距离为1/||w||,则支持向量间距为2/||w||,寻找

超平面的问题,可转化为求解以下二次规划问题:

Φ(w)=1/2(w?w) (1)

约束条件为不等式:

yi[(w?xi)+b]≥1 i=1,2,…,l (2)

对一个规范超平面子集,其VC维h满足不等式:

h≤min([R2A2+b],n)+1 (3)

式中n为向量空间的维数,R为覆盖所有向量的超半球半径,||w||2A。

由式(3)可以得到,通过最小化||w||可使VC置信度最小,若固定经验风险,则最

小化期望风险的问题就是最小化||w||的问题,此即SVM算法的理论出发点。

四、构造最优超平面

可知,在线性条件下式(1)的最优解为下面Lagrange函数的鞍点: L(w,b,α)-?||w||?||w||-∑αi{yi(w?x +b)-1} (4)

式中,α为非负Lagrange乘子。在鞍点处,由于w和b的梯度均为零,则可知最优超平面系数αi满足:

∑li=1αiyi=0,此时最优超平面是训练集合中的向量的线性组合:w=∑li=1αi yixi (5)

因为只有支持向量可以在w的展开式中具有非零系数αi,这时的支持向量就是使式(2)成立的向量,即

只有支持向量影响最终的分类结果,数学表述如下:

w=∑αiyixi (6)

根据Kühn-Tucker条件可知,最优解满足:

αi{[(w?x)+b]yi-1}=0 (7)

将式(6)、(7)代入式(5)中,构造最优超平面的问题就转化为一个较为简单的二次规划问题,可知分类平面为

f(x)=sgn(∑iαiyixi?x+b) (8)

对于线性不可分的情况,SVM引入松弛变量和惩罚因子,使目标函数变为

Φ(w,ζ)=1/2(w?w)+C(∑Niζi) (9)

此外,SVM通过非线性变换将输入空间变换到高维空间,然后在新空间中求解最优分类面,线性可分情况下的点积运算变为k(x,y)=(Φ(x)?Φ(y))。由此得到分类函数为f(x)=sgn(∑iαiyi?k(xi,x)+b) (10)

五、支持向量机

支持向量机实现的是如下的思想:通过事先选择好的非线性映射将输入向量x映射到一个高维特征空间Z,在这个空间构造最优分类超平面。SVM的分类函数在形式上类似神经网络,输出是中间节点的线性组合,每个中间节点对应一个支持向量,如图2所示。

图2 支持向量机示意图

由以上对最优超平面的讨论可知,向量之间只进行点积运算。因此,如果采用核函数(KernalFunction),就可以避免在高维特征空间进行复杂的运算。该过程可以表述如下:首先将输入向量x通过映射:Ψ:Rn→H映射到高维Hilbert

空间H中。该核函数K满足:k(xi,yj)=(Φ(x)?Φ(y)),显然不同的核函数将形成不同的算法(即不同的支持向量

机),目前,主要有:①多项式核函数:k(x,xj)=[(x?xi)+1]d,得到d阶多项式分类器;

②径向基函数(RBF):k(x,y)=exp[-‖x-y‖2σ2],所得分类器与传统RBF的区别是:这里每个基函数中心对应一个支持向量,它们及输出权值都是由算法自动确定的。另外,还有其它一些核函数。

六、应用研究

SVM是一种未成熟的新技术,仍然存在很多局限。但是由于SVM找到的是全局最优解。因此在很多问题上都有着其它统计学习技术难以比拟的优越性,并在一些领域已经获得成功。

模式识别中,最突出的应用研究是字符识别。表1是贝尔实验室对美国邮政手写字体识别的实验结果。

表1一方面说明SVM方法较传统方法有明显优势,同时也看到不同SVM方法得到相近的结果,说明SVM对不同方法具有一定的不敏感性,(目前该点只能从试验说明,尚未找到数学证明)而不象神经网络那样对模型的依赖型很强。

在函数拟合方面,SVM主要应用于函数逼近、时间序列预测和数据压缩等。图3是原始数据的曲线,图4是采用RBF函数为核函数进行拟合的结果,可以看到曲线拟合效果良好。(图4中的小圆代表对原始数据进行插值的点。

七、结语

虽然支持向量机是目前比较新型的机器学习方法，但是目前这项技术没有完全的认识了解，是未成熟的，并且其应用问题还存在很多问题待解决，使其可以更加完善其各方面的应用。

八、参考文献

[1]支持向量机请通俗介绍．[M].北京：机械工业出版社，2012.04

[2]周振丰．焊接冶金学（金属焊接性）［M］．北京：机械工业出版社.1998

[3]姜焕中．电弧焊及电渣焊［M］．北京：机械工业出版社，1996

[4]模式识别（第三版）张学工 [M].北京：清华大学出版社，2010.8

[5] VapinkV.TheNatureofStatisticalLearningTheory[M].NewYork:SpringerV erlag,19951

[6] CortesC,VapinkV.SupportVectorNetworks[J].MachineLearning,1995,20: 273-2971

课程论文成绩：，占％；平时成绩：，占％；总评成绩：。

课程论文评语：

任课教师签名：

年月日