支持向量机(SVM)原理及应用概述
简述支持向量机的原理与应用范围
简述支持向量机的原理与应用范围
支持向量机（Support Vector Machine，SVM）是一种常见的监督学习算法，主要用于分类和回归问题。
它在机器学习领域有着广泛的应用。
原理：
支持向量机的核心思想是找到一个最优的超平面，将不同类别的样本点尽可能地分开。
其基本原理可以概括为以下几个步骤：
1.将样本点映射到高维空间中，使得样本点在新的空间中能够线性可分。
2.在新的空间中找到一个最优的超平面，使得离该超平面最近的样本点到该
超平面的距离最大化。
3.根据最优的超平面进行分类或回归预测。
应用范围：
支持向量机广泛应用于以下领域：
•文本分类：支持向量机可以根据文本的特征将其分类为不同的类别，常用于垃圾邮件过滤、情感分析等任务。
•图像识别：支持向量机可以通过学习图像的特征，实现图像的分类和识别，常用于人脸识别、物体识别等任务。
•生物信息学：支持向量机可以用于基因表达数据的分类和预测，帮助研究人员理解基因功能和疾病机制。
•金融预测：支持向量机可以根据历史数据对股票价格、汇率等进行预测，用于金融市场的决策和交易。
•异常检测：支持向量机可以通过学习正常样本的特征，检测异常样本，常用于网络入侵检测、信用卡欺诈检测等场景。
综上所述，支持向量机是一种强大的机器学习算法，其原理简单而有效，应用范围广泛。
通过合理选择核函数和参数调优，支持向量机能够获得较好的分类和回归性能。
(完整版)支持向量机(SVM)原理及应用概述
支持向量机（SVM ）原理及应用一、SVM 的产生与发展自1995年Vapnik(瓦普尼克)在统计学习理论的基础上提出SVM 作为模式识别的新方法之后，SVM 一直倍受关注。
同年，Vapnik 和Cortes 提出软间隔(soft margin)SVM ，通过引进松弛变量i ξ度量数据i x 的误分类(分类出现错误时i ξ大于0)，同时在目标函数中增加一个分量用来惩罚非零松弛变量(即代价函数)，SVM 的寻优过程即是大的分隔间距和小的误差补偿之间的平衡过程；1996年，Vapnik 等人又提出支持向量回归 (Support Vector Regression ，SVR)的方法用于解决拟合问题。
SVR 同SVM 的出发点都是寻找最优超平面(注：一维空间为点；二维空间为线；三维空间为面；高维空间为超平面。
)，但SVR 的目的不是找到两种数据的分割平面，而是找到能准确预测数据分布的平面，两者最终都转换为最优化问题的求解；1998年，Weston 等人根据SVM 原理提出了用于解决多类分类的SVM 方法(Multi-Class Support Vector Machines ，Multi-SVM)，通过将多类分类转化成二类分类，将SVM 应用于多分类问题的判断：此外，在SVM 算法的基本框架下，研究者针对不同的方面提出了很多相关的改进算法。
例如，Suykens 提出的最小二乘支持向量机 (Least Square Support Vector Machine ，LS —SVM)算法，Joachims 等人提出的SVM-1ight ，张学工提出的中心支持向量机 (Central Support Vector Machine ，CSVM)，Scholkoph 和Smola 基于二次规划提出的v-SVM 等。
此后，台湾大学林智仁(Lin Chih-Jen)教授等对SVM 的典型应用进行总结，并设计开发出较为完善的SVM 工具包，也就是LIBSVM(A Library for Support Vector Machines)。
支持向量机算法与应用
支持向量机算法与应用支持向量机(Support Vector Machine, SVM)是一种很常用的分类算法，它在分类和回归问题中表现出极高的性能，被广泛应用于机器学习和数据挖掘中。
本文将介绍支持向量机的基本概念、算法原理和应用场景。
一、基本概念1. SVM分类器SVM分类器是一种基于二分类的监督学习算法。
其主要原理是利用数据集进行训练，通过对数据的分析来建立一个模型，并用此模型来对新样本进行分类。
2. 超平面在SVM中，超平面是指将一个n维空间划分为两个部分的一个n-1维的平面。
在二维空间中，超平面就是一条直线。
在多维空间中，由于难以想象，所以通常使用非常高维度的空间来表示超平面。
3. 分类边界在SVM中，分类边界是指位于超平面两侧的两个边界。
这两个边界是可以调节的，可以根据数据点的分布来设置。
分类边界的目标是使位于不同分类的数据点最大化间隔，并尽可能地避免分类错误。
4. 支持向量在SVM中，支持向量是指与分类边界最接近的那些点。
这些点是分类边界的构成要素，也是构建分类器的关键。
二、算法原理支持向量机的核心思想是通过最大化分类边界的间隔来实现分类。
具体来说，原始的线性可分SVM问题可以表述为：在n维空间中，找到一个超平面，将不同类别的点尽可能分开。
这个超平面可以表示如下：w·x+b=0其中，w表示超平面的法向量，x表示数据点，b表示平面的截距。
当两类点都被正确分类时，超平面的分类间隔为2/‖w‖。
在这种情况下，数据点的分类可以表示为：y(w·x+b)>0其中y表示数据点的类别，+1或-1。
当数据集不能被完全分开时，就需要使用软间隔。
软间隔允许一些数据点被错误分类，并对公式进行修改。
具体来说，我们添加一个松弛变量ξi，使得y(w·x+b)≥1-ξi。
此时分类器的目标就是最小化误差的总和：min ||w||²/2+C∑ξis.t. y(w·x+b)≥1-ξi其中C是超参数，我们可以通过交叉验证等方法来确定它的值。
支持向量机简介与基本原理
支持向量机简介与基本原理支持向量机（Support Vector Machine，SVM）是一种常用的机器学习算法，被广泛应用于模式识别、数据分类以及回归分析等领域。
其独特的优势在于可以有效地处理高维数据和非线性问题。
本文将介绍支持向量机的基本原理和应用。
一、支持向量机的基本原理支持向量机的基本思想是通过寻找一个最优超平面，将不同类别的数据点分隔开来。
这个超平面可以是线性的，也可以是非线性的。
在寻找最优超平面的过程中，支持向量机依赖于一些特殊的数据点，称为支持向量。
支持向量是离超平面最近的数据点，它们对于确定超平面的位置和方向起着决定性的作用。
支持向量机的目标是找到一个超平面，使得离它最近的支持向量到该超平面的距离最大化。
这个距离被称为间隔（margin），最大化间隔可以使得分类器更具鲁棒性，对新的未知数据具有更好的泛化能力。
支持向量机的求解过程可以转化为一个凸优化问题，通过求解对偶问题可以得到最优解。
二、支持向量机的核函数在实际应用中，很多问题并不是线性可分的，此时需要使用非线性的超平面进行分类。
为了解决这个问题，支持向量机引入了核函数的概念。
核函数可以将低维的非线性问题映射到高维空间中，使得原本线性不可分的问题变得线性可分。
常用的核函数有线性核函数、多项式核函数、高斯核函数等。
线性核函数适用于线性可分问题，多项式核函数可以处理一些简单的非线性问题，而高斯核函数则适用于复杂的非线性问题。
选择合适的核函数可以提高支持向量机的分类性能。
三、支持向量机的应用支持向量机在实际应用中有着广泛的应用。
在图像识别领域，支持向量机可以用于人脸识别、物体检测等任务。
在生物信息学领域，支持向量机可以用于蛋白质分类、基因识别等任务。
在金融领域，支持向量机可以用于股票市场预测、信用评估等任务。
此外，支持向量机还可以用于文本分类、情感分析、异常检测等领域。
由于其强大的分类性能和泛化能力，支持向量机成为了机器学习领域中的重要算法之一。
支持向量机算法的原理和应用
支持向量机算法的原理和应用支持向量机(Support Vector Machine, SVM)是一种基于统计学习理论的机器学习算法，它可以在数据集中找到一个最优超平面，将不同类别的样本分割开来。
在分类问题中，SVM通过构建一个超平面来对不同类别的样本进行分类；在回归问题中，SVM可以用来拟合非线性关系的数据。
SVM的核心思想是最大化间隔，即找到一个能够将不同类别的样本分隔开的超平面，使得两侧最近的样本点到超平面的距离最大。
这些最近的样本点被称为支持向量，它们决定了最终划分超平面的位置。
SVM的基本原理可以分为以下几个步骤：1.数据准备：首先需要对数据进行预处理，包括数据清洗、归一化、特征提取等。
2.特征选择：选择与分类问题相关的特征。
3.模型构建：构建SVM模型，选择适当的核函数、设置参数。
4.模型训练：使用已标记的训练样本进行模型训练，找到最佳的超平面。
5.模型预测：用训练好的模型对新样本进行预测，即将新样本进行分类。
SVM算法的应用非常广泛，主要包括以下几个方面：1.二分类问题：SVM在二分类问题中表现出色，特别适用于具有较大类别间距离且样本数目较少的情况。
例如，在垃圾邮件分类中，SVM可以将垃圾邮件和正常邮件进行有效地区分。
2.多分类问题：通过将多个二分类器组合起来，SVM可以用于解决多分类问题。
例如，在手写数字识别中，可以使用SVM对不同的数字进行分类。
3.异常检测：SVM可以用于异常检测，通过将异常样本与正常样本分开。
例如，在网络入侵检测中，SVM可以帮助识别潜在的入侵行为。
4.文本分类：SVM在文本分类问题中也有广泛的应用。
例如，在垃圾短信识别中，可以使用SVM对短信进行分类。
5.图像识别：SVM在图像识别问题中有很好的表现。
例如，在人脸识别中，可以使用SVM对不同人脸进行分类。
除了以上几个应用领域，SVM还可以应用于生物信息学、计算机视觉、自然语言处理等问题的解决。
尽管SVM算法在许多问题中都表现出色，但也存在一些限制。
支持向量机算法和应用
支持向量机算法和应用支持向量机（SVM）是一种非常具有优势的机器学习算法，可用于分类和回归任务。
它使用一种称为“核技巧”的方法将数据映射到高维空间，并在这些空间中查找超平面，以将数据集分为两类。
SVM算法已经在许多实际应用中成功应用，包括图像识别、文本分类、金融预测和医学诊断等领域。
SVM算法的原理支持向量机算法的基本原理是将数据点映射到高维空间中，然后找到一个超平面来区分它们。
超平面是一个n维空间（其中n表示特征维数）中的线性分隔面，可以将其视为一个二分类器。
在二维空间中，超平面是一条直线，可用于将两组数据分开。
但是，许多数据集不是线性可分的，这意味着无法在特征空间中找到一个超平面，以将数据集分成两类。
在这种情况下，SVM使用核技巧将数据映射到高维空间中，更准确地找到一个超平面。
SVM的支持向量是指离超平面最近的数据点。
它们在算法中发挥着重要的作用，因为它们可以确定超平面的位置。
支持向量机算法使用这些支持向量来最大化超平面和每个类之间的距离，从而实现最佳分类。
SVM算法的应用支持向量机算法已广泛应用于各个领域，以下是其中一些成功的案例。
1. 图像识别SVM算法在图像识别中独树一帜，因为它能够处理高维数据。
图像可以表示为像素点的向量，而每个像素点都可以表示为颜色或灰度值。
这些像素值可以用于训练SVM，从而识别不同的物体。
例如，支持向量机算法可以用于检测医学图像中的病变和肿瘤，并对其进行分类。
SVM也可以识别CAD图像中的零件，并将其分为不同的类别。
2. 文本分类支持向量机算法还可以用于文本分类。
它能够学习不同文本的特征，并在其文本分类时使用这些特征。
例如，当使用SVM将电子邮件分类为垃圾邮件或非垃圾邮件时，SVM算法会查找特定单词或短语，并将垃圾邮件与非垃圾邮件区分开来。
SVM也可以用于文本情感分析，例如，对于Twitter数据进行分析，判断用户发言是否为正面或负面情感。
在金融领域，SVM的应用范围也很广，可以帮助预测某家公司的股票是否值得购买。
SVM算法原理及应用
SVM算法原理及应用支持向量机（Support Vector Machine，SVM）是一种监督学习算法，属于分类算法的一种。
SVM的主要思想是找到一个可以将不同类别的数据集分开的最优超平面（Optimal Hyperplane）。
本文将从SVM的基本原理、优缺点以及应用案例等方面进行讲解。
一、SVM的基本原理SVN算法的基本原理是基于统计学习理论和结构风险最小化思想所产生的。
它的基本思想是通过求解最优化问题，构造一个能够正确划分样本并且泛化能力强的分离超平面，使得该分离超平面与支持向量之间的间隔最大，最大间隔超平面。
具体而言，SVM将样本映射到高维特征空间中，在该空间中构造一个超平面。
SVM分类器的目标就是在高维特征空间中找到一个最优的超平面，使得训练数据集的所有样本都被正确分类，并且在新数据上具有良好的泛化能力。
二、SVM的优缺点1. 优点（1）处理高维数据的能力。
可以应对高维数据的分类问题；（2）泛化能力强。
通过控制间隔的大小，可以使得该超平面更加鲁棒，从而避免过拟合；（3）准确度高。
相较于其他分类器如KNN和决策树，其准确度更高；（4）可处理非线性问题。
通过核函数的使用，可以将数据映射到高维空间，从而可以线性可分。
2. 缺点（1）数据量较大时，其训练时间会较长，需要较高的计算资源；（2）对噪声敏感。
如果训练数据中存在噪声，很容易出现过拟合现象。
三、SVM的应用案例SVM由于其准确度高、泛化能力强等特点，在许多领域都有广泛的应用。
1. 文本分类SVM可以将文本映射到高维空间中，从而可以使用SVM对文本进行分类。
如在智能客服领域，可以使用SVM将用户的问题自动分类，从而提高客户服务的效率。
2. 图像识别SVM也可以被用于图像分类和识别。
由于SVM的鲁棒性强，可以应对样本数较小、数据呈现不平衡的情况。
3. 生物信息学SVM也被广泛用于生物信息学领域中，如预测蛋白质二级结构、酶的功能分类等。
四、总结SVM算法是一种用于分类和回归的强有力工具。
支持向量机原理及应用
支持向量机原理及应用支持向量机（Support Vector Machine，SVM）是机器学习中一种强大的分类和回归方法。
它的原理是通过将数据映射到高维空间中，找到一个最优的超平面来实现分类或回归任务。
SVM在许多领域都有广泛的应用，例如图像分类、文本分类、生物信息学和金融等。
SVM的核心思想是找到一个能够最大化分类边界的超平面。
超平面是一个能够将分类样本分开的线性空间。
SVM通过将输入样本映射到高维空间中，使得线性可分问题变为了线性可分的问题。
在高维空间中，SVM选择一个能够最大化样本间距的超平面，这就是SVM的原理之一SVM的另一个重要原理是核技巧。
在非线性可分问题中，SVM使用核函数将数据映射到高维空间中，通过在高维空间中找到一个超平面来实现分类。
核函数可以将原始空间中的非线性问题转化为高维空间中的线性问题，从而大大提高了SVM的分类准确率。
SVM的应用非常广泛，其中最经典的应用之一是图像分类。
图像分类是指根据图像的内容将其归入特定的类别。
SVM可以利用其强大的分类能力来将图像分为属于不同类别的准确性高。
在图像分类中，SVM通常使用特征向量作为输入来训练模型，然后使用该模型将新的图像分类为预定义的类别。
SVM在文本分类中也有广泛的应用。
文本分类是指将文本归类为不同的类别，例如将电子邮件分类为垃圾邮件或非垃圾邮件。
SVM可以利用其在高维空间中找到超平面的能力，找出文字特征与类别之间的关系，从而实现文本分类。
SVM在文本分类中的应用有助于提高准确性和效率，特别是在大规模数据集上。
此外，SVM还在生物信息学中发挥重要作用。
生物信息学包括生物学、计算机科学和统计学等领域，用于研究和解释生物学数据。
SVM可以用于分析和预测生物学数据，如基因表达数据和蛋白质序列。
SVM在生物信息学中的应用有助于揭示生物学的内在规律，提高疾病诊断和治疗方法的准确性。
此外，SVM还被广泛应用于金融领域。
金融领域需要对股票市场、外汇市场和其他金融市场进行预测和分析。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
支持向量机(SVM)原理及应用一、SVM得产生与发展自1995年Vapnik(瓦普尼克)在统计学习理论得基础上提出SVM作为模式识别得新方法之后,SVM一直倍受关注。
同年,Vapnik与Cortes提出软间隔(soft margin)SVM,通过引进松弛变量度量数据得误分类(分类出现错误时大于0),同时在目标函数中增加一个分量用来惩罚非零松弛变量(即代价函数),SVM得寻优过程即就是大得分隔间距与小得误差补偿之间得平衡过程;1996年,Vapnik等人又提出支持向量回归 (Support Vector Regression,SVR)得方法用于解决拟合问题。
SVR同SVM得出发点都就是寻找最优超平面(注:一维空间为点;二维空间为线;三维空间为面;高维空间为超平面。
),但SVR得目得不就是找到两种数据得分割平面,而就是找到能准确预测数据分布得平面,两者最终都转换为最优化问题得求解;1998年,Weston等人根据SVM原理提出了用于解决多类分类得SVM方法(MultiClass Support Vector Machines,MultiSVM),通过将多类分类转化成二类分类,将SVM应用于多分类问题得判断:此外,在SVM算法得基本框架下,研究者针对不同得方面提出了很多相关得改进算法。
例如,Suykens 提出得最小二乘支持向量机(Least Square Support Vector Machine,LS—SVM)算法,Joachims等人提出得SVM1ight,张学工提出得中心支持向量机 (Central Support Vector Machine,CSVM),Scholkoph与Smola基于二次规划提出得vSVM等。
此后,台湾大学林智仁(Lin ChihJen)教授等对SVM得典型应用进行总结,并设计开发出较为完善得SVM工具包,也就就是LIBSVM(A Library for Support Vector Machines)。
LIBSVM就是一个通用得SVM软件包,可以解决分类、回归以及分布估计等问题。
二、支持向量机原理SVM方法就是20世纪90年代初Vapnik等人根据统计学习理论提出得一种新得机器学习方法,它以结构风险最小化原则为理论基础,通过适当地选择函数子集及该子集中得判别函数,使学习机器得实际风险达到最小,保证了通过有限训练样本得到得小误差分类器,对独立测试集得测试误差仍然较小。
支持向量机得基本思想:首先,在线性可分情况下,在原空间寻找两类样本得最优分类超平面。
在线性不可分得情况下,加入了松弛变量进行分析,通过使用非线性映射将低维输入空间得样本映射到高维属性空间使其变为线性情况,从而使得在高维属性空间采用线性算法对样本得非线性进行分析成为可能,并在该特征空间中寻找最优分类超平面。
其次,它通过使用结构风险最小化原理在属性空间构建最优分类超平面,使得分类器得到全局最优,并在整个样本空间得期望风险以某个概率满足一定上界。
其突出得优点表现在:(1)基于统计学习理论中结构风险最小化原则(注:所谓得结构风险最小化就就是在保证分类精度(经验风险)得同时,降低学习机器得VC 维,可以使学习机器在整个样本集上得期望风险得到控制。
)与VC维理论(注:VC维(VapnikChervonenkis Dimension)得概念就是为了研究学习过程一致收敛得速度与推广性,由统计学理论定义得有关函数集学习性能得一个重要指标。
),具有良好得泛化能力,即由有限得训练样本得到得小得误差能够保证使独立得测试集仍保持小得误差。
(2)支持向量机得求解问题对应得就是一个凸优化问题,因此局部最优解一定就是全局最优解。
(3)核函数得成功应用,将非线性问题转化为线性问题求解。
(4)分类间隔得最大化,使得支持向量机算法具有较好得鲁棒性。
由于SVM自身得突出优势,因此被越来越多得研究人员作为强有力得学习工具,以解决模式识别、回归估计等领域得难题。
1.最优分类面与广义最优分类面SVM就是从线性可分情况下得最优分类面发展而来得,基本思想可用图1来说明。
对于一维空间中得点,二维空间中得直线,三维空间中得平面,以及高维空间中得超平面,图中实心点与空心点代表两类样本,H为它们之间得分类超平面,H1,H2分别为过各类中离分类面最近得样本且平行于分类面得超平面,它们之间得距离△叫做分类间隔(margin)。
图1 最优分类面示意图W所谓最优分类面要求分类面不但能将两类正确分开,而且使分类间隔最大。
将两类正确分开就是为了保证训练错误率为0,也就就是经验风险最小(为O)。
使分类空隙最大实际上就就是使推广性得界中得置信范围最小？,从而使真实风险最小。
推广到高维空间,最优分类线就成为最优分类面。
设线性可分样本集为就是类别符号。
d维空间中线性判别函数得一般形式为就是类别符号。
d维空间中线性判别函数得一般形式为(主:w代表Hilbert空间中权向量;b代表阈值。
),分类线方程为？。
将判别函数进行归一化,使两类所有样本都满足,也就就是使离分类面最近得样本得,此时分类间隔等于？,因此使间隔最大等价于使 (或)最小。
要求分类线对所有样本正确分类,就就是要求它满足(11)满足上述条件(11),并且使最小得分类面就叫做最优分类面,过两类样本中离分类面最近得点且平行于最优分类面得超平面H1,H2上得训练样本点就称作支持向量(support vector),因为它们“支持”了最优分类面。
利用Lagrange(拉格朗日)优化方法可以把上述最优分类面问题转化为如下这种较简单得对偶问题,即:在约束条件,(12a)(12b) 下面对(主:对偶变量即拉格朗日乘子)求解下列函数得最大值:？ (13)若为最优解,则 (14)即最优分类面得权系数向量就是训练样本向量得线性组合。
注释(13)式由来:利用Lagrange 函数计算如下,实例计算:图略,可参见PPT可调用Matlab 中得二次规划程序,求得α1, α2, α3, α4得值,进而求得w 与b 得值。
这就是一个不等式约束下得二次函数极值问题,存在唯一解。
根据k ühnTucker 条件,解中将只有一部分(通常就是很少一部分)不为零,这些不为0解所对应得样本就就是支持向量。
求解上述问题后得到得最优分类函数就是: (15) 根据前面得分析,非支持向量对应得均为0,因此上式中得求与实际上只对支持向量进行。
就是分类阈值,可以由任意一个支持向量通过式(11)求得(只有支持向量才满足其中得等号条件),或通过两类中任意一对支持向量取中值求得。
从前面得分析可以瞧出,最优分类面就是在线性可分得前提下讨论得,在线性不可分得情况下,就就是某些训练样本不能满足式(11)得条件,因此可以在条件中增加一个松弛项参数,变成:(16)对于足够小得s>0,只要使(17)最小就可以使错分样本数最小。
对应线性可分情况下得使分类间隔最大,在线性不可分情况下可引入约束:(18)在约束条件(16)幂1(18)下对式(17)求极小,就得到了线性不可分情况下得最优分类面,x1 =(0, 0), y1 = +1x2 =(1, 0), y2 = +1x3 =(2, 0), y3 = 1x4 =(0, 2), y4 = 1123412013/41/41120312002144231113,02224()3220w b g x x x αααα=⎧⎪=⎪⎨=⎪⎪=⎩⎡⎤-⎢⎥⎡⎤⎡⎤⎡⎤=--=⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦⎢⎥-⎢⎥⎣⎦⎡⎤⎡⎤=---=⎢⎥⎢⎥⎣⎦⎣⎦=--=称作广义最优分类面。
为方便计算,取s=1。
为使计算进一步简化,广义最优分类面问题可以迸一步演化成在条件(16)得约束条件下求下列函数得极小值:(19)其中C为某个指定得常数,它实际上起控制对锩分样本惩罚得程度得作用,实现在错分样本得比例与算法复杂度之间得折衷。
求解这一优化问题得方法与求解最优分类面时得方法相同,都就是转化为一个二次函数极值问题,其结果与可分情况下得到得(12)到(15)几乎完全相同,但就是条件(12b)变为:(110)2.SVM得非线性映射对于非线性问题,可以通过非线性交换转化为某个高维空间中得线性问题,在变换空间求最优分类超平面。
这种变换可能比较复杂,因此这种思路在一般情况下不易实现。
但就是我们可以瞧到,在上面对偶问题中,不论就是寻优目标函数(13)还就是分类函数(15)都只涉及训练样本之间得内积运算。
设有非线性映射将输入空间得样本映射到高维(可能就是无穷维)得特征空间H中,当在特征空间H中构造最优超平面时,训练算法仅使用空间中得点积,即,而没有单独得出现。
因此,如果能够找到一个函数K使得(111)这样在高维空间实际上只需进行内积运算,而这种内积运算就是可以用原空间中得函数实现得,我们甚至没有必要知道变换中得形式。
根据泛函得有关理论,只要一种核函数满足Mercer条件,它就对应某一变换空间中得内积。
因此,在最优超平面中采用适当得内积函数就可以实现某一非线性变换后得线性分类,而计算复杂度却没有增加。
此时目标函数(13)变为:(112)而相应得分类函数也变为(113)算法得其她条件不变,这就就是SVM。
概括地说SVM就就是通过某种事先选择得非线性映射将输入向量映射到一个高维特征空间,在这个特征空间中构造最优分类超平面。
在形式上SVM分类函数类似于一个神经网络,输出就是中间节点得线性组合,每个中间节点对应于一个支持向量,如图2所示图2 SVM示意图其中,输出(决策规则):,权值,为基于s个支持向量得非线性变换(内积),为输入向量。
3.核函数选择满足Mercer条件得不同内积核丞数,就构造了不同得SVM,这样也就形成了不同得算法。
目前研究最多得核函数主要有三类:(1)多顼式核函数(114)其中q就是多项式得阶次,所得到得就是q阶多项式分类器。
(2)径向基函数(RBF)(115)所得得SVM就是一种径向基分类器,它与传统径向基函数方法得基本区别就是,这里每一个基函数得中心对应于一个支持向量,它们以及输出权值都就是由算法自动确定得。
径向基形式得内积函数类似人得视觉特性,在实际应用中经常用到,但就是需要注意得就是,选择不同得S参数值,相应得分类面会有很大差别。
(3)S形核函数(116)这时得SVM算法中包含了一个隐层得多层感知器网络,不但网络得权值、而且网络得隐层结点数也就是由算法自动确定得,而不像传统得感知器网络那样由人凭借经验确定。
此外,该算法不存在困扰神经网络得局部极小点得问题。
在上述几种常用得核函数中,最为常用得就是多项式核函数与径向基核函数。
除了上面提到得三种核函数外,还有指数径向基核函数、小波核函数等其它一些核函数,应用相对较少。