SVM支持向量机算法的详细推导(详细到每个步骤,值得推荐)
(完整版)支持向量机(SVM)原理及应用概述分析
支持向量机( SVM )原理及应用一、SVM 的产生与发展自1995年Vapnik (瓦普尼克)在统计学习理论的基础上提出SVM作为模式识别的新方法之后，SVMH直倍受关注。
同年，Vapnik和Cortes提出软间隔(soft margin)SVM,通过引进松弛变量i度量数据X i的误分类(分类出现错误时i大于0)，同时在目标函数中增加一个分量用来惩罚非零松弛变量(即代价函数)，SVM勺寻优过程即是大的分隔间距和小的误差补偿之间的平衡过程；1996年，Vapnik等人又提出支持向量回归(Support Vector Regression , SVR)的方法用于解决拟合问题。
SVF同SV啲出发点都是寻找最优超平面(注：一维空间为点；二维空间为线；三维空间为面；高维空间为超平面。
)，但SVR勺目的不是找到两种数据的分割平面，而是找到能准确预测数据分布的平面，两者最终都转换为最优化问题的求解；1998年，Weston等人根据SVM原理提出了用于解决多类分类的SVM方法(Multi-Class Support Vector Mach in es，Multi-SVM)，通过将多类分类转化成二类分类，将SVM^用于多分类问题的判断：此外，在SVMJ法的基本框架下，研究者针对不同的方面提出了很多相关的改进算法。
例如，Suykens提出的最小二乘支持向量机(Least Square Support Vector Machine ，LS— SVM 算法,Joachims等人提出的SVM-1ight，张学工提出的中心支持向量机(Central Support Vector Machine, CSVM)Scholkoph和Smola基于二次规划提出的v-SVM等。
此后，台湾大学林智仁(Lin Chih-Jen)教授等对SVM勺典型应用进行总结，并设计开发出较为完善的SVM工具包，也就是LIBSVM(A Library for Support Vector Machines) 。
SVM支持向量机算法的详细推导(详细到每个步骤,值得推荐)
建立非线性可分数据的最优超平面可以采用与线性可 分情况类似的方法，即对于给定的训练样本 {(X1，d1)， (X2，d2)，…，(Xp，dp)，…(XP，dP)} ,寻找权值W和 阈值B的最优值，使其在式(8.19)的约束下，最小化关 于权值W和松弛变量 ξp 的代价函数
C是选定的正参数。 与前述方法相似，采用Laglange系数方法解决约束最 优问题。需要注意的是，在引入Lagrange函数时，使 e函数变为
WT XP+b<0
dp =-1
超平面与最近的样本点之间的间隔称为分离边缘，用ρ表示。 支持向量机的目标是找到一个分离边缘最大的超平面，即最优 超平面。也就是要确定使ρ最大时的W和b。 图8.1给出二维平面中最优超平面的示意图。可以看出，最优 超平面能提供两类之间最大可能的分离，因此确定最优超平面 的权值W0和偏置b0应是唯一的。在式(8.1)定义的一簇超平面中， 最优超平面的方程应为: WT X0+b0=0（应该是W0 X + b0 = 0吧？ ） 直接求W0和b0基本上不太可能，除了训练集无别的信息可用， 如何办？ 一种方法：使求得的预测函数 y = f(x) = sgn(W· + b)对原有 X 样本的分类错误率最小。 如何使分类错误率最小？下面慢慢分 析。
αp>0 以上为不等式约束的二次函数极值问题(Quadratic Programming，QP)。由Kuhn Tucker定理知，式 (8.14)的最优解必须满足以下最优化条件(KKT条件)
上式等号成立的两种情况：一是αp为零；另一种是 (WT XP+b) dp=1 。第二种情况仅对应于样本为支持向量。 设Q(α)的最优解为{α01, α02,......, α0p} ，可通过式(8.12) 计算最优权值向量，其中多数样本的Lagrange系数为零， 因此
svm算法公式
svm算法公式摘要：1.简介2.SVM 算法基本思想3.SVM 算法公式推导4.SVM 算法应用场景与优缺点5.总结正文：1.简介支持向量机（Support Vector Machine，SVM）是一种经典的二分类机器学习算法。
它通过划分超平面，使得不同类别的数据点到超平面的距离最大，从而实现分类。
SVM 算法具有良好的泛化能力，广泛应用于文本分类、图像分类、生物信息学等领域。
2.SVM 算法基本思想SVM 算法的基本思想是找到一个最佳超平面，使得两个类别之间的距离（即几何间隔）最大化。
为了找到这个最佳超平面，SVM 算法需要解决一个优化问题，即求解一个凸二次规划问题。
3.SVM 算法公式推导设训练样本集为X = {x1, x2, ..., xn}，标签为Y = {y1, y2, ..., yn}，其中yi∈{-1, 1}。
SVM 算法的优化目标是最小化误分类点到超平面的几何间隔之和，即：min ∑(yi - ∑αi * yi * kernel(xi, xj))^2其中，αi 表示第i 个支持向量对应的拉格朗日乘子，kernel(xi, xj) 表示核函数，用于计算两个向量之间的相似度。
对于线性核函数，kernel(xi, xj) = xi·xj；对于多项式核函数，kernel(xi, xj) = (xi·xj + 1)^d。
4.SVM 算法应用场景与优缺点SVM 算法在以下场景中表现良好：- 数据集具有较高维度，但线性可分；- 数据集中存在噪声或异常值；- 需要对类别进行细分的场景。
SVM 算法的优点包括：- 具有较好的泛化能力，能有效处理过拟合问题；- 对于线性可分数据集，能够实现最优分类效果；- 支持多种核函数，可处理非线性问题。
SVM 算法的缺点包括：- 对于非线性数据集，需要选择合适的核函数，否则可能无法获得好的分类效果；- 计算复杂度较高，尤其是当数据量较大时。
5.总结支持向量机（SVM）是一种经典的二分类机器学习算法，通过寻找最佳超平面来实现分类。
SVM算法详解范文
SVM算法详解范文SVM（支持向量机）是一种常用的监督学习算法，广泛应用于分类和回归问题。
它的基本思想是找到一个最优的超平面，能够将不同类别的样本点分开。
支持向量机具有较好的泛化能力和鲁棒性，在实际应用中取得了很好的效果。
一、SVM的基本原理1.线性可分情况下当训练样本线性可分时，SVM算法的目标是找到一个能够将正负样本完全分开的超平面。
这个超平面的选择是使得所有样本点到超平面的距离最大化，即最大化间隔。
2.线性不可分情况下当样本线性不可分时，SVM使用核函数将样本映射到高维特征空间中，使得样本可以在高维空间线性可分。
常用的核函数有线性核函数、多项式核函数和高斯核函数等。
二、SVM的数学模型SVM的数学模型可以表示为一个凸二次规划问题，即：min 1/2 ∥w∥²s.t. yi(w·xi+b)≥1 , i=1,2,...,n其中w是超平面的法向量，b是超平面的截距，(xi,yi)是训练样本点，n是样本总数。
这个问题可以通过拉格朗日函数和KKT条件等方法求解。
三、SVM的优缺点SVM具有以下优点：1.SVM能够处理高维特征空间中的分类问题。
2.SVM对于小样本数据集效果较好。
3.SVM能够处理非线性问题，通过核函数将样本映射到高维特征空间。
SVM的缺点包括：1.SVM对于大规模样本集需要较长的训练时间。
2.SVM对于噪声和缺失数据敏感。
3.SVM模型的选择和核函数的选取对结果有较大影响。
四、SVM算法的步骤1.数据预处理：对数据进行标准化和归一化处理。
2.选择核函数：根据问题的特点选择合适的核函数。
3.参数选择：确定正则化项参数和核函数的参数。
4.求解凸二次规划问题：通过优化算法求解凸二次规划问题。
5.模型评估：通过交叉验证等方法评估模型的性能。
6.预测与分类：使用训练好的SVM模型进行预测和分类。
五、SVM的改进和拓展1.核函数选择：根据问题需求和数据特点选择合适的核函数。
2.超参数调优：使用交叉验证等方法调优SVM模型的超参数。
支持向量机（SVM）原理详解
⽀持向量机（SVM）原理详解SVM简介 ⽀持向量机（support vector machines, SVM）是⼀种⼆分类模型，它的基本模型是定义在特征空间上的间隔最⼤的线性分类器，间隔最⼤使它有别于感知机；SVM还包括核技巧，这使它成为实质上的⾮线性分类器。
SVM的的学习策略就是间隔最⼤化，可形式化为⼀个求解凸⼆次规划的问题，也等价于正则化的合页损失函数的最⼩化问题。
SVM的的学习算法就是求解凸⼆次规划的最优化算法。
⼀、⽀持向量与超平⾯在了解svm算法之前，我们⾸先需要了解⼀下线性分类器这个概念。
⽐如给定⼀系列的数据样本，每个样本都有对应的⼀个标签。
为了使得描述更加直观，我们采⽤⼆维平⾯进⾏解释，⾼维空间原理也是⼀样。
举个简单⼦：如下图所⽰是⼀个⼆维平⾯，平⾯上有两类不同的数据，分别⽤圆圈和⽅块表⽰。
我们可以很简单地找到⼀条直线使得两类数据正好能够完全分开。
但是能将据点完全划开直线不⽌⼀条，那么在如此众多的直线中我们应该选择哪⼀条呢？从直观感觉上看图中的⼏条直线，是不是要更好⼀些呢？是的，我们就是希望寻找到这样的直线，使得距离这条直线最近的点到这条直线的距离最短。
这读起来有些拗⼝，我们从如下右图直观来解释这⼀句话就是要求的两条外⾯的线之间的间隔最⼤。
这是可以理解的，因为假如数据样本是随机出现的，那么这样分割之后数据点落⼊到其类别⼀侧的概率越⾼那么最终预测的准确率也会越⾼。
在⾼维空间中这样的直线称之为超平⾯，因为当维数⼤于三的时候我们已经⽆法想象出这个平⾯的具体样⼦。
那些距离这个超平⾯最近的点就是所谓⽀持向量，实际上如果确定了⽀持向量也就确定了这个超平⾯，找到这些⽀持向量之后其他样本就不会起作⽤了。
⼆、SVM算法原理 2.1 点到超平⾯的距离公式既然这样的直线是存在的，那么我们怎样寻找出这样的直线呢？与⼆维空间类似，超平⾯的⽅程也可以写成⼀下形式：（1） 有了超平⾯的表达式之后之后，我们就可以计算样本点到平⾯的距离了。
支持向量机(SVM)原理详解
支持向量机（SVM）原理详解支持向量机(Support Vector Machine, SVM)是一种机器学习算法，用于二分类和多分类问题。
它的基本思想是寻找一个超平面，能够将不同类别的数据分隔开来，并且与最近的数据点之间的间隔最大。
一、原理概述：SVM的基本原理是将原始数据映射到高维空间中，使得在该空间中的数据能够线性可分，然后在高维空间中找到一个最优的超平面。
对于线性可分的情况，SVM通过最大化分类边界与最近数据点之间的距离，并将该距离定义为间隔，从而使分类边界具有更好的泛化能力。
二、如何确定最优超平面：1.线性可分的情况下：SVM寻找一个能够将不同类别的数据分开的最优超平面。
其中，最优超平面定义为具有最大间隔(margin)的超平面。
间隔被定义为超平面到最近数据点的距离。
SVM的目标是找到一个最大化间隔的超平面，并且这个超平面能够满足所有数据点的约束条件。
这可以通过求解一个凸二次规划问题来实现。
2.线性不可分的情况下：对于线性不可分的情况，可以使用一些技巧来将数据映射到高维空间中，使其线性可分。
这种方法被称为核技巧(kernel trick)。
核技巧允许在低维空间中计算高维空间的内积，从而避免了直接在高维空间中的计算复杂性。
核函数定义了两个向量之间的相似度。
使用核函数，SVM可以在高维空间中找到最优的超平面。
三、参数的选择：SVM中的参数有两个主要的方面：正则化参数C和核函数的选择。
1.正则化参数C控制了分类边界与数据点之间的权衡。
较大的C值将导致更少的间隔违规，增加将数据点分类正确的权重，可能会导致过拟合；而较小的C值将产生更宽松的分类边界，可能导致欠拟合。
2.核函数选择是SVM中重要的一步。
根据问题的特点选择合适的核函数能够更好地处理数据，常用的核函数有线性核函数、多项式核函数和高斯核函数等。
四、优缺点：SVM有以下几个优点：1.在灵活性和高扩展性方面表现出色，尤其是在高维数据集上。
2.具有良好的泛化能力，能够很好地处理样本数量较少的情况。
SVM——详细讲解SMO算法优化两个变量以及变量的选择
SVM——详细讲解SMO算法优化两个变量以及变量的选择支持向量机（SVM）是一种二分类模型，它在分类超平面的构建过程中，通过优化二次规划问题求解得到最优的超平面。
而序列最小最优化（Sequential Minimal Optimization，SMO）算法则是一种用于求解SVM 二次规划问题的简化算法。
在SVM中，分类超平面可以表示为w*x+b=0，其中w为法向量，b为截距，x为输入样本。
SVM的目标是找到具有最大边界的超平面，使得训练样本与超平面的距离最大化。
优化SVM的问题可以转化为求解以下二次规划问题：\begin{align*}\min\limits_{\alpha} & \quad \frac{1}{2}\sum_{i=1}^{N}{\sum_{j=1}^{N}{\alpha_i \alpha_j y_i y_j K(x_i, x_j)}} - \sum_{i=1}^{N}{\alpha_i}\\s.t. & \quad \sum_{i=1}^{N}{\alpha_i y_i} = 0 \\& \quad 0 \leq \alpha_i \leq C, \quad i = 1, 2, ..., N\end{align*}\]其中，N是训练样本数量，C是惩罚参数，K(x_i,x_j)是核函数。
SMO算法通过迭代优化变量alpha_i和alpha_j，来逐渐优化整个二次规划问题。
SMO算法的核心步骤有两个：选择变量和优化变量。
1.变量的选择：在每次迭代中，SMO算法通过两个嵌套循环选择优化变量alpha_i和alpha_j。
首先，外层循环选择第一个变量alpha_i，通过遍历所有训练样本点，选择违反KKT条件的样本点。
KKT条件是SVM最优解必须满足的条件，对于正样本来说，条件是alpha_i=0，对于负样本来说，条件是alpha_i=C。
如果选择到了违反KKT条件的alpha_i，就进入内层循环。
手推SVM算法(含SMO证明)
手推SVM算法（含SMO证明）SVM（支持向量机）是一种二元分类模型，它通过在特征空间中找到一个最优的超平面来进行分类。
SVM算法的核心是构造最优的分类超平面，使得它能够有力地将两类样本分开，并且使得与超平面相距最近的样本点的距离最大化。
SMO（序列最小优化）算法是一种高效求解SVM问题的方法。
为了简化讲解，我们假设SVM的两类样本是线性可分的，即存在一个超平面可以将两类样本完全分开。
在此基础上，我们来推导最优化问题和SMO算法的推导。
1.SVM的最优化问题：我们可以将超平面w·x+b=0中的w归一化，并将超平面转化为w·x+b=0，其中，w，=1、其中，w表示超平面的法向量，b表示超平面的截距。
考虑到SVM的目标是使得距离超平面最近的点离超平面最远，我们可以引入几何间隔的概念。
对于一个样本点(xi, yi)，它距离超平面的几何间隔定义为γi=yi(w·xi+b)/，w。
SVM的最优化问题可以转化为如下的凸优化问题：min ，w，^2/2s.t. yi(w·xi+b)≥ 1, i=1,2,...,n这个优化问题的目标是最小化w的范数的平方，即使得超平面的间隔最大化。
约束条件确保了分类准确性。
2.SMO算法的推导：要解决SVM的最优化问题，可以使用Lagrange乘子法转化为对偶问题。
使用对偶问题可以通过求解其对偶变量来求解原始问题。
通过引入拉格朗日乘子αi≥0，对每个约束条件（yi(w·xi+b)≥1）引入拉格朗日乘子αi，可以得到拉格朗日函数：L(w, b, α) = 1/2，w，^2 - Σαi(yi(w·xi+b) - 1)其中，α=(α1,α2,...,αn)T是拉格朗日乘子向量。
然后，可以通过对L(w,b,α)分别对w和b求偏导并令其等于0，得到w和b的解：w = ΣαiyixiΣαiyi = 0将w代入拉格朗日函数中，可得到关于α的对偶问题：max Σα - 1/2ΣΣαiαjyiyj(xi·xj)s.t. Σαiyi = 0αi≥0,i=1,2,...,n这是一个凸优化问题，通过求解对偶问题得到的α可以进一步求解最优的超平面。
SVM支持向量机算法的详细推导详细到每个步骤值得
SVM支持向量机算法的详细推导详细到每个步骤值得SVM（Support Vector Machine，支持向量机）是一种用于二分类和回归问题的机器学习算法。
它的目标是找到一个最优的超平面来分离数据，并尽量使得不同类别的数据点离超平面的距离最大化。
以下是SVM算法的详细推导，包括每个步骤：1.准备数据集：2.选择合适的核函数：-SVM算法可以使用不同的核函数，如线性核、多项式核和高斯核等。
根据数据的特点和问题的需求，选择合适的核函数。
3.对数据进行标准化：-由于SVM算法对特征的尺度敏感，一般需要对数据进行标准化处理，使得每个特征的均值为0，方差为14.定义目标函数：-SVM算法的目标是找到一个最优的超平面，使得正负样本离超平面的距离最大化。
-目标函数的定义包括约束条件和目标函数本身。
5.引入松弛变量：-当数据不是线性可分时，引入松弛变量来容忍部分错误分类。
6.构造拉格朗日函数：-将目标函数和约束条件结合，构造拉格朗日函数。
7.对拉格朗日函数求偏导数：-将拉格朗日函数对权重和松弛变量求偏导数，得到一系列的约束条件。
8.求解对偶问题：-再将约束条件代入原最大化问题中，通过求解对偶问题来得到最优解。
9.计算分离超平面：-根据求解出的拉格朗日乘子，计算出最优分离超平面。
10.预测新样本：-使用训练得到的超平面，对新的样本进行预测分类。
11.优化模型：-对模型进行交叉验证等优化操作，以提高模型的泛化能力和预测准确率。
以上是SVM算法的详细推导过程。
该算法的关键在于通过优化拉格朗日函数来求解最优的分离超平面。
同时，SVM算法的应用领域非常广泛，在各种机器学习和数据挖掘问题中都有很好的表现。
支持向量机算法原理
支持向量机算法原理支持向量机算法（SupportVectorMachine,称SVM）是一种有效的机器学习算法，它可以解决分类和回归问题。
SVM是一种二类分类模型，它可以将新实例分配到两类中，正负类，或多类分类问题中的其他类别。
在数据分析中，SVM算法不仅可以解决分类问题，而且还可以解决回归问题。
SVM算法的基本原理是通过搜索最大化类间距，保证训练数据之间最大可分离性，进而找到最优超平面，完成分类任务。
SVM算法可以用来定义和解决各种回归和分类问题。
它的核心思想是通过计算支持向量和超平面来将训练数据划分成多个类别。
支持向量机算法可以通过以下步骤完成：1.首先，根据训练集的特征向量数据，SVM算法建立一个最优超平面的模型，该模型可以将训练数据分割成正类和负类；2.其次，确定最优超平面的距离函数及其支持向量；3.最后，根据支持向量来求解实例的分类结果，实现分类支持向量机算法的核心思想是找到使得类间距最大的超平面，从而使用最大空隙分割实例类。
为此，SVM会找到一个最优超平面，用于从训练数据中区分不同类别的实例，空隙就是超平面距离分类边界最远的两个样本点之间的距离，它反映了两个类别之间的分离程度，距离越大，分类器的泛化能力就越强。
SVM是一种有效的机器学习算法，它可以根据训练样本的特征来分析出相关的超平面，并将输入数据自动分类到相应的类别中，从而实现了分类任务。
SVM算法最大的优势之一是可以处理非线性可分问题，即数据不是简单的线性可分，而是非线性边界，而且也支持多分类。
它在特征空间中有一个可解释的模型，可以帮助理解分类的过程，它的运算速度快，且不需要太多的参数调整，一般地，一次训练就可以获得优良的模型，它也具有稳定性好，容忍噪声,可处理大量维度的特征，并且具有良好的性能。
另外，SVM存在一些不足之处，首先，SVM模型没有显式地输出类间概率，从而无法衡量样本属于某类别的概率。
其次，SVM是基于凸且仅支持二类分类，而不能解决多类分类问题。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
8.1 支持向量机的基本思想 线性可分数据的二值分类机理：系统随机产生一个 超平面并移动它，直到训练集中属于不同类别的样本 点正好位于该超平面的两侧。显然，这种机理能够解 决线性分类问题，但不能够保证产生的超平面是最优 的。支持向量机建立的分类超平面能够在保证分类精 度的同时，使超平面两侧的空白区域最大化，从而实 现对线性可分问题的最优分类。 什么叫线性可分？就是可以用一条或几条直线把属 于不同类别的样本点分开。实际上，求解分类问题， 就是要求出这条或这几条直线！问题是：怎么求？
WT XP+b<0
dp =-1
超平面与最近的样本点之间的间隔称为分离边缘，用ρ表示。 支持向量机的目标是找到一个分离边缘最大的超平面，即最优 超平面。也就是要确定使ρ最大时的W和b。 图8.1给出二维平面中最优超平面的示意图。可以看出，最优 超平面能提供两类之间最大可能的分离，因此确定最优超平面 的权值W0和偏置b0应是唯一的。在式(8.1)定义的一簇超平面中， 最优超平面的方程应为: WT X0+b0=0（应该是W0 X + b0 = 0吧？ ） 直接求W0和b0基本上不太可能，除了训练集无别的信息可用， 如何办？ 一种方法：使求得的预测函数 y = f(x) = sgn(W· X + b)对原有 样本的分类错误率最小。 如何使分类错误率最小？下面慢慢分 析。
dp(WT XP+b)≥1 （8.6） 其中，W0用W代替。 由式(8.3)可导出从支持向量到最优超平面的代数距离 为
因此，两类之间的间隔可用分离边缘表示为
r
上式表明，分离边缘最大化等价于使权值向量的范数 || W||最小化。因此，满足式(8.6)的条件且使||W||最小 的分类超平面就是最优超平面。
设x=( x1,x2,…,xn)T x的范数:||x||=|x1|+|x2|+…+|xn| 如何构造这个最优分类面呢？方法：平分最近点法和最大 间隔法。两个方法殊途同归，它们求解得到同一个超平面。 这两个方法与一个最优化问题求解方法等价。 分类机是将最大间隔法求解最优分类面的最优化问题转 化为其对偶问题，从而通过求解相对简单的对偶问题来求 解原分类问题的算法。随后引入松弛变量和惩罚因子来解 决非线性分类问题，并且允许一定的分类错误（软间隔）， 最终得到非线性软间隔的标准的 C-支持向量机(C-SVC)。 把一个复杂的最优化问题的求解简化为对原有样本数据的 内积运算。只需选择适当的核函数及其参数、惩罚因子。
8.1.1 最优超平面的概念 考虑P个线性可分样本{(X1，d1)，(X2，d2)，…，(Xp， dp)，…(XP，dP)}，对于任一输入样本Xp ，期望输出 为dp =±1（代表两类类别标识）。用于分类 的超平面方程为 WT X+b=0 (8.1) 式中，X为输入向量，W为权值向量，b为偏置（相当 于前述负阈值），则有 WT XP+b>0 dp =+1
8.1.2 线性可分数据最优超平面的构建 建立最优分类面问题可表示成如下的约束优化问题， 即对给定的训练样本{(X1，d1)，(X2，d2)，…，(Xp， dp)，…(XP，dP)} ，找到权值向量W和阈值B的最优值， 使其在式(8.6)的约束下，有最小化代价函数 该约束优化问题的代价函数是W的凸函数，且关于W 的约束条件是线性的，因此可用Lagrange系数方法解 决约束最优问题。引入Lagrange函数如下
人工神经网络及应用
第八章 支持向量机
主讲 何东健
BP网络及RBF网络解决了模式分类与非线性映射问题。 Vapnik提出的支持向世机(Support Vector Machine， SVM)，同样可以解决模式分类与非线性映射问题。 从线性可分模式分类角度看，SVM的主要思想是：建立 一个最优决策超平面，使得该平面两侧距平面最近的两类 样本之间的距离最大化，从而对分类问题提供良好的泛化 能力。根据cover定理：将复杂的模式分类问题非线性地 投射到高维特征空间可能是线性可分的，因此只要特征空 间的维数足够高，则原始模式空间能变换为一个新的高维 特征空间，使得在特征空间中模式以较高的概率为线性可 分的。此时，应用支持向量机算法在特征空间建立分类超 平面，即可解决非线性可分的模式识别问题。 支持向量机基于统计学习理论的原理性方法，因此需要 较深的数学基础。下面的阐述避免过多抽象的数学概念， 推导过程尽量详细。
SVM主要针对小样本数据进行学习、分类和预测 （有时也叫回归）的一种方法，能解决神经网络不能 解决的过学习问题。类似的根据样本进行学习的方法 还有基于案例的推理（Case-Based Reasoning）， 决策树归纳算法等。 过学习问题：训练误差过小导致推广能力下降，即真 实风险的增加。 推广能力：generalization ability，也可以说是泛化能 力，就是对未知样本进行预测时的精确度。 下面讨论线性可分情况下支持向量机的分类原理。
由解析几何知识可得样本空间任一点X到最优超平面 的距离为 (8.3)
从而有判别函数 g(X)=r ||W0||=W0T X+b0 g(X)给出从X到最优超平面的距离的一种代数度量。 将判别函数进行归一化，使所有样本都满足
(8.5)
则对于离最优超平面最近的特殊样本Xs满足：I类决策面， 是最难分类的数据点，因此这些向量在支持向量机的 运行中起着主导作用。 式(8.5)中的两行也可以组合起来用下式表示
进一步理解支持向量机：
支持向量机（Support Vector Machine，SVM）中的 “机（machine，机器）”： 实际上是一个算法。在机器学习领域，常把一些 算法看作是一个机器（又叫学习机器，或预测函数， 或学习函数）。 “支持向量”：则是指训练集中的某些训练点,这些点 最靠近分类决策面，是最难分类的数据点 。 SVM:它是一种有监督（有导师）学习方法，即已知 训练点的类别，求训练点和类别之间的对应关系，以 便将训练集按照类别分开，或者是预测新的训练点所 对应的类别。