SVM通俗讲解
svm通俗易懂的理解
（一）SVM的八股简介支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。
支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度，Accuracy）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折衷，以期获得最好的推广能力（或称泛化能力）。
以上是经常被有关SVM 的学术文献引用的介绍，有点八股，我来逐一分解并解释一下。
Vapnik是统计机器学习的大牛，这想必都不用说，他出版的《Statistical Learning Theory》是一本完整阐述统计机器学习思想的名著。
在该书中详细的论证了统计机器学习之所以区别于传统机器学习的本质，就在于统计机器学习能够精确的给出学习效果，能够解答需要的样本数等等一系列问题。
与统计机器学习的精密思维相比，传统的机器学习基本上属于摸着石头过河，用传统的机器学习方法构造分类系统完全成了一种技巧，一个人做的结果可能很好，另一个人差不多的方法做出来却很差，缺乏指导和原则。
所谓VC维是对函数类的一种度量，可以简单的理解为问题的复杂程度，VC维越高，一个问题就越复杂。
正是因为SVM关注的是VC维，后面我们可以看到，SVM 解决问题的时候，和样本的维数是无关的（甚至样本是上万维的都可以，这使得SVM很适合用来解决文本分类的问题，当然，有这样的能力也因为引入了核函数）。
结构风险最小听上去文绉绉，其实说的也无非是下面这回事。
机器学习本质上就是一种对问题真实模型的逼近（我们选择一个我们认为比较好的近似模型，这个近似模型就叫做一个假设），但毫无疑问，真实模型一定是不知道的（如果知道了，我们干吗还要机器学习？直接用真实模型解决问题不就可以了？对吧，哈哈）既然真实模型不知道，那么我们选择的假设与问题真实解之间究竟有多大差距，我们就没法得知。
svm模型原理
svm模型原理一、svm模型原理1. 基本概念SVM(支持向量机)是一种有效的机器学习和分类算法，它可以在高维数据集中有效地进行线性或非线性分类，它的优势在于空间的分离，即把一些以空间点为特征的数据降维，使其形成可以用于分类的特征空间。
SVM的思想是，将数据映射到更高维度的空间中，使它们更容易分类，然后利用支持向量来划分这个空间，并以此来建立分类器。
2. 支持向量机原理支持向量机是一种基于统计学习理论的机器学习算法，它可以用于分类和回归分析，目的是找到合适的决策边界，以最大程度地减少数据间的分类误差。
SVM的目标是通过最大化边界的空间，将样本分成两类，建立决策边界。
我们用一个隐马尔可夫模型来描述支持向量机，其中特征向量x=(x1,x2,…,xn)表示样本，yi表示样本的标签，yi取值为-1或1，表示分别属于两类。
支持向量机的决策边界就是找到一个过点x=(x1,x2,…,xn)的超平面w*x-b=0，使得正负样本分别在两边。
超平面可以由法向量w和决策偏移量b确定，在特征空间中的参数为w=(w1,w2,…,wn)，决策偏移量b由超平面的最近支持向量决定，该支持向量是最接近决策边界的正负样本点，如果该点满足yi(w*xi+b)>1，则为支持向量。
为了使超平面能够被支持向量完全支撑，支持向量机将超平面求解为最大间隔分类。
支持向量机的学习过程就是在训练数据集中找到最大间隔的超平面，并使其成为支持向量。
3. 参数估计在使用支持向量机进行学习之前，需要进行参数估计。
参数估计的目的是对样本进行拟合，使其可以尽可能多地拟合数据样本，以达到最优化的分类效果。
SVM的参数估计使用凸二次规划求解，其目标函数为最大间隔，最大间隔的学习过程是在训练数据集中找到最大间隔的超平面，并使其成为支持向量。
该过程中，通过求解学习的参数拟合支持向量，实现数据集的最优分类。
SVM算法详解范文
SVM算法详解范文SVM（支持向量机）是一种常用的监督学习算法，广泛应用于分类和回归问题。
它的基本思想是找到一个最优的超平面，能够将不同类别的样本点分开。
支持向量机具有较好的泛化能力和鲁棒性，在实际应用中取得了很好的效果。
一、SVM的基本原理1.线性可分情况下当训练样本线性可分时，SVM算法的目标是找到一个能够将正负样本完全分开的超平面。
这个超平面的选择是使得所有样本点到超平面的距离最大化，即最大化间隔。
2.线性不可分情况下当样本线性不可分时，SVM使用核函数将样本映射到高维特征空间中，使得样本可以在高维空间线性可分。
常用的核函数有线性核函数、多项式核函数和高斯核函数等。
二、SVM的数学模型SVM的数学模型可以表示为一个凸二次规划问题，即：min 1/2 ∥w∥²s.t. yi(w·xi+b)≥1 , i=1,2,...,n其中w是超平面的法向量，b是超平面的截距，(xi,yi)是训练样本点，n是样本总数。
这个问题可以通过拉格朗日函数和KKT条件等方法求解。
三、SVM的优缺点SVM具有以下优点：1.SVM能够处理高维特征空间中的分类问题。
2.SVM对于小样本数据集效果较好。
3.SVM能够处理非线性问题，通过核函数将样本映射到高维特征空间。
SVM的缺点包括：1.SVM对于大规模样本集需要较长的训练时间。
2.SVM对于噪声和缺失数据敏感。
3.SVM模型的选择和核函数的选取对结果有较大影响。
四、SVM算法的步骤1.数据预处理：对数据进行标准化和归一化处理。
2.选择核函数：根据问题的特点选择合适的核函数。
3.参数选择：确定正则化项参数和核函数的参数。
4.求解凸二次规划问题：通过优化算法求解凸二次规划问题。
5.模型评估：通过交叉验证等方法评估模型的性能。
6.预测与分类：使用训练好的SVM模型进行预测和分类。
五、SVM的改进和拓展1.核函数选择：根据问题需求和数据特点选择合适的核函数。
2.超参数调优：使用交叉验证等方法调优SVM模型的超参数。
SVM支持向量机PPT
增量学习与在线学习
增量学习是指模型能够随着新数据的不断加入而进行自我更 新和调整的能力。在线学习则是增量学习的一种特殊形式， 它允许模型在实时数据流上进行学习和更新。
随着大数据时代的到来，增量学习和在线学习在许多领域中 变得越来越重要。未来的SVM研究将更加注重增量学习和在 线学习方面的研究，以提高SVM在处理大规模、高维数据集 时的效率和准确性。
SVM
如前所述，SVM通过找到能够将不同类别的数据点最大化分隔的决策边界来实现分类。 SVM具有较弱的表示能力和学习能力，但具有较好的泛化能力。
比较
神经网络和SVM在分类问题上有不同的优势和局限性。神经网络适合处理复杂和高度非 线性问题，而SVM在处理大规模和线性可分数据集时表现更佳。选择哪种算法取决于具 体问题和数据特性。
与贝叶斯分类器比较
贝叶斯分类器
贝叶斯分类器是一种基于概率的分类方法。它通过计算每个类别的概率来对新的输入数据进行分类。贝叶斯分类器具 有简单和高效的特点，但需要较大的训练样本。
SVM
如前所述，SVM通过找到能够将不同类别的数据点最大化分隔的决策边界来实现分类。SVM具有较好的泛化能力和 处理大规模数据集的能力，但计算复杂度较高。
svm支持向量机
contents
目录
• SVM基本概念 • SVM分类器 • SVM优化问题 • SVM应用领域 • SVM与其他机器学习算法的比较 • SVM未来发展方向
01 SVM基本概念
定义
定义
SVM（Support Vector Machine） 是一种监督学习模型，用于分类和 回归分析。
支持向量机(SVM)原理详解
支持向量机（SVM）原理详解支持向量机(Support Vector Machine, SVM)是一种机器学习算法，用于二分类和多分类问题。
它的基本思想是寻找一个超平面，能够将不同类别的数据分隔开来，并且与最近的数据点之间的间隔最大。
一、原理概述：SVM的基本原理是将原始数据映射到高维空间中，使得在该空间中的数据能够线性可分，然后在高维空间中找到一个最优的超平面。
对于线性可分的情况，SVM通过最大化分类边界与最近数据点之间的距离，并将该距离定义为间隔，从而使分类边界具有更好的泛化能力。
二、如何确定最优超平面：1.线性可分的情况下：SVM寻找一个能够将不同类别的数据分开的最优超平面。
其中，最优超平面定义为具有最大间隔(margin)的超平面。
间隔被定义为超平面到最近数据点的距离。
SVM的目标是找到一个最大化间隔的超平面，并且这个超平面能够满足所有数据点的约束条件。
这可以通过求解一个凸二次规划问题来实现。
2.线性不可分的情况下：对于线性不可分的情况，可以使用一些技巧来将数据映射到高维空间中，使其线性可分。
这种方法被称为核技巧(kernel trick)。
核技巧允许在低维空间中计算高维空间的内积，从而避免了直接在高维空间中的计算复杂性。
核函数定义了两个向量之间的相似度。
使用核函数，SVM可以在高维空间中找到最优的超平面。
三、参数的选择：SVM中的参数有两个主要的方面：正则化参数C和核函数的选择。
1.正则化参数C控制了分类边界与数据点之间的权衡。
较大的C值将导致更少的间隔违规，增加将数据点分类正确的权重，可能会导致过拟合；而较小的C值将产生更宽松的分类边界，可能导致欠拟合。
2.核函数选择是SVM中重要的一步。
根据问题的特点选择合适的核函数能够更好地处理数据，常用的核函数有线性核函数、多项式核函数和高斯核函数等。
四、优缺点：SVM有以下几个优点：1.在灵活性和高扩展性方面表现出色，尤其是在高维数据集上。
2.具有良好的泛化能力，能够很好地处理样本数量较少的情况。
SVM——详细讲解SMO算法优化两个变量以及变量的选择
SVM——详细讲解SMO算法优化两个变量以及变量的选择支持向量机（SVM）是一种二分类模型，它在分类超平面的构建过程中，通过优化二次规划问题求解得到最优的超平面。
而序列最小最优化（Sequential Minimal Optimization，SMO）算法则是一种用于求解SVM 二次规划问题的简化算法。
在SVM中，分类超平面可以表示为w*x+b=0，其中w为法向量，b为截距，x为输入样本。
SVM的目标是找到具有最大边界的超平面，使得训练样本与超平面的距离最大化。
优化SVM的问题可以转化为求解以下二次规划问题：\begin{align*}\min\limits_{\alpha} & \quad \frac{1}{2}\sum_{i=1}^{N}{\sum_{j=1}^{N}{\alpha_i \alpha_j y_i y_j K(x_i, x_j)}} - \sum_{i=1}^{N}{\alpha_i}\\s.t. & \quad \sum_{i=1}^{N}{\alpha_i y_i} = 0 \\& \quad 0 \leq \alpha_i \leq C, \quad i = 1, 2, ..., N\end{align*}\]其中，N是训练样本数量，C是惩罚参数，K(x_i,x_j)是核函数。
SMO算法通过迭代优化变量alpha_i和alpha_j，来逐渐优化整个二次规划问题。
SMO算法的核心步骤有两个：选择变量和优化变量。
1.变量的选择：在每次迭代中，SMO算法通过两个嵌套循环选择优化变量alpha_i和alpha_j。
首先，外层循环选择第一个变量alpha_i，通过遍历所有训练样本点，选择违反KKT条件的样本点。
KKT条件是SVM最优解必须满足的条件，对于正样本来说，条件是alpha_i=0，对于负样本来说，条件是alpha_i=C。
如果选择到了违反KKT条件的alpha_i，就进入内层循环。
SVM中文介绍范文
SVM中文介绍范文支持向量机（Support Vector Machine，SVM）是一种机器学习算法，用于分类和回归分析。
它的主要特点是能够在高维空间中找到最佳的超平面来将不同类别的数据样本分开。
SVM的基本思想是通过将样本映射到高维空间中，使得在低维空间中线性不可分的样本在高维空间中变得线性可分。
然后，通过寻找最佳的超平面来最大化不同类别样本之间的间隔，进而实现分类。
在SVM中，数据样本被表示为特征向量，每个特征向量表示一个数据点。
如果数据是线性可分的，那么可以找到一个超平面将正负样本分开。
超平面可以用一个线性方程表示，如w·x+b=0。
其中，w是法向量，b是超平面的截距。
SVM的目标是找到最佳的超平面，即具有最大间隔（Margin）的超平面。
间隔是指超平面到最靠近它的正负样本之间的最小距离。
SVM通过最大化间隔来降低模型的泛化误差，并提高模型的鲁棒性。
在SVM中，支持向量是离超平面最近的样本点。
它们决定了超平面的位置和方向。
支持向量机通过限制支持向量的位置，使得超平面能够更好地逼近样本，从而提高模型的性能。
SVM具有以下优点：1.在高维空间中有效：SVM可以将数据映射到高维空间中，从而在低维空间中线性不可分的问题变得线性可分。
2.鲁棒性强：SVM通过最大化间隔来降低模型的泛化误差，从而提高模型的鲁棒性。
3.可解释性强：SVM分类的结果可以直观地表示为一个超平面，这使得结果的解释和理解变得容易。
然而，SVM也有一些限制：1.对大规模数据集不适用：SVM的计算复杂度随着样本数的增加而增加，所以对于大规模数据集来说，训练时间可能很长。
2.对噪声敏感：SVM对于噪声和异常值比较敏感，这可能导致模型的性能下降。
最后，需要注意的是，SVM对于非线性问题也是有效的。
当数据在低维空间中线性不可分时，可以通过使用核函数将数据映射到高维空间来实现线性可分。
常用的核函数有线性核、多项式核、高斯核等。
总结起来，支持向量机是一种机器学习算法，通过找到最佳的超平面来实现数据样本的分类。
请简述 SVM(支持向量机)的原理以及如何处理非线性问题。
请简述 SVM(支持向量机)的原理以及如何处理非线性问题。
支持向量机（Support Vector Machine，SVM）是一种常用的机器学习算法，常用于分类和回归问题。
它的原理是基于统计学习理论和结构风险最小化原则，通过寻找最优超平面来实现分类。
SVM在处理非线性问题时，可以通过核函数的引入来将数据映射到高维空间，从而实现非线性分类。
一、SVM原理支持向量机是一种二分类模型，它的基本思想是在特征空间中找到一个超平面来将不同类别的样本分开。
具体而言，SVM通过寻找一个最优超平面来最大化样本间的间隔，并将样本分为两个不同类别。
1.1 线性可分情况在特征空间中，假设有两个不同类别的样本点，并且这两个类别可以被一个超平面完全分开。
这时候我们可以找到无数个满足条件的超平面，但我们要寻找具有最大间隔（Margin）的超平面。
Margin是指离超平面最近的训练样本点到该超平面之间距离之和。
我们要选择具有最大Margin值（即支持向量）对应的决策函数作为我们模型中使用。
1.2 线性不可分情况在实际问题中，很多情况下样本不是线性可分的，这时候我们需要引入松弛变量（Slack Variable）来处理这种情况。
松弛变量允许样本点处于超平面错误的一侧，通过引入惩罚项来平衡Margin和错误分类的数量。
通过引入松弛变量，我们可以将线性不可分问题转化为线性可分问题。
同时，为了防止过拟合现象的发生，我们可以在目标函数中加入正则化项。
1.3 目标函数在SVM中，目标函数是一个凸二次规划问题。
我们需要最小化目标函数，并找到最优解。
二、处理非线性问题SVM最初是用于处理线性可分或近似线性可分的数据集。
然而，在实际应用中，很多数据集是非线性的。
为了解决这个问题，SVM引入了核函数（Kernel Function）。
核函数可以将数据从低维空间映射到高维空间，在高维空间中找到一个超平面来实现非线性分类。
通过核技巧（Kernel Trick），SVM 可以在低维空间中计算高维空间中样本点之间的内积。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
SVM(Support Vector Machine)支持向量机相关理论介绍基于数据的机器学习是现代智能技术中的重要方面，研究从观测数据（样本）出发寻找规律，利用这些规律对未来数据或无法观测的数据进行预测。
迄今为止，关于机器学习还没有一种被共同接受的理论框架，关于其实现方法大致可以分为三种[3]：第一种是经典的（参数）统计估计方法。
包括模式识别、神经网络等在内，现有机器学习方法共同的重要理论基础之一是统计学。
参数方法正是基于传统统计学的，在这种方法中，参数的相关形式是已知的，训练样本用来估计参数的值。
这种方法有很大的局限性。
首先，它需要已知样本分布形式，这需要花费很大代价，还有，传统统计学研究的是样本数目趋于无穷大时的渐近理论，现有学习方法也多是基于此假设。
但在实际问题中，样本数往往是有限的，因此一些理论上很优秀的学习方法实际中表现却可能不尽人意。
第二种方法是经验非线性方法，如人工神经网络（ANN）。
这种方法利用已知样本建立非线性模型，克服了传统参数估计方法的困难。
但是，这种方法缺乏一种统一的数学理论。
与传统统计学相比，统计学习理论（Statistical Learning Theory或SLT）是一种专门研究小样本情况下机器学习规律的理论。
该理论针对小样本统计问题建立了一套新的理论体系，在这种体系下的统计推理规则不仅考虑了对渐近性能的要求，而且追求在现有有限信息的条件下得到最优结果。
V. Vapnik等人从六、七十年代开始致力于此方面研究，到九十年代中期，随着其理论的不断发展和成熟，也由于神经网络等学习方法在理论上缺乏实质性进展，统计学习理论开始受到越来越广泛的重视。
统计学习理论的一个核心概念就是VC维(VC Dimension)概念，它是描述函数集或学习机器的复杂性或者说是学习能力(Capacity of the machine)的一个重要指标，在此概念基础上发展出了一系列关于统计学习的一致性(Consistency)、收敛速度、推广性能(Generalization Performance)等的重要结论。
统计学习理论是建立在一套较坚实的理论基础之上的，为解决有限样本学习问题提供了一个统一的框架。
它能将很多现有方法纳入其中，有望帮助解决许多原来难以解决的问题（比如神经网络结构选择问题、局部极小点问题等）；同时，这一理论基础上发展了一种新的通用学习方法──支持向量机（Support Vector Machine或SVM），已初步表现出很多优于已有方法的性能。
一些学者认为，SLT和SVM正在成为继神经网络研究之后新的研究热点，并将推动机器学习理论和技术有重大的发展。
支持向量机方法是建立在统计学习理论的VC维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性(即对特定训练样本的学习精度，Accuracy)和学习能力(即无错误地识别任意样本的能力)之间寻求最佳折衷，以期获得最好的推广能力(Generalizatin Ability)。
支持向量机方法的几个主要优点有：1. 它是专门针对有限样本情况的，其目标是得到现有信息下的最优解而不仅仅是样本数趋于无穷大时的最优值；2. 算法最终将转化成为一个二次型寻优问题，从理论上说，得到的将是全局最优点，解决了在神经网络方法中无法避免的局部极值问题；3. 算法将实际问题通过非线性变换转换到高维的特征空间(Feature Space)，在高维空间中构造线性判别函数来实现原空间中的非线性判别函数，特殊性质能保证机器有较好的推广能力，同时它巧妙地解决了维数问题，其算法复杂度与样本维数无关；在SVM方法中，只要定义不同的内积函数，就可以实现多项式逼近、贝叶斯分类器、径向基函数(Radial Basic Function或RBF)方法、多层感知器网络等许多现有学习算法。
统计学习理论从七十年代末诞生，到九十年代之前都处在初级研究和理论准备阶段，近几年才逐渐得到重视，其本身也趋向完善，并产生了支持向量机这一将这种理论付诸实现的有效的机器学习方法。
目前，SVM算法在模式识别、回归估计、概率密度函数估计等方面都有应用。
例如，在模式识别方面，对于手写数字识别、语音识别、人脸图像识别、文章分类等问题，SVM算法在精度上已经超过传统的学习算法或与之不相上下。
目前，国际上对这一理论的讨论和进一步研究逐渐广泛，而我国国内尚未在此领域开展研究，因此我们需要及时学习掌握有关理论，开展有效的研究工作，使我们在这一有着重要意义的领域中能够尽快赶上国际先进水平。
由于SLT理论和SVM方法尚处在发展阶段，很多方面尚不完善，比如：许多理论目前还只有理论上的意义，尚不能在实际算法中实现；而有关SVM算法某些理论解释也并非完美（J.C.Burges在[2]中就曾提到结构风险最小原理并不能严格证明SVM 为什么有好的推广能力）；此外，对于一个实际的学习机器的VC维的分析尚没有通用的方法；SVM方法中如何根据具体问题选择适当的内积函数也没有理论依据。
因此，在这方面我们可做的事情是很多的。
相关资源SVM的英文主站，/Support Vector Machine 作者的站点piaip 的(lib)SVM 簡易入門/~piaip/svm/svm_tutorial.html林智仁(cjlin)老師的libsvm for matlabLIBSVM — A Library for Support Vector MachinesChih-Chung Chang and Chih-Jen Lin1. SVM的优势（1）可以解决小样本情况下的机器学习问题（2）可以提高泛化性能（3）可以解决高维问题（4）可以解决非线性问题（5）可以避免神经网络结构选择和局部极小点问题2. SVM的研究热点（1）模式识别（2）回归估计（3）概率密度估计3. SVM的主要核函数（1）多项式核函数（2）径向基核函数（3）Sigmoid核函数4. SVM的应用（1）文本分类（2）人脸识别（3）三维物体识别（4）遥感图像分析（5）函数逼近（6）时间序列预测（7）数据压缩（8）优化SVM算法（9）SVM改进方法（10）SVM 硬件实现5. SVM 的难点（1）如何在非监督模式识别问题中应用统计学习理论（SLT ）（2）如何用理论或实验的方法计算VC 维（3）经验风险和实际风险之间的关系称之为推广性的界，但是当(h/n)>0.37时（h —VC 维，n —样本数），推广性的界是松弛的，如何寻找一个更好地反映学习机器能力的参数和得到更紧的界（4）实现结构风险最小化（SRM ）时，如何选择函数子集结构vc 维的本质和结构风险最小化VC 维在有限的训练样本情况下，当样本数 n 固定时，此时学习机器的 VC 维越高学习机器的复杂性越高。
VC 维反映了函数集的学习能力，VC 维越大则学习机器越复杂(容量越大)。
所谓的结构风险最小化就是在保证分类精度（经验风险）的同时，降低学习机器的 VC 维，可以使学习机器在整个样本集上的期望风险得到控制。
推广的界（经验风险和实际风险之间的关系，注意引入这个原因是什么？因为训练误差再小也就是在这个训练集合上，实际的推广能力不行就会引起过拟合问题还。
所以说要引入置信范围也就是经验误差和实际期望误差之间的关系）：期望误差()()Re n R mp h ωω⎛⎫≤+Φ ⎪⎝⎭。
注意()Re mp ω是经验误差也就是训练误差（线性中使得所有的都训练正确），n h ⎛⎫Φ ⎪⎝⎭是置信范围，它是和样本数和VC 维有关的。
上式中置信范围Φ随n h 增加，单调下降。
即当n h较小时，置信范围Φ较大，用经验风险近似实际风险就存在较大的误差，因此，用采用经验风险最小化准则，取得的最优解可能具有较差的推广性；如果样本数较多，n h较大，则置 信范围就会很小，采用经验风险最小化准则，求得的最优解就接近实际的最优解。
可知：影响期望风险上界的因子有两个方面：首先是训练集的规模 n ，其次是 VC 维 h 。
可见，在保证分类精度（经验风险）的同时，降低学习机器的 VC 维，可以使学习机器在整个样本集上的期望风险得到控制，这就是结构风险最小化（Structure Risk Minimization ，简称 SRM ）的由来。
在有限的训练样本情况下，当样本数n 固定时，此时学习机器的 VC 维越高(学习机器的复杂性越高)，则置信范围就越大，此时，真实风险与经验风险之间的差别就越大，这就是为什么会出现过学习现象的原因。
机器学习过程不但 要使经验风险最小，还要使其 VC 维尽量小，以缩小置信范围，才能取得较小的实际风险，即对未来样本有较好的推广性，它与学习机器的 VC 维及训练样本数有关。
线性可分的问题就是满足最优分类面的面要求分类面不但能将两类样本正确分开（训练错误率为 0），而且要使两类的分类间隔最大（这个是怎么回事呢？原来是有根据的，这个让俺郁闷了好久呢。
在 d 间隔下，超平面集合的 VC 维h 满足下面关系：21h f d ⎛⎫= ⎪⎝⎭其中， ()f ⋅是单调增函数，即h 与d 的平方成反比关系。
因此，当训练样本给定时，分类间隔越大，则对应的分类超平面集合的 VC 维就越小。
）。
根据结构风险最小化原则，前者是保证经验风险（经验风险和期望风险依赖于学习机器函数族的选择）最小，而后者使分类间隔最大，导致 VC 维最小，实际上就是使推广性的界中的置信范围最小，从而达到使真实风险最小。
注意：置信范围大说明真实风险和经验风险的差别较大。
解释到这里了，终于有点眉目了，原来就是这么回事啊，真是的。
总结一下就是训练样本在线性可分的情况下，全部样本能被正确地分类（这个不就是传说中的()1i i i y x b ω⋅⋅+≥的条件吗），即经验风险Re mp 为 0 的前提下，通过对分类间隔最大化（这个就是()2112w w ⎛⎫Φ= ⎪⎝⎭嘛），使分类器获得最好的推广性能。
那么解释完线性可分了，我们知道其实很多时候是线性不可分的啊，那么有什么区别没有啊？废话区别当然会有啦，嘿嘿那么什么是本质的区别啊？本质的区别就是 不知道是否线性可分但是允许有错分的样本存在（这个咋回事还是没明白hoho ）但是正是由于允许存在错分样本，此时的软间隔分类超平面表示在剔除那些错分 样本后最大分类间隔的超平面。
这里就出现了新词松驰因子，干吗用滴？就是用来控制错分样本的啊。
这样的话经验风险就要跟松驰因子联系在一起了。
而C 就是松 驰因子前面的系数，0C >是一个自定义的惩罚因子，它控制对错分样本惩罚的程度，用来控制样本偏差与机器推广能力之间的折衷。
C 越小，惩罚越小，那么训练误差就越大，使得结构风险 也变大，而C 越大呢，惩罚就越大，对错分样本的约束程度就越大，但是这样会使得第二项置信范围的权重变大那么分类间隔的权重就相对变小了，系统的泛化能力就变差了。