R语言与机器学习(4)支持向量机
R语言实现支持向量机SVM应用案例
R语⾔实现⽀持向量机SVM应⽤案例IRIS数据集简介IRIS数据集中的数据源于1936年费希尔法发表的⼀篇论⽂。
彼时他收集了三种鸢尾花（分别标记为setosa、versicolor和virginical）的花萼和花瓣数据。
包括花萼的长度和宽度，以及花瓣的长度和宽度。
我们将根据这四个特征来建⽴⽀持向量机模型从⽽实现对三种鸢尾花的分类判别任务。
有关数据可以从datasets软件包中的iris数据集⾥获取，下⾯我们演⽰性地列出了前5⾏数据。
成功载⼊数据后，易见其中共包含了150个样本（被标记为setosa、versicolor和virginica的样本各50个），以及四个样本特征，分别是Sepal.Length、Sepal.Width、Petal.Length和Petal.Width。
> irisSepal.Length Sepal.Width Petal.Length Petal.Width Species1 5.1 3.5 1.4 0.2 setosa2 4.9 3.0 1.4 0.2 setosa3 4.7 3.2 1.3 0.2 setosa4 4.6 3.1 1.5 0.2 setosa5 5.0 3.6 1.4 0.2 setosa6 5.4 3.9 1.7 0.4 setosa7 4.6 3.4 1.4 0.3 setosa8 5.0 3.4 1.5 0.2 setosa9 4.4 2.9 1.4 0.2 setosa10 4.9 3.1 1.5 0.1 setosa在正式建模之前，我们也可以通过⼀个图型来初步判定⼀下数据的分布情况，为此在R中使⽤如下代码来绘制（仅选择Petal.Length和Petal.Width这两个特征时）数据的划分情况。
library(lattice)xyplot(Petal.Length ~ Petal.Width, data = iris,groups = Species,auto.key = list(corner=c(1, 0)))上述代码的执⾏结果如图14-13所⽰，从中不难发现，标记为setosa的鸢尾花可以很容易地被划分出来。
支持向量机简介与基本原理
支持向量机简介与基本原理支持向量机（Support Vector Machine，SVM）是一种常用的机器学习算法，被广泛应用于模式识别、数据分类以及回归分析等领域。
其独特的优势在于可以有效地处理高维数据和非线性问题。
本文将介绍支持向量机的基本原理和应用。
一、支持向量机的基本原理支持向量机的基本思想是通过寻找一个最优超平面，将不同类别的数据点分隔开来。
这个超平面可以是线性的，也可以是非线性的。
在寻找最优超平面的过程中，支持向量机依赖于一些特殊的数据点，称为支持向量。
支持向量是离超平面最近的数据点，它们对于确定超平面的位置和方向起着决定性的作用。
支持向量机的目标是找到一个超平面，使得离它最近的支持向量到该超平面的距离最大化。
这个距离被称为间隔（margin），最大化间隔可以使得分类器更具鲁棒性，对新的未知数据具有更好的泛化能力。
支持向量机的求解过程可以转化为一个凸优化问题，通过求解对偶问题可以得到最优解。
二、支持向量机的核函数在实际应用中，很多问题并不是线性可分的，此时需要使用非线性的超平面进行分类。
为了解决这个问题，支持向量机引入了核函数的概念。
核函数可以将低维的非线性问题映射到高维空间中，使得原本线性不可分的问题变得线性可分。
常用的核函数有线性核函数、多项式核函数、高斯核函数等。
线性核函数适用于线性可分问题，多项式核函数可以处理一些简单的非线性问题，而高斯核函数则适用于复杂的非线性问题。
选择合适的核函数可以提高支持向量机的分类性能。
三、支持向量机的应用支持向量机在实际应用中有着广泛的应用。
在图像识别领域，支持向量机可以用于人脸识别、物体检测等任务。
在生物信息学领域，支持向量机可以用于蛋白质分类、基因识别等任务。
在金融领域，支持向量机可以用于股票市场预测、信用评估等任务。
此外，支持向量机还可以用于文本分类、情感分析、异常检测等领域。
由于其强大的分类性能和泛化能力，支持向量机成为了机器学习领域中的重要算法之一。
《支持向量机SVM》课件
多分类SVM
总结词
多类分类支持向量机可以使用不同的核函数和策略来解决多 类分类问题。
详细描述
多类分类支持向量机可以使用不同的核函数和策略来解决多 类分类问题。常用的核函数有线性核、多项式核和RBF核等 。此外，一些集成学习技术也可以与多类分类SVM结合使用 ，以提高分类性能和鲁棒性。
03
SVM的训练与优化
细描述
对于非线性数据，线性不可分SVM通 过引入核函数来解决分类问题。核函 数可以将数据映射到更高维空间，使 得数据在更高维空间中线性可分。常 用的核函数有线性核、多项式核和径 向基函数（RBF）。
通过调整惩罚参数C和核函数参数， 可以控制模型的复杂度和过拟合程度 。
详细描述
多分类支持向量机可以通过两种策略进行扩展：一对一（OAO）和一对多（OAA）。 在OAO策略中，对于n个类别的多分类问题，需要构建n(n-1)/2个二分类器，每个二分 类器处理两个类别的分类问题。在OAA策略中，对于n个类别的多分类问题，需要构建
n个二分类器，每个二分类器处理一个类别与剩余类别之间的分类问题。
鲁棒性高
SVM对噪声和异常值具有 一定的鲁棒性，这使得它 在许多实际应用中表现良 好。
SVM的缺点
计算复杂度高
对于大规模数据集，SVM的训练时间可能会很长，因为其需要解决一 个二次规划问题。
对参数敏感
SVM的性能对参数的选择非常敏感，例如惩罚因子和核函数参数等， 需要仔细调整。
对非线性问题处理有限
SVM的优点
分类效果好
SVM在许多分类任务中表 现出了优秀的性能，尤其 在处理高维数据和解决非 线性问题上。
对异常值不敏感
SVM在训练过程中会寻找 一个最优超平面，使得该 平面的两侧的类别距离最 大化，这使得SVM对异常 值的影响较小。
支持向量机操作方法有哪些
支持向量机操作方法有哪些
支持向量机（Support Vector Machine，SVM）是一种分类和回归分析的机器学习模型，常用于处理二分类问题。
以下是支持向量机的一些操作方法：
1. 数据预处理：首先，需要对数据进行预处理，包括数据清洗、特征选择、特征缩放等。
2. 选择核函数：SVM可以使用不同的核函数，如线性核函数、多项式核函数、径向基函数等。
选择适合问题的核函数可以提高SVM的性能。
3. 训练模型：使用训练数据集对SVM模型进行训练，通过找到最优的决策边界（超平面）来最大程度地分割不同类别的样本。
4. 参数调整：SVM有一些重要的参数需要设置，如正则化参数C、核函数参数等。
可以使用交叉验证等技术来选择最优的参数组合。
5. 样本分类：在训练模型之后，可以使用训练好的模型对新的样本进行分类预测。
6. 模型评估：对SVM模型进行评估，包括计算准确率、精确度、召回率、F1值等指标，以及生成混淆矩阵来分析模型的性能。
7. 超参数调优：对SVM模型的超参数进行调优，可以使用网格搜索、随机搜索等方法，以获得更好的模型性能。
8. 支持向量分析：分析支持向量的分布和权重，可以帮助了解模型的决策边界和影响预测结果的重要特征。
以上是一些常见的支持向量机操作方法，具体的应用还需要根据实际问题进行调整和优化。
支持向量机及支持向量回归简介
3．支持向量机（回归）3.1.1 支持向量机支持向量机（SVM ）是美国Vapnik 教授于1990年代提出的，2000年代后成为了很受欢迎的机器学习方法。
它将输入样本集合变换到高维空间使得其分离性状况得到改善。
它的结构酷似三层感知器，是构造分类规则的通用方法。
SVM 方法的贡献在于，它使得人们可以在非常高维的空间中构造出好的分类规则，为分类算法提供了统一的理论框架。
作为副产品，SVM 从理论上解释了多层感知器的隐蔽层数目和隐节点数目的作用，因此，将神经网络的学习算法纳入了核技巧范畴。
所谓核技巧，就是找一个核函数(,)K x y 使其满足(,)((),())K x y x y φφ=，代替在特征空间中内积(),())x y φφ（的计算。
因为对于非线性分类，一般是先找一个非线性映射φ将输入数据映射到高维特征空间，使之分离性状况得到很大改观，此时在该特征空间中进行分类，然后再返会原空间，就得到了原输入空间的非线性分类。
由于内积运算量相当大，核技巧就是为了降低计算量而生的。
特别， 对特征空间H 为Hilbert 空间的情形，设(,)K x y 是定义在输入空间nR上的二元函数，设H 中的规范正交基为12(),(),...,(),...n x x x φφφ。
如果221(,)((),()),{}k k k k k K x y a x y a lφφ∞==∈∑，那么取1()()k k k x a x φφ∞==∑即为所求的非线性嵌入映射。
由于核函数(,)K x y 的定义域是原来的输入空间，而不是高维的特征空间。
因此，巧妙地避开了计算高维内积(),())x y φφ（所需付出的计算代价。
实际计算中，我们只要选定一个(,)K x y ，并不去重构嵌入映射1()()k k k x a x φφ∞==∑。
所以寻找核函数(,)K x y （对称且非负）就是主要任务了。
满足以上条件的核函数很多，例如● 可以取为d-阶多项式：(,)(1)dK x y x y =+ ，其中y 为固定元素。
svm算法r语言代码
svm算法r语言代码（实用版5篇）目录（篇1）1.引言2.SVM 算法简介3.R 语言简介4.SVM 算法在 R 语言中的实现5.示例代码6.结论正文（篇1）1.引言支持向量机（SVM）是一种非常强大和灵活的监督学习算法，广泛应用于分类和回归问题。
R 语言是一种统计计算和图形展示的强大工具，广泛应用于数据分析和建模领域。
本文将介绍如何在 R 语言中实现 SVM 算法。
2.SVM 算法简介SVM 算法的核心思想是找到一个最佳超平面，将不同类别的数据分开。
它通过最大化边缘（即支持向量与超平面之间的距离）来实现这一目标。
SVM 算法可以解决线性可分支持向量机（linearly separable）和非线性支持向量机（non-linearly separable）问题。
3.R 语言简介R 语言是一种统计计算和图形展示的强大工具，广泛应用于数据分析和建模领域。
它有一个丰富的函数库，可以进行各种数据处理和分析任务。
在 R 语言中，可以使用不同包来实现 SVM 算法。
4.SVM 算法在 R 语言中的实现要在 R 语言中实现 SVM 算法，可以使用一些特定的包，如"svm", "e1071"等。
以下是一个简单的示例，使用"svm"包对鸢尾花数据集进行分类：```R# 加载所需的库library(svm)library(datasets)# 加载鸢尾花数据集data(iris)# 将数据集拆分为训练集和测试集set.seed(123)index <- sample(1:nrow(iris), 0.7 * nrow(iris))train_data <- iris[index, ]test_data <- iris[-index, ]# 定义 SVM 模型参数svm_model <- svm(Species ~., data = train_data, kernel = "rbf", C = 1, gamma = 0.1)# 对测试集进行预测predictions <- predict(svm_model, test_data)# 计算准确率accuracy <- mean(predictions == test_data$Species)cat("Accuracy:", accuracy, "")```5.示例代码在上面的示例中，我们使用"svm"包对鸢尾花数据集进行了分类。
支持向量机原理
支持向量机原理支持向量机（Support Vector Machine，SVM）是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器。
支持向量机的学习策略是间隔最大化，可形式化为一个求解凸二次规划问题。
SVM是一种分类算法，它的基本原理是找到一个超平面，将不同类别的数据分隔开来，使得两个类别的数据点到超平面的距离最大化。
支持向量机的原理主要包括间隔、支持向量、对偶问题和核函数等几个方面。
首先，我们来看支持向量机的间隔。
在支持向量机中，间隔是指两个异类样本最近的距离，而支持向量机的目标就是要找到一个超平面，使得所有样本点到这个超平面的距离最大化。
这个距离就是间隔，而支持向量机的学习策略就是要最大化这个间隔。
其次，支持向量机的支持向量。
支持向量是指离超平面最近的那些点，它们对超平面的位置有影响。
支持向量决定了最终的超平面的位置，而其他的点对超平面的位置没有影响。
因此，支持向量是支持向量机模型的关键。
然后，我们来看支持向量机的对偶问题。
支持向量机的原始问题是一个凸二次规划问题，可以通过求解对偶问题来得到最终的分类超平面。
通过对偶问题，我们可以得到支持向量的系数，从而得到最终的分类超平面。
最后，我们来看支持向量机的核函数。
在实际应用中，很多时候样本不是线性可分的，这时就需要用到核函数。
核函数可以将原始特征空间映射到一个更高维的特征空间，使得样本在这个高维特征空间中线性可分。
常用的核函数有线性核、多项式核和高斯核等。
综上所述，支持向量机是一种非常强大的分类算法，它通过最大化间隔来得到最优的分类超平面，支持向量决定了最终的超平面的位置，对偶问题可以通过求解对偶问题来得到最终的分类超平面，而核函数可以处理非线性可分的情况。
支持向量机在实际应用中有着广泛的应用，是一种非常重要的机器学习算法。
希望本文对支持向量机的原理有所帮助，让读者对支持向量机有更深入的理解。
支持向量机作为一种经典的机器学习算法，有着重要的理论意义和实际应用价值。
利用R语言实现支持向量机（SVM）数据挖掘案例
利⽤R语⾔实现⽀持向量机（SVM）数据挖掘案例利⽤R语⾔实现⽀持向量机（SVM）数据挖掘案例建⽴模型svm()函数在建⽴⽀持向量机模型的时候有两种建⽴⽅式。
简单地说，⼀种是根据既定公式建⽴模型；⽽另外⼀种⽅式则是根据所给的数据模型建⽴模型。
根据函数的第⼀种使⽤格式，针对上述数据建模时，应该先确定所建⽴的模型所使⽤的数据，然后再确定所建⽴模型的结果变量和特征变来那个。
代码如下：library(e1071)data(iris)#建⽴svm模型model <- svm(Species~.,data = iris)在使⽤第⼀种格式建⽴模型时，如果使⽤数据中的全部特征变量作为模型特征变量时，可以简要地使⽤“Species~.”中的“.”代替全部的特征变量。
根据函数的第⼆种使⽤格式，在针对iris数据建⽴模型时，⾸先应该将结果变量和特征变量分别提取出来。
结果变量⽤⼀个向量表⽰，⽽特征向量⽤⼀个矩阵表⽰。
在确定好数据后还应根据数据分析所使⽤的核函数以及核函数所对应的参数值，通常默认使⽤⾼斯内积函数作为核函数，具体分析代码如下：#提取iris数据中除第5列以外的数据作为特征变量x <- iris[,-5]#提取iris数据中第5列数据作为结果变量y <- iris[,5]#建⽴svm模型model <- svm(x,y,kernel = "radial", gamma = if(is.vector(x)) 1 else 1/ncol(x))在使⽤第⼆种格式建⽴模型时，不需要特别强调所建⽴模型的哪个是，函数会⾃动将所有输⼊的特征变量数据作为建⽴模型所需要的特征变来那个。
在上述过程中，确定核函数的gamma系数时所使⽤的R语⾔所代表的意思为：如果特征向量是向量则gamma值取1，否则gamma值为特征向量个数的倒数。
结果分析summary(model)Call:svm.default(x = x, y = y, kernel = "radial", gamma = if (is.vector(x)) 1 else 1/ncol(x))Parameters:SVM-Type: C-classificationSVM-Kernel: radialcost: 1gamma: 0.25Number of Support Vectors: 51( 8 22 21 )Number of Classes: 3Levels:setosa versicolor virginica通过summary()函数可以得到关于模型的相关信息。
支持向量机的应用实例
支持向量机的应用实例1. 什么是支持向量机（SVM）？支持向量机（Support Vector Machine，SVM）是一种常用的机器学习算法，经常被用于分类和回归问题。
SVM的基本思想是找到一个最优的超平面，将不同类别的数据点分开。
在支持向量机中，数据点被看作是一个n维空间中的向量，而分类的目标就是找到一个超平面，使得不同类别的数据点被最大间隔分开。
2. SVM的应用领域SVM在许多领域都有着广泛的应用。
下面将介绍几个典型的SVM应用实例。
2.1 文本分类在文本分类中，SVM可以用来自动将文本分成不同的类别。
例如，可以用SVM将新闻文章分成体育、娱乐、科技等类别。
SVM可以通过将文本表示为词袋模型或者TF-IDF等特征表示方法，然后训练一个分类器来实现文本分类。
这个过程可以分为以下几个步骤： - 数据预处理：对文本进行清洗、分词、去除停用词等处理。
- 特征提取：将文本转换成数值向量表示。
常用的方法有词袋模型、TF-IDF等。
- 训练模型：使用SVM算法训练一个分类器。
- 测试和评估：使用测试集对分类器进行评估，计算准确率、召回率等指标。
2.2 图像分类SVM也可以用于图像分类任务。
图像分类是指将图像分成不同的类别，例如人脸识别、物体识别等。
SVM可以通过提取图像的特征向量，然后利用这些特征向量进行分类。
常用的图像分类流程如下： - 数据预处理：对图像进行预处理，例如调整大小、灰度化等。
- 特征提取：提取图像的特征向量，可以使用灰度直方图、方向梯度直方图等方法。
- 训练模型：使用SVM算法训练一个分类器。
- 测试和评估：使用测试集对分类器进行评估，计算准确率、召回率等指标。
2.3 异常检测SVM还可以应用于异常检测，即通过训练一个SVM模型，可以检测出与其他样本不同的异常样本。
在异常检测中，SVM可以识别出那些与正常样本最不相似的样本。
常见的异常检测流程如下： - 数据预处理：对数据进行预处理，例如去除噪声、归一化等。
支持向量机分析范文
支持向量机分析范文支持向量机（Support Vector Machine, SVM）是一种常用的机器学习算法，用于分类和回归问题。
它的基本思想是通过找到一个最优的超平面，将不同类别的样本分开。
支持向量机在数据挖掘、计算机视觉、自然语言处理等领域都有广泛的应用。
支持向量机的原理是基于统计学习理论中的结构风险最小化原则（Structural Risk Minimization, SRM）。
在特征空间中，用超平面对训练样本进行分割，并使得各类样本到超平面的距离最大化。
这些离超平面最近的样本点被称为支持向量，它们决定了分类器的边界。
1.可用于线性和非线性分类问题：支持向量机可以通过核函数的使用，将低维的输入映射到高维特征空间中，从而实现对非线性问题的分类。
2.数据维度对算法性能影响较小：由于支持向量机主要关注于支持向量，而其它样本点对算法的影响较小，因此数据维度的增加对算法的性能影响较小。
3.避免了过拟合问题：支持向量机的目标是最大化分类间隔，而不太关注分类准确率，从而避免了过拟合问题。
4.泛化能力强：支持向量机的决策函数只依赖于支持向量，而不依赖于整个数据集，因此具有较强的泛化能力。
1.特征选择和提取：根据问题的特性，选择合适的特征和特征提取方法，将数据转化为数值型的特征向量。
2.核函数选择：根据数据的特点和问题的要求，选择合适的核函数。
常用的核函数有线性核、多项式核和径向基函数核等。
3.模型训练和参数调整：通过求解优化问题，得到最优的超平面和分类决策函数。
支持向量机的训练问题可以通过凸二次规划的方法来解决，并且可以使用现成的优化库来加快计算速度。
4.模型评估和调优：使用测试集对训练好的模型进行评估，并对模型进行调优。
常用的评估指标有准确率、精确率、召回率和F1值等。
虽然支持向量机在理论上和实践中都表现出了很好的性能，但也存在一些局限性：1.对大规模样本和高维数据训练困难：在处理大规模样本和高维数据时，支持向量机的训练时间和空间复杂度较高。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
算法四：支持向量机说到支持向量机，必须要提到july大神的《支持向量机通俗导论》，个人感觉再怎么写也不可能写得比他更好的了。
这也正如青莲居士见到崔颢的黄鹤楼后也只能叹“此处有景道不得”。
不过我还是打算写写SVM的基本想法与libSVM中R的接口。
一、SVM的想法回到我们最开始讨论的KNN算法，它占用的内存十分的大，而且需要的运算量也非常大。
那么我们有没有可能找到几个最有代表性的点(即保留较少的点)达到一个可比的效果呢?要回答这个问题，我们首先必须思考如何确定点的代表性?我想关于代表性至少满足这样一个条件：无论非代表性点存在多少，存在与否都不会影响我们的决策结果。
显然如果仍旧使用KNN算法的话，是不会存在训练集的点不是代表点的情况。
那么我们应该选择一个怎样的“距离”满足仅依靠代表点就能得到全体点一致的结果?我们先看下面一个例子：假设我们的训练集分为正例与反例两类，分别用红色的圆圈与蓝色的五角星表示，现在出现了两个未知的案例，也就是图中绿色的方块，我们如何去分类这两个例子呢?在KNN算法中我们考虑的是未知样例与已知的训练样例的平均距离，未知样例与正例和反例的“距离”谁更近，那么他就是对应的分类。
同样是利用距离，我们可以换一个方式去考虑：假设图中的红线是对正例与反例的分类标准(记为w x+b=0)，那么我们的未知样例与红线的“距离”就成了一个表示分类信度的标准，而w y+b(y为未知样例的数据)的符号则可以看成是分类的标识。
但是遗憾的是我们不知道这样的一条分类标准(分类线)是什么，那么我们一个比较自然的想法就是从已知的分类数据(训练集)里找到离分割线最近的点，确保他们离分割面尽可能的远。
这样我们的分类器会更稳健一些。
从上面的例子来看，虚线穿过的样例便是离分割线最近的点，这样的点可能是不唯一的，因为分割线并不确定，下图中黑线穿过的训练样例也满足这个要求：所以“他们离分割面尽可能的远”这个要求就十分重要了，他告诉我们一个稳健的超平面是红线而不是看上去也能分离数据的黄线。
这样就解决了我们一开始提出的如何减少储存量的问题，我们只要存储虚线划过的点即可(因为在w x+b=-1左侧，w x+b=1右侧的点无论有多少都不会影响决策)。
像图中虚线划过的，距离分割直线(比较专业的术语是超平面)最近的点，我们称之为支持向量。
这也就是为什么我们这种分类方法叫做支持向量机的原因。
至此，我们支持向量机的分类问题转化为了如何寻找最大间隔的优化问题。
二、SVM的一些细节支持向量机的实现涉及许多有趣的细节：如何最大化间隔，存在“噪声”的数据集怎么办，对于线性不可分的数据集怎么办等。
我这里不打算讨论具体的算法，因为这些东西完全可以参阅july大神的《支持向量机通俗导论》，我们这里只是介绍遇到问题时的想法，以便分析数据时合理调用R中的函数。
几乎所有的机器学习问题基本都可以写成这样的数学表达式：给定条件：n个独立同分布观测样本(x1 , y1 ), (x2 , y2 ),……,(xn , yn )目标：求一个最优函数f (x,w* )最理想的要求：最小化期望风险R(w)不同的是我们如何选择f,R。
对于支持向量机来说，f(x,w*)=w x+b，最小化风险就是最大化距离|w x|/||w||，即arg max{min(label (w x+b))/||w||} (也就是对最不confidence 的数据具有了最大的 confidence)这里的推导涉及了对偶问题，拉格朗日乘子法与一堆的求导，我们略去不谈，将结果叙述如下：我们以鸢尾花数据来说说如何利用svm做分类，由于svm是一个2分类的办法，所以我们将鸢尾花数据也分为两类，“setosa”与“versicolor”(将后两类均看做一类)，那么数据按照特征：花瓣长度与宽度做分类，有分类：从上图可以看出我们通过最优化原始问题或者对偶问题就可以得到w,b，利用sign(w.x+b)就可以判断分类了。
我们这里取3, 10,56, 68,107, 120号数据作为测试集，其余的作为训练集，我们可以看到：训练集 setosa virginicasetosa 48 0virginica 0 96测试集 setosa virginicasetosa 2 0virginica 0 4也就是完全完成了分类任务。
我们来看看鸢尾花后两类的分类versicolor和virginica的分类，我们将数据的散点图描绘如下：(我们把第一类“setosa“看做”versicolor“)不难发现这时无论怎么画一条线都无法将数据分开了，那么这么办呢?我们一个自然的办法就是允许分类有一部分的错误，但是错误不能无限的大。
我们使用一个松弛项来分类数据。
最优化问题转变为：当我们确定好松弛项C后，就可以得到分类：我们还是先来看看分类的效果：(C=10)训练集 versicolor virginica versicolor 93 2virginica 3 46测试集 versicolor virginica versicolor 4 2virginica 0 0虽然分类中有一些错误，但是大部分还是分开了的，也就是说还是不错的，至少完成了分类这个任务。
我们再来看看一个更麻烦的例子：假设数据是这样的：这时再用直线作为划分依据就十分的蹩脚了，我们这时需要引入核的方法来解决这个问题。
在上图中，我们一眼就能看出用一个S型去做分类就可以把数据成功分类了(当然是在允许一点点错误的情况下)，但是计算机能识别的只有分类器的分类结果是-1还是1，这时，我们需要将数据做出某种形式的转换，使得原来不可用直线剖分的变得可分，易分。
也就是需要找到一个从一个特征空间到另一个特征空间的映射。
我们常用的映射有：线性核:u'*v多项式核:(gamma*u'*v+ coef0)^degree高斯核:exp(-gamma*|u-v|^2)Sigmoid核:tanh(gamma*u'*v + coef0)我们这里使用各种常见的核来看看分类效果：从图中我们可以看到正态核的效果是最好的,用数据说话，我们来看看分类错误率与折10交叉验证的结果(报告平均分类正确率)：我们可以看到，无论从存储数据量的多少(支持向量个数)还是分类精确度来看，高斯核都是最优的。
所以一般情况，特别是在大样本情况下，优先使用高斯核，至少可以得到一个不太坏的结果(在完全线性可分下，线性函数的支持向量个数还是少一些的)。
三、libSVM的R接口有许多介绍SVM的书都有类似的表述“由于理解支持向量机需要掌握一些理论知识，而这对读者来说有一定的难度，建议直接下载LIBSVM使用。
”确实，如果不是为了训练一下编程能力，我们没有必要自己用前面提到的做法自己实现一个效率不太高的SVM。
R的函数包e1071提供了libSVM的接口，使用e1071的函数SVM()可以得到libSVM相同的结果，write.svm()更是可以把R训练得到的结果写为标准的libSVM格式供其他环境下的libSVM使用。
在介绍R中函数的用法时，我们先简要介绍一下SVM的类型，以便我们更好地理解各个参数的设置。
对于线性不可分时，加入松弛项，折衷考虑最小错分样本和最大分类间隔。
增加了算法的容错性，允许训练集不完全分类，以防出现过拟合。
加入的办法有以下3类，写成最优化问题形式总结如上图：上图中e为所有元素都为1的列向量，Qij=yiyjK(xi; xj), K(xi; xj) =phi(xi) phi (xj), phi(.)为核函数，K(. ;.)表示对应元素核函数的内积。
现在我们来看看svm()函数的用法。
## S3 method for class 'formula'svm(formula, data = NULL, ..., subset,na.action =na.omit, scale = TRUE)## Default S3 method:svm(x, y = NULL, scale = TRUE, type = NULL,kernel ="radial", degree = 3, gamma = if(is.vector(x)) 1 else 1 / ncol(x),coef0 = 0, cost = 1, nu = 0.5,class.weights = NULL, cachesize = 40,tolerance = 0.001, epsilon =0.1,shrinking = TRUE, cross = 0, probability =FALSE, fitted = TRUE, seed = 1L,..., subset, na.action = na.omit)主要参数说明：Formula：分类模型形式，在第二个表达式中使用的的x，y可以理解为y~x。
Data：数据集Subset：可以指定数据集的一部分作为训练集Na.action：缺失值处理，默认为删除数据条目Scale：将数据标准化，中心化，使其均值为0，方差为1.默认自动执行。
Type：SVM的形式，使用可参见上面的SVMformulation，type的选项有：C-classification，nu-classification，one-classification (for novelty detection)，eps-regression，nu-regression。
后面两者为利用SVM做回归时用到的，这里暂不介绍。
默认为C分类器，使用nu分类器会使决策边界更光滑一些，单一分类适用于所有的训练数据提取自同一个类里，然后SVM建立了一个分界线以分割该类在特征空间中所占区域和其它类在特征空间中所占区域。
Kernel：在非线性可分时，我们引入核函数来做非线性可分，R提供的核介绍如下：线性核:u'*v多项式核:(gamma*u'*v + coef0)^degree高斯核:exp(-gamma*|u-v|^2)Sigmoid核:tanh(gamma*u'*v + coef0)默认为高斯核(RBF)，libSVM的作者对于核的选择有如下建议：Ingeneral we suggest you to try the RBF kernel first. A recent result by Keerthiand Lin shows that if RBF is used with model selection, then there is no need to consider the linear kernel. The kernel matrix using sigmoid may not be positive definite and in general it's accuracy is not better than RBF. (see thepaper by Lin and Lin. Polynomial kernels are ok but if a high degree is used,numerical difficulties tend to happen (thinking about dth power of (<1) goes to 0 and (>1) goes to infinity).顺带说一句，在kernlab包中，可以自定义核函数。