R语言-支持向量机
R语言实现支持向量机SVM应用案例
R语⾔实现⽀持向量机SVM应⽤案例IRIS数据集简介IRIS数据集中的数据源于1936年费希尔法发表的⼀篇论⽂。
彼时他收集了三种鸢尾花（分别标记为setosa、versicolor和virginical）的花萼和花瓣数据。
包括花萼的长度和宽度，以及花瓣的长度和宽度。
我们将根据这四个特征来建⽴⽀持向量机模型从⽽实现对三种鸢尾花的分类判别任务。
有关数据可以从datasets软件包中的iris数据集⾥获取，下⾯我们演⽰性地列出了前5⾏数据。
成功载⼊数据后，易见其中共包含了150个样本（被标记为setosa、versicolor和virginica的样本各50个），以及四个样本特征，分别是Sepal.Length、Sepal.Width、Petal.Length和Petal.Width。
> irisSepal.Length Sepal.Width Petal.Length Petal.Width Species1 5.1 3.5 1.4 0.2 setosa2 4.9 3.0 1.4 0.2 setosa3 4.7 3.2 1.3 0.2 setosa4 4.6 3.1 1.5 0.2 setosa5 5.0 3.6 1.4 0.2 setosa6 5.4 3.9 1.7 0.4 setosa7 4.6 3.4 1.4 0.3 setosa8 5.0 3.4 1.5 0.2 setosa9 4.4 2.9 1.4 0.2 setosa10 4.9 3.1 1.5 0.1 setosa在正式建模之前，我们也可以通过⼀个图型来初步判定⼀下数据的分布情况，为此在R中使⽤如下代码来绘制（仅选择Petal.Length和Petal.Width这两个特征时）数据的划分情况。
library(lattice)xyplot(Petal.Length ~ Petal.Width, data = iris,groups = Species,auto.key = list(corner=c(1, 0)))上述代码的执⾏结果如图14-13所⽰，从中不难发现，标记为setosa的鸢尾花可以很容易地被划分出来。
r语言 二分类模型构建
r语言二分类模型构建二分类模型是在机器学习中常用的一种模型，用于将数据分为两个互斥的类别。
在R语言中，有多种方法可以构建二分类模型，包括逻辑回归、决策树、支持向量机等。
下面将以逻辑回归为例，详细介绍如何在R语言中构建二分类模型。
逻辑回归是一种经典的二分类模型，常用于预测一个事件发生的概率。
它基于线性回归模型的基础上，将目标变量映射到0和1之间的概率值。
在R语言中，我们可以使用glm()函数来构建逻辑回归模型。
首先，我们需要准备用于构建模型的数据。
通常，我们将数据分为训练集和测试集，用于模型的训练和评估。
假设我们有一个包含多个特征和目标变量的数据集，其中目标变量的取值为0和1。
我们可以使用以下代码将数据集划分为训练集和测试集：{r}# 加载数据data <- read.csv("data.csv")# 划分数据为训练集和测试集set.seed(123)train_index <- sample(1:nrow(data), round(0.7 * nrow(data)))train_data <- data[train_index, ]test_data <- data[-train_index, ]接下来，我们可以使用glm()函数构建逻辑回归模型。
glm()函数的第一个参数是一个公式，其形式为"目标变量~ 特征1 + 特征2 + ... + 特征n"。
下面的代码演示了如何使用glm()函数构建逻辑回归模型：{r}# 构建逻辑回归模型model <- glm(target ~ feature1 + feature2 + ..., data = train_data, family = "binomial")在上面的代码中，"target"是目标变量的名称，"feature1"、"feature2"等是特征的名称。
使用R语言进行金融风险预测的方法
使用R语言进行金融风险预测的方法随着金融市场的不断发展和变化，金融风险管理变得越来越重要。
为了有效地管理金融风险，预测金融市场的波动和风险成为一项关键任务。
R语言作为一种强大的统计分析工具，被广泛应用于金融风险预测。
本文将介绍使用R语言进行金融风险预测的一些常用方法。
1. 历史模拟法历史模拟法是一种简单直观的金融风险预测方法。
它基于过去一段时间内的市场数据，通过计算历史收益率的标准差来衡量风险水平。
在R语言中，我们可以使用quantmod包来获取金融市场数据，并利用stats包中的函数计算收益率的标准差。
通过历史模拟法，我们可以得到一个基于历史数据的风险估计，但它忽略了市场的动态变化和未来的不确定性。
2. 方差-协方差法方差-协方差法是一种常用的金融风险预测方法，它基于资产收益率之间的协方差矩阵来衡量风险。
在R语言中，我们可以使用quantmod包获取金融市场数据，并利用stats包中的函数计算协方差矩阵。
通过方差-协方差法，我们可以得到一个基于资产间关系的风险估计，但它假设资产收益率服从正态分布，忽略了尾部风险的存在。
3. 基于GARCH模型的风险预测GARCH（Generalized Autoregressive Conditional Heteroskedasticity）模型是一种常用的金融时间序列模型，用于描述金融市场的波动性。
在R语言中，我们可以使用fGarch包来拟合GARCH模型，并进行风险预测。
GARCH模型考虑了波动的自回归特性和波动的异方差性，能够更准确地预测金融市场的风险。
4. 基于机器学习的风险预测机器学习在金融风险预测中也有广泛的应用。
在R语言中，我们可以使用caret包来进行机器学习算法的训练和预测。
常用的机器学习算法包括支持向量机（SVM）、随机森林（Random Forest）和神经网络（Neural Network）等。
通过机器学习算法，我们可以利用大量的市场数据和特征，建立起一个更准确的金融风险预测模型。
支持向量机原理SVMPPT课件
回归分析
除了分类问题，SVM也可以用于 回归分析，如预测股票价格、预 测天气等。通过训练模型，SVM
能够预测未知数据的输出值。
数据降维
SVM还可以用于数据降维，通过 找到数据的低维表示，降低数据
的复杂性，便于分析和理解。
02 支持向量机的基本原理
线性可分与不可分数据
线性可分数据
在二维空间中，如果存在一条直线， 使得该直线能够将两类样本完全分开 ，则称这些数据为线性可分数据。
支持向量机原理 svmppt课件
目录
CONTENTS
• 引言 • 支持向量机的基本原理 • 支持向量机的数学模型 • 支持向量机的优化问题 • 支持向量机的核函数 • 支持向量机的训练和预测 • 支持向量机的应用案例 • 总结与展望
01 引言
什么是支持向量机
定义
支持向量机（Support Vector Machine，简称SVM）是一种监督学习算法， 用于分类和回归分析。它通过找到一个超平面来分隔数据集，使得分隔后的两 类数据点到该平面的距离最远。
支持向量机的优势和局限性
01
对大规模数据集效 率较低
对于大规模数据集，支持向量机 可能需要较长时间进行训练和预 测。
02
核函数选择和参数 调整
核函数的选择和参数调整对支持 向量机的性能有很大影响，需要 仔细选择和调整。
03
对多分类问题处理 不够灵活
对于多分类问题，支持向量机通 常需要采用一对一或一对多的策 略进行处理，可能不够灵活。
图像识别
• 总结词：支持向量机用于图像识别，通过对图像特征的提取和分类，实现图像 的自动识别和分类。
• 详细描述：支持向量机在图像识别中发挥了重要作用，通过对图像特征的提取 和选择，将图像数据映射到高维空间，然后利用分类器将相似的图像归为同一 类别，不相似图像归为不同类别。
svm算法r语言代码
svm算法r语言代码SVM算法是一种常用的机器学习算法，它在分类和回归问题中都有广泛的应用。
本文将介绍SVM算法的基本原理，并给出在R语言中实现SVM算法的代码示例。
SVM（Support Vector Machine）算法是一种基于统计学习理论的分类算法。
它的基本思想是通过在特征空间中找到一个最优的超平面，将不同类别的样本分开。
这个超平面被称为分离超平面，它使得同一类别的样本尽可能地靠近，不同类别的样本尽可能地远离。
在SVM算法中，我们首先需要将样本映射到高维特征空间中，然后在特征空间中找到一个最优的超平面。
为了找到这个最优的超平面，我们需要定义一个目标函数，并通过优化算法来求解。
在R语言中，我们可以使用e1071包来实现SVM算法。
首先，我们需要安装e1071包，并加载它：```Rinstall.packages("e1071")library(e1071)```接下来，我们可以使用svm函数来训练一个SVM模型。
假设我们有一个包含两个特征的数据集X和对应的标签y，其中y为1表示正样本，为-1表示负样本。
我们可以使用以下代码来训练一个线性SVM模型：```Rmodel <- svm(y ~ ., data = X, kernel = "linear")```在这个代码中，y ~ .表示使用所有的特征进行分类，data = X表示数据集为X，kernel = "linear"表示使用线性核函数。
训练完成后，我们可以使用predict函数来对新的样本进行分类。
以下是一个示例代码：```Rnew_data <- data.frame(feature1 = c(1, 2, 3), feature2 = c(4, 5, 6))predictions <- predict(model, newdata = new_data)```在这个代码中，我们创建了一个新的数据集new_data，然后使用predict函数对其进行分类，并将结果保存在predictions变量中。
svm算法r语言代码
svm算法r语言代码（实用版5篇）目录（篇1）1.引言2.SVM 算法简介3.R 语言简介4.SVM 算法在 R 语言中的实现5.示例代码6.结论正文（篇1）1.引言支持向量机（SVM）是一种非常强大和灵活的监督学习算法，广泛应用于分类和回归问题。
R 语言是一种统计计算和图形展示的强大工具，广泛应用于数据分析和建模领域。
本文将介绍如何在 R 语言中实现 SVM 算法。
2.SVM 算法简介SVM 算法的核心思想是找到一个最佳超平面，将不同类别的数据分开。
它通过最大化边缘（即支持向量与超平面之间的距离）来实现这一目标。
SVM 算法可以解决线性可分支持向量机（linearly separable）和非线性支持向量机（non-linearly separable）问题。
3.R 语言简介R 语言是一种统计计算和图形展示的强大工具，广泛应用于数据分析和建模领域。
它有一个丰富的函数库，可以进行各种数据处理和分析任务。
在 R 语言中，可以使用不同包来实现 SVM 算法。
4.SVM 算法在 R 语言中的实现要在 R 语言中实现 SVM 算法，可以使用一些特定的包，如"svm", "e1071"等。
以下是一个简单的示例，使用"svm"包对鸢尾花数据集进行分类：```R# 加载所需的库library(svm)library(datasets)# 加载鸢尾花数据集data(iris)# 将数据集拆分为训练集和测试集set.seed(123)index <- sample(1:nrow(iris), 0.7 * nrow(iris))train_data <- iris[index, ]test_data <- iris[-index, ]# 定义 SVM 模型参数svm_model <- svm(Species ~., data = train_data, kernel = "rbf", C = 1, gamma = 0.1)# 对测试集进行预测predictions <- predict(svm_model, test_data)# 计算准确率accuracy <- mean(predictions == test_data$Species)cat("Accuracy:", accuracy, "")```5.示例代码在上面的示例中，我们使用"svm"包对鸢尾花数据集进行了分类。
大数据基础--R语言（刘鹏《大数据》课后习题答案）
⼤数据基础--R语⾔（刘鹏《⼤数据》课后习题答案）1.R语⾔是解释性语⾔还是编译性语⾔？ 解释性语⾔2.简述R语⾔的基本功能。
R语⾔是⼀套完整的数据处理、计算和制图软件系统，主要包括以下功能： （１）数据存储和处理功能，丰富的数据读取与存储能⼒，丰富的数据处理功能。
（２）数组运算⼯具 （３）完整连贯的统计分析⼯具 （４）优秀的统计制图功能3.R语⾔通常⽤在哪些领域？ ⼈⼯智能、统计分析、应⽤数学、计量经济、⾦融分析、财经分析、⽣物信息学、数据可视化与数据挖掘等。
4.R语⾔常⽤的分类和预测算法有哪些？ （１）Ｋ－近邻算法，如果⼀个样本与特征空间中的K个最相似（特征空间最近邻）的样本中的⼤多数属于某⼀个类别，则该样本也属于这⼀类别。
（２）决策树，是⼀种依托于分类、训练上的预测树，根据已知预测、归类未来。
（３）⽀持向量机，是⼀个⼆分类的办法，即将数据集中的数据分为两类。
5.简述如何利⽤R程序包进⾏数据分析、建模和数据预测。
数据集加载－＞数据集中的数据分析－＞⽆效数据处理－＞预测模型的构建－＞模型的评价与选择－＞实际需求预测－＞完成对应⽤需求的实现预测6.如何使⽤“聚类”和“分类”对数据样本进⾏分组。
“聚类”和“分类”都可以从历史数据纪录中⾃动推导出给定数据的推⼴描述，从⽽能对未来数据进⾏预测。
不同的是，“分类”算法需要⽤训练样本构造分类器，且样本数据集中的每个样本除了具有类别特征向量外，还需要类别标记。
⽽“聚类”的样本没有标记，需要由聚类学习算法来⾃动确定。
7.SparkR DataFrame的作⽤有哪些？ （１）它允许数据科学家分析⼤规模数据集，并通过R Shell交互的在SparkR上运⾏作业。
（２）数据来源⾮常⼴泛，可处理多种类型数据。
（３）⾼拓展性，可以轻易⽤于TB级数据的处理及⽔平服务器的拓展。
（４）会查询优化器⾃动优化，可为计算加速制定智能的决策。
（５）对RDD API的⽀持，可⾼效地进⾏分布式数据计算与分析，解决⼤规模数据集带来的挑战。
R语言期末知识点汇总
R语言期末知识点汇总1.数据结构-向量：R语言中最基本的数据结构，可以存储数值、字符、逻辑值等类型的数据。
-列表：可以包含不同类型的数据对象，可以通过索引或名称来访问其中的元素。
-矩阵：由相同类型的元素组成的二维数据结构。
-数组：可以包含多维的数据结构。
-数据框：类似于表格，可以包含不同类型的数据。
-因子：用于表示分类变量，可以有多个水平。
2.数据导入和导出- 导入数据：可以使用read.table(、read.csv(等函数从文本文件中导入数据。
- 导出数据：可以使用write.table(、write.csv(等函数将数据保存为文本文件。
3.数据清洗和处理- 缺失值处理：可以使用is.na(函数判断是否为缺失值，使用na.omit(函数删除含有缺失值的行或列。
- 重复值处理：可以使用duplicated(函数判断是否为重复值，使用unique(函数去除重复值。
- 数据类型转换：可以使用as.character(、as.numeric(等函数将数据类型转换为字符型、数值型等。
- 数据排序和筛选：可以使用order(函数对数据进行排序，使用subset(函数对数据进行筛选。
- 数据合并：可以使用merge(或者c(函数将多个数据框进行合并。
4.数据可视化- 基本图形：可以使用plot(函数绘制散点图、折线图、柱状图等基本图形。
- 图例：可以使用legend(函数添加图例。
- 网格线：可以使用grid(函数添加网格线。
- 颜色和填充：可以使用col(和fill(函数设置颜色和填充。
5.统计分析- 描述统计：可以使用summary(函数计算均值、中位数、最大值、最小值等描述统计量。
- 假设检验：可以使用t.test(、wilcox.test(、chisq.test(等函数进行假设检验。
- 方差分析：可以使用aov(函数进行方差分析。
- 相关分析：可以使用cor.test(函数计算相关系数。
- 回归分析：可以使用lm(函数进行线性回归分析。
R语言中向量的定义以及基本操作
R语言中向量的定义以及基本操作R语言中的向量是一种最基本的数据结构，它是一组相同类型的元素的有序集合。
向量可以包含数值、字符、逻辑等不同的数据类型。
在R语言中，可以使用向量进行基本的数值计算、数据处理和统计分析。
向量的定义可以通过将一组数值、字符或逻辑值放在一对c(函数内来创建。
例如，可以使用以下代码创建一个包含数值的向量：```#创建一个包含数值的向量x<-c(1,2,3,4,5)```也可以创建一个包含字符的向量：```#创建一个包含字符的向量y <- c("apple", "banana", "orange")```另外，R语言中使用特殊的逻辑值TRUE和FALSE来表示逻辑值。
可以创建一个包含逻辑值的向量：```#创建一个包含逻辑值的向量z<-c(TRUE,FALSE,TRUE,TRUE,FALSE)```向量的基本操作包括索引、切片、赋值和运算。
索引是指通过指定向量中元素的位置来获取元素的值。
在R语言中，索引从1开始。
例如，可以通过以下方式从向量x中获取第一个元素的值：```#获取第一个元素的值x[1]```可以通过以下方式获取向量中的多个元素：```#获取前三个元素的值x[1:3]```切片是指获取向量中的一些子集。
可以使用下标或逻辑条件来对向量进行切片。
例如，可以通过以下方式获取向量x中的偶数元素：```#获取偶数元素的值x[x%%2==0]```赋值是指更改向量中的一些元素的值。
可以通过索引或逻辑条件来对向量中的元素进行赋值。
例如，可以将向量x中的第一个元素赋值为10：```#将第一个元素赋值为10x[1]<-10```运算是指对向量进行数学运算或逻辑运算。
R语言中的向量运算可以对向量中的每个元素进行操作。
例如，可以将向量x中的每个元素都加1：```#对向量中的每个元素进行加法运算x<-x+1```此外，R语言还提供了许多其他的向量操作函数，如求和、平均值、最大值和最小值等。
利用R语言实现支持向量机（SVM）数据挖掘案例
利⽤R语⾔实现⽀持向量机（SVM）数据挖掘案例利⽤R语⾔实现⽀持向量机（SVM）数据挖掘案例建⽴模型svm()函数在建⽴⽀持向量机模型的时候有两种建⽴⽅式。
简单地说，⼀种是根据既定公式建⽴模型；⽽另外⼀种⽅式则是根据所给的数据模型建⽴模型。
根据函数的第⼀种使⽤格式，针对上述数据建模时，应该先确定所建⽴的模型所使⽤的数据，然后再确定所建⽴模型的结果变量和特征变来那个。
代码如下：library(e1071)data(iris)#建⽴svm模型model <- svm(Species~.,data = iris)在使⽤第⼀种格式建⽴模型时，如果使⽤数据中的全部特征变量作为模型特征变量时，可以简要地使⽤“Species~.”中的“.”代替全部的特征变量。
根据函数的第⼆种使⽤格式，在针对iris数据建⽴模型时，⾸先应该将结果变量和特征变量分别提取出来。
结果变量⽤⼀个向量表⽰，⽽特征向量⽤⼀个矩阵表⽰。
在确定好数据后还应根据数据分析所使⽤的核函数以及核函数所对应的参数值，通常默认使⽤⾼斯内积函数作为核函数，具体分析代码如下：#提取iris数据中除第5列以外的数据作为特征变量x <- iris[,-5]#提取iris数据中第5列数据作为结果变量y <- iris[,5]#建⽴svm模型model <- svm(x,y,kernel = "radial", gamma = if(is.vector(x)) 1 else 1/ncol(x))在使⽤第⼆种格式建⽴模型时，不需要特别强调所建⽴模型的哪个是，函数会⾃动将所有输⼊的特征变量数据作为建⽴模型所需要的特征变来那个。
在上述过程中，确定核函数的gamma系数时所使⽤的R语⾔所代表的意思为：如果特征向量是向量则gamma值取1，否则gamma值为特征向量个数的倒数。
结果分析summary(model)Call:svm.default(x = x, y = y, kernel = "radial", gamma = if (is.vector(x)) 1 else 1/ncol(x))Parameters:SVM-Type: C-classificationSVM-Kernel: radialcost: 1gamma: 0.25Number of Support Vectors: 51( 8 22 21 )Number of Classes: 3Levels:setosa versicolor virginica通过summary()函数可以得到关于模型的相关信息。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
支持向量机一、SVM的想法回到我们最开始讨论的KNN算法，它占用的内存十分的大，而且需要的运算量也非常大。
那么我们有没有可能找到几个最有代表性的点(即保留较少的点)达到一个可比的效果呢?我们先看下面一个例子：假设我们的训练集分为正例与反例两类，分别用红色的圆圈与蓝色的五角星表示，现在出现了两个未知的案例，也就是图中绿色的方块，我们如何去分类这两个例子呢?在KNN算法中我们考虑的是未知样例与已知的训练样例的平均距离，未知样例与正例和反例的“距离”谁更近，那么他就是对应的分类。
同样是利用距离，我们可以换一个方式去考虑：假设图中的红线是对正例与反例的分类标准(记为w x+b=0)，那么我们的未知样例与红线的“距离”就成了一个表示分类信度的标准，而w y+b(y为未知样例的数据)的符号则可以看成是分类的标识。
但是遗憾的是我们不知道这样的一条分类标准(分类线)是什么，那么我们一个比较自然的想法就是从已知的分类数据(训练集)里找到离分割线最近的点，确保他们离分割面尽可能的远。
这样我们的分类器会更稳健一些。
从上面的例子来看，虚线穿过的样例便是离分割线最近的点，这样的点可能是不唯一的，因为分割线并不确定，下图中黑线穿过的训练样例也满足这个要求：所以“他们离分割面尽可能的远”这个要求就十分重要了，他告诉我们一个稳健的超平面是红线而不是看上去也能分离数据的黄线。
这样就解决了我们一开始提出的如何减少储存量的问题，我们只要存储虚线划过的点即可(因为在w x+b=-1左侧，w x+b=1右侧的点无论有多少都不会影响决策)。
像图中虚线划过的，距离分割直线(比较专业的术语是超平面)最近的点，我们称之为支持向量。
这也就是为什么我们这种分类方法叫做支持向量机的原因。
至此，我们支持向量机的分类问题转化为了如何寻找最大间隔的优化问题。
二、SVM的一些细节支持向量机的实现涉及许多有趣的细节：如何最大化间隔，存在“噪声”的数据集怎么办，对于线性不可分的数据集怎么办等。
我这里不打算讨论具体的算法，因为这些东西完全可以参阅july大神的《支持向量机通俗导论》，我们这里只是介绍遇到问题时的想法，以便分析数据时合理调用R中的函数。
几乎所有的机器学习问题基本都可以写成这样的数学表达式：给定条件：n个独立同分布观测样本(x1 , y1 ), (x2 , y2 ),……,(xn , yn )目标：求一个最优函数f (x,w* )最理想的要求：最小化期望风险R(w)不同的是我们如何选择f,R。
对于支持向量机来说，f(x,w*)=w x+b，最小化风险就是最大化距离|w x|/||w||，即arg max{min(label (w x+b))/||w||} (也就是对最不confidence 的数据具有了最大的 confidence)这里的推导涉及了对偶问题，拉格朗日乘子法与一堆的求导，我们略去不谈，将结果叙述如下：我们以鸢尾花数据来说说如何利用svm做分类，由于svm是一个2分类的办法，所以我们将鸢尾花数据也分为两类，“setosa”与“versicolor”(将后两类均看做一类)，那么数据按照特征：花瓣长度与宽度做分类，有分类：从上图可以看出我们通过最优化原始问题或者对偶问题就可以得到w,b，利用 sign(w.x+b)就可以判断分类了。
我们这里取3, 10,56, 68,107, 120号数据作为测试集，其余的作为训练集，我们可以看到：训练集 setosa virginicasetosa 48 0virginica 0 96测试集 setosa virginicasetosa 2 0virginica 0 4也就是完全完成了分类任务。
我们来看看鸢尾花后两类的分类versicolor和virginica的分类，我们将数据的散点图描绘如下：(我们把第一类“setosa“看做”versicolor“)不难发现这时无论怎么画一条线都无法将数据分开了，那么这么办呢?我们一个自然的办法就是允许分类有一部分的错误，但是错误不能无限的大。
我们使用一个松弛项来分类数据。
最优化问题转变为：当我们确定好松弛项C后，就可以得到分类：我们还是先来看看分类的效果：(C=10)训练集 versicolor virginicaversicolor 93 2virginica 3 46测试集 versicolor virginicaversicolor 4 2virginica 0 0虽然分类中有一些错误，但是大部分还是分开了的，也就是说还是不错的，至少完成了分类这个任务。
我们再来看看一个更麻烦的例子：假设数据是这样的：这时再用直线作为划分依据就十分的蹩脚了，我们这时需要引入核的方法来解决这个问题。
在上图中，我们一眼就能看出用一个S型去做分类就可以把数据成功分类了(当然是在允许一点点错误的情况下)，但是计算机能识别的只有分类器的分类结果是-1还是1，这时，我们需要将数据做出某种形式的转换，使得原来不可用直线剖分的变得可分，易分。
也就是需要找到一个从一个特征空间到另一个特征空间的映射。
我们常用的映射有：线性核:u'*v多项式核:(gamma*u'*v+ coef0)^degree高斯核:exp(-gamma*|u-v|^2)Sigmoid核:tanh(gamma*u'*v + coef0)我们这里使用各种常见的核来看看分类效果：从图中我们可以看到正态核的效果是最好的,用数据说话，我们来看看分类错误率与折10交叉验证的结果(报告平均分类正确率)：我们可以看到，无论从存储数据量的多少(支持向量个数)还是分类精确度来看，高斯核都是最优的。
所以一般情况，特别是在大样本情况下，优先使用高斯核，至少可以得到一个不太坏的结果(在完全线性可分下，线性函数的支持向量个数还是少一些的)。
三、libSVM的R接口有许多介绍SVM的书都有类似的表述“由于理解支持向量机需要掌握一些理论知识，而这对读者来说有一定的难度，建议直接下载LIBSVM使用。
”确实，如果不是为了训练一下编程能力，我们没有必要自己用前面提到的做法自己实现一个效率不太高的SVM。
R的函数包e1071提供了libSVM的接口，使用e1071的函数SVM()可以得到libSVM相同的结果，write.svm()更是可以把R训练得到的结果写为标准的libSVM格式供其他环境下的libSVM使用。
在介绍R中函数的用法时，我们先简要介绍一下SVM的类型，以便我们更好地理解各个参数的设置。
对于线性不可分时，加入松弛项，折衷考虑最小错分样本和最大分类间隔。
增加了算法的容错性，允许训练集不完全分类，以防出现过拟合。
加入的办法有以下3类，写成最优化问题形式总结如上图：上图中e为所有元素都为1的列向量，Qij=yiyjK(xi; xj), K(xi; xj) =phi(xi) phi (xj), phi(.)为核函数，K(. ;.)表示对应元素核函数的内积。
现在我们来看看svm()函数的用法。
## S3 method for class 'formula'svm(formula, data = NULL, ..., subset,na.action =na.omit, scale = TRUE)## Default S3 method:svm(x, y = NULL, scale = TRUE, type = NULL,kernel ="radial", degree = 3, gamma = if(is.vector(x)) 1 else 1 / ncol(x),coef0 = 0, cost = 1, nu = 0.5,class.weights = NULL, cachesize = 40,tolerance = 0.001, epsilon = 0.1,shrinking = TRUE, cross = 0, probability =FALSE, fitted = TRUE, seed = 1L,..., subset, na.action = na.omit)主要参数说明：Formula：分类模型形式，在第二个表达式中使用的的x，y可以理解为y~x。
Data：数据集Subset：可以指定数据集的一部分作为训练集Na.action：缺失值处理，默认为删除数据条目Scale：将数据标准化，中心化，使其均值为0，方差为1.默认自动执行。
Type：SVM的形式，使用可参见上面的SVMformulation，type的选项有：C-classification，nu-classification，one-classification (for novelty detection)，eps-regression，nu-regression。
后面两者为利用SVM做回归时用到的，这里暂不介绍。
默认为C分类器，使用nu分类器会使决策边界更光滑一些，单一分类适用于所有的训练数据提取自同一个类里，然后SVM建立了一个分界线以分割该类在特征空间中所占区域和其它类在特征空间中所占区域。
Kernel：在非线性可分时，我们引入核函数来做非线性可分，R提供的核介绍如下：线性核:u'*v多项式核:(gamma*u'*v + coef0)^degree高斯核:exp(-gamma*|u-v|^2)Sigmoid核:tanh(gamma*u'*v + coef0)默认为高斯核(RBF)，libSVM的作者对于核的选择有如下建议：Ingeneral we suggest you to try the RBF kernel first. A recent result by Keerthiand Lin shows that if RBF is used with model selection, then there is no need to consider the linear kernel. The kernel matrix using sigmoid may not be positive definite and in general it's accuracy is not better than RBF. (see thepaper by Lin and Lin. Polynomial kernels are ok but if a high degree is used,numerical difficulties tend to happen (thinking about dth power of (<1) goes to 0 and (>1) goes to infinity).顺带说一句，在kernlab包中，可以自定义核函数。