SVM讲解
Why this tutorial is here
我一直觉得SVM 是个很有趣的东西，不过也一直没办法(mostly 冲
堂) 的Data mining 跟SVM 的课；后来看了一些
网络上的文件跟听kcwu 讲了一下就想整理一下，
算是对于并不需要知道完整SVM 理论的人提供使用
原始libsvm 的README 跟FAQ 也是很好的文件，不过你可能要先对svm 跟流程有点了解才看得懂(我在看时有这样的感觉)；这篇入门就是为了从零开始的人而写的。
后来还有一些人提供意见，所以在此要感谢：
kcwu, biboshen, puffer, somi
不过请记得底下可能有些说法不一定对，但是对于只是想用SVM 的人来说我觉得这样说明会比较易懂。
这篇入门原则上是给会写基本程序的人看的，也是给我自己一个备忘, 不用太多数学底子，也不用对SVM 有任何先备知识。
还看不懂的话有三个情形, 一是我讲的不够清楚, 二是你的常识不足, 三是你是小白^^;
我自己是以完全不懂的角度开始的，这篇入门也有不少一样不懂SVM 的人看过、而且看完多半都有一定程度的理解，所以假设情况
一不会发生，那如果不懂一定是后两个情况:P 也所以, 有问题别问我。
SVM: What is it and what can it do for me?
简而言之它是个起源跟类神经网络有点像的东西，不过现今最常拿来就是做分类(classification)。也就
是说，如果我有一堆已经分好类的东西（可是分类的依据是未知的！），那当收到新的东西时，SVM 可以预测(predict) 新的数据要分到哪一堆去。
听起来是很神奇的事（如果你觉得不神奇，请重想一想这句话代表什么：分类的依据是未知的！，还是不神奇的话就请你写个程序解解看这个问题），也很像要AI 之类的高等技巧... 不过SVM 基于统计学习理论可以在合理的时间内漂亮的解决这个问题。
以图形化的例子来说明(by SVMToy), 像假定我在空间中标了一堆用
颜色分类的点, 点的颜色就是他的类别, 位置就是他的数据, 那SVM 就可以找出区隔这些点的方程式, 依此就可以分出一区区的区域; 拿到新的点(数据) 时, 只要对照该位置在哪一区就可以(predict) 找出
他应该是哪一颜色(类别)了:
当然SVM 不是真的只有画图分区那么简单, 不过看上面的例子应该可以了解SVM 大概在作什么.
要对SVM 再多懂一点点，可以参考cjlin 在data mining 课的
底下我试着在不用看那个slide 的情况解释及使用libsvm。
所以, 我们可以把SVM 当个黑盒子, 数据丢进去让他处理然后我们再来用就好了.
How do I get SVM?
.
Download libsvm
下载处:
.zip 跟.tar.gz 基本上是一样的, 只是看你的OS; 习惯上Windows 用.zip 比较方便(因为有WinZIP, 不过我都用WinRAR), UNIX 则是用.tar.gz
Build libsvm
解开来后, 假定是UNIX 系统, 直接打make 就可以了; 编不出来的话请详读说明和运用常识. 因为这是tutorial, 所以我不花时间细谈, 而且会编不出来的情形真是少之又少, 通常一定是你的系统有问题或你太笨了. 其他的子目录可以不管, 只要svm-train, svm-scale,
svm-predict三个执行档有编出来就可以了.
Windows 的用户要自己重编当然也是可以, 不过已经有编好的binary 在里面了: 请检查windows 子目录, 应该会有svmtrain.exe, svmscale.exe, svmpredict.exe, svmtoy.exe .
Using SVM
libsvm 有很多种用法, 这篇tutorial 只打算讲简单的部分.
The programs
解释一下几个主要执行档的作用: (UNIX/Windows 下檔名稍有不同, 请用常识理解我在讲哪个)
svmtrain
Train (训练) data. 跑SVM 被戏称为"开火车" 也是由于这个
程序名而来. train 会接受特定格式的输入, 产生一个"Model"
檔. 这个model 你可以想象成SVM 的内部数据, 因为
predict 要model 才能predict, 不能直接吃原始数据. 想想也
很合理, 假定train 本身是很耗时的动作, 而train 好可以以
某种形式存起内部数据, 那下次要predict 时直接把那些内部
数据load 进来就快多了.
svmpredict
依照已经train 好的model, 再加上给定的输入(新值), 输出
predict (预测) 新值所对应的类别(class).
svmscale
Rescale data. 因为原始数据可能范围过大或过小, svmscale 可
以先将数据重新scale (缩放) 到适当范围.
File Format
文件格式要先交代一下. 你可以参考libsvm 里面附的"heart_scale":
[label] [index1]:[value1] [index2]:[value2] ...
[label] [index1]:[value1] [index2]:[value2] ...
.
.
一行一笔资料，如
+1 1:0.708 2:1 3:1 4:-0.320 5:-0.105 6:-1
label
或说是class, 就是你要分类的种类，通常是一些整数。
index
是有顺序的索引，通常是放连续的整数。
value
就是用来train 的数据，通常是一堆实数。
每一行都是如上的结构, 意思就是: 我有一排资料, 分别是value1, value2, .... valueN, (而且它们的顺序已由indexN 分别指定)，这排数据的分类结果就是label。
或许你会不太懂，为什么会是value1,value2,.... 这样一排呢？这牵涉到SVM 的原理。你可以这样想（我没说这是正确的），它的名字就叫Support "Vector" Machine，所以输入的training data 是"Vector"(向量), 也就是一排的x1, x2, x3, ... 这些值就是valueN，而x[n] 的n 就是由indexN 指定。这些东西又称为"attribute"。
真实的情况是，大部份时候我们给定的数据可能有很多"特征(feature)" 或说"属性(attribute)"，所以输入会是一组的。举例来说，
来说，我们不是每个点都有X 跟Y 的坐标吗？所以它就有两种attribute。假定我有两个点：(0,3) 跟(5,8) 分别在label(class) 1 跟2 ，那就会写成1 1:0 2:3
2 1:5 2:8
同理，空间中的三维坐标就等于有三组attribute。
这种文件格式最大的好处就是可以使用sparse matrix，或说有些data 的attribute 可以不存在。
To Run libsvm
来解释一下libsvm 的程序怎么用。你可以先拿libsvm 附的
heart_scale 来做输入，底下也以它为例：
看到这里你应该也了解，使用SVM 的流程大概就是：
1.有必要时需svmscale)
2.用svmtrain 来train 成model
3.对新的输入，使用svmpredict 来predict 新数据的class
svmtrain
svmtrain 的语法大致就是:
svmtrain [options] training_set_file [model_file]
training_set_file 就是之前的格式，而model_file 如果不给就会叫[training_set_file].model。options 可以先不要给。
下列程序执行结果会产生heart_scale.model 檔：(屏幕输出不是很重要，没有错误就好了)
./svm-train heart_scale
optimization finished, #iter = 219
nu = 0.431030
obj = -100.877286, rho = 0.424632
nSV = 132, nBSV = 107
Total nSV = 132
svmpredict
svmpredict 的语法是:
svmpredict test_file model_file output_file
test_file 就是我们要predict 的数据。它的格式跟svmtrain 的输入，也就是training_set_file 是一样的！ predict 完会顺便拿predict 出来的值跟test_file 里面写的值去做比对，这代表：test_file 写的label 是真正的分类结果，拿来跟我们predict 的结果比对就可以知道predict 有没有猜对了。
也所以，我们可以拿原training set 当做test_file再丢给svmpredict 去predict (因为格式一样)，看看正确率有多高，方便后面调参数。
其它参数就很好理解了：model_file就是svmtrain 出来的档
案，output_file是存输出结果的档案。
输出的格式很简单，每行一个label，对应到你的test_file 里面的各行。
下列程序执行结果会产生heart_scale.out：
./svm-predict heart_scale heart_scale.model heart_scale.out Accuracy = 86.6667% (234/270) (classification)
Mean squared error = 0.533333 (regression)
Squared correlation coefficient = 0.532639(regression)
As you can see，我们把原输入丢回去predict，第一行的Accuracy 就是预测的正确率了。如果输入没有label 的话，那就是真的predict 了。
看到这里，基本上你应该已经可以利用svm 来作事了：你只要写程序输出正确格式的数据，交给svm 去train，后来再predict 并读入结果即可。
Advanced Topics
后面可以说是一些稍微进阶的部份，我可能不会讲的很清楚，因为我的重点是想表达一些观念和解释一些你看相关文件时很容易碰到的名词。
Scaling
svm-scale 目前不太好用，不过它有其必要性。因为适当的scale有助于参数的选择(后述)还有解svm的速度。
svmscale 会对每个attribute 做scale。范围用-l, -u 指定，通常是[0,1]或是[-1,1]。输出在stdout。
另外要注意的(常常会忘记)是testing data 和training data要一起scale。
而svm-scale 最难用的地方就是没办法指定testing data/training data(不同档案) 然后一起scale。
Arguments
前面提到，在train 的时候可以下一些参数。(直接执行svm-train 不指定输入档与参数会列出所有参数及语法说明) 这些参数对应到原始SVM 公式的一些参数，所以会影响predict 的正确与否。
举例来说，改个c=10:
./svm-train -c 10 heart_scale
再来predict ，正确率马上变成92.2% (249/270)。
Cross Validation
一般而言，SVM 使用的方式(在决定参数时)常是这样：
1.先有已分好类的一堆资料
2.随机数拆成好几组training set
3.用某组参数去train 并predict 别组看正确率
4.正确率不够的话，换参数再重复train/predict
等找到一组不错的参数后，就拿这组参数来建model 并用来做最后对未知数据的predict。这整个过程叫cross validation ，也就是交叉比对。
在我们找参数的过程中，可以利用svmtrain 的内建cross validation 功能来帮忙：
-v n: n-fold cross validation
n 就是要拆成几组，像n=3 就会拆成三组，然后先拿1跟2来train model 并predict 3 以得到正确率；再来拿2跟3 train 并predict 1，最后1,3 train 并predict 2。其它以此类推。
如果没有交叉比对的话，很容易找到只在特定输入时好的参数。像前面我们c=10 得到92.2%，不过拿-v 5 来看看：./svm-train -v 5 -c 10 heart_scale
...
Cross Validation Accuracy = 80.3704%平均之后才只有80.37%，比一开始的86 还差。
What arguments rules?
通常而言，比较重要的参数是gamma (-g) 跟cost (-c) 。而cross validation (-v) 的参数常用5。
cost 默认值是1, gamma 默认值是1/k ，k 等于输入数据笔数。那我们怎么知道要用多少来当参数呢？
用试的
是的，别怀疑，就是Try 参数找比较好的值。
Try 参数的过程常用exponential 指数成长的方式来增加与减少参数的数值，也就是2^n (2 的n 次方)。
因为有两组参数，所以等于要try n*n=n^2 次。这个过程是不连续的成长，所以可以想成我们在一个X-Y 平面上指定的范围内找一群
格子点(grid，如果你不太明白，想成方格纸或我们把平面上所有整数交点都打个点，就是那样)，每个格子点的X 跟Y 经过换算(如
2^x, 2^y) 就拿去当cost 跟gamma 的值来cross validation。
所以现在你应该懂得libsvm 的python 子目录下面有个grid.py
是做啥的了：它把上面的过程自动化，在你给定的范围内呼叫
svm-train 去try 所有的参数值。python 是一种语言，在这里我不做介绍，因为我会了:P (just a joke，真正原因是-- 这是libsvm 的tutorial)。grid.py 还会把结果plot 出来，方便你寻找参数。libsvm 有很多跟python 结合的部份，由此可见python 是强大方便的工具。很多神奇的功能，像自动登入多台机器去平行跑grid等等都是
python 帮忙的。不过SVM 本身可以完全不需要python，只是会比较方便。
跑grid (基本上用grid.py 跑当然是最方便，不过如果你不懂python 而且觉得很难搞，那你要自己产生参数来跑也是可以的) 通常好的范围是[c,g]=[2^-10,2^10]*[2^-10,2^10]另外其实grid 用
[-8,8] 也很够了。
Regression
另一个值得一提的是regression。
简单来说，前面都是拿SVM 来做分类(classification), 所以label 的值都是discrete data、或说已知的固定值。而regression 则是求continuous 的值、或说未知的值。你也可以说，一般是binary classification, 而regression是可以预测一个实数。
比如说我知道股市指数受到某些因素影响, 然后我想预测股市.. 股市的指数就是我们的label, 那些因素量化以后变成attributes。以后搜集那些attributes 给SVM 它就会预测出指数(可能是没出现过的数字)，这就要用regression。那乐透开奖的号码呢？因为都是固定已知的数字，很明显我们应该用一般SVM 的classification 来predict。(注：这是真实的例子-- llwang 就写过这样的东西)
所以说label 也要scale, 用svm-scale -y lower upper
但是比较糟糕的情况是grid.py 不支持regression ，而且cross validation 对regression 也常常不是很有效。
总而言之，regression 是非常有趣的东西，不过也是比较进阶的用法。在这里我们不细谈了，有兴趣的人请再参考SVM 与libsvm 的其它文件。
Epilogue
到此我已经简单的说明了libsvm 的使用方式，更完整的用法请参考
libsvm 的说明跟SVM 的相关文件，或是去上cjlin 的课。
对于SVM 的新手来说，SVM for dummies 就是很方便观察libsvm 流程的东西。
(完整word版)支持向量机(SVM)原理及应用概述分析
支持向量机（SVM ）原理及应用 一、SVM 的产生与发展 自1995年Vapnik (瓦普尼克)在统计学习理论的基础上提出SVM 作为模式识别的新方法之后，SVM 一直倍受关注。同年，Vapnik 和Cortes 提出软间隔(soft margin)SVM ，通过引进松弛变量i ξ度量数据i x 的误分类(分类出现错误时i ξ大于0)，同时在目标函数中增加一个分量用来惩罚非零松弛变量(即代价函数)，SVM 的寻优过程即是大的分隔间距和小的误差补偿之间的平衡过程；1996年，Vapnik 等人又提出支持向量回归 (Support Vector Regression ，SVR)的方法用于解决拟合问题。SVR 同SVM 的出发点都是寻找最优超平面(注：一维空间为点；二维空间为线；三维空间为面；高维空间为超平面。)，但SVR 的目的不是找到两种数据的分割平面，而是找到能准确预测数据分布的平面，两者最终都转换为最优化问题的求解；1998年，Weston 等人根据SVM 原理提出了用于解决多类分类的SVM 方法(Multi-Class Support Vector Machines ，Multi-SVM)，通过将多类分类转化成二类分类，将SVM 应用于多分类问题的判断：此外，在SVM 算法的基本框架下，研究者针对不同的方面提出了很多相关的改进算法。例如，Suykens 提出的最小二乘支持向量机 (Least Square Support Vector Machine ，LS —SVM)算法，Joachims 等人提出的SVM-1ight ，张学工提出的中心支持向量机 (Central Support Vector Machine ，CSVM)，Scholkoph 和Smola 基于二次规划提出的v-SVM 等。此后，台湾大学林智仁(Lin Chih-Jen)教授等对SVM 的典型应用进行总结，并设计开发出较为完善的SVM 工具包，也就是LIBSVM(A Library for Support Vector Machines)。LIBSVM 是一个通用的SVM 软件包，可以解决分类、回归以及分布估计等问题。 二、支持向量机原理 SVM 方法是20世纪90年代初Vapnik 等人根据统计学习理论提出的一种新的机器学习方法，它以结构风险最小化原则为理论基础，通过适当地选择函数子集及该子集中的判别函数，使学习机器的实际风险达到最小，保证了通过有限训练样本得到的小误差分类器，对独立测试集的测试误差仍然较小。 支持向量机的基本思想：首先，在线性可分情况下，在原空间寻找两类样本的最优分类超平面。在线性不可分的情况下，加入了松弛变量进行分析，通过使用非线性映射将低维输
sklearn SVM算法库小结
scikit-learn 支持向量机算法库使用小结 之前通过一个系列对支持向量机(以下简称SVM)算法的原理做了一个总结，本文从实践 的角度对scikit-learn SVM算法库的使用做一个小结。scikit-learn SVM算法库封装了libsvm 和liblinear 的实现，仅仅重写了算法了接口部分。 1. scikit-learn SVM算法库使用概述 scikit-learn中SVM的算法库分为两类，一类是分类的算法库，包括SVC， NuSVC，和LinearSVC 3个类。另一类是回归算法库，包括SVR， NuSVR，和LinearSVR 3个类。相关的类都包 裹在sklearn.svm模块之中。 对于SVC， NuSVC，和LinearSVC 3个分类的类，SVC和 NuSVC差不多，区别仅仅在于对 损失的度量方式不同，而LinearSVC从名字就可以看出，他是线性分类，也就是不支持各种低维 到高维的核函数，仅仅支持线性核函数，对线性不可分的数据不能使用。 同样的，对于SVR， NuSVR，和LinearSVR 3个回归的类， SVR和NuSVR差不多，区别也仅仅在于对损失的度量方式不同。LinearSVR是线性回归，只能使用线性核函数。 我们使用这些类的时候，如果有经验知道数据是线性可以拟合的，那么使用LinearSVC 去分类或者LinearSVR去回归，它们不需要我们去慢慢的调参去选择各种核函数以及对应参数， 速度也快。如果我们对数据分布没有什么经验，一般使用SVC去分类或者SVR去回归，这就需要 我们选择核函数以及对核函数调参了。 什么特殊场景需要使用NuSVC分类和 NuSVR 回归呢？如果我们对训练集训练的错误率或者说支持向量的百分比有要求的时候，可以选择NuSVC分类和 NuSVR 。它们有一个参数来控制这个百分比。 这些类的详细使用方法我们在下面再详细讲述。 2. 回顾SVM分类算法和回归算法 我们先简要回顾下SVM分类算法和回归算法，因为这里面有些参数对应于算法库的参数，如果不先复习下，下面对参数的讲述可能会有些难以理解。 对于SVM分类算法，其原始形式是： min12||w||22+C∑i=1mξi min12||w||22+C∑i=1mξi
支持向量机(SVM)算法推导及其分类的算法实现
支持向量机算法推导及其分类的算法实现 摘要：本文从线性分类问题开始逐步的叙述支持向量机思想的形成，并提供相应的推导过程。简述核函数的概念，以及kernel在SVM算法中的核心地位。介绍松弛变量引入的SVM算法原因，提出软间隔线性分类法。概括SVM分别在一对一和一对多分类问题中应用。基于SVM在一对多问题中的不足，提出SVM 的改进版本DAG SVM。 Abstract：This article begins with a linear classification problem, Gradually discuss formation of SVM, and their derivation. Description the concept of kernel function, and the core position in SVM algorithm. Describes the reasons for the introduction of slack variables, and propose soft-margin linear classification. Summary the application of SVM in one-to-one and one-to-many linear classification. Based on SVM shortage in one-to-many problems, an improved version which called DAG SVM was put forward. 关键字：SVM、线性分类、核函数、松弛变量、DAG SVM 1. SVM的简介 支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度，Accuracy）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折衷，以期获得最好的推广能力。 对于SVM的基本特点，小样本，并不是样本的绝对数量少，而是与问题的复杂度比起来，SVM算法要求的样本数是相对比较少的。非线性，是指SVM擅长处理样本数据线性不可分的情况，主要通过松弛变量和核函数实现，是SVM 的精髓。高维模式识别是指样本维数很高，通过SVM建立的分类器却很简洁，只包含落在边界上的支持向量。
支持向量机的介绍讲解
支持向量机(SVM)介绍 目标 本文档尝试解答如下问题: ?如何使用OpenCV函数CvSVM::train训练一个SVM分类器，以及用CvSVM::predict测试训练结果。 支持向量机(SVM) 是一个类分类器，正式的定义是一个能够将不同类样本在样本空间分隔的超平面。换句话说，给定一些标记(label)好的训练样本(监督式学习), SVM算法输出一个最优化的分隔超平面。 如何来界定一个超平面是不是最优的呢? 考虑如下问题： 假设给定一些分属于两类的2维点，这些点可以通过直线分割，我们要找到一条最优的分割线. Note 在这个示例中，我们考虑卡迪尔平面内的点与线，而不是高维的向量与超平面。 这一简化是为了让我们以更加直觉的方式建立起对SVM概念的理解，但是其基本的原理同样适用于更高维的样本分类情形。
在上面的图中，你可以直觉的观察到有多种可能的直线可以将样本分开。那是不是某条直线比其他的更加合适呢? 我们可以凭直觉来定义一条评价直线好坏的标准: 距离样本太近的直线不是最优的，因为这样的直线对噪声敏感度高，泛化性较差。因此我们的目标是找到一条直线，离所有点的距离最远。 由此，SVM算法的实质是找出一个能够将某个值最大化的超平面，这个值就是超平面离所有训练样本的最小距离。这个最小距离用SVM术语来说叫做间隔(margin)。概括一下，最优分割超平面最大化训练数据的间隔。 下面的公式定义了超平面的表达式: 叫做权重向量，叫做偏置(bias)。 See also 关于超平面的更加详细的说明可以参考T. Hastie, R. Tibshirani 和J. H. Friedman的书籍Elements of Statistical Learning，section 4.5 (Seperating Hyperplanes)。
支持向量机SVM分类算法
支持向量机SVM分类算法 SVM的简介 支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中[10]。 支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度，Accuracy）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折衷，以期获得最好的推广能力[14]（或称泛化能力）。 以上是经常被有关SVM 的学术文献引用的介绍，我来逐一分解并解释一下。 Vapnik是统计机器学习的大牛，这想必都不用说，他出版的《Statistical Learning Theory》是一本完整阐述统计机器学习思想的名著。在该书中详细的论证了统计机器学习之所以区别于传统机器学习的本质，就在于统计机器学习能够精确的给出学习效果，能够解答需要的样本数等等一系列问题。与统计机器学习的精密思维相比，传统的机器学习基本上属于摸着石头过河，用传统的机器学习方法构造分类系统完全成了一种技巧，一个人做的结果可能很好，另一个人差不多的方法做出来却很差，缺乏指导和原则。所谓VC维是对函数类的一种度量，可以简单的理解为问题的复杂程度，VC维越高，一个问题就越复杂。正是因为SVM关注的是VC维，后面我们可以看到，SVM解决问题的时候，和样本的维数是无关的（甚至样本是上万维的都可以，这使得SVM很适合用来解决文本分类的问题，当然，有这样的能力也因为引入了核函数）。 结构风险最小听上去文绉绉，其实说的也无非是下面这回事。 机器学习本质上就是一种对问题真实模型的逼近（我们选择一个我们认为比较好的近似模型，这个近似模型就叫做一个假设），但毫无疑问，真实模型一定是不知道的（如果知道了，我们干吗还要机器学习？直接用真实模型解决问题不就可以了？对吧，哈哈）既然真实模型不知道，那么我们选择的假设与问题真实解之间究竟有多大差距，我们就没法得知。比如说我们认为宇宙诞生于150亿年前的一场大爆炸，这个假设能够描述很多我们观察到的现象，但它与真实的宇宙模型之间还相差多少？谁也说不清，因为我们压根就不知道真实的宇宙模型到底是什么。 这个与问题真实解之间的误差，就叫做风险（更严格的说，误差的累积叫做风险）。我们选择了一个假设之后（更直观点说，我们得到了一个分类器以后），真实误差无从得知，但我们可以用某些可以掌握的量来逼近它。最直观的想法就是使用分类器在样本数据上的分类的结果与真实结果（因为样本是已经标注过的数据，是准确的数据）之间的差值来表示。这个差值叫做经验风险Remp(w)。以前的机器学习方法都把经验风险最小化作为努力的目标，但后来发现很多分类函数能够在样本集上轻易达到100%的正确率，在真实分类时却一塌糊涂（即所谓的推广能力差，或泛化能力差）。此时的情况便是选择了一个足够复杂的分类函数（它的VC维很高），能够精确的记住每一个样本，但对样本之外的数据一律分类错误。回头看看经验风险最小化原则我们就会发现，此原则适用的大前提是经验风险要确实能够逼近真实风险才行（行话叫一致），但实际上能逼近么？答案是不能，因为样本数相对于现实世界要分类的文本数来说简直九牛
支持向量机算法介绍
支持向量机算法介绍 众所周知，统计模式识别、线性或非线性回归以及人工神经网络等方法是数据挖掘的有效工具，已随着计算机硬件和软件技术的发展得到了广泛的应用。 但多年来我们也受制于一个难题：传统的模式识别或人工神经网络方法都要求有较多的训练样本，而许多实际课题中已知样本较少。对于小样本集，训练结果最好的模型不一定是预报能力最好的模型。因此，如何从小样本集出发，得到预报（推广）能力较好的模型，遂成为模式识别研究领域内的一个难点，即所谓“小样本难题”。支持向量机（support vector machine ，简称SVM ）算法已得到国际数据挖掘学术界的重视，并在语音识别、文字识别、药物设计、组合化学、时间序列预测等研究领域得到成功应用。 1、线性可分情形 SVM 算法是从线性可分情况下的最优分类面（Optimal Hyperplane ）提出的。所谓最优分类面就是要求分类面不但能将两类样本点无错误地分开，而且要使两类的分类空隙最大。 设线性可分样本集为),(i i y x ，d R x n i ∈=,,,1 ，}1,1{-+∈y ，d 维空间中线性判别函数的一般形式为 ()b x w x g T +=， 分类面方程是 0=+b x w T ， 我们将判别函数进行归一化，使两类所有样本都满足()1≥x g ，此时离分类面最近的 样本的 ()1=x g ，而要求分类面对所有样本都能正确分类，就是要求它满足 n i b x w y i T i ,,2,1,01)( =≥-+。 （4）
式（4）中使等号成立的那些样本叫做支持向量（Support Vectors ）。两类样本的分类空隙（Margin ）的间隔大小： Margin =w /2(5) 因此，最优分类面问题可以表示成如下的约束优化问题，即在条件（4）的约束下，求函数 ())(2 1221w w w w T == φ(6) 的最小值。为此，可以定义如下的Lagrange 函数： ]1)([21),,(1 -+-=∑=b x w y a w w a b w L i T i n i i T (7) 其中，0≥i a 为Lagrange 系数，我们的问题是对w 和b 求Lagrange 函数的最小值。把式（7）分别对w 、b 、i a 求偏微分并令它们等于0，得： i i n i i x y a w w L ∑==?=??10 001 =?=??∑=i n i i y a b L 0]1)([0=-+?=??b x w y a a L i T i i i 以上三式加上原约束条件可以把原问题转化为如下凸二次规划的对偶问题： () ???? ? ???? ==≥∑∑∑∑====-0,,1,0.m a x 1111 21i n i i i j T i j i j n i n j i n i i y a n i a t s x x y y a a a (8) 这是一个不等式约束下二次函数机制问题，存在唯一最优解。若*i a 为最优解，则 ∑== n i i i i x y a w 1* * (9) *i a 不为零的样本即为支持向量，因此，最优分类面的权系数向量是支持向量的线性组合。
SVM算法推导及其分类的算法实现
SVM算法推导及其分类的算法实现 摘要：本文从线性分类问题开始逐步的叙述支持向量机思想的形成，并提供相应的推导过程。简述核函数的概念，以及kernel在SVM算法中的核心地位。介绍松弛变量引入的SVM算法原因，提出软间隔线性分类法。概括SVM分别在一对一和一对多分类问题中应用。基于SVM在一对多问题中的不足，提出SVM 的改进版本DAG SVM。 Abstract：This article begins with a linear classification problem, Gradually discuss formation of SVM, and their derivation. Description the concept of kernel function, and the core position in SVM algorithm. Describes the reasons for the introduction of slack variables, and propose soft-margin linear classification. Summary the application of SVM in one-to-one and one-to-many linear classification. Based on SVM shortage in one-to-many problems, an improved version which called DAG SVM was put forward. 关键字：SVM、线性分类、核函数、松弛变量、DAG SVM 1. SVM的简介 支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度，Accuracy）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折衷，以期获得最好的推广能力。 对于SVM的基本特点，小样本，并不是样本的绝对数量少，而是与问题的复杂度比起来，SVM算法要求的样本数是相对比较少的。非线性，是指SVM擅长处理样本数据线性不可分的情况，主要通过松弛变量和核函数实现，是SVM 的精髓。高维模式识别是指样本维数很高，通过SVM建立的分类器却很简洁，只包含落在边界上的支持向量。
20.ENVI4.3 支持向量机分类原理、操作及实例分析
ENVI4.3 支持向量机分类原理、操作及实例分析 一、支持向量机算法介绍 1.支持向量机算法的理论背景 支持向量机分类（Support Vector Machine或SVM）是一种建立在统计学习理论（Statistical Learning Theory或SLT）基础上的机器学习方法。 与传统统计学相比，统计学习理论（SLT）是一种专门研究小样本情况下及其学习规律的理论。该理论是建立在一套较坚实的理论基础之上的，为解决有限样本学习问题提供了一个统一的框架。它能将许多现有方法纳入其中，有望帮助解决许多原来难以解决的问题，如神经网络结构选择问题、局部极小点问题等；同时，在这一理论基础上发展了一种新的通用学习方法——支持向量机（SVM），已初步表现出很多优于已有方法的性能。一些学者认为，SLT和SVM正在成为继神经网络研究之后新的研究热点，并将推动机器学习理论和技术的重大发展。 支持向量机方法是建立在统计学习理论的VC维（VC Dimension）理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折衷，以期获得最好的推广能力。 支持向量机的几个主要优点有： （1）它是专门针对有限样本情况的，其目标是得到现有信息下的最优解而不仅仅是样本数趋于无穷大时的最优值； （2）算法最终将转化成为一个二次型寻优问题，从理论上说，得到的将是全局最优点，解决了在神经网络方法中无法避免的局部极值问题； （3）算法将实际问题通过非线性变换转换到高维的特征空间(Feature Space)，在高维空间中构造线性判别函数来实现原空间中的非线性判别函数，特殊性质能保证机器有较 好的推广能力，同时它巧妙地解决了维数问题，其算法复杂度与样本维数无关； 2.支持向量机算法简介 通过学习算法，SVM可以自动寻找那些对分类有较大区分能力的支持向量，由此构造出分类器，可以将类与类之间的间隔最大化，因而有较好的推广性和较高的分类准确率。 最优分类面（超平面）和支持向量
SVM算法实验实验报告
svm分类算法 一、数据源说明 1、数据源说远和理解： ticeval2000.txt: 这个数据集是需要预测（ 4000个客户记录）的数据集。它和 ticdata2000.txt它具有相同的格式，只是没有最后一列的目标记录。我们只希望返回预测 目标的列表集，所有数据集都用制表符进行分隔。共有4003（自己加了三条数据），根据要 求，用来做预测。 tictgts2000.txt：最终的目标评估数据。这是一个实际情况下的目标数据，将与我们预 测的结果进行校验。我们的预测结果将放在result.txt文件中。 数据集理解：本实验任务可以理解为分类问题，即分为2类，也就是数据源的第86列， 可以分为0、1两类。我们首先需要对ticdata2000.txt进行训练，生成model，再根据model 进行预测。 2、数据清理 代码中需要对数据集进行缩放的目的在于： a、避免一些特征值范围过大而另一些特征值范围过小； b、避免在训练时为了计算核函数而计算内积的时候引起数值计算的困难。因此，通常将 数据缩放到 [ -1,1] 或者是 [0,1] 之间。 二、数据挖掘的算法说明 1、 svm算法说明 2、实现过程 在源程序里面，主要由以下2个函数来实现： (1) struct svm_model *svm_train(const struct svm_problem *prob, const struct svm_parameter *param); 该函数用来做训练，参数prob，是svm_problem类型数据，具体结构定义如下： struct svm_problem //存储本次参加运算的所有样本(数据集)，及其所属类别。 { int n; //记录样本总数 double *y; //指向样本所属类别的数组 struct svm_node **x; //指向一个存储内容为指针的数组 }; 其中svm_node的结构体定义如下： struct svm_node //用来存储输入空间中的单个特征 { int index; //输入空间序号，假设输入空间数为m double value; //该输入空间的值 }; 所以，prob也可以说是问题的指针，它指向样本数据的类别和输入向量，在内存中的具 体结构图如下： 图1.1libsvm训练时，样本数据在内存中的存放结构 只需在内存中申请n*(m+1)*sizeof(struct svm_node)大小的空间，并在里面填入每个 样本的每个输入空间的值，即可在程序中完成prob参数的设置。参数param，是 svm_parameter数据结构，具体结构定义如下： struct svm_parameter // 训练参数 { int svm_type; //svm类型，
SVM的常用多分类算法概述
SVM的常用多分类算法概述 摘要：SVM方法是建立在统计学习理论基础上的机器学习方法，具有相对优良的分类性能，是一种非线性分类器。最初SVM是用以解决两类分类问题，不能直接用于多类分类，当前已经有许多算法将SVM推广到多类分类问题，其中最常用两类：OAA和OAO算法，本文主要介绍这两类常用的多分类算法。 关键词：SVM；多分类；最优化 自从90年代初V. Vapnik提出经典的支持向量机理论（SVM），由于其完整的理论框架和在实际应用中取得的很多好的效果，在模式识别、函数逼近和概率密度估计领域受到了广泛的重视。SVM方法是建立在统计学习理论基础上的机器学习方法，具有相对优良的分类性能。SVM是一种非线性分类器。它的基本思想是将输入空间中的样本通过某种非线性函数关系映射到一个特征空间中，使两类样本在此特征空间中线性可分，并寻找样本在此特征空间中的最优线性区分平面。它的几个主要优点是可以解决小样本情况下的机器学习问题，提高泛化性能，解决高维问题、非线性问题，可以避免神经网络结构选择和局部极小点问题。 1. SVM方法 若样本集Q={（x i，y i）|i=1,……,L}∈R d*{-1,+1}是线性可分的。则存在分类超平面w T x+b=0,x∈R d对样本集Q中任一（x i，y i）都满足： 在空间R d中样本x=（x1，…, x d）r到分类超平面的距离d=|w T*x+b|/||w||，其中 ||w||= . 当存在x 使得w T x i+b=±1, 则图1中超平面的分类间隔 margin = 2/ ‖w ‖。 使分类间隔margin 最大的超平面即为最优分类超平面。寻找最优分类超平面的问题将转化为求如下一个二次规划问题: minΦ( w) =1/2‖w ‖ 满足约束条件： y i ( w T x i + b) ≥1 , i = 1 ,2 , ?, L 采用Lagrange 乘子转换为一个对偶问题,形式如下: 满足约束条件:
排序学习中的Ranking SVM算法研究
排序学习中的Ranking SVM算法研究 【摘要】本文详细分析了基于支持向量机的排序学习算法Ranking SVM，通过选取不同的惩罚参数在OHSUMED数据集进行实验，衡量了算法在评价准则MAP和NDCG@n下的性能。 【关键词】排序学习；排序支持向量机；算法 Researh of Ranking SVM Algorithm in Learning to Rank DING Wei-min （Weifang University，Weifang Shandong 261061，China） 【Abstract】The paper gives a detailed analysis about the algorithm of Ranking SVM.By experimenting with different penalty parameters on the data set of OHSUMED，the paper also gives the performance in the evaluation criteria of MAP and NDCG@n. 【Key words】Learning to rank；Ranking SVM；Algorithm 0 引言 目前，对于互联网上海量的资源，人们主要通过向搜索引擎提交查询请求获取所需要的信息。搜索引擎根据用户交互组件收到的请求对网页索引数据库检索并将结果交付排序组件进行排序处理，最终以网页排序列表的形式呈现给用户[1]。虽然网页排序列表集合仍十分巨大，实际上用户访问的网页数量却很少，如文献[2]通过分析用户点击数据的日志信息，得到用户点击网页排名的平均值基本在第六条记录左右。因此，如何将相关性强的网页排在列表的前面，而将相关性弱的网页排在后边是搜索引擎排序组件中排序算法需要解决的主要问题，本文在分析排序学习算法Ranking SVM基础上，通过在数据集OHSUMED进行实验，给出算法在评价准则MAP和NDCG@n下的性能。 1 排序学习与Ranking SVM算法[3，4] 排序学习的目的通过使用训练数据和机器学习技术自动创建排序模型。在排序学习中典型的设置是将特征向量和有序分类作为训练数据。通过在训练数据上进行学习得到排序模型，然应用到测试数据上。[5] Ranking SVM算法是通过在训练集构造样本有序数据对的方式将排序问题转化为应用支持向量机方法解决的二分类问题。具体描述为：针对训练集合构造有序数据对集合S={（x■■，x■■），z■}，x■■，x■■表示针对同一查询的返回文档，如果x■■，x■■组成顺序对，则z■值为+1表示。如果为逆序对，则z■值为
SVM通俗讲解
SVM(Support Vector Machine) 支持向量机相关理论介绍 基于数据的机器学习是现代智能技术中的重要方面，研究从观测数据（样本）出发寻找规律，利用这些规律对未来数据或无法观测的数据进行预测。迄今为止，关于机器学习还没有一种被共同接受的理论框架，关于其实现方法大致可以分为三种[3]： 第一种是经典的（参数）统计估计方法。包括模式识别、神经网络等在内，现有机器学习方法共同的重要理论基础之一是统计学。参数方法正是基于传统统计学的，在这种方法中，参数的相关形式是已知的，训练样本用来估计参数的值。这种方法有很大的局限性。 首先，它需要已知样本分布形式，这需要花费很大代价，还有，传统统计学研究的是样本数目趋于无穷大时的渐近理论，现有学习方法也多是基于此假设。但在实际问题中，样本数往往是有限的，因此一些理论上很优秀的学习方法实际中表现却可能不尽人意。 第二种方法是经验非线性方法，如人工神经网络（ANN）。这种方法利用已知样本建立非线性模型，克服了传统参数估计方法的困难。但是，这种方法缺乏一种统一的数学理论。与传统统计学相比，统计学习理论（Statistical Learning Theory或SLT）是一种专门研究小样本情况下机器学习规律的理论。该理论针对小样本统计问题建立了一套新的理论体系，在这种体系下的统计推理规则不仅考虑了对渐近性能的要求，而且追求在现有有限信息的条件下得到最优结果。V. Vapnik等人从六、七十年代开始致力于此方面研究，到九十年代中期，随着其理论的不断发展和成熟，也由于神经网络等学习方法在理论上缺乏实质性进展，统计学习理论开始受到越来越广泛的重视。 统计学习理论的一个核心概念就是VC维(VC Dimension)概念，它是描述函数集或学习机器的复杂性或者说是学习能力(Capacity of the machine)的一个重要指标，在此概念基础上发展出了一系列关于统计学习的一致性(Consistency)、收敛速度、推广性能(Generalization Performance)等的重要结论。 统计学习理论是建立在一套较坚实的理论基础之上的，为解决有限样本学习问题提供了一个统一的框架。它能将很多现有方法纳入其中，有望帮助解决许多原来难以解决的问题（比如神经网络结构选择问题、局部极小点问题等）； 同时，这一理论基础上发展了一种新的通用学习方法──支持向量机（Support Vector Machine或SVM），已初步表现出很多优于已有方法的性能。一些学者认为，SLT和SVM正在成为继神经网络研究之后新的研究热点，并将推动机器学习理论和技术有重大的发展。 支持向量机方法是建立在统计学习理论的VC维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性(即对特定训练样本的学习精度，Accuracy)和学习能力(即无错误地识别任意样本的能力)之间寻求最佳折衷，以期获得最好的推广能力(Generalizatin Ability)。支持向量机方法的几个主要优点
SVM中文介绍
基于统计学习理论的支持向量机算法研究 1 理论背景 基于数据的机器学习是现代智能技术中的重要方面，研究从观测数据（样本）出发寻找规律，利用这些规律对未来数据或无法观测的数据进行预测。迄今为止，关于机器学习还没有一种被共同接受的理论框架，关于其实现方法大致可以分为三种[3]： 第一种是经典的（参数）统计估计方法。包括模式识别、神经网络等在内，现有机器学习方法共同的重要理论基础之一是统计学。参数方法正是基于传统统计学的，在这种方法中，参数的相关形式是已知的，训练样本用来估计参数的值。这种方法有很大的局限性，首先，它需要已知样本分布形式，这需要花费很大代价，还有，传统统计学研究的是样本数目趋于无穷大时的渐近理论，现有学习方法也多是基于此假设。但在实际问题中，样本数往往是有限的，因此一些理论上很优秀的学习方法实际中表现却可能不尽人意。 第二种方法是经验非线性方法，如人工神经网络（ANN）。这种方法利用已知样本建立非线性模型，克服了传统参数估计方法的困难。但是，这种方法缺乏一种统一的数学理论。 与传统统计学相比，统计学习理论（Statistical Learning Theory或SLT）是一种专门研究小样本情况下机器学习规律的理论。该理论针对小样本统计问题建立了一套新的理论体系，在这种体系下的统计推理规则不仅考虑了对渐近性能的要求，而且追求在现有有限信息的条件下得到最优结果。V. Vapnik等人从六、七十年代开始致力于此方面研究[1]，到九十年代中期，随着其理论的不断发展和成熟，也由于神经网络等学习方法在理论上缺乏实质性进展，统计学习理论开始受到越来越广泛的重视。 统计学习理论的一个核心概念就是VC维(VC Dimension)概念，它是描述函数集或学习机器的复杂性或者说是学习能力(Capacity of the machine)的一个重要指标，在此概念基础上发展出了一系列关于统计学习的一致性(Consistency)、收敛速度、推广性能(Generalization Performance)等的重要结论。 统计学习理论是建立在一套较坚实的理论基础之上的，为解决有限样本学习问题提供了一个统一的框架。它能将很多现有方法纳入其中，有望帮助解决许多原来难以解决的问题（比如神经网络结构选择问题、局部极小点问题等）；同时，这一理论基础上发展了一种新的通用学习方法──支持向量机（Support Vector Machine或SVM），已初步表现出很多优于已有方法的性能。一些学者认为，SLT和SVM正在成为继神经网络研究之后新的研究热点，并将推动机器学习理论和技术有重大的发展。 支持向量机方法是建立在统计学习理论的VC维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性(即对特定训练样本的学习精度，Accuracy)和学习能力(即无错误地识别任意样本的能力)之间寻求最佳折衷，以期获得最好的推广能力(Generalizatin Ability)。支持向量机方法的几个主要优点有： 1.它是专门针对有限样本情况的，其目标是得到现有信息下的最优解而不仅仅是样本数 趋于无穷大时的最优值；
SVM(支持向量机)算法在项目实践中的应用
支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年 首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的 优势，并能够推广应用到函数拟合等其他机器学习问题中。 正是由于SVM具有很多独特的优势，基于SVM分类器在很多时候都具有 较好的拟合作用。本文对SVM算法在行人检测项目实践中的应用进行详细讲解，同时给出调用OpenCV分类器及可视化的代码实现，便于大家学习实践。 目前的行人检测基本上都是基于法国研究人员Dalal在2005的CVPR发 表的HOG+SVM的行人检测算法(Histograms of Oriented Gradients for Human Detection, Navneet Dalel,Bill Triggs, CVPR2005)。HOG+SVM作 为经典算法也集成到OpenCV里面去了，可以直接调用实现行人检测。 一、HOG特征描述符 HOG（Histogram of Oriented Gradients）HOG特征在对象检测与模式 匹配中是一种常见的特征提取技术（深度学习之前），是基于本地像素块进 行特征直方图提取的一种算法，对像局部的变形与光照影响有很好的稳定性，最初是用HOG特征来识别人像，通过HOG特征提取+SVM训练，可以得到很好 的效果，OpenCV已经有相应的接口。 HOG特征是在2005年CVPR的会议发表，在图像手工特征提取方面具有里 程碑式的意义，当时在行人检测领域获得了极大成功。 1.1 主要思想 局部目标的外表和形状可以被局部梯度的分布很好的描述，即使我们不知 道对应的梯度和边缘的位置。(本质：梯度的统计信息，梯度主要存在于边缘edge或角落corner的地方) 1.2 宏观 特征描述符就是通过提取图像的有用信息，并且丢弃无关信息来简化图像 的表示。HOG特征描述符可以将3通道的彩色图像转换成一定长度的特征向量。那么我们就需要定义什么是“有用的”，什么是“无关的”。这里的“有用”，是指对于什么目的有用，显然特征向量对于观察图像是没有用的，但是它对于 像图像识别和目标检测这样的任务非常有用。当将这些特征向量输入到类似支 持向量机（SVM）这样的图像分类算法中时，会得到较好的结果。那什么样的 “特征”对分类任务是有用，比如我们想检测出马路上的车道线，那么我们可 以通过边缘检测来找到这些车道线，在这种情况下，边缘信息就是“有用的”，而颜色信息是无关的。 方向梯度直方图(HOG)特征描述符常和线性支持向量机(SVM)配合使用， 用于训练高精度的目标分类器。 1.3 微观（硬核） 在HOG特征描述符中，梯度方向的分布，也就是梯度方向的直方图被视作 特征。图像的梯度(x和y导数)非常有用，因为边缘和拐角(强度突变的区域) 周围的梯度幅度很大，并且边缘和拐角比平坦区域包含更多关于物体形状的信息。HOG特征是一种图像局部特征，基本思路是将图像划分为很多小的连通区域，即细胞单元Cell，然后对Cell的梯度幅值和方向进行投票统计，形成基 于梯度特性的直方图。把直方图在图像更大的范围内(又名区间或者Block)进 行归一化。归一化的块描述符叫做HOG描述子feature descriptor。将检测窗