3支持向量机简介-quietsea

分类平面由支持向量确定。也就是说只需少量样本 就可构成最优分类面。 最优分类面只用到内积运算。 Vapnik证明线性分类器的vc维满足下式
h || w || r 1
2 2
r 为包络训练数据的最小球半径。
这说明我们在使分类面正确划分训练样本同时，又最 小化了分类面的vc维！！！体现了结构风险最小化的 思想，所以具有较好的泛化能力。
（1）
s.t.
yi wiT xi b 1
i 为约束的拉格朗日乘子。因为都是不等式约束，所以这些乘子
都是非负的
求偏导
J ( w, b, ) 0 w
w i yi xi
i 1
N
J ( w, b, ) 0 b
将上面两式带入（1），得到下式
N

i 1
f ( x, ),
从给定的函数集Ω中选择出能够最好地 逼近系统响应的函数ω
系统辨识和模式识别问题一般描述


已知：n个观测样本，(x1,y1), (x2,y2)…… (xn,yn) 求：最优函数y= f (x, w)，这个函数系统辨识中称为 辨识模型，模式识别问题中称为分类器。 满足条件：期望风险最小
Class 2
Class 1
m
支持向量机算法-线性可分情况

求取最优平面问题就转化为下列优化问题
Find w and b such that
2 m w is maximized and for all {(xi
,yi)}
wTxi + b ≥ 1 if yi=1; wTxi + b ≤ -1 if yi = -1
经验风险最小化思想图示
举例：神经网络的构造过程




先确定网络结构 ：网络层数，每层节点数 相当于VC维确定， (n / h) 确定。 通过训练确定最优权值，相当于最小化 Remp ( w) 。 目前存在的问题是神经网络结构的确定大多是凭经验 选取，有一定的盲目性，无法确定泛化的置信界限， 所以无法保证网络的泛化能力。 即使经验误差很小，但可能推广或泛化能力很差。这 就是神经网络中的过学习难题。
N
w
支持向量

i yi xi
分类平面方程
g x w x b
T
w
支持向量

i yi xi
b0 由支持向量求得
0 f x sgn yi i xi , x b0 支持向量
线性可分情况下最优分类面的例子
支持向量机算法-线性可分情况几点说明
支持向量机算法-线性可分情况

Class 2

许多决策平面都可 以将两类样本分开 我们应该选择哪一 个呢？
Class 1
支持向量机算法-线性可分情况

H1 H3 H
H2
Class 2
W’

Class 1
假定划分直线的法方向已经给定，如 图所示。直线H1是一条以w’ 为法向 量且能正确划分两类样本的直线。显 然这样的直线并不唯一，如果平行地 向右上方或左下方推移直线H1，直到 碰到某类训练点。这样就得到了两条 极端直线H2和H3，在直线H2和H3之 间的平行直线都能正确划分两类。显 然在H2和H3中间的那条直线H为最好。 以上给出了在已知法向量w’ 的情况 下构造划分直线的方法。这样就把问 题归结为寻求法向量w的问题。 T 假如此时H表示为 w' ( x) b' 0 ，因 为其在中间，显然H2可以表示 为 w'T ( x) b' k ，H3表示为
T i i i
T i i i i
l i 1 i
C 越大，ξ 被压制，经验风险小
支持向量机算法-近似线性可分

i=0 如果 xi没有错分

i是优化理论中的松弛变量
wTxi + b 1 - i i 0 yi = 1 i wTxi + b -1 + i yi= -1
w'T x b' k
支持向量机算法-线性可分情况
两边同除以k,令 则H为 H1 H3 H H2
T
w xb 0
wT x b 1
wT x b 1
w'T w k
b' b k
Class 2
W’
H2为 H3为
这个过程称为划分直线的规范化过程。
那么此时两条直线H2和H3之间的间 隔为：2/||w||。
统计学习理论基本思想



统计学习理论由贝尔实验室Vapnik于1992年 首次提出。 研究小样本下机器学习规律的理论。 基本思想：折衷考虑经验风险和推广的置信界 限，取得实际期望风险的最小化。 两大核心： VC维和结构风险最小化。
VC维的概念

描述函数复杂性的指标 假如存在一个由h个样本的样本集能够被一个 函数集中的函数按照所有可能的2h 种形式分 为两类，则函数集能够把样本数为h的样本集 打散(shattering)。函数集的vc维就是用这个函 数集中的函数所能够打散的最大样本集数的样 本数目。
如前所述，对于适当的法向量，会有两条 极端的直线，这两条直线之间有间隔，最 优分类直线就应该是间隔最大的那个法向 量所表示的直线。
Class 1
支持向量机算法-线性可分情况

分类平面应该使两类之间的间隔应该最大。
wTxi + b ≥ 1 if yi = 1
wTxi + b ≤ -1 if yi = -1
N
i
yi 0
1 N N Q i i j yi y j xi , x j 2 i 1 j 1 i 1
（2）称为（1）的对偶形式。
（2）
支持向量机算法-线性可分情况

由优化理论中的对偶理论知，最小化（1）式等于最大化以（1）式 的约束的拉格朗日乘子为变量的（2）式。即：
1 n Remp ( w) L( yi , f ( xi , w)) n i 1 错分数 n
Remp (w)

| y f ( x) |
all observed {( x , y )}
现存问题




经验风险最小不等于期望风险最小，不能保证学习 机的推广能力.算法或方法对未来输出进行正确预测 的能力成为推广能力或泛化能力。 从概率论中的大数定律可知：经验风险只有在样本 数无穷大趋近于期望风险，需要非常多的样本才能 R ( ) 保证学习机的性能。 某些情况下，当经验风险过小时，推广能力反而下 降，这就是神经网络中令人头疼的所谓过学习 (overfitting) 问题。 使经验风险最小的点与期望风险最小的点并非同一 个点

这是一个二次归化问题 上式也可以写成如下形式:
Find w and b such that
Φ(w) =½ wTw is minimized and for all {(xi ,yi)} yi (wTxi + b) ≥ 1
支持向量机算法-线性可分情况
min
N 1 T J ( w, b, ) w w i [ yi (wT xi b) 1] 2 i 1
emp
Remp和R的关系
举例



假设我们有一组训练样本(x,y),x分布在实数范围内，而y取值在 [0,1]之间，那么不论这些样本是依据什么函数模型产生的，只要 我们用一个函数f(x,a)=sin(ax)来拟合这些样本，其中a是待定参数， 总能够找到一个a使训练误差为零，但显然这个“最优函数”不能 正确代表原来的函数模型。原因就是试图用一个复杂的模型来拟 合有限的样本，结果导致丧失了推广能力。 神经网络中，如果对于有限的训练样本来说网络的学习能力过强， 足以记住每一个训练样本，此时经验风险很快可以收敛到很小甚 至零，但却根本无法保证它对未来新的样本的能够得到好的预测。 结论：在有限样本情况下，经验风险最小并不意味着期望风险最 小。
支持向量机-近似线性可分
Class 2
Class 1
支持向量机算法-近似线性可分

当训练集近似线性可分时，任何划分超平面都必有错划。所以不能 y 再要求训练点满足约束条件 w x b 1 。为此对第i个训练点(xi,yi)引 入松弛变量 ，把约束条件放松为 y w x b 1 。显然向量 l T (1 , l ) 体现了训练集被错分的情况。可以采用 i 作为一种 i 1 度量，描述训练集被错分的程度。这样现在就有两个目标：仍希望 2 间隔 || w || 尽可能大同时希望错分程度 尽可能小。引进惩罚 l 1 2 参数C把两个目标综合为一个目标，即极小化 || w || C i 2 i 1
X表示成 x x p r
w || w ||
g ( x) wT ( x p r
w wT w ) b wT x p b r r || w || || w || || w ||
xp ：x在H上的投影向量 r：是x到H的垂直距离 w/||w||：是w方向上的单位向量
w wT w g ( x) wT ( x p r ) b wT x p b r r || w || || w || || w ||
Support Vector Machine支持向量机简介
报告概览



系统辨识和模式识别问题一般描述及存在问题 统计学习理论基本思想 支持向量机算法
线性可分 近似线性可分 非线性可分

SVM软件包 故障诊断中的应用
系统辨识和模式识别问题一般描述
输入x 系统（S）
输出y
F ( x, y )
其中n表示样本数，h为学习机器的VC维，(n / h) 称为 置信区间。(n / h) 是随n/h增大而减小的函数。