图像采集与处理-C19-R

线性支持向量机
给定一个测试模式X，线性支持向量机分类器可表达为：
⎛ ns ˆ X ⋅X +w ⎞ ˆ0 ⎟ y ( X ) = sign⎜ ∑ d k λk k ⎜ ⎟ k =1 ⎝ ⎠ ⎧ X ∈ C1 , if y ( X ) = 1 ⎨ ⎩ X ∈ C2 , if y ( X ) = −1
总结： W的估计过程实际上是从训练样本中寻找一组支持向 量，并将这些支持向量存储下来，用作线性分类器。 与基于距离的分类器相比，支持向量机只需存储一部分训练样 本，而基于距离的分类器通常需要存储所有训练样本。
For X s , λs ≠ 0
ns
ˆ ⇒ w0 =
ds
ˆ −W ⋅ X s
但是，w0通常由所有支持向量取均值得到：
1 ˆ0 = w ns
1 ˆ ⋅X = 1 ∑ d −W l n l =1 l s
1 ∑d l =1 l
ns
ns ⎛ ˆ ⎞ ⎜1 − ∑ λk hkl ⎟ ⎟ ⎜ k =1 ⎠ ⎝
hkl = d k d l X k ⋅ X l
∂L p (W , w0 , Λ) ∂w0 = ∑ λi d i = Λ ⋅ D = 0
i =1 Q
其中，D = (d1 , K d Q )T
线性支持向量机
由于约束条件是不等式表达，而非等式表达，因此需要满足 KKT(Karush-Kuhn-Tucker)条件，才能计算得到最优值。 KKT条件：
* λi [d i ( X i ⋅ W * + w0 ) − 1] = 0, i = 1,L , Q
i =1
Q
其中，拉格朗日乘数向量：Λ = (λ1 , K λQ )T , λi ≥ 0
线性支持向量机
如果存在一个(W* ,w*0)，使得ψ(W)取得条件极值，则存在一 个λ*，使得Lp函数关于(W ,w0)和λ的偏导都为0。 因此，可以把拉格朗日函数中的W用λ来表达，从而使得寻找 最优的W值问题，转化为寻找最优的λ值问题。 求Lp函数关于W的偏导，并设偏导为0： Q ∂L p (W , w0 , Λ ) = W − ∑ λi d i X i = 0 ∂W i =1 求Lp函数关于w0的偏导，并设偏导为0：
T
i =1
2
= ∑∑ λi λ j d i d j X i ⋅ X j
i =1 j =1
Q
Q
线性支持向量机
将关于W和w0的偏导等于0的结果带入拉格朗日函数：
∑ λi di = 0 ⇒
i =1
Q
从而得到：
∑ λ [d ( X
i =1 i i Q i =1 Q
Q
i
⋅ W + w0 ) − 1]
1 Q Q LD (Λ ) = ∑ λi − ∑∑ λi λ j d i d j (X i ⋅ X j ) 2 i =1 j =1 i =1
Maximize : d + = X + − X ∏
Class 1
根据X+和Π的定义，可以得到： W ⋅ X + + w0 = 1
W ⋅ X ∏ + w0 = 0
Π
X+ d+ XΠ
从上述两式可以得到:
W ⋅(X+ − X∏) =1
W平行于X+－XΠ
线性支持向量机
从定义可以看出，X+-XΠ垂直于Π。因为X+-XΠ与W是平行的， 可以重写上式：
因此，给定Q个训练样本T={Xk, dk}, Xk∈ℜn, dk∈ {-1,1}，k=1,…,Q, 支持向量机的学习过程就是最大化间隔，即最小化如下函数：
ψ (W ) =
1 W 2
2
同时满足如下约束条件：
d i ( X i ⋅ W + w0 ) − 1 ≥ 0 i = 1, L , Q
当Xi位于超平面Π+和Π－ 上时，该约束条件等于 0，其余情况都为大于0。
图像采集与处理
物体识别 (5) 2012-12-4
重要时间节点
10月8日 10月15日 11月5日 11月19日 11月26日 12月12日 12月25日 12月27日 12月31日 提交作业 1 提交作业 2 提交作业 3 提交作业 4 项目课堂演示与宣讲 提交课程项目最终报告 截止时间：当日23:59 提交课程项目题目 提交课程项目摘要 提交文献综述
训练样本
BP学习后得到的二维XOR分类器 输入－输出响应曲线
物体识别
物体识别的概念 基于距离的分类器 贝叶斯分类器 线性判据 神经网络 支持向量机 决策树
支持向量机的设计动机
支持向量机(support vector machine)的设计动机： 如果两个类是线性可分的，则存在着多个 线性决策平面用作分类边界。 如何从中选取一个分类边界，达到更好的 generalization性能，从而使得训练出来的 分类器可以更好的分类unseen模式。 从直观上讲，右上图所示的决策边界要优 于右下图所示的决策边界：相比于右下 图，右上图中的决策边界到最近数据点的 间隔(margin)要大一些。因此，右上图的 决策边界对于处在间隔区域的unseen模式 有更好的generalization性能。
线性支持向量机：学习算法程序示例
线性支持向量机的学习过程是要最大化如下目标函数： 1 T 约束条件：ΛT D = 0, Λ ≥ 0 LD (Λ ) = Λ ⋅ 1 − Λ HΛ 2 因此，将目标函数取负值，转化为最小化目标函数，从而可以 使用quadprog函数： 1 T ′ 约束条件：ΛT D = 0, Λ ≥ 0 LD (Λ ) = Λ ⋅ (−1) + Λ HΛ 2
线性支持向量机：学习算法程序示例
线性支持向量机的学习算法中的二g函数来实现。 quadprog函数求取如下目标函数的最小值：
目标函数：L(Λ ) =
约束条件：AΛ ≤ b
1 T Λ HΛ + F T Λ 2
Aeq Λ = beq
quadprog函数的使用： [lambda,val,flag] = quadprog(H,F,A,b,Aeq,beq,LB,UB) lambda：使得目标函数取得最小值的∧ val：目标函数的最小值。 Flag：最优过程是否是收敛的。 LB，UB： ∧取值的下限和上限。
W的方向 ⎛ W ⎞ ⎟ W ⋅(X + − X∏ ) = W ⋅⎜ X + − X∏ ⎜ W ⎟ ⎝ ⎠ 幅值量
Class 1
= X+ − X∏
W W
2
Π
X+ d+ XΠ
= X+ − X∏ × W
因此得到: X+ − X∏ × W =1
⇒ d+ = X + − X ∏ = 1 W
线性支持向量机
同样，对于类2，可以得到： 1 d− = X − − X ∏ = W 因此，总的间隔表达为： 2 M = d+ + d− = W 右图可以看到，存在两个相 互平行的超平面Π+和Π－。
d i = +1 d i = −1
d i = +1 d i = −1
意味着没有训练样本落 在±Δ间隔范围内。
通过为W和w0选择相应的尺度，可以设置Δ=1:
线性支持向量机
由W和w0确定的分类边界是一个超平面Π， X+是类1中离Π最 近的数据点，XΠ 是平面Π上离X+距离最近的点。 因此，最大化间隔表达为：
KKT条件意味着：只有在样本数据点使得约束条件等于0时， 拉格朗日乘数才是非零值；否则，拉格朗日乘数为0. 将关于W和w0的偏导等于0的结果带入拉格朗日函数：
W = ∑ λi d i X i ⇒W ⇒W
2 Q
= W T W = (λ1d1 X 1 + ... + λQ d Q X Q ) (λ1d1 X 1 + ... + λQ d Q X Q )
最优化转化为最大化 LD (Λ) 优化约束条件为：
Λ⋅D = 0 Λ≥0
= ∑∑ λi λ j d i d j X i ⋅ X j − ∑ λi
i =1 j =1 i =1
Q
Q
线性支持向量机
上述优化问题可以用二次规划(quadratic programming)求解， 从而得到最优的拉格朗日乘数：
ˆ ˆ ˆ ˆ Λ = λ1 , λ2 ,..., λQ
(
)
T
可以看到，每一个样本数据对应着一个拉格朗日乘数。 根据KKT条件可以看出，Q个最优拉格朗日乘数中，值为0的 乘数意味着它所对应的样本数据点不能满足约束条件为0，即 这个样本不位于超平面Π+和Π－上。 值为非零的乘数意味着它所对应的样本数据点可能满足约束 条件为0，因此选取非零乘数所对应的数据点作为支持向量。
线性支持向量机
用线性支持向量构建分类器，即用支持向量构建W和w0：
ns
ˆ ˆ W = ∑ λk d k X k ,
k =1
ns : 支持向量的个数
w0根据KKT条件构建，选取任一个支持向量XS： ˆ ˆ 1 λi [d i ( X i ⋅ W + w0 ) − 1] = 0, i = 1, L, Q
Π+ Π Πsupport vectors Margin Class 1
Total Margin
X+和X－分别位于这两个超平面上。没有任何训练样本落在这 两个超平面中间的间隔区域。 因此，X+和X－被称为支持向量(support vectors)。支持向量 在确定决策平面Π中起到核心作用。
线性支持向量机
k k k whj+1 = whj + Δwhj k k k wih+1 = wih + Δwih
Xk