线性判别函数

存在能将所有样本正确分类的权向量
规范化 分离向量 (解向量)

13
权空间 和 解区域
at yi 0
1 : a y i 0
t
for all a y i 0
t
14
2 : a y i 0
t
边沿裕量的作用
a yb0
t i
15
基本梯度下降算法
定义准则函数 J (a) 如果a是解向量，则J (a)达到最小化 a(k+1)=a(k)- (k)J (a(k)) 初始化 a 以及阈值 , (),k 0 do k k 1 a a (k )J (a) until (k )J (a) return a end
2
两类情况的线性判别函数
g ( x) w x w 0
t
w称为权向量，w 0为偏置
而c类问题将有c个线性判别函数。
3
判定面：
如果 x1 和 x 2 都在判定面 g (x) 0上, 则 w t (x1 x 2 ) 0 (正交) w x xp r w w g ( x) w ( x p r ) w0 w
t a a ( k )
选择 a a(k 1) a(k ) H 1J使得 J (a) 最小化 初始化 a和阈值 do a a H 1J (a) until H 1J (a) return a end
18
梯度下降 vs. 牛顿算法
牛顿算法计 算H逆矩阵的 时间开销大
6
线性机

线性机的判别区域是凸的
限制了分类器的适应性和精确性

每个判别区域是单连通
适应条件概率密度
p(x|i) 为单峰的问题
7
二次、广义线性判别函数
二次判别函数 g (x) w0 wi xi wij xi x j
i 1 i 1 j 1 d d d
广义线性判别函数 g (x) ai yi (x) or g (x) a t y
34
b at y y
2
k
y
单样本裕量松弛算法
initialize a, (), k 0 do k k 1 mod n if a y b then a a (k )
t k
b at y k y
2
y
k
until a t y k b for all y k return a end
35
几何解释
r (k )
b at (k )y k y
2
at (k 1)y k b 1 at (k )y k b 其中, 1称为欠松弛, 1称为过松弛.
36
欠松弛 和 过松弛
37
收敛性证明
a(k 1) a(k ) 因为 ˆ a(k 1) a
2
ˆ a ( k ) a ˆ a ( k ) a
2
ˆ 2a( k ) a y k y k
t
2
由于y k 为被错分，固 a( k ) t y k 0，所以
2 2
ˆ 2a t y k y k
2
设 为模式向量的最大长度 ，即
2 max y i ， 并令为解向量与所有模式向 量最小的内积，即
ˆ d d , 代表自由度
10
增广向量（Augmented Vectors）
g ( x) w0 wi xi wi xi ,
i 1 i 0 d d
x0 1
1 x 1 1 y , x xd
w0 w w0 1 a w wd
23
固定增量单样本感知器
24
定理 5.1：如果训练样本是线性可分，则固定 增量单样本感知器算法给出的权向量序列必定 终止于某个解向量。
ˆ ˆ 设a为任意的解向量，则 对任何的 i有a t y i 0 设为一正的比例因子，则 有 ˆ ˆ a( k 1) a a( k ) a y k ˆ a( k 1) a ˆ a( k 1) a


样本几乎共面
27
带裕量的变增量感知器 J (a) b a y , Y : 被a错分的样本集
t p yY
可以证明当样本线性可分，如果
(k ) 0, lim (k ) ,
m k 1
m
m
lim
2 (k ) k 1
m m k 1
initialize a , a , (), k 0, 1 zk Sgn[a t y k a t y k ]---（判别模式是否被错分） if zk 1 then ai yi ai , ai yi ai for all i if zk 1 then ai yi ai , ai yi ai for all i return a , a end 其中， yi 表示增加因子， yi 1;
29
a a (k) yY y
k
理论与实践

理论
对任何有限的可分样本集，对任意的初始权向
量，对任意非负的裕度，对任意符合条件的比 例因子，都能得到解。

实践
b 最好选择接近 (k)||yk||2 yk 分量的比例因子对算法会产生很大的影响
边沿裕度
30
平衡 Winnow 算法
16
学习率的选择: 最小二阶逼近
1 t J (a) J (a(k )) J a a(k ) a a(k ) Ha a(k ) 2 2J H : Hessian 矩阵, H ij ai a j
t a a ( k )
a(k 1) a(k ) (k ) J 选择 (k ) J
11
增广空间的判别面
H
ˆ y 到超平面 H的距离 : a t y / a g ( x) / a
ˆ H
x 到 H的距离 : g ( x ) / w g ( x) / a
12
两类线性可分的情况
N个样本: y1, . . ., yn 类标: 1, 2 目标：确定判别函数 g(x)=aty 的权向量a 线性可分
19
四种学习准则
20
批处理感知器算法
J p (a) at y , Y : 被a错分的样本集
yY
J p y , a(k 1) a( k ) ( k ) y
yY yY
初始化 a, (), 准则 , k 0 do k k 1 a a (k ) yY y
2
ˆ a(1) a k 2
2 2
平方距离非负，经过不 超k 0次矫正后矫正将终止， 其中 k0 ˆ a(1) a
2
26
难点：

取决于与解向量接近正交的样本
a(1) 0 ˆ a k0 2
2 2
ˆ a 2
2
2

max y i
i i
2
ˆ a
2
2
ˆ min y ti a
第五章
线性判别函数
1
线性判别函数




已知判别函数的参数形式，用训练的方法来估计 判别函数的参数值； 不要求知道有关的概率密度函数的确切的参数形 式，注意在高斯模型且协方差相等情形下判别函 数形式为线性； 判别函数形式为线性（即样本分量的某种线性函 数）； 特点是简单，然而判别结果未必为最优。 寻找线性判别函数的问题将被形式化为极小化准 则问题，通常采用梯度下降法来求解。
i 1 ˆ d
8
例子
g ( x) a1 a2 x a3 x 2 ,
1 y x x2
9
广义判别函数的优缺点

优点
在高维空间，能得到简单的判定面
缺点
维数灾难 例如，一个完整的二次型判别函数包含项的个
数是 (d+1)(d+2)/2 要求大量训练样本，
松弛算法：
J q (a) a y
t yY

t
2
1 a y b J r (a) 2 2 yY y J r
yY

2
at y b y
2
y
33
批处理裕量松弛算法
initialize a, (), b, k 0 do k (k 1) mod n Yk , j0 do j j 1 if a t y j b then 把 y j 加进 Yk until j n a a (k ) yY until Yk return a end
k
until (k ) yY y
k
return a end
21
批处理感知器
22
固定增量单样本感知器
begin 初始化 a, k 0 do k ( k 1) mod n if y k 被 a 错分， then a a y k until 所有模式被正确分类 return a end
(k )

2
0
e.g ., (k ) ~ 1/ k 则a (k )收敛于一个解向量。 _ 初始化 a 、阈值 , 裕量 b, (), k 0 do k (k 1) mod n if at y k b then a a ( k ) y k until at y i b for all i 1, , n return a end
t
r w g ( x) r w r 0, 正侧；r 0为负侧。