感知器算法

i
y = f (∑ wi xi − θ )
i =1
d
而且f为一阶跃函数， 而且 为一阶跃函数，即： 为一阶跃函数
d 1, ∑ wi xi − θ ≥ 0 i =1 y = f ( x) = = sgn( w0T x − θ ) d −1, w x − θ < 0 ∑ i i i =1
四、感知器训练算法在多类问题中的应用 就第二章中的第三种情况为例说明） （就第二章中的第三种情况为例说明） 判决规则：对于c种类型 存在k个判决函 种类型， 判决规则：对于 种类型，存在 个判决函 数 d j ( x)( j = 1, 2,⋯, k ) ，若 di ( x) > d j ( x)( j = 1, 2,⋯ , k , j ≠ i) ， x ∈ ωi 则判： 则判： 假设k=c, 多类问题的感知器算法的步骤如下： 多类问题的感知器算法的步骤如下： 假设 (1) 赋给初值： 赋给初值： 赋初值，选择正常数c, 给 Wi 赋初值，选择正常数 把训练样本 变成增广型， 变成增广型，k=0; x (2) 输入训练样本 xk，k ∈{x1 , x2 ,⋯, xn }，假定 x ∈ ωi ；
训练样本
x1 x2 x3 x4 x1 x2 x3 x4 x1 x2 x3 x4 x1 x2 x3 x4 1011 0111 1101 0101 1011 0111 1101 0101 1011 0111 1101 0101 1011 0111 1101 0101
W(K)Tx
+ + + 0 0 + 0 + + + -
(3) 计算 个判决函数值： 计算c个判决函数值 个判决函数值：
di ( xk ) = [Wi (k )]T xk , i = 1, 2,⋯ , c
(4) 修正权向量，修正规则为： 修正权向量，修正规则为： 若 di ( xk ) > d j ( xk ), j = 1, 2,⋯, c, j ≠ i 则 Wi (k + 1) = Wi (k ), i = 1, 2,⋯, c dl ( xk ) ≥ di ( xk )(∃l ) 否则， 否则，若 Wi (k + 1) = Wi (k ) + cxk 则
一、引言 假设两类问题 ωi | ω j ，采用增广型的加权 向量和增广型的模式向量， 向量和增广型的模式向量，并把来自 ω j 的训练 样本的各分量均乘以（-1），故对所有训练模 样本的各分量均乘以（ ），故对所有训练模 ）， 都有: 式样本 x 都有
3.2 感知器算法
若令： 若令： = ( w1 , w2 ,⋯ , wd , −θ ), x = ( x1 , x2 ,⋯ , xd ,1) W y = sgn( wT x) 则： 由此可见，它可作为一个分类器， 由此可见，它可作为一个分类器，解决两类的分类问 题。即： 若： x ∈ ωi ≥ 0 y = d ( x) 则 x ∈ω j < 0
3.3 感知准则函数及其梯度下降法
2. 迭代算法 取 k = 1/ 2 ，J (W , x) = 1/ 2*(| W T x | −W T x),
∂J 1 ∇J = = [ x sgn(W T x) − x] ∂W 2
代入（*）式，有： 代入（ ）
W (k + 1) = W (k ) − W (k ) = W (k ) + ρ k xk
T T
x2
× ×
x1
试用感知器算法求分界面。 试用感知器样本 ω1=（x1,x2）={(1,0,1),(0,1,1)} ω2=（x3,x4）={(1,1,0),(0,1,0)} 解：先求四个样本的增值模式 x1=(1,0,1,1) x2=(0,1,1,1) x3=(1,1,0,1) x4=(0,1,0,1) 假设初始权向量 w(0)=(1,1,1,1) c=1 第一次迭代： W(0)Tx1=(1,1,1,1) (1,0,1,1)T=3>0 所以不修正 W(0)Tx2=(1,1,1,1) (0,1,1,1)T=3>0 所以不修正 W(0)Tx3=(1,1,1,1) (1,1,0,1)T=3>0 所以修正w1 W(1)=w(0)-x3=(0,0,1,0) W(1)Tx4=(0,0,1,0)T (0,1,0,1) =0 所以修正w2 W(2)=w(1)-x4=(0,-1,1,-1) 第一次迭代后,权向量W(2)=(0,-1,1,-1),再进行第2,3,…次迭代 如下表
3.2 感知器算法
感知器(Perception)是一个具有单层计算单元 是一个具有单层计算单元 感知器 的人工神经网络， 的人工神经网络，感知器训练算法就是由这种 神经网络演变而来的。 神经网络演变而来的。 一、感知器的概念 美国学者F.Rosenblatt于1957年提出了感知器 美国学者 于 年提出了感知器 的模型（如下图）： 的模型（如下图）：
的训练样本的各分量均乘以了(-1)，则 如果 ω j 的训练样本的各分量均乘以了 ， 修正规则统一为： 修正规则统一为： 若 d ( xk ) ≤ 0 ，则:
W (k + 1) = W (k ) + cxk
3.2 感知器算法
(5) 令 k ⇐ k + 1 , 返回 返回(2), 直到 对所有的训练样 直到W对所有的训练样 本均稳定不变结束。 本均稳定不变结束。 取值选择。 注：c取值选择。通常选择 0 < c ≤ 1, c值大小会 取值选择 值大小会 影响收敛的速度和稳定性。 影响收敛的速度和稳定性。 算法的物理意义： 算法的物理意义： +
1
1 –1 2 0 1 –1 2 0 0 –2 2 –1 0 –2 2 -1 0 –2 2 –1 0 –1 3 0 0 –1 3 0 0 –1 3 0 0 0 0 0 –1 –1 –1 –1 3 3 3 3 0 0 0 0
2
3
4
直到在一个迭代过程中权向量相同，训练结束。 W*=W(5)=(0,1,3,0) 判别函数g(x)= -x2+3x3 感知器算法只对线性可分样本有收敛的解,对非线性 注：感知器算法只对线性可分样本有收敛的解 对非线性 可分样本集会造成训练过程的振荡,这是它的缺点 这是它的缺点。 可分样本集会造成训练过程的振荡 这是它的缺点。
开始迭代运算： 开始迭代运算： k = 0, 开始，迭代到三个权向量稳定不变。 开始，迭代到三个权向量稳定不变。
3.3 感知准则函数及其梯度下降法
一、引言 在感知器算法中： 在感知器算法中： {W W (k + 1) = W (k ) + cxk， (k )}的收敛速度取决于最后一项。 的收敛速度取决于最后一项。 若最后一项较大，收敛速度快。我们知道函数 若最后一项较大，收敛速度快。 在其梯度方向变化的速度最快。因此，可考虑： 在其梯度方向变化的速度最快。因此，可考虑：
三、收敛性定理
定理：若训练样本是线性可分， 定理：若训练样本是线性可分，则感知器训练算法 在有限次迭代后可以收敛到正确的解向量。 在有限次迭代后可以收敛到正确的解向量。 证明：为了证明该定理，假定： 证明：为了证明该定理，假定： 第一，对每一个训练样本都进行归一化处理， 第一，对每一个训练样本都进行归一化处理，变成 单位向量， 单位向量，即： || xk ||= 1, (k = 1, 2,⋯ , n) ; 第二， 第二，取c=1，W(0)=0; ， 第三，变更感知器训练算法如下： 第三，变更感知器训练算法如下： (1) 置k=0,W(0)=0,c=1,给较小的正数 ，并取 给较小的正数T， 给较小的正数 0<T<1/2; (2) 输入训练样本 xk ， xk ∈{x1 , x2 ,⋯, xn }； (3) 计算： d ( xk ) = [W (k )]T xk ； 计算：
(4) 判断：若 d ( xk ) > T ，返回 判断： 返回(2), 否则继续； 否则继续； (5) 令 W (k + 1) = W (k ) + cxk ， ⇐ k + 1 ，返回 。 返回(2)。 k 只须证明：假设W*存在，k有限即可。 存在， 有限即可 有限即可。 只须证明：假设 存在
Wl (k + 1) = Wl (k ) − cxk
(5) 直到所有权向量对所 有的训练样本都稳定不变时结束。 有的训练样本都稳定不变时结束。
W j (k + 1) = W j (k ) 返回(2), 令 k ⇐ k + 1，返回
例3.3 ：已知三类训练样本
ω1 : (0, 0)T ; ω2 : (1,1)T ; ω3 : (−1,1)T
修正式
W(0) W(0) W(0)-x3 W(1)-x4 W(2)+x1 W(3) W(3)-x3 W(4) W(4) W(4)+x2 W(5) W(5) W(5) W(5) W(5) W(5)
修正后的权值W(K+1) 修正后的权值
1 1 1 1 0 0 0 –1 1 1 1 1 1 1 0 -1
迭代次数
xk
+
W (k + 1) cxk xk ∈ ωi , d ( xk ) ≤ 0 W (k )
-
xk xk ∈ ω j , d ( xk ) > 0
W (k + 1) −cxk W (k )
-
例3.1：已知两类模式的训练样本（如图）： ：已知两类模式的训练样本（如图）：
ω1 : (0, 0)T , (0,1)T ; ω2 : (1, 0) , (1,1) ;
d ( xk ) = [W (k )]T xk
(4) 修正加权向量W (k ) ，修正规则为： 修正规则为：
3.2 感知器算法
若
xk ∈ ωi
和 d ( xk ) ≤ 0 ，则：
d ( xk ) > 0，则：
W (k + 1) = W (k ) + cxk