单层感知器的学习算法-Read

87
15
百度文库
因为 k 个样本是线性可分的，若存在一个 W* ，对 所有的样本k 使得W*· Xk>δ 都成立， δ>0。则下面步骤 中的第④步仅需有限次。 ①置t=1，选初值W(t)为不等于0的值； ②任选k∈{1,N}，置X(t)=Xk； ③若W(t)· X(t)≧0 返回②，否则 ④令W(t+1)=W(t)+X(t),t=t+1, 返回②。

87
7
③计算实际输出 ④修正权值 Wi(t+1)= Wi(t)+η(T-Y(t))Xi i=(1,2,…,n,n+1) 其中，0<η≤1用于控制修正速度，通常η不能太 大，会影响Wi(t)的稳定，也不能太小，会使Wi(t) 的 收敛速度太慢。 ⑤转到②直到W对一切样本均稳定不变为止。 用单层感知器可实现部分逻辑函数，如： X1∧X2： Y=1· X1+1· X2-2 即W1=W2=1,θ=2 X1∨X2： Y=1· X1+1· X2-0.5 即W1=W2=1,θ=0.5 X1+0.5 即W1=-1，θ=-0.5 X ： Y=(-1)·
§第三章 前馈型神经网络模型
§3.1 §3.2 §3.3 §3.4 §3.5 法 §3.6 感知器（Perception） 多层前馈型神经网络 误差逆传播算法（BP算法） 误差逆传播算法(BP算法)的若干改进 使用遗传算法(GA)训练前馈型神经网络方 前馈型神经网络结构设计方法
87
2
§3.7 基于算法的前馈型神经网络在识别问题中 的应用 §3.8 自适应线性元件 §3.9 径向基函数神经网络
87
11
表3.2 三维异或逻辑
输入样本 000 010 100 111 输出 0 1 1 0
87
12
图 3.4 异或问题的三维表示
87 13
0.5 +1
输出单元
-1.6 3 +1 1.5
x
隐含单元
+1
+1 输入 单元
x1
87
x2
14
二、定理3.1 感知器收敛定理 若函数f 是线性可分的，则感知器的学习算法在有 限次叠代后收敛。为证明此定理，先做一些简化。 (1)令‖Xk‖=1(即学习样本都是单位向量)； (2) 若 Yk<0 ， 则 用 -Xk 代 替 Xk ， 因 而 对 所 有 的 k ， 都 有 Yk>0(因f是线性可分的)； 这样，要证明上述定理只要证明以下的结论即可。
i 1 n1
(j=1,2,…,n1) (k=1,2,…,n2)
net 0 1 Y f (Wk Y ) f (net) k 1 1 net 0
87
18
Y3

Yk2
( k =1,2,...,n2 ) ( j=1,2,.....,n1 )
87
3
§3.1 感知器（Perception）
§3.1.1 §3.1.2 §3.1.3 §3.1.4 单层感知器 感知器的收敛定理 多层感知器网络 感知器用于分类问题的算例
87
4
§3.1.1 单层感知器
一、单层感知器网络 单层感知器神经网络，输入向量为X= （X1,X2,…,Xm），输出向量为Y=(Y1,Y2,…,Yn)。 感知器的输入向量为X∈Rn, 权值向量为W∈Rn 单元的输出为Y∈{1,-1}。其中：
87 8
三、单层感知器的局限性 异或逻辑为 X 1 X 2 X 1 X 2 ，假定单层感知器能 实现异或逻辑，那么，Y=W1X1+W2X2-，要求： 表 3.1 异或逻辑 输入样本 00 01 10 11 输出 0 1 1 0
87
9
W1+W2-<0W1+W2< 0+0- <00< W1+0-0W1> 0+W2-0W2>
87
16
证明 ： C(t)表示向量W(t)与W*间夹角余弦，即
W * W (t ) C (t ) W (t )
W*· W(t+1)=W*· [W(t)+X(t)]=W*· W(t)+W*· X(t)≧W*· W(t)+δ ∴ W*· W(t)≧tδ ‖W(t+1)‖2=‖W(t)‖2+2W(t)· X(t)+‖X(t)‖2<‖W(t)‖2+1 t 2 ∴ ‖W(t)‖ <t ， C (t ) ∵ C(t)<1， t 1 ∴ t 2 为一有限数。 证毕。
其中，Xˊ= (X,-1),Wˊ= (W,θ)。
87
5
y1
y2
yn
yj
θ1
w12
θ2
wmj w1n
θn
θ wmj
w11
w21
w22
wm1 xm
wmn
w1j
w2j
wij xi xm
x1
x2
w2m
x1
x2
图3.1 单层感知器网络
87
图3.2 最简单的感知器
6
二、单层感知器的学习算法 n 1 X iWi ) 令Wn+1=θ, Xn+1=-1, 则， Y f ( i 1 具体算法如下： ①初始化 给Wi(0)各赋一个较小的随机非零值。这 里Wi(t)为t时刻第i个输入的权值（1≤i≤n）,Wn+1(t)为t 时刻的阈值。 ②输入样本 X=(X1,X2,…,Xn,T),T 称为教师信号，在 两类样本分类中，如果X∈A类，则T=1；如果X∈B 类，则T=-1。
87
17
§ 3.1.3 多层感知器网络
一、多层感知器网络 两个隐层感知器的输入层有n个节点，第一隐层有 n1个节点，第二隐层有n2个节点，各层节点的输出为：
Y j1 f (Wij X i j )
n
Yk2 f (W jk Y j1 k )
j 1 3 n2 2 k
(1,1) (0,1) (0,1) (1,1) (0,1) (1,1)
(0,0)
(1,0)
(0,0)
(1,0)
(0,0)
(1,0)
(a) XOR 逻辑
(b)AND逻辑 图 3.3 线性可分性
87
(c) OR逻辑
10
§ 3.1.2 感知器的收敛定理
一、线性可分函数 对给定的X和Y，存在W和θ和线性映像函数f ， 使得： f：Rn → {1,-1}, X∈Rn, 则称 f为线性可分函数。 所谓的线性可分是指存在一个超平面（二 维为 一条直线）能将两类样本分开。 对于上面的异或逻辑可用一个平面将其输出类 别分开。平面方程为： X1W1+X2W2+X3W3=θ， X1W1+X2W2+(X1∧X2)W3=θ。