神经网络及应用第三章感知器神经网络

1

Neural Networks & Application
3.1 单层感知器
z 3.1.1 感知器模型 单层感知器：只有一层处理单元的感知器
输出层（处理层）
O = (o1, o2 ,..., om )T W j = (w1 j , w2 j ,..., wnj )T , j = 1, 2,..., m
13
Neural Networks & Application
3.1 单层感知器
z ADALINE有两种输出：
1）变换函数为线性函数，输出为模拟量
y = f (W T X ) = W T X
2）变换函数为符号函数，输出为双极性数字量
q
=
sgn(
y)
=
⎧1 ⎨⎩−1
y≥0 y=0
z ADALINE的功能：将ADALINE的期望输出与实际的模拟输出
对各权值w0j(0), w2j(0), …, wnj(0), j=1, 2, …, m (m为计算层的节点 数)赋予较小的非零随机数，设置 p=1； z Step 2: 输入样本对{X p，d p}，其中 X p = (-1, x1p, x2p , …, xnp), d p = (d1p, d2p , …, dnp)为期望的输出向量（教师信号），上标p表示样本对 的模式序号，设样本总数为P，则 p = 1, 2, …, P；
3.1 单层感知器
z “或”运算 – 真值表
x1
x2
y
0
0
1
0
1
1
1
0
1
1
1
0
如：经过训练得到分类判决方程为 x1 + x2 − 0.5 = 0
19
x1
x2
1 1 0.5
“与”逻辑感知器
Neural Networks & Application
3.1 单层感知器
z 3.1.5 单层感知器的局限性
用单计算节点实现逻辑运算问题 z “与”运算
z 通过调整权值和阈值来改变分界平面的方向与位置，可以将输 入样本分为两类。
7
Neural Networks & Application
3.1 单层感知器
1）输入二维向量 X=(x1, x2)T 输入样本可以用两输入分量所构成的平面上的一个点表 示，节点j的输出为
oj
=
⎧1 ⎨⎩−1
w1 j x1 + w2 j x2 − Tj > 0 w1 j x1 + w2 j x2 − Tj < 0
oj
=
⎧1 ⎨⎩−1
w1 j x1 + w2 j x2 + w3 j x3 − Tj > 0 w1 j x1 + w2 j x2 + w3 j x3 − Tj < 0
z 则由方程 w1 j x1 + w2 j x2 + w3 j x − Tj = 0
z 确定的平面成为三维输入样本空间上的一个分界平面，该分界 平面在样本空间的方向和位置，由感知器权值和阈值确定。
= (0.7, 0.8, -0.6, 0) T + 0.1*[(-1) - (-1)] *(-1, 0, 1.5, -0.5) T
= (0.7, 0.8, -0.6, 0) T z Step 3: 输入X3，有
d2 = o2(1)，所以W(2)=W(1)
W(2)T X3 = (0.7, 0.8, -0.6, 0)(-1, -1, 1, 0.5) T = -2.1
η X
2
ε X，则有Δε
=
−ηε
z 可以看出Δε与ε符号永远相反，所以ε的绝对值在单调下 降，y总在不断地接近d，因此LMS算法可以保证ADALINE在
自适应学习时的收敛性。
16
Neural Networks & Application
4
3.1 单层感知器
z ADALINE自适应滤波器
17
Neural Networks & Application
netj > 0
则由方程
w1 j x1 + w2 j x2 − Tj = 0
确定的直线成为二维输入样 本空间上的一条分界线。
netj < 0
单计算节点感知器对二维样本的分类
6
Neural Networks & Application
3.1 单层感知器
3）推广到n维空间，输入向量为X=(x1, x2 , …, xn)T，n个输入分量构 成一个n维空间。由方程 w1 j x1 + w2 j x2 + ... + wnj x − Tj = 0 可定义一个n维空间上的超平面，可以将输入样本分为两类。
输入层（感知层）
3
单层感知器
X = (x1, x2 ,..., xn )T Neural Networks & Application
3.1 单层感知器
z 1958年，美国心理学家 Frank Rosenblatt 提出一种具有 单层计算单元的神经网络，称为Perceptron, 及感知器。
z 感知器研究中首次提出了自组织、自学习的思想，而 且对于所能解决的问题存在着收敛算法，并能从数学 上严格证明，因而对神经网络的研究起了重要推动作 用。
– 真值表
x1
x2
y
0
0
0
0
1
0
1
0
0
1
1
1
如：经过训练得到分类判决方程为
0.5x1 + 0.5x2 − 0.75 = 0
18
x1 x2
“与”逻辑感知器
Neural Networks & Application
3.2 单层感知器
z “异或”运算
– 真值表
x1
x2
y
x1
0
0
0
0
1
1
1
0
1
x2
1
1
0
如果两类样本可以用直线、平面或超平面分开，称为线性可分，否 则为线性不可分。
3.1 单层感知器
z 例题：某单计算节点感知器有3个输入，给定3对训练样本如下：
X1 = (-1, 1, -2, 0)T
d1=-1
X2 = (-1, 0, 1.5, -0.5)T d2=-1
X3 = (-1, -1, 1, 0.5)T
d3=1
设初始权向量W(0) = (0.5, 1, -1, 0)T, η=0.1。（输入向量中第一个 规分则量训x0恒练等该于感-知1，器权。向量中第一个分量为阈值）试根据以上学习
第3章 感知器神经网络
z 单层感知器
z 多层感知器
z 基本BP算法
z 标准BP算法的改进
z 基于BP算法的多层感知器设计基础
z 基于BP算法的多层感知器应用与设计实例
z 课件下载：
:8080/aiwebdrive/wdshare/getsh
are.do?action=exhibition&theParam=liangjing@zzu.e
z 可见，一个最简单的单计算节点感知器具有分类功能，其分类 原理是将分类知识储存于感知器的权向量（包括阈值）中，由 权向量确定的分类判决界面将输入模式分为两类。
8
Neural Networks & Application
2
3.1 单层感知器
z 3.1.3 感知器的学习算法
采用感知器学习规则，训练步骤如下： z Step 1:
性，太小则使训练的收敛速度变慢，一般取0<η≤1；
z Step 5: p=p+1,如果 p ≤ P,返回到Step2 ，否则转到Step 6 ；
z Step 6: 如果感知器对所有样本的实际输出与期望输出相等，则停止; 否则设置p=1，返回Step2。
10
Neural Networks & Application
11
Neural Networks & Application
3.1 单层感知器
z Step 3:
计算各节点的实际输出
o
p j
(t)
=
sgn(W
T j
(t ) X
p
),
j
=
1,
2,..., m
z Step 4:
调整各节点对应的权值，W j
(t
+ 1)
=
Wj
(t)
+η[d
p j
−
o
p j
(t)]X
p
η为学习率，用于控制调整速度，η值太大会影响训练的稳定
9
Neural Networks & Application
3.1 单层感知器
z 已经证明，如果输入样本线性可分，无论感知器的初始权 向量如何取之，经过有限次调整后，总能稳定到一个权向 量，该权向量确定的超平面能将两类样本正确分开。
z 能将样本正确分类的权向量并不是唯一的，一般初始权向 量不同，训练过程和所得到的结果也不同，但都能满足误 差为0的要求。
n
∑ net ' j = wij xi i =1
离散型单层感知器的变换函数一般采用符号函数
n
∑ oj = sgn(net ' j − Tj ) = sgn(
wij
xi
)
=
sgn(W
T j
X
)
i=0
4
Neural Networks & Application
1
3.1 单层感知器
z 3.1.2 感知器的功能