人工神经网络第3章 监督学习神经网络(2)1

• BP算法是一种学习规则
BP算法的基本思想
• 学习的类型：有导师学习 • 核心思想：
– 将输出误差以某种形式通过隐层向输入层逐层反传
将误差分摊给各层的 所有单元－－－各层 单元的误差信号
修正各单元 权值
• 学习的过程： – 信号的正向传播 误差的反向传播
BP算法的学习过程
• 正向传播： – 输入样本－－－输入层－－－各隐层－－－输出层
期望输出向量：d=(d1, d2,…,dk,…,dl)T
输入层到隐层之间的权值矩阵：V=(V1,V2,…,Vj,…,Vm)
隐层到输出层之间的权值矩阵：W=(W1,W2,…,Wk,…,Wl)
各个变量之间如何建立联系，来描述整个网络？
各层变量之间的关系
• 对于输出层：
ok f (netk )
• 对于隐层： m
• 模型的数学表达
输入向量： X=(x1,x2,…,xi,…,xn)T 隐层输出向量： Y=(y1,y2,…,yj,…,ym)T
W1○ Wk○ Wl ○
y1○
y2○ … ○ yj … ○ym
V1
Vm
○ ○○ ○ ○
x1
x2 … xi
… xn-1
xn
输出层输出向量： O=(o1,o2,…,ok,…,ol)T
第3章 监督学习神经网络
3 监督学习神经网络
3.1 单层感知器 3.2 BP神经网络 3.3 BP算法的改进 3.4 BP网络设计基础 3.5 BP网络应用与设计实例
回顾
• 单层感知器 – 模型：单计算节点感知器实际上就是一个M-P 神经元模型 – 功能：解决线性可分问题 – 局限性：不能解决线性不可分问题 – 学习算法：有导师学习
• 多层感知器 – 模型：有隐层的多层前馈网络 – 功能：能够求解非线性问题 – 局限性：隐层神经元的学习规则尚无所知
3.3BP算法及改进－主要内容
• 引言 • 基于BP算法的多层前馈网络模型 • BP算法的实现
– 基本思想 – 推导过程 – 程序实现 • BP学习算法的功能 • BP学习算法的局限性 • BP学习算法的改进
vij
E vij
i=0,1,2,…,n; j=1,2,…,m (3.4.9b)
式中负号表示梯度下降，常数η∈(0,1)表示比例系数，反映了训
j=1,2,…,m (3.4.3) j=1,2,…,m (3.4.4)
转移函数
• 单极性Sigmoid函数：
f
(
x)
1
1 e
x
• 双极性Sigmoid函数：
(3.4.5)
f
(x)
1 1
ex ex
特点：非线性、连续的函数
BP算法的实现
• 神经网络的学习 • 基本思想 • 推导过程 • 程序实现
神经网络的学习
• 学习的过程： – 神经网络在外界输入样本的刺激下不断改变网络的 连接权值乃至拓扑结构，以使网络的输出不断地接 近期望的输出。
• 学习的本质： – 对可变权值的动态调整
• 学习规则： W j r[W j (t), X (t),d j (t)]X (t) – 权值调整规则，即在学习过程中网络中各神经元的 连接权变化所依据的一定的调整规则。
• 判断是否转入反向传播阶段： – 若输出层的实际输出与期望的输出（教师信号）不符
• 误差反传 – 误差以某种形式在各层表示－－－－修正各层单元的 权值
• 网络输出的误差减少到可接受的程度 进行到预先设定的学习次数为止
关键问题
• 1、如何实现误差反传？ －－－即如何获得各层单元的误差信号？
• 2、如何建立各层单元的误差信号与权值变化量 之间的关系？
– 应用对象：多层前馈网络 – 具有非线性连续转移函数
3.4基于BP算法的多层前馈网络模型
• 三层BP网络 o1 … ok … ol
W1○ W
V1
Vm
○ ○○ ○ ○
x1
x2 … xi
… xn-1
xn
输出层 隐层 输入层
o1 … ok … ol
netk
w jk y j
j 0
y j f (net j )
n
net j vij xi i 0
o1 … ok … ol
W1○ Wk○ Wl ○
y1○
y2○ … ○ yj … ○ym
V1
Vm
○ ○○ ○ ○
x1
x2 … xi
… xn-1
xn
k=1,2,…,l (3.4.1)
k=1,2,…,l (3.4.2)
• 建立各层连接权值的变化量与误差之间的关系
-------调整权值
– 输出层与隐层之间的连接权值调整 W E
– 隐层和输入层之间的连接权值调整
W
E
W如何调整使得误差E减小？
恰好是某点导数的反方向--即负梯度方向
W
• 重点及难点：完成 E 的推导 W
建立各层连接权值与误差E之间的关系
• 输出误差E定义：
引言－－BP算法的提出
• 提高网络性能（如分类能力）的有效途径 – 包含隐层的多层前馈网络
• 长期以来没有提出解决权值调整问题的有效算法。
– 非线性连续转移函数 • BP (Error Back Proragation，BP)算法
– 1986年，Rumelhart 和McCelland领导的科学家小组《 Parallel Distributed Processing》一书
k 1
j 0
(3.4.8)
l
m
n
1 2
{dk f [
w jk f (
vij xi )]}2
k 1
j 0
i0
建立权值变化量与误差之间的关系
• 输出层与隐层之间的连接权值调整
w jk
E w jk
j=0,1,2,…,m; k=1,2,…,l (3.4.9a)
• 隐层和输入层之间的连接权值调整
(3.4.6)
E 1 (d O)2 2
• 将以上误差定义式展开至隐层：
l
l
m
E 1 2
[dk
f
(netk )]2
1 2
[dk f ( wjk y j )]2 (3.4.7)
k 1
k 1
j 0
• 进一步展开至输入层：
• 进一步展开至输入层：
l
m
E 1 2
{dk f [
w jk f (net j )]}2
BP算法的推导
• 将误差在各层获得相应表示
------建立各层连接权值与误差之间的关系
– 输出误差E
– 将E的定义式展开至隐层
E f (W , X )
– 将E的定义式展开至输入层
• 建立各层连接权值的变化量与误差之间的关系
-------调整权值
BP算法的推导
• 将误差在各层获得相应表示
------建立各层连接权值与误差之间的关系