BP神经网络基本原理与应用PPT

β f（net）=
-γ
β、γ、θ均为非负实数，θ为阈值
二值形式： 1
f（net）= 0
双极形式： 1
f（net）= -1
if net>θ if net≤ θ
if net>θ if net≤ θ if net>θ if net≤ θ
从动物神经网络到人工神经网络
人工神经网络初识
2
人工神经网络（ANN）
BP神经网络的学习
• 网络结构 – 输入层有n个神经元，隐含层有q个神经元, 输出层有m个神经元
BP神经网络的学习
– 输入层与中间层的连接权值: wih
– 隐含层与输出层的连接权值: – 隐含层各神经元的阈值: bh
who
– 输出层各神经元的阈值: bo
– 样本数据个数: k 1,2, m
– 激活函数:
目录
1.神经网络的 来源
4.BP神经网 络与应用
BP神经网络
2.ANN初识
3.BP神经网 络
人工神经网络来源
1
大脑可视作为10的12次方个神经元组成的神 经网络。
• 图 神经元的解剖图
因为人与动物神经网络足够复杂 一个神经元一般会与100到10000个神经元连
接，所构成的网络是一个巨复杂网络！
从动物神经网络到人工神经网络
激活函数执行对该神经元所获得的网络输
入的变换，也可以称为激励函数、活化函
数： o=f（net）
1、线性函数（Liner Function）
f（net）=k*net+c
o
c net
o
从动物神经网络到人工神经网络
2、阈值函数（Threshold Function） 阶跃函数
梯度下降的基本原理： 梯度下降法又称最速下降法。函数J(a)在某点ak的
梯度是一个向量，其方向是J(a)增长最快的方向。显然， 负梯度方向是J(a)减少最快的方向。
在梯度下降法中，求某函数极大值时，沿着梯度 方向走，可以最快达到极大点；反之，沿着负梯度方 向走，则最快地达到极小点。
BP神经网络的学习
BP网络常用传递函数:
BP网络的传递函数：
o
f
(net)
1
1 enet
BP神经网络的学习
• 学习过程： 神经网络在外界输入样本的刺激下不断改变网络连
接的权值，阈值。以使网络的输出不断地接近期望的 输出。 • 学习的本质：
对各连接权值、阈值的动态调整 • 学习规则：
权值、阈值调整规则，即在学习过程中网络中各神 经元的连接权变化所依据的一定的调整规则
BP神经网络的学习
(三) BP算法调整，输出层的权值调整
式中： —学习率 最终形式为：
BP神经网络的学习
(三) BP算法调整，隐藏层的权值调整
隐层各神经元的பைடு நூலகம்值调整公式为：
同理，输出层、隐藏层的阈值调整就是误差函数 对阈值的偏导函数。
BP学习算法的步骤:
Step1
• 选定学习的数据,p=1,…,P, 随机确定初始 权矩阵W（0）
BP神经网络
3
何为BP神经网络
BP（Back Propagation）网络是1986年由Rumelhart 和McCelland为首的科学家小组提出，是一种按误差逆 传播算法训练的多层前馈网络。是目前应用最广泛的 神经网络模型之一。BP网络能学习和存贮大量的输入输出模式映射关系，而无需事前揭示描述这种映射关 系的数学方程。
❖ 众多神经元之间组合形成神经网络，例如下图 的含有中间层（隐层）的网络
人工神经网络（ANN）
c
k l
c
k j
cqk
… … c1 Wp1
W1j cj Wpj
W1q cq
输出层LC
W11 Wi1
Wij
Wiq Wpq W
… b1 Vn1
Vh1 V11
V1i bi Vhi
… Vni
V1p bp Vhp Vnp
f()
BP神经网络的学习
(一) 误差函数的确定 网络学习误差函数分为两类：（t为预期值，y为输出 值） A、网络对样本逐个的顺序输入而不断学习，是基于单 个样本误差e的最小值进行。
B、第二是待样本全部输入后，基于E的最小值来完成 权值空间的梯度搜索，即批处理过程。
BP神经网络的学习
(二)误差梯度下降法
(二)误差梯度下降法
求函数J(a)极小值的问题，可以选择任意初始点a0,从a0出发沿着负 梯度方向走，可使得J(a)下降最快。 s(0)：点a0的搜索方向。
BP神经网络的学习
(三) BP算法调整，输出层的权值调整
直观解释
当误差对权值的 偏导数大于零时，权 值调整量为负，实际 输出大于期望输出， 权值向减少方向调整， 使得实际输出与期望 输出的差减少。当误 差对权值的偏导数小 于零时，权值调整量 为正，实际输出少于 期望输出，权值向增 大方向调整，使得实 际输出与期望输出的 差减少。
Step2 • 用学习数据计算网络输出
Step3 • 用（10）式反向修正,直到用完所有学
习数据.
wl( p ) (i,
j)
wl( p1) (i,
j)
a ( ( p ) ( p )
l
l 1
j ),
l 1,...,L,
BP网络设计：
BP神经网络核心思想
BP算法由数据流的前向计算（正向传播）和 误差信号的反向传播两个过程构成。
BP网络常用传递函数:
BP网络的传递函数有多种。Log-sigmoid型函数的输入值可取任意值，输出值 在0和1之间；tan-sigmod型传递函数tansig的输入值可取任意值，输出值在-1 到+1之间；线性传递函数purelin的输入与输出值可取任意值。BP网络通常有一 个或多个隐层，该层中的神经元均采用sigmoid型传递函数，输出层的神经元则 采用线性传递函数，整个网络的输出可以取任意值。
隐含层LB V
… a1
… ah
an 输入层LA
a1k
a
k h
a
k n
基本神经网络的拓扑结构
人工神经网络（ANN）分类
从网络性能角度，可分为连续型与 离散型网络、确定性与随机性网络
从网络结构角度，可分为前向网络 与反馈网络
从学习方法角度，可分为有导师学 习网络和无导师学习网络
按连接突触性质，可分为一阶线性 关联网络和高阶非线性关联网络
并行的
运作与存贮同 时进行
有自我学习
从动物神经网络到人工神经网络
❖ 神经元的数学模型
图 神经元的数学模型
X 为输入，W为权值，y为输出，b为阈值，f(*)为激活函数
从动物神经网络到人工神经网络
❖ 神经元的数学公式
输入值求和： 输出值计算：
X 为输入，W为权值，y为输出，b为阈值，f(*)为激活函数