Matlab神经网络工具箱

梯度下降法：
wkj ek p j
W epT

delta学 习规则
对于多层感知器网络：扩展的delta学习规 则，BP算法
前馈神经网络及其主要方法
前馈神经网络(feed
forward NN)：各神经元 接受前级输入，并输出到下一级，无反馈， 可用一有向无环图表示。 前馈网络通常分为不同的层(layer)，第i层的 输入只与第i-1层的输出联结。 可见层：输入层(input layer)和输出层(output layer) 隐层(hidden layer) ：中间层
a f (n) n
a
n
Sigmoid函数
Sigmoid
特性：
Function ：
1 a f (n) 1 e n
值域a∈(0,1) 非线性，单调性 无限次可微 |n|较小时可近似线性 函数 |n|较大时可近似阈值 函数
en e n a tanh(n) n n e e
BP神经网络的特点
非线性映射能力 能学习和存贮大量输入-输出模式映射关系，而无需事 先了解描述这种映射关系的数学方程。只要能提供足 够多的样本模式对供网络进行学习训练，它便能完成 由n维输入空间到m维输出空间的非线性映射。
泛化能力 当向网络训练时输入未曾见过的非样本数据时，网络 也能完成由输入空间向输出空间的正确映射。这种能 力称为泛化能力。
1 1 T 2 J ( n ) ek ( n ) e ( n )e( n ) 2 k 2
1 1 T 2 J E ek (n ) E e (n )e(n ) 2 2 k
第八章 人工神经网络 19
误差纠正学习
wk J 对于感知器和线性网络：
ANN 结构 (连接)
单层前向网络
y1
w1m
y2
. . .
w21 w22w2m
yn
wn1 w n2 wnm
w11 w12
x1
x2
xm
多层前向网络
y1 y2
. . .
yn
Output Layer Hidden Layer Input Layer
x1 x2
. . .
. . .
. . .
xm
单层 反馈网络

神经元经突触传递信号给其他神经元（胞体或树 突） 1011个神经元/人脑 104个连接/神经元
神经元
生物神经元
电脉冲 输 入 树 突 细胞体 信息处理 形成 轴突 传输 突 触 输 出
图 12.2 生物神经元功能模型 黑箱
一般而言, ANN与经典计算方法相比并非优越, 只有当常规方法解决不了或效果 不佳时ANN方法才能显示出其优越性。尤其对问题的机理不甚了解或不能用数学模 型表示的系统,如故障诊断、特征提取和预测等问题,ANN往往是最有利的工具。另
w12 w1R w21 w2 R wS 1 wSR
b1 b b 2 bS
a f (Wp + b)
多层神经网络模型
多层神经网络简化表示
前馈神经网络
前馈神经网络(feed
forward NN)：各神经元 接受前级输入，并输出到下一级，无反馈， 可用一有向无环图表示。 前馈网络通常分为不同的层(layer)，第i层的 输入只与第i-1层的输出联结。 可见层：输入层(input layer)和输出层(output layer) 隐藏层(hidden layer) ：中间层
对数Sigmoid函数 1 a f (n) 1 e n
正切Sigmoid函数
en e n a tanh(n) n n e e
MATLAB函数: logsig(对数), tansig(正切)
单层神经网络模型
R维输入, S个神经元的单层神经网络模型
w11 w W 21 wS 1
1 y f (net ) 1 e net
BP网络的标准学习算法
学习的过程：
神经网络在外界输入样本的刺激下不断改变网 络的连接权值,以使网络的输出不断地接近期 望的输出。 学习的本质： 对各连接权值的动态调整 学习规则： 权值调整规则，即在学习过程中网络中各神经 元的连接权变化所依据的一定的调整规则。
. . .
dn
wn2 wnm
w12
w21
w22
m (k ) (k ) f wil xl di l 1
i 1, 2,, n k 1, 2,, p
x1
x2
. . .
xm-1 xm= 1
感知器学习规则
w ex
Learning Rate Error (d y) Input
监督学习

对训练样本集中的每一组输入能提供一组目标 输出 网络根据目标输出与实际输出的误差信号来调 节网络参数 导师
t(n) 期望输出
环境
输入
实际输出
神经网络
a(n)
比较
p(n)
误差信号
e(n)
非监督学习与强化学习
非监督学习：不存在导
师，网络根据外部数据 的统计规律来调节系统 参数，以使网络输出能 反映数据的某种特性 强化学习：外部环境对 网络输出只给出评价信 息而非正确答案，网络 通过强化受奖励的动作 来改善自身的性能

判断是否转入反向传播阶段：
若输出层的实际输出与期望的输出（导师信号）不 符

误差反传
误差以某种形式在各层表示－－－－修正各层单元 的权值

网络输出的误差减少到可接受的程度 进行到预先设定的学习次数为止
径向基函数网络RBF
径向基函数网络：只有一个隐层，隐层单元采用径
向基函数。隐层把原始的非线性可分的特征空间变 换到另一个空间（通常是高维空间），使之可以线 性可分。 输出为隐层的线性加权求和。采用基函数的加权和 来实现对函数的逼近。 径向基函数(radial basis function, RBF)：径向对称 的标量函数k(||x-xc||)，最常用的RBF是高斯核函数
i 1 R
传递函数 f 输出
a f ( wp b)
常用传递函数
阈值函数
1 (n 0) MATLAB函数: hardlim a f (n) hardlim(n) 0 (n 0)
a 1 -1
-b
Wp
1 (n 0) a f (n) hardlim(n) 1 (n 0)
BP网络的标准学习算法-算法思想
学习的类型：有导师学习 核心思想：
将输出误差以某种形式通过隐层向输入层逐层反传
将误差分摊给各层的所有 单元－－－各层单元的误 差信号
学习的过程：
修正各单元权 值
信号的正向传播
误差的反向传播
BP网络的标准学习算法-学习过程

正向传播：
输入样本－－－输入层－－－各隐层－－－输出层
感知器学习规则
x
. . .
. . .
y

+
w (d y )x

d
BP神经网络

Rumelhart，McClelland于1985年提出了BP网络的误差反向 后传BP(Back Propagation)学习算法
David Rumelhart
J. McClelland
BP算法基本原理 利用输出后的误差来估计输出层的直接前导层的误差 ，再用这个误差估计更前一层的误差，如此一层一层 的反传下去，就获得了所有其他各层的误差估计。
MATLAB函数: hardlims
线性函数

Purelin Transfer Function ：
a f (n) n
a
n
MATLAB函数: purelin
Sigmoid函数
Sigmoid
特性：
Function ：
值域a∈(0,1) 非线性，单调性 无限次可微 |n|较小时可近似线性 函数 |n|较大时可近似阈值 函数
newp默认权值和阈值为零(零初始化函数initzero). net = newp([-2,+2;-2,+2],2); W=net.IW{1,1} %显示网络的权值 b=net.b{1} %显示网络的阈值 W= 0 0 b= 0
感知器(perceptron):

单层前馈网络 传递函数为阈值函数
主要功能是模式分类
感知器的生成
函数newp用来生成一个感知器神经网络
newp
net = newp( pr, s, tf, lf )
net: 函数返回参数,表示生成的感知器网络
pr: 一个R×2矩阵, 由R维输入向量的每维最小值和最
输入
环境
输出
神经网络
环境
输入 神经网络
评价信息误差纠正学习 对于输出层 Nhomakorabeak个神经元的
实际输出: ak(n) 目标输出: tk(n) 误差信号: ek(n) = tk(n) - ak(n) 目标函数为基于误差信号ek(n)的函数，如误差平方 和判据(sum squared error, SSE)，或均方误差判据 (mean squared error, MSE, 即SSE对所有样本的期望)
(x x c ) (x x c ) k ( x x c ) exp( ) 2 2
T
径向基函数网络结构
MATLAB神经网络工具箱
神经元模型
Neuron Model： 多输入，单输出，带偏置
输入:R维列向量
p [ p1, pR ]T
阈值:标量 b