第22讲神经网络算法资料

步骤 5：权值更新。根据网络总体误差 E ，按照以下公式更新网络连接权值 vij ， w jk 。
vij vij vij
l
wjk wjk wjk
vij ( ko w jk ) y j (1 y j ) xi
k 1
wjk ko y j
其中 ko (dk ok )ok (1 ok ) 。式中 为学习速率。
>>P= -1:0.1:1; >>T=[-0.96 -0.577 -0.0729 0.377 0.641 0.66 0.461 0.1336 -0.201 -0.434 -0.5 -0.393 -0.1647 0.0988 0.3072 0.396 0.3449 0.1816 -0.0312 -0.2183 -0.3201];
首先，利用 newff 创建一个 BP 神经网络，代码为：
>>net=newff([-1,1],[5,1],{'tansig','purelin'});
其中，[-1,1]表示输入向量 P 的最小值和最大值，可以用 minmax(P)代替。[5,1]表示网络的隐含层有 5 个神经元，输出层有 1 个神经元，也就是说，该 BP 神经网络为 1-5-1 结构的神经网络。{'tansig','purelin'} 表示网络隐含层的传递函数为 tansig，输出层的传递函数为 purelin。由于没有特别设定训练函数，因此训 练函数取默认值 trainlm。 其次，设置训练参数并对网络进行训练。代码为：
步骤6：判断算法迭代是否结束（可用网络总误差是否达到精度要求等方式来判断） ，若 没有结束，返回步骤2。
BP神经网络的流程图：
三、BP神经网络Matlab工具箱函数
主要介绍 BP 神经网络用到 newff、train 和 sim 等 3 个主要函数，各函数解释如下： （1）newff——BP 神经网络参数设置函数 函数功能：构建一个 BP 神经网络。 函数形式：net=newff(PR,[S1,S2,…,SN],{TF1,TF2,…,TFN},BTF,BLF,PF) PR：为样本数据组成的矩阵，由其中最大值和最小值组成的 R× 2 维的矩阵； Si：第 i 层的节点数，共计 N 层； TFi：第 i 层节点的传递函数，包括线性传递函数 purelin；正切 S 型传递函数 tansig； 对数 S 型传递函数 logsig。默认为“tansig” ； BTF：训练函数，用于网络权值和阈值的调整，默认基于 Levenberg_Marquardt 共轭梯 度法的训练函数 trainlm。其它参数见后面表格。 BLF： 网络的学习函数， 包含 BP 学习规则 learngd； 带动量项的 BP 学习规则 learngdm。 默认为“learngdm” ； PF：网络的性能分析函数，包括均值绝对误差性能分析函数 mae；均方性能分析函数 mse。默认为“mse” 。 一般在使用过程中设置前面 4 个参数，后面 2 个参数采用系统默认参数。
2．BP神经网络学习算法及流程 以三层BP神经网络为例，它的训练过程包括以下几个步骤：
步骤 1：网络初始化。根据输入 X ( x1 , x2 , , xn ) 和期望输出 D (d1 , d2 , , dl ) 来确定网 络输入层、 隐含层和输出层神经元 （节点） 个数， 初始化各层神经元之间的连接权值 vij ，w jk ， 初始化隐含层阈值 a ，输出层阈值 b ，给定学习速率和神经元传递函数。 步骤 2：隐含层输出计算。根据输入向量 X ，输入层和隐含层间连接权值 vij 以及隐含层 阈值 a ，计算隐含层输出。
y j f ( wij xi a j )
i 1 n
其中， y j 表示神经元 j 的输出； xi 表示神经元 i 的输入； wij 表示神经元 i 与神经元 j 之间的 连接权值； a j 表示神经元 j 的阈值； f () 是输入到输出传递函数（也称激活函数） 。
下表给出了一些常用的传递函数。除线性传递函数外，其它的均是非线性的，因此，神经网络特别适差曲线图
图2 训练后BP神经网络仿真图
四、BP神经网络应用
例 2 货运量预测问题 请根据中国统计年鉴 1990-2011 年的各项数据， 以国民生产总值、 能源生产总值、 进出口贸易额、社会消费品零售总额以及固定资产投资总额等 5 个指标作为主要因素，并利用 BP 神经网 络预测货运总量。
yi f ( vij xi a j ) f ( vij xi )
j 1 j 0 n n
i 1, 2,
,m
式中， m 为隐含层节点数； vi 0 1, x0 a j ； f () 为隐含层传递函数。这里我们采用传递函 数为
f ( x) 1 1 e x
步骤 3：输出层输出计算。根据隐含层输出 Y ，连接权值 w jk 和阈值 b ，计算 BP 神经网 络的实际输出 O 。
f ( x)
1 1 e x
1 e x 1 e x
二、BP神经网络
1.BP神经网络结构：BP神经网络的拓扑结构如图所示。
其中， xi (i 1, , n) 是神经网络的（实际）输入， y j ( j 1 , , m) 是隐含层的输出，即为 输出层的输入， Ok (k 1 , , l ) 网络的（实际）输出， a , b 分别为隐含层和输出层神经元（节 点）的阈值， vij , wjk 分别为输入层到隐含层和隐含层到输出层的权值。也就是说，图中所 表示的 BP 神经网络，它的输入层神经元（节点）个数为 n ，隐含层神经元（节点）个数为 m ， 输出层神经元（节点）个数为 l ，这种结构称为 n m l 结构的三层 BP 神经网络。
（2）train——BP 神经网络训练函数 函数功能：用训练函数训练 BP 神经网络。 函数形式：[net,tr]=train(NET,P,T) NET：待训练网络，即 newff 所创建的初始网络； P：输入数据矩阵； T：期望输出数据矩阵； net：训练好的网络； tr：训练过程记录。 另外，在对 BP 神经网络训练时，需要设置某些训练参数，见下表。
1990-2011 年的货运总量及主要因素部分数据 国民生产总值 能源生产总值 进出口贸易额 （亿元） (万吨) （亿元） 18718.3 21826.2 26937.3 35260 48108.5 59810.5 70142.5 78060.9 83024.3 88479.2 98000.5 108068.2 119095.7 134977 159453.6 183617.4 215904.4 266422 316030.3 340320 399759.5 472115 103922 104844 107256 111059 118729 129034 133032 133460 129834 131935 135048 143875 150656 171906 196648 216219 232167 247279 260552 274619 296916 317987 5560.1 7225.8 9119.6 11271 20381.9 23499.9 24133.8 26967.2 26849.7 29896.2 39273.2 42183.6 51378.2 70483.5 95539.1 116921.8 140974 166863.7 179921.5 150648.1 201722.1 236402
数学建模与数学实验
神经网络
后勤工程学院数学教研室
实验目的
学习神经网络的基本原理与方法。
实验内容
1、人工神经元数学模型。
2、BP神经网络。
3、BP神经网络Matlab工具箱函数 。
4、BP神经网络应用。
神经网络（Neural Networks）是从微观结构与功能上对人脑神经系统进行 模拟而建立起来的数学模型，它具有模拟人脑思维的能力，其特点主要是具有 非线性特性、学习能力和自适应性等，是模拟人类智能的一种重要方法。神经 网络是由神经元互联而成的，能接收并处理信息，而这种信息处理主要是由神 经元之间的相互作用，即通过神经元之间的连接权值来处理并实现的。神经网 络在人工智能、自动控制、计算机科学、信息处理和模式识别等领域得到了非 常成功地应用。
神经网络训练函数 训练函数的意义 剃度下降法 动量反传的剃度下降法 动态自适应学习率(lr)的梯度下降法 带动量动态自适应学习率(lr)的梯度下降法 弹性梯度下降法 量化共轭梯度法 Levenberg_Marquardt 法 Fletcgera-Reeves 共轭梯度法 Polak-Ribiere 共轭梯度法 Powell-Beale 共轭梯度法 Matlab 中相应的函数 traingd traingdm traingda traingdx trainrp traincg trainlm traingf traingp traingb
一、人工神经元数学模型
生物神经元，也称神经细胞，它是由细胞体、树突、轴突和突触等生物组织构成的，并 通过细胞膜电位来实现生物神经元的兴奋与抑制、学习与联想等基本功能，因此，它是构成 人脑神经系统的基本功能单元。其结构如下图所示。
根据生物神经元的结构与基本功能， 可以将其简化为下图的形式， 并建立神经网络模型 的基础——人工神经元数学模型：
神经网络传递函数 名称 二值函数 线性函数
1 x 0 f ( x) 0 x 0
传递函数表达式
f ( x) ax
x0 0 f ( x) cx 0 x xc 1 x xc
分段线性函数
非对称 Sigmoid 函数 非对称 Sigmoid 函数
f ( x)
Ok f ( w jk x j bk ) f ( w jk x j )
j 1 j 0 m m
k 1, 2,