数学建模bp神经网络讲解学习

数学建模B P神经网络论文BP 神经网络算法原理：输入信号i x 通过中间节点（隐层点）作用于输出节点，经过非线形变换，产生输出信号k y ，网络训练的每个样本包括输入向量x 和期望输出量d ，网络输出值y 与期望输出值d 之间的偏差，通过调整输入节点与隐层节点的联接强度取值ij w 和隐层节点与输出节点之间的联接强度jk T 以及阈值，使误差沿梯度方向下降，经过反复学习训练，确定与最小误差相对应的网络参数（权值和阈值），训练即告停止。

此时经过训练的神经网络即能对类似样本的输入信息，自行处理输出误差最小的经过非线形转换的信息。

变量定义：设输入层有n 个神经元，隐含层有p 个神经元,输出层有q 个神经元 输入向量：()12,,,n x x x x =隐含层输入向量：()12,,,p hi hi hi hi = 隐含层输出向量：()12,,,p ho ho ho ho = 输出层输入向量：()12,,,q yi yi yi yi = 输出层输出向量：()12,,,q yo yo yo yo =期望输出向量: ()12,,,q do d d d =输入层与中间层的连接权值: ih w 隐含层与输出层的连接权值: ho w 隐含层各神经元的阈值:h b 输出层各神经元的阈值: o b 样本数据个数: 1,2,k m =激活函数: ()f ⋅误差函数：211(()())2qo o o e d k yo k ==-∑算法步骤：Step1.网络初始化 。

给各连接权值分别赋一个区间（-1，1）内的随机数，设定误差函数e ，给定计算精度值ε和最大学习次数M 。

Step2.随机选取第k 个输入样本()12()(),(),,()n x k x k x k x k =及对应期望输出()12()(),(),,()q d k d k d k d k =oStep3.计算隐含层各神经元的输入()1()()1,2,,nh ih i h i hi k w x k b h p ==-=∑和输出()()(())1,2,,h h ho k f hi k h p ==及输出层各神经元的输入()1()()1,2,po ho h o h yi k w ho k b o q ==-=∑和输出()()(())1,2,,o o yo k f yi k o p ==Step4.利用网络期望输出和实际输出，计算误差函数对输出层的各神经元的偏导数()o k δ。

oho o hoyi e e w yi w ∂∂∂=∂∂∂ (())()()pho h o o hh hohow ho k b yi k ho k w w ∂-∂==∂∂∑211((()()))2(()())()(()())f (())()qo o o o o oo oo o o o d k yo k e d k yo k yo k yi yi d k yo k yi k k δ=∂-∂'==--∂∂'=---∑ Step5.利用隐含层到输出层的连接权值、输出层的()o k δ和隐含层的输出计算误差函数对隐含层各神经元的偏导数()h k δ。

()()oo h ho o hoyi e e k ho k w yi w δ∂∂∂==-∂∂∂ 1()()(())()()h ih h ih nih i h h i i ihihhi k e e w hi k w w x k b hi k x k w w =∂∂∂=∂∂∂∂-∂==∂∂∑212121111((()()))()2()()()1((()f(())))()2()()1(((()f(())))()2()()(()())f (())qo o o h h h h qo o o h h h qpo ho h o o h h h h o o o hoo d k yo k ho k e hi k ho k hi k d k yi k ho k ho k hi k d k w ho k b ho k ho k hi k d k yo k yi k w =====∂-∂∂=∂∂∂∂-∂=∂∂∂--∂=∂∂'=--∑∑∑∑1()()(())f (())()qh h qo ho h h o ho k hi k k w hi k k δδ=∂∂'=--∑∑ Step6.利用输出层各神经元的()o k δ和隐含层各神经元的输出来修正连接权值()ho w k 。

1()()()()()ho o h ho N Nho ho o h ew k k ho k w w w k ho k μμδηδ+∂∆=-=∂=+Step7.利用隐含层各神经元的()h k δ和输入层各神经元的输入修正连接权()ih w k 。

1()()()()()()()h ih h i ih h ih N Nih ih h i hi k e e w k k x k w hi k w w w k x k μμδηδ+∂∂∂∆=-=-=∂∂∂=+Step8.计算全局误差。

2111(()())2qm o o k o E d k y k m ===-∑∑Step9.判断网络误差是否满足要求。

当误差达到预设精度或学习次数大于设定的最大次数，则结束算法。

否则，选取下一个学习样本及对应的期望输出，返回到第三步，进入下一轮学习。

算法流程图：参数确定：确定了网络层数、每层节点数、传递函数、初始权系数、学习算法等也就确定了BP网络。

确定这些选项时有一定的指导原则，但更多的是靠经验和试凑。

1. 样本数据采用BP 神经网络方法建模的首要和前提条件是有足够多典型性好和精度高的样本。

而且，为监控训练（学习）过程使之不发生“过拟合”和评价建立的网络模型的性能和泛化能力，必须将收集到的数据随机分成训练样本、检验样本（10%以上）和测试样本（10%以上）3部分。

2.输入/输出变量一般地，BP 网络的输入变量即为待分析系统的内生变量（影响因子或自变量）数，一般根据专业知识确定。

若输入变量较多，一般可通过主成份分析方法压减输入变量，也可根据剔除某一变量引起的系统误差与原系统误差的比值的大小来压减输入变量。

输出变量即为系统待分析的外生变量（系统性能指标或因变量），可以是一个，也可以是多个。

一般将一个具有多个输出的网络模型转化为多个具有一个输出的网络模型效果会更好，训练也更方便。

3.数据的预处理由于BP 神经网络的隐层一般采用Sigmoid 转换函数，为提高训练速度和灵敏性以及有效避开Sigmoid 函数的饱和区，一般要求输入数据的值在0～1之间。

因此，要对输入数据进行预处理。

一般要求对不同变量分别进行预处理，也可以对类似性质的变量进行统一的预处理。

如果输出层节点也采用Sigmoid 转换函数，输出变量也必须作相应的预处理，否则，输出变量也可以不做预处理。

但必须注意的是，预处理的数据训练完成后，网络输出的结果要进行反变换才能得到实际值。

再者，为保证建立的模型具有一定的外推能力，最好使数据预处理后的值在0.2～0.8之间。

标准化：minmax mind d d d d αβ-'=⨯+-4.隐层数一般认为，增加隐层数可以降低网络误差，提高精度，但也使网络复杂化，从而增加了网络的训练时间和出现“过拟合(overfitting)” 造成网络的性能脆弱，泛化能力(generalization ability)下降。

Hornik 等早已证明：若输入层和输出层采用线性转换函数，隐层采用Sigmoid 转换函数，则含一个隐层的MLP 网络能够以任意精度逼近任何有理函数。

显然，这是一个存在性结论。

在设计BP 网络时可参考这一点，应优先考虑3层BP 网络（即有1个隐层）。

图 三层BP 网络的拓扑结构5.隐层节点数在BP 网络中，若隐层节点数太少，网络可能根本不能训练或网络性能很差；若隐层节点数太多，虽然可使网络的系统误差减小，但一方面使网络训练时间延长，另一方面，训练容易陷入局部极小点而得不到最优点，也是训练时出现“过拟合”的内在原因，但是目前理论上还没有一种科学的和普遍的确定方法。

为尽可能避免训练时出现“过拟合”现象，保证足够高的网络性能和泛化能力，确定隐层节点数的最基本原则是：在满足精度要求的前提下取尽可能紧凑的结构，即取尽可能少的1x 2x 1Nx隐层节点数。

因此，合理隐层节点数应在综合考虑网络结构复杂程度和误差大小的情况下用节点删除法和扩张法确定。

6.传递函数图BP网络常用的传递函数BP网络的传递函数有多种。

Log-sigmoid型函数的输入值可取任意值，输出值在0和1之间；tan-sigmod型传递函数tansig的输入值可取任意值，输出值在-1到+1之间；线性传递函数purelin的输入与输出值可取任意值。

BP网络通常有一个或多个隐层，该层中的神经元均采用sigmoid型传递函数，输出层的神经元则采用线性传递函数，整个网络的输出可以取任意值。

7.学习率学习率影响系统学习过程的稳定性。

大的学习率可能使网络权值每一次的修正量过大，甚至会导致权值在修正过程中超出某个误差的极小值呈不规则跳跃而不收敛；但过小的学习率导致学习时间过长，不过能保证收敛于某个极小值。

所以，一般倾向选取较小的学习率以保证学习过程的收敛性（稳定性），通常在0.01～0.8之间。

8.网络的初始连接权值BP算法决定了误差函数一般存在（很）多个局部极小点，不同的网络初始权值直接决定了BP算法收敛于哪个局部极小点或是全局极小点。

因此，要求计算程序必须能够自由改变网络初始连接权值。

由于Sigmoid转换函数的特性，一般要求初始权值分布在-0.5～0.5之间比较有效。

10．收敛误差界值Emin在网络训练过程中应根据实际情况预先确定误差界值。

误差界值的选择完全根据网络模型的收敛速度大小和具体样本的学习精度来确定。

当Emin 值选择较小时，学习效果好，但收敛速度慢，训练次数增加。

如果Emin值取得较大时则相反。

网络模型的性能和泛化能力：训练神经网络的首要和根本任务是确保训练好的网络模型对非训练样本具有好的泛化能力（推广性），即有效逼近样本蕴含的内在规律，而不是看网络模型对训练样本的拟合能力。

判断建立的模型是否已有效逼近样本所蕴含的规律, 主要不是看测试样本误差大小的本身，而是要看测试样本的误差是否接近于训练样本和检验样本的误差。

非训练样本误差很接近训练样本误差或比其小，一般可认为建立的网络模型已有效逼近训练样本所蕴含的规律，否则，若相差很多（如几倍、几十倍甚至上千倍）就说明建立的网络模型并没有有效逼近训练样本所蕴含的规律，而只是在这些训练样本点上逼近而已，而建立的网络模型是对训练样本所蕴含规律的错误反映。

算法的特点：1.非线性映照能力。