bp神经网络及matlab实现讲解学习
(完整版)BP神经网络matlab实例(简单而经典).doc
p=p1';t=t1';[pn,minp,maxp,tn,mint,maxt]=premnmx(p,t); % 原始数据归一化net=newff(minmax(pn),[5,1],{'tansig','purelin'},'traingdx'); %设置网络,建立相应的BP 网络net.trainParam.show=2000; % 训练网络net.trainParam.lr=0.01;net.trainParam.epochs=100000;net.trainParam.goal=1e-5;[net,tr]=train(net ,pn,tn); %调用TRAINGDM 算法训练BP 网络pnew=pnew1';pnewn=tramnmx(pnew,minp,maxp);anewn=sim(net,pnewn);anew=postmnmx(anewn,mint,maxt); %对 BP 网络进行仿真%还原数据y=anew';1、 BP 网络构建（1）生成 BP 网络net newff ( PR,[ S1 S2...SNl],{ TF1 TF 2...TFNl }, BTF , BLF , PF ) PR ：由R 维的输入样本最小最大值构成的R 2 维矩阵。
[ S1 S2...SNl] ：各层的神经元个数。
{TF 1 TF 2...TFNl } ：各层的神经元传递函数。
BTF ：训练用函数的名称。
（2）网络训练[ net,tr ,Y, E, Pf , Af ] train (net, P, T , Pi , Ai ,VV , TV )（3）网络仿真[Y, Pf , Af , E, perf ] sim(net, P, Pi , Ai ,T ){'tansig','purelin'},'trainrp'BP 网络的训练函数训练方法梯度下降法有动量的梯度下降法自适应 lr 梯度下降法自适应 lr 动量梯度下降法弹性梯度下降法训练函数traingd traingdm traingda traingdx trainrpFletcher-Reeves 共轭梯度法traincgf Ploak-Ribiere 共轭梯度法traincgpPowell-Beale 共轭梯度法traincgb 量化共轭梯度法trainscg 拟牛顿算法trainbfg 一步正割算法trainoss Levenberg-Marquardt trainlmBP 网络训练参数训练参数net.trainParam.epochsnet.trainParam.goal net.trainParam.lrnet.trainParam.max_fail net.trainParam.min_grad net.trainParam.show net.trainParam.timenet.trainParam.mc net.trainParam.lr_inc 参数介绍最大训练次数（缺省为10）训练要求精度（缺省为0）学习率（缺省为0.01 ）最大失败次数（缺省为5）最小梯度要求（缺省为1e-10）显示训练迭代过程（ NaN 表示不显示，缺省为 25）最大训练时间（缺省为inf ）动量因子（缺省0.9）学习率lr增长比（缺省为1.05）训练函数traingd 、traingdm 、traingda 、traingdx 、 trainrp 、 traincgf 、traincgp 、traincgb 、trainscg、trainbfg 、 trainoss、 trainlmtraingd 、traingdm 、traingda 、traingdx 、 trainrp 、 traincgf 、traincgp 、traincgb 、trainscg、trainbfg 、 trainoss、 trainlmtraingd 、traingdm 、traingda 、traingdx 、 trainrp 、 traincgf 、traincgp 、traincgb 、trainscg、trainbfg 、 trainoss、 trainlmtraingd 、traingdm 、traingda 、traingdx 、 trainrp 、 traincgf 、traincgp 、traincgb 、trainscg、trainbfg 、 trainoss、 trainlmtraingd 、traingdm 、traingda 、traingdx 、 trainrp 、 traincgf 、traincgp 、traincgb 、trainscg、trainbfg 、 trainoss、 trainlmtraingd 、traingdm 、traingda 、traingdx 、 trainrp 、 traincgf 、traincgp 、traincgb 、trainscg、trainbfg 、 trainoss、 trainlmtraingd 、traingdm 、traingda 、traingdx 、 trainrp 、 traincgf 、traincgp 、traincgb 、trainscg、trainbfg 、 trainoss、 trainlmtraingdm 、 traingdx traingda 、traingdxnet.trainParam.lr_dec 学习率 lr 下降比（缺省为 0.7） traingda 、 traingdxnet.trainParam.max_perf_inc 表现函数增加最大比（缺省traingda 、 traingdx为 1.04）net.trainParam.delt_inc 权值变化增加量（缺省为trainrp1.2）net.trainParam.delt_dec 权值变化减小量（缺省为trainrp0.5）net.trainParam.delt0 初始权值变化（缺省为 0.07） trainrpnet.trainParam.deltamax 权值变化最大值（缺省为trainrp50.0）net.trainParam.searchFcn 一维线性搜索方法（缺省为traincgf 、traincgp 、traincgb 、srchcha）trainbfg 、 trainossnet.trainParam.sigma 因为二次求导对权值调整的trainscg影响参数（缺省值 5.0e-5）mbda Hessian 矩阵不确定性调节trainscg参数（缺省为 5.0e-7）net.trainParam.men_reduc 控制计算机内存/ 速度的参trainlm量，内存较大设为1，否则设为 2（缺省为 1）net.trainParam.mu 的初始值（缺省为0.001） trainlmnet.trainParam.mu_dec 的减小率（缺省为0.1）trainlmnet.trainParam.mu_inc 的增长率（缺省为10）trainlmnet.trainParam.mu_max 的最大值（缺省为1e10）trainlm2、 BP 网络举例举例 1、%traingdclear;clc;P=[-1 -1 2 2 4;0 5 0 5 7];T=[-1 -1 1 1 -1];%利用 minmax函数求输入样本范围net = newff(minmax(P),T,[5,1],{'tansig','purelin'},'trainrp');net.trainParam.show=50;%net.trainParam.lr=0.05;net.trainParam.epochs=300;net.trainParam.goal=1e-5;[net,tr]=train(net,P,T);net.iw{1,1}%隐层权值net.b{1}%隐层阈值net.lw{2,1}%输出层权值net.b{2}%输出层阈值sim(net,P)BP 神经网络来完成非线性函数的逼近任务，其中隐层神经元个数为五个。
(完整版)BP神经网络matlab实例(简单而经典)
p=p1';t=t1';[pn,minp,maxp,tn,mint,maxt]=premnmx(p,t); %原始数据归一化net=newff(minmax(pn),[5,1],{'tansig','purelin'},'traingdx');%设置网络,建立相应的BP网络net.trainParam.show=2000; % 训练网络net.trainParam.lr=0.01;net.trainParam.epochs=100000;net.trainParam.goal=1e-5;[net,tr]=train(net ,pn,tn); %调用TRAINGDM算法训练BP 网络pnew=pnew1';pnewn=tramnmx(pnew,minp,maxp);anewn=sim(net,pnewn); %对BP网络进行仿真anew=postmnmx(anewn,mint,maxt); %还原数据y=anew';1、BP网络构建（1）生成BP网络=net newff PR S S SNl TF TF TFNl BTF BLF PF(,[1 2...],{ 1 2...},,,)PR：由R维的输入样本最小最大值构成的2R⨯维矩阵。
S S SNl：各层的神经元个数。
[ 1 2...]{ 1 2...}TF TF TFNl：各层的神经元传递函数。
BTF：训练用函数的名称。
（2）网络训练[,,,,,] (,,,,,,)=net tr Y E Pf Af train net P T Pi Ai VV TV（3）网络仿真=[,,,,] (,,,,)Y Pf Af E perf sim net P Pi Ai T{'tansig','purelin'},'trainrp'2、BP网络举例举例1、%traingdclear;clc;P=[-1 -1 2 2 4;0 5 0 5 7];T=[-1 -1 1 1 -1];%利用minmax函数求输入样本范围net = newff(minmax(P),T,[5,1],{'tansig','purelin'},'trainrp');net.trainParam.show=50;%net.trainParam.lr=0.05;net.trainParam.epochs=300;net.trainParam.goal=1e-5;[net,tr]=train(net,P,T);net.iw{1,1}%隐层权值net.b{1}%隐层阈值net.lw{2,1}%输出层权值net.b{2}%输出层阈值sim(net,P)举例2、利用三层BP神经网络来完成非线性函数的逼近任务，其中隐层神经元个数为五个。
BP神经网络Matlab实例(2)
变量mu确定了学习是根据牛顿法还是梯度法来完成，下式为更新参数的L-M规则：% jj = jX * jX% je = jX * E% dX = -(jj+I*mu) \ je随着mu的增大，LM的项jj可以忽略。
因此学习过程主要根据梯度下降即mu/je项，只要迭代使误差增加，mu也就会增加，直到误差不再增加为止，但是，如果mu太大，则会使学习停止，当已经找到最小误差时，就会出现这种情况，这就是为什么当mu达到最大值时要停止学习的原因。
mu为u的初始值，默认为0.001mu_dec为u的减小率，默认为0.1mu_inc为u的增长率，默认为10mu_max为u的最大值，默认为1e10BP神经网络Matlab实例（1）采用Matlab工具箱函数建立神经网络，对一些基本的神经网络参数进行了说明，深入了解参考Matlab帮助文档。
% 例1 采用动量梯度下降算法训练 BP 网络。
% 训练样本定义如下：% 输入矢量为% p =[-1 -2 3 1% -1 1 5 -3]% 目标矢量为 t = [-1 -1 1 1]close allclearclc% ---------------------------------------------------------------% NEWFF——生成一个新的前向神经网络,函数格式：% net = newff(PR,[S1 S2...SNl],{TF1 TF2...TFNl},BTF,BLF,PF) takes,% PR -- R x 2 matrix of min and max values for R input elements% （对于R维输入，PR是一个R x 2 的矩阵，每一行是相应输入的边界值）% Si -- 第i层的维数% TFi -- 第i层的传递函数, default = 'tansig'% BTF -- 反向传播网络的训练函数, default = 'traingdx'% BLF -- 反向传播网络的权值/阈值学习函数, default = 'learngdm'% PF -- 性能函数, default = 'mse'% ---------------------------------------------------------------% TRAIN——对 BP 神经网络进行训练，函数格式：% train(NET,P,T,Pi,Ai,VV,TV)，输入参数：% net -- 所建立的网络% P -- 网络的输入% T -- 网络的目标值, default = zeros% Pi -- 初始输入延迟, default = zeros% Ai -- 初始网络层延迟, default = zeros% VV -- 验证向量的结构, default = []% TV -- 测试向量的结构, default = []% 返回值：% net -- 训练之后的网络% TR -- 训练记录(训练次数及每次训练的误差)% Y -- 网络输出% E -- 网络误差% Pf -- 最终输入延迟% Af -- 最终网络层延迟% ---------------------------------------------------------------% SIM——对 BP 神经网络进行仿真，函数格式：% [Y,Pf,Af,E,perf] = sim(net,P,PiAi,T)% 参数与前同。
BP神经网络matlab实现的基本步骤
1、数据归一化2、数据分类，主要包括打乱数据顺序，抽取正常训练用数据、变量数据、测试数据3、建立神经网络，包括设置多少层网络（一般3层以内既可以，每层的节点数（具体节点数，尚无科学的模型和公式方法确定，可采用试凑法，但输出层的节点数应和需要输出的量个数相等），设置隐含层的传输函数等。
关于网络具体建立使用方法，在后几节的例子中将会说到。
4、指定训练参数进行训练，这步非常重要，在例子中，将详细进行说明5、完成训练后，就可以调用训练结果，输入测试数据，进行测试6、数据进行反归一化7、误差分析、结果预测或分类，作图等数据归一化问题归一化的意义：首先说一下，在工程应用领域中，应用BP网络的好坏最关键的仍然是输入特征选择和训练样本集的准备，若样本集代表性差、矛盾样本多、数据归一化存在问题，那么，使用多复杂的综合算法、多精致的网络结构，建立起来的模型预测效果不会多好。
若想取得实际有价值的应用效果，从最基础的数据整理工作做起吧，会少走弯路的。
归一化是为了加快训练网络的收敛性，具体做法是：1 把数变为（0，1）之间的小数主要是为了数据处理方便提出来的，把数据映射到0～1范围之内处理，更加便捷快速，应该归到数字信号处理范畴之内。
2 把有量纲表达式变为无量纲表达式归一化是一种简化计算的方式，即将有量纲的表达式，经过变换，化为无量纲的表达式，成为纯量比如，复数阻抗可以归一化书写：Z = R + jωL = R(1 + jωL/R) ，复数部分变成了纯数量了，没有量纲。
另外，微波之中也就是电路分析、信号系统、电磁波传输等，有很多运算都可以如此处理，既保证了运算的便捷，又能凸现出物理量的本质含义。
神经网络归一化方法：由于采集的各数据单位不一致，因而须对数据进行[-1,1]归一化处理，归一化方法主要有如下几种，供大家参考：1、线性函数转换，表达式如下：复制内容到剪贴板代码:y=(x-MinValue)/(MaxValue-MinValue)说明：x、y分别为转换前、后的值，MaxValue、MinValue分别为样本的最大值和最小值。
神经网络建模及Matlab中重要的BP网络资料
神经网络建模及Matlab中重要的BP网络一、神经组织的基本特征1．细胞体是一个基本的初等信号处理器，轴突是信号的输出通路，树突是信号的输入通路。
信号从一个神经细胞经过突触传递到另一个细胞。
2．不同的神经元之间有不同的作用强度，称为联接强度。
当某细胞收到信号时，它的电位发生变化，如果电位超过某一阈值时，该细胞处于激发态，否则处于抑制状态。
3．两神经元之间的联接强度随其激发与抑制行为相关性的时间平均值正比变化，也就是说神经元之间的联接强度不是一成不变的。
这就是生物学上的Hebb 律。
二、人工神经元的M-P模型（McCulloch、Pitts,1943）1．构造一个模拟生物神经组织的人工神经网络的三要素：（1）．对单个神经元给出定义；（2）．定义网络结构：决定神经元数量及连接方式；（3）．给出一种方法，决定神经元之间的联接强度。
2．M-P模型其中，t表示时间S i (t)表示第i个神经元在t时刻的状态，Si(t)=1表示处于激发态，Si(t)=0表示处于抑制态wij表示第j个神经元到第i个神经元的联接强度，称之为权，可正可负表示第i个神经元在t时刻所接收到的所有信号的线性迭加。
μi表示神经元i的阈值, 可以在模型中增加一个S k(t)=1神经元k，并且w ik=-μi,则阈值可归并到和号中去。
注：1．M-P神经元虽然简单，但可以完成任何计算。
2．神经元的状态可以取[0，1]中的连续值，如用以下函数代替θ(x): μiWi1∑Wi2Wi3I2H2H3I3O1H1I4I1O2输出层Oi输入层Ik隐含层Hj权Wjk权Wij三、多层前传网络1.特点：Ø相邻层全互连Ø同层没有连接Ø输出与输入没有直接联系2．各层神经元个数的确定输入层、输出层的神经元个数由研究对象的输入、输出信息来确定。
隐含层：3．符号说明μ：表示一个确定的已知样品的标号；i, j, k：分别对应于输出层、隐含层、输入层的下标；将第μ个样品的原始数据输入网络时，相应输出单元状态；将第μ个样品的原始数据输入网络时，相应隐含单元状态；将第μ个样品的原始数据输入网络时，相应输入单元数据；wij：从隐含层第j个神经元到输出层第i个神经元的联接强度；wjk：从输入层第k个神经元到隐含层第j个神经元的联接强度；4．网络数据流程对应于输入层的输入：隐单元j的输入是：对应的输出是：输出单元i收到的迭加信号是：输出单元i的输出是：显然输出是所有权w={wij ,wjk}的函数四、向后传播算法(Back-Propagation)设样品μ在输出单元i上的理想输出为，则函数：表示了在一定的权下，理想输出与实际输出的差异。
基于MATLAB的BP人工神经网络设计
基于MATLAB的BP人工神经网络设计目录
一、介绍1
1.1研究背景1
1.2BP神经网络1
二、BP神经网络的设计3
2.1BP神经网络模型原理3
2.2BP神经网络模型参数5
2.3权重偏置矩阵更新方法6
三、MATLAB实现BP神经网络8
3.1MATLAB软件环境8
3.2代码实现8
3.3实验结果10
四、结论及展望12
一、介绍
1.1研究背景
人工神经网络(ANNs)被归类为一种模拟生物神经网络的模型，具有高度学习能力和自适应性，用于解决有关模式识别、拟合曲线、识别图像、辨识声音、推理、预测等问题。
在这些任务中，Backpropagation (BP)神
经网络是应用最广泛的神经网络结构。
BP神经网络是一种反向传播的多
层前馈神经网络，它的结构简单、计算方法有效，可以学习训练集的特征，在测试集上取得较好的精度。
1.2BP神经网络
BP神经网络(或叫反向传播网络，BP网络)是一种多层前馈神经网络，它是由对神经网络训练的单步算法“反向传播算法”δ开发的。
BP神经
网络由输入层、隐层和输出层构成，它将被调节的参数及权值分配给每个
网络层，以调整网络性能的训练过程。
(完整版)BP神经网络matlab实例(简单而经典)
p=p1';t=t1';[pn,minp,maxp,tn,mint,maxt]=premnmx(p,t); %原始数据归一化net=newff(minmax(pn),[5,1],{'tansig','purelin'},'traingdx');%设置网络,建立相应的BP网络net.trainParam.show=2000; % 训练网络net.trainParam.lr=0.01;net.trainParam.epochs=100000;net.trainParam.goal=1e-5;[net,tr]=train(net ,pn,tn); %调用TRAINGDM算法训练BP 网络pnew=pnew1';pnewn=tramnmx(pnew,minp,maxp);anewn=sim(net,pnewn); %对BP网络进行仿真anew=postmnmx(anewn,mint,maxt); %还原数据y=anew';1、BP网络构建（1）生成BP网络=net newff PR S S SNl TF TF TFNl BTF BLF PF(,[1 2...],{ 1 2...},,,)PR：由R维的输入样本最小最大值构成的2R⨯维矩阵。
S S SNl：各层的神经元个数。
[ 1 2...]{ 1 2...}TF TF TFNl：各层的神经元传递函数。
BTF：训练用函数的名称。
（2）网络训练[,,,,,] (,,,,,,)=net tr Y E Pf Af train net P T Pi Ai VV TV（3）网络仿真=[,,,,] (,,,,)Y Pf Af E perf sim net P Pi Ai T{'tansig','purelin'},'trainrp'2、BP网络举例举例1、%traingdclear;clc;P=[-1 -1 2 2 4;0 5 0 5 7];T=[-1 -1 1 1 -1];%利用minmax函数求输入样本范围net = newff(minmax(P),T,[5,1],{'tansig','purelin'},'trainrp');net.trainParam.show=50;%net.trainParam.lr=0.05;net.trainParam.epochs=300;net.trainParam.goal=1e-5;[net,tr]=train(net,P,T);net.iw{1,1}%隐层权值net.b{1}%隐层阈值net.lw{2,1}%输出层权值net.b{2}%输出层阈值sim(net,P)举例2、利用三层BP神经网络来完成非线性函数的逼近任务，其中隐层神经元个数为五个。
bp神经网络matlab实例(bp神经网络matlab实例)
bp神经网络matlab实例（bp神经网络matlab实例）Case 1 training BP network by momentum gradient descent algorithm.Training samples are defined as follows:Input vector asP =[-1 -2 31-1 15 -3]The target vector is t = [-1 -1 1 1]Solution: the MATLAB program of this example is as follows:Close allClearEcho onCLC% NEWFF - generating a new feedforward neural network% TRAIN -- training BP neural network% SIM -- Simulation of BP neural networkPauseStart by hitting any keyCLCPercent defines training samples% P as input vectorP=[-1, -2, 3, 1; -1, 1, 5, -3];% T is the target vectorT=[-1, -1, 1, 1];Pause;CLC% create a new feedforward neural networkNet=newff (minmax (P), [3,1],{'tansig','purelin'},'traingdm')The current input layer weights and thresholds InputWeights=net.IW{1,1}Inputbias=net.b{1}The current network layer weights and thresholdsLayerWeights=net.LW{2,1}Layerbias=net.b{2}PauseCLC% set training parametersNet.trainParam.show = 50;Net.trainParam.lr = 0.05;Net.trainParam.mc = 0.9;Net.trainParam.epochs = 1000;Net.trainParam.goal = 1e-3;PauseCLC% call TRAINGDM algorithm to train BP network [net, tr]=train (net, P, T);PauseCLCSimulation of BP network by%A = sim (net, P)Calculate the simulation errorE = T - AMSE=mse (E)PauseCLCEcho offExample 2 adopts Bayesian regularization algorithm to improve the generalization ability of BP network. In this case, we used two kinds of training methods, namely L-M algorithm (trainlm) and the Bias regularization algorithm (trainbr), is used to train the BP network, so that it can fit attached to a white noise sine sample data. Among them, the sample data can be generated as follows MATLAB statements:Input vector: P = [-1:0.05:1];Target vector: randn ('seed', 78341223);T = sin (2*pi*P) +0.1*randn (size (P));Solution: the MATLAB program of this example is as follows: Close allClearEcho onCLC% NEWFF - generating a new feedforward neural network% TRAIN -- training BP neural network% SIM -- Simulation of BP neural networkPauseStart by hitting any keyCLC% define training sample vector% P as input vectorP = [-1:0.05:1];% T is the target vectorRandn ('seed', 78341223); T = sin (2*pi*P) +0.1*randn (size (P));Draw the sample data pointsPlot (P, T, +);Echo offHold on;Plot (P, sin (2*pi*P), ':');Draw sine curves without noiseEcho onCLCPauseCLC% create a new feedforward neural networkNet=newff (minmax (P), [20,1], {'tansig','purelin'});PauseCLCEcho offCLCDisp ('1. L-M optimization algorithm TRAINLM'); disp ('2. Bayesian regularization algorithm TRAINBR');Choice=input (\ "please select training algorithm (1,2): ');Figure (GCF);If (choice==1)Echo onCLC% using L-M optimization algorithm TRAINLMNet.trainFcn='trainlm';PauseCLC% set training parametersnet.trainparam.epochs = 500；net.trainparam.goal = 1e-6；NET（.NET）；%重新初始化暂停中图分类号“（选择= = 2）回声中图分类号%采用贝叶斯正则化算法trainbr trainfcn = 'trainbr”网；暂停中图分类号%设置训练参数net.trainparam.epochs = 500；randn（“种子”，192736547）；NET（.NET）；%重新初始化暂停中图分类号结束调用相应算法训练BP网络% [净额]，列车=（净额，P，T）；暂停中图分类号对BP网络进行仿真%a = sim（NET，p）；%计算仿真误差e = a；MSE＝MSE（e）暂停中图分类号%绘制匹配结果曲线关闭所有；图（p，a，p，t，+，p，p，p（2），“，”；暂停;中图分类号回音通过采用两种不同的训练算法，我们可以得到如图1和图2所示的两种拟合结果。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
b p神经网络及m a t l a b实现图1. 人工神经元模型图中x1~xn是从其他神经元传来的输入信号，wij表示表示从神经元j到神经元i的连接权值，θ表示一个阈值 ( threshold )，或称为偏置( bias )。
则神经元i的输出与输入的关系表示为：图中 yi表示神经元i的输出，函数f称为激活函数 ( Activation Function )或转移函数 ( Transfer Function ) ，net称为净激活(net activation)。
若将阈值看成是神经元i的一个输入x0的权重wi0，则上面的式子可以简化为：若用X表示输入向量，用W表示权重向量，即：X = [ x0 , x1 , x2 , ....... , xn ]则神经元的输出可以表示为向量相乘的形式：若神经元的净激活net为正，称该神经元处于激活状态或兴奋状态(fire)，若净激活net为负，则称神经元处于抑制状态。
图1中的这种“阈值加权和”的神经元模型称为M-P模型 ( McCulloch-Pitts Model )，也称为神经网络的一个处理单元( PE, Processing Element )。
2. 常用激活函数激活函数的选择是构建神经网络过程中的重要环节，下面简要介绍常用的激活函数。
(1) 线性函数 ( Liner Function )(2) 斜面函数 ( Ramp Function )(3) 阈值函数 ( Threshold Function )以上3个激活函数都属于线性函数，下面介绍两个常用的非线性激活函数。
(4) S形函数 ( Sigmoid Function )该函数的导函数：(5) 双极S形函数该函数的导函数：S形函数与双极S形函数的图像如下：图3. S形函数与双极S形函数图像双极S形函数与S形函数主要区别在于函数的值域，双极S形函数值域是(-1,1)，而S形函数值域是(0,1)。
由于S形函数与双极S形函数都是可导的(导函数是连续函数)，因此适合用在BP神经网络中。
（BP算法要求激活函数可导）3. 神经网络模型神经网络是由大量的神经元互联而构成的网络。
根据网络中神经元的互联方式，常见网络结构主要可以分为下面３类：(1) 前馈神经网络(Feedforward Neural Networks )前馈网络也称前向网络。
这种网络只在训练过程会有反馈信号，而在分类过程中数据只能向前传送，直到到达输出层，层间没有向后的反馈信号，因此被称为前馈网络。
感知机( perceptron)与BP神经网络就属于前馈网络。
图4 中是一个3层的前馈神经网络，其中第一层是输入单元，第二层称为隐含层，第三层称为输出层（输入单元不是神经元，因此图中有2层神经元）。
图4. 前馈神经网络对于一个3层的前馈神经网络N，若用X表示网络的输入向量，W1~W3表示网络各层的连接权向量，F1~F3表示神经网络3层的激活函数。
那么神经网络的第一层神经元的输出为：O1 = F1( XW1 )第二层的输出为：O2 = F2 ( F1( XW1 ) W2 )输出层的输出为：O3 = F3( F2 ( F1( XW1 ) W2 ) W3 )若激活函数F1~F3都选用线性函数，那么神经网络的输出O3将是输入X 的线性函数。
因此，若要做高次函数的逼近就应该选用适当的非线性函数作为激活函数。
(2) 反馈神经网络(Feedback Neural Networks )反馈型神经网络是一种从输出到输入具有反馈连接的神经网络，其结构比前馈网络要复杂得多。
典型的反馈型神经网络有：Elman网络和Hopfield网络。
图5. 反馈神经网络(3) 自组织网络 ( SOM ,Self-Organizing Neural Networks )自组织神经网络是一种无导师学习网络。
它通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数与结构。
图6. 自组织网络4. 神经网络工作方式神经网络运作过程分为学习和工作两种状态。
(1)神经网络的学习状态网络的学习主要是指使用学习算法来调整神经元间的联接权，使得网络输出更符合实际。
学习算法分为有导师学习( Supervised Learning )与无导师学习( Unsupervised Learning )两类。
有导师学习算法将一组训练集 ( training set )送入网络，根据网络的实际输出与期望输出间的差别来调整连接权。
有导师学习算法的主要步骤包括：1）从样本集合中取一个样本（Ai，Bi）；2）计算网络的实际输出O；3）求D=Bi-O；4）根据D调整权矩阵W；5）对每个样本重复上述过程，直到对整个样本集来说，误差不超过规定范围。
BP算法就是一种出色的有导师学习算法。
无导师学习抽取样本集合中蕴含的统计特性，并以神经元之间的联接权的形式存于网络中。
Hebb学习律是一种经典的无导师学习算法。
(2) 神经网络的工作状态神经元间的连接权不变，神经网络作为分类器、预测器等使用。
下面简要介绍一下Hebb学习率与Delta学习规则。
(3) 无导师学习算法：Hebb学习率Hebb算法核心思想是，当两个神经元同时处于激发状态时两者间的连接权会被加强，否则被减弱。
为了理解Hebb算法，有必要简单介绍一下条件反射实验。
巴甫洛夫的条件反射实验：每次给狗喂食前都先响铃，时间一长，狗就会将铃声和食物联系起来。
以后如果响铃但是不给食物，狗也会流口水。
图7. 巴甫洛夫的条件反射实验受该实验的启发，Hebb的理论认为在同一时间被激发的神经元间的联系会被强化。
比如，铃声响时一个神经元被激发，在同一时间食物的出现会激发附近的另一个神经元，那么这两个神经元间的联系就会强化，从而记住这两个事物之间存在着联系。
相反，如果两个神经元总是不能同步激发，那么它们间的联系将会越来越弱。
Hebb学习律可表示为：其中wij表示神经元j到神经元i的连接权，yi与yj为两个神经元的输出，a是表示学习速度的常数。
若yi与yj同时被激活，即yi与yj同时为正，那么Wij将增大。
若yi被激活，而yj处于抑制状态，即yi为正yj为负，那么Wij将变小。
(4) 有导师学习算法：Delta学习规则Delta学习规则是一种简单的有导师学习算法，该算法根据神经元的实际输出与期望输出差别来调整连接权，其数学表示如下：其中Wij表示神经元j到神经元i的连接权，di是神经元i的期望输出，yi 是神经元i的实际输出，xj表示神经元j状态，若神经元j处于激活态则xj为1，若处于抑制状态则xj为0或－1（根据激活函数而定）。
a是表示学习速度的常数。
假设xi为1，若di比yi大，那么Wij将增大，若di比yi小，那么Wij 将变小。
Delta规则简单讲来就是：若神经元实际输出比期望输出大，则减小所有输入为正的连接的权重，增大所有输入为负的连接的权重。
反之，若神经元实际输出比期望输出小，则增大所有输入为正的连接的权重，减小所有输入为负的连接的权重。
这个增大或减小的幅度就根据上面的式子来计算。
(5)有导师学习算法：BP算法采用BP学习算法的前馈型神经网络通常被称为BP网络。
图8. 三层BP神经网络结构BP网络具有很强的非线性映射能力，一个3层BP神经网络能够实现对任意非线性函数进行逼近（根据Kolrnogorov定理）。
一个典型的3层BP神经网络模型如图7所示。
BP网络的学习算法占篇幅较大，我打算在下一篇文章中介绍。
第二节、神经网络实现1. 数据预处理在训练神经网络前一般需要对数据进行预处理，一种重要的预处理手段是归一化处理。
下面简要介绍归一化处理的原理与方法。
(1) 什么是归一化？数据归一化，就是将数据映射到[0,1]或[-1,1]区间或更小的区间，比如(0.1,0.9) 。
(2) 为什么要归一化处理？<1>输入数据的单位不一样，有些数据的范围可能特别大，导致的结果是神经网络收敛慢、训练时间长。
<2>数据范围大的输入在模式分类中的作用可能会偏大，而数据范围小的输入作用就可能会偏小。
<3>由于神经网络输出层的激活函数的值域是有限制的，因此需要将网络训练的目标数据映射到激活函数的值域。
例如神经网络的输出层若采用S形激活函数，由于S形函数的值域限制在(0,1)，也就是说神经网络的输出只能限制在(0,1)，所以训练数据的输出就要归一化到[0,1]区间。
<4>S形激活函数在(0,1)区间以外区域很平缓，区分度太小。
例如S形函数f(X)在参数a=1时，f(100)与f(5)只相差0.0067。
(3) 归一化算法一种简单而快速的归一化算法是线性转换算法。
线性转换算法常见有两种形式：<1>y = ( x - min )/( max - min )其中min为x的最小值，max为x的最大值，输入向量为x，归一化后的输出向量为y 。
上式将数据归一化到 [ 0 , 1 ]区间，当激活函数采用S形函数时（值域为(0,1)）时这条式子适用。
<2>y = 2 * ( x - min ) / ( max - min ) - 1这条公式将数据归一化到 [ -1 , 1 ] 区间。
当激活函数采用双极S形函数（值域为(-1,1)）时这条式子适用。
(4) Matlab数据归一化处理函数Matlab中归一化处理数据可以采用premnmx ， postmnmx ， tramnmx 这3个函数。
<1> premnmx语法：[pn,minp,maxp,tn,mint,maxt] = premnmx(p,t)参数：pn： p矩阵按行归一化后的矩阵minp，maxp：p矩阵每一行的最小值，最大值tn：t矩阵按行归一化后的矩阵mint，maxt：t矩阵每一行的最小值，最大值作用：将矩阵p，t归一化到[-1,1] ，主要用于归一化处理训练数据集。
<2> tramnmx语法：[pn] = tramnmx(p,minp,maxp)参数：minp，maxp：premnmx函数计算的矩阵的最小，最大值pn：归一化后的矩阵作用：主要用于归一化处理待分类的输入数据。
<3> postmnmx语法： [p,t] = postmnmx(pn,minp,maxp,tn,mint,maxt)参数：minp，maxp：premnmx函数计算的p矩阵每行的最小值，最大值mint，maxt：premnmx函数计算的t矩阵每行的最小值，最大值作用：将矩阵pn，tn映射回归一化处理前的范围。
postmnmx函数主要用于将神经网络的输出结果映射回归一化前的数据范围。
2. 使用Matlab实现神经网络使用Matlab建立前馈神经网络主要会使用到下面3个函数：newff ：前馈网络创建函数train：训练一个神经网络sim ：使用网络进行仿真下面简要介绍这3个函数的用法。