各种BP学习算法MATLAB仿真

3.3.2 各种BP学习算法MATLAB仿真

根据上面一节对BP神经网络的MATLAB设计，可以得出下面的通用的MATLAB程序段，由于各种BP学习算法采用了不同的学习函数，所以只需要更改学习函数即可。

MATLAB程序段如下：

x=-4:0.01:4;

y1=sin((1/2)*pi*x)+sin(pi*x);

%trainlm函数可以选择替换

net=newff(minmax(x),[1,15,1],{'tansig','tansig','purelin'},'trainlm');

net.trainparam.epochs=2000;

net.trainparam.goal=0.00001;

net=train(net,x,y1);

y2=sim(net,x);

err=y2-y1;

res=norm(err);

%暂停，按任意键继续

Pause

%绘图，原图（蓝色光滑线）和仿真效果图（红色+号点线）

plot(x,y1);

hold on

plot(x,y2,'r+');

注意：由于各种不确定因素，可能对网络训练有不同程度的影响，产生不同的效果。如图3-8。

标准BP算法（traingd）

图3-8 标准BP算法的训练过程以及结果（原图蓝色线，仿真图+号线）增加动量法(traingdm) 如图3-9。

图3-9 增加动量法的训练过程以及结果（原图蓝色线，仿真图+号线）弹性BP算法（trainrp）如图3-10

图3-10 弹性BP算法的训练过程以及结果（原图蓝色线，仿真图+号线）

动量及自适应学习速率法（traingdx）如图3-11。

图3-11 动量及自适应学习速率法的训练过程以及结果（原图蓝色线，仿真图+号线）共轭梯度法(traincgf)如图3-12。

图3-12 共轭梯度法的训练过程以及结果（原图蓝色线，仿真图+号线）Levenberg-Marquardt算法（trainlm）如图3-13。

图3-13 Levenberg-Marquardt算法的训练过程以及结果（原图蓝色线，仿真图+号线）

3.3.3 各种算法仿真结果比较与分析

由上面的仿真结果可以得到下表的比较和下面的结论与分析：表3-2

表3-2各种BP学习算法MATLAB仿真结果比较

结论与分析：

从仿真结果可以看出，标准BP算法、增加动量发、弹性BP算法、动量及自适应学习速率法的收敛速度都不如共轭梯度法和Levenberg-Marquardt法（L-M 算法）收敛速度明显的快。从仿真结果和均方误差综合来看，只有L-M算法达到了目标误差，可见对高要求的误差来说，L-M算法的优势要明显的多，其余均未达到目标误差；从均方误差的效果来看，所仿真的BP算法的优劣（从优到劣）顺序依次为L-M算法、共轭梯度法、弹性BP算法、动量及自适应学习速率法、增加动量法、标准BP算法。

从仿真效果图可以看出，L-M算法的效果最好，其次是共轭梯度法，其余均有不同范围内的失真。从误差曲线来看，L-M算法达到了目标误差（较高的误差），标准BP算法的误差曲线较粗，是因为较小范围振荡产生锯齿，在图形中由于间距加大，图形不断重叠而成，收敛速度很慢；增加动量法、弹性BP算法、动量及自适应学习速率法的误差曲线较为平滑，在刚开始收敛较快，在训练步数增加的时候，曲线趋于水平，收敛速度比较慢；共轭梯度法和L-M算法的误差曲线变化较大且产生局部锯齿状，说明不是最优，仍需要进行优化，其中L-M算法达到了目标误差。共轭梯度法在相邻迭代的正交方向搜索，综合误差曲线可知当接近极值时会产生锯齿形振荡。

再根据前面对各种BP改进算法的描述可知，弹性BP算法不需要进行搜索，需要内存比较小，因此在一些大型网络中比较适用，但是需要很长的训练时间。对收敛速度要求不高时也可使用动量及自适应学习速率法。在小型网络中，共轭梯度法仅次于L-M算法，但是L-M算法需要更大的内存做临时存储，对于较大复杂的网络和内存受限的设备来说不是很好的选择，但是对于小型网络来说却是首要选择。对训练时间允许的条件下，共轭梯度法和弹性BP算法是对复杂大型网络较好的选择。

其中共轭梯度法在训练的时候，训练次数为769次，均方误差为0.00499915，均未达到所设定的要求，产生了“Minimum step size reached, performance goal was not met”的结果。可能意味着子区间的长度与计算机舍入误差相当，无法继续计算了，原因可能是有奇点（无限小且不实际存在），另外也存在是初值问题，理论上得知：共轭梯度法最大局限是依赖于初值，在有限的迭代次数内可能既不能搜索到全局极值也不能搜索到局部极值。因此该算法适用于精度要求比较低的高维网络之中。

3.3.4 调整初始权值和阈值的仿真

在分析了初始权值设置影响因素对BP神经网络的影响，下面首先通过MATLAB程序段一，通过随机设置权值初始化网络方式获取训练好的阈值和权值，作为MATLAB程序段二的初始化值。由此进行仿真分析。如图3-14。

①MATLAB程序段一：

x=-4:0.01:4;

y1=sin((1/2)*pi*x)+sin(pi*x);

net=newff(minmax(x),[1,15,1],{'tansig','tansig','purelin'},'trainlm');

net.trainparam.epochs=2000;

net.trainparam.goal=0.00001;

%初始化网络，用newff创建网络，其权值和阈值初始化函数的默认值是initnw。

%initnw据Nguyen-Widrow规则初始化算法对网络层的权值和阈值进行初始%化，该算法的初始化值，可以使网络层中每个神经元的作用范围近似地在%网络层的输入空间均匀分布。与纯随机初始化权值和阈值的方法比较，%初始化算法有以下优点：神经元的浪费少（因为所有神经元都分布在输%入空间内）；网络的训练速度快（因为输入空间的每一个区域都有神经%元）；这里是用rands重新设置权值和阈值。

https://www.360docs.net/doc/103531424.html,yers{1}.initFcn='initnw';

https://www.360docs.net/doc/103531424.html,yers{2}.initFcn='initnw';

net.inputWeights{1,1}.initFcn='rands';

net.inputWeights{2,1}.initFcn='rands';

net.biases{1,1}.initFcn='rands';

net.biases{2,1}.initFcn='rands';

net=init(net);

%查看初始化后的权值和阈值

net.iw{1,1}

net.b{1}

net.lw{2,1}

net.b{2}

net=train(net,x,y1);

%得出训练好的权值和阈值供MATLAB程序段二使用

net.iw{1,1}

net.b{1}

net.lw{2,1}

net.b{2}

y2=sim(net,x);

err=y2-y1;

res=norm(err);

pause

plot(x,y1);

hold on

plot(x,y2,'r+');

②MATLAB程序段二：

x=-4:0.01:4;

y1=sin((1/2)*pi*x)+sin(pi*x);

net=newff(minmax(x),[1,15,1],{'tansig','tansig','purelin'},'trainlm');

net.trainparam.epochs=2000;

net.trainparam.goal=0.00001;

%从程序段一得出的数据

net.iw{1,1}=-0.3740;

net.b{1}=-0.1930;

net.lw{2,1}=[-20.7192;19.6478;10.9678;-9.4500;21.3555;6.7648;-20.7057;-6.10 23;-9.4889;-12.7880;-15.5183;-13.9643;-21.2201;29.9987;-15.3738];

net.b{2}=[21.2768;-16.9303;-7.9953;4.8688;-6.6081;-1.3465;-0.8528;-1.2791;-4 .7658;-15.4970;-9.2069;-10.5259;-20.1442;3.5287;-13.6953];

net=train(net,x,y1);

y2=sim(net,x);

err=y2-y1;

res=norm(err);

pause

plot(x,y1);

hold on

plot(x,y2,'r+');

(a) 随机设置权值误差曲线图（b）获取训练好的阈值和权值误差曲线图

图3-14 两程序段运行后误差曲线图

从上面的仿真结果看，第一个程序用随机的初始权值和阈值达到目标误差完成训练需要264个回合，而选用已训练好的权值和阈值仅用167个回合就完成了训练，因此选择合适的初始化权值和阈值将加速网络的训练，大大提高了学习的收敛速度。因此关于设置网络初始权值和阈值的优化方法是一个值得研究的问题。

3.3.5 其他影响因素仿真

在算法选择上，在下面的仿真中将使用L-M算法测试其他影响因素，比如通过选择不同的激活函数、修改学习步长和目标误差等观察对仿真曲线的影响程度。

如果将输入层激活函数设置为purelin，x=-4:0.1:4，epochs=1000，goal=0.001，其余不变则会产生如下结果：经过多次反复实验，有时不能达到目标误差，有时又很快达到目标误差，且仿真效果会产生不同程度的失真或有时效果很好。如果将输入层激活函数设为tansig，则学习很快收敛且达到目标误差，仿真效果很好，且多次仿真结果比较稳定，明显要比输入层激活函数设为purelin要好。如果将这三层神经元的激活函数都设置为tansig的话，在多次试验中，训练回合数为1000，均未达到目标误差0.001的要求。

3.4 BP神经网络在样本分类中的应用

3.4.1问题的提出

这是一个用BP神经网络来将不同的混合在一起的数据或者样本进行分类的例子。利用上述研究的结果，采用15个隐层节点。我们先自己随机的输入两个样本：

%产生训练样本与测试样本，每一列为一个样本

P1 = [rand(3,5),rand(3,5)+1,rand(3,5)+2];

T1 = [repmat([1;0;0],1,5),repmat([0;1;0],1,5),repmat([0;0;1],1,5)];

P2 = [rand(3,5),rand(3,5)+1,rand(3,5)+2];

T2 = [repmat([1;0;0],1,5),repmat([0;1;0],1,5),repmat([0;0;1],1,5)];

%然后再将样本归一化处理，这样有利于我们简便、准确、定量结果。

[PN1,minp,maxp] = premnmx(P1);

PN2 = tramnmx(P2,minp,maxp);

%第三部则是设置网络参数

NodeNum = 15; % 隐层节点数

TypeNum = 3; % 输出维数

TF1 = 'tansig';TF2 = 'purelin'; % 判别函数(缺省值)

%TF1 = 'tansig';TF2 = 'logsig';

%TF1 = 'logsig';TF2 = 'purelin';

%TF1 = 'tansig';TF2 = 'tansig';

%TF1 = 'logsig';TF2 = 'logsig';

%TF1 = 'purelin';TF2 = 'purelin';

3.4.2 基于BP神经网络的样本分类

%一切工作准备就绪后我们就可以开始训练网络了：

net = newff(minmax(PN1),[NodeNum TypeNum],{TF1 TF2});

指定训练参数，我们可以选择不同的算法来进行测试做比较：

% net.trainFcn = 'traingd'; % 梯度下降算法

% net.trainFcn = 'traingdm'; % 动量梯度下降算法

% net.trainFcn = 'traingda'; % 变学习率梯度下降算法

% net.trainFcn = 'traingdx'; % 变学习率动量梯度下降算法

% (大型网络的首选算法- 模式识别)

% net.trainFcn = 'trainrp'; % RPROP(弹性BP)算法,内存需求最小

% 共轭梯度算法

% net.trainFcn = 'traincgf'; % Fletcher-Reeves修正算法

% net.trainFcn = 'traincgp'; % Polak-Ribiere修正算法,内存需求比Fletcher-Reeves 修正算法略大

% net.trainFcn = 'traincgb'; % Powell-Beal复位算法,内存需求比Polak-Ribiere修正算法略大

% (大型网络的首选算法- 函数拟合,模式识别)

% net.trainFcn = 'trainscg'; % Scaled Conjugate Gradient算法,内存需求与Fletcher-Reeves修正算法相同,计算量比上面三种算法都小很多

% net.trainFcn = 'trainbfg'; % Quasi-Newton Algorithms - BFGS Algorithm,计算量和内存需求均比共轭梯度算法大,但收敛比较快

% net.trainFcn = 'trainoss'; % One Step Secant Algorithm,计算量和内存需求均比BFGS算法小,比共轭梯度算法略大

% (中小型网络的首选算法- 函数拟合,模式识别)

net.trainFcn = 'trainlm'; % Levenberg-Marquardt算法,内存需求最大,收敛速度最快% net.trainFcn = 'trainbr'; % 贝叶斯正则化算法

% 有代表性的五种算法为:'traingdx','trainrp','trainscg','trainoss', 'trainlm'

net.trainParam.show = 1; % 训练显示间隔

net.trainParam.lr = 0.3; % 学习步长- traingd,traingdm

net.trainParam.mc = 0.95; % 动量项系数- traingdm,traingdx

net.trainParam.mem_reduc = 10; % 分块计算Hessian矩阵(仅对

Levenberg-Marquardt算法有效)

net.trainParam.epochs = 1000; % 最大训练次数

net.trainParam.goal = 1e-8; % 最小均方误差

net.trainParam.min_grad = 1e-20; % 最小梯度

net.trainParam.time = inf; % 最大训练时间

%训练与测试

net = train(net,PN1,T1); % 训练

% 测试

Y1 = sim(net,PN1); % 训练样本实际输出

Y2 = sim(net,PN2); %一切工作准备就绪后我们就可以开始训练网络了：

net = newff(minmax(PN1),[NodeNum TypeNum],{TF1 TF2});

指定训练参数，我们可以选择不同的算法来进行测试做比较：

% net.trainFcn = 'traingd'; % 梯度下降算法

% net.trainFcn = 'traingdm'; % 动量梯度下降算法

% net.trainFcn = 'traingda'; % 变学习率梯度下降算法

% net.trainFcn = 'traingdx'; % 变学习率动量梯度下降算法

% (大型网络的首选算法- 模式识别)

% net.trainFcn = 'trainrp'; % RPROP(弹性BP)算法,内存需求最小

% 共轭梯度算法

% net.trainFcn = 'traincgf'; % Fletcher-Reeves修正算法

% net.trainFcn = 'traincgp'; % Polak-Ribiere修正算法,内存需求比Fletcher-Reeves 修正算法略大

% net.trainFcn = 'traincgb'; % Powell-Beal复位算法,内存需求比Polak-Ribiere修正

算法略大

% (大型网络的首选算法- 函数拟合,模式识别)

% net.trainFcn = 'trainscg'; % Scaled Conjugate Gradient算法,内存需求与Fletcher-Reeves修正算法相同,计算量比上面三种算法都小很多

% net.trainFcn = 'trainbfg'; % Quasi-Newton Algorithms - BFGS Algorithm,计算量和内存需求均比共轭梯度算法大,但收敛比较快

% net.trainFcn = 'trainoss'; % One Step Secant Algorithm,计算量和内存需求均比BFGS算法小,比共轭梯度算法略大

% (中小型网络的首选算法- 函数拟合,模式识别)

net.trainFcn = 'trainlm'; % Levenberg-Marquardt算法,内存需求最大,收敛速度最快% net.trainFcn = 'trainbr'; % 贝叶斯正则化算法

% 有代表性的五种算法为:'traingdx','trainrp','trainscg','trainoss', 'trainlm'

net.trainParam.show = 1; % 训练显示间隔

net.trainParam.lr = 0.3; % 学习步长- traingd,traingdm

net.trainParam.mc = 0.95; % 动量项系数- traingdm,traingdx

net.trainParam.mem_reduc = 10; % 分块计算Hessian矩阵(仅对

Levenberg-Marquardt算法有效)

net.trainParam.epochs = 1000; % 最大训练次数

net.trainParam.goal = 1e-8; % 最小均方误差

net.trainParam.min_grad = 1e-20; % 最小梯度

net.trainParam.time = inf; % 最大训练时间

%训练与测试

net = train(net,PN1,T1); % 训练

% 测试

Y1 = sim(net,PN1); % 训练样本实际输出

Y2 = sim(net,PN2); % 测试样本实际输出

Y1 = full(compet(Y1)); Y2 = full(compet(Y2)); % 竞争输出

测试结果（Levenberg-Marquardt算法）：

训练输出结果如图3-15，测试输出结果如图3-16。

图3-15 训练样本竞争输出结果 图3-16 测试样本竞争输出结果

步骤5： 结果统计

Result = ~sum(abs(T1-Y1)) % 正确分类显示为1

Percent1 = sum(Result)/length(Result) % 训练样本正确分类率

Result = ~sum(abs(T2-Y2)) % 正确分类显示为1

Percent2 = sum(Result)/length(Result) % 测试样本正确分类率

参考文献

[1] 王强.利用人工神经网络实现函数逼[J].计算机仿真，2002，(05)：22—60.

[2] 王美玲.利用于非线性函数逼近的小波神经网络算法仿真[J] .北京理工大学学报,2002，

(03)：10—27.

[3]郝昕玉，姬长英.非线性系统的神经-模糊建模方法的研究[J].江西农业学报，2008，(9)：

12—29.

[4]孙帆，施学勤.基于MA TLAB的BP神经网络设计[J].计算机与数学工程，2007，35(8)：

55—70.

[5]张葛祥，李娜.MATLAB仿真技术与应用[M].北京：清华大学出版社，2003：1-9.

[6]余华，吴文全，曹亮.BP神经网络的改进算法及其应用[J].电脑知识与技术，2009，5（19）：

5256-5258.

[7]苏高利，邓芳萍.论基于MA TLAB语言的BP神经网络的改进算法[J].科技通报，2003,19

（2）：130-135.

[8]冯蓉，杨建华.基于BP神经网络的函数逼近的MATLAB实现[J].榆林学院学报，2007，

(3):20-22.

[9]韩力群.人工神经网络理论设计及应用[M]．北京：化工工业社，2002：5-15.

[10]蒋良孝，李超群.基于BP神经网络的函数逼近及其Matlab实现[J].微型机与应用,2004，1：

52-53.

[11]郑君里,杨行峻.人工神经网络[M]. 北京: 高等教育出版社,1992,5:15-30.

[12] 郝中华.B P神经网络的非线性思想[J].洛阳师范学院报,2008,3(4):23-57.

[13]巨军让，卓戎.B P神经网络在Matlab中的方便实现[J].新疆石油学院学

报,2008,2(1):113-221.

[14]蒋宗礼.人工神经网络导论[M]. 高等教育出版社，2001:15-90.

[15]闻新,周露,王丹力,熊晓英.MATLAB神经网络应用设计[M].科学出版社，

2001,5:10-50.

[16]葛哲学,孙志强编著.神经网络与matlab2007实现[M].北京：电子工业出版社，

2007,9:1-5.

[17]董长虹,编著 .Matlab神经网络与应用[M].北京:国防工业出版社，2007,9:1-13.

[18]胡守仁，等.神经网络导论[M].长沙：国防科技大学出版社，1993:23-45.

[19]张玲，张钹.人工神经网络理及应用[M].浙江：浙江科技大学出版社,1997,5:20-62.

[20]Luis F. Chaparro. Signals and systems using MATLAB, Burlington, MA : Academic Press,

c2010.:46-51

[21]Karl F. Warnick. Numerical methods for engineering : an introduction using MA TLAB

andcomputational electromagnetics examples，Raleigh, NC : SciTech Pub.,2011

[22]Martin R，Heinrich B.A Direct Adaptive Method for Faster Backpropagetion Learning:The

RPROP Algorithm [A].Ruspini H. Proceedings of the IEEE International conference on Neural Network(ICNN)[C].IEEE. Press;New York,1993.

[23] HAGAN M T,DEMUTH H B. Neural network design[M] .PWS Publishing Company,A

division of Thomson Learning,United States of America, 1996.

[24]Neural Network Tolbox User’s, The MathWorks. Inc,2003:16-27.

[25]Matlab user’s Guide. The MathWorks.Inc,2003:23-27.

[26]Neural Network Toolbox. Mathworks,2007:1-13.

[27]Philip D. Wasserman，Neural Computing: Theory and Practice，Van Nostrand

Reinhold，1989:1-56.