神经网络及应用 实验报告
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
神经网络及应用实验报告
院系:电气工程学院
班级:adf3班
姓名:adsf
学号:20sdf
实验二、基于BP网络的多层感知器
一:实验目的:
1.理解多层感知器的工作原理
2.通过调节算法参数了解参数的变化对于感知器训练的影响
3.了解多层感知器局限性
二:实验原理:
BP的基本思想:信号的正向传播误差的反向传播
–信号的正向传播:输入样本从输入层传入,经各隐层逐层处理后,传向输出层。–误差的反向传播:将输入误差以某种形式通过隐层向输入层逐层反传,并将误差分摊给各层的所有单元,从而获得各层单元的误差信号来作为修正各单元权值的依据。
1.基本BP算法的多层感知器模型:
2.BP学习算法的推导:
当网络输出与期望输出不等时,存在输出误差E
将上面的误差定义式展开至隐层,有
进一步展开至输入层,有
调整权值的原则是使误差不断地减小,因此应使权值的调整量与误差的梯度下降成正比,即
η∈(0,1)表示比例系数,在训练中反应学习速率
BP算法属于δ学习规则类,这类算法被称为误差的梯度下降(Gradient Descent)算法。
三:实验内容:
Hermit多项式如下式所示:f(x)=1.1(1-x+2x^2)exp(-x^2/2)
采用BP算法设计一个单输入单输出的多层感知器对该函数进行逼近。
训练样本按以下方法产生:样本数P=100,其中输入样本xi服从区间[-4,4]内的均匀分布,样本输出为F(xi)+ei,ei为添加的噪声,服从均值为0,标准差为0.1的正态分布。
隐层采用Sigmoid激活函数f(x)=1/(1+1/e^x),输出层采用线性激活函数
f(x)=x。
注意:输出层采用的线性激活函数,不是Sigmoid激活函数,所以迭代公式需要根据前面的推导过程重新推导。
四:实验步骤:
1.用Matlab编程,实现解决该问题的单样本训练BP网络,设置一个停止迭代的误差Emin和最大迭代次数。在调试过程中,通过不断调整隐层节点数,学习率η,找到收敛速度快且误差小的一组参数。产生均匀分布在区间[-4,4]的测试样本,输入建立的模型得到输出,与Hermit多项式的期望输出进行比较计算总误差(运行5次,取平均值),并记录下每次迭代结束时的迭代次数。(要求误差计算使用RME,Emin设置为0.1)
2.实现解决该问题的批处理训练BP网络,调整参数如上。产生均匀分布在区间[-4,4]的测试样本,输入建立的模型得到输出,与Hermit多项式的期望输出进行比较计算总误差(运行5次,取平均值),并记录下每次迭代结束时的迭代次数。
3.对批处理训练BP算法增加动量项ΔW(t)=ηδX+αΔW(t-1),α∈(0,1),调整参数如上,记录结果,并与没有带动量项的批处理训练BP算法的结果相比较。
4.对批处理BP算法改变参数:学习率η、迭代次数、隐层节点数,观察算法的收敛发散,以及测试误差的变化(对每个参数取几个不同参数,分别运行5次,结果取平均值)。
五:实验程序:
(一):单样本训练BP网络
function[epoch,s,Wki,Wij,Wb,Ez]=dyb(lr,Emin,q)
%初始化;
%lr学习效率;Emin为期望误差最小值;q为隐含层节点数;
b=1;sum=0;Ez=[];
max_epoch=30000;%max_epoch训练的最大次数;
%提供训练集和目标值;
x=8.*rand(1,100)-4;
y=1.1.*(1-x+2.*x.^2).*exp(-x.^2/2)+0.1*rand(1,100);
%初始化Wki,Wij;
Wij=rand(1,q);Wki=rand(1,q);Wb=rand(1,q);
for epoch=1:max_epoch
E=0;m=1;oi=0;ok=0;%置隐含层和输出层各神经元输出初值为零;for m=1:100
%计算隐含层各神经元输出;
NETi=x(m)*Wij+b*Wb;
for t=1:q
oi(t)=1/(1+exp(-NETi(t)));
end
%计算输出层各神经元输出;
NETk=Wki*oi';
ok=NETk;
%计算误差;
E=E+(y(m)-ok)^2;
%调整输出层加权系数;
deltak=y(m)-ok;
Wki=Wki+lr*deltak*oi;
%调整隐含层加权系数;
deltai=oi.*(1-oi).*(deltak*Wki);
Wij=Wij+lr.*deltai.*x(m);
Wb=Wb+lr.*deltai;
end
Ez(epoch)=sqrt(E/100);
if Ez(epoch) break; end end %计算测试输出; x=linspace(-4,4,100);%给定输入: y=1.1.*(1-x+2.*x.^2).*exp(-x.^2/2)+0.1*rand(1,100); for i=1:100 NETi=x(i).*Wij+b*Wb;NETk=0; for t=1:q oi(t)=1/(1+exp(-NETi(t))); NETk=NETk+Wki(t)*oi(t); end ok(i)=NETk; sum=sum+(y(i)-ok(i))^2;%输出总误差; end s=sqrt(sum/100); (二):批处理训练BP网络 function[epoch,s,Wki,Wij,Wb,Ez]=pcl(lr,Emin,q) %初始化; %lr学习效率;Emin为期望误差最小值;q为隐含层节点数;b=1;sum=0;Ez=[]; max_epoch=30000;%max_epoch训练的最大次数; %提供训练集和目标值;