实验一 感知器网络的训练与应用

智能信息处理

技

术

基

础

实

验

报

告

专业班级电子信息工程1001班

学生姓名潘新南

学生学号23

指导教师周春临

实验一感知器网络的训练与应用

一、实验目的

1、掌握感知器网络的基本概念及训练方法；

2、掌握感知器网络的基本使用；

3、掌握利用Matlab对感知器网络进行构建与实现的方法。

二、实验原理

1、感知器网络模型

（1）感知器网络模型的拓扑结构如图1所示：

（2）感知器网络模型学习算法

a、初始化：赋予权值一个较小的随机值错误！未找到引用源。(非零值)；

b、将第错误！未找到引用源。个模式错误！未找到引用源。送入输入神经元，并给出理想输出值错误！未找到引用源。；

c、计算神经元网络模型的实际输出错误！未找到引用源。；

d、根据错误！未找到引用源。与错误！未找到引用源。计算第错误！未找到引用源。条连线的权值增量：

e、转b，选取第个样本，直到学完所有输入样本；

f、按式

g、若，转到b，否则结束。

三、实验内容

1、利用Matlab对感知器网络进行构建与实现（1）Percept1（简单分类问题）：设计单一感知器神经元来解决一个简单的分类问题：将4个输入向量分为两类，其中两个输入向量对应的目标值为1，另两个对应的目标值为0，输入向量为：P=[-2 ; ]，目标向量为：T=[1 0 1 0]，

源程序如下：

P=[-2 ; ]; T=[1 0 1 0]; plotpv(P,T); pause;

net=newp([-1 1; -1 1],1); watchon; cla;

plotpv(P,T);

linehandle=plotpc{1},{1}); E=1;

net=init(net);

linehandle=plotpc{1},{1}); while(sse(E))

[net,Y,E]=adapt(net,P,T);

linehandle=plotpc{1},{1}); drawnow; end; pause; watchoff; p=[0;]; a=sim(net,p); plotpv(p,a); ThePoint=findobj(gca,'type','line'); set(ThePoint,'Color','red'); hold on;

plotpv(P,T);

plotpc{1},{1}); hold off;

disp('End of percept1'); 运行结果如下图所示：

（2）Percept2（多个感知器神经元的分类问题）：将上例的输入向量扩充为10组，将输入向量分为4类，即输入向量为：P=[ ; ]，目标向量为：

T=[1 1 1 0 0 1 1 1 0 1; 0 0 0 0 0 1 1 1 1 1]，

源程序如下：

P=[ ; ];

T=[1 1 1 0 0 1 1 1 0 1; 0 0 0 0 0 1 1 1 1 1];

plotpv(P,T);

net=newp([ 1; 1],2);

figure;

watchon;

cla;

plotpv(P,T);

linehandle=plotpc{1},{1});

E=1;

net=init(net);

linehandle=plotpc{1},{1});

while(sse(E))

[net,Y,E]=adapt(net,P,T);

linehandle=plotpc{1},{1},linehandle); drawnow; end;

watchoff; figure;

p=[;]; a=sim(net,p); plotpv(p,a); ThePoint=findobj(gca,'type','line');

set(ThePoint,'Color','red');

hold on; plotpv(P,T);

plotpc{1},{1});

hold off;

disp('End of percept2');

运行结果如下图所示：

(3) Percept3（输入奇异样本对网络训练的影响）当网络的输入样本中存在奇异样本时（即该样本向量相对其他所有样本向量特别大或特别小），此时网络训练时间将大大增加，如输入向量为：P=[ -40; 60],目标向量为：T=[1 1 0 1 1]，

源程序如下：

P=[ -40;

60];

T=[1 1 0 1 1];

plotpv(P,T);

net=newp([-40 1; -1 50],1);

pause;

plotpv(P,T);

linehandle=plotpc{1},{1});

cla;

plotpv(P,T);

linehandle=plotpc{1},{1});

E=1;

net=init(net);

linehandle=plotpc{1},{1});

while(sse(E))

[net,Y,E]=adapt(net,P,T);

linehandle=plotpc{1},{1},linehandle);

drawnow; end; pause;

p=[;];

a=sim(net,p);

plotpv(p,a);

ThePoint=findobj(gca,'type','line');

set(ThePoint,'Color','red'); hold on;

plotpv(P,T);

plotpc{1},{1});

hold off;

pause;

axis([-2 2 -2 2]);

disp('End of percept3');

运行结果如下图所示：

在上述网络中由于样本向量相对其他所有样本向量特别大或特别小，故网络训练时间将大大增加，为解决此问题只需用标准化感知器学习规则训练即可大

大缩短训练时间。原始感知器学习规则的权值调整为：

标准化感知器学习规则的权值调整为：

编写源程序如下：

P=[ -40; 50];

T=[1 1 0 0 1]; plotpv(P,T);

pause;

net=newp([-40 1; -1 50],1,'hardlim','learnpn'); cla;

plotpv(P,T);

linehandle=plotpc{1},{1});

E=1;

net=init(net);

linehandle=plotpc{1},{1});

while(sse(E))

[net,Y,E]=adapt(net,P,T);

linehandle=plotpc{1},{1},linehandle);

drawnow;

end;

pause;

p=[;];

a=sim(net,p);

plotpv(p,a);

ThePoint=findobj(gca,'type','line');

set(ThePoint,'Color','red');

hold on;

plotpv(P,T);

plotpc{1},{1});

hold off;

pause;

axis([-2 2 -2 2]);

disp('End of percept4');

采用标准化感知器学习规则训练的运行结果如下图所示：

（4）Percept5（线性不可分的输入向量）定义向量，输入向量为： P=[ ; ]; 输出向量为：T=[1 1 0 0 0];

源程序如下：

P=[ 0 ;

];

T=[1 1 0 1 0]; plotpv(P,T);

net=newp([-1 1; -1 1],1);

plotpv(P,T);

linehandle=plotpc{1},{1});

pause;

for a=1:25

[net,Y,E]=adapt(net,P,T);

linehandle=plotpc{1},{1},linehandle);

drawnow;

end;

运行结果如下图所示：

四、实验心得

单层感知器仅对线性可分问题具有分类能力故具有一定的局限性，由于它的结构与功能都比较简单，所以在解决实际问题时很少被采用，但在神经网络中具有重要意义，是研究其他网络的基础，而且较容易学习和理解，适合与作为学习神经网络的起点。在输入奇异样本时，采用标准化感知器学习规则训练即可大大缩短训练时间。

实验二BP网络的训练与应用

一实验目的：

1.理解基于BP网络的多层感知器的工作原理

2.通过调节算法参数的了解参数的变化对BP多层感知器训练的影响

3．了解BP多层感知器的局限性

二实验内容：

1．根据实验内容推导出输出的计算公式以及误差的计算公式

2．使用Matlab编程实现BP多层感知器

3．调节学习率η及隐结点的个数，观察对于不同的学习率、不同的隐结点个数时算法的收敛速度

4．改用批处理的方法实验权值的收敛，并加入动量项来观察批处理以及改进的的算法对结果和收敛速度的影响。

三．实验原理以及过程的推导

1. 基本BP 算法的多层感知器模型

下面所示是一个单输入单输出的BP多层感知器的模型，它含有一个隐层。

下面对误差和权值的调整过程进行推导对于单样本的输入X i则隐层的输出：

y i=f1(net j);

net j=(x i*v i)

输出层的输出：

O=f 2(net); net=(w i *y i ) 变换函数：

f 1=

x

e -+11

f 2=x;

当网络输出与期望输出不等时，存在输出误差E E=

2

1

(d-o)2; 计算各层的误差：把误差分配到各层以调整各层的权值，所以，各层权值的调整量等于误差E 对各权值的负偏导与学习率的乘积，计算得到对权值W 和权值V 的调整量如下： 将上面的式子展开到隐层得：

E=21(d-o)2=21[d- f 2(net)]= 2

1[d-f 2( i

j

i i i y w ∑==1

)]

将上式展开到输入层得：

E=21(d-o)2=21[d- f 2(net)]= 2

1[d-f 2( i

j

i i i w

∑==1

f 1(

i

j

i i i x v ∑==1

))]

调整权值的原则是使误差不断地减小，因此应使权值的调整量与误差的梯度下降成正比，即

Δw j =-j

W E ?η

Δv j =-j

V E

?η

计算得到对各权值的调整为： Δw j =η*(d(1,p)-o(1,p))*y(1,i)

Δv j = *(d(1,p)-o(1,p))*w(1,i)*y(1,i)*(1-y(1,i))*x(1,p) 其中P 为第P 个样本：

四 实验步骤

Step 1 初始化

对权值矩阵W、V 赋随机数，将样本模式计数器p 和训练次数计数器q 置于1，误差E置0，学习率η设为0~1 内的小数，网络训练后的精度Emin 设为一个正的小数；

Step 2 输入训练样本对，计算各层输出用当前样本X p、d p 对向量数组X、d 赋值，用下式计算Y 和O 中各分量

y i=f1(net j);

net j=(x i*v i)

O=f2(net j);

net=(w i*y i)

Step 3 计算网络输出误差

设共有P 对训练样本，网络对于不同的样本具有不同的误差2

Step 4 计算各层误差信号：各层的误差信号为误差E对各层权值的偏导

Step 5 调整各层权值

Δw=η*(d(1,p)-o(1,p))*y(1,i)

Δv= *(d(1,p)-o(1,p))*w(1,i)*y(1,i)*(1-y(1,i))*x(1,p)

Step 6 检查是否对所有样本完成一次轮训

若p

Step 7 检查网络总误差是否达到精度要求

当用E RME作为网络的总误差时，若满足E RME

单样本训练：每输入一个样本，都要回传误差并调整权值，会导致收敛速度过慢

批处理（Batch）训练：根据总误差，计算各层的误差信号并调整权值，在样本数较多时，批训练比单样本训练时的收敛速度快

五实验结果

对于单本输入的网络程序如下：function limoyan;%建立以limoyan为文件名的m文件

clc;

clear;

x=[-4::4];%产生样本

j=input('j=');%输入隐结点的个数

n=input('n=');%输入学习率

w=rand(1,j);%对权值w赋较小的初值

w0=;%对权值w0赋较小的初值

v=rand(1,j);%对权值V赋较小的初值

v1=rand(1,j);%对权值V1赋较小的初值

x0=-1;%对阈值x0赋初值

y0=-1;%对阈值y0赋初值

err=zeros(1,101);

wucha=0;

erro=[];

Erme=0;

zong=[];

Emin=;

d=zeros(1,101);%以初值0赋给期望输出

for m=1:101

d(1,m)=*(1,m)+2*x(1,m)*x(1,m))*exp(-x(1,m)*x(1,m)/2);%以Hermit多项式产生期望输出end;

o=zeros(1,101);

netj=zeros(1,j);

net=zeros(1,j);

y=zeros(1,j);

p=1;

q=1;

while q<30000 %设定最大的迭代交数

for p=1:101 %计算隐层的输出

for i=1:j

netj(1,i)=v(1,i)*x(1,p)+v1(1,i)*x0;

y(1,i)=1/(1+exp(-netj(1,i)));

end;

o(1,p)=w*y'+y0*w0+*randn(1,1);%计算输出并给输出加上上定的扰动wucha=1/2*(d(1,p)-o(1,p))*(d(1,p)-o(1,p));%计算误差

err(1,p)=wucha;

erro=[erro,wucha];

for m=1:j;%调整各层的权值

w0=w0-n*w0;

w(1,m)=w(1,m)+n*(d(1,p)-o(1,p))*y(1,m);

v(1,m)=v(1,m)+n*(d(1,p)-o(1,p))*w(1,m)*y(1,m)*(1-y(1,m))*x(1,p);

v1(1,m)=v1(1,m)+n*(d(1,p)-o(1,p))*w(1,m)*y(1,m)*(1-y(1,m))*x0;

end;

q=q+1;

end;

Erme=0;

for t=1:101;

Erme=Erme+err(1,t);

end;

err=zeros(1,101);

Erme=sqrt(Erme/101);

zong=[zong,Erme];

if Erme

end;

end;%输入结果

Erme

plot(x,d,'-r');

hold on;

plot(x,o,'');

xlabel('Hermit多项式曲线与所构建BP网络输出曲线') q

figure(2);

plot(zong);

xlabel('误差的收敛曲线')

命令窗口的输出如下：

j=5

n=

Erme =

q = 19999

Hermit多项式曲线与所构建BP网络输出曲线:

误差的收敛曲线如下:

单样本训练的统计如下:

5 8 10 12

对于批处理的情况:

在原程序的基础上改变中间的一段； 命令窗口的输出如下： j=10 n=

学 习 率 结

点 数

Erme =

q = 15757

Hermit多项式曲线与所构建BP网络输出曲线:

误差的收敛曲线如下: