模式识别实验二

感知器准则算法

一、实验原理：

假设已知一组容量为N 的样本集1y ，2y ，…，N y ，其中N y 为d 维增广样本向量，分别来自1ω和2ω类。如果有一个线性机器能把每个样本正确分类，即存在一个权向量a ，使得对于任何1ω∈y ，都有y a T >0，而对一任何2ω∈y ，都有y a T <0，则称这组样本集线性可分；否则称线性不可分。若线性可分，则必存在一个权向量a ，能将每个样本正确分类。 由上面原理可知，样本集1y ，2y ，…，N y 是线性可分，则必存在某个权向量a ，使得

??

???∈<∈>21

y ,0y ,0ωωj j T

i i T y a y a 对一切对一切 如果我们在来自2ω类的样本j y 前面加上一个负号，即令j y =—j y ，其中2ω∈j y ，则也有

y a T

>0。因此，我们令???∈∈='21

y ,-y ,ωωj j

i i n

y y y 对一切对一切 那么，我们就可以不管样本原来的类型标志，只要找到一个对全部样本n

y '都满足y a T

>0，N n ,,3,2,1??=的权向量a 就行了。此过程称为样本的规范化，n

y '成为规范化增广样本向量，后面我们用y 来表示它。

我们的目的是找到一个解向量*

a ，使得N n y a n T ,...,2,1,0=>

为此我们首先考虑处理线性可分问题的算法，先构造这样一个准则函数)()(∑∈-=

k

y T

p y a

a J γ

式中k

γ是被权向量a 错分类的样本集合。错分类时有0≤y a T

，或0≥-y a T 因此()a J p 总是大于等于0。下一步便是求解使0≤y a T

达到极小值时的解向量*

a 。这里我们采用梯度下降法，首先对a 求梯度，这是一个纯量函数对向量的求导问题，不难看出

∑∈-=

??=

?k

y p p y a

a J a J γ)()()(

梯度是一个向量，其方向是J 增长最快的方向，福梯度方向是减小最快的，这指引我们在求

准则函数的极小值时沿负梯度方向能最快达到极小值点。梯度下降法的迭代公式为

，将上式代入得∑∈+=+k

y k y

k a k a γρ

)()1(

这样，经过有限次修改，一定能找到一个解向量*

a 。其中任意给定权向量)1(a 。

J k a k K ?-=+ρ)()1(a

三、实验内容：

实验所需样本数据如下表给出（每个样本空间为两维，x1表示一维的值，x2表示第二维的值），编制程序实现1ω、2ω、3ω类的分类。我们将符号简化，把k ρ=1。这样，梯度下降算法可以写成??

?

+=+k

y k a k a a )()1(),1(任意

其中对任何k 都有0)(≤k

T

y k a 。实验时0)1(=a ，k ρ=1的情况来找到一个解向量*

a 。 感知器算法实验数据 样本

1 2 3 4 5 6 7 8 9 10 W1

x1

0.1 6.8 -3.5 2.0 4.1 3.1 -0.8 0.9 5.0 3.9 x2 1.1 7.1 -4.1 2.7 2.8 5.0 -1.3 1.2 6.4 4.0 W2

x1

7.1 -1.4 4.5 6.3 4.2 1.4 2.4 2.5 8.4 4.1 x2 4.2 -4.3 0.0 1.6 1.9 -3.2 -4.0 -6.1 3.7 -2.2 W3

x1

-3.0 0.5 2.9 -0.1 -4.0 -1.3 -3.4 -4.1 -5.1 1.9 x2 -2.9 8.7 2.1 5.2 2.2 3.7 6.2 3.4 1.6 5.1 W4

x1

-2.0 -8.9 -4.2 -8.5 -6.7 -0.5 -5.3 -8.7 -7.1 -8.0 x2

-8.4

0.2

-7.7 -3.2 -4.2 -9.2 -6.7

-6.4

-9.7

-6.3

四、实验结果及分析：

1）梯度下降算法输出结果：

a=[0;0;0]的收敛步骤

a=[1;1;1]的收敛步骤

a=[1;1;1]将更快收敛到*a。由此可见对于同一个样本，权向量的初值会影响到修正时的收敛步数。

梯度下降算法：主要程序 clear;

W1=[0.1 6.8 -3.5 2.0 4.1 3.1 -0.8 0.9 5.0 3.9; 1.1 7.1 -4.1 2.7 2.8 5.0 -1.3 1.2 6.4 4.0]; W2=[7.1 -1.4 4.5 6.3 4.2 1.4 2.4 2.5 8.4 4.1;

4.2 -4.3 0.0 1.6 1.9 -3.2 -4.0 -6.1 3.7 -2.2]; W3=[-3.0 0.5 2.9 -0.1 -4.0 -1.3 -3.4 -4.1 -

5.1 1.9; -2.9 8.7 2.1 5.2 2.2 3.7

6.2 3.4 1.6 5.1]; %将所有训练样本进行规范化增广 ww1=[ones(1,size(W1,2));W1]; ww2=[ones(1,size(W2,2));W2]; ww3=[ones(1,size(W3,2));W3];

%对W1、W2训练

w12=[ww1,-ww2];%增广样本规范化为w12

y=zeros(1,size(w12,2));%产生大小为1行，size(x,2)列的矩阵，矩阵元素都是0。 a=[0;0;0];%初始权向量a k=0;

while any(y<=0)

for i=1:size(y,2) %y 矩阵的列数 y(i)=a'*w12(:,i); %a ’表示转秩 end;

a=a+(sum((w12(:,find(y<=0)))'))';%修正向量a ∑∈+=+k

y k y k a k a γρ)()1(

k=k+1;%收敛步数 end;

a %显示最终求得的权向量a 的值 k %迭代次数值 subplot(1,2,1);

plot(W1(1,:),W1(2,:),'r.'); hold on;

plot(W2(1,:),W2(2,:),'*');

%找到样本在坐标中的集中区域，以便于打印样本坐标图 xmin=min(min(W1(1,:)),min(W2(1,:))); xmax=max(max(W1(1,:)),max(W2(1,:))); xindex=xmin-1:(xmax-xmin)/100:xmax+1; yindex=-a(2)*xindex/a(3)-a(1)/a(3); plot(xindex,yindex);

BP 算法实现异或问题

一、实验原理

BP 算法由于硬限幅函数是非可微函数,不能实现多层神经网络的一种有效的LMS 学习算法。而BP 算法中所用到的是Sigmoid 型函数，它既具有完成分类所需的非线性特性，又具有实现LMS 算法所需的可微特性。采用S 型函数的神经元的输入和输出之间的关系为：

u s e u f -+=

11)(

采用了S 型函数就可将用于单神经元的LMS 学习算法适当推广，得到一种适用于前向多层神经网络的有效学习算法。

我们现在着手研究一个采用S 型函数的前向三层神经网络来说明其原理。

对于训练样本p,它的输入是N 维矢量X ，X=],,[1,10-N p p p x x x ，网络的第一，二，三层分别包括J ，K ，M 个神经元，它的总输出是一个M 维矢量，Y=],,[1,10-M p p p y y y ，第i 层到

第i+1层之间的权重系数用)

1(+i nj w 来表示。可设前向三层神经网络输出各个分量的理想值是pi d ,i=0,1,……M-1，而这些分量的实际值是)

3(pi

pi o y =, i=0,1,……M-1，理想值和实际值之间的误差是

)

(pi pi pi y d -=ε。各输出误差的平方和可以表示为：

∑-==1

2

M i pi

p E ε

现在我们希望改变网络中的各个加权系数)

(l ij w ，使得p E 尽可能的减小。为此我们可以采取最陡下降算法的公式来调整权重系数)(l ij p w ?。公式如下：

,)()

(l ij

p

l ij

p w E a w

???

-=?

式中的a 是学习的步幅，它应随学习过程而变化。

对于通用神经层，它的各个输出)(l pL o 与各个输入)

1(-l pL o 之间的关系可以表示为：

∑-=--==10

)

()

1()()()

(),(L j l i l pj l ij l pi

l pi s l pi

O w I

I f o

θ

如果设)

()()

1(,1l iL l i

l pL

w

o

=-=-θ

，则

∑=-=L

j l pj l ij l pi

O w I

)

1()()( 式中的[]?f 表示s 型函数。我们不难看出上式即为给输入加一个恒等于1部分，在神经网络中也应相应的加一个节点，而且这个节点的权系数就是这一层网络的阈值。我们省去具体的

推导过程，下面直接给出结果。

（1）对于第三层：

)1(**)(*2)3()3()3()3(pi pi pi pi pi o o o d --=δ

（2）对于第二层：

)1(**)2()2(10)3()3()

2(pi pi M k ki pk pi

o o w -?

?????=∑-=δδ

（3）对于第一层：

)

0()1()1(10)2()2()

1(*)1(***pj

pi pi K k ki pk ij

o o o w w

-?

?????=?∑-=δα 其中：pi pi y o =)

3(

pi pi x o =)

0(

通过以上公式就可得到三层神经网络的各个权系数的调整量)(l ij p w ?。可见，这一算法的计算过程是先计算第三层（即输出层）的各项“误差分量”)3(pi δ，然后用)3(pi δ计算第二层（隐含层）的“等效误差分量”)2(pi δ，最后再用)2(pi δ计算第一层的“等效误差分量”)1(pi δ。只要

算出这些误差分量，系数调整量即可立即求得。所以，这是一种由输出层向输入层逐步反推的学习算法，故称之为“逆推”学习算法，即BP 算法。 二、实验步骤

1、生成训练样本和测试样本。在（1,0）（0,1）（0,0）（1,1）四个点附近各有随机生成服从高斯分布的30个样本，其中20个用作训练，剩下10个用作测试。根据异或问题要求，将（1,0）（0,1）附近的点归为第一组，（0,0）（1,1）附近的点归为第二组。由于有2个类别，对于目标结果，我们用0.9表示第一组，0.1表示第二组。

2、样本数据处理。把数据重新打乱顺序进行输入，可以让数据更加具备典型性和更优良的泛化能力。

3、建立神经网络，设置网络层数为3层，即输入层、隐层、输出层；输入层神经元数为2，隐层神经元数为5,输出层神经元数为1。

4、确定训练函数进行训练。选择适用于模式识别分类时速度最快的弹性算法。

5、完成训练后，调用训练结果，输入测试数据进行测试，分析分类结果。 三、实验结果及分析

运行程序后得到样本（包括训练样本和测试样本），样本如图所示。

)

2()3()3(**pj

pi ij p o w δα=?)1()2()2(**pj

pi ij p o w δα=?

设定网络误差为0.001，样经过训练，经过30次迭代，得到的满足误差限的网络性能曲线如图所示。

对于训练好的满足要求的网络测试剩下40个样本，第1-10个样本在以点（1,0）为中心的区域内，第11-20个样本在以点（0,1）为中心的区域内，第21-30个样本在以点（0,0）为中心的区域内，第31-40个样本在以点（1,1）为中心的区域内，按异或规则，我们希望得到的前20个值在0.9左右，后20个值在0.1左右。测试结果如下，显然与我们期望吻合，故分类正确。

如果我们以Y=0.5为阈值，当Y＞0.5时，将样本归为第一类，当Y＜0.5时，将样本归为第二类，则可得到某个满足要求的网络近似分界面，如图所示。

上图中，两条点线两侧的区域在此网络中分为第一类，中间所夹的区域为第二类，点线为大致的分界面。显然网络确实可以实现非线性样本特征的分类。

异或问题的BP网络分类法程序：

clear

n=30;

a=[1 0;0 1;0 0;1 1];

for k=1:4

x((n*(k-1)+1):(n*k),1:2)=[random('normal',a(k,1),0.05,n,1),random('normal',a(k, 2),0.05,n,1)]; %产生n行1列均值为a(k,1)a(k,2)标准差为0.05的正态分布

%取1至n行，1至2列的数据

x((n*(k-1)+1):(n*k),3)=abs(floor(k/2-0.1)-0.9); %不大于的最大整数

end

figure;%画两类样本

for i=1:2*n

plot(x(i,1),x(i,2),'r+')

hold on

end

for i=1:2*n

plot(x(i+2*n,1),x(i+2*n,2),'b+')

hold on

end

xlabel('x(1)')

ylabel('x(2)')

title('训练样本')

grid on

axis([-0.5 1.5 -0.5 1.5])

M=20;%抽取样本训练

for k=1:4

for i = 1:M

xpt(i+(k-1)*M,:)=x(i+(k-1)*n,:);

end

end

%训练网络

xd=xpt(randperm(numel(xpt)/3),:);

%%P=randperm(N,K)返回一个包含K个在0到N之间的随机元素向量，P=randperm(N)返回一个包含N个在0到N之间产生的随机元素的向量，各行各列重新排

P=xd(:,1:2);

T=xd(:,3);

net=newff(minmax(P'),[6,1],{'logsig' 'logsig'},'trainrp');

%创建一个反馈式网络，6为隐含层节点数，1为输出层节点数，'logsig'为输入层到隐含层、隐含层到输出层的传递函数，'trainrp'为输出层的训练函数

net.trainparam.epochs=1000; %网络最大收敛次数

net.trainparam.goal=0.0001; %收敛误差

net=train(net,P',T'); %调用TRAINGND算法训练BP网络

sim(net,P') %BP网络进行仿真结果

figure %画网络分界面

s=100;

for i=1:s

for j=1:s

tt(:,(i-1)*s+j)=[i/s;j/s];

Y=sim(net,tt(:,(i-1)*s+j)); %对bp网络进行仿真 if(abs(Y-0.5)<0.01)

plot(i/s,j/s,'b.')

hold on

end

end

end

grid on

title('网络分界面')

N=n-M;%提取测试样本

for k=1:4

for i = 1:N

x_test(i+(k-1)*N,:) = x(i+(k-1)*n+M,1:2);

end

end

P_p=x_test';

Y=sim(net,P_p)

Iris 数据BP 神经网络分类

一、实验原理

BP 算法由于硬限幅函数是非可微函数,不能实现多层神经网络的一种有效的LMS 学习算法。而BP 算法中所用到的是Sigmoid 型函数，它既具有完成分类所需的非线性特性，又具有实现LMS 算法所需的可微特性。采用S 型函数的神经元的输入和输出之间的关系为：

u s e u f -+=

11)(

采用了S 型函数就可将用于单神经元的LMS 学习算法适当推广，得到一种适用于前向多层神经网络的有效学习算法。

对于训练样本p,它的输入是N 维矢量X ，X=],,[1,10-N p p p x x x ，网络的第一，二，三层分别包括J ，K ，M 个神经元，它的总输出是一个M 维矢量，Y=],,[1,10-M p p p y y y ，第i 层到

第i+1层之间的权重系数用)

1(+i nj w 来表示。可设前向三层神经网络输出各个分量的理想值是pi d ,i=0,1,……M-1，而这些分量的实际值是)

3(pi

pi o y =, i=0,1,……M-1，理想值和实际值之间的误差是)

(pi pi pi

y d -=ε。各输出误差的平方和可以表示为：

∑-==

1

2M i pi

p

E

ε

现在我们希望改变网络中的各个加权系数)

(l ij w ，使得p E 尽可能的减小。为此我们可以采取

最陡下降算法的公式来调整权重系数)(l ij p w ?。公式为：,)

()

(l ij

p l ij p w

E a w ???

-=?

式中的a 是学习的步幅，它应随学习过程而变化。

对于通用神经层，它的各个输出)(l pL o 与各个输入)

1(-l pL o 之间的关系可以表示为：

∑-=--==10

)

()

1()()()

(),(L j l i l pj l ij l pi

l pi s l pi

O w I

I f o

θ

如果设)

()()

1(,1l iL l i

l pL

w

o

=-=-θ

，则

∑=-=L

j l pj l ij l pi

O w I

)

1()()( 式中的[]?f 表示s 型函数。我们不难看出上式即为给输入加一个恒等于1部分，在神经网络中也应相应的加一个节点，而且这个节点的权系数就是这一层网络的阈值。我们省去具体的

推导过程，下面直接给出结果。 （1）对于第三层：

)1(**)(*2)3()3()3()3(pi pi pi pi pi o o o d --=δ

)

2()3()3(**pj

pi ij p o w δα=?

（2）对于第二层：

)1(**)2()2(10)3()3()2(pi pi M k ki pk pi

o o w -?

?????=∑-=δδ

（3）对于第一层：

)

0()1()1(10)2()2()

1(*)1(***pj

pi pi K k ki pk ij

o o o w w

-?

?????=?∑-=δα 其中：pi pi y o =)

3(

pi pi x o =)

0(

通过以上公式就可得到三层神经网络的各个权系数的调整量)(l ij p w ?。可见，这一算法的计算过程是先计算第三层（即输出层）的各项“误差分量”)3(pi δ，然后用)3(pi δ计算第二层（隐含层）的“等效误差分量”)2(pi δ，最后再用)2(pi δ计算第一层（隐含层）的“等效误差分量”)

1(pi

δ。只要算出这些误差分量，系数调整量即可立即求得。所以，这是一种由输出层向输入层逐步反推的学习算法，故称之为“逆推”学习算法，或BP 算法。 二、实验步骤

1、确定训练样本和测试样本。三类样本各取前30个样本作为训练，剩下的用作测试分类样本。由于有3个类别，我们用2个数表示类别，0.9 0.1表示第一组，0.1 0.9表示第二组，0.9 0.9表示第三组，然后将二进制数组合成目标向量。

2、样本数据处理，包括归一化和打乱样本数据顺序。其中把数据重新打乱顺序进行输入，可以让数据更加具备典型性和更优良的泛化能力。

3、建立神经网络，设置网络层数为3层，即输入层、隐层、输出层；输入层神经元数为4，隐层神经元数为10，,输出层神经元数为2，隐含层的传输函数为sigmoid 函数，输出层传输函数亦为sigmoid 函数。

4、确定训练函数进行训练。当连续两迭代的梯度方向相同时，可将权值和阈值的修正值乘以一个增量因子，使其修正值增加，当连续两迭代的梯度方向相反时，可将权值和阈值的修正值乘以一个减量因子，使其修正值减小；当梯度为零时，权值和修正值保持不变；当权值的修正发生震荡时，其修正值将减小。

5、完成训练后，调用训练结果，输入测试数据，进行测试。

6、分析分类结果。 三、实验结果及分析

三类样本前30个样本训练，设定误差为0.0045，经过1178次迭代，得到的误差性能曲线如图所示。

)1()2()2(**pj

pi ij p o w δα=?

同时得到的统计结果为n1 = 20 n2 = 19 n3 = 18。分类结果如下图所示，图中“+”为第一组测试样本，“*□”为第二组测试样本，“*”为第三组测试样本，可以看到第一组测试样本分类完全正确，第二类测试样本有一个样本分到了第三组中，第三组测试样本有2个分到第二组中。

对于BP神经网络，只要网络隐层合适，训练的样本有足够的代表性，经训练后的网络能够有效且快捷地解决很多非线性多类样本的模式分类问题，它在工程应用上也取得了很大的成功。但是对于网络层数，接点数、初始权值和学习速率能诸多因素有时还需凭经验确定，另外它所得到的解不唯一，且不能保证得到最优解。

Iris数据BP神经网络分类程序：

clear

iris = load('iris.txt');

M=30;

for k=1:3

for i = 1:M

for j = 1:4

x1(i+(k-1)*M,j) = iris(i+(k-1)*50,j+1);

end

d1(i+(k-1)*M,1)=abs(mod(k,2)-0.1); %mod两数相除的余数 0.9 0.1 0.9 d1(i+(k-1)*M,2)=abs(floor(k/2)-0.1); 0.9 0.9 0.9

end

end

x2(:,1:4)=x1;

x2(:,5:6)=d1;

%训练样本顺序打乱

xd=x2(randperm(numel(x2)/6),:);

x=xd(:,1:4); d=xd(:,5:6);

[P,minp,maxp] = premnmx(x);

%归一化，[Pn,minp,maxp,Tn,mint,maxt]=premnmx(P,T)；P，T分别为原始输入和输出数据，minp和maxp分别为P中的最小值和最大值。mint和maxt分别为T的最小值和最大值。premnmx函数用于将网络的输入数据或输出数据进行归一化，归一化后的数据将分布在[-1,1]区间内。

P=P'; T=d';

net=newff(minmax(P),[12,2],{'logsig' 'logsig'},'trainrp');

net.trainparam.epochs=2000;

net.trainparam.goal=0.0045;

net=train(net,P,T);

sim(net,P)

N=50-M;

for k=1:3

for i = 1 : N

for j = 1:4

P_test(i+(k-1)*N,j) = iris(i+(k-1)*50+M,j+1);

end

end

end

[P_p,minp,maxp] = premnmx(P_test);

P_p=P_p';

Y=sim(net,P_p)

figure

n1=0;n2=0;n3=0;%统计各组分类正确数

for k=1:3

for i=1:N

switch k

case 1

plot(Y(1,i+(k-1)*N),Y(2,i+(k-1)*N),'r+')

if(Y(1,i)>0.5&& Y(2,i)<0.5)

n1=n1+1;

end

case 2

plot(Y(1,i+(k-1)*N),Y(2,i+(k-1)*N),'gs')

if(Y(1,i+N)<0.5&&Y(2,i+N)>0.5)

n2=n2+1;

end

case 3

plot(Y(1,i+(k-1)*N),Y(2,i+(k-1)*N),'b*') if(Y(1,i+2*N)>0.5&&Y(2,i+2*N)>0.5)

n3=n3+1;

end

end

hold on

end

end

hold on

plot(0:0.001:1,0.5,'--b' )

hold on

plot(0.5,0:0.001:1,'--b')

axis([-0.2 1.2 -0.2 1.2])

xlabel('Y(1)')

ylabel('Y(2)')

title('分类结果')

grid on