实验一报告实验一 基于感知器的线性分类器设计

北华大学开放实验报告

实验名称：实验一基于感知器的线性分类器设计所属课程：模式识别

班级：信息10—1

学号：36

姓名：张慧

实验一、基于感知器算法的线性分类器设计

一、实验目的：

1. 熟悉感知器算法。

2. 掌握感知准则函数分类器设计方法。

3. 掌握感知器算法，利用它对输入的数据进行分类。

二、实验原理：

感知机算法

线性分类器的第一个迭代算法是1956年由Frank Rosenblatt提出的，即具有自学习能力的感知器（Perceptron）神经网络模型，用来模拟动物或者人脑的感知和学习能力。这个算法被提出后，受到了很大的关注。感知器在神经网络发展的历史上占据着特殊的位置：它是第一个从算法上完整描述的神经网络，是一种具有分层神经网络结构、神经元之间有自适应权相连接的神经网络的一个基本网络。

感知器的学习过程是不断改变权向量的输入，更新结构中的可变参数，最后实现在有限次迭代之后的收敛。感知器的基本模型结构如图1所示：

图1 感知器基本模型

其中，X输入，Xi表示的是第i个输入；Y表示输出；W表示权向量；w0是阈值，f是一个阶跃函数。

感知器实现样本的线性分类主要过程是：特征向量的元素x1，x2，……，xk是网络的输入元素，每一个元素与相应的权wi相乘。，乘积相加后再与阈值w0相加，结果通过f函数执行激活功能，f为系统的激活函数。因为f是一个阶跃函数，故当自变量小于0时，f= -1；当自变量大于0时，f= 1。这样，根据输出信号Y，把相应的特征向量分到为两类。

然而，权向量w 并不是一个已知的参数，故感知器算法很重要的一个步骤即是寻找一个合理的决策超平面。故设这个超平面为w ，满足：

12

*0,*0,T T

w x x w x x ωω>?∈

引入一个代价函数，定义为：

()**T x x Y

J w w x

δ∈=∑ （2）

其中，Y 是权向量w 定义的超平面错误分类的训练向量的子集。变量x δ定义为：当1

x ω∈时，x δ= -1；当2x ω∈时，x δ= +1。显然，J(w)≥0。当代价函数J(w)达到最小值0时，所有的训练向量分类都全部正确。为了计算代价函数的最小迭代值，可以采用梯度下降法设计迭代算法，即：

()

()(1)()n

w w n J w w n w n w

ρ=?+=-? （3）

其中，w(n)是第n 次迭代的权向量，n ρ有多种取值方法，在本设计中采用固定非负值。由J(w)的定义，可以进一步简化（3）得到：

(1)()*n x x Y

w n w n x

ρδ∈+=-∑ （4）

通过（4）来不断更新w ，这种算法就称为感知器算法（perceptron algorithm ）。可以证明，这种算法在经过有限次迭代之后是收敛的，也就是说，根据（4）规则修正权向量w ，可以让所有的特征向量都正确分类。

采用感知器算法实现data1.m 的数据分类流程如图2所示：

图2 单层感知器算法程序流程

三、实验内容

1.获得增广样本向量和初始增广权向量

2..对样本进行规范化处理

3.获得解区，并用权向量迭代修正错分样本集，得到最终解区

四、实验程序

function Per1()

clear all;

close all;

DATA=xlsread('zb0708.xls');

for i=1:45

x1(i,1)=DATA(i,1)

x1(i,2)=DATA(i,2)

end

for i=1:55

x2(i,1)=DATA(i,3)

x2(i,2)=DATA(i,4)

end

for i=1:45 r1(i)=x1(i,1);end;

for i=1:45 r2(i)=x1(i,2);end;

for i=1:55 r3(i)=x2(i,1);end;

for i=1:55 r4(i)=x2(i,2);end;

figure(1);

plot(r1,r2,'*',r3,r4,'o');

hold on;%保持当前的轴和图像不被刷新，在该图上接着绘制下一图

x1(:,3) = 1;% 考虑到不经过原点的超平面，对x进行扩维

x2(:,3) = 1;% 使x'=[x 1]，x为2维的，故加1扩为3维

%进行初始化

w = rand(3,1);% 随机给选择向量，生成一个3维列向量 419.4813 -719.9205 -247.3682

p = 1; %p0非负正实数

ox1 = -1;% 代价函数中的变量

ox2 = 1;% 当x属于w1时为-1，当x属于w2时为1

s = 1;% 标识符，当s=0时，表示迭代终止

n = 0;% 表示迭代的次数

w1 = [0;0;0];

while s %开始迭代

J = 0; %假设初始的分类全部正确

j = [0;0;0]; %j=ox*x

for i = 1:45

if (x1(i,:)*w)>0 %查看x1分类是否错误，在x属于w1却被错误分类的情况下，w'x<0

w1 = w; %分类正确，权向量估计不变

else %分类错误

j = j + ox1*x1(i,:)';% j=ox*x。进行累积运算

J = J + ox1*x1(i,:)*w;% 感知器代价进行累积运算

end

end

for i = 1:55

if (x2(i,:)*w)<0%查看x2分类是否错误，在x属于w2却被错误分类的情况下，w'x>0

w1 = w; %分类正确，权向量估计不变

else %分类错误

j = j + ox2*x2(i,:)';% j=ox*x。进行累积运算

J = J + ox2*x2(i,:)*w;% 感知器代价进行累积运算

end

end

if J==0 %代价为0，即分类均正确

s = 0; %终止迭代

else

w1 = w - p*j;% w(t+1)=w(t)-p(ox*x)进行迭代

p=p+0.1;% 调整p

n = n+1; %迭代次数加1

end

w = w1;% 更新权向量估计

end

x = linspace(0,10,5000);% 取5000个x的点作图

y = (-w(1)/w(2))*x-w(3)/w(2);% x*w1+y*w2+w0=0,w=[w1;w2;w0]

plot(x,y,'r');% 用红线画出分界面

disp(n);% 显示迭代的次数

axis([1,12,0,8])% 设定当前图中，x轴范围为1-12，为y轴范围为0-8

end

五、实验结果图

六、实验结果分析

感知器算法是一种很好的二分类在线算法。在解决线性可分问题时,感知器具有运算速度快,性能可靠的优点。同时理解感知器的工作原理,可以为我们更好的理解其它复杂的神经网络模型奠定基础。

在感知器准则中，要求全部样本是线性可分的。此时，经过有限步的迭代梯度下降法就可以收敛到一个解。当样本不是线性可分时，如果仍然使用感知器算法，则算法不会收敛。如果任意地让算法停止在某一时刻，则无法保证得到的解是有用的。