模式识别作业

模式识别作业
班级：
学号：
姓名：
一、实验内容
（1）了解与熟悉模式识别系统的基本组成和系统识别原理。

（2）使用增添特征法对特征进行提取与选择。

（3）编写MATLAB程序，对原始数据特征进行提取与选择，并选择适当的分类器对样本进行训练和分类，得出最后的分类结果以及识别正确率。

二、实验原理
模式识别系统的原理图如下：
图1.模式识别系统原理图
对原始样本数据进行一些预处理，使用增添特征法进行特征提取与选择。

增添特征法也称为顺序前进法（SFS），每次从未选择的特征中选择一个，使得它与已选特征组合后判据值J最大，直到选择的特征数目达到d。

特征选取后用SVM分类器对随机选取的训练样本和测试样本进行分类，最后得出不同特征维数下的最高SVM分类正确率，以及不同特征维数下的最大类别可分性判据。

三、实验方法及程序
clear;
clc;
load('C:\Users\Administrator\Desktop\homework\ionosphere.mat');
m1=225;m2=126;
p1=m1/(m1+m2);p2=m2/(m1+m2);
chosen=[];
for j=1:34
[m,n]=size(chosen);n=n+1;
J1=zeros(1,33);
for i=1:34
Sw=zeros(n,n);Sb=zeros(n,n);
S1=zeros(n,n);S2=zeros(n,n);
p=any(chosen==i);
if p==0
temp_pattern1=data(1:225,[chosen i]);
temp_pattern2=data(226:351,[chosen i]);
M1=mean(temp_pattern1);
M2=mean(temp_pattern2);
M0=(225/351)*M1+(126/351)*M2;
for k=1:m1
S1=S1+(temp_pattern1(k,:)-M1)'*(temp_pattern1(k,:)-M1);
end
S1=S1/m1;
for k=1:m2
S2=S2+(temp_pattern2(k,:)-M2)'*(temp_pattern2(k,:)-M2);
end
S2=S2/m2;
Sw=p1*S1+p2*S2;
Sb=p1*((M1-M0)'*(M1-M0))+p2*((M2-M0)'*(M2-M0));
J1(i)=trace((Sw^-1)*Sb);
end
end
[maxr,k]=max(J1);
JJ(j)=maxr;
chosen=[chosen k];
s_data1=data(1:m1,chosen);
s_data2=data(m1+1:m1+m2,chosen);
for i=1:10
a=randperm(m1);b=randperm(m2);
train_data=[s_data1(a(1:50),:);s_data2(b(1:50),:)];
train_label=[ones(1,50)';2*ones(1,50)'];
test_data=[s_data1(a(51:m1),:);s_data2(b(51:m2),:)];
test_label=[ones(1,m1-50)';2*ones(1,m2-50)'];
model=svmtrain(train_label,train_data);
[predict_label,accuracy]=svmpredict(test_label,test_data,model);
accuracy1(i)=accuracy(1);
end
accuracy2(j)=mean(accuracy1);
end
figure;plot(accuracy2);
xlabel('目标特征维数');ylabel('最高SVM分类正确率');
figure;plot(JJ);
xlabel(目标特征维数');ylabel('最大类别可分性判据J');
四、实验结果及分析
实验结果图如下：
图2.最大类别可分性判据与目标特征维数的关系图
图3.最高SVM分类正确率与目标特征维数关系图
由最大类别可分性判据与目标特征维数的关系图可知，在总体趋势上，最大类别可分性判据随着目标特征维数的增加而增加，当目标特征维数增加到一定值时，J的增量变小，增长速度减缓。

由最高SVM分类正确率与目标特征维数关系图可知，在总体趋势上，最高SVM分类正确率随着目标特征维数的增加而增加。

当特征维数到8左右时，正确率逐渐趋于稳定，最高可达到94.4223%，由此可知，我们可以通过增添特征法选取最恰当的特征分量，在目标特征维数较小的情况下达到较高的分类正确率。