模式识别实验
《模式识别》实验报告班级：电子信息科学与技术13级02 班姓名：学号：指导老师：成绩：通信与信息工程学院二〇一六年实验一 最大最小距离算法一、实验内容1. 熟悉最大最小距离算法，并能够用程序写出。
2. 利用最大最小距离算法寻找到聚类中心，并将模式样本划分到各聚类中心对应的类别中。
二、实验原理N 个待分类的模式样本{}N X X X ， 21,，分别分类到聚类中心{}N Z Z Z ， 21,对应的类别之中。
最大最小距离算法描述：（1）任选一个模式样本作为第一聚类中心1Z 。
（2）选择离1Z 距离最远的模式样本作为第二聚类中心2Z 。
（3）逐个计算每个模式样本与已确定的所有聚类中心之间的距离，并选出其中的最小距离。
（4）在所有最小距离中选出一个最大的距离，如果该最大值达到了21Z Z -的一定分数比值以上，则将产生最大距离的那个模式样本定义为新增的聚类中心，并返回上一步。
否则，聚类中心的计算步骤结束。
这里的21Z Z -的一定分数比值就是阈值T ，即有：1021<<-=θθZ Z T（5）重复步骤（3）和步骤（4），直到没有新的聚类中心出现为止。
在这个过程中，当有k 个聚类中心{}N Z Z Z ， 21,时，分别计算每个模式样本与所有聚类中心距离中的最小距离值，寻找到N 个最小距离中的最大距离并进行判别，结果大于阈值T 是，1+k Z 存在，并取为产生最大值的相应模式向量；否则，停止寻找聚类中心。
（6）寻找聚类中心的运算结束后，将模式样本{}N i X i ,2,1, =按最近距离划分到相应的聚类中心所代表的类别之中。
三、实验结果及分析该实验的问题是书上课后习题2.1，以下利用的matlab中的元胞存储10个二维模式样本X{1}=[0;0];X{2}=[1;1];X{3}=[2;2];X{4}=[3;7];X{5}=[3;6];X{6}=[4;6];X{7}=[5;7];X{8}=[6;3];X{9}=[7;3];X{10}=[7;4];利用最大最小距离算法，matlab运行可以求得从matlab运行结果可以看出，聚类中心为971,,XXX，以1X为聚类中心的点有321,,XXX，以7X为聚类中心的点有7654,,,XXXX，以9X为聚类中心的有1098,,XXX。
同时，做出聚类分析后的分布图，如下：012345678123456789样本坐标聚类显示图图中用蓝色大圈标记了聚类中心，用星号标记了以1X为聚类中心的样本，用三角符号标记了以以7X为聚类中心的样本，用红色小圈标记了以9X为聚类中心的样本，该程序成功进行了分类实验二 感知器算法一、实验内容1. 熟悉感知器算法，并能够用程序写出。
2. 利用感知器算法进行判别分类，算出判别函数，画出判别界面。
二、实验原理直接用来对模式进行分类的准则函数。
若分属于ω1，ω2的两类模式可用一方程0)(=X d 来划分，那么称)(X d 为判别函数，或称判决函数、决策函数。
如，一个二维的两类判别问题，模式分布如图示，这些分属于ω1，ω2两类的模式可用一直线方程0)(=X d 来划分。
其中0)(32211=++=w x w x w d X 式中： 21,x x 为坐标变量。
图2-1 两类二维模式的分布将某一未知模式 X 代入：32211)(w x w x w d ++=X若0)(>X d ，则1ω∈X 类；2x 1x若0)(<X d ，则2ω∈X 类；若0)(=X d ，则21ωω∈∈X X 或或拒绝。
两类线性可分的模式类 21,ωω，设X W X d T )(=其中，[]T 121,,,,+=n n w w w w W ，[]T211,,,,n x x x =X 应具有性质⎩⎨⎧∈<∈>=21,0,0)(ωωX X X W X T d 对样本进行规范化处理，即ω2类样本全部乘以(－1)，则有：0)(T >=X W X d感知器算法通过对已知类别的训练样本集的学习，寻找一个满足上式的权向量。
感知器算法步骤：（1）选择N 个分属于ω1和 ω2类的模式样本构成训练样本集{}N X X X ， 21,构成增广向量形式，并进行规范化处理。
任取权向量初始值W(1)，开始迭代。
迭代次数k=1。
（2）用全部训练样本进行一轮迭代，计算()i k X W 的值，并修正权向量。
分两种情况，更新权向量的值：1. ()，若0≤T i k X W 分类器对第i 个模式做了错误分类，权向量校正为：()()i c k k X W W +=+1c ：正的校正增量。
2. 若()0T >i k X W 分类正确，权向量不变：()()k k W W =+1,统一写为：⎪⎩⎪⎨⎧<+>=+0)(,)(0)(),()1(k Tk k Tk c k k k k X W X W X W W W （3）分析分类结果：只要有一个错误分类，回到（2），直至对所有样本正确分类。
感知器算法是一种赏罚过程：分类正确时，对权向量“赏”——这里用“不罚”，即权向量不变；分类错误时，对权向量“罚”——对其修改，向正确的方向转换。
三、实验结果与分析已知两类训练样本为：TTTTTTTT)1,1,1(,)0,1,0(,)1,1,0(,)1,0,0(:)0,1,1(,)1,0,1(,)0,0,1(,)0,0,0(:21ωω设T)0,2,2,1()1(---=W，同样地，利用matlab元胞数组存储该两类训练样本利用感知器算法，matlab运行得到如下结果：因此，可以得到感知器算法算出的判别函数为：1323)(321+--=xxxXd利用matlab的画图函数画出判别界面以及样本点，得到如下的分布图：由样本分布图可以看出，判别界面成功将两类训练样本分离。
实验三 LMSE 算法一、实验内容1. 了解LMSE 算法，并能够用程序写出。
2. 利用LMSE 算法进行判别分类，算出判别函数，并画出判别界面。
二、实验原理LMSE 算法为最小平方误差算法，其算法过程如下：（1）将N 个分属于1ω类和2ω类的n 维模式样本写成增广形式，将属于2ω的训练样本乘以（-1），写出规范化增广样本矩阵X 。
（2）求X 的伪逆矩阵TT X X X X -1#）（=。
（3）设置初值c 和)1(B ，c 为正的校正增量，)1(B 的各分量大于0，括号中数字代表迭代次数k=1，开始迭代。
（4）计算)()()(k k k B XW e -=，进行可分性判别。
如果0)(=k e ，模式线性可分，解为)(k W ，算法结束。
如果0)(>k e ，模式线性可分，有解。
继续迭代。
如果0)(<k e ，停止迭代，检查)(k XW 是否大于0。
若大于0，有解，否则无解，算法结束。
（5）计算)1(+k W 和)1(+k B先计算])(|)([)()1(|k k c k k e e B B ++=+，再计算)1()1(#+=+k k B X W ，迭代次数k 加1，返回第（4）步。
三、实验结果及分析该实验用的训练样本与感知器算法使用的样本一致，为以下两类训练样本：TTTTT T T T )1,1,1(,)0,1,0(,)1,1,0(,)1,0,0(:)0,1,1(,)1,0,1(,)0,0,1(,)0,0,0(:21ωω设定初始值T )1,1,1,1,1,1,1,1()1(=B ，同样地利用matlab 中的元胞数组存放训练样本点，通过编写matlab的LMSE程序可以得到以下结果：所以，LMSE算法求得的该两类训练样本的判别函数为1222)(321+--=xxxXd利用matlab的画图函数画出判别界面以及样本点，得到如下的分布图：由样本分布图可以看出，LMSE算法所得的判别界面也成功将两类训练样本分离。
实验四 Parzen窗估计一、实验内容1.了解Parzen窗概率密度的估计方法，能用程序实现。
2.编写matlab程序，求解一个正态密度的Parzen窗估计。
二、实验原理设区域NR是一个d维的超立方体，并设Nh是超立方体的棱长，则超立方体的体积为定义窗函数)(uϕ为⎪⎩⎪⎨⎧=≤=其他,0,,2,1;21,1)(d j u u jϕ由于)(u ϕ是以原点为中心的一个超立方体，所以当i X 落入到以X 为中心，体积为N V 的超立方体时，1]/)[()(=-=N i h X X u ϕϕ，否则0)(=u ϕ，因此落入该超立方体内的样本数为∑=-=Ni NiN h X X k 1)(ϕ )(ˆX pN 是)(X p 的第N 次估计，则有 NN N V Nk X p/)(ˆ= 所以联立上面两式得∑=-=Ni Ni N h X X V NX p1)(11)(ˆϕ 这个式子就是Parzen 窗法的基本公式。
三、实验结果与分析待估计的)(X p 的均值为零，方差为１的正态密度函数，利用matlab 可以随机产生１个，１６个，２５６个学习样本i X 的样本集，选取正态窗函数22121)(u e u -=πϕ 并设Nh h N 1=，1h 分别取 4.01.00.25，，，利用matlab 可以得到不同取值下的估计结果。
（１）当0.4,0.1,25.01==h N ，时得到的结果原概率分布N=1,h1=0.25的Parzen 窗估计N=1,h1=1的Parzen 窗估计N=1,h1=4的Parzen 窗估计从图中可以看出，估计概率密度函数是一个样本为中心的小丘，误差很大。
（２）当0.4,0.1,25.016==h N ，时得到的结果原概率分布N=16,h1=0.25的Parzen 窗估计N=16,h1=1的Parzen 窗估计N=16,h1=4的Parzen 窗估计从图中可以看出，在25.01=h 时，噪声误差非常大，产生了不连续性。
慢慢增大1h 时，受到了平滑，但平均性误差也随之增大，分辨率降低。
（３）当0.4,0.1,25.0256==h N ，时得到的结果从下图可以看出，当N 增大到256，估计量越来越好，在41=h 时，估计量很接近真实分布。
原概率分布N=256,h1=0.25的Parzen 窗估计N=256,h1=1的Parzen 窗估计N=256,h1=4的Parzen 窗估计从整个实验来看，Parzen 窗法只要样本足够多，总可以保证收敛于任何复杂的未知概率密度函数，但是也受到N h 值的影响，当N h 太小时，就会造成不连续性，噪声误差增大。
当N h 太大时，分辨率就会下降，平均性误差就会增大。
附录一最大最小距离算法程序clear;clc;X{1}=[0;0];X{2}=[1;1];X{3}=[2;2];X{4}=[3;7];X{5}=[3;6];X{6}=[4;6];X{7}=[5;7];X{8}=[6;3];X{9}=[7;3];X{10}=[7;4];%取第一个点为一个聚类中心z{1}=X{1};position(1)=1;%计算其它点到z1的距离for i=1:10d(i)=dist(X{i}',z{1});end%找到距离z1最远的点的位置max_dist=max(d);pos=find(d==max(d));z{2}=X{pos};position(2)=pos;rate=0.5;%分数比值设置为0.5T=rate*dist(z{1}',z{2});%初始阈值min_dist=d;flag=2;index=1;while(1) %循环求出其他距离并与事先设定的阈值作比较for i=1:10d(flag,i)=dist(X{i}',z{flag});if min_dist(i)>d(flag,i)min_dist(index)=d(flag,i);elsemin_dist(index)=min_dist(i);endindex=index+1;endindex=1;max_dist=max(max(min_dist));[x y]=find(min_dist==max(min_dist));if(max_dist>T)flag=flag+1;z{flag}=X{y};position(flag)=y;elsebreak;endendfprintf('以下序号的样本为聚类中心:\n');for i=1:flagfprintf('%d\t',position(i));endfprintf('\n=======================');%计算各样本到各聚类中心的距离for i=1:10for j=1:flagdistance(i,j)=dist(X{i}',z{j});endendflag1=1;flag2=1;distance2=distance';[mincol I]=min(distance2);%对10个样本进行聚类for i=1:10for j=1:flagif(I(i)==j)array(j,flag1)=i;flag1=flag1+1;elsecontinue;endendend%对聚类结果进行输出while(flag2<=flag)fprintf('\n第%d类的聚类中心为:%d\n',flag2,position(flag2));fprintf('属于第%d类的有:\n',flag2);for i=1:10if(array(flag2,i)~=0)fprintf('%d\t',array(flag2,i));if flag2==1plot(X{array(flag2,i)}(1),X{array(flag2,i)}(2),'b*');hold on;endif flag2==2plot(X{array(flag2,i)}(1),X{array(flag2,i)}(2),'black^'); hold on;endif flag2==3plot(X{array(flag2,i)}(1),X{array(flag2,i)}(2),'ro'); title('样本坐标聚类显示图');hold on;endendendfprintf('\n');flag2=flag2+1;endgrid on;axis([0 8 0 9]);hold onplot(X{position(1)}(1),X{position(1)}(2),'o','Markersize',10); hold onplot(X{position(2)}(1),X{position(2)}(2),'o','Markersize',10); hold onplot(X{position(3)}(1),X{position(3)}(2),'o','Markersize',10);附录二感知器算法程序clc;clear;w1{1} = [0 0 0]';w1{2} =[1 0 0]';w1{3} =[1 0 1]';w1{4} =[1 1 0]'; w2{1} = [0 0 1]';w2{2} =[0 1 1]';w2{3} =[0 1 0]';w2{4} =[1 1 1]'; [rol col ]= size(w1{1});for i=1:4w1{i}(rol+1,1)=1;w2{i}(rol+1,1)=1;w2{i}=w2{i}.*-1;endk=1;W(k,:)=[-1,-2,-2,0]';flag=0;while(1)%w1的计算for i=1:4k=k+1;if ((W(k-1,:)*w1{i})<=0)W(k,:)=W(k-1,:)'+w1{i};flag=1; %发生错判，立即将标记位赋1elseW(k,:)=W(k-1,:);endend%w2的计算for i=1:4k=k+1;if ((W(k-1,:)*w2{i})<=0)W(k,:)=W(k-1,:)'+w2{i};flag=1;%发生错判，立即将标记位赋1elseW(k,:)=W(k-1,:);endendif flag==1flag=0;elsebreak;endendfprintf('求得判别函数为：\t');fprintf('d(X)=(%s*x1)+(%s*x2)+(%s*x3)+(%s)\n',num2str(W(k,1)),num2str(W(k,2)),num2s tr(W(k,3)),num2str(W(k,4)));for i=1:4w2{i}=w2{i}.*-1;endx1=-2:0.01:2;x2=-2:0.01:2;[x1 x2]=meshgrid(x1,x2);x3=(W(k,1)*x1+W(k,2)*x2+W(k,4))/(-1*W(k,3));surf(x1,x2,x3);holdfor i=1:4plot3(w1{i}(1),w1{i}(2),w1{i}(3),'b*');plot3(w2{i}(1),w2{i}(2),w2{i}(3),'r^');endtitle('感知器算法判别界面及样本分布图');附录三ＬＭＳＥ算法程序clc;clear;w1{1} = [0 0 0]';w1{2} =[1 0 0]';w1{3} =[1 0 1]';w1{4} =[1 1 0]';w2{1} = [0 0 1]';w2{2} =[0 1 1]';w2{3} =[0 1 0]';w2{4} =[1 1 1]';[rol col ]= size(w1{1});for i=1:4w1{i}(rol+1,1)=1;w2{i}(rol+1,1)=1;w2{i}=w2{i}.*-1;endX=[w1{1},w1{2},w1{3},w1{4},w2{1},w2{2},w2{3},w2{4}]';XW=inv(X'*X)*X';k=1;B(k,:)=[1,1,1,1,1,1,1,1];flag=0;c=1;while(1)W(k,:)=XW*B(k,:)';e=X*W(k,:)'-B(k,:)';if mean(abs(e))<1.0e-014|e==0flag=0;break;endif e<0if X*W>=0flag=1;break;endendk=k+1;B(k,:)=B(k-1,:)'+c*(e+abs(e));endif flag==1fpritf('该模式样本线性不可分\n');elsefprintf('求得判别函数为：\t');fprintf('d(X)=(%s*x1)+(%s*x2)+(%s*x3)+(%s)\n',num2str(W(k,1)),num2str(W(k,2)),num2s tr(W(k,3)),num2str(W(k,4)));for i=1:4w2{i}=w2{i}.*-1;endx1=-2:0.01:2;x2=-2:0.01:2;[x1 x2]=meshgrid(x1,x2);x3=(W(k,1)*x1+W(k,2)*x2+W(k,4))/(-1*W(k,3));surf(x1,x2,x3);holdfor i=1:4plot3(w1{i}(1),w1{i}(2),w1{i}(3),'b*');plot3(w2{i}(1),w2{i}(2),w2{i}(3),'r^');endendtitle('LMSE算法判别界面及样本分布图');附录四Parzen估计算法程序clc;clear;X=randn(1,3000);px=normpdf(X,0,1);% N=1的情况 %pNx1_1=parzen(0.25,1,X);pNx1_2=parzen(1,1,X);pNx1_3=parzen(4,1,X);subplot(221);plot(X,px,'.');grid on;title('原概率分布');subplot(222)plot(X,pNx1_1,'.');grid on;title('N=1,h1=0.25的Parzen窗估计');subplot(223);plot(X,pNx1_2,'.');grid on;title('N=1,h1=1的Parzen窗估计');subplot(224);plot(X,pNx1_3,'.');grid on;title('N=1,h1=4的Parzen窗估计');% N=16的情况 %pNx16_1=parzen(0.25,16,X);pNx16_2=parzen(1,16,X);pNx16_3=parzen(4,16,X);figure;subplot(221);plot(X,px,'.');grid on;title('原概率分布');subplot(222)plot(X,pNx16_1,'.');grid on;title('N=16,h1=0.25的Parzen窗估计');subplot(223);plot(X,pNx16_2,'.');grid on;title('N=16,h1=1的Parzen窗估计');subplot(224);plot(X,pNx16_3,'.');grid on;title('N=16,h1=4的Parzen窗估计');% N=256的情况 %pNx256_1=parzen(0.25,256,X);pNx256_2=parzen(1,256,X);pNx256_3=parzen(4,256,X);figure;subplot(221);plot(X,px,'.');grid on;title('原概率分布');subplot(222)plot(X,pNx256_1,'.');grid on;title('N=256,h1=0.25的Parzen窗估计');subplot(223);plot(X,pNx256_2,'.');grid on;title('N=256,h1=1的Parzen窗估计');subplot(224);plot(X,pNx256_3,'.');grid on;title('N=256,h1=4的Parzen窗估计');function pNx=parzen(h1,N,x)pNx=zeros(1,3000);hN=h1/sqrt(N);for j=1:3000for i=1:NpNx(j)=pNx(j)+exp(((x(j)-x(i))/hN).^2/-2)/sqrt(2*pi);endpNx(j)=pNx(j)/hN/N;end。
自-模式识别实验1报告
模式识别实验一报告正态分布的分类器设计一、实验目的:1.对模式识别有一个初步的理解2.能够根据自己的设计对贝叶斯决策理论算法有一个深刻地认识 3．熟悉单元和多元正态分布分类器、判别函数二、实验条件:ma ｔl ａb 软件三、实验原理:对于具有多个特征参数的样本，其正态分布的概率密度函数可定义为112211()exp ()()2(2)T d p π-⎧⎫=--∑-⎨⎬⎩⎭∑x x μx μ 式中,12,,,d x x x ⎡⎤⎣⎦=x 是d 维行向量,12,,,d μμμ⎡⎤⎣⎦=μ是d 维行向量，∑是d d ⨯维协方差矩阵,1-∑是∑的逆矩阵，∑是∑的行列式。
本实验我们采用最小错误率的贝叶斯决策,使用如下的函数作为判别函数()(|)(),1,2,3i i i g p P i ωω==x x …其中()i P ω为类别i ω发生的先验概率，(|)i p ωx 为类别i ω的类条件概率密度函数。
由其判决规则,如果使()()i j g g >x x 对一切j i ≠成立，则将x 归为i ω类。
我们根据假设:类别i ω,i=１,2,……,Ｎ的类条件概率密度函数(|)i p ωx ,i=１,2,……,N 服从正态分布,即有(|)i p ωx ~(,)i i N ∑μ，那么上式就可以写为1122()1()exp ()(),1,2,32(2)T i i dP g i ωπ-⎧⎫=-∑=⎨⎬⎩⎭∑x x -μx -μ对上式右端取对数，可得111()()()ln ()ln ln(2)222T i i i i dg P ωπ-=-∑+-∑-i i x x -μx -μ如果 ｇi(ｘ）=ｍax g ｊ(x ） （j ＝１,２,3,…) 则ｘ∈wi;四、实验内容1(ｂ)、写一个程序计算一个给定正态分布及先验概率P(wi)的判别函数111()()()ln ()ln ln(2)222T i i i i dg P ωπ-=-∑+-∑-i i x x -μx -μ；2(ａ)、假设前面两个先验概率相等,Ｐ(w1）＝ P （w ２) ＝1/2，P(w ３)=0，仅利用x1的值特征值为这两个类别判别设计一个分类器； 2(d)、用两个特征值x1、x2重复２(ａ)步骤； 2(e)、利用所有的特征值重复以上各步;4、（a ）、以下各测试点与2中各类别均值间的Ｍa ｈalano ｂis 距离分别是多少?(1,2，１)， (5,3，2), （０，０,０), (1,0,0)。
模式识别 实验报告一
402
132
识别正确率
73.36
84.87
99.71
70.31
82.89
86.84
结果分析：
实验中图像3的识别率最高，图像1和图像2的识别率次之。图像1和图像2的分辨率相对图像3更低，同时图像2有折痕影响而图像1则有大量噪声。通过阈值处理能较好的处理掉图像1的噪声和图像2的折痕，从而使得图像1的识别率有所提升，而图像2的识别率变化不大。从而可以得出结论，图像3和图像2识别率不同的原因主要在于图像分辨率，而图像2和图像1识别率的不同则在于噪声干扰。
实验报告
题目
模式识别系列实验——实验一字符识别实验
内容：
1．利用OCR软件对文字图像进行识别，了解图像处理与模式识别的关系。
2．利用OCR软件对文字图像进行识别，理解正确率的概念。
实验要求：
1．利用photoshop等软件对效果不佳的图像进行预处理，以提高OCR识别的正确率。
2．用OCR软件对未经预处理和经过预处理的简体和繁体中文字符图像进行识别并比较正确率。
图像4内容既有简体又有繁体，从识别结果中可了解到错误基本处在繁体字。
遇到的问题及解决方案：
实验中自动旋转几乎没效果，所以都是采用手动旋转；在对图像4进行识别时若采用系统自己的版面分析，则几乎识别不出什么，所以实验中使用手动画框将诗的内容和标题及作者分开识别。
主要实验方法：
1．使用汉王OCR软件对所给简体和繁体测试文件进行识别；
2．理，再次识别；
实验结果：
不经过图像预处理
经过图像预处理
实验图像
图像1
图像2
图像3
图像4
图像1
图像2
字符总数
458
《模式识别》实验报告-贝叶斯分类
《模式识别》实验报告---最小错误率贝叶斯决策分类一、实验原理对于具有多个特征参数的样本（如本实验的iris 数据样本有4d =个参数），其正态分布的概率密度函数可定义为112211()exp ()()2(2)T d p π-⎧⎫=--∑-⎨⎬⎩⎭∑x x μx μ 式中，12,,,d x x x ⎡⎤⎣⎦=x 是d 维行向量，12,,,d μμμ⎡⎤⎣⎦=μ是d 维行向量，∑是d d ⨯维协方差矩阵，1-∑是∑的逆矩阵，∑是∑的行列式。
本实验我们采用最小错误率的贝叶斯决策，使用如下的函数作为判别函数()(|)(),1,2,3i i i g p P i ωω==x x （3个类别）其中()i P ω为类别i ω发生的先验概率，(|)i p ωx 为类别i ω的类条件概率密度函数。
由其判决规则，如果使()()i j g g >x x 对一切j i ≠成立，则将x 归为i ω类。
我们根据假设：类别i ω，i=1,2,……,N 的类条件概率密度函数(|)i p ωx ，i=1,2,……,N 服从正态分布，即有(|)i p ωx ~(,)i i N ∑μ，那么上式就可以写为1122()1()exp ()(),1,2,32(2)T i i dP g i ωπ-⎧⎫=-∑=⎨⎬⎩⎭∑x x -μx -μ对上式右端取对数，可得111()()()ln ()ln ln(2)222T i i i i dg P ωπ-=-∑+-∑-i i x x -μx -μ上式中的第二项与样本所属类别无关，将其从判别函数中消去，不会改变分类结果。
则判别函数()i g x 可简化为以下形式111()()()ln ()ln 22T i i i i g P ω-=-∑+-∑i i x x -μx -μ二、实验步骤（1）从Iris.txt 文件中读取估计参数用的样本，每一类样本抽出前40个，分别求其均值，公式如下11,2,3ii iii N ωωω∈==∑x μxclear% 原始数据导入iris = load('C:\MATLAB7\work\模式识别\iris.txt'); N=40;%每组取N=40个样本%求第一类样本均值 for i = 1:N for j = 1:4w1(i,j) = iris(i,j+1); end endsumx1 = sum(w1,1); for i=1:4meanx1(1,i)=sumx1(1,i)/N; end%求第二类样本均值 for i = 1:N for j = 1:4 w2(i,j) = iris(i+50,j+1);end endsumx2 = sum(w2,1); for i=1:4meanx2(1,i)=sumx2(1,i)/N; end%求第三类样本均值 for i = 1:N for j = 1:4w3(i,j) = iris(i+100,j+1); end endsumx3 = sum(w3,1); for i=1:4meanx3(1,i)=sumx3(1,i)/N; end（2）求每一类样本的协方差矩阵、逆矩阵1i -∑以及协方差矩阵的行列式i ∑， 协方差矩阵计算公式如下11()(),1,2,3,41i ii N i jklj j lk k l i x x j k N ωωσμμ==--=-∑其中lj x 代表i ω类的第l 个样本，第j 个特征值；ij ωμ代表i ω类的i N 个样品第j 个特征的平均值lk x 代表i ω类的第l 个样品，第k 个特征值；iw k μ代表i ω类的i N 个样品第k 个特征的平均值。
实验七基于神经网络的模式识别实验
实验七基于神经网络的模式识别实验一、实验目的利用神经网络实现模式识别，并验证其性能。
掌握基于神经网络的模式识别方法。
二、实验原理1.神经网络神经网络是一种模仿生物神经系统的计算模型，它由大量的神经元节点相互连接而成。
在模式识别中，我们一般采用多层前向神经网络进行模式的训练和识别。
2.神经网络的训练过程神经网络的训练过程可以分为两步：前向传播和反向传播。
前向传播是指将输入样本通过网络的各个层传递到输出层，并计算输出结果。
反向传播是指根据输出结果和目标结果之间的误差，将误差反向传播到网络的各个层，并根据误差调整网络中的权值。
3.模式识别对于模式识别问题，我们首先需要将输入模式转化为特征向量，然后通过神经网络来训练这些特征向量，并将其与已知类别的模式进行比较，从而进行模式的识别。
三、实验步骤1.数据准备选择适当的模式识别数据集，例如手写数字识别的MNIST数据集，将其分为训练集和测试集。
2.特征提取对于每个输入模式，我们需要将其转化为一个特征向量。
可以使用各种特征提取方法，例如像素值，轮廓等。
3.神经网络设计设计合适的神经网络结构，包括输入层、隐藏层和输出层，并确定各层的神经元数目。
4.神经网络训练使用训练集对神经网络进行训练，包括前向传播和反向传播过程。
可以使用各种优化算法，例如梯度下降法。
5.模式识别使用测试集对训练好的神经网络进行测试和验证，计算识别的准确率和性能指标。
6.性能评估根据得到的结果，评估神经网络的性能，并分析可能的改进方法。
四、实验结果通过实验我们可以得到神经网络模式识别的准确率和性能指标，例如精确度、召回率和F1-score等。
五、实验总结在本次实验中，我们利用神经网络实现了模式识别，并验证了其性能。
通过实验，我们可以掌握基于神经网络的模式识别方法，了解神经网络的训练和识别过程，以及模式识别中的特征提取方法。
实验结果表明，神经网络在模式识别问题中具有较好的性能，并且可以根据需要进行改进和优化。
《模式识别》实验报告K-L变换特征提取
《模式识别》实验报告K-L变换特征提取基于K-L 变换的iris 数据分类⼀、实验原理K-L 变换是⼀种基于⽬标统计特性的最佳正交变换。
它具有⼀些优良的性质：即变换后产⽣的新的分量正交或者不相关；以部分新的分量表⽰原⽮量均⽅误差最⼩；变换后的⽮量更趋确定，能量更集中。
这⼀⽅法的⽬的是寻找任意统计分布的数据集合之主要分量的⼦集。
设n 维⽮量12,,,Tn x x x =x ，其均值⽮量E=µx ，协⽅差阵()T x E=--C x u)(x u ，此协⽅差阵为对称正定阵，则经过正交分解克表⽰为x =TC U ΛU ,其中12,,,[]n diag λλλ=Λ，12,,,n u u u =U 为对应特征值的特征向量组成的变换阵，且满⾜1T-=UU。
变换阵TU 为旋转矩阵，再此变换阵下x 变换为()T -=x u y U ,在新的正交基空间中，相应的协⽅差阵12[,,,]xn diag λλλ==x U C U C。
通过略去对应于若⼲较⼩特征值的特征向量来给y 降维然后进⾏处理。
通常情况下特征值幅度差别很⼤，忽略⼀些较⼩的值并不会引起⼤的误差。
对经过K-L 变换后的特征向量按最⼩错误率bayes 决策和BP 神经⽹络⽅法进⾏分类。
⼆、实验步骤（1）计算样本向量的均值E =µx 和协⽅差阵()T xE ??=--C x u)(x u5.8433 3.0573 3.7580 1.1993??=µ，0.68570.0424 1.27430.51630.04240.189980.32970.12161.27430.3297 3.1163 1.29560.51630.12161.29560.5810x----=--C （2）计算协⽅差阵xC 的特征值和特征向量，则4.2282 , 0.24267 , 0.07821 , 0.023835[]diag =Λ-0.3614 -0.6566 0.5820 0.3155 0.0845 -0.7302 -0.5979 -0.3197 -0.8567 0.1734 -0.0762 -0.4798 -0.3583 0.0755 -0.5458 0.7537??=U从上⾯的计算可以看到协⽅差阵特征值0.023835和0.07821相对于0.24267和4.2282很⼩，并经计算个特征值对误差影响所占⽐重分别为92.462%、5.3066%、1.7103%和0.52122%，因此可以去掉k=1~2个最⼩的特征值，得到新的变换阵12,,,newn k u u u -=U。
实验七基于神经网络的模式识别实验
实验七基于神经网络的模式识别实验
一、实验背景
模式识别是机器学习领域中的一项重要研究领域，它可以被应用于多个领域，包括计算机视觉，图像处理，智能交通，自然语言处理和生物信息学等。
模式识别的目的是从观察到的数据中检测，理解和预测结果。
其中，神经网络（应用模式识别）是人工智能的关键部分，它模拟人类的神经元的工作方式，并且可以被用来识别，分类，计算和获取模式。
二、实验目标
本次实验的目的是，探讨神经网络在模式识别中的应用，并使用一个基于神经网络的模式识别系统来识别模式。
三、实验内容
（一）数据预处理
在进行本次实验之前，需要进行数据预处理，以便能够更好地使用神经网络。
数据预处理的目的是通过将原始数据处理成神经网络可以处理的格式，以便更好地提取特征。
（二）神经网络模型设计
（三）神经网络模型训练
在训练神经网络模型时，首先需要准备一组被识别的模式。
模式识别实验
实验1 图像的贝叶斯分类1.1 实验目的将模式识别方法与图像处理技术相结合，掌握利用最小错分概率贝叶斯分类器进行图像分类的基本方法，通过实验加深对基本概念的理解。
1.2 实验仪器设备及软件HP D538、MATLAB1.3 实验原理1.3.1 基本原理阈值化分割算法是计算机视觉中的常用算法，对灰度图象的阈值分割就是先确定一个处于图像灰度取值范围内的灰度阈值，然后将图像中每个像素的灰度值与这个阈值相比较。
并根据比较的结果将对应的像素划分为两类，灰度值大于阈值的像素划分为一类，小于阈值的划分为另一类，等于阈值的可任意划分到两类中的任何一类。
此过程中，确定阈值是分割的关键。
对一般的图像进行分割处理通常对图像的灰度分布有一定的假设，或者说是基于一定的图像模型。
最常用的模型可描述如下：假设图像由具有单峰灰度分布的目标和背景组成，处于目标和背景内部相邻像素间的灰度值是高度相关的，但处于目标和背景交界处两边的像素灰度值有较大差别，此时，图像的灰度直方图基本上可看作是由分别对应于目标和背景的两个单峰直方图混合构成。
而且这两个分布应大小接近，且均值足够远，方差足够小，这种情况下直方图呈现较明显的双峰。
类似地，如果图像中包含多个单峰灰度目标，则直方图可能呈现较明显的多峰。
上述图像模型只是理想情况，有时图像中目标和背景的灰度值有部分交错。
这时如用全局阈值进行分割必然会产生一定的误差。
分割误差包括将目标分为背景和将背景分为目标两大类。
实际应用中应尽量减小错误分割的概率，常用的一种方法为选取最优阈值。
这里所谓的最优阈值，就是指能使误分割概率最小的分割阈值。
图像的直方图可以看成是对灰度值概率分布密度函数的一种近似。
如一幅图像中只包含目标和背景两类灰度区域，那么直方图所代表的灰度值概率密度函数可以表示为目标和背景两类灰度值概率密度函数的加权和。
如果概率密度函数形式已知，就有可能计算出使目标和背景两类误分割概率最小的最优阈值。
模式识别教学改进项目阶段实验计划
模式识别教学改进项目阶段实验计划1. 背景介绍模式识别是计算机科学和人工智能领域的重要研究方向，涉及到机器研究、数据挖掘和模型建立等技术。
为了提高模式识别课程的教学效果，我们计划进行一项教学改进项目。
2. 目标该项目的目标是通过引入实验环节，帮助学生更好地理解和应用模式识别的理论知识。
具体目标包括：- 提供实践机会，让学生能够亲自动手构建和训练模式识别模型；- 培养学生的问题解决能力和创新思维；- 加强学生对模式识别算法的理解和运用能力。
3. 实验内容和步骤3.1 实验一：数据预处理3.1.1 实验目的通过实际操作，使学生掌握数据预处理的基本步骤和技术。
3.1.2 实验步骤- 收集适当的模式识别数据集；- 进行数据清洗，处理数据中的噪声和缺失值；- 对数据进行特征选择和降维。
3.2 实验二：分类器构建与训练3.2.1 实验目的让学生了解常用的分类器算法，并能够构建和训练分类器模型。
3.2.2 实验步骤- 介绍常见的分类器算法，如K近邻、支持向量机、决策树等；- 学生根据实验要求，选择合适的分类器算法；- 使用已处理好的数据集，构建和训练分类器模型。
3.3 实验三：模型评估与优化3.3.1 实验目的教导学生如何评估和优化模式识别模型的性能。
3.3.2 实验步骤- 介绍模型评估指标，如准确率、召回率、F1值等；- 学生根据实验要求，评估已构建的模型的性能；- 针对模型的性能问题，进行优化措施的尝试和调整。
4. 评估和改进为了评估实验计划的有效性和改进之处，我们将进行以下评估和改进措施：- 定期收集学生的反馈意见和建议；- 对实验过程和结果进行分析和总结；- 根据评估结果，对实验计划进行适当调整和改进。
5. 时间安排本实验计划将在课程教学周期内进行，具体时间安排如下：- 实验一：第3周- 实验二：第5周- 实验三：第8周6. 预期成果通过本项目的实施，我们预期能够达到以下成果：- 学生对模式识别的理解更加深入；- 学生的实践操作能力和问题解决能力得到提升；- 学生对模式识别技术的应用能力有所提高。
《模式识别》线性分类器设计实验报告
《模式识别》实验报告三、线性分类器实验1.(a)产生两个都具有200 个二维向量的数据集X1 和X1 ’。
向量的前半部分来自m1=[-5;0]的正态分布，并且S1=I 。
向量的后半部分来自m2=[5;0]的正态分布，并且S1=I。
其中I是一个2×2 的单位矩阵。
(b)在上面产生的数据集上运用Fisher 线性判别、感知器算法和最小平方误差判别算法，需要初始化参数的方法使用不同的初始值。
(c)测试每一种方法在X1 和X1 ’ 上的性能（错误率）。
(d)画出数据集X1 和X1 ’，已经每种方法得到对应参数向量W 的分界线。
Fisher线性判别图1 红色为第一类，绿色为第二类，直线为对应参数向量W的分界线，参数向量w = [-9.9406, 0.9030]’错误率error=0，感知器算法：图2 红色为第一类，绿色为第二类，直线为对应参数向量W的分界线，参数的初始值为[0.1;0.1]；迭代次数iter=2参数向量w = [-4.8925, 0.0920]’错误率error=0图3 红色为第一类，绿色为第二类，直线为对应参数向量W的分界线，参数的初始值为[1; 1]；迭代次数iter=2参数向量w = [-3.9925, 0.9920]’错误率error=0图4 红色为第一类，绿色为第二类，直线为对应参数向量W的分界线，参数的初始值为[10; 10]；迭代次数iter=122参数向量w = [-5.6569, 7.8096]’错误率error=0图5 红色为第一类，绿色为第二类，直线为对应参数向量W的分界线，参数的初始值为[50; 50]；迭代次数iter=600参数向量w = [-27.0945, 37.4194]’错误率error=0图6 红色为第一类，绿色为第二类，直线为对应参数向量W的分界线，参数的初始值为[50; 100]；迭代次数iter=1190参数向量w = [-54.0048, 74.5875]’错误率error=0最小平方误差判别算法：图7 红色为第一类，绿色为第二类，直线为对应参数向量W的分界线，参数的初始值为[0.1; 0.1]；参数向量w = [-0.1908, -0.0001]’错误率error=0图8 红色为第一类，绿色为第二类，直线为对应参数向量W的分界线，参数的初始值为[0.5; 0.5]；参数向量w = [-0.1924, 0.1492]’错误率error=0图9 红色为第一类，绿色为第二类，直线为对应参数向量W的分界线，参数的初始值为[1; 0.5]；参数向量w = [-0.1914, 0.0564]’错误率error=0图10 红色为第一类，绿色为第二类，直线为对应参数向量W的分界线，参数的初始值为[1; 1]；参数向量w = [-0.1943, 0.3359]’错误率error= 0.00502.重复1.中的实验内容，数据集为X2 和X2 ’。
模式识别试验(基于Fisher准则线性分类器设计)
模式识别实验（三）一、实验名称基于Fisher准则线性分类器设计二、实验目的：本实验旨在让同学进一步了解分类器的设计概念，能够根据自己的设计对线性分类器有更深刻地认识，理解Fisher准则方法确定最佳线性分界面方法的原理，以及Lagrange乘子求解的原理。
三、实验原理：线性判别函数的一般形式可表示成其中根据Fisher选择投影方向W的原则，即使原样本向量在该方向上的投影能兼顾类间分布尽可能分开，类内样本投影尽可能密集的要求，用以评价投影方向W的函数为：上面的公式是使用Fisher准则求最佳法线向量的解，该式比较重要。
另外，该式这种形式的运算，我们称为线性变换，其中(m1-m2)式一个向量，Sw-1是Sw的逆矩阵，如(m1-m2)是d维，Sw和Sw-1都是d×d维，得到的也是一个d维的向量。
向量就是使Fisher准则函数达极大值的解，也就是按Fisher准则将d维X 空间投影到一维Y空间的最佳投影方向，该向量的各分量值是对原d维特征向量求加权和的权值。
以上讨论了线性判别函数加权向量W 的确定方法，并讨论了使Fisher 准则函数极大的d 维向量 的计算方法，但是判别函数中的另一项w0尚未确定，一般可采用以下几种方法确定w0如或者或当与已知时可用……当W 0确定之后，则可按以下规则分类，使用Fisher 准则方法确定最佳线性分界面的方法是一个著名的方法，尽管提出该方法的时间比较早，仍见有人使用。
四、实验内容：已知有两类数据1ω和2ω二者的概率已知=0.6，=0.4。
1ω中数据点的坐标对应一一如下：数据：x =0.2331 1.5207 0.6499 0.7757 1.0524 1.19740.2908 0.2518 0.6682 0.5622 0.9023 0.1333-0.5431 0.9407 -0.2126 0.0507 -0.0810 0.73150.3345 1.0650 -0.0247 0.1043 0.3122 0.6655 0.5838 1.1653 1.2653 0.8137 -0.3399 0.5152 0.7226 -0.2015 0.4070 -0.1717 -1.0573 -0.2099 y =2.3385 2.1946 1.6730 1.6365 1.7844 2.0155 2.0681 2.1213 2.4797 1.5118 1.9692 1.83401.87042.2948 1.7714 2.3939 1.5648 1.93292.2027 2.4568 1.7523 1.6991 2.4883 1.7259 2.0466 2.0226 2.3757 1.7987 2.0828 2.0798 1.9449 2.3801 2.2373 2.1614 1.9235 2.2604 z =0.5338 0.8514 1.0831 0.4164 1.1176 0.55360.6071 0.4439 0.4928 0.5901 1.0927 1.07561.0072 0.4272 0.4353 0.9869 0.4841 1.0992 1.0299 0.7127 1.0124 0.4576 0.8544 1.1275 0.7705 0.4129 1.0085 0.7676 0.8418 0.8784 0.9751 0.7840 0.4158 1.0315 0.7533 0.9548 数据点的对应的三维坐标为2x2 =1.4010 1.23012.0814 1.1655 1.3740 1.1829 1.7632 1.9739 2.4152 2.5890 2.8472 1.9539 1.2500 1.2864 1.2614 2.0071 2.1831 1.79091.3322 1.1466 1.7087 1.59202.9353 1.46642.9313 1.8349 1.8340 2.5096 2.7198 2.3148 2.0353 2.6030 1.2327 2.1465 1.5673 2.9414y2 =1.0298 0.9611 0.9154 1.4901 0.8200 0.93991.1405 1.0678 0.8050 1.2889 1.4601 1.43340.7091 1.2942 1.3744 0.9387 1.2266 1.18330.8798 0.5592 0.5150 0.9983 0.9120 0.71261.2833 1.1029 1.2680 0.7140 1.2446 1.33921.1808 0.5503 1.4708 1.1435 0.7679 1.1288z2 =0.6210 1.3656 0.5498 0.6708 0.8932 1.43420.9508 0.7324 0.5784 1.4943 1.0915 0.76441.2159 1.3049 1.1408 0.9398 0.6197 0.66031.3928 1.4084 0.6909 0.8400 0.5381 1.37290.7731 0.7319 1.3439 0.8142 0.9586 0.73790.7548 0.7393 0.6739 0.8651 1.3699 1.1458数据的样本点分布如下图：0.511.522.5五、实验要求：1. 可以选择二维的数据，或者选择三维的数据作为样本。