模式识别实验报告

河海大学物联网工程学院

《模式识别》

课程实验报告

学号 _______________

专业 ____计算机科学与技术_____ 授课班号 _________________________ 学生姓名 ___________________

指导教师 ___________________

完成时间 _______________

实验报告格式如下（必要任务必须写上，可选的课后实验任务是加分项，不是必要任务，可不写）：

实验一、Fisher分类器实验

1.实验原理

如果在二维空间中一条直线能将两类样本分开,或者错分类很少,则同一类别样本数据在该直线的单位法向量上的投影的绝大多数都应该超过某一值。而另一类数据的投影都应该小于(或绝大多数都小于)该值,则这条直线就有可能将两类分开。

准则:向量W的方向选择应能使两类样本投影的均值之差尽可能大些,而使类內样本的离散程度尽可能小。

2.实验任务

（1）两类各有多少组训练数据？（易）

（2）试着用MATLAB画出分类线，用红色点划线表示（中）

（3）画出在投影轴线上的投影点（较难）

3.实验结果

（1）第一类数据有200组训练数据，第二类数据有100组训练数据。

（2）如图所示，先得出投影线的斜率，后求其投影线的垂直线的斜率，即分类线的斜率，再求分类线的过的中垂点，加上即可得出。

画出红线代码：m = (-40:0.1:80);

kw = w(2)/w(1);

b = classify(w1, w2, w, 0);

disp(b);

n = (-1/kw).* m + b;

plot(m,n,'r-', 'LineWidth', 3);

（3）画出投影上的投影点

如图，点用X表示。

代码：

u = w/sqrt(sum(w.^2));

p1 = w1*u*u';

plot(p1(:,1),p1(:,2),'r+')

p2 = w2*u*u';

plot(p2(:,1),p2(:,2),'b+')

实验二、感知器实验

1.实验原理

（1）训练数据必须是线性可分的

（2）最小化能量，惩罚函数法-错分样本的分类函数值之和（小于零）作为惩罚值（3）方法：梯度下降法，对权值向量的修正值-错分样本的特征向量

2.实验任务

（1）训练样本不线性可分时，分类结果如何？

（2）程序33-35行完成什么功能？用MATLAB输出x1、x2、x的值，进行观察（中）（3）修改程序，输出梯度下降法迭代的次数（易）；

3.实验结果

（1）在创建样本时，故意将两组数据靠近，实现训练样本非线性。

训练样本

由于训练样本不是非线性的，所以无法保证收敛，得不出结果，在运行非线性样本时，无法得到收敛，所以我的程序也经常卡住，只能重启matlab。

（2）程序33-35行在计算得出训练样本，x1加上全为1的一维矩阵得到新的x1，x2也如此，只不过x2全部取烦，取负。

最后得到X = [x1;x2],为下面应用于感知器算法做准备。

（3）通过增加一些代码可得，梯度下降法迭代次数为1244次。

实验三、BP网络预测实验

1.实验原理

学习过程中由信号的正向传播与误差的逆向传播两个过程组成。正向传播时, 模式作用于输入层, 经隐层处理后, 传入误差的逆向传播阶段, 将输出误差按某种子形式, 通过隐层向输入层逐层返回, 并“分摊”给各层的所有单元, 从而获得各层单元的参考误差或称误差信号, 以作为修改各单元权值的依据. 权值不断修改的过程, 也就是网络学习过程. 此过程一直进行到网络输出的误差准逐渐减少到可接受的程度或达到设定的学习次数为止. BP网络模型包括其输入输出模型, 作用函数模型, 误差计算模型和自学习模型。

BP网络由输入层, 输出层以及一个或多个隐层节点互连而成的一种多层网, 这种结构使多层前馈网络可在输入和输出间建立合适的线性或非线性关系, 又不致使网络输出限制在-1和1之间. 见图1。

2.实验任务

（1）将net = newff（inputn,output, [5,5]），均方误差，运行时间如何变化，与

net = newff（inputn,output, 5）进行对比

（2）net = newff（inputn,output, 5）中的5，设置为6,7,8,9,10，分别观察均方误差，运行时间的变化

3.实验结果

(1)任务1

当net = newff（inputn,output, 5）时，结果如图：

当net = newff（inputn,output, [5,5]）时，结果如图：

前者为一个隐藏层，中有5个隐藏节点，第二个为有两个隐藏层，各有5个隐藏节点。

两者从实验结果中，均方误差后者更小，运行时间上后者需要时间长，因为其隐藏层多一层，迭代次数增加。结论为，利用两层隐藏节点比一层误差小，效果更好。

（2）任务2

当net = newff（inputn,output, 6）时如下图，

当net = newff（inputn,output, 7）时如下图，

下面为隐藏节点为8和9的结果：

结论:随着隐藏节点的增加，运行时间逐渐变长，但是均方误差不一定越来越小，而且可能出现误差越来越大的情况，说明隐藏节点数不是越多越好，而是有一个最佳值，在最佳值往上或往下，误差都会变大，例如此实验中5便是最佳隐藏节点数。

实验四、SVM实验

1.实验原理

支持向量机（support vector machines, SVM）是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；SVM还包括核技巧，这使它成为实质上的非线性分类器。SVM的的学习策略就是间隔最大化，可形式化为一个求解凸二次规划的问题，也等价于正则化的合页损失函数的最小化问题。SVM的的学习算法就是求解凸二次规划的最优化算法。

svm是一个二分器，只能用于2类样本的分类，现在我们将它推广到多类问题。本文是

对svm进行推广到能够处理多类问题。采用一对一的投票策略。将a、b、c、d 4类样本两类两类的分成训练集，即（a,b）、(a,c)、（a,d）、(b,c)、（b,d）、（c,d）,

得到6个（对于n类问题，为n(n-1)/2个）svm二分器。在测试的时候，把测试样本x依次送入这6个二分器，采取投票形式，最后得到一组结果。投票是以如下方式进行。初始化：vote(a)=vote(b)=vote(c)=vote(d)=0. 投票过程：如果使用训练集（a,b）得到的分类器将x判定为a类，则vote(a)=vote(a)+1，否则vote(b)=vote(b)+1；如果使用（a,c）训练的分类器将x判定为a类，则vote(a)=vote(a)+1,否则vote(c)=vote(c)+1；...;如果使用（c,d）训练的分类器将x判定为c类，则vote(c)=vote(c)+1,否则vote(d)=vote(d)+1。最终判决：max(vote(a),vote(b),vote(c),vote(d))。如有两个以上的最大值，则一般可以简单地取第一个最大值所对应的类别。

2.实验任务

为什么一定要进行数据归一化处理，如果不归一化，程序错误率如何呢？请修改程序进行观察。

3.实验结果

因为归一化很有可能提高精度，，例如一共特征值域范围非常大，那么距离计算就主要取决于这个特征，从而于实际情况相悖。而且归一化还可以提高求解最优解速度，更快地收敛。如果不进行归一化处理，程序错误率较高，最后进行分类的时候也出现了大量的错误归类现象。

如下两图中，左图是进行归一化处理的，右图则没有进行归一化处理，右边在执行的时候，收敛较慢，且分类结果有较大的误差，远远没有归一化的好。

实验五、决策树分类器实验

1.实验原理

决策树是通过一系列规则对数据进行分类的过程。它提供一种在什么条件下会得到什么值的类似规则的方法。决策树分为分类树和回归树两种，分类树对离散变量做决策树，回归树对连续变量做决策树。

一棵决策树的生成过程主要分为以下3个部分:

特征选择：特征选择是指从训练数据中众多的特征中选择一个特征作为当前节点的分裂标准，如何选择特征有着很多不同量化评估标准标准，从而衍生出不同的决策树算法。

决策树生成：根据选择的特征评估标准，从上至下递归地生成子节点，直到数据集不可分则停止决策树停止生长。树结构来说，递归结构是最容易理解的方式。

剪枝：决策树容易过拟合，一般来需要剪枝，缩小树结构规模、缓解过拟合。剪枝技术有预剪枝和后剪枝两种。

决策树的基本构造方法有ID#算法，理论基础为熵。如果一个时间有k中可能的结果，每种结果对应的概率为Pi,i = 1,2,…,k，则用I表示该事件的不纯度：计算如下：

∑=-=+++-=k i i

i k k P P P P P P P P I 122222121log )log log log (Λ

这反映了节点的熵不纯度。

2. 实验任务

利用决策树的程序，编写一个随机森林分类器，采用决策树，通过投票的方法，得到最终的分类结果，试比较决策树与随机森林的分类错误率。（中）

提示：随机森林的实现步骤：

重采样、决策树分类、投票决策。

3. 实验结果

随机森林算法我利用python 实现，具体步骤如下：

（1）从样本集中用Bootstrap 采样选出n 个样本；

（2）从所有属性中随机选择K 个属性，选择出最佳分割属性作为节点创建决策树；

（3）重复以上两步m 次，即建立m 棵决策树；

（4）这m 个决策树形成随机森林，通过投票表决结果决定数据属于那一类

具体关键步骤代码：

#######################随机森林模型

### n_estimators ：迭代次数，每次迭代为Y 产生一个模型

forest = RandomForestClassifier(n_estimators =100, criterion ='gini', max_depth =1, random_state =0) forest.fit(x_train, y_train)#max_depth 一般不宜设置过大，把每个模型作为一个弱分类器

#模型效果评估

score = forest.score(x_test, y_test)

print ("准确率:%.2f%%" % (score * 100))

forest_y_score = forest.predict_proba(x_test)# prodict_proba 输出概率

下图一为决策树分类器，图2为随机森林分类

由此可见，多个决策树形成的随机森林效果要好于决策树分类。

并且随机森林通过调参等方法可以使得正确性进一步提升。

我还计算出了随机森林中树数目、深度和错误率的关系如图：

当树深度越深，数目越大，错误率也就越小。

实验六、AdaBoost分类器实验

1.实验原理

AdaBoost的基本原理是将多个弱分类器进行合理的结合，使其成为一个强分类器。AdaBoost采用的是迭代的思想，每次迭代只会训练一个弱分类器，然后计算好的弱分类器将会参与下次迭代的使用。也就是说N次迭代就有N个弱分类器，其中N-1是训练好的，参数不会变，第N个迭代器是对前N-1个迭代器没分对的数据，进行分类。最终的效果要看着N个弱分类器的综合效果。

AdaBoost的两种权重一种为数据权重、一种为分类器权重

（1）数据权重：用于确定分类器权重（弱分类器寻找其分类最小的决策点，找到之后用这个最小的误差计算出弱分类器的权重）

最开始每个店的权重都相同，错误就会增加权重。

每训练一个弱分类器就会调整每个店的权重，上一轮训练中被错误分类点的权重增加，促使下一轮着分析错误分类点，达到“你分不对我来分的”效果。

由于每个分类器都会关注上个分错的点，那么也就是说每个分类器都有侧重。

（2）分类器权重：说明了弱分类器在最终决策中拥有发言权的大小

每个分类器都有可能分对其上一个分类器美分对的数据，同时针对上一个分类器分队的数据也可能没有分队。这就导致了分类器中都有各自最关注的点，这就说明每一个分类器都只关注训练数据中的一部分数据，全部分类器组合起来才能发挥作用，那么最终的结果是通过加权“投票“决定的，权重的大小是根据弱分类器的分类错误率计算出来的。

AdaBoost算法流程

2.实验任务

1.程序Bp_Ada_Sort.m中，45-46行程序中有何作用？

2. AdaBoost弱分类器你认为此程序中弱分类器设计多少最合适？请结合强分类器错误率、弱分类器错误率、程序运行时间，并通过实验结果说明。

3.实验结果

（1）程序Bp_Ada_Sort.m中，45-46行程序中

找到训练数据预测得出的test_simu1(i,:)中大于0的数值和小于0的数值，这一步的目的是为了下一步将aa根据所得到的kk1和kk2取1或者-1，通过正负1来统计错误样本。（2）

当弱分类器分类的为5个时：

强分类器分类误差率=0.0486

弱分类器分类误差率=0.0586

当弱分类器分类的为10个时：

强分类器分类误差率=0.0400

弱分类器分类误差率=0.0571

当弱分类器分类的为20个时：

强分类器分类误差率=0.0429

弱分类器分类误差率=0.0560

当弱分类器分类的为30个时：

强分类器分类误差率=0.0400

弱分类器分类误差率=0.0541

通过多次改参数，最后得出结论，当弱分类器个数较少时（<5），强分类器和弱分类器的分类误差率较大，当增加至10个时候，出现好转的情况，强分类器分类误差率稳定在0.4左右，弱分类器分类误差率稳定在0.55左右，时间上则是个数越多，程序运行时间越长。

所以当个数超过10时，运行时间增加，继续提高弱分类器的数量，错误率并没有明显改进。所以选择弱分类器个数为10则是最佳选择。

实验七、主成分分析实验

1.实验原理

PCA(Principal Component Analysis)，即主成分分析方法，是一种使用最广泛的数据降维算法。PCA的主要思想是将n维特征映射到k维上，这k维是全新的正交特征也被称为主成分，是在原有n维特征的基础上重新构造出来的k维特征。PCA的工作就是从原始的空间中顺序地找一组相互正交的坐标轴，新的坐标轴的选择与数据本身是密切相关的。其中，第一个新坐标轴选择是原始数据中方差最大的方向，第二个新坐标轴选取是与第一个坐标轴正交的平面中使得方差最大的，第三个轴是与第1,2个轴正交的平面中方差最大的。依次类推，可以得到n个这样的坐标轴。通过这种方式获得的新的坐标轴，我们发现，大部分方差都包含在前面k个坐标轴中，后面的坐标轴所含的方差几乎为0。于是，我们可以忽略余下的坐标轴，只保留前面k个含有绝大部分方差的坐标轴。事实上，这相当于只保留包含绝大部分方差的维度特征，而忽略包含方差几乎为0的特征维度，实现对数据特征的降维处理。

基于特征值分解协方差矩阵实现PCA算法：

输入：数据集，需要降到k维。

1) 去平均值(即去中心化)，即每一位特征减去各自的平均值。

2) 计算协方差矩阵,注：这里除或不除样本数量n或n-1,其实对求出的特征向量没有影响。

3) 用特征值分解方法求协方差矩阵的特征值与特征向量。

4) 对特征值从大到小排序，选择其中最大的k个。然后将其对应的k个特征向量分别作为行向量组成特征向量矩阵P。

5) 将数据转换到k个特征向量构建的新空间中，即Y=PX。

2.实验任务

（1）程序的运行结果分别是什么？这两个实验结果分别说明什么问题？

（2）分别画出第一和第二主特征向量对应的直线，类似于上页中红色和蓝色的直线（直线的法向量就是第一第二主特征向量）

3.实验结果

（1）公司财务数据进行降维的主成分分析程序结果

（2）乳腺癌数据进行降维的主成分分析程序结果

两个实验都实现了数据降维，但分布比较分散，不集中。

实验八、基于本征脸方法的人脸识别实验

1.实验原理

K-L变换（ Karhunen-Loeve Transform）是建立在统计特性基础上的一种变换，有的文献也称为霍特林（Hotelling）变换，因他在1933年最先给出将离散信号变换成一串不相关系数的方法。K-L变换的突出优点是去相关性好，是均方误差（MSE，Mean Square Error）意义下的最佳变换，它在数据压缩技术中占有重要地位。

K-L（Karhunen-Loeve）变换形式

设X=(X1，X2，…，XN)T为N维随机矢量，mX=E(X)和CX=E{(X－mX)(X－mX)T}分别为其平均值向量和协方差矩阵，ei和λi分别为CX的特征向量和对应的特征值，其中i=1，…，N，并设特征值已按降序排列，即λ1≥λ2≥…≥λN，则K-L变换式为： [1]

Y=A(X-mx) (1.1)

其中变换矩阵A的行为CX的特征值，即：

K-L变换的性质

①Y的均值向量为零向量0。即：

mY=E{Y} =E{A(X-mX)}=0 (1.2)

②K-L变换使矢量信号各分量不相关，即变换域信号的协方差为对角矩阵。

③K-L反变换式为：

X=A-1Y+mX=ATY+mx (1.3)

④K-L变换是在均方误差准则下失真最小的一种变换，故又称作最佳变换。

这条性质与压缩编码有关。其意义是，如果在数据传输中只传送变换后的前n个系数组成的矢量，则根据这n个系数得到的恢复值可以得到最小的均方误差，其值为：

上式表明，在K-L变换下，最小均方误差值等于变换域中矢量信号的最小的N－n个方差的和。特别有意义的是，如果这些分量的均值为零，则在恢复时只要把这些分量置零，便可以使均方误差最小。

K-L变换虽然具有MSE意义下的最佳性能，但需要先知道信源的协方差矩阵并求出特征值。求特征值与特征向量并不是一件容易的事，维数较高时甚至求不出来。即使能借助计算机求解，也很难满足实时处理的要求，而且从编码应用看还需要将这些信息传输给接收端。这些因素造成了K-L变换在工程实践中不能广泛使用。人们一方面继续寻求解特征值与特征向量的快速算法，另一方面则寻找一些虽不是“最佳”、但也有较好的去相关与能量集中的性能且容易实现的一些变换方法。而K-L变换就常常作为对这些变换性能的评价标准。

K-L变换法在人脸识别中的应用：

2.实验任务

选择两人脸，每个人脸录制两张不同表情的图片，这四张图片作为训练样本，现将其中一张人脸作为测试样本。

运行程序eigenFace.m；

（1）请利用eigenFace.m正确识别测试样本，显示三张本征脸（请将这三张本征脸图像复

制到报告中）；

（2）程序实现分利用一种简化方法，具体分类的原理是什么？

（3）如果是一张本征脸或两张本征脸，还能正确识别吗？请修改程序，利用运行结果说明以上问题；

3.实验结果

（1）本征脸

（2）首先是将训练样本形成特征脸的投影，再读入的测试样本，计算测试样本在三个特征脸上的投影，在经过计算得出真正检测出脸的索引，得出结果。

（3）不能正确识别，识别误差较大。

实验结果表明，在输入特征脸后，识别误差达到34%，误差较大，识别正确率下降。

实验九、混合高斯模型实验

1.实验原理

（1）GMM 由K个 Gaussian 分布组成

（2）每个 Gaussian 称为一个“Component”

（3）这些 Component 线性加成在一起就组成了 GMM 的概率密度函数p(x)：

2.实验任务

（1）给定GMM的程序和数据X（用MATLAB 程序生成），共有三类，每类都成正态分布；

X = [randn(100,2)+ones(100,2);randn(100,2)-ones(100,2);randn(100,2)+[ones(100,1),-o nes(100,1)]];

使用GMM的程序gmm.m对这个样本集分类，（提示新建一个脚本如testGMM.m，然后调用gmm 函数对X进行聚类）用不同颜色标识聚类。（用MATLAB画出图示的效果）

（2）GMM程序中返回的PX中存放的是什么？根据实验结果说明。

用颜色显示PX的值，请实验显示出来。从实验看出，GMM是软聚类还是硬聚类？

3.实验结果

（1）实验结果：

（2）Px存放了每个点属于每个聚类的概率的大小，此分类为软分类，把数据以一定概率分到各类中，又被称为模糊分类，下面为部分点的概率。

实验十、k均值聚类算法实验

1.实验原理

多次迭代，逐步调整类别划分，最终使某准则达到最优。

三个要点：

①选某种距离作为样本相似性度量

②定义某个准则函数，用于评价聚类质量。

③初始分类方法及迭代算法

2.实验任务

（1）通过实验说明，最合适的聚类数量是什么？(提示：比较平方误差和)

（2）比较kmeans算法和混合高斯模型，哪个模型的聚类效果更好？混合高斯模型比kmeans 算法能获得更多的信息量，这多出来的信息量是什么？

3.实验结果

（1）下面利用两种方法来得到最佳的聚类数量

①手肘法

手肘法的核心指标是SSE(sum of the squared errors，误差平方和)，随着聚类数k的增大，样本划分会更加精细，每个簇的聚合程度会逐渐提高，那么误差平方和SSE自然会逐渐变小。并且，当k小于真实聚类数时，由于k的增大会大幅增加每个簇的聚合程度，故SSE 的下降幅度会很大，而当k到达真实聚类数时，再增加k所得到的聚合程度回报会迅速变小，所以SSE的下降幅度会骤减，然后随着k值的继续增大而趋于平缓，也就是说SSE和k的关系图是一个手肘的形状，而这个肘部对应的k值就是数据的真实聚类数。

关键代码（python）：利用循环，计算不同的k值得误差平方和。

可以看到在k=2后，k=3时下降幅度会很大，k=4时有放缓。

②轮廓系数法

该方法的核心指标是轮廓系数（Silhouette Coefficient），某个样本点Xi的轮廓系数定义

如下：

求出所有样本的轮廓系数后再求平均值就得到了平均轮廓系数。平均轮廓系数的取值范围为[-1,1]，且簇内样本的距离越近，簇间样本距离越远，平均轮廓系数越大，聚类效果越好。那么，很自然地，平均轮廓系数最大的k便是最佳聚类数。

关键代码：

可以看到在k=3时轮廓系数最大，那么k=3便是最佳聚类数。

下面展示各个不用聚类数的效果：

聚类数量为2的时候聚类数量为3的时候

聚类数量为4的时候聚类数量为5的时候

最后根据实验得聚类数量为3得时候聚类效果更佳。

（2）kmeans算法和混合高斯模型，混合高斯模型聚类效果更好，因为混合高斯模型为软聚类，把数据以一定概率分到各类中，而不是像kmeans这样的硬聚类，把数据确切的分到哪一类中，是1类就不会是2类。多出来的信息量就是对于每一个数据的概率分布。

实验总结

通过《模式识别》这门课程，对模式识别实际的数值计算有了更多的了解，同时更加深了对模式识别课程的理解，在上网课的时候对一些概念比较模糊，通过这次实验，把上课学的东西应用于实验，用代码敲出来程序来，比光看PPT有用的多，同时，我的matlab水平也有提升，可以比较灵活应用矩阵数组等。

在这次模式识别实验中，学到很多有用的算法，对以后机器学习的研究也会有更好的基础，例如监督学习，非监督学习，以及线性分类器，非线性分类器，还学会了如何从数据中选择和提取特征，以及相关的一系列算法。

在实验中有几个实验感觉还是比较难的，例如主成分分析，需要弄清楚它具体分析步骤，如何实现降维等等，要真正把算法弄透彻才能把实验做好。最后在老师和同学的帮助下完成了本次课程的所有实验，谢谢大家。

实验报告要求

1. 书写格式：标题采用“宋体小四号”，正文使用“宋体五号”，打印页码，页眉页脚使用第3页参考格式。

2. 内容: 每个实验不要超过3页，最后一页总结，正反面打印。一份实验报告不要超过15张纸（即30页）。

3. 装订和打印：封面为第一页，无需打印封底。按照上面的格式采用A4纸打印。装订时：订书钉在报告左边沿装订三个，上中下各一个（对齐）。

4．交实验报告：一人一份。先交至班长或学习委员处，收齐交至卓越楼1112办公室。截止时间：19周周一下午五点以前（过期不收）。