模式识别文献综述报告

指导老师：马丽学号：700班级： 075111姓名：刘建成绩：目录............................................................一、报告内容要点............................................................二、《应用主成分分解(PCA)法的图像融合技术》............................................................三、《基于类内加权平均值的模块 PCA 算法》............................................................四、《PCA-LDA 算法在性别鉴别中的应用》............................................................五、《一种面向数据学习的快速PCA算法》............................................................六、《Theory of fractional covariance matrix and its applications in PCA and 2D-PCA》............................................................七、课程心得体会............................................................八、参考文献............................................................一、报告内容要点①每篇论文主要使用什么算法实现什么②论文有没有对算法做出改进（为什么改进，原算法存在什么问题，改进方法是什么）③论文中做了什么对比试验，实验结论是什么？可以加入自己的分析和想法，例如这篇论文还存在什么问题或者缺点，这篇论文所作出的改进策略是否好，你自己对算法有没有什么改进的想法？二、《应用主成分分解(PCA)法的图像融合技术》第一篇《应用主成分分解(PCA)法的图像融合技术》，作者主要是实现用PCA可以提取图像数据中主要成分这一特点，从元图像获得协方差矩阵的特征值和特征向量，据此确定图像融合算法中的加权系数和最终融合图像。

作者在图像融合的算法上进行改进，用PCA获得待融合的每幅图像的加权系数Wi。

是这样实现的：计算待融合的i幅图像数据矩阵的协方差矩阵，从中获得λi，用图像所对应的λi在所有λ和中所占比例作为这幅图像的加权系数。

算法流程:设共有 N 幅源图, 把每幅图像看作一维向量记做(1) 由源图像构造数据矩阵(2) 计算数据矩阵 X 的协方差矩阵C为图像的方差,为第 i 幅源图像的平均灰度值。

(3) 计算协方差矩阵的 C 的特征值λ及相应的特征向量ξ由特征值方程求出特征值λi和对应的特征向量ξi(i=1,2,…,m)。

(4) 确定加权系数ωi(5) 计算最终融合图像 F得到的图像可以用下式来表达：作者做了几种确定加权系数算法的对比试验，并且实验结果如下，可见PCA 分解确定加权系数得到的图像交互信息量和联合熵都优于另外两个，所以是相对较好的算法。

结合我们模式识别课程所学，其实PCA算法应用于图像融合就相当于遥感数据图像中各个波段的图像融合在一起。

作者在论文中提到：他是将每幅图像都看做一维的向量，其实也就相当于我们一个波段的图像向量（zy3中[145*145,1]）。

我们在MATLAB中实现的PCA提取前K个主成分，也就是前K个波段的图像融合在一起。

加权系数也是从各个特征值确定，取对应特征向量矩阵来对图像进行变换。

按照融合前是否对图像进行多尺度分解, 作者将已有的图像融合算法分为多尺度分解和非多尺度分解两大类。

本文作者创新点在于利用主称分分解(PCA)可以保留原数据中的主要信息的特点, 在非多尺度分解的框架下, 发展了一种基于 PCA 分解确定加权系数的图像融合算法。

在对比实验中经过定量的观察和定性的计算发现该算法优于其它的非多尺度融合方法。

我的想法：若能将该图像融合办法加入多尺度分解算法, 必将取得更好的融合图像。

三、《基于类内加权平均值的模块 PCA 算法》本文作者针对主成分分析(PCA)算法在人脸识别中识别率低的问题，提出一种基于类内加权平均值的模块 PCA 算法。

该算法对每一类训练样本中每个训练样本的每个子块求类内加权平均值，用类内加权平均值对训练样本类内的相应子块进行规范化处理。

由所有规范化后的子块构成总体散布矩阵，得到最优投影矩阵，由训练集全体子块的中间值对训练样本子块和测试样本子块进行规范化后投影到最优投影矩阵，得到识别特征，并用最近距离分类器分类。

作者在本文中是对模块PCA算法的改进，主要是基于类内加权平均值，其基本思想是先将一个 m × n的图像矩阵 I 分成 p × q分块图像矩阵，即其中，每个子图像矩阵Ikl 是矩阵，然后将所有训练图像样本的子图像矩阵看作训练样本图像向量施行 PCA 方法。

相对于传统模块 PCA 算法的改进是：在求总体散布矩阵时不是用所有训练样本子块的平均值，而是用子块的类内加权平均值。

这样可以减小训练样本均值偏离类中心对求取最优投影矩阵的影响，有利于识别率的提高.对比试验：作者做了传统 PCA 算法、2×2 模块 PCA 算法和基于类内加权平均值的 2×2 模块 PCA算法的实验.并且得出的结果为：①传统 PCA 算法的识别率最低，最高识别率只有 77%，模块 PCA 算法提高了识别率，而基于类内加权平均值的分块 PCA 算法优于该方法。

②在 4×2 分块情况下，改进的算法比普通模块 PCA 算法有更高的识别率并且鲁棒性更强。

③4×2 分块方式优于 2×2 分块方式。

④在4×4分块方式下的正确识别率有很大下降，这是因为对每张图片分的块数越多，每个子块包含的可区分信息量越少，会出现较多的相似子块，不利于分类，导致正确识别率下降。

在这种情况下同样基于类内加权平均值的模块 PCA 算法仍然优于普通模块 PCA 算法。

模块 PCA 人脸识别算法的突出优点是能够抽取图像的局部特征，这些局部特征更好地反映了图像之间的差异，便于模式识别。

同时，由于对原始数字图像进行分块，可以方便地在较小的图像上使用鉴别分析的方法，因此过程简便。

为了进一步提高识别率，作者对模块 PCA 人脸识别算法进行了改进，提出了基于类内加权平均值的模块 PCA 算法。

在ORL 人脸库上的实验表明，此方法优于传统的 PCA 算法和普通模块 PCA 算法。

我的想法：对同一个数据库，原始图像采用不同的分块，获得的最高识别率一般不同，所以我认为这个算法可以继续寻找最佳分块方式以获得最高识别率以及如何简化分块 PCA 算法。

四、《PCA-LDA 算法在性别鉴别中的应用》本文的PCA-LDA 算法是将PCA 算法与LDA 算法构造的特征子空间进行融合，获得其融合特征空间；然后，将训练样本与测试样本分别朝该融合特征空间投影，获得识别特征；最后，利用最近邻准则完成性别鉴别。

算法流程：设训练样本表示为N ，N表示训练样本数。

在训练过程中，首先读入训练样本xi，i = 1,..., N ，并计算训练样本的均值avg ，即其中，。

同样，利用训练样本可计算每类训练样本的均值。

性别鉴别属于两类模式识别问题，划分类别仅为男女两类。

接着，对训练样本规范化。

然后，计算协方差矩阵Q 的特征值与特征向量，并取其较大l 个特征值对应的特征向量，组成PCA 算法的特征子空间根据即可把训练样本矩阵X 投影到特征子空间W1 中。

其中，Y 称为训练样本矩阵X 的PCA 降维特征，即识别特征。

显然，m×n维的训练样本图像经过 PCA 算法获得了l × 1 维的降维特征。

数据量得到了大大压缩。

从这篇论文中我知道，通过 PCA 算法的特征子空间的投影，每一幅人脸图像就对应于该特征子空间中的一个点。

同样，特征子空间中的任一点也对应于一幅图像。

特征子空间中的点重构后的图像很像“人脸”，所以被称为“特征脸”。

有了“特征脸”组成的降维子空间，任何一幅人脸图像都可以向其做投影并获得PCA 降维特征，该特征表征了图像在特征子空间中的位置。

因此，在PCA 算法中，原来的人脸图像识别问题就转化为依据特征子空间中的训练样本点进行分类的问题。

对比实验：本文作者对PCA-LDA 算法与PCA 算法进行对比，他们的特征空间维数与正确识别率的关系如下图：试验结果为：PCA-LDA 算法的融合特征空间的不同选择，以及不同的训练样本数均影响性别鉴别的正确识别率。

同时，PCA-LDA 算法比PCA 算法识别性能好，对样本数据具有较好的鲁棒性。

本文作者结合 PCA 算法与LDA 算法的特点，提出了用于性别鉴别的PCA-LDA 算法。

该算法将原始图像投影到PCA-LDA 算法构造的融合特征空间中，去掉了图像大量的冗余信息，同时，保留了图像的有用信息。

该算法既实现了PCA算法的特征压缩，又解决了LDA 算法出现的小样本集问题，为性别鉴别提供了一种新途径。

我的想法：在作者对算法改进的基础上进行有效地实现PCA 算法与LDA 算法特征子空间的融合以及有效地选择融合特征空间的维数，应该可以更加优化算法。

五、《一种面向数据学习的快速PCA算法》因为高维数据的主成分分析较难处理,而且计算时间和空间复杂度随着数据维数的增加而急剧增加。

鉴于此，作者在文中提出了一种直接面向数据学习的PCA算法,即在迭代中新的权向量等于所有样本向量的加权和,这样可以不必计算数据协方差矩阵.在解决给定样本向量或平稳随机过程的PCA问题时,该算法能够弥补目前批量的算法和增量算法存在的不足。

此外,作者还从理论上证明该算法的收敛性。

作者提出的PCA算法基于一种直接面向数据学习的思想,即在迭代中新的权向量是所有数据向量的加权和,称为直接面向数据学习的PCA算法(Data-Oriented PCA, DOPCA).在解决给定数据或平稳随机过程的PCA问题时,DOPCA算法能够弥补目前批量算法和增量算法存在的不足.首先,它不需要计算数据协方差矩阵,运算复杂度低,可解决高维数据问题.其次,DOPCA算法具有单边渐近的收敛特性,能够较为快地求出最优特征向量的精确解.除此之外,本文作者还证明PCA子空间的收敛一致性,并提出一种快速算法,使计算效率更高,收敛速度加快.算法流程如下：1.求解第1个特征向量2.求解高阶特征向量3.快速计算算法具体如下：前p个特征向量的DOPCA基本算法step 1 选择需要计算的特征向量数p,并使k=1.step 2 随机初始化权向量wkstep 3 更新权向量：step 4 归一化权向量:step 5 若wk未收敛,则返回到step 3.否则,转到step 6.step 7 k=k+1,回到step 2直到k =p.在step 6紧缩所有样本向量,数据矩阵X的每一列对应一个样本向量.当第k个特征向量的当前值wk和更新以前的值满足时迭代收敛.通常地,可允许有很小的收敛容差,即判断迭代收敛的标准为其中,E是收敛容差,abs(#)是求绝对值运算.对比实验：实验1：平均迭代次数l与样本向量维数之间的关系.实验2：计算时间随着向量空间维数或样本数目的增加总体呈现线性增长趋势.实验3：采用ORL人脸图像数据库进行特征脸提取实验.CCIPCA(Candid Covariance-Free Incre-mentalPCA)算法比随机梯度上升(Stochastic GradientAscen,t SGA)算法和广义Hebbian算法(Generalized Hebbian Algorithm, GHA)[6]有更好的收敛特性,所以仅用CCIPCA作为增量学习算法的代表进行比较.在特征脸实验中,由于数据库中只有400张图像,所以可用矩阵计算方法来求特征向量.但是,当数据量较大时,矩阵计算方法就很难处理了,而用DOPCA就可求出特征向量的精确解.实验结果表明,DOPCA算法收敛速度快,能求出最优特征向量的精确解,是一种解决大数据量高维PCA问题的有效方法。