第12章核主成分分析

本文提出了一种新的用于物体识别算法—两个方向两维核主成分分析方法（K2D PC A plus 2D PC A），这种方法主要是两维主成分变换空间上对物体进行分析。

其基本思想是：首先，利用标准的K2DPCA方法在图像的行方向去相关性，然后，在K2DPCA空间下在图像的列方向利用2DFLD方法对图像进一步去相关性。

为了克服2DPCA和2D-FPCA方法需要大量存储空间的缺点，本文提出的K2D P C A plus 2D P C A方法需要较小的存储空间以及具有高的识别率，且计算效率高于KPCA /K2DPCA/2(2D)FPCA算法。

最后，在手指静脉数据库中对该方法进行了验证。

主成分分析(PCA)[3-5]是一种经典的线性特征提取和数据表示方法，它们已广泛的应用于模式识别和机器视觉领域。

在一般情况下使用这种方法处理二维图像时，图像矩阵必须首先转化一维的行向量或者列向量。

然而，在转换为一维的向量后，通常会导致向量空间的维数非常高。

由于维数非常高，且训练的样本数相对较少，所以那很难精确的估计协方差矩阵，而且计算高维的协方差矩阵的特征向量是相当费时。

为解决这些问题，近年来，两维特征提取方法，如两维PCA(2DPCA)已经引起广泛的关注。

Yang [6]最先提出了2DPCA方法，Yang的主要工作是直接用原始二维图像构造图像的协方差矩阵。

然而，我们可以看出，无论是在图像的行方向进行的2DPCA [9]方法还是在列方向进行的2DPCA [10]方法，与标准的PCA方法相比他们在对图像信息的表达上需要更多的系数来表达图像信息。

为了见一步克服这个问题，文献[10]提出了2(2D)PC A的思想应用于人脸的识别。

但遗憾的是，2DPCA and 2(2D)PC A都是线性投影方法，他们只考虑到图像数据中的二阶统计信息，未能利用数据中的高阶统计信息，忽略了多个像素间的非线性相关性。

然而，现实中的许多问题是非线性可分的，例如由于图像的光照、姿态等不同引起的差异是非线性和复杂的，故利用2DPCA 和2(2D)PC A来分类时不能得到令人满意的结果。

为了避免这些缺陷，通过对PCA的改进提出了一种新处理非线性的方法。

文献[14]提出了一种新的非线性提取方法-核主成分分析方法(KPCA)。

各个领域的应用中，KPCA都优于PCA方法([11]; [12];[13];[14])。

近年来，一些研究者提出了二维核主成分分析方法(K2DPCA) [1]。

该方法在用于人脸识别时，在处理图像的非线性相关性特征方面都优于KPCA 2DPCA andB2DPCA方法[1]。

但是，和2DPCA遇到的一个相同的问题是，仅仅在图像的行方向或者列方向使用K2DPCA方法时，与标准的KPCA方法相比他们在对图像信息的表达上需要更多的系数来表达图像信息。

为了提高识别精度和降低计算复杂度与减少存储空间，本文提出了一种新的用于物体识别算法—两个方向两维核主成分分析方法（K2D PC A plus 2D PC A）其基本思想是：首先，利用标准的K2DPCA 方法在图像的行方向去相关性，然后，在K2DPCA 空间下在图像的列方向利用2DFLD 方法对图像进一步去相关性。

在手指静脉数据库对该方法进行了验证。

实验结果表明：与K2DPCA 方法相比，它可以在实现高识别率，同时需要的存储空间更少且计算效率较高。

2.2DPCA 方法假设有c 个模式类，M 是总的训练样本的个数，i M 是i 类训练样本的数目，m n ⨯的矩阵()i j A 是第i 类第j 个训练样本。

()i A 是第i 类训练样本的均值，A 为总体训练样本的均值。

首先假设A 是m n ⨯的随机图像矩阵，n d Y R⨯∈是一个列向量标准正交的矩阵，n r ≥，把A 投影到V 产生一个m d ⨯矩阵Y AV =。

在子空间2DPCA ，投影样本的总体散度矩阵可以通过投影矩阵V 得到。

它满足：(){[()()]}{[(())(())]}{[()()]}TTTTJ V trace E Y EY Y EY trace E Y E AV Y E AV trace V E A EA A EA V =--=--=-- (1)其中对任意的两个矩阵[1]，等式满足trace(AB)= trace(BA)。

图像的协方差矩阵定义为n n ⨯非负定矩阵[()()]T t S E A E A A E A =--，假设m n ⨯的矩阵(1,2,,)k A k M = 为M个训练图像， t S 可以通过下式计算：11()()MTt kk k S AA A A M==--∑ (2)那么t S 前d 个最大的特征值所对应的正交特征向量1,,d x x 组成了投影矩阵的最佳投影opt X 。

例如：1[,,]r V v v = ，Y AV= （3）其中，1[,,]r V v v =图像A 就可以用矩阵Y 来描述并可以利用它来对图像进行分类。

3.两维核主成分分析3.1 2DPCA让(1)(2)()[()()()]T T m T T k k k k A A A A = ，(1)(2)()[()()()]m T T T Tk k kA A A A =其中()i k A 和 ()i k A 分别表示k A 和A ,第i 行向量。

那么等式（2）就可以写成如下表达式：()()()()111()()Mmi i i T i kkk i G A AA AM===--∑∑(4)从等式(4)可以看出，协方差矩阵G 可以表示为图像的行向量的内积。

如果训练图像的均值为0，如(0)m n A ⨯=，那么， G 可以用归一化后的训练样本行向量估计得到。

因此，2DPCA 算法的实质是在图像的每一行上进行PCA 分析。

3.2K2DPCA与线性的PCA,相比，KPCA[2][14]是一种非线性特征提取方法，思想是通过一个非线性影射:N R F Φ→,把原始输入空间的数据映射到一个高维或者甚至无穷维的特征空间F ，然后在特征空间F 中执行PCA 算法。

KPCA 已广泛的应用于人脸识别中，与PCA 相比有更好的识别结果。

与此同时，K2DPCA 在提取数据的非线性特征方面有更大的优势。

与KPCA 相似，不需要直接知道这个非线性映射函数而完成非线性映射。

与KPCA 不同的是把图像矩阵的每一列映射到特征空间F ，例如非线性影射为:N R F Φ→。

然后在这个特征空间中再进行PCA 分析。

因为F 空间的维数很高，进行通常的运算不可能，所以为了能够在F 空间中实现PCA ，可以利用内积核函数来隐含的计算。

通过核函数K 计算输入数据i A 和j A 被映射到空间F 中的内积。

其表达式如下：(,)()()i j i j K A A A A =ΦΦ (5) 其中， 表示在空间F 的内积。

假设所有数据都被文献[14]方法中心化（可能不恰当），()i A ∧Φ表示映射空间中第i 幅映射图像，()ji A ∧Φ表示第i 幅映射图像的第j 列中心化向量。

那么可得到空间F中的协方差矩阵C Φ：11()()MTii i CA A M∧∧Φ==ΦΦ∑(6)其中12()[(),(),,()]ni i i i A A A A ∧∧∧∧Φ=ΦΦΦm 表示列数。

直接计算该矩阵的特征值i λ是相当困难的，而且其特征向量i v 必须满足i i i v C v λΦ= (7) 然而，通过以下定理我们能利用KPCA 来实现K2DPCA 算法，从而避免直接计算的困难。

定理1，假设每个列向量作为一个计算实体，K2DPCA 算法是通过对训练图像矩阵的每一列执行KPCA 算法来实现的。

其证明过程类似于参考文献[1]中的定理1的证明。

为了提取每个类向量的主成分，我们需要把每个()j i A ∧Φ头型到空间 F 的特征向量k x 上..，投影表达式如下：11(())(()())Mnjp q qj Tk i lp i p q x A A A α∧∧∧⨯==Φ=ΦΦ∑∑ (1,,)l M n d M n =⨯-+⨯ (8)由（8）式，得第i 幅映射图像()i A ∧Φ的投影i Y 为(())()()T Ti k i i Y x A A α∧∧Φ=Φ=ψΦ(9) 其中12(,,,)M n d M n d M n αααα⨯-+⨯-+⨯=1212111[[(),(),,()],,[(),(),,()]]nnM M M A A A A A A ∧∧∧∧∧∧Φψ=ΦΦΦΦΦΦ通过把所有训练图像和测试图像的列向量投影到特征空间的前d 个特征向量上，从而得到每个图像的投影矩阵，其大小为d n ⨯。

4. K 2D PC A plus 2D PC A 4.1. K 2D PC A plus 2D PC A 思想K2DPCA可以有效的克服2DPCA算法在提取图像非线性特征的不足。

而且其效果优于2DPCA 和KPCA算法[1]。

然而，需要更多的系数对图像进行表示。

这就导致降低识别速度，而且需要大量的存储空间。

该段将给出一种新的方法来克服K2DPCA存在的弱点。

其大体思想是：首先在行方向进行K2DPCA变换，然后再K2DPCA子空间进的列方向进行2DPCA变换。

对给定特定的图像矩阵A，在经过K2DPCA变换时，我们可以得到它的特征矩阵Y。

然后进行转置得到T Y，并把转置矩阵进行2DPCA 变换，确定变换矩阵V。

最后，把T Y投影V，从而得到T TC Y V=，特征矩阵即为TC V Y=。

整个变换过程如图1所示：K2D P C A p l u s2D图 1.K2D PC A plus 2D PC A变换过程在整个变换过程中，首先通过执行K2DPCA变换()()T TY Aα∧Φ=ψΦ在垂直方向上对二维图像进行压缩，从而使得区分信息被压缩在少数行上。

然后，再通过2DPCA变换C YV=把二位数据在水平方向进行压缩，从而去掉图像Y各行之间的相关性且使区分信息进一步被压缩到少数列上。

最后，整个图像的分类信息被压缩到图像的左上角。

整个过程表示如下：K2D PC A plus 2D PC A⇔21211:;2:;K D P C Am n d nD P C Ad n d rphase R Fphase F F⨯⨯⨯⨯−−−−→−−−→4.2.变换下面进一步详述K2D PC A plus 2D PC A的执行过程。

首先经过K2DPCA在垂直方向上变换后，我们通过式（9）得到样本A的特征矩阵Y。

然后重建图像的协方差矩阵并得到该协方差矩阵的前r个最大特征值所对应的特征向量1,,rv v ，让12(,,,)r V v v v = ，那么，通过式（10）得到Y 经过2DPCA 变换后的特征矩阵()()TTC YV A Vα∧Φ==ψΦ. (10)特征矩阵C 的大小为d r ⨯，由于d 和r 的值总是远小于m 和n ，C 远小于K 2DPCA 的特征矩阵Y 和原始图像矩阵A 。