PCA算法详解

主成分分析法主成分分析（Principal Component Analysis，简称PCA）方法是目前应用很广泛的一种代数特征提取方法，可以说是常用的一种基于变量协方差矩阵对样本中的信息进行处理、压缩和抽提的有效方法，主要通过K-L（Karhunen-Loeve）变换展开式从人脸数据库中提取人脸的主要特征[i]，构成特征脸空间，在识别时将待测试的人脸图像投影到特征脸空间，得到一组投影系数，与数据库中各个人脸图像进行比对识别。

这种方法保留了原向量在与其协方差矩阵最大特征值相对应的特征向量方向上的投影，即主分量(Principal Components)，因此被称为主成分分析。

由于PCA方法在进行降维处理和人脸特征提取方面的有效性，在人脸识别领域得到了广泛的应用。

它的核心思想是：利用较少数据的特征对样本进行描述以达到降低特征空间维数的目的，根据样本点在多维空间的位置分布，以样本点在空间中变化最大方向，即方差最大方向，作为差别矢量来实现数据的特征提取。

利用K-L变换抽取人脸的主要成分，利用特征脸法进行人脸识别的过程由训练阶段和识别阶段两个阶段组成。

3.1.1 K-L变换概述K-L变换是Karhunen-Loeve变换的简称，是一种特殊的正交变换。

它是建立在统计特性基础上的一种变换，它的突出优点是它能去相关性，而且是均方误差(Mean Square Error，MSE)意义下的最佳变换。

K-L变换的基本思想是在一个新的特征空间中将样本数据沿其特征矢量用对齐的方式进行旋转变换。

这个变换有效地克服了样本数据向量间的相关性，从而去除那些只带有较少信息的数据以达到降低特征空间维数的目的。

经过以上K-L 变换得到的特征是原图像向量的正交分解，其图像信息的总能量不变，不损失任何信息。

在这个互相正交、可测量的特征空间中进行图像的特征提取可以有效地利用图像之间的差异，提取有效信息。

K-L特征空间中，较大特征值所对应的特征向量体现原图像的总体趋势以及低频分量，较小特征值所对应特征向量体现原图像的细节变化以及高频分量所以人们用PCA法提取图像总体特征，其目的是用较少数量的特征对样本进行描述，同时又能保留所需要的识别信息。

在人脸图像上的表现就是人脸的外形轮廓和灰度变化，以此作为人脸特征。

对于随机向量X ∈R n，它的均值向量m x 及协方差矩阵c x 定义为：}{X E mx= {()()}T E X X C m m x x x =-- (3-1) X 是n 维的向量，()()T x x X X m m -- 是n ×n 阶矩阵。

c x 的元素c ii 是总体向量中X 向量的第i 个分量的方差，c x 的元素ij C 是向量元素x i 和x j 的协方差。

并且矩阵c x 是实对称的。

如果元素x i 和x j 无关，则它们的协方差为零，则有c ij =c ji =0。

对于从随机总体中取样的k 个向量，均值向量可以通过样本估计：∑==Kk k XX mK 11 (3-2) 协方差矩阵可通过样本进行估计，如式(3-3)所示：c x =m m X X xk k Txkk T k -∑-11 （3.1-3）K-L 变换定义了一正交变换A ∈R n n ⨯，将X ∈R n 的向量映射到用Y ∈R n 代表的向量，并且使Y 向量中各分量间不相关：)(m x X A Y-= （3-4）则随机向量Y 协方差矩阵C Y 应为对角矩阵：CY=⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡λλλn 0021（3-5）其中{(Y )(Y )}Y y y C E m m =--，{y}y m E =为向量Y 的均值向量。

因有T Y x C AC A =，这相当于对C X 对角化，K-L 变换将A 的每一行取为C X 的特征向量，并且将这些特征向量按对应的特征值大小进行降序排序，使最大特征值对应的特征向量在A 的第一行，而最小特征值对应的特征向量在A 的最后一行。

并且因y C 为实对称的，因此总能找到n 个标准正交特征向量组成A 。

经过A 变换后，因Y 各分量不相关，相当于对X 去相关操作。

并且根据矩阵理论，C Y 对角线处λj ，也正是C X 的特征值，同样也是C Y 的特征值，也就是说C X与C Y有相同特征值，并且它们的特征向量也相同。

K-L 变换不仅能去相关，而且能简单的由Y 恢复X 。

因为A 的各行是正交向量，则有A 1-=A T ，任何向量X 能够通过相应的Y 利用下式恢复：T x X YA m =+ （3-6）若选择C X 的最大K 个特征值对应的K 个特征向量，组成k ⨯n 的转换矩阵A K ,则变换后Y 降为K 维的，则由Y 对X 的恢复公式如下：^TK x X A Y m =+ （3-7） X 与Xˆ间的均方误差可以由下式表示： e ms=∑=n j j1λ-∑=k j j1λ=∑+=nk j j1λ（3-8）如果k=n(即所有特征向量用于变换)，则误差为零。

因为λj 递减，并且式(3-8) 也表明可以通过选择k 个具有最大特征值的特征向量来降低误差。

因此，从可以将向量X 和它的近似值X ˆ之间的均方误差降至最小这方面来说，K-L 变换是最佳变换。

并且由于使用最大特征值对应的特征向量，所以又称为主成分分析(PCA)。

3.1.2 主成分分析(PCA)特征提取方法在二十世纪九十年代初，Kirby 和Sirovich 开始讨论利用PCA 技术进行人脸图像的最优表示问题。

并且由M ．Turk 和A ．Pentland 将此技术用于人脸识别中，并称为特征脸方法。

M ．Turk 和A ．Pentland 将m ×n 的人脸图像，重新排列为m n *维的列向量。

则所有的训练图像经此变换后得到一组列向量：{x i }，x i ∈R n m *，i=1,．．，N ，其中N 代表训练样本集中图像的个数。

将图像看成一随机列向量，并通过训练样本对其均值向量和协方差矩阵进行估计。

均值向量μ通过下式估计： ∑==Ni i x N 11μ （3-9）协方差矩阵S T 通过下式估计：)x ,...,())((11n Ni T TiiT x X XX S x x ==--=∑=μμ （3-10）则将投影变换矩阵A 取为S T 的前k 个最大特征值对应的特征向量。

利用以下变换式对原图像进行去相关并降维：AX y K)(μ-= （3-11）因是通过N 个训练样本计算出的，虽然S T 是)(n m *×)(n m *维的矩阵，但是其秩最大为N-1，即只有N-1个非零特征值。

按照K-L 变换中，在均方误差意义下，去掉零特征值对应的特征向量不会影响对向量x 的重构。

所以A 最大只需取S T 前N 一1个非零特征值对应的特征向量，即k 最大只需为N-1，就能通过y 在均方意义下对x 完全重构。

M ．Turk 和A ．Pentland 将通过对S T 的特征向量进行还原为图像矩阵后，发现竟然是一张标准化的人脸。

因此指出进行PCA 的本质就是将每幅人脸通过标准人脸的线性叠加来近似。

并将这些线性表示系数作为人脸的特征，利用这些特征对其进行分类。

M ．Turk 和A ．Pentland 将这些对应于每个特征向量的标准人脸称为特征脸(Eigenface)，并将这种利用PCA 技术进行人脸分类的方法称为特征脸法。

PCA 算法具体步骤如下：1．将m ×n 的训练图像重新排列为m *n 维的列向量，如图像矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡987654321 ，则排列后的列向量为⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡963852741。

计算均值向量，并利用均值向量将所有样本中心化。

2．利用中心化后的样本向量，根据式(3-10)计算其协方差矩阵；对其特征值分解，并将特征向量按其对应的特征值大小进行降序排列。

3．选取第2步所得的k ≤N-1个最大特征值对应的特征向量组成投影矩阵A ，将每幅已中心化的训练图像(x 1，．．．，x n )向矩阵A 投影，得到每幅训练图像的降维表示(y 1,…,y n)。

4．对测试图像中心化，并投影到矩阵A ，得到测试图像的降维表示。

5．选择合适的分类器，对测试图像进行分类。

在人脸识别中，将图像重排为列向量，维数较高。

例如若处理的图像数据为112×92，变为列向量则为119×92=10304维，则S T 为10304×10304矩阵。

往往难于直接计算协方差矩阵S T 的特征值及特征向量。

下面介绍间接求解方法：因XX S T T = (X=([x x n ,...,1])，其中x i ∈R n m *，X ∈R N n m ⨯*)(，N 为训练样本数量，m*n 为图像转换为列向量的维数，往往m*n>>N 。

而XX T RNN ⨯∈比S T =XX T∈R n m n m )()(*⨯*小的多，对其进行特征值分解较简单。

对XX T 进行特征值分解：v i i i T v XX δ= （3-12）若上式两边同时左乘X ，则：(X X )(X )T i i i X ν=δν （3-13）X (X )(X )Ti i i X ν=δν 而对XX TT =δ特征分解：u u XX iiiTλ= （3-14）则可以得知v u i i X =，δλii=。

因此可以利用求XX T的特征值及特征向量来推算XXS TT =的特征值和特征向量。