人脸识别学习总结

最近简单的研究了人脸识别，主要从数学上系统地阐述了特征脸，PCA 算法，LDA 算法及SRDA 算法的性质，并重点研究了LDA 和最近提出的SRDA 算法，研究了它们的原理、性质、特点、算法理论依据、算法步骤和算法复杂度；对PCA ，LDA 和SRDA 算法从理论上做出了比较。最后通过MATLAB 仿真了一些结果。

谱回归判别分析算法研究

1.特征脸和PCA 算法

特征脸算法是基于KL 变换，选择使所有样本的散布距离最大的方向进行线性投影[1][2]作降维的特征提取。下面从数学上对算法进行分析。

假设输入有m 个样本人脸图像：{m x x x ,....,,21}，他们属于c 个类别，每个图像都处于l 维的特征空间。定义总体散布矩阵t S ：

∑=--=m

i T i i t x x S 1))((μμ， （1）

μ是所有样本的平均值；

定义总体类内散布矩阵w S ：

,)))(((1

1

)()()()(∑∑==--=c k m i T k k i k k i w k

x x S μμ （2）

)(k μ是第k 类样本的平均值，)(k i x 是第k 类的第i 个样本。w S 表示各样本点围绕它的均值分布情况。

定义总体类间散布矩阵b S ：

),()()(1

)(μμμμ--=∑=k c

k k k b m S （3）

)(k m 是第k 类的样本的数目。b S 表示各类间的距离分布情况，它取决于样本类别

属性和划分。

总体散布矩阵与总体类间散布矩阵与总体类内散布矩阵存在关系：

b w t S S S +=；总体散布矩阵与样本划分及属性无关。

现有一线性变换使图像从原始的l 维映射到h 维特征空间，且l h ≤。设有正交矩阵h n A ??∈，通过线性变换：

k T k x A y =，m k ,,2,1???=

得到新的特征向量集：h k y ?∈。经过线性变换后，特征向量集},,{2,1m y y y ???的散布矩阵为A S A t T 。对于PCA 算法，A 选为使所有样本投射的总体散布矩阵为最大值的理想值：opt A ，即

],,,[||max arg 21h t T opt a a a A S A A ???== （4）

其中],,,[21h a a a ???为t S 从大到小递减的特征值对应的l 维的特征向量。因为这些特征向量具有和原始数据一样的维度，所以它们也被称为特征图（Eigenpicture ），或特征脸（Eigenfaces ）[3]。图1为特征脸获取流程图；图2为PCA 算法的流程图。

图1 特征脸获取过程

图2 PCA 算法流程

从图2可以看出，PCA 算法的过程其实就是在特征脸获取后，利用特征脸和获取新的人脸图像进行图像重构，得到降维了的输出图像。从另一个角度说，PCA 的基本思想就是寻找一组最优的单位正交向量，通过线性变换，将原始数据重建，并使重建后的数据和原始数据的误差最小，以实现最好的识别。

基于特征脸的PCA 算法的弊端是它不仅使样本的类间距离变大，而且使样本的类内距离变大。使样本的类内距离增大对人脸分类没有好处。而且在连续人脸图像序列中，前一幅人脸图像与后一幅人脸图像的不同在于光照的区别[24]，因此如果人脸图像序列呈现在变化的光照下，PCA 变换得到的opt A 中的不同的特征向量将含有因为光照变化的成分，导致后续分类处理时产生错误。有人建议把

opt A 前面的几个特征向量舍弃，降低因为光照变化带来的影响，但是opt A 前面的

几个特征向量的差异不可能都是因为光照变化引起的，盲目的舍弃特征向量会使有用的信息丢失。 2.LDA 算法研究 LDA 算法介绍

LDA 算法的目的就是寻找A 使b S /w S 的比值最大化。当w S 为非奇异矩阵，

opt A 就是：

],,[|

||

|max arg 2,1h w T b T opt

a a a A S A A S A A ???== （5）

],,[2,1h a a a ???就是使b S /w S 最大的特征向量集，它们对应于递减的特征值

],,,[21h λλλ???使满足等式：

i w i i b a S a S λ=，h i ???=,2,1 （6）

显然h 的值不大于c ，即类别数目。

在人脸识别过程中，经常遇到的困难是w S 是奇异矩阵。这是因为w S 的秩必须小于c m -，但是通常每个图像的像素比训练集中图像的数目（m ）要大得多，因此|w S |的值为零。解决这个问题方法是先把人脸图像投射到低维空间，先降维，

使w S 非奇异。

一种常用的方法是先将图像通过PCA 降维至c m -，然后用（5）式进行再将图像降维至1-c 。这种方法称为Fisherface 算法，它其实就是先用PCA 算法进行降维，然后在用LDA 算法再做一次降维[4]。

这样有

pca lda opt A A A = （7）

其中，

|

||

|max

arg ||max arg A A S A A A A S A A A A S A A pca w T pca T pca b T pca T lda t T pca == 计算pca A 时，将最小的c 个主成分舍弃，以降到c m -维。 下面讨论下基于SVD+LDA 的特征提取算法。 （5）式中的LDA 的目标函数等价于：

|

||

|m a x a r g A S A A S A A t T

b T o p t =， （8） 当有h 个投影函数，即A =],...,[21h a a a , LDA 的目标函数为：

,)

()

(max arg *A S A tr A S A tr A w T b T = （9）

()tr 是矩阵的迹，即矩阵对角元素之和。令μ-=i i x x 为各样本的中心距，

令},...,,{)

()(2)(1)(k m k k k k

x x x X =为第k 类样本的中心距。则：

∑=--=c

k T k k k b m S 1

)()())((μμμμ

T m i k i

k

c

k k i

m i k k k

k

x

m x

m m ))(1)(

)(1

(

1

)(1

)

(1

∑∑∑===--=μμ

∑∑∑====c

k m i m i T

k i k i k

k k x x m 111))((1

∑==c

k T k k k X W X 1)()()()( （10）

其中，)(k W 为k k m m ?的矩阵，它的所有元素等于

k

m 1。 令],,,[)()2()1(c X X X X =为样本的中心距，定义一m m ?的矩阵W ：

??????

????????=)()

2()1(000000c W W W W （11） 则（10）式变为：

T c

k T k k k b X W X X W X S ==∑=1)()()()( （12）

因为T t X X S =，所以可得：

X L X X W I X S S S b t w =-=-=)( （13）

令W 为图?各边缘的权值矩阵，ij W 为边缘i 和j 的连接权值，当边缘i 和j 无

连接时，0=ij W 。W I L -=被称为拉普拉斯图[26]。

又有：

),1min()()()(n m X rank X X rank S rank T t -≤≤=

t S 为n n ?的矩阵，当特征个数n 大于样本数m 时，t S 为奇异矩阵，此时式

（6）没有稳定的特征解。利用奇异值分解算法解决这个问题。

不妨设r X rank =)(，X 的奇异值分解为：

X =T V U ∑ （14）

其中),...,(1r d i a g σσ

=∑，0....21>≥≥≥r σσσ。r m r u u u U ??∈=],...,,[21，)1(r i u i ≤≤为左奇异向量；r m r v v v V ??∈=],....,,[21，)1(r i v i ≤≤为右奇异向量。令T T V X U X ∑==~

，A U B T =，则：

A U WV V U A A X W X A A S A T T T T b T ∑∑==

=B X W X B T ~~

同理，

A U V V U A A X X A A S A T T T T T t T ∑∑==~

~

=B X X B T T ~~

所以（5）式中LDA 的目标函数可以改写为：

)~

~()

~~(max arg *B X X B tr B X W X B tr B T T T

T =， 其中，*B 的每一列为等式：

b X X b X W X T T

~~~~λ= （15）

的特征值。又因为2)(~

~∑=∑∑=T T T T V V X X ，非零，所以上式可以得到稳定的特

征解。得到*B 后，*A 可由下式求得：

**UB A = （16）

因为X 的均值为零，所以通过SVD 算法实现的降维，与通过PCA 算法实现的降维的效果是一样的（通过PCA 降维，X 的均值也为零）。Fisherface 的方法最多只能保持经过PCA 算法处理后的数据的c m -维，从而导致一些有用信息的丢失。通过对LDA 算法进行改进可以保持所有PCA 算法中的非零特征向量，避免有用信息的丢失。

通过对矩阵*A 的变换，可以得到如下定理：

定理1：令矩阵A 为式（16）中的变换矩阵，原始的特征向量X 通过矩阵A

变换为：X A Y T =，T

i y 为Y 的第i 个特征向量（在Y 的第i 行），i T i a X y =。对

于任意j i ≠，i y 和j y 不相关。

证明：令i T i i a y mean v μ==)(，e 为全一矩阵，

)()(j j T i i ev y ev y --

)

(,0~

~)()()

()(j i b X X b a X X a a X a X a e a X a e a X j T T i j

T

T i

j T T i T j T j T T i T i T ≠====--=μμ

i b 是式（15）中的特征向量。这种SVD+LDA 的方法称为不相关的LDA

（Uncorrelated LDA ，ULDA ）。

最近，Howland [5]利用广义奇异值分解方法（Generalized Singular Value Decomposition ，GSVD ）解决了LDA 的奇异值问题。他把LDA 的目标函数等价为：

))()((max arg *1A S A A S A tr A b T t T -=

上式可以利用GSVD 方法求解。这种方法的缺点是计算量十分庞大，特别当样本的维数很大的时候。

还有人提出了规范化判别分析算法（Regularized Discriminant Analysis ，RDA ）[6][7]，利用规范化的思想来解决w S 的奇异问题。把w S 的对角元素加上一个限制条件，即把w S 变为I S w α+，使w S 非奇异。这种方法的缺点同样是计算量是十分庞大。

上面两种运用LDA 的方法都是使用奇异值分解算法（Singular Value Decomposition ，SVD ）来降维。 LDA 的计算复杂度

由（6）（12）（13）式可得，LDA 的目标方程可写为：

),2,1(,

h i a X X a X W X i T i T ???==λ （17）

结合式（14）得：

i

i T i T

T

i T

T

T

i

T i T T i T i T b WVb V a U U U a U WV V U U a U U a U WV V U h i a X X a X W X λλλλ=?

∑∑∑=∑∑∑?∑∑=∑∑?

???==--)()()

,2,1(,

1

1

其中i T i a U b ∑=，r m V ??∈是X 的右奇异矩阵。上述的LDA 表达式可以表示为以下三个步骤：

（1） 求解X 的SVD 分解，得到U ，V 和∑。 （2） 计算WV V T 的特征向量：),2,1(,h i b i ???=。 （3） 计算i i b U a 1-∑=。

因为LDA 至多有1-c 个投影函数，可以通过下述步骤减少计算量： 令V

的第i 行特征向量为i z ，令∑

==

k

l i k i k

k z h v 1

)()(1，

c d c c v h v h v h H ??∈???=],,,[)()2(2)1(1，则：

T

c

k T

k k k h i h i T

k i k i c

k k T

HH v v h z z h WV V k k ===∑∑∑∑====1

)()(11

)()(1)()

)((1 （18）

可以得到X 的左奇异向量，即U 的行向量，是T X X 的特征向量；而X 的右奇异向量，即V 的行向量，是X X T 的特征向量[8]。当U 或V 给定时，可以从式子：∑=U V X 和T V X U ∑=得出另一个值。特别地，当n m ≥，已知T X X 的特征向量U 可以求得V ；当n m <时，由已知X X T 的特征向量V ，可以求得U 。因为H 的秩为r c ?，c 为分类的数量，r 为X 的秩。通常r 接近),min(n m ，而远远大于c 。所以先求解H H T 的特征向量再由此推出T HH 的特征解，比直接求解

T HH 的特征解可以减少很多计算量。求解的过程可以参看关于ULDA 文献[9]。

用flam 表示一次加法和一次乘法的计算量，当n m ≥时，计算T X X 需要

221mn flam ，计算T X X 的特征值需要32

9

n flam ，通过特征向量U 求得V 需要2mn flam ；计算T HH 的c 个特征向量需要23229

21nc c nc ++flam ，最后，从向量i

b 计算向量i a 需要2n

c flam 。当n m <，有类似的分析。所以LDA 的计算复杂度为：

c t c tc t mnt 23232

9

232923++++ 其中),min(n m t =，当t c <<，LDA 的计算复杂度为)(2

9

2323t O t mnt ++。

同时计算时需要存储U ,V ,X 和i a 的值，需要存储单元：cn mt nt mn +++； 由此可知，当m 和n 都很大时，LDA 算法计算量会很大，使用LDA 算法会很耗时。

3.谱回归判别分析算法研究 理论准备

为了使式（17）成功求解，先给出以下定理： 定理2：设y 为

y y W λ= （19）

的特征向量，λ为特征值。若有y a X T = ，则a

为式（17）的特征向量，λ为

式（17）的特征值。

证明：

a X y T

=，y y W λ=；

将上两式其代入（17）：a X X a X W X T T

λ=

得：

a X X y X y X y W X a X W X T T

λλλ====

因此，a

为式（17）的特征向量，λ为其特征值。证毕。

由上述定理，求解式（17）的特征向量和特征值，可以通过以下两个步骤： （1） 求解式（19）的y

（2） 寻找a 使满足：y a X T = 。通常，可以通过下式的最小二乘解求得a ：

∑=-=m

i i i T y x a a 1

2)(min

arg

（20）

其中，i y 为y 的第i 个元素。

引入上述定理，可以使（17）的求解不再需要复杂的特征分解，或SVD 求解。求解最小二乘问题的方法技巧已经比较成熟，目前有许多方法求解，如LSQR 算法[13]。因此，引入上述定理可以减少LDA 算法复杂度。

当输入数据的特征数大于样本数时，（20）式为“病态”，即y a X T =

有无穷

解，没有唯一解，这个问题通常在（20）中右边添加约束条件，

改写（20）：

∑=+-=m

i i i T a y x a a 1

22)||||)(min(arg

α （21）

其中0≥α，是用来控制收缩的参数。这种方法叫正交规范方法。规范最小二乘解法也叫脊回归方法。通过这个方法，当输入数据存在大量特征时，方程更容易求出有意义的稳定的特征解。

讨论（11）式中的W ，??????????????=)()

2()1(000000c W W W W ，可见W 为分块对角矩阵，所以它的特征向量和特征值就是每一块的特征向量和特征值。显然，)(k W 有

特征向量)(k e ，k m k e ?∈)( ，)(k e

=T ]1,,1,1[???。因为)(k W 的秩为1，所以)(k W 只有一

个非零特征值。因此，W 的c 个特征向量的特征值都为1。这些特征向量为：

c k y T

m m m k c k i i

k k i i

,2,1]0,,0,0,1,,1,1,0,0,0[111=∑∑=+=-= （22）

为保证找到向量a

使y a X T = ，所以y 必在X 展开的空间中。因为0=e X ，

所以e 对X 所在的空间正交。同时从式（18）可知，e

在k y 所展开的空间。所以可以使e

作为W 的第一个特征向量，用长一正交轴系展开法（Gram-Schmidt

Process ）使W 余下的特征向量两两正交。移去向量e

，将W 余下的1-c 个特征向量表示为：

),0,0(,}{11j i y y e y y j T

i T i c k k ≠==-= （23）

这两个步骤实际上结合了回归分析和谱图分析，所以这种方法称作谱回归判别分析算法（Spectral Regression Discriminant Analysis ，SRDA ）。下面对SRDA

算法作理论和算法复杂度分析。 算法理论分析

式（21）可以改写为：

))()m in((arg a a y a X y a X a T T T T

α+--= （24）

其中y 为（23）中的特征向量。当a 趋近于0，等式变为（相当于对a

求导）：

y

X I X X a y

X a I X X T T 1

)()(-+=?=+αα

（25） 当0>α，这种正规化方法得到的结果a 不满足y a X T = ，a

不是满足式（17）

的特征向量。因此SRDA 和LDA 方法是有所不同的[34]。为此引入以下定理。

定理3： 设y 为X 行向量展开的空间中，当α趋向0时，SRDA 中的向量a 满足LDA 目标函数（17）式相应的特征向量条件，a

为LDA 的特征向量之一。

证明： 假设r X r a n k

=)(，X 的奇异值分解为：X =T V U ∑，其中),...,(1r d i a g σσ=∑，r m U ??∈，r m V ??∈，I VV UU T T ==，y 在X 行向量展开

的空间中，所以y 也在V 列向量展开的空间中，y 可以表示为V 列向量的线性组

合。V 的列向量是相互线性独立的，

令组合系数为r b b b ,,,21 ，T r b b b b ],,,[21

=，可得：

y V b V V y b V T T

=?=

y

y VV y

V b T

T =?=?

（26）

引入矩阵的广义逆概念，表示为+?)(。对于X 的广义逆，可以通过计算：

T U V X 1-+∑=，或T T X I X X X 10

)(lim -→++=αα求得。第二个等式的极限即使在X

X T 为奇异和1)(-X X T 不存在时的极限亦存在[10]。

因此,SRDA 的规范最小二乘解为：

y X I X X a T 1)(-+=α

y X T +→=)(0

α y V U T 1-∑=

结合式（26）得：

y

y VV y V U U V a

U V a X T

T

T

T T ==∑∑=∑=-1

由定理2知，a

为（17）的特征向量。证毕。 谱回归判别分析算法计算步骤

在介绍SRDA 算法之前，为了减少计算复杂度，先对式（20）进行如下变形：

∑∑==--=-m i i T i T m

i i i T y a x a y x a 1

2

12

)(min arg )(min arg μ

在每个i x 的末尾增添元素“1”，上式变为：

∑=-''m

i i i T y x a 12))((min

arg ，

其中，a '

和i x '为（n+1）维向量。通过这种方法可以减少计算量。

现在介绍SRDA 算法步骤，设输入数据n m x x ?∈,,1 ，它们属于c 个分类。

k m 为第k 类的样本数目，∑==c

k k m m 1。

（1）产生正交向量集：令

c k y T

m m m k c k i i

k k i i

,2,1]0,,0,0,1,,1,1,0,0,0[111=∑∑=+=-=

T y ]1,,1,1[0 =为全1矩阵。运用长一正交轴系展开法（Gram-Schmidt

Process ）产生正交向量集}{k y ，令0y 为}{k y 的第一个向量。之后得到1-c 个向量：

),0,0(,}{011j i y y y y y j T i T i c k k ≠==-=

（2）最小二乘规范：在每个输入数据i x 末添加元素“1”，求出1-c 个向量

111}{+-=?∈n c k k a ，其中k a 满足：

)||||)(min(arg 21

2a y x a a m

i k i i T k

α+-=∑= （27）

其中，k i y 为}{k y 的第i 个元素。

（3）SRDA 算法的的基础是1-c 个向量{k a

}，令],,[11-=c a a A 为

)1)(1(-+c n 变换矩阵，样本通过变换：

??

?

???=→1x A z x T

映射到1-c 维的子空间。实现降维。 计算复杂度分析

长一正交轴系展开法（Gram-Schmidt Process ）的计算需要（323

1

c mc -）flam

和存储量2c mc +。对于方程（27），有两种方法求解：

（1） 通过LSQR 方法求解[11][12]。

（2） 对a

的元素的平方和的残差求导，并使它的结果设为零。这种方法用

于是函数最小化，具体过程可参看文献[13]。 在此讨论方法（1）的计算复度。

LSQR 是一种用于求解大规模稀疏线性方程和最小二乘问题的算法。在每次迭代中，LSQR 需要求出矩阵Xp 和q X T 的结果。每次迭代中LSQR 需要n m 53+的flam ，LSQR 的时间成本为n m mn 532++。如果LSQR 在第k 次迭代后停止，总时间成本为：)532(n m mn k ++[11]。因为SRDA 算法要求解1-c 个最小二乘方程，SRDA 的LSQR 时间成本为：)532)(1(n m mn c k ++-，它可以简化写为：

)()(2n O m O kcmn ++。

除了存储X 的值，LSQR 还需要n m 2+的存储。此外，还需要存储k a

，因

此，SRDA 需要存储量：cn n m mn +++2，它可以简化写为：)()(n O m O mn ++。

当输入矩阵稀疏，上述的计算量可以减少。令s 为平均每个样本中非零特征的个数，n 为总的特征个数。当n s <<，SRDA 的时间成本为：

)(52m O kcn kcsm ++，存储量：)()2(m O n c sm +++[14]。

表1 LDA 和SRDA 的计算复杂度

算法 运算量（flam ） 存储量

LDA

32

9

23t mnt + mt nt mn ++

SRDA

LSQR

迭代

致密矩阵

kcmn 2 mn

稀疏矩阵

kcn kcms 52+

n c ms )2(++

m ：输入数据样本个数； n ：总的特征个数； k ：LSQR 的迭代次数

t ：),min(n m ； s ：平均每个样本中非零特征的个数； c ：分类个数；

4.LDA 和谱回归判别分析算法比较

（1） 对于LDA ，因为t =),min(n m ，其计算量相当于计算),min(n m 的立方

时间。当输入数据m 和特征个数n 很多时，LDA 非常费时。与此相比，SRDA 算法的计算量小很多，特别是当输入数据为稀疏矩阵时，运算量和存储量都为m 和n 的线性组合。SRDA 对于高维的大量数据的计算很有效。表1可见LDA 和SRDA 计算复杂度的比较。

（2） 对于用SVD 降维的LDA 算法，计算输入样本X 是致密的，经过SVD

之后得到的左右奇异矩阵U 和V 也是致密的。当m 、n 都很大，计算机的存储量将限制LDA 算法的使用。与此相比，SRDA 则充分利用稀

疏矩阵的特性，使得运算量和存储量都减少。只要计算机的存储量足

够输入样本X存储，SRDA即可使用。

（3）即使计算机的存储量不够输入样本X存储，通过外置的输入输出I/O 磁盘，SRDA亦可使用。这是因为，LSQR算法每次迭代只需要计算Xp

和q

X T，所以可以将X和T

X存储在磁盘中，然后进行运算。

算法仿真实验及比较

特征脸和PCA算法

在这一部分，特征提取算法PCA，LDA，SRDA的MATLAB实验仿真结果和相互比较的结果都将列出。所有实验在IBM ThinkPad R52 计算机Windows XP 操作系统中进行，内存256M，主频1.86GHz。

ORL人脸库有40个主题（即40个不同的人），每个主题各有10张不同的人脸。对于有的主题，人脸图像是在不同的时间，光照，表情（包括由于佩戴眼镜造成的人脸图像省略）。所有的人脸图像都是在正立的，在暗的背景下拍摄。尺寸大小为：92?112。

CMU PIE人脸库中有68个主题，共41368个人脸图像。每个人脸图像有13种不同的姿势，4种不同的表情，和43种不同的光照条件。在实验中，论文使用的是正面人脸（C05,C07,C09,C27,C29），所以每个人有170副图像，图像的尺寸大小为：32?32。

首先用ORL人脸库的第三组人脸图像对特征脸进行显示，然后用PCA算法进行测试，读入训练图像，使它们标准化，利用特征脸进行图像重构，得到的图像如下图3到7（详细程序见rar），其中图3为以ORL人脸库的第三组的10副图像为样本作训练，图4为标准化、灰度归一后的图像；图5为用PCA算法进行得到的特征脸，图6为用特征脸和输入测试图像得到的重构人脸。图7对每一组人脸都进行重构，可看出重构的人脸与原始人脸相差无几，证明了特征脸算法的可行性。

Training set

图3 读入图像Normalized Training Set

图4 标准化后的人脸图像Eigenfaces

图5 PCA特征脸

之后，用特征脸对其中的任意的图像进行重构，得到的效果与原始图像相差不大，见下图（排除能量接近为0的特征脸，用余下的特征脸进行重构，图6中的(a)为原始的输入图像，(b)图用PCA 特征脸重构的图像）：

Input image

Reconstructed image

10

20

30

40

50

60

70

80

90

10

20

3040

50

60

70

8090

100

110

（a ）原始图像

10

20

30

40

50

60

70

80

90

100

110

（b ）重构图像

图6 人脸重构

Input image

Reconstructed image 20

40

60

80

1020304050607080

90

110

Input image

Reconstructed image 20

40

60

801020304050607080

90

110

Input image

Reconstructed image 20

40

60

801020304050607080

90

110

Input image

Reconstructed image 20

40

60

1020304050607080

90

110

Input image

Reconstructed image 20

40

60

80

1020304050607080

90

110

Input image

Reconstructed im 204060

1020304050607080

90100110

2030405060708090100110

10203040

5060708090100

110

20

40

60

80

102030

40

5060708090

100110

102030405060708090

100110

102030405060708090

100110

102030405060708090

100110

Input image

Reconstructed image 20

40

60

801020304050607080

90

100110

Reconstructed image 20

40

60

80

1020304050607080

90

100110

Input image

Reconstructed image 20

40

60

80

1020304050607080

90

100110

Reconstructed image 20

40

60

80

20304050607080

90100110

Input image

Reconstructed image 20

40

60

80

20304050607080

90

100110

Input image

Reconstructed im

20

40

60

80

1020304050607080

90100110

10

2030405060708090100110

20

40

60

80

10

2030405060708090100

110

20

40

60

80

10

2030405060708090

100110

20

40

60

80

10

2030405060708090

100110

20

40

60

80

102030405060708090

100110

20

40

60

80

10

2030405060708090

100110

图7 各种人脸的重构

论文实验中又做了其他组人脸，可见重构人脸图像与原图像相差无几，见图7。第一和第三行为原始人脸，第二和第四行为重构人脸，可见重构人脸与原始

人脸相比有一定的偏差，细节上不太清晰，这是因为重构人脸比原始人脸的维数降低了。

PCA 与LDA 算法在降维中的区别

接下来说明算法PCA 和LDA 在分类是的区别，实验结果下图8。

（a ）样本

（b ）PCA 和LDA 投影结果

（c ）PCA 投影

（d ）LDA 投影

图8 PCA 与LDA 算法的投影结果

输入两组数组样本，数组区间分别从[0,0.5]和[-0.5,0]，如图8(a)。将数组分别用PCA 和LDA 算法投影到PCA 特征空间和LDA 特征空间，如图8(b)；(c)和(d)图为对(b)图的说明，其中(c)图为数据采用PCA 算法投影后的结果，(d)图为数据采用LDA 算法投影的结果。可见LDA 对数组进行分类的效果比PCA 好，它比PCA 更好地保持样本数据类间和类内信息，保证不同类之间的间隔足够大。

事实上，LDA算法除了用于有监督型的特征提取、降维，也可以用于分类,用PCA+LDA算法（Fisherface），和PCA+SVM算法进行识别分类的比较时，在小样本的情况下，会得到更好地识别效果；而LDA+SVM分类的结果则不尽如人意。因为这里主要讨论的是特征提取降维的算法，所以对关于SVM的组合的分类识别不作展开。

下面在ORL人脸库用最近三阶邻域法分别对用PCA算法和Fisherface （PCA+LDA）算法降维特征提取得到的图像进行识别（PCA特征提取保留90%以上能量特征脸的重构）。比较各自的识别率，运行时间，结果见下面两表2和3，其中两个表中的第一次和第二次测试的训练样本和测试样本个数相同，不同的地方是训练和测试样本的图像交换了，即第一次测试中用作训练的样本为第二次测试中用作测试的样本。

表2 PCA特征提取

测试训练样本个数测试样本个数识别率运行时间（s）

1 200 200 88.5% 11.9

2 200 200 90.0% 11.2

3 120 280 87.7% 20.4

4 160 240 86.7% 16.7

表3 Fisherface特征提取

测试训练样本个数测试样本个数识别率运行时间（s）

1 200 200 93.50% 88.6

2 200 200 95.00% 86.1

3 120 280 91.93% 130.9

4 160 240 92.92% 128.2

由两表可得，Fisherface的运行时间比PCA的运行时间要长，因为利用Fisherface的时候，要先使用PCA降维，再利用LDA ；另外，当训练样本和测试样本数目相同时，运行时间最短，训练样本较多时，在测试的时候可以减少匹配计算的时间；利用Fisherface特征提取后的识别率比用PCA的要高，证明了LDA算法在分类上的优势。当然，Fisherface算法的弊端是要使用大量的内存，当程序编的不太简洁，计算机内存不够时，算法难以运行，直接退出。此外在个

人电脑上运行仿真，比在笔记本的要快，证明了算法对内存要求高；在笔记本上仿真时，要外置移动硬盘，证明了LDA算法对于样本庞大的数据性能不佳。

谱回归判别分析算法和ULDA算法比较

现在验证SRDA在处理大规模样本时的优越性。采用人脸数据库较大的CMU PIE人脸数据库库中的人脸数据作为实验，对SRDA和目前最近提出的广泛引用的ULDA做识别仿真比较。因为Fisherface在处理大规模数据时性能不佳，无论识别率还是运行时间都与两者相差甚远，特别是在运行时间上是SRDA的上百倍所以在此不列出作比较。当然在运行SRDA和ULDA时都需要外置移动硬盘的帮助。仿真结果如下两表所示：

表4 CMU PIE ULDA与SRDA分类错误率对比

训练样本大小ULDA SRDA

10?68 31.8% 19.5%

20?68 20.5% 10.8%

30?68 10.9% 8.4%

40?68 8.2% 6.9%

50?68 7.2% 6.3%

60?68 6.4% 5.7%

表5 CMU PIE人脸数据库ULDA和SRDA运行时间比较训练样本大小ULDA (s) SRDA (s) 10?68 204.291 233.235

20?68 237.626 243.685

30?68 327.887 273.903

40?68 368.130 294.126

50?68 458.377 324.336

60?68 498.639 364.573 由此可见，SRDA算法在样本规模大的时候，在运行时间与识别率上都有优越之处；但是在样本数目低的时候，SRDA在识别率上不尽如人意。在本论文中仿真出的实验结果与原作者有很大的差距，原因可能是计算机性能的不同。但是