人脸识别的研究进展

1引言

人脸识别是计算机模式识别和生物特征鉴别技术的一个热门研究课题，它被广泛应用于娱乐，智能卡，信息安全，法律实施和监控等社会各方面。一般来说，人脸识别主要是指在数字图像或视频图像中，通过人体面部视觉信息，进行人类身份鉴别的计算机技术。人脸识别和其它生物特征识别技术如：指纹识别，掌纹识别等相比，具有方便，快捷，易以接受等特点[1]。

计算机人脸识别的研究始于60年代末，最早Bledsoe 以人脸特征点间的距离、比率等参数为特征建立了第一个半自动人脸识别系统[1]。近几十年人脸识别研究逐渐发展，涌现出了大量新的技术和方法。虽然人脸识别技术已经取得了很多突破性进展，但是计算机和人类的人脸识别能力相比，依然还存在很多问题，目前最好的商用人脸识别系统在实际使用中仍然有很多需要完善的地方。2人脸识别系统的框架

一般来说，一个完整的人脸识别系统主要包括下面几个步骤：

(1)人脸检测(Face detection)：对输入图像进行分析，

判断图像中是否存在人脸，如果存在人脸，则标定出人脸的位置和大小的过程。

(2)人脸对齐(Face alignment)：通过对人脸图像进行缩

放，旋转，切割等操作，使所有人脸图像依照某种标准规范化的过程。

(3)人脸预处理(Face preprocessing)：通过对人脸图像进

行处理，降低图像中光照变化，噪音干扰等情况对人脸识别带来的影响。

(4)人脸表示(Face representation)：提取人脸中可以用

于描述人脸模式的特征并使用这些特征来表示人脸的过程。

人脸识别的研究进展

钱志明1，徐丹2

1. 楚雄师范学院, 云南省楚雄市 675000

E-mail: qzhiming@https://www.360docs.net/doc/416690146.html,

2. 云南大学计算机系, 昆明 650091

E-mail: danxu@https://www.360docs.net/doc/416690146.html,

摘要: 随着人工智能和计算机视觉技术的发展，人脸识别已成为模式识别领域的一个热门研究课题。本文对近年来人脸识别的研究状况进行了综述，分析了人脸识别存在的问题，系统地对目前主流人脸识别方法进行了分类和介绍，针对人脸识别中的一些局部表示方法做了分析和测试，并对未来人脸识别的发展方向进行了展望。

关键词: 人脸识别，人脸表示，局部特征

Research Advances in Face Recognition

Zhiming Qian1, Dan Xu2

1.Chuxiong Normal University, Chuxiong Yunnan 675000, China

E-mail: qzhiming@https://www.360docs.net/doc/416690146.html,

2. Department of Computer Engineering, Yunnan University, Kunming 650091, China

E-mail: danxu@https://www.360docs.net/doc/416690146.html,

Abstract: With the development of artificial intelligence and computer vision, face recognition has become a hot topic of pattern recognition. This paper presents a survey on the state-of-art face recognition research, systematically classifying and introducing face recognition methods. Furthermore, this paper analysis and tests some recent algorithms, which are used to extract the local facial features. In addition, several major issues for further research in the area of face recognition are also pointed out at the end of this paper. Key Words: face recognition, face representation, local feature

(5) 人脸分类(Face classification)：对待识别人脸图像的

特征表示，通过对比人脸数据库中已有的人脸特征表示，判断测试图像属于哪一类的过程。 图1显示了人脸识别的一般过程。

图 1: 人脸识别过程示意图

3 人脸识别的现状

从人脸识别的大量文献中可以发现，在人脸识别系统各个模块中，研究的最多的是人脸表示这一块，以至于给人一种假象，人脸识别技术主要内容就是人脸表示，但是实际情况并非如此，人脸识别系统中各个模块有密切的联系，并且每个模块都能对人脸识别系统的最终效果产生巨大的影响。

目前来看，对于人脸识别的各个模块，人脸检测是最成熟的，且该技术已经投入到各类应用中，如比较常见的数码相机中的人脸定位和跟踪，人脸检测的主流技术有Adaboost 方法[2]，该方法具有检测速度快，检测率高等特点，在人脸检测中得到了广泛应用。人脸检测作为一个已经工程化的模块，目前的发展方向是把人脸检测和人脸表示相结合，提高人脸识别的效率，另外，使用新的算子或者轮廓进行人脸检测也是研究方向之一。人脸对齐一直是人脸识别系统中的一个难题，虽然不断有新论文出现，但是效果依然不是十分理想，相对于人脸识别的其它模块而言，人脸对齐可以称为一个瓶颈，制约着人脸识别技术的发展，导致这种情况的原因在于：不同的人脸有着不同的形状结构，要使用一种数学模型能够匹配所有人脸轮廓难度较大，目前效果相对较好的人脸对齐方法主要是可变型模板技术。人脸预处理是一个与数字图像分析和处理技术相关的模块，虽然在某些人脸识别系统中，人脸预处理模块没有得到体现，但是作为一个实用的人脸识别系统而言，由于环境的可变性和其它一系列影响因素，人脸预处理是不可或缺的，目前有很多技术已经能够很好的克服光照等变化的影响，但是在消除这些干扰的同时，人脸纹理结构也会受到不同程度的影响，如何对二者进行平衡和优化是研究的重点。人脸表示是人脸识别系统中的核心模块，同时也是人脸识别中新方法出现最多的一个模块，在各类方法的不断创新和完善中，人脸表示取得了非常好的成绩，相对其它模块来说，人脸表示对人脸识别的影响已经很小，也就是说，如果人脸对齐和预处理模块不能实现突破的话，无论采取何种人脸表示方法，人脸识别

的效果都不会有太大的提高。人脸分类模块和人脸表示模块密切相关，一般来说，采用不同的人脸表示方法，就对应不同的人脸分类方法，人脸分类有两种方式，一种是在人脸表示的基础上直接使用模式识别中的一些经典分类方法进行分类，另一种是先对人脸表示的数据进行降维，特征过滤等操作，然后再进行分类。

4 人脸表示的新方法

对于人脸识别的各个模块，我们重点介绍人脸表示这一部分，人脸表示是目前人脸识别领域影响最大，也是人脸识别最核心的一个部分。

人脸表示主要分为全局表示与局部表示两个方面[3]

，全局表示主要从人脸图像的整体出发，考虑的是人脸模式的整体属性，例如利用人脸的全局结构，人脸的整体轮廓等进行分析和表示。局部表示主要从人脸图像的局部特征信息出发，考虑人脸图像的眼睛，鼻子，嘴巴等特征，或是考虑人脸局部块图像的特性。 4.1 全局表示

在经典PCA(Principal Component Analysis)和LDA(Linear Discriminant Analysis)等方法的影响下[4][5]

，人脸表示中出现了大量以PCA 和LDA 为基础的改进方法，比如KPCA(Kernel Principal Component Analysis)，MFA(Marginal Fisher Analysis)[6][7]等，这里我们介绍当前比较有代表性的几种方法。 4.1.1 局部保持投影

2005年, He 等人提出了局部保持投影LPP(Locality Preserving Projections) [8]，LPP 是一种基于表观的人脸识别方法，基于该方法得到的子空间被称为拉普拉斯脸(Laplacianface)。拉普拉斯脸是对人脸流形上的Laplace Beltrami 算子的特征函数的最优线性近似。不同于PCA 和LDA ，LPP 找到一个嵌入来保持局部信息,从而得到一个最好的探测到人脸流形结构的人脸子空间。理论分析表明, PCA, LDA 和LPP 可以由不同的图模型产生。 同PCA 和LDA 相比, LPP 通过保留局部结构可以编码低维空间中更多具有判别性的信息, 这些信息要比全局结构更适合于分类。作为流形学习方法在识别问题中的尝试，LPP 对人脸识别的发展做出了一定的贡献，不过我们也应该看到，虽然LPP 在一些试验中得到了非常好的效果，但是这并不能说明LPP 的性能绝对超过LDA 等方法。

4.1.2 非监督辨别投影

在LPP 的基础上, Yang 等人提出了非监督辨别投影UDP(Unsupervised Discriminant Projection )[9]，UDP 可看作是基于多流形学习框架的一种近似, 它通过寻找一种最大化非局部散度同时最小化局部散度的投影。相对LPP 而言，UDP 同时考虑了局部和非局部散度。这种特点使得UDP 更直观，在某些情况下，UDP 要比只考虑局

部散度的LPP方法更强大，在小样本情况下，UDP也表现出超过LDA的识别性能。UDP相比LPP有一定的不同，但是从本质上看，UDP是LPP的一种简化的,正则化的版本,没有理由表明UDP比LPP更适合于通用的分类或聚类任务[10]。

4.1.3 稀疏表示

2008年, Wright等人把稀疏表示用于人脸识别[11]。稀疏表示将人脸识别问题看作多个线性回归模型的分类问题，通过稀疏信号表示的理论解决该分类问题。该方法的主要思路是：对于待识别的人脸图像，利用训练集图像的线性组合进行重构，然后利用重构过程中得到的稀疏表示的重构系数进行人脸分类。与传统的PCA等方法不同，稀疏表示是基于L1范数的求解过程，它的主要目的是找到一组稀疏的重构系数来重构人脸图像，并且通过这种稀疏表示来对测试图像进行分类。稀疏表示可以很好的处理人脸识别中的两个关键问题：特征提取和对遮挡的鲁棒性。由于稀疏表示与传统的人脸表示方法使用了不同的思路，且使用稀疏信号来表示人脸符合人类的视觉特性，目前该方法受到了越来越多的人脸识别研究者的关注。

4.2局部表示

同人脸的全局表示相比，局部表示充分考虑了人脸图像的视觉、纹理等特性，在实际使用中，局部表示取得了相比全局表示更理想的效果，下面介绍几种当前比较有代表性的局部表示方法。

4.2.1 加伯变换

Gabor小波是一种信号和数字图像处理中的滤波技术，自从2003年Liu 等人把Gabor小波用于人脸识别后[12]，Gabor小波以其优良的空间位置，方向选择以及空间频率等图像描述特性，一度成为人脸表示的热点。Shan等人在Gabor小波的基础上，提出了使用Gabor直方图的方式进行人脸表示[13]，该方法的基本思想是通过直方图统计的方法把Gabor特征进行量化，进而使用直方图表示人脸并进行分类。Choi等人使用矩形特征来模拟Gabor小波核[14]，提高Gabor滤波器的运算速度。在传统使用Gabor幅值进行人脸表示的基础上，Qing等人利用Gabor的相位进行人脸表示和分类也取得了不错的效果[15]，之后，Zhang等人综合利用Gabor的幅值与相位进行人脸表示[16]。一般来说，Gabor的相位信息比幅值信息更有利于分类，但是相位信息没有幅值信息稳定，不管如何利用Gabor进行人脸表示，目前最大的问题还是在于Gabor信息维数较高这个问题，如果该问题能够很好的解决，那么Gabor在人脸表示中将成为首选方案。4.2.2 局部二值模式

LBP(Local Binary Patterns)是一种描述图像纹理特征的方法，其特点是纹理识别能力强，计算速度快，它通过计算图像中每个像素与其局部邻域点在亮度上的序关系,然后对二值序关系进行编码形成局部二值模式。2005年，Ahonen等人把LBP算子直接用于人脸表示[17]，取得了很好的效果，之后，LBP得到了一些扩展，Zhang 等人利用Gabor + LBP的方法进行人脸表示[18]，并且利用Fisher方法对数据进行降维处理。Liao等人利用了LBP的多方向扩展进行人脸表示[19]。总的来说，LBP由于快速，简单，效果相对较好等特点，在实际中应用比较广泛，但需要注意的是，LBP对块的划分比较敏感，不同的划分方式往往识别性能相差较大，必须针对图像大小做出合适的划分。

4.2.3尺度不变特征变换

SIFT(Scale Invariant Feature Transform)是一种特征点匹配算法，其匹配能力较强，可以处理两幅图像之间发生平移、旋转、仿射变换情况下的匹配问题。2006年，意大利萨萨里大学Bicego等人把SIFT算法用于人脸识别并取得了很好的效果[20]。在SIFT原算法的基础上，一些学者对它进行了扩展，Mikolajczyk等人提出了基于圆的旋转不变性的GLON算法[21]，该算法利用旋转坐标系来达到旋转不变的目的。Yan等人提出了PCA+SIFT的表示方法[22]，使用PCA对SIFT产生的高维数据进行降维。总的来说，SIFT最大的优势是区分度较高，但这是以高维度数据为代价的，虽然目前有一些方法，比如K-meams 聚类等能够部分解决高维问题，但这是以牺牲区分度为代价的，如何在区分度和速度方面取得一致性，是今后研究的方向。

5人脸识别的其它方法

除了上述介绍的一些新的人脸表示方法，人脸识别中还出现了一些新的方向，下面介绍两个目前研究较多的方向。

5.1三维人脸识别

三维识别是人脸识别中的一个新领域，区别于普通的二维人脸识别，三维人脸识别使用三维数据对人脸进行表示和分类，三维人脸识别的人脸表示模块既可以使用全局人脸表示，也可以使用局部人脸表示。自从2003年, Blanz等人使用三维形变模型进行三维人脸识别后[23]，近年来出现了很多三维人脸识别的文献，Xu 等人提出了使用boost算法选择人脸特征向量并分类的方法[24]。Zhong 等人提出了Gabor + K-means的三维人脸表示方法[25]。总的来说，三维人脸识别的在人脸表情，姿态，光照变化等情况下有着二维人脸识别无法相比的效果，但是，三维人脸识别由于数据量巨大，处理较为耗时，暂时无法应用于大规模人脸数据库，同时，对于信息获取与分析而言，三维人脸信息相比二维人脸信息仍然有很多困难。可以预见，随着计算机硬件的快速发展

和二维人脸识别的不断进步，三维人脸识别一定会做得更好。

5.2红外人脸识别

基于传统照相机，摄像机等方式的人脸识别容易受到光照等变化的影响，利用红外进行人脸识别也是近年来一个研究方向，红外人脸图像的识别分为近红外人脸识别和远红外人脸识别。近红外人脸识别是通过在照相机上安装一个近红外发光二极管来保证有足够强烈和稳定的光照在人的脸部并且成像, 与近红外人脸图像不同,远红外是通过获取人脸发出的热辐射来成像的。随着红外技术的进步和应用的普及，现在有越来越多的国家开始关注红外人脸识别。红外人脸识别的优势是：光照，表情，肤色等变化对最终识别效果的影响较小，不足是：在价格和易用性方面，红外设备不如普通图像获取设备，红外图像的分辨率较低，且容易收到环境温度变化的影响。

6局部人脸表示方法的实验

为了便于比较，我们对目前使用的较多，效果较好的几种局部人脸表示方法进行了实验，实验数据库为FERET人脸数据库[26]的子集，选取100个人，每人3张图像，共300张正面人脸(fa)作为试验样本图像。

首先利用FERET中已经精确标定的眼睛坐标对人脸图像进行归一化处理，处理方法为：通过图像旋转，使两眼位置水平对齐，再通过图像缩放使人脸图像中两虹膜中心的距离D=70像素，然后采用图2所示模板对人脸图像进行切割，把人脸图像归一化到130×150大小。

图 2: 人脸对齐模板

对每一个人，使用一张正面人脸图像进行注册，然后分别使用Gabor小波幅值(每幅Gabor人脸为600维)，Gabor小波相位(采用隔行采样的方式，每幅Gabor人脸为300维)，LBP(采用(8,1)的统一LBP模式，分块方式为7×9)，加权LBP(采用Ahonen的加权方式)，SIFT算法(采用传统SIFT算法)进行人脸表示。对每个人的两张正面人脸测试图像，使用与注册图像相同的人脸表示方法与注册图像进行比较和识别。实验所用的软件环境为Matlab7.0，硬件环境为AMD 3200+处理器，1G内存，实验结果如表1所示。

表 1: 几种局部人脸表示方法实验结果

所用方法识别率

识别一幅人脸图像的

平均耗费时间(秒/s) Gabor幅值94.7% 3.6s

Gabor相位96.1% 2.4s

LBP 87.2% 0.6s 加权LBP 91.4% 0.8s

SIFT 97.3% 6.7s 从结果我们可以看出，在使用矩形模板进行人脸切割时，SIFT算法表现出了最好的识别效果，Gabor小波相位次之，最差的是LBP算法，这与Ahonen等人在论文里描述的效果有所区别，原因是Ahonen的论文里的人脸使用的是椭圆切割方式，全部人脸图像都使用了精确的人脸对齐，我们的实验中虽然使用了与Ahonen相同的人脸分块方式，但显然LBP对矩形切割效果不太理想。

通过上述实验，我们认为：在小数据量的人脸识别中，SIFT是首选方案，它对人脸对齐的要求相对较低，并且有较好的识别效果，在大数据量的情况下，LBP可以在速度与效果间达到一个平衡，相对于Gabor小波和SIFT的复杂计算来说，LBP拥有较快的速度和差距不大的识别效果。

7人脸识别存在的问题和发展方向

人脸识别在近年来的确取得了长足的进步，但我们也应看到，人脸识别在很多方面还存在问题。现阶段人脸识别的最主要困难在于人脸对齐和预处理方面，其次，对于当前研究热点的人脸表示，性能和数据间的矛盾也是面临的一个难题。从模拟人类的识别方式来看，创造更加有效的人脸对齐方法，结合计算机视觉技术解决光照，姿态，表情等变化对人脸识别的影响，综合利用全局表示和局部表示两种方法相结合，发现更多有利于人脸表示的局部算子，建立更多实际环境下的人脸数据库，关注实际环境中的人脸识别的效果，是今后人脸识别的发展方向。可以预见，随着模式识别技术，人工智能技术和计算机视觉技术的不断进步，未来的人脸识别一定会越做越好。

致谢

本研究得到国家自然科学基金(60663010)，云南省教育厅科研基金(09Y0404)的资助。

参考文献

[1] Bledsoe. W. Man-Machine Facial Recognition [R]. Technical

Report PRI 22, Panoramic Research Inc, Palo Alto, CA, 1966.

[2] P. Viola, M.J. Jones, Robust real-time face detection [J].

International Journal of Computer Vision, 2004, 57(2):

137–154.

[3] Hjelmas. E, Low. BK. Face detection: A survey [J]. Computer

Vision and Image Understanding, 2001, 83(3): 36-274.

[4] Turk. M, Pentland. A. Eigenfaces for recognition [J]. Journal of

Cognitive Neuroscience, 1991, 13 (1): 71-86.

[5] Belhumeur. P. N, Hespanha. J. P, Kriegman. D. J, Eigenfaces vs.

Fisherfaces: recognition using class specific linear projection [J].

IEEE Transactions on Pattern Analysis and Machine

Intelligence, 2006, 28(12): 2037-2041.

[6] Yang. M. H, Ahuja. N, Kriegman. D. Face recognition using

kernel eigenfaces [C]. In: Proc. of IEEE Conf. on Image

Processing, 2000, 37-40.

[7] Yan. S. C, Xu. D, Zhang. B.Y, Zhang. H. J, et al. Graph

Embedding and Extensions: A General Framework for

Dimensionality Reduction [J]. IEEE Transactions on Pattern

Analysis and Machine Intelligence, 2007, 29(1): 40-51.

[8] He. X. F, Yan. S. C, Hu. Y. X, et al. Face recognition using

Laplacianfaces [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(3): 328-340.

[9] Yang. J, Zhang. D, Yang. J. Y, et al. Globally maximizing,

locally minimizing: unsupervised discriminant projection with

applications to face and palm biometrics [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2007, 29(4):

650-664.

[10] D eng. W, Hu. J, Guo. J, Zhang. H, et al. Comments on "globally

maximizing, locally minimizing: unsupervised discriminant

projection with application to face and palm biometrics" [J].

IEEE Transactions on Pattern Analysis and Machine

Intelligence, 2008, 30(8): 1503-1504.

[11] W right. J, Yang. A, Ganesh. A, et al. Robust face recognition via

sparse representation [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(2): 210-227.

[12] Liu. C. J, Wechsler. H, Independent Component Analysis of

Gabor Features for Face Recognition [J]. IEEE Transactions on Neural Networks, 2003, 14(4): 919-928.

[13] S han. S. G, Zhang. W. C, Su. Y, et al. Ensemble of Piecewise

FDA Based on Spatial Histograms of Local (Gabor) Binary

Patterns for Face Recognition [C]. In: Proc. of IEEE Conf. on

Pattern Recognition, 2006, 590-593.

[14] Choi. W. P, Tse. S. H, Wong. K. W, et al. Simplified Gabor

wavelets for human face recognition [J]. Pattern Recognition,

2008, 41(3): 1186-1199.

[15] Q ing. L. Y, Shan. S. G, Chen. X. L, et al. Face recognition under

varying lighting based on the probabilistic model of gabor phase

[C]. In: Proc. of IEEE Conf. on Pattern Recognition, 2006,

1139-1142.

[16] Z hang. B. C, Shan. S. G, Chen. X. L, et al. Histogram of Gabor

phase patterns (HGPP): A novel object representation approach for face recognition [J]. IEEE Transactions on Image Processing, 2006, 16(1): 57-68.

[17] Ahonen. T, Hadid. A, Pietikainen. M. Face description with

local binary patterns [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2006, 28(12): 2037-2041.

[18] Z hang. W. C, Shan. S. G, Gao. W, et al. Local Gabor Binary

Pattern Histogram Sequence (LGBPHS): A Novel

Non-Statistical Model for Face Representation and Recognition

[C]. In: Proc. of IEEE Conf. on Computer Vision, 2005,

786-791.

[19] L iao. S. C, Zhu. X. X, Lei. Z, et al. Learning Multi-scale Block

Local Binary Patterns for Face Recognition [C]. In: Proc. of

IEEE Conf. on Biometrics, 2007, 828-837.

[20] B icego. M, Lagorio. A, Grosso. E, et al. On the use of SFIT

features for face authentication [C]. In: Proc. of IEEE Conf. on

Biometrics, in association with CVPR Biometrics, 2006, 35-35. [21] Mikolajczyk. K, Schmid. C. A performance evaluation of local

descriptors [J]. IEEE Transactions on Pattern Analysis and

Machine Intelligence, 2005, 27(10): 1615-1630.

[22] Y an. K, Sukthankar. R. PCA-SIFT: a more distinctive

representation for local image descriptors [C]. In: Proc. of IEEE Conf. on Computer Vision and Pattern Recognition, 2004,

506-535.

[23] Blanz. V, Vetter. T. Face recognition based on fitting a 3D

morphable model [J]. IEEE Transactions on Pattern Analysis

and Machine Intelligence, 2003, 27(10): 1063-1074.

[24] X u. C. H, Tan. T. N, Li. S, et al. Learning effective intrinsic

features to boost 3D-based face recognition [C]. In: Proc. of

European Conf. on Computer Vision, 2006, 416-427.

[25] Z hong. C, Sun. Z. N, Tan. T. N. Robust 3D face recognition

using learned visual codebook [C]. In: Proc. of IEEE Conf. on

Computer Vision and Pattern Recognition, 2007, 1-6.

[26] P hillips. P, Wechsler. H, Huang. J, et al. The FERET database

and evaluation procedure for face recognition algorithms [J].

Image and Vision Computing, 1998, 16(5): 295-306.