复杂背景下的彩色图像人脸检测

第40卷第5期　2006年5月上海交通大学学报J OU RNAL OF SHAN GHA I J IAO TON G UNIV ERSIT YVol.40No.5　May 2006　收稿日期:2005205222基金项目:上海市科委资助项目(03DZ14015)作者简介:李　冯(19822),男,硕士生,河南沁阳人,主要研究方向为人脸检测与跟踪.姚莉秀(联系人),副教授,电话(Tel.):021*********;E 2mail :lxyao @. 文章编号:100622467(2006)0520778205复杂背景下的彩色图像人脸检测李　冯,　姚莉秀,　杨　杰,　戈新良(上海交通大学图像处理与模式识别研究所,上海200240)摘　要:提出了一种复杂背景下使用肤色模型检测人脸的方法.该方法首先对图像进行光照补偿,然后对肤色模型处理后的二值图像进行分割与合并,并结合先验知识提取出人脸候选区域,最后验证人脸轮廓、眼睛和嘴等特征来判断人脸候选区域是否包含人脸.对1010幅变光照和复杂背景情况下拍摄的彩色人脸图像进行验证,其检测率达到89.7%.关键词:人脸检测;特征提取;区域分割合并;光照补偿;肤色模型中图分类号:TP391.41 文献标识码:AThe Face Detection in Color Images with Complex EnvironmentsL I Fen g ,　YA O L i 2x i u ,　YA N G J ie ,　GE X i n 2li ang(Inst.of Image Processing &Pattern Recognition ,Shanghai Jiaotong Univ.,Shanghai 200240,China )Abstract :This paper presented a new algorit hm for face detection in complex environment f rom images.The algorit hm works by first doing lighting compensation on inp ut image ,t hen it segment s and combines skin regions obtained t hrough applying skin model ,and ext ract s face candidates wit h t he aid of heuristic information.Finally ,it evaluates t he existence of facial feat ures ,such as face boundary ,eyes and mout h ,in t ho se face candidates.The detection rate has achieved 89.7%when t he algorit hm is employed to detect 1010color face images containing face rotations wit h complex environment and lighting variances.Key words :face detection ;feat ure ext raction ;region segmentation and combination ;lighting compensa 2tion ;skin color 2based model 人脸检测不仅是自动人脸识别系统的第一步,而且也在监控系统、人机接口、图像检索中有重要的应用.近些年提出的人脸检测算法大致可以分为4类[1]:①基于知识的方法,这类算法只对简单背景下的正面人脸检测有较好的效果;②模板匹配方法,该类算法不能有效地处理人脸尺度、姿态和形状等方面的变化;③基于外观形状的方法,该类方法主要通过统计学习的方法进行人脸检测,Viola 等[2]提出的Adaboost 方法具有精度高、实时等优点,但误检率高、训练时间长,且只是对正面人脸比较有效;④基于特征的方法,这类方法主要使用人脸特征、肤色或纹理等信息,只在限定环境下才有效.本文提出了一种针对复杂背景,通过减轻光照等影响并使用肤色信息和人脸特征进行多侧面人脸检测的新算法.与Hsu 等[3]的特征验证算法不同的是,文中提出的算法先检测出人脸轮廓,然后只在人脸轮廓内验证眼睛和嘴部特征是否存在,从而节省了运算时间提高了检测速度;与Abdel 2Mottaleb等[4]的肤色区域分割与合并算法不同的是,本文采用Canny 算子来迅速有效地进行区域分割,并提出有效的肤色区域合并算法;本文还对Hsu 等[3]所提出的光照补偿算法做了适当的改进.实验表明,该人脸检测算法对光照、尺度、姿态、旋转和表情等方面的变化具有较强的适应性和较高的检测率.1　人脸检测算法流程本文提出了一种从粗到精,逐步细化的人脸检测算法,该算法先使用整体特征(肤色、形状等)检测出人脸候选区域,然后使用局部特征(眼睛、嘴等)进行人脸特征的验证,从而检测出人脸.算法流程如图1所示.图1　人脸检测验证算法Fig.1　The flowchart of face detection2　人脸候选区域2.1　光照补偿在复杂环境中很难将肤色与非肤色区域分割开,这就需要进行光照补偿.通常要求所建立的肤色模型的取值范围应尽量宽,但这不利于后续检测过程.本文先对输入图像进行Gamma 矫正,再灰度拉伸,从而尽量压缩肤色模型的取值范围,达到了光照补偿的目的.由文献[5]可知,出于显示器的物理特性和人的感知特性,需要对图像进行Gamma 矫正,即new_pixel_value =old_pixel_value 1/C G(1)式中,C G 为Gamma 常数,取为2.22.本文采用的灰度拉伸思想是:把图像中黑色或接近于黑色的像素点都标定为黑色,即R GB 值为(0,0,0);类似地标定出白色像素点;然后将非黑色和非白色的像素点的R ,G,B 3个分量分别拉伸到(0,255)整个区间.像素点接近于白色的定义为:其在YC b C r 色彩空间中亮度分量Y 的值要在[225,235)内,即属于5%最大的数值;一个像素点接近于黑色的定义类似.光照补偿后的图像如图2(b )所示.与Hsu 等[3]光照补偿算法不同的是,此算法相当于同时定义了参考白和参考黑,因而光照补偿后的图像更有助于肤色区域的判别.实验表明,经过光照补偿后的图像进行肤色辨别比直接进行肤色辨别更有效(见图2(c )、(d )).图2　光照补偿与二值化Fig.2　Lighting compensation and binary images2.2　肤色颜色空间本文采用Hsu 等[3]提出的肤色模型,即(x -ecx )2a 2+(y -ecy )2b 2=1(2)x y =　cos θsinθ-sin θcos θC ′b -cx C ′r -cy(3)参数含义参见文献[3].主要思路是:在YC b C r 空间中,如果一个像素的C b 、C r 分量经过式(3)运算后落到如式(2)所表示的椭圆肤色模型内,就判定该像素点为肤色点.此外还要进行非线性变换来拉伸肤色模型.2.3　肤色区域分割图2(c )的肤色区域只是对YC b C r 空间的C b 和C r 分量进行处理,因此造成了人脸区域和周围部分非人脸区域连接在一起,这就需要进行肤色区域分割.Abdel 2Mottaleb 等[4]的对亮度方差图像进行迭代分割的算法通过不断降低方差阈值,从而将部分肤色点分类成非肤色点.由于使用迭代方法因而该方法计算量大且不是很有效.用Canny 算法检测边缘更有可能检测到真正的边缘而很少受噪声的影响,故本文采用Canny 算法,并把对输入图像亮度分量的分割结果叠加到图2(c )所示的肤色二值图像上.对叠加后图像进行形态学开运算,可以去除图像中很多孤立的像素点或很小的肤色区域,从而得到肤色区域分割图,如图3(a )所示.977　第5期李　冯,等:复杂背景下的彩色图像人脸检测 图3　启发式产生候选区域Fig.3　The procedure of generating face candidates2.4　肤色区域合并由于面部经常有遮挡物、经过2.3节的处理后面部肤色区域经常被分裂成若干个肤色区域,故有必要进行区域合并.本文提出的区域合并算法是计算任意2个区域之间的距离,如果该距离小于一个阈值,则将这2个区域合并.计算公式如下:D ij=D c,ij-R i-R j(4)R k=(R c,k+R e,k)/2,　k=i,jR c,k=(S k/π)1/2R e,k=[σ2kx+σ2ky+(σ2kx-σ2ky)2+4σ2kx y]/2式中:D c,ij为第i个和第j个区域重心之间的欧氏距离;R k为第k个区域的有效半径;S k为第k个肤色区域的面积;σ2kx,σ2kx,σkx y为第k个肤色区域的二阶中心矩;R e,k为肤色区域协方差矩阵较大的特征根.经区域合并后的图像如图3(b)所示,可见其中有很多非人脸区域,故需要采取措施去除这些区域.2.5　去除误检区域可以通过一些简单的形状特征和先验知识排除大部分2.4节得到的非人脸区域,从而形成人脸候选区域.本文使用的形状特征有:①包含肤色区域的矩形框面积;②包含肤色区域的矩形框长宽比;③肤色区域面积与矩形框面积之比;④矩形框中心与肤色区域重心之间的距离;⑤肤色区域中具有较高方差的像素个数与肤色区域面积之比(这是由于面部特征的存在,比如眼睛、眉毛等,人脸区域在YC b C r 空间Y分量上的方差较其他区域的要大一些[4]).去除误检区域后得到的图像如图3(c)所示.3　人脸验证算法3.1　检测人脸轮廓人脸检测过程中人脸的轮廓、眼睛和嘴是最明显的3个特征,因此可以使用这些信息来排除大部分候选区域,从而定位出真正的人脸.图4(b)所示的肤色二值图像是在图3(c)的基础上提取一个完整的肤色连通区域,其对应的亮度图像为图4(a).由第2节知,图4(b)是综合应用图像的色彩和亮度信息得到的,恰当处理后就可以找出人脸边缘轮廓.图4　人脸验证流程Fig.4　The procedure of face validation 本文提出以下算法来获得人脸的轮廓信息. 先对图4(b)进行形态学闭运算,然后对图4(c)使用Suzuki等[6]的边缘轮廓算法提取区域最外层边缘,进行凸凹性检测,并条件填充凹进去的区域.本文定义条件填充为:(1)被最外围轮廓包围的空洞应该被填充;(2)凹进去区域的深度与区域的宽度之比要大于一定阈值.填充后的图像如图4(d)所示.其肤色区域在内部是连续的,结合人脸是椭圆的先验信息,可以使用椭圆的结构元素来探测连通区域的形状.结构元素半径定义为:R min=18min(w,h)R max=12(R c1+R e1)(5)R c1=Sπ1/2R e1=12[σ2x+σ2y-(σ2x-σ2y)2+4σ2xy]式中:w,h对应于包含肤色区域矩形框的宽与长;S 为肤色区域面积;R e1为肤色区域协方差矩阵小的特征根.可使用从大到小的结构元素来检测人脸轮廓,算法如下:087上　海　交　通　大　学　学　报第40卷　(1)使用半径为R i 的结构元素对填充后的二值图像I i 进行腐蚀操作,得图像T i ;(2)如果图像T i 为空,则表示完成并退出;(3)否则,对图像T i 进行膨胀操作得图像I ′i ,保存结果I ′i ;(4)降低结构元素的半径为R i +1,并作图像I i与I ′i 的差为图像I i +1;(5)如果R i +1>R min ,则跳到(1)继续运算,否则运算结束并退出.经该算法处理后可以得到若干个大小不一且不相互包含的椭圆区域,即人脸的轮廓,如图4(e )所示.可以发现定位出的人脸矩形比整个肤色区域的矩形要小很多,因而更精确.3.2　检测眼睛与嘴在图4(e )所示的人脸轮廓内如果可以找到眼睛和嘴,就认定该人脸轮廓内存在一个人脸.这里使用Gargesha 等[7]提出的眼图(eye map )和嘴图算法来判断是否包含眼睛和嘴部特征.并使用“塔式下采样”降低一定维数从而找出主导特征点,然后再进行“塔式上采样”并结合阈值处理,找出眼睛和嘴部特征点,如图4(f )、(g )所示.结合图4(e ),可以得出特征验证结果,如图4(h )所示,整幅图像的人脸检测结果如图3(d )所示.由图4(h )可见,眼睛和嘴等人脸特征定位并不是很精确,但这并不影响人脸检测的结果.本文采用对所有特征赋权值的方法,挑出权值最大的一组眼睛和嘴特征来构成该人脸轮廓内的面部特征.假设同一个人脸轮廓内有i =1,2,…,m 个眼睛特征,j =1,2,…,n 个嘴部特征,则:(1)根据图5(a )计算每个特征对应的权W s =exp -(R -2σ)28σ2(6)式中:R 为图5(b )中点P e 与P c 之间的欧氏距离,点P c 为矩形的中心,点P e 为特征点;σ为点P c 与点P b 之间欧氏距离的1/4,点P b 为点P c 与点P e 之间线段延长线与矩形边框的交点.(2)j =1.(3)根据下式计算每2个眼睛特征点P i 1、P i 2与第j 个嘴特征点P j 组合时的权值 W t =W s ,P i1W s ,P i 2W s ,P j ×1-|D e ,P i 1P j -D e ,P i 2P j |max (D e ,P i 1P j ,D e ,P i 2P j )(7)式中:W s ,P i 1,W s ,P i 2,W s ,P j 分别为点P i 1、P i 2、P j 的Ws 权值;D e ,P i 1P j ,D e ,P i 2P j 分别为点P i 1、P i 2与点P j 之间的欧式距离.(4)如果j ≤n ,则转到(3).(5)找出在所有眼睛和嘴特征点组合中权值最大的一组,保存并退出.图5　计算W sFig.5　Calculating W s4　实验结果目前大多数用于人脸检测的数据库(如CMU人脸库)都只包含灰度图像,因此,本文创建了一个具有变光照和复杂背景的彩色人脸数据库(图片分辨率为800×640).该数据库中包含大量旋转角度较大的人脸图片,也包含尺度、姿态和表情变化.实验在IntelXeon TM 2.8GHz 的PC 机上进行,人脸总数为1015,检测率达到89.75%,误检人脸46个,每幅平均耗时200ms.这表明该人脸检测算法具有快速、有效、鲁棒性强等特点.由图6可见,该人脸检测算法可以检测出同一幅图片中不同尺度下的多个人脸,对光照的变化不很敏感,并能精确地定位出人脸位置,同时也能检测出偏转角度较大的人脸.但是由于数据库中包含大量旋转角度较大的人脸图片,并且有些人脸面部特征并不是完全可见,因此也产生了一些误检情况.图6　检测结果图Fig.6　The detection results187　第5期李　冯,等:复杂背景下的彩色图像人脸检测 5　结　语本文提出了一种在复杂背景下使用肤色模型检测人脸的方法.与传统的基于肤色模型的检测算法相比,本文提出的面部特征提取与验证算法具有速度快、检测率高等特点.提出了有效的区域分割与合并算法,并对已有的光照补偿算法做了改进.实验表明,该人脸检测算法对光照、尺度、姿态、旋转和表情等方面的变化具有较强的鲁棒性,对1010幅变光照和复杂背景情况下拍摄的彩色人脸图像进行验证,其检测率达到89.7%.参考文献:[1]　Yang Ming2Hsuan,Kriegman D,Narendra A.Detec2ting faces in images:A survey[J].IEEE T rans on P at2 tern Analysis and Machine I ntelligence,2002,4(1):34-58.[2]　Viola P,Michael J.Rapid object detection using aboosted cascade of simple features[C]//Proc ConfComputer Vision and P attern R ecognition.Kauai,HI, USA:IEEE,2001:511-518.[3]　Hsu Rein2Lien,Mohamed,Jain Anil K.Face detec2tion in color images[J].IEEE T rans on P attern Analy2 sis and Machine I ntelligence,2002,24(5):696-706. [4]　Abdel2Mottaleb M,Elgammal A.Face detection incomplex environments f rom color images[C]//ProcIEEE I nt’l Conf Im age Processing.K obe,Japan:IEEE,1999:622-626.[5]　Charles P.A technical introduction to digital video[M].[s.l.]:John Wiley&Sons,1996.[6]　Suzuki S,Abe K.Topological structural analysis ofdigital binary images by border following[J].Comput2 er Vision,G,and Im age Processing(CVGIP), 1985,30(1):32-46.[7]　G argesha M,Panchanathan S.A hybrid technique forfacial feature point detection[C]//Fifth IEEE Proc Southw est Symposium on Im age Analysis and I nterpreta2 tion.Santa Fe,New Mexico:IEEE,2002:134-138. (上接第774页)[5]　Morris A,Kasper G,Adams D.The effects and limi2tations of automated text condensing on reading com2 prehension performance[J].I nform ation Systems R e2 search,1992,3(1):17-35.[6]　G oldstein J,Kantrowitz M,Mittal V,et al.Summa2rizing text documents:Sentence selection and evalua2 tion metrics[C]//Proceedings of the22nd Annu al I n2 ternational ACM SIGIR Conference on R esearch and De2 velopment in I nform ation R etrieval.Berkeley,CA:ACM,1999:121-128.[7]　王建会,胡运发,李荣陆.自适应确定摘要长度[J].计算机研究与发展,2004,41(3):399-406. WAN G Jian2hui,HU Yun2fa,L I Rong2lu.Determi2 ning the Length of Textual Summarization Adaptively [J].Journal of Computer R esearch and Development,2004,41(3):399-406.[8]　Jing H,Barzily R,Mc Keown K,et al.Summarizationevaluation methods experiments and analysis[C]//AAAI Intelligent T ext Summarization Workshop.Stan2 ford,CA:AAA I,1998:60-68. (上接第777页)[3]　Cho J H,Shivakumar N,Garcia2Molina H.Findingreplicated web collections[C]//Proceedings of the ACMI nternational Conference on Management of the Data.USA:ACM Press,2000,29(2):355-366.[4]　Shivakumar N,G arcia2Molilna H.Finding near2repli2cas of documents on the Web[C]//Proceedings ofWorkshop on Web Datab ases.Spain:Springer Press, 1998:204-212.[5]　Cho J H,G arcia2Molina H.Parallel crawlers[C]//Proceedings of the11th ACM International Conference on World Wide Web.Hawaii:ACM Press,2002:124-135.[6]　Bharat K,Broder A Z.Mirror,mirror,on the Web:A study of host pairs with replicated content[J].Com2puter N etw orks,1999.31(11216):1579-1590.[7]　Nam G W,Park J H,K im T Y.Dynamic managementof U RL based on object2oriented paradigm[C]//Pro2 ceedings of the I nternational Conference on P arallel and Distributed Systems.Taiwan,China:IEEE ComputerSociety Press,1998:226-230.[8]　李晓明,凤旺森.两种对URL的散列效果很好的函数[J].软件学报,2004,15(2):179-184.L I Xiao2ming,FEN G Wang2sen.Two effective f unc2 tions on hashing U RL[J].Journal of Softw are,2004, 15(2):179-184.287上　海　交　通　大　学　学　报第40卷　。