对表情鲁棒的面部轮廓线3维人脸识别

合集下载

基于轮廓线特征的三维人脸识别改进算法

基于轮廓线特征的三维人脸识别改进算法
第3 4卷 第 1 期 20 12年 1月




Vo 4 NO 1 L3 .
J OURNAL OF THE CHI NA RAI W AY OCI TY L Sபைடு நூலகம்E
J n a y 2 1 a ur 0 2
文 章 编 号 :1 0 —3 0 2 1 ) 10 3 ~ 5 0 18 6 ( 0 2 0 —0 40
摘 要 : 究 基 于 面部 轮 廓 曲线 特 征 的三 维 人 脸 识 别 。为 提 取 最 优 面 部 曲 线 特 征 , 出 一 种 基 于模 糊 聚 类 方 法 研 提
的 人 脸 曲 线 特 征 优选 算 法 。该 算 法 从 三 维 人 脸 深 度 图 中选 取 最 具 代 表 性 的 8条 轮 廓 曲 线 , 为 主 要 识 别 特 征 , 作 这 在 很 大 程 度 上 降 低 了 计算 复 杂 度 , 服 表 情 和 光 照 对 人 脸识 别 的 消极 影 响 , 时 它 用 最 少 的 轮 廓 线包 含 了 所需 要 克 同
M o i i d 3 Fa e Re o nii n Al o ihm s d d fe D c c g to g r t Ba e
o nt u r e Fe t r s n Co o r Cu v a u e
LIXioj a YANG n — n , RUAN u q , HAN in d a —u n , Ta g we Qi— i Ja — a
( .I si t f n omain S in e B in i t n ie s y B in 0 0 4 hn ; 1 n t u eo fr t ce c , e igJa o g Unv ri , e ig 1 0 4 ,C ia t I o j o t j

针对表情变化的三维人脸识别系统研究

针对表情变化的三维人脸识别系统研究

人脸几何特征定位 鼻尖 点 , 以该点为 中心切割 出有效 的面部区域 , 把各 种姿态 的人 脸统一矫 正到正 面姿态 ; 然后 以深 度图作 为
整体特征采用二维 主成 分分 析( 2 D P C A) 算法进行匹配 , 以面部 刚性 区域 作为局部 特征采 用改进 的迭代 最近点 ( I C P ) 算 法进行 匹配 ; 最后将所 提取的整体特征匹配结果和局部特征 匹配结果进行 融合 。在 C A S I A 3 D人脸 库上 的实验结果表 明 , 构 造的系统 识别率高于使用单一特征 的系统 , 且对表情变化有较好 的鲁棒性 。 关键词 : 人脸识 别 ; 局部特征 ; 整体特征 ; 特征 融合 ; 刚性 区域
第3 5卷 第 2期 表 学 报
C h i n e s e J o u ma l o f S c i e n t i f i c I n s t r u me n t
V0 1 . 3 5 No . 2
Fe b.2 01 4
f e r e n t p o s e s a r e t r a n s f o r me d t o t h e n o ma r l i z e d f r o n t p o s e .T h e n t h e d e p t h i ma g e a s g l o b a l f e a t u r e i s ma t c h e d u s i n g t h e 2D
t o t h e f a c i a l g e o m e t i r c f e a t u r e s , t h e e f f e c t i v e f a c i a l r e i g o n i s c u t a r o u n d t h e c e n t e r o f t h e t i p p o i n t , nd a t h e f a c e s w i t h d i f -

如何提高人脸识别系统的准确率与鲁棒性

如何提高人脸识别系统的准确率与鲁棒性

如何提高人脸识别系统的准确率与鲁棒性人脸识别技术在当今社会中得到了广泛的应用,它已经成为许多领域的重要工具,比如人脸解锁、人脸支付和人脸考勤等。

然而,人脸识别系统的准确率和鲁棒性仍然面临着挑战。

本文将介绍一些方法,可以帮助提高人脸识别系统的准确率和鲁棒性。

首先,数据质量是影响人脸识别准确率和鲁棒性的一个关键因素。

因此,收集高质量的训练和测试数据至关重要。

在收集训练数据时,需要尽量覆盖各种年龄、性别、肤色、表情和姿势等不同变化情况下的人脸图像。

同时,还应该采集具有不同光照条件和背景干扰的图像,以模拟实际应用环境。

此外,为了提高鲁棒性,需要收集大量的变形(如佩戴眼镜、口罩)或遮挡(如帽子、围巾)的人脸图像。

其次,特征提取是人脸识别系统的核心步骤。

传统的方法主要使用手工设计的特征来表示人脸图像,如局部二值模式(LBP)和主成分分析(PCA)。

然而,这些方法容易受到光照和姿势的影响,准确率和鲁棒性有限。

相比之下,深度学习方法基于深度神经网络,可以自动学习人脸图像中的高层抽象特征。

因此,使用深度学习方法可以提高人脸识别系统的准确率和鲁棒性。

在训练深度神经网络时,应该使用大规模的数据集,并进行合适的数据增强(如随机旋转、平移和缩放),以提高网络的泛化能力。

第三,人脸对齐是提高人脸识别准确率的重要步骤。

由于人脸在图像中的位置和尺度可能会有很大的变化,因此,必须将不同图像中的人脸进行对齐,以便于提取准确的特征。

常见的人脸对齐方法包括基于特征点的对齐和利用人脸关键点检测器自动对齐。

基于特征点的对齐需要先检测出图像中人脸的特征点坐标,然后通过线性或非线性变换将所有人脸对齐到一个标准位置。

而利用人脸关键点检测器可以直接检测出人脸的关键点,然后根据关键点的位置进行对齐。

人脸对齐有助于减小人脸图像的差异,提高人脸识别系统的准确度。

此外,模型融合技术也可以帮助提高人脸识别系统的准确率和鲁棒性。

模型融合可以通过集成多个不同的人脸识别模型,来取得更好的识别结果。

三维人脸建模中面部特征点的提取

三维人脸建模中面部特征点的提取

维 图像 中的人脸特征 点对精确及 高效 地进行 三维 人脸 建模是 至关重要 的.
睛 、 子 、 巴等器 官在整 个面部 中的相对位 置是 鼻 嘴
稳定 的. 人脸 的基 本 形状 及 五官 之 间的 位置 存 在 着“ 三庭 五 眼 ” 的规 律. 竖 直方 向上 , 际 到 眉 在 发
过程 中非常 重要 的步 骤 , 准确 以及快 速 地提 取 二
2 人 脸 结 构
虽 然每个 人 的人脸都 不一样 , 人脸 都具 有 但

定 的共性 . 在人 脸正面 图像上 , 的脸部 轮廓可 人
近似地 看作椭 圆 , 双眼在椭 圆的水平对 称轴 上 , 眉 心 、 尖 和下 巴尖点 位 于竖 直对 称轴 上 , 毛 、 鼻 眉 眼
分别 到双 耳 的距 离都 相 等 , 为一 眼宽 , 均 这样 , 加
建模过 程相 对简单 , 而且 真实感 效果好 , 并且 数据
的获取 也 非 常方 便. 因此 , 方法 的应用 广 泛 , 该 在
上 两个 眼睛 自身 的宽度 , 为“ 称 五眼 ” .
基 于这种 规律 , 们可 以很方 便 的快 速 的 确 我
中 , 义 了 F P( a i e nt n P rm t s 人 定 D F c lD f io aa ee , a i i r 脸 定 义 参 数 ) F P( ai nm t n P r . 和 A F c lA i a o aa a i me
同人 脸 图像 上标 注对应 的人 脸特征 点 , 如眼角 、 嘴
通过视 觉方 法建立三维 人脸模 型 的一 般过 程
如下 : 先通过摄 像 设 备获 取不 同视 点 的特 定 人 首
脸 图像 , 并建立 一个一般三 维人脸 网格模 型 ; 后 然

人脸识别门禁系统的技术要求

人脸识别门禁系统的技术要求

人脸识别门禁系统的技术要求人脸识别门禁系统是一种先进的身份验证技术,通过分析和识别人脸的生物特征来判断是否允许进入特定区域。

它已经成为许多公共场所、企事业单位和住宅小区等地方安全管理的重要工具。

为了确保人脸识别门禁系统的稳定运行和高效性能,以下是该系统的技术要求:1. 识别准确率:人脸识别门禁系统的首要目标是准确识别人脸。

要求系统在正常光线条件下能够高达99%的准确率,即能够正确识别出已经注册的人员,且对未注册人员能够做出准确的拒绝判断。

2. 识别速度:门禁系统通常需要在短时间内完成对人脸的识别判断,要求系统能够在1秒内完成识别过程,并及时响应门禁设备的开关指令。

3. 鲁棒性:人脸识别门禁系统需要具备较强的适应性,能够在不同光线、角度、表情和面部遮挡的情况下仍然能够准确识别人脸,确保系统的稳定性和可靠性。

4. 安全性:人脸识别门禁系统涉及到用户的个人隐私和机密数据,要求系统具备严格的数据保护措施,确保用户的信息不被泄露或滥用。

5. 异常处理功能:系统应能够识别和处理异常情况,例如对于无法识别的人脸、欺骗性的人脸,系统应给予警示或拒绝开门。

6. 多样化应用:人脸识别门禁系统经常需要适应不同环境和场景,要求系统具备多样化的应用能力,例如可以适应室内、室外、日间、夜间等不同环境。

7. 高并发处理:门禁系统往往需要处理大量的并发请求,特别是在高峰时段,要求系统具备高并发处理能力,确保在繁忙的场所能够正常运作。

8. 可扩展性:门禁系统通常需要能够添加、删除和修改用户信息,要求系统具备方便的用户管理界面和功能,能够快速地对人员信息进行修改和更新。

9. 容错性:门禁系统关乎到安全性,任何系统的故障可能导致严重的后果,因此要求系统具备高度的容错性,能够快速检测和处理系统异常,及时恢复正常运行。

10. 兼容性:门禁系统可能需要与其他安全系统和设备进行协作,例如与视频监控系统、报警系统等集成,要求系统具备良好的兼容性和互操作性。

人脸识别算法的鲁棒性评估研究

人脸识别算法的鲁棒性评估研究

人脸识别算法的鲁棒性评估研究人脸识别算法是当前计算机视觉领域中的一个重要研究方向。

随着人脸识别技术的快速发展和广泛应用,对于其鲁棒性的评估也变得越来越重要。

在实际应用中,人脸识别系统可能会面临多种干扰,如光照变化、佩戴眼镜或面具、年龄变化等。

因此,研究人脸识别算法的鲁棒性成为了一个迫切的问题。

鲁棒性评估是指在人脸识别算法中考虑不同干扰条件下性能的评估。

鲁棒性的评估可以帮助我们了解算法的稳定性和可靠性,并为算法的优化提供指导。

下面将介绍几种常见的评估方法。

首先,光照变化是人脸识别算法中常见的干扰因素之一。

光照的变化可能导致人脸的亮度、对比度和颜色分布等发生变化,进而影响识别的准确性。

因此,对于光照鲁棒性的评估至关重要。

一种常见的评估方法是使用标准化的人脸图像库,其中包含不同光照条件下的人脸图像。

通过测量算法在不同光照条件下的准确率,可以评估其对光照变化的鲁棒性。

其次,佩戴眼镜或面具也是人脸识别算法需要面对的干扰因素之一。

佩戴眼镜或面具可能改变人脸的形状和纹理信息,从而影响算法的准确性。

为了评估算法在佩戴眼镜或面具情况下的鲁棒性,可以使用包含佩戴眼镜或面具的人脸图像库进行实验。

通过对不同佩戴情况下的图像进行识别,可以评估算法的性能。

此外,年龄变化也是人脸识别算法鲁棒性评估的重要内容之一。

人脸的外貌会随着年龄的增长而发生变化,这可能导致算法在不同年龄段的人脸识别过程中出现问题。

为了评估算法对年龄变化的鲁棒性,可以采用跨年龄的人脸图像库进行实验。

通过将训练集和测试集划分为不同年龄段,然后进行跨年龄的人脸识别实验,可以评估算法的性能。

除了以上几种干扰因素,还有其他一些常见的鲁棒性评估方法可以应用于人脸识别算法的研究,如姿态变化、表情变化等。

这些评估方法都旨在通过模拟实际应用场景中可能出现的各种干扰来评估算法的鲁棒性。

总结来说,人脸识别算法的鲁棒性评估研究对于提升算法的性能和实际应用具有重要意义。

通过评估人脸识别算法在不同干扰条件下的表现,可以发现其不足之处,并为算法的进一步改进提供依据。

基于人脸侧影线角点检测的鼻尖点定位方法

基于人脸侧影线角点检测的鼻尖点定位方法潘腊青;徐海黎;韦勇;沈标【摘要】为实现人脸表情及姿态变化下,鼻尖点的快速准确定位,提出一种基于人脸侧影线角点检测的鼻尖点定位方法.首先利用柱状人头模型,进行人脸姿态粗矫正;然后通过旋转投影法提取人脸的侧影轮廓线,并基于B样条尺度空间检测侧影线角点,根据角点位置定位鼻尖点候选区域;最后根据鼻尖点的形状特征及凸出特性准确定位鼻尖点位置.在CASIA 3D和BOSPHORUS三维人脸数据库的实验结果表明,该方法对表情和姿态鲁棒性较好,且定位精度优于基于先验信息和基于统计模板的方法.%A nose tip detection method based on the corner detection of face silhouette is proposed, in order to realize the rapid and accurate location of the nose tip when the face has an expression and attitude changes. Firstly, the cylinder head model is used to correct the face attitude roughly. Then, the rotation projection method is applied to extract the profile signatures, and the candidate nose tip regions are located according to the corner of face silhouette on B-spline scale space. Finally, the position of the nose point is accurately positioned according to the shape feature and the protruding characteristic of the nose point. The results of the experiment on CAISA 3D and BOSPHORUS demonstrate that the proposed method has great robustness to expression and attitude, and the positioning accuracy is superior to the methods based on the prior information and the statistical template.【期刊名称】《计算机工程与应用》【年(卷),期】2018(054)013【总页数】6页(P191-195,245)【关键词】特征提取;人脸识别;角点检测;曲线拟合【作者】潘腊青;徐海黎;韦勇;沈标【作者单位】南通大学机械工程学院,江苏南通 226019;南通大学机械工程学院,江苏南通 226019;南通大学机械工程学院,江苏南通 226019;南京蓝泰交通设施有限责任公司,南京 210019【正文语种】中文【中图分类】TP391.41 引言三维人脸特征点的提取是生物识别、机器视觉和人工智能技术的关键,是进行人脸检测、匹配、识别、表情及姿态分析的前提条件[1]。

如何解决人脸识别技术受光照和表情变化影响的问题

如何解决人脸识别技术受光照和表情变化影响的问题人脸识别技术在现代社会的各个领域都得到了广泛应用,从安全领域到金融领域,从社交娱乐到医疗健康,人脸识别技术的发展为我们提供了便利。

然而,人脸识别技术也存在一些问题,其中之一就是光照和表情变化对其准确性的影响。

在不同的光照环境下,照片或视频中的人脸可能会变得模糊或不清晰,而表情变化也会导致人脸特征的不一致。

因此,解决人脸识别技术受光照和表情变化影响的问题是当前亟需解决的难题。

为了解决人脸识别技术受光照影响的问题,一种常见的方法是使用多角度光源来提供均匀的光照。

通过在不同方向上设置多个光源,可以消除阴影和光照不均匀带来的问题。

这样可以确保在不同光照条件下获取的图像具有一致的亮度和对比度,从而提高识别的准确性。

此外,还可以使用光照补偿技术来调整图像的亮度和对比度。

通过分析图像中的亮度分布并进行补偿,可以消除光照变化带来的影响,提高人脸识别的效果。

针对人脸识别技术受表情变化影响的问题,一种常见的解决方法是建立具有鲁棒性的人脸特征模型。

传统方法主要关注特定的表情,如微笑或张嘴等。

然而,这种方法在实际应用中往往效果不佳,因为人脸表情变化的种类和程度是多样化的。

为了应对这一挑战,可以采用基于深度学习技术的方法。

深度学习模型可以通过学习大量的数据来建立对各种表情变化具有鲁棒性的特征表示。

这种方法通常需要大量的标注数据来进行训练,但可以取得比传统方法更好的效果。

除了以上提到的方法,还可以结合人脸识别技术和其他辅助信息来提高准确性。

比如,可以利用红外照相机来获取人脸的热像图,以克服光照变化的影响;可以利用声纹识别技术来辅助人脸识别,提供更全面的识别能力;还可以使用立体摄像头来获取人脸的深度信息,从而对表情变化进行更精确的分析。

综上所述,解决人脸识别技术受光照和表情变化影响的问题需要综合运用多种技术手段。

通过使用多角度光源和光照补偿技术,可以消除光照变化的影响;通过建立鲁棒性的人脸特征模型,可以应对表情变化的挑战;同时,结合其他辅助信息和技术,可以进一步提高人脸识别的准确性和稳定性。

基于几何特征与深度数据的三维人脸识别

基于几何特征与深度数据的三维人脸识别摘要:提出一种基于三维点云数据多特征融合的人脸识别方法。

利用深度信息提取人脸中分轮廓线和鼻尖横切轮廓线;采用曲率分析的方法定位出人脸关键点,针对鼻子等人脸刚性区域,选取并计算了4类(包括曲率、距离、体积和角度)共13维的特征向量作为三维几何特征。

深度图特征采用结合lbp与fisherface的方法进行提取与识别。

在3dface-xmu和zju-3dfed数据库上比较了该方法与pca、lbp等单一方法的识别性能,识别效果有比较明显的提升。

关键词:三维人脸识别;几何特征;深度图像;lbp算子;fisherface中图分类号:tp391 文献标识码:a 文章编号:1009-3044(2013)08-1864-051 概述基于二维图像的人脸识别算法经过半个多世纪的发展,已经取得了一定的研究成果。

随着lbp[1]和gabor[2]等算子的引入,以及子空间方法在人脸识别上的应用,人脸识别进入高速发展的时期。

然而研究表明[3],受限于所采用的数据形式,二维人脸识别方法不可避免的受到环境(如光照,背景等)和人脸本身(如姿态,表情等)等因素的影响。

因此本课题组赖海滨[4]、刘丹华[5]通过双目立体视觉技术获得了具有良好表征能力的人脸三维点云数据。

该文在此基础上研究了基于点云的三维人脸识别技术。

分别研究了基于几何特征以及基于深度图的三维人脸识别。

该文计算几何特征主要选取人脸的中分轮廓线、鼻尖横切轮廓线作为研究对象。

人脸的中分轮廓线上包括了前额、鼻子、嘴巴和下巴的缩影,呈现出了人脸中最突出的各个器官的轮廓。

鼻尖横切轮廓线上包含了鼻翼点和鼻尖点的信息,能够有效地表达鼻子宽度、鼻尖鼻翼所成角度等信息。

该文在人脸中分轮廓线和鼻尖横切轮廓线上定位了十三个特征点并根据这些特征点之间的关系计算出几何特征。

该文采用lbp算子提取人脸深度图的纹理特征。

利用分块的思想,将人脸均匀分成不同的区块,提取每个区块各自的lbp直方图特征,所有区块的直方图拼接以后得到空间增强直方图。

BJUT_3D三维人脸数据库及其处理技术

计算机研究与发展ISSN 100021239ΠCN 1121777ΠTPJournal of Computer Research and Development 46(6):100921018,2009 收稿日期:2008-06-25;修回日期:2008-11-25 通讯作者:孙艳丰(yf sun @ ) 基金项目:国家自然科学基金项目(60533030,60825203);北京市自然科学基金项目(4061001);国家科技支撑计划基金项目(2007BA H13B01)BJUT 23D 三维人脸数据库及其处理技术尹宝才 孙艳丰 王成章 盖 赟(北京工业大学计算机学院多媒体与智能软件技术北京市重点实验室 北京 100124)(yinbc @ )BJ UT 23D Large Scale 3D F ace Database and Information ProcessingYin Baocai ,Sun Yanfeng ,Wang Chengzhang ,and Ge Yun(B ei j ing M unici pal Key L aboratory of M ultimedia and I ntelli gent S of tw are Technolog y College of Com p uter S cience and Technology ,B ei j ing Universit y of Technolog y ,B ei j ing 100124)Abstract 3D face recognition has become one of t he most active research topics in face recognition due to it s robust ness in t he variation on po se and illumination.3D database is t he basis of t his work.Design and ruction of t he face database mainly include acquisition of prototypical 3D face data ,p reprocessing and standardizing of t he data and t he st ruct ure design.Currently ,BJ U T 23D database is t he largest Chinese 3D face database in t he world.It contains 1200Chinese 3D face images and p rovides bot h t he text ure and shape information of human faces.This data resource plays an important role in 3D face recognition and face model.In t his paper ,t he data description ,data collection schema and t he po st 2p rocessing met hods are provided to help using t he data and f ut ure extension.A 3D face data dense correspondence met hod is int roduced.Dense correspondence means t hat t he key facials point s are caref ully labeled and aligned among different faces ,which can be used for a broad range of face analysis tasks.As an applicatio n ,a pose estimation and face recognition algorit hm acro ss different po ses is p ropo sed.Eexp remental result s show t hat t he propo sed algorit hm has a good performance.K ey w ords 3D face database ;face recognition ;3D face model ;morp hable model ;mesh resampling摘 要 BJ U T 23D 是目前国际上最大的中国人的三维人脸数据库,其中包括经过预处理的1200名中国人的三维人脸数据,这一数据资源对于三维人脸识别与建模方面的研究有重要意义.首先介绍了BJ U T 23D 数据库的数据获取条件、数据形式,并针对数据库建立过程中数据预处理技术进行了讨论.最后作为数据库的直接应用,进行了多姿态人脸识别和人脸姿态估计算法的研究.实验结果证实,该算法具有良好的性能.关键词 三维人脸数据库;人脸识别;三维人脸模型;形变模型;网格重采样中图法分类号 TP391 经过40多年的发展,尤其是近10年的研究,人脸识别的理论和算法均取得了长足的进步,但这些理论和算法主要针对输入是二维人脸图像而开展的.理论和实验研究已经证实,二维图像中人脸姿态或成像时光照条件的变化对算法的识别性能有很大影响.而更实用的人脸识别算法应该是在摄像环境不可控、用户不配合的情况下使用.所以目前算法的缺陷大大限制了人脸识别技术在实际中的广泛应用.如何解决不同姿态、不同光照条件下的人脸识别问题是二维人脸识别研究的瓶颈,也是当前的研究热点.与二维人脸图像数据相比,三维人脸数据中包含人脸的空间信息,这是人脸本身固有的特征信息,对姿态、光照条件的变化具有鲁棒性.因此,近年来利用三维人脸数据进行人脸识别的途径已经引起人们的广泛关注,也出现了一些识别算法[1].与二维图像不同,三维人脸数据有多种不同的形式,如人脸的深度数据、曲面点的三维坐标及其点之间的连接关系、面部轮廓线数据等.针对不同形式人脸数据的识别算法也需要相同形式的数据资源.人脸数据库对人脸识别算法的研究与开发、模型训练、算法性能比较测试是不可缺少的数据资源,尤其在基于统计学习算法占主导地位的人脸识别领域,模型训练所采用的人脸库的规模、覆盖的人脸数据的变化很大程度上影响算法精度和鲁棒性;不同算法性能测试所用到的数据库的规模和属性同样决定了评测的合理性和测试结果的有效性.所以,随着三维人脸识别研究的不断深入,建立各种数据形式的三维人脸数据库,为同行提供模型训练数据资源、算法研究与比较的数据平台,具有重要的意义.经过长期的研究积累,我们研究小组采用Cyberware3030R G BΠPS激光扫描仪获取三维人脸原始数据,通过对齐算法构建了可进行线性计算的三维人脸数据库BJ U T23D[2],该库包含1200个中性表情的中国人的三维人脸样本数据,其中部分数据有多个样本.扫描后的数据是由点的纹理信息、三维坐标信息及其点之间的连接关系构成.该数据库目前可以为诸如人脸跟踪、识别、动画等研究人员提供很好的数据资源.本文先对三维人脸数据的采集环境、条件、数据形式进行了介绍,然后研究了数据库建立过程中的数据获取、数据处理、数据对齐等相关技术.这些技术为数据库的使用及其相关的研究工作会提供一些有益的帮助.1 相关的三维人脸数据库综述目前已经有一些包含三维信息的三维人脸数据库,按着数据库的构造方法可以将它们分为基于多视角几何信息的方法、基于结构光的方法和基于三维扫描仪的方法.CMU的FIA数据库是基于多视角几何信息的三维数据库[3],其中数据是用6个摄像机从3个不同角度获取20s的视频信息,然后用计算机视觉的方法恢复三维信息得到的人脸数据.由于没有对视频人脸进行标定,这类方法是用复杂的人脸跟踪算法重构人脸的形状信息,所以其效果受人脸跟踪效果的影响较大.3D2RAM是基于结构光的方法建立的三维人脸数据库[4],它用一个照相机和放映机获取人的3D坐标信息,建立一个含129人的3D人脸数据库.该库样本的坐标信息精度高,但对于面部的眼睛或阴影部分无法获取其3D信息,导致面部曲面形状不完全.由于三维扫描仪能够获取人脸部较精确的形状和纹理信息,因此成为建立三维人脸数据库非常好的工具.在GavabDB数据库中[5],使用Minolta V I2700数字转换器获取61个有表情变化的从不同视角扫描的人脸数据.由于有些视角具有不可见部分,为获取完整的三维人脸表面信息还需要进行适当的后处理.Cyberware扫描仪通过一次扫描可以获取人不同视角的完整数据,因此获取的数据准确性好,大大简化了后处理工作,用该设备建立的U SF三维人脸数据库[6]有200人的三维人脸数据,由于每个样本的形状和纹理信息维数很高,因此对于人脸数据处理与分析方面的研究,这样规模的数据还远远满足不了需要.2007年, Huang的研究小组利用Cyberware扫描仪建立了一个含有475人的三维人脸数据库[7],样本主要有中性和微笑两种表情,年龄分布在19~25岁之间,这一数据库可以缓解现有数据库规模小的缺陷,也为人脸识别、跟踪、对齐、动画等相关研究工作提供重要基础.2 BJUT23D数据库介绍BJ U T23D的三维人脸数据通过Cyberware 3030R G BΠPS激光扫描仪获取.扫描时,一条红色激光线从扫描仪里面发射出来,照射到头部Π脸部,经过激光线的反射,被仪器接收和计算.扫描时要求被扫描者端坐在旋转平台的一个高度适中的椅子上,并直视前方,以保证头部在扫描仪的中部.扫描期间需保持端坐不动和静止的脸部表情直至扫描结束.该扫描仪通过一次扫描得到人头部的几何信息和彩色纹理信息,并使用柱面坐标记录几何信息.扫描精度为圆周方向(用φ表示,0≤φ≤2π)489个采样点,轴方向(用h表示,0≤h≤300mm)478个采样点,扫描半径(用r表示)在260mm~340mm之间.每一0101计算机研究与发展 2009,46(6)个几何采样点对应一个24位(用R,G,B表示)纹理像素点,并以489×478大小的纹理图像存储.Fig.1 Cyberware laser scanner.图1 Cyberware激光扫描仪1)光照条件用激光扫描仪扫描人脸时可以同时获取人脸的三维几何信息和彩色纹理信息,人脸纹理的好坏直接影响到所创建人脸库的质量及应用价值,并给基于人脸库进行的人脸建模、人脸识别、人脸动画等方面的研究带来很大的影响.为了得到统一的、较为真实的纹理信息,我们的数据采集在同一个扫描间进行,并对光照条件做了一定的限制.扫描间是一个特定、封闭的环境,其四周设置4盏专用的照明灯,由前后左右4个方向指向被扫描对象,并保证扫描对象各个方向具有相同的光照强度.为了模拟正常的环境光,扫描间的4盏灯都是60W的白炽灯,同时设置扫描间的墙壁为通体白色,这样4盏灯相互照射后,从墙壁上返回的光形成了一个统一对环境光的模拟制式.由于镜面反射对模型的生成会产生较大的影响,所以要求光的强度在一定的范围内.所有扫描工作都在扫描间完成,这样既保证对环境光的光照条件近似模拟,也保证所有三维人脸数据的光照条件完全相同.2)饰物由于扫描仪对头发等深色部位的扫描效果比较差,而人脸研究仅对人的面部区域感兴趣,因此要求被扫描者佩戴泳帽并将头发全部包住.该泳帽一般应选择颜色较鲜明的色彩以便和面部区域分离,方便后期处理.此外还要求被扫描者不能化妆、不戴眼镜等任何饰物.3)数据规模及形式BJ U T23D三维人脸数据库共包括1200名中国人的三维人脸数据,其中500人的数据对外公开发布,男女各250人,年龄分布在16岁~49岁之间,所有人脸数据均是中性表情.部分人脸有3个样本,以便于人脸识别研究.三维扫描仪进行一次柱面扫描就是对人的头部表面进行高密度采样,采样信息包括空间几何信息和彩色纹理信息.空间几何信息由两部分组成,既空间三维采样点的坐标信息(用(X,Y,Z)表示,约2×105个点),和由网格描述的这些点之间的连接关系,网格组成的三角面片约有4×105个.彩色纹理信息是采样点柱面投影得到的二维图像,以普通图像格式存储,图像的长和宽由投影参数、扫描设备硬件与操作平台决定,本文得到的纹理分辨率为478×489,如图2(c)所示.为建立几何信息同纹理信息之间的联系,在几何信息中还存储几何采样点在纹理信息文件中对应纹理点的归一化坐标,归一化坐标表明本采样点在纹理信息文件中对应纹理点位置的索引信息,几何信息和纹理信息之间的关系就是通过该索引信息建立起来的.图2是扫描后的三维人脸及其对应的几何、纹理信息.Fig.2 3D prototytical face data.(a)Scanned3D face;(b) Shape data;and(c)Texture image.图2 三维原始人脸数据.(a)三维人脸;(b)几何数据;(c)纹理图像4)人脸数据的命名规则在数据库中,每个三维人脸数据由单一的文件组成,文件按照统一的规则进行命名.文件名有6部分信息,命名规则为性别+I D+年龄+表情+内容+发布情况.具体表示形式如下:x_xxxx_Ax_Ex_Cxxxx_Rx1 2 3 4 5 6每部分的具体含义为:1表示性别区域,由一个字母组成.“M”表示男性,“F”表示女性.2表示I D区域,由4个数字组成.表示该文件在数据库中的I D,当组成文件I D所需数字不足4位时剩余高位用0补齐.3表示年龄区域,由一个字母“A”和一位数字组成.A是年龄的英文Age的首字母.由于研究时1101尹宝才等:BJ U T23D三维人脸数据库及其处理技术关心的是人脸数据所处的年龄段,所以只记录每个人脸数据所属的年龄段,并用1位数字表示.每个年龄段的代表数字如表1所示:T able1 Correspondence of N otation and Age表1 年龄符号对应表Notation Age Range110-19220-29330-39440-494表示表情区域,由一个字母“E”和一位代表表情的字母组成.表情字母表示人脸数据具有的表情.每个表情代表字母的含义如表2所示.目前数据库中所有人脸都是中性表情.T able2 Correspondence of N otation and Expression表2 表情符号对应表Notation ExpressionN NormalH HappyP SurpriseA Angry5表示数据内容区域,由5位字母组成.C是Content的首字母,后面的4位字母“t rim”表示该数据经过预处理.6表示发布标记区域,由两位字母组成.首字母为R,第2个数字表示是否已经发布,其中“0”表示未发布,“1”表示已发布.目前发布的数据是无法直接读取的,用户需要使用我们提供的工具将原始数据转换成可读的文本形式.转换后的文本数据包含3个部分信息:顶点信息、纹理信息、网格信息.①顶点信息:顶点信息由密集采样点组成,三维人脸模型的顶点信息就是由这些采样点构成的.数据的表示形式为Vertex1:X=-87.616997,Y=-12.994000,Z=37.046001, Vertex1表示序号为1的顶点,X,Y,Z分别表示该点的3个坐标值.②纹理信息:纹理信息描述了每个顶点的对应的纹理值.数据表示形式为Text ure1:R=144,G=99,B=85,Text ure1表示顶点1的像素值,R,G,B分别表示点在3个颜色通道的值.③网格信息:网格信息描述顶点之间的连接关系.库中的数据使用三角网格来描述顶点之间的连接关系.数据的表示形式为Triangle1:Fi rst V ertex=36407,Second V ertex=36310,Thi r d V ertex=36392,Triangle1表示第1个三角网格,其后的3部分信息分别表示依附该三角网格的3个顶点的标号.3 建立BJUT23D的信息处理技术扫描后的数据还有许多信息缺失和不平滑的情况,另外肩部和头部的信息对于人脸识别及相关研究是无用的,它们的存在将会增加数据规模,为后续数据库的应用增加计算量,所以需要对扫描后的数据进行预处理.3.1 面部数据的分离和预处理扫描人脸时,由于光照条件的细微变化、人脸表面的不光滑性以及头发等复杂结构的影响,射在人脸表面的光线在返回时运动轨迹发生偏离,会使扫描后得到的三维人脸数据发生变形,出现一些毛刺和空洞等现象.在对耳朵、下巴等部位扫描采样时,捕捉不到的三维信息也会形成空洞,有些地方则因为局部表面不光滑会产生毛刺.对此,我们采用交互的方式,使用插值、平滑等预处理方法弥补三维人脸上的空洞并去掉毛刺.面部数据的分离是将人脸面部区域从整个头部扫描数据中分离出来,去除头发、肩等部位的三维数据.我们使用的方法[8]首先确定分离的边界.由于在三维人脸几何数据上直接进行边界关键点标定和边缘自动检测十分困难,所以借助人脸的纹理图像来进行不规则边界的确定,即在三维人脸对应的二维纹理图像上确定面部发际边界和耳朵部位的边界,然后通过纹理几何的对应关系,找到三维人脸几何数据相应的分割边界.对于耳下的垂直切面和脖子下的水平切面则直接在几何数据上确定,用来去除肩部以下和耳朵后面的数据.确定了人脸的分离边界后,即可将人脸的面部区域从原始扫描数据中分离出来.如图3所示为分离后的三维人脸,图3(a)是分离后的几何形状及其对应的纹理图像,图3(b)是分离后不同角度下的三维人脸面部图像.2101计算机研究与发展 2009,46(6)Fig.3 3D face data.(a )The cutted shape and texture for 3D face and (b )Frontal and side 3D face.图3 三维人脸数据.(a )分离后的三维人脸几何信息和纹理信息;(b )正面、侧面3D 人脸 为保证三维人脸数据的一致性,在数据获取时要求被扫描者保持指定的姿态和位置,既目视前方,头部保持垂直.但实际扫描得到的人脸样本的姿态不可避免地存在一定偏差,因此需要对不同的人脸数据进行坐标矫正,将不同的三维人脸数据统一到同一个坐标系.切割后的三维人脸数据接近一个柱面分布,所以用三维人脸数据的离散点集来拟合一个柱面,用柱面的中心轴作为三维人脸数据的新的垂直坐标轴(Z 轴),过鼻尖点且与新的垂直坐标轴垂直相交的直线作为新的前向坐标轴(Y 轴),新的X 坐标轴则由Y 轴和Z 轴的叉乘运算确定.通过坐标变换可以得到每个三维人脸在新的坐标系下的坐标值,经过坐标变换的所有三维人脸数据均变换到朝向、姿态相同的坐标系下.如图4是三维人脸的坐标矫正示意图,其中Z 是矫正后的垂直轴,Z 0是矫正前的垂直轴,X ,Y ,Z 是矫正后的坐标轴.Fig.4 Recorrected face by a cylinder.图4 人脸柱面矫正3.2 人脸数据的规格化由于人脸的个性化差异,扫描得到的人脸数据有很大差别.首先是构成三维人脸的点数和面数不同,这样的数据使基于形变模型的三维人脸重建无法进行,也不利于人脸的统一表示;其次是点或面的排列与人脸特征无关.因此建库时对预处理过的三维人脸数据进行了规格化,规格化后的数据既可以用统一的向量形式来表示,又保证所有的三维人脸数据特征对齐.规格化[9]的第1步是建立不同三维人脸数据间的稠密对应,既根据人脸面部特征建立不同的三维人脸数据间点到点的一一对应关系.例如,已知一个人脸上的鼻尖点可以根据对应关系找到另外一个人脸上的鼻尖点,如果以某一个人脸作为标准人脸,就可以将人脸数据根据标准人脸的点和面进行有序化.事实上,在三维数据上建立基于特征的点对点的稠密对应非常困难.首先不同人脸的个性差异导致三维人脸的几何差异很大,而且还要考虑纹理特征信息的对应;其次三维人脸数据是稠密点集,数据量很大,因此很难使用一般方法建立这种对应关系.文献[9]考虑到扫描人脸数据是以柱面的形式表示,将三维人脸展开为二维形式,借助在二维图像上光流对应计算的方法建立三维数据的对应.但光流算法的前提假设是两幅图像间光流的变化是连续光滑的,对于比较相像的两幅人脸可以近似地看做视频序列的相邻两帧图像,此时对应计算效果比较好.但对于形状差别较大的人脸数据,光流算法的前提假设不满足,对应计算将产生较大的误差.另外,这种将复杂三维几何进行柱面展开形成二维图像的方法实际上损失了很多三维信息,所以其对应计算的效果不是很好.为此,BJ U T 23D 数据库采用基于网格重采样的对齐方法.网格重采样是通过原始数据建立网格和曲面的常用方法,它摒弃了在二维图像上的处理方法,直接在三维空间进行,能够更多更精确地保留原数据的三维信息.利用重采样可以将不规则的多边形网格转化为规则的网格的特点,该方法将不同网格数和空间点数的原型人脸全部规格化为采样点数、网格数、拓扑完全一致的原形人脸,且重采样后的人脸同一相对位置的点都固定地代表了同一个面部特征,在此基础上能够直接进行不同人脸的点与点的线性组合,从特征的角度更具有线性组合的合3101尹宝才等:BJ U T 23D 三维人脸数据库及其处理技术理性.人脸对齐主要由人脸分片和网格重采样两个计算过程组成.1)人脸分片人脸分片将三维人脸分割成多个面片为网格重采样做准备.目前自动分片算法[10]的研究主要是针对纹理映射领域,虽然能够达到自动,但分片的形状不确定,无法保证所有人脸分出的同一片包含的人脸特征相同或相近.Krishnamurt hy 等人[11]提出的交互的人工分片方法,由用户选取一序列点,然后采用贪心图算法,在网格连线上寻找相邻点的最短路径,这些路径则形成分片的边界.该方法以网格的连接关系为基础进行分片操作,实现比较复杂.本文根据三维人脸数据包含三维几何与纹理两部分数据的特点,基于面部纹理图像手工交互标定特征点,然后以特征点的连线作为分片边界,划分特征区域,最后通过柱面映射找到三维人脸网格上的分割结点和分割线.考虑到重采样后网格要求比较均匀,所以采用面积比较接近的矩形进行分割.如图5所示是三维人脸分割的结果,一个人脸被分为122个面片.Fig.5 Divide the 3D face into patches.图5 三维人脸分片2)三维人脸网格重采样对于初始分片后的三维人脸通过网格重采样进行网格细分.重采样时首先要确定每个面片的4个角点.对于规格的矩形面片,直接使用其4个顶点作为角点;对分割后处于边界的不规格面片,利用最小内角法或长宽比法确定4个角点.为了能够进行均匀重采样,对所有矩形的边长度进行统计,然后进行等形线的均匀初始化,这样不仅使边界边的划分更均匀,还可以减少边界曲线提取的计算量.对等形线初始化后的网格进一步的细分,利用点的合力调整新获得弹性点的位置,从而获得了每一面片的均匀重采样网格.对每个面片重复以上重采样过程,直到重采样的密度与原始三维人脸数据的密度比较接近为止.如图6(c )是对人脸数据进行5次重采样的结果,约由13×104个点,25×104个三角面组成.详细的三维人脸重采样过程参见文献[8].Fig.6 Face mesh resampling.(a )The ioslines initialized ;(b )One time mesh resampling ;and (c )Five times mesh resampling.图6 人脸重采样.(a )初始化网格;(b )1次重采样的结果;(c )5次重采样结果经过上面的重采样处理,所有三维人脸具有相同数量的点和三角面片,且整个网格的拓扑结构完全相同,从而可以建立三维人脸数据间严格的一一对应,这样的对应可以将所有三维人脸表示为统一的表示形式.另外,由于这里的分片是基于特征的分片,因此重采样后点的对应也是基于特征的稠密对应.图7是分别基于网格重采样的方法和光流的方法进行人脸对齐的结果.从图中可以看出,基于网格重采样方法的对齐效果好于光流的算法.Fig.7 The correspondence based on mesh resampling and optical flow.(a )The correspondence based onmesh resampling and (b )The correspondence based on optical flow.图7 基于重采样算法和光流算法的对齐效果比较.(a )基于网格重采样方法的对齐结果;(b )基于光流方法的对齐结果4101计算机研究与发展 2009,46(6)4 BJUT 23D 的应用———多姿态人脸识别算法研究[12] 实用的人脸识别系统应该是在用户不配合的情况下使用,此时人的头部会以多种姿态的形式出现,所以进行人脸识别必须考虑头部姿态的变化,多姿态人脸识别也一直是人脸识别研究的难点.作为三维人脸数据库BJ U T 23D 的直接应用成果,我们小组进行了多姿态人脸识别研究,并借助于三维人脸形变模型[9]实现了对人脸的姿态估计.4.1 算法整体框架根据二维人脸库(gallery )中的人脸图像(每个人只需要一幅二维人脸图像),采用三维人脸形变模型重建其对应的三维人脸.在识别阶段采用该三维人脸模型估计二维测试图像中人脸的旋转角度,并以测试图像中人脸在3个方向上的旋转角度为基准,将人脸库(gallery )中重建的三维人脸旋转到相同视角的同一姿态.最后,采用相同姿态下人脸图像进行人脸对象的分类识别.算法的整体框架如图8所示:Fig.8 The f ramework for multipose face recognition.图8 算法整体框架4.2 三维人脸形变模型形变模型的基础是线性组合理论,即使用一类对象中若干典型样本张成该类对象的一个子空间,用子空间基底的组合近似地表示该类对象的特定实例.使用形变模型进行三维人脸建模分为两个过程:一是建立模型,包括原始人脸数据的获取、人脸数据的对应和建立组合模型;二是针对特定人脸图像进行二维人脸图像与模型的优化匹配,实现三维人脸的重建.建立形变模型使用的三维人脸数据源于BJ U T 23D 数据库,所有数据均经过前述的规格化处理,实现了三维人脸的点到点的对应.第i 个三维人脸数据用形状和纹理向量表示为S i =(X i 1,Y i 1,Z i 1,X i 2,…,X in ,X in ,X in ,)T,T i =(R i 1,G i 1,B i 1,R i 2,…,R in ,G in ,B in )T,1≤i ≤N ,(1)其中N 三维人脸的总数,n 是三维人脸顶点的个数.由于原型人脸数量比较大(N =200),且人脸数据间有一定相关性,因此使用主元分析方法(PCA )对人脸形状和纹理向量进行处理,压缩数据量,消除数据间的相关性,得到形变模型的表示形式:S model =S -+∑m-1i αi s i,T model =T -+∑m-1iβi t i,(2)其中S -,T -是原型三维人脸的平均形状和纹理向量,m 是主元个数,s =(s 1,s 2,…,s m -1),t =(t 1,t 2,…,t m -1)是形状和纹理的主元向量组,α=(α1,α2,…,αm -1),β=(β1,β2,…,βm -1)是模型的组合参数.4.3 模型匹配模型匹配就是将形变模型与输入二维人脸图像进行优化匹配,使模型人脸与输入人脸的匹配误差最小,得到模型的组合参数.本文用图像对应像素点的灰度差的平方和作为两图像的匹配误差,即E I =∑x ,y|I input (x ,y )-I mod el (x ,y )|2,(3)其中I input 是输入的人脸图像,I mod el 是三维模型人脸在某视点观察得到的人脸图像,可通过投影模型和5101尹宝才等:BJ U T 23D 三维人脸数据库及其处理技术。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

Abstract: Objective Given the nonintrusive nature and broad surveillance application of face recognition ,this technology has drawn considerable attention in the fields of pattern recognition and computer vision. However,expression variation is one of the main challenges in 3D face recognition because the geometric shape of a face changes drastically under expression variation. For instance,an open mouth can significantly change the topology of the facial surface ,which can degrade the performance of a 3D face recognition system. To handle facial expressions ,a novel 3D face recognition method based on facial profiles is proposed. Method First, the pose of a cropped face is automatically corrected on the basis of principal component analysis , and all facial scans are transformed into a uniform pose coordinate system. A set of vertical facial profiles in the upper half face region is then extracted to represent a 3D facial scan. Hence ,the shapes of two facial scans can be matched by fitting the shapes of the corresponding facial profiles. Open curve analysis algorithm is applied to calculate the geodesic distance between a pair of facial profiles extracted from different facial scans. The geodesic distance is used as a similarity measure. Finally ,two facial scans can be matched by using the weighted sum of all levels
对表情鲁棒的面部轮廓线 3 维人脸识别
1, 2 1, 2 1, 2 常朋朋 ,达飞鹏 ,梅俊 1. 东南大学自动化学院 ,南京 210096 ; 2. 东南大学复杂工程系统测量与控制教育部重点实验室,南京 210096

要: 目的
提出了一种基于面部轮廓线对表情 表情变化是 3 维人脸识别面临的主要问题 。为克服表情影响, 首先, 对人脸进行预处理, 包括人脸区域切割、 平滑处理和姿态归一化, 将所有
收稿日期: 2014-07-17 ; 修回日期: 2014-10-24 基金项目: 国家自然科学基金项目 ( 51175081 ) ; 教育部博士点基金项目( 20130092110027 ) 第一作者简介: 常朋朋( 1989 — ), 男, 东南大学自动化学院控制理论与控制工程在读硕士研究生, 主要研究方向为计算机视觉与 3 维人 mail: ppchangchn@ gmail. com 脸识别。EEmail: dafp@ seu. edu. cn 通信作者: 达飞鹏, 教授,
2 2 2 Chang Pengpeng1, ,Da Feipeng1, ,Mei Jun1,
1. School of Automation,Southeast University,Nanjing 210096 ,China; 2. Key Laboratory of Measurement and Control of Complex Systems of Engineering , MEducation,Nanjing 210096 ,China
通过从人脸的半刚性区域提取多条面部轮廓线来表征人脸 , 在一定程度上削弱了表情的影响 , 同时还提高了人脸 匹配速度。实验结果表明, 该方法具有较强的识别性能 , 并且对表情变化具有较好的鲁棒性 。 关键词: 3 维人脸识别; 表情变化; 面部轮廓线; 预形状空间; 测地距离
Expressionrobustness 3D face recognition based on facial profiles
0333
第 20 卷 / 第 3 期 /2015 年 3 月 常朋朋, 达飞鹏, 梅俊 / 对表情鲁棒的面部轮廓线 3 维人脸识别
of the corresponding geodesic distance. Result One of the large stavailable public domain 2D and 3D human face datasets is the Face Recognition Grand Challenge ( FRGC) v2. 0 ,which has been widely used in the literature. Two experiments are conducted using the FRGC v2. 0 dataset: recognition and expression robustness experiments. In the recognition experiment,the earliest neutral 3D facial scan of every individual is selected to create a gallery of 466 facial scans ,and the rest are used as probes. We test three dataset partition methods that are commonly used in existing 3D face recognition systems, which also use FRGC v2. 0 as the testing dataset ( i. e. ,nonneutral vs. neutral,all vs. neutral,and neutral vs. neutral) . The Rank1 recognition rates of our proposed approach in the cases of nonneutral vs. neutral ,all vs. neutral,and neutral vs. neutral are 95. 2% , 97. 1% ,and 98% ,respectively. In the expressionrobustness experiment, we consider the gallery in the recognition experiment, and 816 facial scans with an open mouth from the FRGC v2. 0 dataset are used as the testing set for face recognition. When the facial profiles are extracted from all the facial regions as features ,the Rank1 recognition rate is 82. 8% , whereas that of our proposed method is 93. 5% . Conclusion Achieving high accuracy in the presence of expression variation is one of the most challenging aspects of 3D face recognition. To address this problem , a 3D face recognition method based on facial profiles is proposed. A set of vertical facial profiles are then extracted to represent facial surface. Given that these facial profiles are extracted from the semirigid region of a face,our proposed approach weakens the adverse effects caused by facial expression ,especially large facial expression deformation,and consequently improves the efficiency of face matching. Experiments are performed using the FRGC v2. 0 dataset to demonstrate the effectiveness of our algorithm. Results confirm the expressionrobustness of the proposed method. Key words: 3D face recognition; expression variation; facial profiles; preshape space; geodesic distance
相关文档
最新文档