双目立体视觉的三维人脸重建方法

合集下载

双目视觉三维重建技术方法

双目视觉三维重建技术方法双目视觉三维重建技术可有趣啦。

双目视觉呢，就好比我们的两只眼睛看东西一样。

它主要是利用两个摄像机从不同的角度去拍摄同一个场景。

这两个摄像机的位置就像我们的两只眼睛，有一定的间距哦。

那它是怎么实现三维重建的呢？其中一个关键的部分就是特征提取。

就像是在一幅画里找到那些特别的标记点。

比如说在一幅风景图里，那些独特的石头轮廓、树的形状特别的部分，这些就可以被当作特征点。

从两个摄像机拍摄的图像里找到对应的特征点，这就像玩一个找相同但是又有点不同的游戏呢。

接下来就是计算视差啦。

视差这个词听起来有点高大上，其实简单理解就是因为两个摄像机位置不同，同一个特征点在两张图像里的位置有差异。

这个差异就包含着很重要的信息。

通过这个视差，我们就能大概知道这个特征点离我们有多远。

就好像我们的眼睛看东西，近的东西在两只眼睛里的位置差异大，远的东西位置差异小。

然后呢，根据这些视差信息和摄像机的一些参数，像是焦距啊之类的，就可以计算出这个点在三维空间里的坐标啦。

这就像是把平面的东西，一下子变得立体起来。

在实际应用里，双目视觉三维重建技术用处可大啦。

在机器人领域，机器人可以通过这个技术更好地感知周围的环境，就像给机器人装上了一双智能的眼睛。

它能知道前面有什么东西，是障碍物还是它要寻找的目标，还能知道这些东西离自己有多远，这样机器人就能更灵活地行动啦。

在虚拟现实和增强现实方面，也离不开它。

可以让虚拟的东西更好地和现实场景融合，让我们感觉那些虚拟的物体就像是真实存在于我们周围的环境里一样。

不过呢，双目视觉三维重建技术也有它的小烦恼。

比如说在光线不好的情况下，提取特征点就会变得困难，就像我们在黑暗里看东西看不太清那些特别的地方一样。

还有，如果两个摄像机的标定不准确，就像我们的两只眼睛看东西不协调了，那计算出来的三维信息可能就会有偏差呢。

但是随着技术的不断发展，这些小问题也在慢慢地被解决啦。

基于双目视觉的三维人脸重建方法

中图分类号：Ｔ３１４Ｐ９．
文献标志码：Ａ

文章编号：１０．６５２１）０９ — ４０１３９（０２叭一３７０
ｄｉ１．９９ｊｉｎ１０．６５２１．１１（ｏ：０３６／．ｓ．０１３９．０２０．１ｓ）
Ｒａｉｅ阈值排序和置信度排序进行区域生长，高了种子像素提取的可靠性和降低区域生长误匹配的可能ｅｈｍ提
性。最后，究了纹理映射技术，高了重建模型的逼真度。实验结果表明，方法能够产生逼真光滑的三维人研提该
脸模型。
关键词：三维人脸模型；双目视觉；像机标定；脸检测；立体匹配；区域生长摄人
第２９卷第１期
２１０２年１月
计算机应用研究
ＡＰｌｅｔｏｓａｃｆＣｏｕｅｓＦｉａｉｎＲｅｅｒｈｏｍｐｔｒ＿ｌ
Ｖｏ．９Ｎｏ１１２．
Ｊｎ０２ａ．２１
基于双目视觉的三维人脸重建方法
广泛应用。第二类方法是对第一类中ａ方法的改进，）只需要
０引言
将三维人脸模型用于人脸识别是计算机视觉域的一个员．
Ｇａｇｉ４０４，Ｃｉａｕｎｘ５１０ｈｎ）
Ａｂｔａｔｓｒｃ：Ｔｉａｅｒｐｓｄａｌｏｔｍｅｅａｅ３ａｅｍｏｅｕｉｇｂｎｃｌｒｖｓｏ．Ｉｅｔａｔｄｒｃｎｔｃｉｎｒ — ｈｓｐｐｒｐｏｏｅｎａｇｒｈｔｇｎｒｔＤｆｃｄｌｓｎｉｏｕａｉｎｔｘｒｃｅｅｏｓｒｔｅｉｏｉｕｏｇｏｒｍｅｒｃｉｅｍａｅｏｒｄｃｈｙｔｍ ’ ｏｓｍｉｇｉｎｆｏｔｅｔｉｄｉｇｓｔｅｕｅｔｅｓｓＩｓｃｎｕｎ．Ｂｅｉｅ．ｉｇｔｈｎｃｏｌｈｄｂｓｄｏｍｐｏｅｈｆ。ｓｓｍａｅｍａｃｉｇａｃｍｐｉｅａｅｎｉｒｖｄｄｓｒａｉｔｈｎｌｏｉｍ，ａｄａｒｇｏｒｗｉｇａｇｒｔｍｅｅｒａｔ－ｒｓｏｄａｄｒｌａｉｔｆｅｄｐｘｌｗｅｅｓｒｄｅｈｍｅｍａｃｉｇａｇｒｈｔｎｅｉｎｇｏｎｌｏｈｗｈｒｅｉｔｅｈｌｎｅｉｂｌｙｏｅｉｅｓｒｏｔｉｌｍｅｈｉｓｅｔｕｒｎｅｈｔｈｕｆｉｎｒｗｎｉｅｓｅｓｌｃｅｎｎｍｉｅｔｅｅｒｎｏｓｏｔｈｎｏｓｂｌｙｉａｌｏｇａａｔｅｔａｅｓｆｃｅｔｏｉｇｐｘｌｅｅｔｄａｄｍｉｉｚｈｒｏｅｕｆｔｉｇｂｍａｃｉｇｐｓｉｉｔ．Ｆｎｌｉｙ，ａｔｘｕｅｔｒｅｍａｐｎｔｏａｓｄｔｎａｃｈｉｅｉｆｔｅｒｃｎｔｃｉｎｍｏｅ．Ｅｘｅｍｅｔｌｒｓｌｓｏｓｔａｈｒｐｓｄｐｉｇｍｅｈｄｗｓｕｅｏｅｈｎｅｔｅｆｌｙｏｅｏｓｕｔｄ１ｄｔｈｒｏｐｒｎａｅｕｔｈｗｈｔｔｅｐｏｏｅｉｍｅｈｄｃｎｇｎｒｔｍｏｔｎｉｉＤｆｃｄ１ｔｏａｅｅａｅａｓｏｈａｄｖｖｄ３ａｅｍｏｅ．Ｋｅｒｓｙｗｏｄ：３ａｅｍｏｅ；ｂｎｃｌｒｖｓｏＤｆｃｄｌｉｏｕａｉｉｎ；ｃｍｅａｃｌｒｔｎ；ｆｃｅｅｔｎｔｒｏｍａｃｉｇｅｉｎｇｏｉｇａｒａｉａｉｂｏａｅｄｔｃｉ；ｓｅｔｈｎ；ｒｇｏｒｗｎｏｅ

基于双目被动立体视觉的三维人脸重构与识别

第35卷第2期自动化学报Vol.35,No.2 2009年2月ACTA AUTOMATICA SINICA February,2009基于双目被动立体视觉的三维人脸重构与识别周佳立1张树有1杨国平2摘要提出一种基于双目被动视觉的三维人脸识别方法,该方法采用非接触式的人脸信息采集技术,利用图像中弱特征检测方法实现双目视觉中的人脸检测与初步视差估计,运用基于复小波的相位相关技术对人脸表面进行亚像素级小区域匹配,重建人脸三维点云信息.通过可调训练次数的神经网络技术实现多层次人脸曲面重建,并结合人脸2D图像对重构曲面进行仿射归一,继而迭代地进行特征提取与识别过程.实验结果表明,双目视觉方法使人脸信息采集过程友好隐蔽;在对应点匹配中,运用复小波的相位相关算法可获得密集的亚像素精度配准点对,用神经网络方法可正确重建人脸曲面.识别过程对环境以及人脸位姿表情等鲁棒性强.该系统成本十分低廉,适合在许多领域推广应用.关键词双目视觉,三维人脸,重构,识别,神经网络中图分类号TP391A3D Face Reconstruction and Recognition Method Based onPassive Binocular Stereo VisionZHOU Jia-Li1ZHANG Shu-You1YANG Guo-Ping2Abstract In this paper,we present a3D face recognition method based on passive binocular stereo vision.We introduce non-contact face information-collecting technique and use weak feature-detection method on static image to achieve face disparity estimation.Furthermore,we employ phase-correlation in complex wavelet to perform sub-pixel small region matching on the surface of human face,and reconstruct3D point cloud information of human face.Neural network is applied to obtain multilevel face surface bining with2D image of human face,we aﬃne and normalize the reconstructed surfaces,carry out feature extraction and recognition.The experiment shows that this method is robust against surroundings,as well as the position and expression of human face.Moreover,it has high accuracy and quick recognition speed.Key words Binocular stereo vision,3D face,reconstruction,recognition,neural network人脸识别作为生物特征识别的一个重要方面,在安全验证、信用卡验证、身份识别、银行和海关的监控、档案管理、人机交互等领域具有广阔的应用前景.与指纹识别、虹膜识别、DNA识别等技术相比,人脸图像来源广泛,并且使用非接触式的采集方式,整个识别过程具有更加隐蔽、友好和便捷的特点,更易为用户所接受[1].然而,目前的人脸识别主要还是针对二维图像或二维动态视频序列进行研究.二维图像识别技术在其他领域已有很多的应用,但是由于人脸是个塑收稿日期2008-04-03收修改稿日期2008-08-24Received April3,2008;in revised form August24,2008国家自然科学基金(50775201),国家科技支撑计划(2006BAF01A45-09),浙江省科技支撑计划(2008C21084),浙江省自然科学基金(Z107416)资助Supported by National Natural Science Foundation of China (50775201),National Science&Technology Pillar Program (2006BAF01A45-09),Science&Technology Pillar Program of Zhejiang Province(2008C21084),and Natural Science Founda-tion of Zhejiang Province(Z107416)1.浙江大学CAD&CG国家重点实验室杭州3100272.浙江中医药大学信息技术学院杭州3100531.State Key Laboratory of CAD&CG,Zhejiang University, Hangzhou3100272.College of Information Technology,Zhe-jiang Chinese Medical University,Hangzhou310053DOI:10.3724/SP.J.1004.2009.00123变体,使得通过二维图像识别技术对人脸识别存在困难.另外,基于二维图像的人脸识别,不可避免受到环境光线、背景、视角等和人脸的姿态、表情、遮挡等不利影响,因而其识别精度很难有进一步的提高[2].为了克服基于二维图像人脸识别技术的不足,有研究者已经开始对三维人脸识别技术进行研究.其中,Bronstein提出了一个3D人脸识别方法[3],该方法允许与面部表情有关的变形,把3D人脸数据转换成“特征形式”,使它成为模型的形状变化的不变量.Gokberk把基于扩展的高斯图像、ICP匹配、距离轮廓、PCA和线性判别式分析(LDA)的方法分别用作3D人脸识别[4],并使用Beumier和Acheroy使用的数据.Lee提出了基于人脸8个特征点的曲率值的3D人脸识别方法[5].Lu和Jain 发展了以前基于ICP的识别方法,用它清楚地处理人脸面部表情的变化[6].Russ提出用Hausdorﬀ距离匹配3D人脸数据的距离图像表示[7].用类似于ICP中的迭代记录程序使被检验者的数据列适应图库中的数据列.Pan用特征脸与3D数据深度图像的映射进行匹配[8].把鼻尖作为中心点和数据列的对124自动化学报35卷称轴,将人脸数据映射成圆形的距离图像.Chang将多区域方法引入到3D人脸识别中[9].它是一种分类器集合体方法,对鼻子周围的多个重叠子区域分别用ICP进行匹配,并合并多重3D匹配的结果. Passalis采用的是带注释的可变模型研究3D人脸识别,在统计学的基础上对训练集合计算出平均3D 人脸[10].对三维人脸识别技术而言,存在的最大困难是人脸三维点云数据的获得.近几年光学三维形貌测量技术有了很大的进展,已发展出一些具有实用潜力的三维形貌测量技术,如结构光投影相移技术、结构光投影傅里叶变换技术等,使得三维人脸的识别成为可能[11].但是,通过向人脸投射结构光事实上已经是一种接触式的识别方法,对被识别者不够友好,并且也失去了信息隐蔽采集的能力,这样在很大程度上减弱了较之指纹识别等的优势.因此,如何快速高效并且隐蔽地获取被识别者的三维人脸信息引起了人们的重视.目前,越来越多的人将目光转向基于图像恢复人脸几何的方法来获得非接触式三维人脸信息,其中一类方法要求输入的图像具有预定义结构[12],如采用正交视图,从图像中提取出轮廓,用于修改一般人脸模型,得到最终结果.另一类方法是先精确重建出人脸上的少数三维特征点,然后用变分技术修改一般人脸模型[13].然而,这样的方法或者需要被识别者充分地配合,或者只能准确获得少数的几个特征点的三维信息,难以达到自动建模的效果.在识别方面,采集的人脸三维点云数据量通常十分庞大,不宜直接进行储存和识别比对,因此,人们考虑通过曲面拟合的方式提取点云的整体信息进行比对与储存.然而,这些方法构造曲面随意度大,对其归一化困难,并且由于点云获取的随意性,使得难以提出行之有效的尺度概念来对不同人脸进行识别区分.因此,如何通过采集的三维点云信息,提取出易于储存与识别比对的人脸特征是亟待解决的重要问题.本文介绍一种基于双目视觉的三维人脸识别技术,通过运用训练完成的人脸分类器对视频流进行基于弱特征的人脸检测,确定双目视觉中人脸的大致视差,利用新的无接触式双目立体视觉技术对人脸三维点云数据进行快速密集采集,提出人脸三维点云数据基于神经网络的曲面拟合技术,结合2D图像信息,对曲面进行仿射归一,提取特征参数进行比对识别,解决了传统人脸识别系统对环境以及人脸姿态表情等鲁棒性差的问题,获得较高的识别正确率.1运用双目视觉系统获取人脸图像信息采用上下两平行光轴摄像机建立双目立体视觉系统,如图1所示.由于在光轴距离小的情况下.可以近似地将上下采集图中对应点为中心的小区域视为相互的一个平移,因此,希望它们的光轴距离(基线距离)越短越好.在系统中,基线距离即为摄像机的宽度,取60mm.这也正好是人的双眼的大致距离,符合仿生学原理.基于这样的假定,可通过文章将要介绍的复小波相位相关算法自动寻找上下图中每个点的共轭对,实现图像相应点亚像素精确匹配.图1双目立体视觉系统Fig.1Binocular stereo vision system对上下摄像机进行立体视觉标定[14−15],由于受到镜头畸变的影响,并且在实际应用中双目光轴往往难以达到精确平行要求,因此外极线通常不垂直于图像X轴.通过矫正图像对(如图2(见下页)所示)可解决这一问题.因而,在后继的共轭点匹配中,只需对Y轴附近进行扫描即可.对于标定矫正后的双目视觉系统,当上下图中的共轭点匹配精度达到0.1像素时,利用双目立体视觉原理可精确获得空间点的三维深度信息,误差不超过0.5mm.所以,双目视觉系统的关键技术在于图像共轭点的精确匹配.需要指出的是,视觉系统采样的正确匹配需要物体表面有一定量的纹理信息,否则相位相关算法将失败.由于人脸表面蕴涵着丰富的纹理信息,因此可较好地满足视觉采样要求.在很少的情况下,如皮肤细腻光洁的年轻女性,匹配过程遇到困难.后文将介绍说明人脸识别过程只受到了不多的影响.在共轭点匹配前,我们需要了解人脸在图像中的大致区域与对应视差.这样,匹配的搜索深度与范围将大大减少,既提高了效率又减少了匹配时的误判与拒判率.文章运用Lienhart[16−17]介绍的基于灰度图像中弱特征检测方法对视频流进行实时人脸检测,对于训练完成的多角度人脸AdaBoost 分类器,单帧图像人脸检测准确率可达90%.当人脸图像进入视觉系统中时,系统对每一帧图像进行2期周佳立等:基于双目被动立体视觉的三维人脸重构与识别125(a)原始下图(a)Original down picture(b)原始上图(b)Original up picture(c)矫正后下图(c)Rectiﬁcatory down picture(d)矫正后上图(d)Rectiﬁcatory up picture图2矫正图像对Fig.2Pairs of rectiﬁcatory images检测,从检测结果中挑选最符合人脸逻辑的图像作为视觉系统的采样,为后继的三维重建提供样本.这里所谓的符合逻辑是指,上下视频流中检测到的人脸区域的大小与其中心X 轴坐标需基本一致,视差在一定的范围并且人脸区域需整个落在视频内.此时记录人脸检测结果并估计人脸视差.如图3所示,矩形区域为自动检测到的人脸区域.图3人脸检测与视差估计Fig.3Face detection and disparity estimation2三维人脸点云信息重建2.1基于复小波变换的相位相关算法给定两幅大小均为(2M +1)×(2N +1)的灰度图f 1(m,n )、f 2(m,n ),定义它们在连续域中的对应函数仍为f 1(x,y )、f 2(x,y ),为方便叙述文章考虑连续函数的情况,假设f 2为f 1的平移,平移量为(δ1,δ2),则f 2(m,n )=f 1(m −δ1,n −δ2)(1)设φ为二维复小波基,常用的小波基φ(x,y )多为变量可分离的二元函数:φ(x,y )=φ1(x )φ2(y ),在实际应用时采用符合人眼识别规律的Morlet 复小波φ1(t,ω)=φ2(t,ω)=e −t 22e i ωt(2)对于连续域中的函数f 1、f 2,在L 2(R )上进行积分小波变换解(Integral wavelet transform,IWT)f (m,n )−→(W φf )(b 1,b 2,a )(3)根据小波变换的平移性可知(W φf 2)(b 1,b 2,a )=(W φf 1)(b 1−δ1,b 2−δ2,a )(4)当δ1 a ,δ2 a 时,(W φf 2)(b 1,b 2,a,ω1,ω2)≈(W φf 1)(b 1,b 2,a,ω1,ω2)·e −i ω1(δ1a )−i ω2(δ2a )(5)在实际匹配过程中,采用从粗到细的搜索策略,使得相对于给定的分辨率a 、δ1、δ2总是很小,式(5)的估计是合适的.计算f 1、f 2的交叉能量谱C 并归一化后记为ˆC(ω1,ω2)=C (ω1,ω2)|C (ω1,ω2)|≈e i ω1(δ1a)·e i ω2(δ2a )(6)对于一定范围的ω1、ω2,进行2D 离散,记ω1=(2π/N 1)k 1,ω2=(2π/N 2)k 2,其中N 1=2M +1,N 2=2N +1,−M ≤k 1≤M ,−N ≤k 2≤N ,傅里叶反变换得ˆc (n 1,n 2)=1N 1N 2 k 1k2e i 2πN1k 1δ1a ×ei 2πN 2k 2δ2a·e i 2πN 1k 1n 1·e i 2πN 1k 2n 2(7)理论上,ˆc(n 1,n 2)的虚部应等于0,然而实际应用中,通常只取其实部来用二维Dirichlet 函数拟合Re[ˆc (n 1,n 2)]≈σN 1N 2·sin π n 1+δ1a sin 2πN 1n 1+δ1a ·sin π n 2+δ2asin 2πN 2 n 2+δ2a(8)在理想情况,σ=1.在实际应用中,由于存在噪声等的影响,σ通常小于1.运用Levenberg-Marquardt算法对Re[ˆc(n 1,n 2)]中心5×5的整数点数值进行非线性最小二乘拟合,得到包括σ,δ1,δ2的参数估计.126自动化学报35卷2.2人脸图像共轭点对匹配过程与重建对人脸图像进行4层复小波分解,在像素匹配阶段采用简化的算法:从最底层开始,只比对Re[ˆc(n 1,n 2)]中心附近的点,找出最大值,而由该最大值作为σ的近似,其位置即为相应的视差估计,放大后代入上一层作为新的初始估计,进行新的计算,直到最顶层为止.因此,在进行亚像素匹配时,视差估计的误差应该小于1个像素.继而通过几次非线性最小二乘拟合迭代过程,获得最终的亚像素级视差估计.这样的迭代过程进行两次就可趋于收敛.根据以上的匹配方法,对于大部分点都可自动获得正确的视差估计,然而由于遮挡、噪声以及缺少纹理等情况的影响,在由粗到细的金字塔匹配过程中,对于某些点对将出现错误估计,进而导致亚像素匹配无法收敛等情况的发生.不仅降低了自动配准的鲁棒性,而且在很大程度上减弱了三维重建的可靠性和精准度.为克服以上问题,引入顺序匹配、连续性、相关性以及外极线等约束条件,作为对匹配关系的可信度评估.所谓顺序匹配约束是指,对于上图中的两点,其下图中的匹配点应保持原来的顺序;连续性是指,对于上图中接近的两点,其相应视差也应该相似;相关性约束即可用σ值来表示,当σ值越大,说明这两点的匹配相关性越大;而极线约束是指匹配点将拥有基本相似的横坐标.因此,整个匹配过程可改进为以下算法:步骤1.对于每一层,匹配并估计每一未标记点的σ值.如果σ小于某一阈值,则对该点进行标记并转入步骤2.否则,考虑其顺序约束,取与其同列并已匹配的最近未标记点,如果顺序匹配错误,则进行标记并转入步骤2.否则,考虑其连续约束情况,取其附近5×5以内所有已匹配而未标记点,取其视差平均,比较与该点差的绝对值,如大于某一阈值,则对该点标记,转入步骤2.最后,如果匹配点偏离外极线过大,则标记该点并转入步骤2.步骤2.对于标记的点,考虑其附近5×5以内所有未标记点,取其关于σ值的相对加权平均作为该点的初始估计,然后进行亚像素匹配.对其结果进行相应的约束检测.如仍被标记,则将初始估计作为其相应视差.对图4(a)所示上下视觉采样进行人脸区域的点集匹配,并根据视觉原理重建三维点云信息.结果如图4(b)所示.以上方法由于采用了顺序匹配、连续性、相关性以及外极线等约束条件,因此,对于已标记的匹配点将获得很好的精度要求,通常误差被控制在0.1像素以内.而由于采用高匹配相关性的点对作为种子,并且采用由粗到细的匹配策略,使得最终正确匹配率可达到95%以上,只有很少的一部分会出现误匹配情况,即作为最终未标记点而被自动识别出来,这些点可通过插值等方法给出近似的结果.(a)上下图对(a)Context(b)三维点云重建(b)Reconstruction of 3Dpoint cloud图4人脸三维点云重建结果Fig.43D point cloud reconstruction of the face3三维人脸曲面信息重建与识别3.1基于神经网络的人脸曲面重建将上节获取的三维点云信息的x ,y 坐标作为神经网络的输入,而将z 坐标作为输出,构成二输入、一输出的网络系统,网络的输入与输出形成映射关系,设这样的映射关系为一有限支单值连续函数l =ˆf(X ),X =(x,y ).事实上,对于两层单输出MLFN (Multilayer feedforward neural network),无论隐层取Sigmoid 函数、小波函数还是RBF (输出层皆取线性函数),只要隐层神经元足够多,就能以任意精度逼近任何有限支单值连续函数.但是,由于函数l =ˆf(X )不是非常平滑,如采用局部接收场的RBF 或小波网络,网络规模(即隐层神经元数)随输入向量维数的增加而指数增加.为控制规模,本文采用全局接收场的Sigmoid 网络.设计两层单输出且隐层取Sigmoid 函数、输出取线性函数的MLFN,其映射函数可表示为l =f N 1(x,ξ)=N 1i =1ω(2)1i f s N j =1ω(1)ij x j +θ(1)i +θ(2)1(9)其中f s (I )=(1+e −I )−1为Sigmoid 函数;f N 1(x,ξ)的下标N 1表示隐层神经元数,ξ表示所有权和阈值参数构成的向量.Barron [18]指出,网络所实现的函数与被逼近函数之间的最小均方逼近误差随N 1的增加按1/N 1的速率下降 B r(ˆf (X )−f N 1(X ,ξ0))2d P (X )≤(2rC ˆf )2N 1(10)2期周佳立等:基于双目被动立体视觉的三维人脸重构与识别127其中Cˆf在ˆf(X)为S阶可导(S≥1)时为有限值,并假设X的定义域包含原点,且处于一个半径为r的超球B r之内.因此N1只需随N线性增加,但比起小波网络,网络学习过程需要更多的训练样本.由于不需要太多的隐含层神经元即可获得好的人脸逼近效果,但考虑到每一点对的匹配估计值σ,决定了对应重建三维点的位置可信度.因此,为获得更精确的网络逼近结果,设置可信度越高的点参加越多次数的训练过程.具体的,对于每一点对所反求的三维训练样本,令其参加前N次训练循环过程N= C(σ− )2 (11)其中, 为匹配拒判阈值,C为与最大循环次数有关的常数.在我们的系统中,取 =0.5,C=100.对图4(b)进行重建,效果见图5.当人脸曲面重建以后,需要归一化到基准平面.这个平面应由纹理丰富、容易在二维图像中精确定位并且对人脸表情、光照以及拍摄角度鲁棒性强的特征点确定.在我们的系统中,取双眼中心以及鼻孔连线的中心三点确定基准平面,称这样的三点组成的三角形为归一化三角形.建立三维坐标参照系,如图6所示.图5神经网络人脸曲面重建Fig.5Face reconstruction by neural network由于在实际采样中,要求人的目光正视前方(如图6(a)所示)是苛刻的,极端情况发生在图6(b).因此,如图6(c)所示从两鼻孔中心向左右眼的连线作垂线,交于o点,建立直角坐标系,使得在各种情况下都能获得较精确的归一化结果.所以,在图像采样时我们仍然要求头部不能过分倾斜,至少需要如图6(d)中所示能够定位双眼位置.此时,取单侧鼻孔代替两鼻孔中心建立直角坐标系进行归一化处理.但应该指出的是,即使能够定位,这样的归一化仍然是粗略的,在后续的比对识别中还需进行迭代调整.于是,对于每张人脸曲面,只需记录相应的神经网络参数以及归一化三角形作为三维人脸特征即可.3.2人脸识别三维人脸的识别过程实际上即为归一化的两张神经网络曲面的相似度判别过程.如果采集的是正面的人脸图像,并且归一化足够精确,则识别过程相(a)目光正视前方(a)Forward glance(b)目光极端斜视(b)Extremely side glance(c)根据归一化三角形建立坐标系(c)Coordinate system based onnormalized triangle(d)存在一定拍摄角度的情况(d)Under certain shootingangle condition图6确定归一化三角形Fig.6Obtaining normalized triangle对容易.整个过程分两步:步骤1.比较瞳距以及鼻孔到左右眼连线的距离是否相近,如差值在一定阈值范围内,则说明两张曲面有可能是同一人,需进行进一步的判别,否则可以认为不属于同一人.步骤2.假设需对比的两张曲面分别为z=f(x,y)和z=g(x,y).那么定义d=1N(x,y)∈S|f(x,y)−g(x,y)|(12)作为判别尺度,其中S定义为与归一化三角形有关的椭圆,而N为S的面积.设在新的坐标系下,图5(c)中的归一化三角形坐标分别为:(a,0,0)、(−b,0,0)、(0,c,0),一般地,定义S为如下椭圆区域x22.5(a+b)22+y−c22(2c)2≤1(13)式(12)中,如果d在一定的阈值内,即可判断该两张曲面属于同一人.然而,在实际曲面归一化过程中,由于鼻孔点的定位通常不十分准确,并且,在有些时候目光也存在128自动化学报35卷向上与向下的不确定性,因此,这样的定位总的来说是比较粗糙的.故我们需要将两张曲面进行迭代对齐,设有两张曲面z =f (x,y )和z =g (x,y ),迭代过程如下:步骤1.从曲面z =g (x,y )中选取整数点,计算其到曲面z =f (x,y )的最小距离;步骤2.运用Levenberg-Marquardt 算法对旋转和平移参数进行非线性最小二乘拟合;步骤 3.将旋转平移参数运用到曲面z =g (x,y )形成新的曲面,仍记作z =g (x,y );步骤4.重复步骤1∼3直到收敛.另外,当采集非正面人脸图像时,如图7(a)、7(b)所示,归一化后只能得到如图7(c)所示的半边脸重建结果.那么,由于缺少左边脸部表面三维点云信息,神经网络重建曲面在这一部分的形状随意性很强,给识别过程带来困难.因此,将只进行右半区域以及眼睛部分的人脸比对.如果比对的两张人脸曲面是从不同左右角度进行采集的,那么由于人脸具有很好的对称性,我们只需要将其中一张人脸曲面做关于y -z 轴的镜向,如图7(e)所示,再将两幅点云进行ICP 迭代,便可获得如图7(f)的结果.从图7(f)中可以了解到,由于拍摄角度原因,被鼻子遮挡的脸颊部分以及脸的侧面被很好地恢复了.以上方法也被运用于当人脸(特别是颧骨部分)皮肤过于细腻而缺少纹理时出现大孔时的填补过程.当人脸库十分庞大时,比对过程需考虑时间消费.为提高比对效率,可分层次对人脸进行神经网络重建.即首先选用较少的隐含层神经元进行粗略比对,排除掉库中大部分人脸,再提高隐含层神经元个数来进行精确比对,以获得更高的效率.另外,采样的是基本正面的人脸时,可考虑对重建曲面进行左右对称性检测,出现不对称的情况通常发生在人的表情十分丰富,或者面颊部分非常光洁引起的匹配失败时.在这些情况下,应该只对眼部周围以及鼻子附近这些纹理信息丰富并且不容易随表情变化而变化的区域进行比对识别,如图8所示的圆形区域.4系统实例与讨论采用一台P42.8G,512Mb RAM 的PC 机,两台SAMSUNG SCC-C4201P CCD 摄像机,分辨率480线,有效像素752(H )×582(V ),建立如图1所示的双目立体视觉系统作为前端人脸图像采集.整个三维人脸识别系统主要由四部分组成:前端人脸图像采集系统、人脸三维点云重建系统、人脸三维曲面重建系统和三维人脸识别系统.其程序流程如图9(见下页)所示.(a)非正面时的重建点云(a)Point cloud reconstruction under non-frontal condition(b)非正面时的重建曲面(b)Surface reconstruction under non-frontal condition(c)点云归一化结果(c)Normalized point cloud(d)曲面归一化结果(d)Normalized surface(e)点云镜像操作(e)Mirror image operation ofpoint cloud(f)ICP 迭代后曲面重建结果(f)Surface reconstructionafter ICP iteration图7存在一定拍摄角度时的点云重建情况Fig.7Reconstruction of 3D point cloud in diﬀerentshooting angles图8取人脸中心的圆型区域Fig.8Circular region in the face center2期周佳立等:基于双目被动立体视觉的三维人脸重构与识别129图9三维人脸识别系统流程Fig.9Flow of the3D face detection system为了验证本文提出的三维人脸识别方法的有效性,我们在不同光照、背景条件下,在相隔半年的时间内对多人进行多次不同姿态与表情的样本采集,为获得较理想的重建与识别效果,通常需要使人脸尽可能充满整个图像对.但在实际操作中,拍摄距离在40cm∼80cm时，对重建精度的影响不大.建立如图10所示的三维人脸库.本次实验主要选取了具有代表性的一些样本(如图11所示)进行较为细致的测试分析.其中样本C1∼C5与样本C6∼D3为亲姐妹,而样本A1∼A3与样本D8、样本A4∼B8与样本D4∼D6虽然是同一人,但前后采样时间间隔都在半年以上,并且各样本在采样时的光照、背景、姿态与表情都存在较大的差异.因此,对该组样本的分析具有一定的普遍性意义.图10三维人脸库Fig.10Database of3D faces图11部分人脸样本Fig.11Face samples130自动化学报35卷表1不同表情与拍摄角度下，两人脸间的判别尺度Table1Scale determination between faces in diﬀerent expressions and shooting angles-C1C2C3C4C5C6C7C8D1D2D3 C1−0.854 1.342 1.682 1.66317.49413.39315.10613.33815.40914.257 C20.840− 1.1730.988 1.90314.23113.99013.85415.29414.00316.325 C3 1.324 1.576− 2.001 1.43515.34614.24513.86516.13214.44716.235 C4 1.863 2.128 1.135− 1.86415.55816.33713.54013.97815.63717.029 C5 1.6470.437 1.753 2.012−16.45215.19616.34613.89015.56914.591 C616.53416.22315.38214.98016.015− 1.324 2.097 1.4570.9620.550 C715.34616.47914.89017.34415.345 1.239− 2.091 1.189 2.003 1.769 C815.78215.89017.12917.91215.373 1.139 2.261− 2.266 1.198 1.984 D116.49814.59816.67617.12015.337 1.357 2.159 1.112− 2.490 3.109 D215.25615.25717.86316.66015.5890.998 2.228 1.678 1.870− 1.669 D316.36714.50916.71215.89316.739 1.809 1.294 2.227 1.749 2.119−对图11中样本进行自动归一化三角形定位,准确率达到94%,其中只有样本B1与B6出现瞳孔难以定位的情况.对其进行交互瞳孔定位后,B1能完成归一化,但B6由于脸部拍摄角度过大,造成归一化过程失败.对成功归一化的样本重构后,进行两两相似度比对,计算式(12)中所确定的判别尺度d,可以发现,对于不同人之间无论拍摄情况如何多变,其判别尺度d相对都很大,即使对于亲姐妹的C1∼C5与C6∼D3(如表1所示),也能很容易地进行区分.并且从表1中不难看出,表情的变化对识别过程影响不大,这是由于我们采用了对表情变化相对不敏感的圆形区域(如图8所示)进行比对识别.但在表情变化十分剧烈时,仍然会遇到一些困惑.如样本D5与D6的判别尺度为5.967,虽然仍具有一定的聚类性,但已使得判断变得模糊.而对于不同的光照情况,如样本A1∼A3，对识别效果没有影响.在分类阈值设定为7的条件下,样本都能正确聚类.在本次实验中,总体识别率达到99%.实验表明,系统允许接受非正面的人脸采集图像,只要在该图像对中能方便地识别出归一化三角形即可.系统识别基本不受光照条件的影响,对不同面部表情有一定的鲁棒性,并且对不同时期不同发型的人脸也有较好的识别准确度.在匹配算法中,每一点都可并行计算,因此在实际编程中,采用多线程的处理方式可在很大程度上提高算法的速度.在本次实验中,采用双线程,对每张脸计算10000个匹配点,用时大约在20秒左右.而随着计算机硬件技术的提高,以及采用多CPU的方式,有望使立体视觉重建过程实时化.5结论本文提出了一种新的基于双目立体视觉采集人脸图像，运用复小波变换技术精确匹配对应点,通过神经网络方法实现人脸重构的三维人脸识别方法，与传统使用激光扫描仪或结构光等人脸信息采集方法相比,由于使用了非侵入式的双目立体视觉系统,使采集过程更加友好、快捷,并可根据需要达到隐蔽采集的目的.本文得出了以下结论:1)运用基于复小波变换的相位相关算法可获得密集并且满足识别精度要求的人脸三维点云信息.该算法对背景无特别要求.2)通过三维点位置可信度参数σ决定其在神经网络训练次数的方法,使得重建曲面更加精准.而归一化处理使得识别过程为后继的迭代识别比对提供较理想的初始状态.3)采用局部人脸比对的思想,在表情剧烈或者面颊特别光洁的情况下,只对纹理丰富并且相对不受表情变化影响的双眼以及鼻子周围区域进行重建比对,减少了拒判的概率.研究表明,该方法不仅对环境以及人脸位姿表情等鲁棒性强,识别准确率高,并且成本低廉,适合在许多领域推广应用.References1Zhao W,Chellappa R,Phillips P J,Rosenfeld A.Face recog-nition:a literature survey.ACM Computing Surveys,2003, 35(4):399−4582Phillips P J,Wechsler H,Huang J,Rauss P.The FERET database and evaluation procedure for face-recognition algo-rithms.Image and Vision Computing Journal,1998,16(5): 295−3063Bronstein A M,Bronstein M M,Kimmel R.Three-dimensional face recognition.International Journal of Com-。

双目人脸识别原理

双目人脸识别原理双目人脸识别是一种基于双目立体视觉原理的人脸识别技术，通过模拟人眼的视觉原理，利用两个相机从不同角度拍摄同一物体，获取物体在不同位置的图像，再通过计算两个图像中对应点的视差，得到物体的三维信息。

在人脸识别领域，双目人脸识别技术可以用来获取人脸的深度信息，从而实现对人脸的识别。

具体来说，通过将两个相机放置在不同的位置，拍摄同一人脸的图像，然后通过对两张图像进行处理，得到人脸在不同位置的深度信息。

这些深度信息可以帮助计算机更好地理解人脸的结构和特征，从而实现更加准确的人脸识别。

双目人脸识别技术的核心在于对两张图像中对应点的匹配和深度计算。

具体来说，首先需要通过图像处理算法对两张图像进行预处理，包括图像配准、特征提取和匹配等步骤。

然后，通过计算图像中特征点的视差，得到人脸在不同位置的深度信息。

这些深度信息可以通过三维重建算法进行进一步的处理，从而得到更加准确的人脸模型。

双目人脸识别技术具有以下几个优点：1. 可靠性高：双目人脸识别技术可以获得人脸的深度信息，从而更加准确地识别不同姿态和光照条件下的人脸。

2. 精度高：双目人脸识别技术可以通过计算图像中特征点的视差，得到高精度的深度信息，从而提高人脸识别的准确度。

3. 鲁棒性强：双目人脸识别技术可以适应不同的人脸姿态、光照条件和噪声干扰，具有较强的鲁棒性。

4. 安全性高：双目人脸识别技术可以实现对人脸的全方位识别和监测，可以提高安全性和可靠性。

然而，双目人脸识别技术也存在一些挑战和限制，例如需要精确的相机标定和图像配准算法，对硬件设备的要求较高，同时需要处理大量的图像数据，对计算资源的消耗较大。

此外，双目人脸识别技术对于不同材质、纹理和形状的物体识别效果可能存在差异。

利用立体图对的三维人脸模型重建算法

ａｃｒｔｄｓａｉｅｍｏｇｔｅｓｅｏｅ．ｅｉｓｉａｉｘａｓｎａｏｉｍｂｓｄｏｅｒｌｂｌｙｃｕａｉｒｉａｎｈｅｄｖｘｌＢｓｅ，ａｄｐｒｙｅｐｎｉｌｒｈａｅｎｔｉｉｔｅｐｔｓｓｄｓｔｏｇｔｈｅａｉ
维普资讯
第１卷第１期８２
２００６年１２月
计算机辅助设计与图形学学报
ＪＵＲＡＦＣＯＮＬＯＯＭＰＥ — ＤＤＤＳＧ＆ＣＭＰＥＲＰＣＵＴＲＡＩＥＥＩＮＯＵＴＲＧＡＨＩＳ
Ｔ３１４Ｐ９．
中圈法分类号
ＦｒｍｔｒｏＰａｒｔＤｃｏｅｏＳｅｅｉｏ３ＦａｅＭｄｌ
ＳｅｈＬｕＪｌｈｎＹｅｕｉｉｎｉ
（ｅａｔｎＩｆｒｔｎ＆ＥｅｔｏｉｓｎｉｅｒｎＤｐｒｍｅｔｎｏｍａｉｏｌｒｎｃＥｇｎｅｉｇ，ＺｅａｇＵｎｖｒｉＨａｇｈｕ３０２）ｃｈｊｎｉｅｓｔｉｙ，ｎｚｏ１０７
ｍａｃｉｇｔｅ３ｆｃｄｌｉｒｃｎｔｕｔｄａｄｔｅｆｃｕｆｃｓｓｏｔｅｅｔａｔｌ— ａｅｔｈｎ，ｈＤａｅｍｏｅｓｅｏｓｒｃｅ，ｎｈａｅｓｒａｅｉｍｏｈｎｄｗｉｐｒｉｅｂｓｄｈｃ
ｏｈｉａｉｓａｓｒｐｓｄ，ａｄｉｍｉｉｚｓｔｅａｅｅｅｅｒｎｏｓｄｓａｉｉｃｕ．ＡｆｅｍａｅｆｔｅｄｓｒｔｉｌｐｏｏｅｐｙｏｎｔｎｍｉｅｈｒａｗｈｒｒｏｅｕｉｐｒｅＯｃｒｔｓｔｒｉｇ

双目3d相机的原理

双目3D相机利用两个摄像头模拟人眼的双眼视觉，从而实现深度感知和三维重建。

其原理基于视差（disparity）和三角测量。

1. 视差原理：
双目相机中的两个摄像头以一定的距离分开，当它们同时观察同一个物体时，由于视线的错位，物体在两个图像中的位置会有所不同，这种差异称为视差。

利用视差可以推断出物体与相机的距离关系。

2. 三角测量原理：
通过测量摄像头之间的距离、视角等参数，以及在两个图像中对应特征点的视差，可以利用三角测量原理计算出物体到相机的距离。

工作流程：
- 标定：确定摄像头参数、位置和朝向。

- 匹配：在两个图像中找到对应的特征点，计算视差。

- 三角测量：利用视差和摄像头参数进行距离计算。

- 生成深度图：将距离信息转换为深度图像。

双目3D相机可用于机器人导航、立体视觉、人脸识别、三维重建等领域，能够提供丰富的三维信息，对于需要精确深度感知的场景具有很大的应用潜力。

基于双目立体视觉算法的三维重建研究

基于双目立体视觉算法的三维重建研究随着现代科学技术的不断发展，三维重建技术正逐渐成为人们日常生活中必不可少的一部分。

无论是为了展示物品的外观与结构，还是为了制作电影特效和游戏场景等等，三维重建技术都能发挥出强大的作用。

然而，要想将现实中的物体转化为三维数字模型并不是一件容易的事情。

这时，双目立体视觉算法便成为了一项关键技术，它能够以像素级别的精度建立三维物体模型，是三维重建技术中的重要组成部分。

一般来说，双目立体视觉算法是通过两个相机同时拍摄同一个物体，然后利用两个相机的图像进行三维重建。

这种算法源于人类的双目视觉系统，两只眼睛同时观察到的物体一定程度上可以反映出物体的立体结构。

同样地，在双目立体视觉系统中，两个相机拍摄到的物体图像可以被视为具有相同空间信息的两个图像，通过匹配这两个图像的像素点，可得到物体的深度信息，从而可以完成三维重建。

在双目立体视觉算法中，像素点的匹配问题是最为关键的一环。

由于两个相机的角度和位置不同，因此它们获取到的图像也不同。

这就使得像素点之间的对应关系可能不太明显，比较容易产生误匹配。

而对于由于遮挡和光照变化等原因产生的像素点不一致问题，双目立体视觉算法也不能完全解决，因此如何提高像素点匹配的精度是研究者们一直关注的问题。

近年来，随着机器学习技术的发展，研究者们开始将机器学习技术应用到双目立体视觉算法中，以解决匹配精度问题。

机器学习技术的一个重要应用是卷积神经网络，它是一种类似于人脑中视觉处理方式的算法。

通过将卷积神经网络加入到双目视觉算法中，便能够实现更准确的像素点匹配，从而进一步提高三维重建的精度。

除了像素点匹配问题，光照变化和杂乱的背景噪声等因素也会影响三维重建的准确性。

针对这些问题，一些高级技术如红外传感器、投影辅助、多视角技术等也被引入到三维重建技术中。

这些技术能够通过提供额外的信息来改善像素点匹配和深度探测，从而使得三维重建的结果更精确。

总结来说，基于双目立体视觉算法的三维重建技术在现代科学技术中扮演着至关重要的角色。

双目视觉三维重构公式

双目视觉三维重构公式双目视觉三维重构是通过两个视觉传感器（相机）捕捉到的两幅图像来恢复物体的三维结构。

在这个过程中，我们需要使用一些公式和算法来计算深度、距离和位置等信息。

下面将介绍一些常用的双目视觉三维重构的公式和算法。

1.三角测量法三角测量法是双目视觉三维重构中最基本的方法之一、它使用两个相机捕捉的图像中的特征点来计算物体的三维坐标。

设相机1的坐标为(x1,y1)，相机2的坐标为(x2,y2)，相机的内参矩阵为K1,K2，投影矩阵为P1,P2、则可以使用下面的公式计算物体在空间中的坐标（X,Y,Z）：X=(x1-c1)*Z/f1Y=(y1-c2)*Z/f2其中，f1和f2是相机的焦距，c1和c2是相机的光心坐标。

同时，Z 可以通过视差（disparity）来计算：Z = B * f1 / disparity其中，B是两个相机之间的基线距离。

2.立体匹配算法立体匹配算法用于计算两幅图像中特征点对应的视差值（disparity），从而计算物体的深度和距离。

常用的立体匹配算法有基于均值滤波（Mean Filter）的方法、基于半全局优化（Semi-Global Matching）的方法和基于深度图优化（Depth Map Refinement）的方法等。

以基于均值滤波的方法为例，可以使用下面的公式计算视差值（disparity）：disparity = min，I1(x1 + d, y1) - I2(x2, y2)其中，(x1,y1)是相机1中的特征点坐标，(x2,y2)是相机2中的对应特征点坐标，d是范围内的一个偏移量，I1和I2分别是相机1和相机2中的图像亮度。

3.深度图优化算法深度图优化算法用于处理立体匹配算法中存在的误差和不完整性。

常用的深度图优化算法有图割（Graph Cut）算法、动态规划（Dynamic Programming）算法和随机采样一致性（Random Sample Consensus）算法等。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

Abstract: Generation of lifelike 3D human faces is a challenging task. Recent increases in the use of 3D face mod2 els in virtual reality, video surveillance, 3D anim ation, and face recognition have led to 3D face reconstruction be2 com ing a research hotspot. The authors p roposed a 3D face reconstruction m ethod based on binocular stereo vision theory. After cap turing the front view of a face w ith two calibrated cameras, the cap tured pair of stereo images were rectified to align their ep ipolar lines and compensate for image distortions. To obtain m ap s w ith accurate matching and dense disparity, a stereo matching algorithm based on region grow ing was developed. An edge feature point w ith reliable disparity was selected as a seed point. Then region grow ing was perform ed along horizontal scan2lines under m ulti2constraints. W ith camera calibration and disparity mapp ing, 3D coordinates of corresponding points were calculated. Then the face model was reconstructed w ith a series of methods, such as Delaunay triangulation, mesh subdivision and smoothing. Experimental results showed that the m ethod can generate a smooth and lifelike 3D face model. Keywords: 3D face model; binocular stereo vision; camera calibration; ep ipolar geometry; stereo m atching; region grow ing; delaunay triangulation
3D face recon struction using b inocular stereo v ision
J IA Bei2bei, RUAN Q iu2qi
( School of Computer Science and Information Technology, Beijing J iaotong University, Beijing 100044, China)
最小二乘方程并用 Levenberg2M arquarat算法进一步
求精 , 就可以求得 H 矩阵 , 据此求摄像机的内外参
数. 利用 Choleski分解就可以先得到内参 , 然后利用
第 6期贾贝贝 ,等 :双目立体视觉的三维人脸重建方法
·515·
矩阵 A 和 H ,求摄像头外参数 ,如式 ( 4) . r1 =λA - 1 h1 , r2 =λA - 1 h2 , r3 = r1 ×r2 ,
(2)
1 令
M = [ Xw Yw 1 ]T , m = [ u v 1 ]T ,
H = A [ r1 r2 t ] = [ h1 h2 h3 ]. 则式 ( 2)可写为
sm = HM .
(3)
式中 : A 是摄像机内部参数矩阵 ,是模板上的点和它
的像点之间的一个映射.
若已知模板点的空间坐标和图像坐标 , 通过解
有重大意义的研究课题. 自 20 世纪 70 年代 Parke 建立第一个脸部模型 [ 1 ]开始 ,许多研究人员致力于三维人脸建模的研究. 近年来 ,随着三维人脸模型在虚拟现实、三维动画、视频监控、人脸识别等领域的广泛应用 ,三维人脸重建已经成为计算机图像和计算机视觉领域的一个研究热点. 然而 ,由于人脸具有复杂的几何形状和表面材质 ,同时头发的模拟、逼真
这里 ,采用基于平面棋盘格标记物的摄像机标
定方法. 为简化计算 ,设模板所在平面为世界坐标系
的 zw = 0平面. 用 ri 表示 R 的第 i列向量 ,那么对于
模板平面上的点都有 :
Xw u
s v = A [ r1 r2 r3 t ] Yw = 0
1 1
Xw
A [ r1 r2 t ] Yw .
由于人脸信息在人类日常生活和生产实践中起着十分重要的作用 ,而人脸重建提供了表达和处理人脸信息的有效手段 ,因此三维人脸重建是一项具
收稿日期 : 2009204215. 基金项目 :国家自然科学基金资助项目 (60672062) ;高等学校博士学
科点专项科研基金资助项目 (200800040008). 通信作者 :贾贝贝. E2mail: jiabeibei0129@163. com.
·514·
智能系统学报第 4卷
纹理信息的添加、光照的处理等诸多问题都使得三维人脸建模始终是一个极具挑战性的课题.
本文以双目立体视觉理论为基础 ,以人脸为研究对象 ,构建一个基于双目立体视觉的三维人脸重建系统 ,重建过程中无需三维激光扫描仪和通用人脸模型. 首先进行摄像机标定 ,利用双目摄像机采集左右人脸图像对 ,校正图像对使极线对齐 ,然后选择具有准确可靠视差的人脸边缘特征点作为种子像素 ,以种子像素的视差作为区域生长的视差 ,采用基于区域生长的立体匹配算法获取整个人脸的视差图进而计算人脸三维点云数据 ,最后对三维点云进行三角剖分、网格细分和光顺处理重建光滑逼真的三维人脸模型.
通过分析可以看出 ,上述的三维人脸重建方法都存在各自的局限性. 而基于双目立体视觉的三维人脸重建方法 [ 627 ] 从人类视觉机理角度出发 ,无需
昂贵的三维扫描仪和标准人脸模型 ,采用 2 台摄像机同时从不同角度拍摄人脸 ,进行立体图像匹配 ,再采用三角测量的方法从视差中恢复三维人脸数据. 由于该方法采用的设备简单 ,而且可以实现实时采集 ,现在已成为机器视觉研智能系统学报 Vol. 4 №. 6 2009年 12月 CAA I Transactions on Intelligent System s Dec. 2009
fy 0
v0 1
0 0
R 0
t 1
Yw . ( 1) Zw
1
式中 : ( u, v)和 ( Xw , Yw , Zw )为空间 P 点在图像坐标系和世界坐标系下的坐标 , fx 、fy 、u0 、v0 是摄像机内
部参数 ,旋转矩阵 R 与平移向量 t描述摄像机与世
界坐标系之间的关系 ,称之为摄像机的外部参数.
doi: 10. 3969 / j. issn. 167324785. 2009. 06. 008
双目立体视觉的三维人脸重建方法
贾贝贝 ,阮秋琦
(北京交通大学计算机与信息技术学院 ,北京 100044)
摘要 :创建逼真的三维人脸模型始终是一个极具挑战性的课题. 随着三维人脸模型在虚拟现实、视频监控、三维动画、人脸识别等领域的广泛应用 ,三维人脸重建成为计算机图像学和计算机视觉领域的一个研究热点. 针对这一问题 ,提出一种基于双目立体视觉的三维人脸重建方法 ,重建过程中无需三维激光扫描仪和通用人脸模型. 首先利用标定的 2台摄像机获取人脸正面图像对 ,通过图像校正使图像对的极线对齐并且补偿摄像机镜头的畸变 ;在立体匹配方面 ,选择具有准确可靠视差的人脸边缘特征点作为种子像素 ,以种子像素的视差作为区域生长的视差 ,在外极线约束、单调性约束以及对应匹配的边缘特征点的约束下 ,进行水平扫描线上的区域生长 ,从而得到整个人脸区域的视差图 ,提高了对应点匹配的速度和准确度 ;最后 ,根据摄像机标定结果和立体匹配生成的视差图计算人脸空间散乱点的三维坐标 ,对人脸的三维点云进行三角剖分、网格细分和光顺处理. 实验结果表明 ,该方法能够生成光滑、逼真的三维人脸模型 ,证明了该算法的有效性. 关键词 :三维人脸模型 ;双目立体视觉 ;摄像机标定 ;极线几何 ;立体匹配 ;区域生长 ;三角剖分中图分类号 : TP391 文献标识码 : A 文章编号 : 167324785 (2009) 0620513208
第 2类是基于图像的三维人脸建模方法 ,即从普通摄像机获取的一幅或多幅图像出发进行建模 , 比较有代表性的有修改标准模型和采用双目立体视觉的方法. 修改标准模型进行三维人脸建模是指将标准人脸模型作为先验知识 ,通过刚体变换、形变等手段与具体的人脸数据拟合达到形状匹配 ,并且利用图像合成面部纹理信息 ,从而建立逼真的三维人脸模型. Ansari等人 [ 4 ]从正面和侧面人脸图像提取信息进行标准人脸模型的修正 ,但需要严格侧面人脸图像 ,否则算法失败的可能性较大. L iu等人提 [ 5 ] 出利用 MBA (model2based bundle adjustment)方法形成特定人脸模型 ,但需要人工标注特征点.
t
=λA - 1 h3 ,λ