双目下点云的三维人脸重建
现代电子技术
Modern Electronics Technique
2015年2月15日第38卷第4期
Feb.2015Vol.38No.4
0概述
三维重建是指通过单幅图像或者多幅图像重建三维信息的过程。由于单幅图像的所包含信息不完全，因此重建过程中需要利用经验知识。而多幅图像的三维重建（如人的双目定位）相比比较容易，其方法是先对摄像机进行标定，即计算出摄像机的内部参数和外部参数。然后利用多个二维图象中的信息重建出三维信息。双目立体视觉系统[1]中立体匹配的准确性是获取视差图的一个重要环节，它的本质是给定一幅图像中的一点，在另一幅图像中寻找其对应点，这两点是空间中物体同一点的投影，进而求出两者的视差，以得到物体的深度信息，并进一步求得该点的空间坐标。目前研究的立体匹配算法大部分都是针对复杂的空间场景获取大致的视差图。本文针对人脸这一特殊场景，通过先用GrabCut 算法将人脸分割出来，降低了立体匹配的搜索
的范围，然后用区域匹配算法NCC 得到人脸的视差图，从而得到三维点云。最后通过SIFT 的特征提出和匹配反射到三维数据上进行人脸重建。
1运用双目视觉系统获取人脸图像信息
利用相机组成双目系统，希望他们的光轴距离越短
越好，因为这样可以将近似的将左右采集图中对应点为中心的小区域视为相互的一个平移。对左右摄像机通过标定板进行立体标定[2]，标定误差是0.377542。然后通过极线约束的方法进行校正，这样在另一幅图像上搜索匹配点的时候，把原来二维的搜索变成了一维的搜索，降低了匹配点搜索的范围，从而降低了搜索时间以及匹配的准确率。
2
人脸分割
2.1
图割算法
图割算法[3]是将分割问题转化为将图像分为前景、背景的二元标号问题，把图像转化为一个无向图G =(V ,E )其中，V 为顶点，它是有图像中的像素和代表前景的源点（S ）和代表背景汇点（T ）构成，E 是4邻接
双目下点云的三维人脸重建
隋巧燕，董洪伟，刘
蕾
（江南大学物联网工程学院，江苏无锡
214122）
摘
要：提出一种在双目视觉系统下进行人脸重建的方法。首先，通过双目系统拍摄人脸的左右图像；其次，用Grab?
Cut 的方法的把人脸图像分割出来从而降低立体匹配的搜索范围；然后，用区域匹配算法得到人脸的视差图，从而得到人脸的三维点云；最后对不同角度的人脸图像进行SIFT 特征提取和匹配。将提取的SIFT 特征点和匹配关系反射到三维点云数
据，获取不同角度人脸的三维点云数据的特征点和匹配关系，完成对不同角度的人脸进行粗配准。
关键词：双目视觉；图像分割；人脸视差图；三维点云；SIFT 算法中图分类号：TN919?34
文献标识码：A
文章编号：1004?373X （2015）04?0102?04
3?D point cloud face reconstruction with binocular system
SUI Qiao?yan ，DONG Hong?wei ，LIU Lei
（College of The Internet of Things Engineering ，Jiangnan University ，Wuxi 214122，China ）
Abstract ：A method of face reconstruction by parallel binocular vision system is put forward.Firstly ，photos of right and
left sides of human face are taken by binocular system.Secondly ，human face images are segmented with Grab Cut method to shorten stereo matching search range.Thirdly ，the regional matching algorithm （NCC ）is used to obtain face disparity map and 3?D face point clouds.Finally ，SIFT features of face images taken in different angles are extracted and matched ，and then the ex?tracted SIFT feature points and matching relation are reflected to 3?D point cloud data to get feature points and matching relation
of point cloud data of face got in different angles ，and complete the coarse rectification of human faces in different angles.
Keywords ：binocular vision ；image segmentation ；face disparity map ；3?D point cloud ；SIFT algorithm
收稿日期：2014?09?28
基金项目：中央高校基本科研基本科研业务费专项资金资
助（JUSRP211A35）
102