双目立体视觉的三维人脸重建方法
第４卷第６期２００９年１２月
智能系统学报
ＣＡＡＩＴ豫ｎｓａｃｔｉｏｎｓｏｎＩｎｔｅｌｌ培ｅｎｔＳｙｓｔｅｍｓ
Ｖ０１．４№．６
Ｄｅｃ．２００９
ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１６７３４７８５．２００９．０６．００８
双目立体视觉的三维人脸重建方法
贾贝贝，阮秋琦
（北京交通大学计算机与信息技术学院，北京１０００４４）
摘要：创建逼真的三维人脸模型始终是一个极具挑战性的课题．随着三维人脸模型在虚拟现实、视频监控、三维动画、人脸识别等领域的广泛应用，三维人脸重建成为计算机图像学和计算机视觉领域的一个研究热点．针对这一问题，提出一种基于双目立体视觉的三维人脸重建方法，重建过程中无需三维激光扫描仪和通用人脸模型．首先利用标定的２台摄像机获取人脸正面图像对，通过图像校正使图像对的极线对齐并且补偿摄像机镜头的畸变；在立体匹配方面，选择具有准确可靠视差的人脸边缘特征点作为种子像素，以种子像素的视差作为区域生长的视差，在外极线约束、单调性约束以及对应匹配的边缘特征点的约束下，进行水平扫描线上的区域生长，从而得到整个人脸区域的视差图，提高了对应点匹配的速度和准确度；最后，根据摄像机标定结果和立体匹配生成的视差图计算人脸空间散乱点的三维坐标，对人脸的三维点云进行三角剖分、网格细分和光顺处理．实验结果表明，该方法能够生成光滑、逼真的三维人脸模型，证明了该算法的有效性．
关键词：三维人脸模型；双目立体视觉；摄像机标定；极线几何；立体匹配；区域生长；三角剖分
中图分类号：ＴＰ３９１文献标识码：Ａ文章编号：１６７３４７８５（２００９）０６旬５１３加８
３Ｄｆ．ａｃｅｒｅｃｏｎｓｔｒｕｃｔｉｏｎｕｓｉｎｇｂｉｎｏｃｕ【ｌａｒｓｔｅｒｅｏＶｉｓｉｏｎ
ＪＩＡＢｅｉ＿ｂｅｉ，ＲＵＡＮＱｉｕ—ｑｉ
（Ｓｃｈ００ｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＩｎｆｏｒｍａｔｉｏｎＴｅｃｈｎｏｌｏｇｙ，ＢｅｉｊｉｎｇＪｉａｏｔｏｎｇＵｎｉＶｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇｌ（）００４４，Ｃｈｉｍ）
Ａｂｓｔｒａｃｔ：Ｇｅｎｅｒａｔｉｏｎｏｆｌｉｆｅｌｉｋｅ３Ｄｈｕｍａｎｆａｃｅｓｉｓａｃｈａｌｌｅｎｇｉｎｇｔａｓｋ．Ｒｅｃｅｎｔｉｎｃｒｅａｓｅｓｉｎｔｈｅｕｓｅｏｆ３Ｄｆａｃｅｍｏｄ－ｅｌｓｉｎｖｉｒｔｕａｌｒｅａｌｉｔｙ，ｖｉｄｅｏｓｕｒｖｅｉｌｌａｎｃｅ，３Ｄａｎｉｍａｔｉｏｎ，ａｎｄｆａｃｅｒｅｃｏｇｎｉｔｉｏｎｈａｖｅｌｅｄｔｏ３Ｄｆａｃｅｒｅｃｏｎｓｔｍｃｔｉｏｎｂｅ—ｃｏｍｉｎｇａｒｅｓｅａｒｃｈｈｏｔｓｐｏｔ．Ｔｈｅａｕｔｈｏｒｓｐｍｐｏｓｅｄａ
３ＤｆａｃｅｒｅｃｏｎｓｔｍｃｔｉｏｎｍｅｔｈｏｄｂａｓｅｄｏｎｂｉｎｏｃｕｌａｒｓｔｅｒｅｏＶｉｓｉｏｎｔｈｅｏｒｙ．Ａｆｔｅｒｃａｐｔｕｒｉｎｇｔｈｅｆ而ｎｔｖｉｅｗｏｆａｆａｃｅｗｉｔｈｔｗｏｃａｌｉｂｍｔｅｄｃａｍｅｒａｓ，ｔｈｅｃａｐｔｕｒｅｄｐａｉｒｏｆｓｔｅｒｅｏｉｍａｇｅｓｗｅｒｅＩ℃ｃｔｉｎｅｄｔｏａｌｉｇｎｔｈｅｉｒｅｐｉｐｏｌａｒｌｉｎｅｓａｎｄｃｏｍｐｅｎｓａｔｅｆｂｒｉｍａｇｅｄｉｓｔｏｒｔｉｏｎｓ．Ｔｏｏｂｔａｉｎｍａｐｓｗｉｔｈａｃｃｕｍｔｅｍａｔｃｈｉｎｇａｎｄｄｅｎｓｅｄｉｓｐａｒｉｔｙ，ａｓｔｅｒｅｏｍａｔｃｈｉｎｇａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎｒｅｇｉｏｎｇｒｏｗｉｎｇｗａｓｄｅＶｅｌｏｐｅｄ．Ａｎｅｄｇｅｆｅａｔｕｒｅｐｏｉｎｔｗｉｔｈｒｅｌｉａｂｌｅｄｉｓｐａｒｉｔｙｗａｓｓｅｌｅｃｔｅｄａｓａｓｅｅｄｐｏｉｎｔ．Ｔｈｅｎｒｅｇｉｏｎｇｒｏｗｉｎｇｗａｓｐｅｄｂ瑚ｅｄａｌｏｎｇｈｏｒｉｚｏｎｔａｌｓｃａｎ—ｌｉｎｅｓｕｎｄｅｒｍｕｌｔｉ－ｃｏｎｓｔｒａｉｎｔｓ．ＷｉｔｈｃａｍｅＩ－ａｃａｌｉｂｒａｔｉｏｎａｎｄｄｉｓｐａ“ｔｙｍａｐｐｉｎｇ，３Ｄｃｏｏｒｄｉｎａｔｅｓｏｆｃｏｒｒｅｓｐｏｎｄｉｎｇｐｏｉｎｔｓｗｅｒｅｃａｌｃｕｌａｔｅｄ．Ｔｈｅｎｔｈｅｆａｃｅｍｏｄｅｌｗａｓｒｅｃｏｎｓｔｍｃｔｅｄｗｉｔｈａｓｅｒｉｅｓｏｆｍｅｔｈｏｄｓ，ｓｕｃｈａｓ【）ｅｌａｕｎａｙｔｒｉａｎｇｕｌａｔｉｏｎ，ｍｅｓｈｓｕｂｄｉｖｉｓｉｏｎａｎｄｓｍｏｏｔｈｉｎｇ．Ｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｅｄｔｈａｔｔｈｅｍｅｔｈｏｄｃａｎｇｅｎｅｒａｔｅａｓｍｏｏｔｈａｎｄｌｉｆｅｌｉｋｅ３Ｄｆａｃｅｍｏｄｅｌ．
Ｋｅｙｗｏｒｄｓ：３Ｄｆａｃｅｍｏｄｅｌ；ｂｉｎｏｃｕｌａｒｓｔｅｒｅｏｖｉｓｉｏｎ；ｃａｍｅｍｃａｌｉｂｒａｔｉｏｎ；ｅｐｉｐ０１ａｒｇｅｏｍｅｔｒｙ；ｓｔｅｒｅｏｍａｔｃｈｉｎｇ；ｒｅｇｉｏｎｇｒｏｗｉｎｇ；ｄｅｌａｕｎａｙｔｄａｎｇｕｌａｔｉｏｎ
由于人脸信息在人类日常生活和生产实践中起着十分重要的作用，而人脸重建提供了表达和处理人脸信息的有效手段，因此三维人脸重建是一项具
收稿日期：２００９旬４一１５．
基金项目：国家自然科学基金资助项目（６０６７２０６２）；高等学校博士学科点专项科研基金资助项目（２００８０００４０００８）．
通信作者：贾贝贝．Ｅ—ｍａｉｌ：ｊｉａｂｅｉｂｅｉ０１２９＠１６３．ｃｏｍ．有重大意义的研究课题．自２０世纪７０年代Ｐａｒｋｅ建立第一个脸部模型¨ｏ开始，许多研究人员致力于三维人脸建模的研究．近年来，随着三维人脸模型在虚拟现实、三维动画、视频监控、人脸识别等领域的广泛应用，三维人脸重建已经成为计算机图像和计算机视觉领域的一个研究热点．然而，由于人脸具有复杂的几何形状和表面材质，同时头发的模拟、逼真
万方数据
机器视觉—三维重建技术简介
三维重建技术简介 一、视觉理论框架 1982年，Marr立足于计算机科学，首次从信息处理的角度系统的概括了心理生理学、神经生理学等方面已经取得的重要成果,提出了一个迄今为止比较理想的视觉理论框架。尽管Marr提出的这个视觉理论框架仍然有可以进行改进和完善的瑕疵,但是在近些年,人们认为,计算机视觉这门学科的形成和发展和该框架密不可分。 第一方面,视觉系统研究的三个层次。 Marr认为,视觉是一个信息处理系统,对此系统研究应分为三个层次:计算理论层次,表示与算法层次,硬件实现层次,如下图所示: 计算机理论层次是在研究视觉系统时首先要进行研究的一层。在计算机理论层次，要求研究者回答系统每个部分的计算目的与计算策略，即视觉系统的输入和输出是什么，如何由系统的输入求出系统的输出。在这个层次上，将会建立输入信息和输出信息的一个映射关系，比如，系统输入是二维灰度图像，输出则是灰度图像场景中物体的三维信息。视觉系统的任务就是研究如何建立输入输出之间的关系和约束，如何由二维灰度图像恢复物体的三维信息。 在表示与算法层次，要给出第一层中提到的各部分的输入信息、输出信息和内部信息的表达，还要给出实现计算理论所对应的功能的算法。对于同样的输入，如果计算理论不同，可能会产生不同的输出结果。 最后一个层次是硬件实现层次。在该层次，要解决的主要问题就是将表示与算法层次所提出的算法用硬件进行实现。 第二方面，视觉信息处理的三个阶段。 Marr认为，视觉过程分为三个阶段，如表所示：
第一阶段，也称为早期阶段，该阶段是求取基元图的阶段，该阶段对原始图像进行处理，提取出那些能够描述图像大致三维形状二维特征，这些特征的集合构成所构成的就是基元图(primary sketch)"。 第二阶段也称中期阶段，是对环境的2.5维描述，这个阶段以观察者或者摄像机为中心，用基元图还原场景的深度信息，法线方向(或一说物体表面方向)等，但是在该阶段并没有对物体进行真正的三维恢复，因此称为2.5维。 第三阶段也称为后期阶段，在一个固定的坐标系下对2.5维图进行变换，最终构造出场景或物体的三维模型。 二、三维重建技术现状 目前三维重建的方法大致可分为三类，即:用建模软件构造的方式，多幅二维图像匹配重建的方式以及三维扫描重建的方式。 对于第一种方式，目前使用比较广泛的是3D Max, Maya, Auto Cad以及MultiGen-Creator等软件。这些三维建模软件，一般都是利用软件提供的一些基本几何模型进行布尔操作或者平移旋转缩放等操作，来创建比较复杂的三维模型。这样所构建出来的模型，比较美观，而且大小比例等非常精确。然而，这需要建模者精确知道三维场景的尺寸、物体位置等信息，如果没有这些信息，就无法建立精准的模型。 第二种方式是利用实时拍摄的图像或者视频恢复场景的三维信息。这种方式是基于双目立体视觉，对同一物体拍摄不同角度的图像，对这些图像进行立体匹
三维重建综述
三维重建综述 三维重建方法大致分为两个部分1、基于结构光的（如杨宇师兄做的）2、基于图片的。这里主要对基于图片的三维重建的发展做一下总结。 基于图片的三维重建方法： 基于图片的三维重建方法又分为双目立体视觉；单目立体视觉。 A双目立体视觉： 这种方法使用两台摄像机从两个(通常是左右平行对齐的，也可以是上下竖直对齐的)视点观测同一物体，获取在物体不同视角下的感知图像，通过三角测量的方法将匹配点的视差信息转换为深度，一般的双目视觉方法都是利用对极几何将问题变换到欧式几何条件下，然后再使用三角测量的方法估计深度信息这种方法可以大致分为图像获取、摄像机标定、特征提取与匹配、摄像机校正、立体匹配和三维建模六个步骤。王涛的毕业论文就是做的这方面的工作。双目立体视觉法的优点是方法成熟，能够稳定地获得较好的重建效果，实际应用情况优于其他基于视觉的三维重建方法，也逐渐出现在一部分商业化产品上;不足的是运算量仍然偏大，而且在基线距离较大的情况下重建效果明显降低。 代表文章：AKIMOIO T Automatic creation of3D facial models1993 CHEN C L Visual binocular vison systems to solid model reconstruction 2007 B基于单目视觉的三维重建方法: 单目视觉方法是指使用一台摄像机进行三维重建的方法所使用的图像可以是单视点的单幅或多幅图像，也可以是多视点的多幅图像前者主要通过图像的二维特征推导出深度信息，这些二维特征包括明暗度、纹理、焦点、轮廓等，因此也被统称为恢复形状法（shape from X） 1、明暗度（shape from shading SFS） 通过分析图像中的明暗度信息，运用反射光照模型，恢复出物体表面法向量信息进行三维重建。SFS方法还要基于三个假设a、反射模型为朗伯特模型，即从各个角度观察，同一点的明暗度都相同的;b、光源为无限远处点光源;c、成像关系为正交投影。 提出：Horn shape from shading：a method for obtaining the shape of a smooth opaque object from one view1970(该篇文章被引用了376次) 发展：Vogel2008年提出了非朗伯特的SFS模型。 优势：可以从单幅图片中恢复出较精确的三维模型。 缺点：重建单纯依赖数学运算，由于对光照条件要求比较苛刻，需要精确知道光源的位置及方向等信息，使得明暗度法很难应用在室外场景等光线情况复杂的三维重建上。 2、光度立体视觉（photometric stereo） 该方法通过多个不共线的光源获得物体的多幅图像，再将不同图像的亮度方程联立，求解出物体表面法向量的方向，最终实现物体形状的恢复。 提出：Woodham对SFS进行改进（1980年）：photometric method for determining surface orientation from multiple images(该文章被引用了891次) 发展：Noakes：非线性与噪声减除2003年； Horocitz：梯度场合控制点2004年； Tang：可信度传递与马尔科夫随机场2005年； Basri：光源条件未知情况下的三维重建2007年； Sun：非朗伯特2007年； Hernandez：彩色光线进行重建方法2007年；
基于双目立体视觉三维重建系统的制作流程
本技术公开了一种基于双目立体视觉三维重建系统，涉及三维重建系统技术领域；机箱的底部四角处均固定安装有行走轮，机箱的内部分别固定安装有蓄电池与处理计算机，机箱的上端分别固定安装有显示器与安装架，安装架上通过轴承座固定安装有主轴，主轴的下端固定安装有安装齿轮，安装齿轮与驱动齿轮相啮合，驱动齿轮固定安装有驱动电机的轴上，驱动电机通过螺栓安装在安装架上，主轴的上端固定安装有连接轴，连接轴为横向设置，连接轴的两端固定安装有双摄像头，连接轴的中上端固定安装有照明灯；本技术能够实现快速控制，稳定性高，且控制准确，操作简便，能够节省时间；使用方便，结构简单，且效率高，能够在检测时进行补光。 技术要求
1.一种基于双目立体视觉三维重建系统，其特征在于：包括机箱、行走轮、蓄电池、处理计算机、显示器、安装架、驱动齿轮、驱动电机、安装齿轮、主轴、连接轴、双摄像头、照明灯；机箱的底部四角处均固定安装有行走轮，机箱的内部分别固定安装有蓄电池与处理计算机，机箱的上端分别固定安装有显示器与安装架，安装架上通过轴承座固定安装有主轴，主轴的下端固定安装有安装齿轮，安装齿轮与驱动齿轮相啮合，驱动齿轮固定安装有驱动电机的轴上，驱动电机通过螺栓安装在安装架上，主轴的上端固定安装有连接轴，连接轴为横向设置，连接轴的两端固定安装有双摄像头，连接轴的中上端固定安装有照明灯，蓄电池通过导线与处理计算机、显示器的电源端电连接，双摄像头通过导线与处理计算机的输入端电连接，处理计算机的输出端分别与驱动电机、照明灯电连接，显示器与处理计算机的输入、输出端电连接。 2.根据权利要求1所述的一种基于双目立体视觉三维重建系统，其特征在于：所述显示器为触摸式显示屏。 3.根据权利要求1所述的一种基于双目立体视觉三维重建系统，其特征在于：所述行走轮为减震式万向行走轮。 4.根据权利要求1所述的一种基于双目立体视觉三维重建系统，其特征在于：所述驱动电机为低速电机。 5.根据权利要求1所述的一种基于双目立体视觉三维重建系统，其特征在于：所述照明灯为LED灯。 技术说明书 一种基于双目立体视觉三维重建系统 技术领域 本技术属于三维重建系统技术领域，具体涉及一种基于双目立体视觉三维重建系统。 背景技术
双目视觉成像原理
双目视觉成像原理 1.引言 双目立体视觉(Binocular Stereo Vision)是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。融合两只眼睛获得的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别，我们称作视差(Disparity)图。 双目立体视觉测量方法具有效率高、精度合适、系统结构简单、成本低等优点，非常适合于制造现场的在线、非接触产品检测和质量控制。对运动物体（包括动物和人体形体）测量中，由于图像获取是在瞬间完成的，因此立体视觉方法是一种更有效的测量方法。双目立体视觉系统是计算机视觉的关键技术之一，获取空间三维场景的距离信息也是计算机视觉研究中最基础的内容。 2.双目立体视觉系统 立体视觉系统由左右两部摄像机组成。如图一所示，图中分别以下标L和r标注左、右摄像机的相应参数。世界空间中一点A(X，Y，Z)在左右摄像机的成像面C L和C R上的像点分别为al(ul，vl)和ar(ur，vr)。这两个像点是世界空间中同一个对象点A的像，称为“共轭点”。知道了这两个共轭像点，分别作它们与各自相机的光心Ol和Or的连线，即投影线alOl和arOr，它们的交点即为世界空间中的对象点A(X，Y，Z)。这就是立体视觉的基本原理。 图1：立体视觉系统 3.双目立体视觉相关基本理论说明 3．1 双目立体视觉原理 双目立体视觉三维测量是基于视差原理，图2所示为简单的平视双目立体成像原理图，两摄像机的投影中心的连线的距离，即基线距为b。摄像机坐标系的原点在摄像机镜头的光心处，坐标系如图2所示。事实上摄像机的成像平面在镜头的光心后，图2中将左右成像平面绘制在镜头的光心前f处，这个虚拟的图像平面坐标系O1uv的u轴和v轴与和摄像机坐标系的x轴和y轴方向一致，这样可以简化计算过程。左右图像坐
双目视觉成像原理讲解学习
双目视觉成像原理
双目视觉成像原理 1.引言 双目立体视觉(Binocular Stereo Vision)是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。融合两只眼睛获得的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别，我们称作视差(Disparity)图。 双目立体视觉测量方法具有效率高、精度合适、系统结构简单、成本低等优点，非常适合于制造现场的在线、非接触产品检测和质量控制。对运动物体（包括动物和人体形体）测量中，由于图像获取是在瞬间完成的，因此立体视觉方法是一种更有效的测量方法。双目立体视觉系统是计算机视觉的关键技术之一，获取空间三维场景的距离信息也是计算机视觉研究中最基础的内容。2.双目立体视觉系统 立体视觉系统由左右两部摄像机组成。如图一所示，图中分别以下标L和r标注左、右摄像机的相应参数。世界空间中一点A(X，Y，Z)在左右摄像机的成像面C L和C R上的像点分别为al(ul，vl)和ar(ur，vr)。这两个像点是世界空间中同一个对象点A的像，称为“共轭点”。知道了这两个共轭像点，分别作它们与各自相机的光心Ol和Or的连线，即投影线alOl和arOr，它们的交点即为世界空间中的对象点A(X，Y，Z)。这就是立体视觉的基本原理。
图1：立体视觉系统 3.双目立体视觉相关基本理论说明 3．1 双目立体视觉原理 双目立体视觉三维测量是基于视差原理，图2所示为简单的平视双目 立体成像原理图，两摄像机的投影中心的连线的距离，即基线距为b 。摄像机坐标系的原点在摄像机镜头的光心处，坐标系如图2所示。事实上摄像机的成像平面在镜头的光心后，图2中将左右成像平面绘制在镜头的光心前f 处，这个虚拟的图像平面坐标系O1uv 的u 轴和v 轴与和摄像机坐标系的x 轴和y 轴方向一致，这样可以简化计算过程。左右图像坐标系的原点在摄像机光轴与平面的交点O1和O2。空间中某点P 在左图像和右图像中相应的坐标分别为P1(u1,v1)和P2(u2,v2)。假定两摄像机的图像在同一个平面上，则点P 图像坐标的Y 坐标相同，即v1=v2。由三角几何关系得到: c c 1z x f u = c c 2z ）b -x （f u = v 1 c c 21z y f v v ==
双目立体视觉的水下应用
双目立体视觉的水下应用 从图像预处理、相机标定、立体匹配三个方面论述了双目视觉在水下场景的应用，比较了与空气环境中应用的不同，对水下双目视觉发展趋势做了分析。 标签：水下双目视觉；相机标定；立体匹配 Abstract：This paper discusses the application of binocular vision in underwater scene from three aspects of image preprocessing，camera calibration and stereo matching，compares the application of binocular vision with that in air environment，and analyzes the development trend of underwater binocular vision. Keywords：underwater binocular vision；camera calibration；stereo matching 引言 双目立体视觉技术利用视差理论恢复像素的深度信息和三维坐标，通过获取左右两个视角下同时采集的两幅图像恢复三维场景信息，还原真实的三维世界，为导航提供目标的位置信息描述，是被动式视觉测量技术的一种。作为计算机视觉的一个重要分支，双目立体视觉技术模型简洁，运算高效，有着广阔的应用前景。而随着海洋科学技术的发展和人类对海洋资源探索的逐渐深入，双目视觉技术逐渐被应用到海洋探测，在对水下目标的监控、海底地形测绘、海流测量、水下军事设施的探测和侦查等方面都有着广泛的应用。 双目立体视觉系统模拟人眼，通过三角测量原理来获取图像的视差，进而得到目标三维信息，一般由以下几个功能模块组成：图像采集，相机标定，立体匹配，三维重建。常规的双目视觉大多是在单一介质的空气中，而由于水下环境的特殊性，往往存在光的散射，吸收效应等不利因素的干扰，相关技术方法也应随环境作适应性调整。本文从图像处理，相机标定，立体匹配这三个方面在水下场景的应用做了论述，阐明了与单一空气介质环境中的不同，并对水下双目立体视觉技术的发展做了展望。 1 成像模型 双目立体视觉用到的模型一般是线性的针孔模型，该模型是双目立体视觉中成像的基本模型，将相机理想化，并把空间点投影视为中心，投影未考虑镜头畸变和环境等其他因素，所以也叫线性摄像机模型。而水下成像模型则是考虑到折射的影响，对此做相应补偿和修正。 在双目立体视觉系统中，为了研究空间点和像点的投影关系，通常会用到4个坐标系：世界坐标系OW-XWYWXW、相机坐标系O-xyz、图像物理坐标系O-XY和图像像素坐标系Of-uv。
双目视觉三维重构公式
双目视觉三维重构总结 1 照相机成像过程 数码照相机的成像过程可通过四个坐标系的三次转换来表达，这四个坐标系分别为：（1）世界坐标系—根据自然环境所选定的坐标系，坐标用（w w w Z Y X ,,）来表示。（2）光心坐标系（相机坐标系）—以相机的光心O 为坐标原点，c X 轴、c Y 轴分别平行于CCD 平面的两条垂直边，c Z 轴与相机的光轴重合，坐标用（c c c Z Y X ,,）来表示。 （3）图像坐标系—坐标原点l O 在CCD 图像片面的中心，X 轴、Y 轴分别为平行于CCD 平面的两条垂直边，坐标用（x ，y ）表示。（4）像素坐标系—坐标原点o O 在CCD 图像平面的左上角，U 轴、V 轴分别平行于图像坐标系的X 轴、Y 轴，坐标用（u ，v ）来表示，该坐标值为离散的整数值。 图表 1 数码相机成像坐标系 三个转换过程分别是：（1）将世界坐标系中的信息转换到光心坐标系。（2）光心坐标系中的信息按照针孔模型规律转换到图像坐标系。（3）
最后由图像坐标系转换成像素坐标系。 光学成像的理论模型是针孔模型，根据这个模型，空间任一点P 由光心坐标系向图像坐标系的转换过程符合中心射影或透视投影理论，在图像坐标系中的投影P 可以用光心O 与P 点的连线与图像坐标系平面的交点来表示，数学表达如下： c c z x f x ?= c c z y f y ?= 其中（x,y ）是P 点的图像坐标，（c c c Z Y X ,,）为空间点P 在光心坐标系下的坐标，f 为相机焦距。可以用齐次坐标与矩阵表示上述中心影射关系： ????? ?????????????????=??????????101 000000 1c c c c z y x f f y x z 图像坐标系与像素坐标系之间的转换关系如下： 0u dx x u += 0v dy y v += 其中dx 、dy 分别是表示CCD 在x 和y 方向的像素点间距。齐次坐标及矩阵表示如下： ?? ???????????????? ??????? ?=??????????1100 100 1100y x v dy u dx v u
双目立体视觉技术的实现及其进展
双目立体视觉技术的实现及其进展 摘要：阐述了双目立体视觉技术在国内外应用的最新动态及其优越性。指出双目体视技术的实现分为图像获取、摄像机标定、特片提取、立体匹配和三维重建几个步骤，详细分析了各个步骤的技术特点、存在的问题和解决方案，并对双目体视技术的发展做了展望。 关键词：双目立体视觉计算机视觉立体匹配摄像机标定特征提取 双目立体视觉是计算机视觉的一个重要分支，即由不同位置的两台或者一台摄像机（CCD）经过移动或旋转拍摄同一幅场景，通过计算空间点在两幅国像中的视差，获得该点的三维坐标值。80年代美国麻省理工学院人工智能实验室的Marr提出了一种视觉计算理论并应用在双睛匹配上，使两张有视差的平面图产生在深度的立体图形，奠定了双目立体视觉发展理论基础。相比其他类的体视方法，如透镜板三维成像、投影式三维显示、全息照相术等，双目本视直接模拟人类双眼处理景物的方式，可靠简便，在许多领域均极具应用价值，如微操作系统的位姿检测与控制、机器人导航与航测、三维测量学及虚拟现实等。 1 双目体视的技术特点 双目标视技术的实现可分为以下步骤：图像获取、摄像机标定、特征提取、图像匹配和三维重建，下面依次介绍各个步骤的实现方法和技术特点。 1.1 图像获取 双目体视的图像获取是由不同位置的两台或者一台摄像机（CCD）经过移动或旋转拍摄同一幅场景，获取立体图像对。其针孔模型如图1。假定摄像机C1与C2的角距和内部参数都相等，两摄像机的光轴互相平行，二维成像平面X1O1Y1和X2O2Y2重合，P1与P2分别是空间点P在C1与C2上的成像点。但一般情况下，针孔模型两个摄像机的内部参数不可能完成相同，摄像机安装时无法看到光轴和成像平面，故实际中难以应用。 上海交大在理论上对会摄式双目体视系统的测量精度与系统结构参数之间的关系作了详尽分析，并通过试验指出，对某一特定点进行三角测量。该点测量误差与两CCD光轴夹角是一复杂的函数关系；若两摄像头光轴夹角一定，则被测坐标与摄像头坐标系之间距离越大，测量得到点距离的误差就越大。在满足测量范围的前提下，应选择两CCD之间夹角在50℃～80℃之间。 1.2 摄像机的标定 对双目体视而言，CCD摄像机、数码相机是利用计算机技术对物理世界进行重建前的基本测量工具，对它们的标定是实现立体视觉基本而又关键的一步。通常先采用单摄像机的标定方法，分别得到两个摄像机的内、外参数；再通过同一世界坐标中的一组定标点来建立两个摄像机之间的位置关系。目前常用的单摄像机标定方法主要有： （1）摄影测量学的传统设备标定法。利用至少17个参数描述摄像机与三维物体空间的结束关系，计算量非常大。 （2）直接线性变换性。涉及的参数少、便于计算。 （3）透视变换短阵法。从透视变换的角度来建立摄像机的成像模型，无需初始值，可进行实时计算。 （4）相机标定的两步法。首先采用透视短阵变换的方法求解线性系统的摄像机参数，再以求得的参数为初始值，考虑畸变因素，利用最优化方法求得非线性解，标定精度较高。 （5）双平面标定法。 在双摄像机标定中，需要精确的外部参数。由于结构配置很难准确，两个摄像机的距离
双目立体视觉
双目立体视觉 双目立体视觉的研究一直是机器视觉中的热点和难点。使用双目立体视觉系统可以确定任意物体的三维轮廓，并且可以得到轮廓上任意点的三维坐标。因此双目立体视觉系统可以应用在多个领域。现说明介绍如何基于HALCON实现双目立体视觉系统，以及立体视觉的基本理论、方法和相关技术，为搭建双目立体视觉系统和提高算法效率。 双目立体视觉是机器视觉的一种重要形式，它是基于视差原理并由多幅图像获取物体三维几何信息的方法。双目立体视觉系统一般由双摄像机从不同角度同时获得被测物的两幅数字图像，或由单摄像机在不同时刻从不同角度获得被测物的两幅数字图像，并基于视差原理恢复出物体的三维几何信息，重建物体三维轮廓及位置。双目立体视觉系统在机器视觉领域有着广泛的应用前景。 HALCON是在世界范围内广泛使用的机器视觉软件。它拥有满足您各类机器视觉应用需求的完善的开发库。HALCON也包含Blob分析、形态学、模式识别、测量、三维摄像机定标、双目立体视觉等杰出的高级算法。HALCON支持Linux和Windows，并且可以通过C、C++、C#、Visual Basic和Delphi 语言访问。另外HALCON与硬件无关，支持大多数图像采集卡及带有DirectShow和IEEE 1394驱动的采集设备，用户可以利用其开放式结构快速开发图像处理和机器视觉应用软件。 一．双目立体视觉相关基本理论说明 1．1 双目立体视觉原理 双目立体视觉三维测量是基于视差原理，图1所示为简单的平视双目立体成像原理图，两摄像机的投影中心的连线的距离，即基线距为b。摄像机坐标系的原点在摄像机镜头的光心处，坐标系如图1所示。事实上摄像机的成像平面在镜头的光心后，图1中将左右成像平面绘制在镜头的光心前f处，这个虚拟的图像平面坐标系O1uv的u轴和v轴与和摄像机坐标系的x轴和y轴方向一致，这样可以简化计算过程。左右图像坐标系的原点在摄像机光轴与平面的交点O1和O2。空间中某点P在左图像和右图像中相应的坐标分别为P1(u1,v1)和P2(u2,v2)。假定两摄像机的图像在同一个平面上，则点P图像坐标的Y坐标相同，即v1=v2。由三角几何关系得到: 上式中（xc，yc，zc）为点P在左摄像机坐标系中的坐标，b为基线距，f为两个摄像机的焦距，（u1，v1）和（u2，v2）分别为点P在左图像和右图像中的坐标。 视差定义为某一点在两幅图像中相应点的位置差: 图1 双目立体成像原理图图3 一般双目立体视觉系统原理图
双目立体视觉技术简介
双目立体视觉技术简介 1. 什么是视觉 视觉是一个古老的研究课题，同时又是人类观察世界、认知世界的重要功能和手段。人类从外界获得的信息约有75%来自视觉系统，用机器模拟人类的视觉功能是人们多年的梦想。视觉神经生理学，视觉心里学，特别是计算机技术、数字图像处理、计算机图形学、人工智能等学科的发展，为利用计算机实现模拟人类的视觉成为可能。在现代工业自动化生产过程中，计算机视觉正成为一种提高生产效率和检验产品质量的关键技术之一，如机器零件的自动检测、智能机器人控制、生产线的自动监控等;在国防和航天等领域，计算机视觉也具有较重要的意义，如运动目标的自动跟踪与识别、自主车导航及空间机器人的视觉控制等。人类视觉过程可以看作是一个从感觉到知觉的复杂过程，从狭义上来说视觉的最终目的是要对场景作出对观察者有意义的解释和描述；从广义上说，是根据周围的环境和观察者的意愿，在解释和描述的基础上做出行为规划或行为决策。计算机视觉研究的目的使计算机具有通过二维图像信息来认知三维环境信息的能力，这种能力不仅使机器能感知三维环境中物体的几何信息(如形状、位置、姿态运动等)，而且能进一步对它们进行描述、存储、识别与理解，计算机视觉己经发展起一套独立的计算理论与算法。 2. 什么是计算机双目立体视觉 双目立体视觉(Binocular Stereo Vision)是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。融合两只眼睛获得的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别，我们称作视差(Disparity)图像，如图一。 图一、视差（Disparity）图像 双目立体视觉测量方法具有效率高、精度合适、系统结构简单、成本低等优点，非常适合于制造现场的在线、非接触产品检测和质量控制。对运动物体（包括动物和人体形体）测量中，由于图像获取是在瞬间完成的，因此立体视觉方法是一种更有效的测量方法。 双目立体视觉系统是计算机视觉的关键技术之一，获取空间三维场景的距离信息也是计算机视觉研究中最基础的内容。 双目立体视觉的开创性工作始于上世纪的60年代中期。美国MIT的Roberts通过从数字图像中提取立方体、楔形体和棱柱体等简单规则多面体的三维结构，并对物体的形状和空间关系
双目立体视觉
计算机双目立体视觉 双目立体视觉技术是仿照人类利用双目线索感知深度信息的方法，实现对三维信息的感知。为解决智能机器人抓取物体、视觉导航、目标跟踪等奠定基础。 双目立体视觉（Binocular Stereo Vision ）是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点之间的位置偏差，来获取物体三维几何信息的方法。融合两只眼睛获取的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别，我们称作为视差（Disparity ）图像。 双目立体视觉系统 立体视觉系统由左右两部摄像机组成，如图，世界空间中的一点A(X,Y ,Z)在左右摄像机的成 像面1C 和r C 上的像点分别为）（111,v u a 和） （r r r v u a ,。这两个像点是世界空间中同一个对象点A 的像，称为“共轭点”。知道了这两个共轭像点，分别作它们与各自相机的光心1O 和r O 的连线，即投影线11O a 和r r O a ，它们的交点即为世界空间中的对象点A 。这就是立体视觉的基本原理。 双目立体视觉智能视频分析技术 恢复场景的3D 信息是立体视觉研究中最基本的目标，为实现这一目标，一个完整的立体视觉系统通常包含六个模块：图像获取、摄像机标定、特征提取、立体匹配、三维恢复和视频
分析（运动检测、运动跟踪、规则判断、报警处理）。 图像获取（Image Acquisition ） 数字图像的获取是立体视觉的信息来源。常用的立体视觉图像一般为双目图像，有的采用夺目图像。图像的获取方式有很多种，主要有具体运用的场合和目的决定。立体图像的获取不仅要满足应用要求，而且考虑视点差异、光照条件、摄像机的性能和场景特点等方面的影像。 摄像机标定（Camera Calibration ） 图像上每一点的亮度反映了空间物体表面某点反射光的强度，而该点在图像上的位置则与空 间物体表面相应点的几何位置有关。这些位置的相互关系由摄像机成像几何模型来决定。该几何模型的参数称为摄像机参数，这些参数必须由实验与计算来确定，实验与计算的过程称为摄像机定标。 立体视觉系统摄像机标定是指对三维场景中对象点在左右摄像机图像平面上的坐标位置）（111,v u a 和） （r r r v u a ,与其世界空间坐标A （X, Y , Z ）之间的映射关系的确立，是实现立体视觉三维模型重构中基本且关键的一步。 特征提取（Feature Acquisition ） 特征提取的目的是获取匹配得以进行的图像特征，图像特征的性质与图像匹配的方法选择有着密切的联系。目前，还没有建立起一种普遍适用的获取图像特征的理论，因此导致了立体视觉研究领域中匹配特征的多样化。像素相位匹配是近二十年才发展起来的一类匹配算法。相位作为匹配基元，本身反映着信号的结构信息，对图像的高频噪声有很好的一直作用，适于并行处理，能获得亚像素级精度的致密视差。但存在相位奇点和相位卷绕的问题，需加入自适应滤波器解决。或者是像素的集合，也可以是它们的抽象表达，如图像的结构、图像的目标和关系结构等。常用的匹配特征主要有点状特征、线装特征和区特征等几种情形。 一般而言，尺度较大的图像特征蕴含较多的图片信息，且特征本身的数目较少，匹配效率高；但特征提取和描述过程存在较大的困难，定位精度也较差。而对于尺度较小的图像特征来说，对其进行表达和描述相对简单，定位的精度高；但由于特征本身数码较多，所包含的图像信息少，在匹配时需要采用较为严格的约束条件和匹配策略，一尽可能的减少匹配歧义和提高匹配效率。总的来说，好的匹配特征应该具有要可区分性、不变性、唯一性以及有效解决匹配歧义的能力。 图像匹配（Image Matching ） 在立体视觉中，图像匹配是指将三维空间中一点A （X, Y , Z ）在左右摄像机的成像面1C 和r C 上的像点）（111,v u a 和） （r r r v u a ,对应起来。图像匹配是立体视觉中最重要也是最困难的问题，一直是立体视觉研究的焦点。当空间三维场景经过透视投影（Perspective Projection ）变换为二维图像时，同一场景在不同视点的摄像机图像平面上成像会发生不同程度的扭曲和变形，而且场景中的光照条件、被测对象的几何形状和表面特性、噪声干扰和畸变、摄像机特性等诸多因素的影响都被集中体现在单一的图像灰度值中。显然，要包含了如此之多不利因素的图像进行精准的匹配是很不容易的。
双目立体视觉中的三维重建
西安邮电大学 毕业设计（论文）题目：双目立体视觉中的三维重建 系别：自动化学院 专业：测控技术与仪器 班级：测控0802班 学生姓名：吕海斌（07） 导师姓名：江祥奎职称：讲师 起止时间：2012年3月8日至2012年6月20
诚信声明书 本人声明：我将提交的毕业论文《双目立体视觉中的三维重建》是我在指导教师指导下独立研究、写作的成果，论文中所引用他人的无论以何种方式发布的文字、研究成果，均在论文中加以说明：有关教师、同学和其他人员对本文的写作、修订提出过并为我再论文中加以采纳的意见、建议，均已在我的致谢中加以说明并深致谢意。 论文作者吕海斌时间：2012年6 月7 日 指导教师已阅时间：年月日
西安邮电大学 毕业设计(论文)任务书 学生姓名吕海斌指导教师江祥奎职称讲师 院别自动化学院专业测控0802 题目双目立体视觉中的三维重建 任务与要求 本题目要求在搭建双目立体视觉平台的基础上，通过OpenGL和MATLAB联合编程实现三维重建功能。具体任务分解如下： 1．查找文献，学习和掌握三维重建方法； 2．完成三维重建的MATLAB编程，并对实验数据进行相关分析；3．通过OpenGL，实例编程实现三维重建； 4．通过OpenGL和MATLAB联合编程，完成三维重建； 开始日期2011年12月10日完成日期2012年6月25日 院长(签字) 2012 年12 月日
西安邮电大学 毕业设计 (论文) 工作计划 学生姓名__吕海斌_指导教师__江祥奎__职称__讲师_ 院别____自动化学院____专业____测控0802___ 题目_____ 双目立体视觉中的三维重建 工作进程
两组双目立体深度图像信息融合与三维重建方法
第49卷第2期激光与红外Vol.49，No.2 2019年2月 LASER ＆ INFRARED February，2019 文章编号：1001-5078（2019）02-0246-05·图像与信号处理·两组双目立体深度图像信息融合与三维重建方法 王中任1，郭晓康1，2，赵刚2，3 （1.湖北文理学院机械工程学院，湖北襄阳441053；2.武汉科技大学机械自动化学院，湖北武汉430081； 3.机械传动与制造工程湖北省重点实验室，湖北武汉430081） 摘要：获取工件目标的三维表面与深度信息是实现工业立体视觉应用的关键。提出一种将 两组双目视觉系统结合的方法，对随机摆放的工件多方位采集图像并获得目标工件的三维表 面点云。其中，两组双目视觉系统会根据NCC（Normalized Cross Correlation）匹配算法产生工 作场景的两组视差图像，去噪分割之后对其立体深度信息进行提取，其过程中采用一种新颖的 转换方法，视差图像中每个坐标位置的像素点的x、y、z方向的立体深度信息分别被转化为X、 Y、Z图像中对应位置上像素的灰度值。采样两组立体深度数据，共同储存到标定完成的参考 相机坐标系中达到信息融合的目的。最后，对随机摆放的工业工件进行了的三维重构实验，对 于相互重叠、高度、姿势都不同的零件能较好的恢复出清晰的轮廓点云，在重叠区域也能产生 较为明显的层次性。 关键词：两组双目；深度信息融合；三维重构；图像匹配 中图分类号：TP391.4 文献标识码：A DOI：10.3969／j.issn.1001-5078.2019.02.021 Depth image information fusion and three-dimensional reconstruction method of double binocular stereo vision W ANG Zhong-ren1，GUO Xiao-kang1，2，ZHAO Gang2，3 （1.School of M echanical and Automotive Engineering，Hubei University of Arts and Science，Xiangyang441053，China； 2.School of M achinery and Automation，W uhan University of Science and Technology，W uhan430081，China； 3.M echanical Transmission and M anufacture Engineering Key Laboratory of Hubei Province，W uhan430081，China） Abstract：Obtaining the3D surface and depth information of the workpiece target is the key to realizing industrial ster- eo vision applications.A method of combining two sets of binocular vision systems was proposed.The randomly placed workpieces were acquired in multiple directions and the three-dimensional surface point cloud of the target workpiece was obtained.Among them，the two sets of binocular vision systems would generate two sets of parallax ima- ges of the working scene according to the NCC（Normalized Cross Correlation）matching algorithm，and correct the stereo depth information after segmentation and denoising.In the process，a novel conversion method was adopted，and parallax was adopted.The stereoscopic depth information of the pixel points of each coordinate position in the image in the x，y，and z directions was converted into the gray value of the pixel at the corresponding position in the X，Y，and Z images，respectively.The two sets of stereo depth data were sampled and stored together in the calibration reference camera coordinate system for information fusion.Finally，the3D reconstruction experiment of the randomly placed in- dustrial workpieces can restore the clear contour point cloud for parts with different overlap，height and posture，and al- so produce a clear level in the overlapping area. Key words：double binoculars；deep information fusion；3D reconstruction；image matching 基金项目：湖北省科技支撑计划项目（No.2015BAA034）；湖北省自然基金项目（No.2014CFB637）资助。 作者简介：王中任（1974－），男，博士，教授，研究方向为机器视觉技术。E-mail：xfu_wangzhongren＠https://www.360docs.net/doc/7114208487.html, 通讯作者：赵刚（1976－），男，博士，副教授，研究方向为绿色制造系统工程。E-mail：snowcampus＠https://www.360docs.net/doc/7114208487.html, 收稿日期：2018-07-08 万方数据
基于HALCON的双目立体视觉系统实现
基于HALCON的双目立体视觉系统实现 段德山（大恒图像公司） 摘要双目立体视觉的研究一直是机器视觉中的热点和难点。使用双目立体视觉系统可以确定任意物体的三维轮廓，并且可以得到轮廓上任意点的三维坐标。因此双目立体视觉系统可以应用在多个领域。本文将主要介绍如何基于HALCON实现双目立体视觉系统，以及立体视觉的基本理论、方法和相关技术，为搭建双目立体视觉系统和提高算法效率提供了参考。 关键词双目视觉三维重建立体匹配摄像机标定视差 双目立体视觉是机器视觉的一种重要形式，它是基于视差原理并由多幅图像获取物体三维几何信息的方法。双目立体视觉系统一般由双摄像机从不同角度同时获得被测物的两幅数字图像，或由单摄像机在不同时刻从不同角度获得被测物的两幅数字图像，并基于视差原理恢复出物体的三维几何信息，重建物体三维轮廓及位置。双目立体视觉系统在机器视觉领域有着广泛的应用前景。 HALCON是在世界范围内广泛使用的机器视觉软件。它拥有满足您各类机器视觉应用需求的完善的开发库。HALCON也包含Blob分析、形态学、模式识别、测量、三维摄像机定标、双目立体视觉等杰出的高级算法。HALCON支持Linux和Windows，并且可以通过C、C++、C#、Visual Basic和Delphi语言访问。另外HALCON与硬件无关，支持大多数图像采集卡及带有DirectShow和IEEE 1394驱动的采集设备，用户可以利用其开放式结构快速开发图像处理和机器视觉应用软件。 一．双目立体视觉相关基本理论介绍
1．1 双目立体视觉原理 双目立体视觉三维测量是基于视差原理，图1所示为简单的平视双目立体成像原理图，两摄像机的投影中心的连线的距离，即基线距为b。摄像机坐标系的原点在摄像机镜头的光心处，坐标系如图1所示。事实上摄像机的成像平面在镜头的光心后，图1中将左右成像平面绘制在镜头的光心前f处，这个虚拟的图像平面坐标系O1uv的u轴和v轴与和摄像机坐标系的x轴和y轴方向一致，这样可以简化计算过程。左右图像坐标系的原点在摄像机光轴与平面的交点O1和O2。空间中某点P在左图像和右图像中相应的坐标分别为P1(u1,v1)和P2(u2,v2)。假定两摄像机的图像在同一个平面上，则点P图像坐标的Y坐标相同，即v1=v2。由三角几何关系得到： 上式中（xc，yc，zc）为点P在左摄像机坐标系中的坐标，b为基线距，f为两个摄像机的焦距，（u1，v1）和（u2，v2）分别为点P在左图像和右图像中的坐标。 视差定义为某一点在两幅图像中相应点的位置差：
双目立体视觉的三维人脸重建方法
第４卷第６期２００９年１２月 智能系统学报 ＣＡＡＩＴ豫ｎｓａｃｔｉｏｎｓｏｎＩｎｔｅｌｌ培ｅｎｔＳｙｓｔｅｍｓ Ｖ０１．４№．６ Ｄｅｃ．２００９ ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１６７３４７８５．２００９．０６．００８ 双目立体视觉的三维人脸重建方法 贾贝贝，阮秋琦 （北京交通大学计算机与信息技术学院，北京１０００４４） 摘要：创建逼真的三维人脸模型始终是一个极具挑战性的课题．随着三维人脸模型在虚拟现实、视频监控、三维动画、人脸识别等领域的广泛应用，三维人脸重建成为计算机图像学和计算机视觉领域的一个研究热点．针对这一问题，提出一种基于双目立体视觉的三维人脸重建方法，重建过程中无需三维激光扫描仪和通用人脸模型．首先利用标定的２台摄像机获取人脸正面图像对，通过图像校正使图像对的极线对齐并且补偿摄像机镜头的畸变；在立体匹配方面，选择具有准确可靠视差的人脸边缘特征点作为种子像素，以种子像素的视差作为区域生长的视差，在外极线约束、单调性约束以及对应匹配的边缘特征点的约束下，进行水平扫描线上的区域生长，从而得到整个人脸区域的视差图，提高了对应点匹配的速度和准确度；最后，根据摄像机标定结果和立体匹配生成的视差图计算人脸空间散乱点的三维坐标，对人脸的三维点云进行三角剖分、网格细分和光顺处理．实验结果表明，该方法能够生成光滑、逼真的三维人脸模型，证明了该算法的有效性． 关键词：三维人脸模型；双目立体视觉；摄像机标定；极线几何；立体匹配；区域生长；三角剖分 中图分类号：ＴＰ３９１文献标识码：Ａ文章编号：１６７３４７８５（２００９）０６旬５１３加８ ３Ｄｆ．ａｃｅｒｅｃｏｎｓｔｒｕｃｔｉｏｎｕｓｉｎｇｂｉｎｏｃｕ【ｌａｒｓｔｅｒｅｏＶｉｓｉｏｎ ＪＩＡＢｅｉ＿ｂｅｉ，ＲＵＡＮＱｉｕ—ｑｉ （Ｓｃｈ００ｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＩｎｆｏｒｍａｔｉｏｎＴｅｃｈｎｏｌｏｇｙ，ＢｅｉｊｉｎｇＪｉａｏｔｏｎｇＵｎｉＶｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇｌ（）００４４，Ｃｈｉｍ） Ａｂｓｔｒａｃｔ：Ｇｅｎｅｒａｔｉｏｎｏｆｌｉｆｅｌｉｋｅ３Ｄｈｕｍａｎｆａｃｅｓｉｓａｃｈａｌｌｅｎｇｉｎｇｔａｓｋ．Ｒｅｃｅｎｔｉｎｃｒｅａｓｅｓｉｎｔｈｅｕｓｅｏｆ３Ｄｆａｃｅｍｏｄ－ｅｌｓｉｎｖｉｒｔｕａｌｒｅａｌｉｔｙ，ｖｉｄｅｏｓｕｒｖｅｉｌｌａｎｃｅ，３Ｄａｎｉｍａｔｉｏｎ，ａｎｄｆａｃｅｒｅｃｏｇｎｉｔｉｏｎｈａｖｅｌｅｄｔｏ３Ｄｆａｃｅｒｅｃｏｎｓｔｍｃｔｉｏｎｂｅ—ｃｏｍｉｎｇａｒｅｓｅａｒｃｈｈｏｔｓｐｏｔ．Ｔｈｅａｕｔｈｏｒｓｐｍｐｏｓｅｄａ ３ＤｆａｃｅｒｅｃｏｎｓｔｍｃｔｉｏｎｍｅｔｈｏｄｂａｓｅｄｏｎｂｉｎｏｃｕｌａｒｓｔｅｒｅｏＶｉｓｉｏｎｔｈｅｏｒｙ．Ａｆｔｅｒｃａｐｔｕｒｉｎｇｔｈｅｆ而ｎｔｖｉｅｗｏｆａｆａｃｅｗｉｔｈｔｗｏｃａｌｉｂｍｔｅｄｃａｍｅｒａｓ，ｔｈｅｃａｐｔｕｒｅｄｐａｉｒｏｆｓｔｅｒｅｏｉｍａｇｅｓｗｅｒｅＩ℃ｃｔｉｎｅｄｔｏａｌｉｇｎｔｈｅｉｒｅｐｉｐｏｌａｒｌｉｎｅｓａｎｄｃｏｍｐｅｎｓａｔｅｆｂｒｉｍａｇｅｄｉｓｔｏｒｔｉｏｎｓ．Ｔｏｏｂｔａｉｎｍａｐｓｗｉｔｈａｃｃｕｍｔｅｍａｔｃｈｉｎｇａｎｄｄｅｎｓｅｄｉｓｐａｒｉｔｙ，ａｓｔｅｒｅｏｍａｔｃｈｉｎｇａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎｒｅｇｉｏｎｇｒｏｗｉｎｇｗａｓｄｅＶｅｌｏｐｅｄ．Ａｎｅｄｇｅｆｅａｔｕｒｅｐｏｉｎｔｗｉｔｈｒｅｌｉａｂｌｅｄｉｓｐａｒｉｔｙｗａｓｓｅｌｅｃｔｅｄａｓａｓｅｅｄｐｏｉｎｔ．Ｔｈｅｎｒｅｇｉｏｎｇｒｏｗｉｎｇｗａｓｐｅｄｂ瑚ｅｄａｌｏｎｇｈｏｒｉｚｏｎｔａｌｓｃａｎ—ｌｉｎｅｓｕｎｄｅｒｍｕｌｔｉ－ｃｏｎｓｔｒａｉｎｔｓ．ＷｉｔｈｃａｍｅＩ－ａｃａｌｉｂｒａｔｉｏｎａｎｄｄｉｓｐａ“ｔｙｍａｐｐｉｎｇ，３Ｄｃｏｏｒｄｉｎａｔｅｓｏｆｃｏｒｒｅｓｐｏｎｄｉｎｇｐｏｉｎｔｓｗｅｒｅｃａｌｃｕｌａｔｅｄ．Ｔｈｅｎｔｈｅｆａｃｅｍｏｄｅｌｗａｓｒｅｃｏｎｓｔｍｃｔｅｄｗｉｔｈａｓｅｒｉｅｓｏｆｍｅｔｈｏｄｓ，ｓｕｃｈａｓ【）ｅｌａｕｎａｙｔｒｉａｎｇｕｌａｔｉｏｎ，ｍｅｓｈｓｕｂｄｉｖｉｓｉｏｎａｎｄｓｍｏｏｔｈｉｎｇ．Ｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｅｄｔｈａｔｔｈｅｍｅｔｈｏｄｃａｎｇｅｎｅｒａｔｅａｓｍｏｏｔｈａｎｄｌｉｆｅｌｉｋｅ３Ｄｆａｃｅｍｏｄｅｌ． Ｋｅｙｗｏｒｄｓ：３Ｄｆａｃｅｍｏｄｅｌ；ｂｉｎｏｃｕｌａｒｓｔｅｒｅｏｖｉｓｉｏｎ；ｃａｍｅｍｃａｌｉｂｒａｔｉｏｎ；ｅｐｉｐ０１ａｒｇｅｏｍｅｔｒｙ；ｓｔｅｒｅｏｍａｔｃｈｉｎｇ；ｒｅｇｉｏｎｇｒｏｗｉｎｇ；ｄｅｌａｕｎａｙｔｄａｎｇｕｌａｔｉｏｎ 由于人脸信息在人类日常生活和生产实践中起着十分重要的作用，而人脸重建提供了表达和处理人脸信息的有效手段，因此三维人脸重建是一项具 收稿日期：２００９旬４一１５． 基金项目：国家自然科学基金资助项目（６０６７２０６２）；高等学校博士学科点专项科研基金资助项目（２００８０００４０００８）． 通信作者：贾贝贝．Ｅ—ｍａｉｌ：ｊｉａｂｅｉｂｅｉ０１２９＠１６３．ｃｏｍ．有重大意义的研究课题．自２０世纪７０年代Ｐａｒｋｅ建立第一个脸部模型¨ｏ开始，许多研究人员致力于三维人脸建模的研究．近年来，随着三维人脸模型在虚拟现实、三维动画、视频监控、人脸识别等领域的广泛应用，三维人脸重建已经成为计算机图像和计算机视觉领域的一个研究热点．然而，由于人脸具有复杂的几何形状和表面材质，同时头发的模拟、逼真 万方数据