机器视觉—三维重建技术简介

三维重建技术简介一、视觉理论框架1982年，Marr立足于计算机科学，首次从信息处理的角度系统的概括了心理生理学、神经生理学等方面已经取得的重要成果,提出了一个迄今为止比较理想的视觉理论框架。

尽管Marr提出的这个视觉理论框架仍然有可以进行改进和完善的瑕疵,但是在近些年,人们认为,计算机视觉这门学科的形成和发展和该框架密不可分。

第一方面,视觉系统研究的三个层次。

Marr认为,视觉是一个信息处理系统,对此系统研究应分为三个层次:计算理论层次,表示与算法层次,硬件实现层次,如下图所示:计算机理论层次是在研究视觉系统时首先要进行研究的一层。

在计算机理论层次，要求研究者回答系统每个部分的计算目的与计算策略，即视觉系统的输入和输出是什么，如何由系统的输入求出系统的输出。

在这个层次上，将会建立输入信息和输出信息的一个映射关系，比如，系统输入是二维灰度图像，输出则是灰度图像场景中物体的三维信息。

视觉系统的任务就是研究如何建立输入输出之间的关系和约束，如何由二维灰度图像恢复物体的三维信息。

在表示与算法层次，要给出第一层中提到的各部分的输入信息、输出信息和内部信息的表达，还要给出实现计算理论所对应的功能的算法。

对于同样的输入，如果计算理论不同，可能会产生不同的输出结果。

最后一个层次是硬件实现层次。

在该层次，要解决的主要问题就是将表示与算法层次所提出的算法用硬件进行实现。

第二方面，视觉信息处理的三个阶段。

Marr认为，视觉过程分为三个阶段，如表所示：第一阶段，也称为早期阶段，该阶段是求取基元图的阶段，该阶段对原始图像进行处理，提取出那些能够描述图像大致三维形状二维特征，这些特征的集合构成所构成的就是基元图(primary sketch)"。

第二阶段也称中期阶段，是对环境的2.5维描述，这个阶段以观察者或者摄像机为中心，用基元图还原场景的深度信息，法线方向(或一说物体表面方向)等，但是在该阶段并没有对物体进行真正的三维恢复，因此称为2.5维。

第三阶段也称为后期阶段，在一个固定的坐标系下对2.5维图进行变换，最终构造出场景或物体的三维模型。

二、三维重建技术现状目前三维重建的方法大致可分为三类，即:用建模软件构造的方式，多幅二维图像匹配重建的方式以及三维扫描重建的方式。

对于第一种方式，目前使用比较广泛的是3D Max, Maya, Auto Cad以及MultiGen-Creator等软件。

这些三维建模软件，一般都是利用软件提供的一些基本几何模型进行布尔操作或者平移旋转缩放等操作，来创建比较复杂的三维模型。

这样所构建出来的模型，比较美观，而且大小比例等非常精确。

然而，这需要建模者精确知道三维场景的尺寸、物体位置等信息，如果没有这些信息，就无法建立精准的模型。

第二种方式是利用实时拍摄的图像或者视频恢复场景的三维信息。

这种方式是基于双目立体视觉，对同一物体拍摄不同角度的图像，对这些图像进行立体匹配，获取物体的三维信息。

目前来说，比较成熟的基于双目立体视觉的三维重建系统主要有Faugeras等人设计的从图像序列中重建建筑物的三维重建系统、Bougnoux等开发的Total Calib系统、比利时K.U Leuven University的I'ollefeys等人开发的三维表面自动生成系统以及剑桥大学计算机视觉研究组开发的PhotoBuilder三维重建系统。

这利方式比较实用，造价低廉，只需要一台普通的照相机或者摄像机，然而此种方式也有它的缺点，对于同一个物体在拍摄多幅照片时，如果每次移动的距离不同，则恢复出来的三维信息，就会相差很多。

而且此种方式的精确度不高。

所以，在对精度要求很高的行业中(比如精密仪器制造、汽车零部件制造等)，非常不实用。

另外，此种方式仍然需要大量的手工操作，比如上面提到的Pollefeys三维重建系统。

因此，基于图像的三维重建方法的一个研究重点是如何避免过多的人工操作。

第三种方式是用三维扫描设备对物体表面进行扫描。

三维扫描设备分为接触式设备和非接触式设备两种。

这种方式能够得到比较精确的三维信息。

但是，此种方式的造价比较高，普通人群无法承受三维扫描设备的昂贵价格。

接触式的三维扫描设备，必须接触到物体的表面，这样就无法避免的会对物体表面造成一定压力，甚至会对物体产生损害，这对于文物保护等行业来说，显然是不可接受的。

非接触式三维扫描设备将激光或可见光投射到物体表面，然后利用各种感光器件对发射的光进行感光，再利用各种技术计算出物体表面深度信息。

目前较成熟的方法就是激光扫描法。

美国的SIIarp_Shape公司，Footmanaeement公司和英国的CSM3D International公司都利用激光扫描技术开发出成型的人体扫描仪。

但是激光扫描耗时较长，无法做到实时生成三维模型。

上述几种获得三维信息的方式，都有各自的优缺点。

对于上述的第二种方式，研究人员对之加以改进，提出了一种基于结构光投影的三维重建方式，目前，国内利用此种方式开发的三维重建系统还很少且不成熟。

这种方式尽管没有激光扫描那么高的精度，但是造价低廉，而且操作比较简单，比起传统的方式，没有太多影响精度的人工操作，是目前最有发展前途的实用型三维重建技术之一。

三、基于结构光投影的三维重建方式1.结构光技术简介物体的三维信息获取和表面几何形状是机器视觉研究的一个重要方向，获取物体三维信息的技术有多种，如被动视觉和主动视觉等技术。

当需要重建曲面物体的几何形状描述时，就要求获取的物体三维数据具有准确度高覆盖全面的特点。

由于双目视觉系统对于表面没有特征点的物体的表面无法进行很好的识别与重建。

因此基于结构光的主动视觉技术得到了广泛的认可和应用。

目前结构光技术被认为是对物体表面进行重建的最可靠的技术之一。

结构光技术将双目视觉中两个摄像机中的一个替换为投影仪。

通过投影仪将已知图案投射到物体表面，投影的图案会随着物体表面的高度而产生变化，通过摄像机得到的物体表面变形的图案来计算物体表面三维信息。

结构光技术利用投影仪的投影解决了双目视觉中匹配的问题。

由于结构光技术拥有非接触、准确、测量范围大等优点，因此被应用于工业领域的各种元件的质量测量，三维信息检测等。

将结构光图案投射到待加工板材的背面，通过摄像机拍摄加工过程中板材的形状变化可以实现对板材变形过程的三维重建，对于研究材料的特性和改进生产技术提供了完整的数据。

利用多台摄像机和结构光相结合的技术可以加工元件的各部分的垂直性进行检测，与传统的检测技术相比拥有快速，在线，非接触和显著的准确性等优点。

弹性网状材料在缠绕或者展开过程中的振动是制约网状材料传输的速率的重要因素，利用结构光技术可以实现对于网状材料缠绕过程中振动频率和振幅的实时，非接触测量。

2.基于结构光投影的三维重建方式的国外研究发展国外的结构光技术在室内环境中主要应用于人体的面部和手部等部位的重建。

部分学者已经将结构光技术应用在更广泛的工业测量技术中实现对零件的非接触精确测量。

Boulbaba Ben Amor, Mohsen Ardabilian和Liming Chen通过结合结构光和双目视觉对人脸进行了三维重建。

首先通过双目视觉获得人脸部分的二维特征，然后通过结构光技术得到人脸的三维信息，将人脸的二维特征图像覆盖到脸部三维图像的表面实现了对人脸的实现了三维重建。

Jiyoung Park, Cheolhwon Kim，Juneho Yi和Matthew Turk,用结构光技术获得图像中准确的深度边缘信息，为人手部动作和身体姿态的识别提供信息。

FilaretiTsalakanidoua, Frank Forster, Sotiris Malassiotis ， Michael G. Strintzis通过将彩色的结构光投射到人的面部，对人脸进行三维重建，利用人脸的三维信息对人脸进行识别，克服了传统的基于人脸二维图像识别中严重受制子光照，姿态等因素的缺点。

S. Boveriea, M. Devy, F. Lerasle利用点状结构光对汽车内部空间的占用情况进行测量和分类，来降低安全气囊误启动的几率。

D. Q. Huynh利用了交比不变性提出了一种新的投影仪标定方法，优化了标定过程并且提高了实验精度。

Ming-June Tsai, Chuan-CherigHung通过DMD(数字微镜装置)投影设备和高精度摄像机将结构光的测量精度提高到了 3 um， Changsoo Je, Sang Wook Lee和Rae-Hong Park利用两幅对比强烈的投影图像投射到待测量物体表面，虽然需要多待测物体进行两次投影和两次拍摄，但是这两次高对比的投影图案投射后得到的图像经过处理后可以消除物体表面颜色和纹理的影响，扩大了结构光的应用范围。

FrodeGrytten, EgilFagerholt, TrondAuestad将结构光投射到加工铝板的背面，实现了对于穿孔过程的动态信息重建。

Peter Lindsey和AndrewBlake利用结构光技术实现了对于运动物体表面的实时跟踪。

Jordi Pages, JoaquimSalvi和Canes Matabos在网状的结构光的竖直和水平两个方上利用颜色进行编码，提高了对图像进行分割和解码时的鲁棒性。

A. Dipanda, S. Woo 利用激光束点阵投影结构光系统实现对物体三维形状的实时重建，提出了自动获得系统构造参数的算法。

David Fofi, JoaquimSalvib, E1Mustapha Mouaddiba 利用结构光技术提出了一种不需要标定就可以对物体表面进行重建的算法。

Oleksandr A. Skydan, Michael J. Lalor, David R.Burton提出了利用多个不同位置的投影仪对待测量物体表面投射不同颜色的投影和傅立叶变换实现对物体的三维重建。

3.基于结构光投影的三维重建方式的国内研究发展国内对于结构光技术的研究还主要集中在室内环境中的应用。

主要研究范围集中在投影图案的设计和摄像机标定的方法。

喻擎苍等提出了一种针对移动物体的二元编码的小型网格结构光，利用复杂的网格形状取代颜色信息来实现代码的唯一性。

岳慧敏等提出了基于傅立叶变换的复杂编码方法对投影图案进行编码的新的编码方法。

张广军等提出在平面标准板上设定特征点来实现对于结构光系统的标定。

王光辉等利用三种特定的基本颜色对投影图案编码，这种编码方式虽然不能保证编码的唯一性和对物体表面突变部分的识别，但是在选取这三种基本颜色时，可以选取受物体表面颜色和纹理影响最小的颜色进行编码，获得物体表面的三维信息后，将物体表面的二维图像信息覆盖到三维物体表面，实现对物体的重建。

张广军等通过多个摄像机和激光投影仪完成了对于加工部件垂直性的检测。