学术讲座报告— 基于结构光照明的三维物体识别

学术讲座报告
—— 基于结构光照明的三维物体识别
结构光照明（Structured Light Illumination ），是指基于三角测量，立体重建。

通过测量一系列的预测模式的失真反射目标，目标的3 - D 表面信息可以提取。

为了帮助理解结构光照明，无论是理想和在此演示文稿介绍实用模式。

然后，我们采用模型设计模式和分析三维重建的表现。

以下是我对此技术的了解和体会：
结构光照明三维成像系统(3D Imaging System with Structured
Illumination)基于光学三角法测量原理，是一种主动三维传感技术。

光学投影系统将一定模式的结构光图案投射到待测物体表面，在表面上形成受到被测物体表面形状调制的三维变形图像。

该三维图像由位于另一角度的成像系统探测，从而获得二维的变形图像。

结构光图案的变形程度取决于光学投影系统与成像系统之间的相对位置和物体表面轮廓。

当光学投影系统与成像系统之间的相对位置一定时，由变形的二维图像可以恢复物体表面的三维轮廓。

结构光照明三维成像系统由光学投影系统、成像系统、计算机系统等组成。

基于光学三角测量法的结构光照明三维测量技术，通过处理测量系统所获取的数据，建立投影光栅、待测物体表面与摄像机像面上对应点之间的三角关系。

最终根据三角测量原理得到待测物体表面的三维形貌分布。

摄像机数学模型：
摄像机的径向畸变可以表示为：246123246123(,)(....)(,)(....)xr yr x y x k r k r k r x y y k r k r k r δδ⎧⎫=+++⎪⎪⎨⎬=+++⎪⎪⎩⎭
其中
222
12,,...r
x y k k =+为径向畸变参量。

摄像机的切向畸变可以表示为：22122212(,)2(2)(,)(2)2xt yt x y p xy p r x x y p r y p xy δδ⎧⎫=++⎪⎪⎨⎬=++⎪⎪⎩⎭
其中p1，p2是切向畸变向量。

考虑摄像机畸变之后，p 点在归一化摄像机坐标系中的实际(,)d d x y 坐标可表
示为：(,)(,)(,)(,)d xr xt d yr yt x x x y x y y y x y x y δδδδ=++⎧⎫⎪⎪⎨⎬=++⎪⎪⎩⎭
再由透视变换可以得到p 点在图像坐标系中的坐标（u ，v ）：
00,,0,,10,0,111v d d v d d f s u x x u v f v y A y ⎡⎤⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥==⎢
⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦⎣⎦
典型的结构光照明三维成像系统由投影仪、摄像机、计算机组成，系统模型如下图所示，它是由光、机、电、算一体化系统，有硬件和软件两大部分组成。

该系统主要由结构光编码图案投影、摄像机成像、实验数据的获取与处理三大部分组成。

测量过程步骤大致如下：
（1）由投影仪投出结构光编码图案；
（2）摄像机拍摄受到物体面形调制的变形图案，该2-D 图像中隐藏着物体的三维轮廓信息；
（3）对获取的变形图案进行处理（编码），得到投影仪、摄像机对应点；
（4）根据三角测量原理，通过显式或隐式关系得到物体三维形貌。

基于结构光照明的三维成像技术是目前广泛应用的一种非接触测量技术，在检测工业产品质量、物体识别、虚拟现实、文物修复等方面有着广阔的应用前景。

利用计算机对测量系统进行仿真，可以减少系统设计的工作量，为优化系统提供便利。

从摄像机的数学模型出发，考虑摄像机和投影仪的畸变之后，提出一种结
构光照明三维成像系统的高精度计算机仿真算法，可实现多种结构的系统仿真。

其仿真原理是，相位测量轮廓术(Phase Measurement Profilometry,简称PMP)基于光学三角测量法，其基本结构由一套相移条纹投影系统和光电图像传感器组成。

投影系统投射相移正弦光栅到漫反射被测物体表面，再用光电图像传感器从另一个视角拍摄受到物体面形调制而形成的变形光栅。

用相移法求解光栅投影仪坐标，然后通过投影仪坐标一高度映射关系得到物体表面高度、面内映射关系得到横向坐标。

通过分析摄像机拍摄的图案得到摄像机和投影仪的对应点对，根据三角关系求解物体表面三维形貌。

阴影是指在投影系统(投影仪)视线方向上被遮挡的待测物体的表面。

由于测量系统中摄像机与投影仪之间有一定夹角，阴影在实际测量过程中，尤其在对复杂物体进行三维面形测量时不可避免。

在利用计算机软件模拟PMP成像过程中，我们把投影仪看成光源，利用OpenGL在投影仪位置处设置与投影仪属性相同的光源，从而得到阴影区域的位置。

隐藏面是指在成像系统(摄像机)视线方向上被遮挡的待测物体表面。

我们利用OpenGL的Z缓冲技术来消除隐藏面。

即在OpenGL中设置摄像机位置，进行渲染后读取其z．buffep·中的数据，得到的就是消除隐藏面和阴影后的物体表面采样点。

根据光路可逆原理．从摄像机数学模型出发，采用统一的模型处理成像和投影过程，设计了相位测量轮廓术系统的高精度计算机仿真软件。

利用该软件及3D 建模得到的数据，对PMP测量系统进行了仿真，达到了预期目的，为实际PMP系统的结构设计和参数校正提供了新的途径。

测量系统的标定是结构光照明三维成像系统的关键技术之一，一般情况下标定测量系统需要引入高精度的电动平移台等精密设备来标定系统，同时也引入很多不必要的误差。

在结构光照明三维成像系统中，投影仪坐标与高度映射关系，以及面内映射关系均通过标定测量系统来建立。

通常需要引入三维标定装置，如采用精密型电动平移台来带动标准平面在测量体积内移动若干位置进行标定或设计特制的三维靶标进行标定。

这些方法对设备的要求比较高，不适合做现场标定。

利用平面靶标来标定摄像机，只需从不同角度观察平面靶标，靶标的摆放情况约束较少，这种方法降低了实际操作的复杂度。

借助于2D平面靶标来标定测量系统，首先通过投影结构光编码图案到标定靶标上，拍摄受到靶标面形调制的变形图案；其次变换靶标位置和角度，至少选择两个以上不同位置和角度摆放靶标，并拍摄变形图案：再次利用张正友的方法标定摄像机和投影仪的各项参数；最后引入虚拟标准平面标定出像平面各像素所对应的投影仪坐标一高度映射方程系数。

采用该方法可以降低系统标定过程的复杂度．同时也大大降低了噪声对投影仪坐标一高度映射方程系数的影响。

结构光照明三维成像系统在三维传感领域中的应用已经非常广泛，但是目前仍存在许多需要解决的问题。

1、提高结构光照明三维成像系统的检测速度，尤其是在对产品进行动态测量时，对精度与实时性要求比较高。

2、对投影仪坐标进行亚像素检测可以提高系统的测量精度，亚像素检测算法有待进一步研究。

近年来，伴随着激光技术、计算机技术，以及图像处理等高新技术的发展，
光学非接触式测量技术得到广泛的应用，尤其是以结构光照明三维成像系统为代表的三维轮廓测量技术得到了较大发展，被认为是最有发展前途的三维轮廓测量方法。

随着计算机、光学元器件的性价比大幅提高，结构光照明三维成像系统的实用性、商业性日益明显，但此技术中仍存在着诸多问题，亟待解决。

1、遮挡问题：由于结构光照明三维成像系统是基于光学三角法进行测量，投影仪和摄像机之间存在着一定的夹角，通过拍摄受待测物体表面调制而变形的图案，解出包含在变形图案中的投影仪坐标信息，根据投影仪坐标一高度映射关系来获取物体三维面形信息。

2、对应点匹配问题：在面结构光照明三维成像系统工作过程中，通过编码来确定投影仪与摄像机的对应点，因此可靠的对应点匹配关系是结构光照明三维成像系统测量中的一个极其重要的问题。

3、测量系统的标定方法：结构光照明三维成像系统的标定是提高测量精度最重要的步骤之一。

在实际操作中，寻求恰当的系统标定方法，可以大大提高系统的测量精度。

基于结构光照明的三维传感技术具有检测速度快、分辨率高、非接触等优点，广泛应用于计算机视觉、工件质量检测等方面。

随着计算机技术，以及图像处理等技术的发展，光学非接触测量技术得到广泛的应用，尤其是基于结构光照明的三维成像系统得到了很大发展，被认为是最有发展前途的三维轮廓测量方法。

目前，它已经广泛应用于机器人视觉、自动加工等领域，在复杂物体面形检测中有着广阔的应用前景。