基于“结构光照明”的学术讲座报告

基于“结构光照明”的学术讲座报告姓名：学号：学院：电气信息学院班级：08303011在基于结构照明的三维传感系统中，产生结构照明的方法和装置对正确和有效的三维重建具有重要的意义，其具有检测速度快、分辨率高、非接触等优点，广泛应用于计算机视觉、工件质量检测等方面。

随着计算机技术，以及图像处理等技术的发展，光学非接触测量技术得到广泛的应用，尤其是基于结构光照明的三维成像系统得到了很大发展，被认为是最有发展前途的三维轮廓测量方法。

目前，它已经广泛应用于机器人视觉、自动加工等领域，在复杂物体面形检测中有着广阔的应用前景。

刘老师在讲座上主要讲解了结构光照明的原理和图案设计的SLI模型和例子。

3D重建分类法包括形状采集和光学两方面的内容，其中形状采集有接触和非接触两种方式：接触方式包括无损和有损两种方式，非接触方式包括反射和传递两种方式；光学方法包括被动法和主动发两个方式进行。

被动法采集的主要是立体照片、从底纹上恢复物体形状、由轮廓提取物体形状、通过聚焦或者散焦获取深度；主动法采集主要通过测绘雷达、三角测量、干扰量度法、有效的立体声、主动离焦三维测量这几种方法进行测量。

结构光照明（SLI）指的是基于三角测量的3D重现技术，其示例图形包括条纹投影、条纹数目、月形物、光条、物体像素、矩阵相机等几个方面组成。

实验仪器主要由校准靶子、照相机、投影仪三个装置组成。

通过以上设备就可以基本上完成实验。

下面讲下结构光照明的应用。

结构光照明广泛应用于计算机视觉、工件质量检测等方面，随着科技的发展，它已经广泛应用于机器人视觉、自动加工等领域，在复杂物体面形检测中有着广阔的应用前景。

例如在1954年《生活》杂志封面上刊登的展示结构光照明的应用程序：用自定义的管接头测量出了飞行员头盔的大小和形状。

同时，结构光照明的应用还有估算成本低，通信简单等优点，使得结构光照明得到了更为广泛的应用。

结构光照明的校准方法主要通过针孔模型、中心投影法、把3D完全坐标投射到2D的相机坐标里面。

其中第三种方法主要通过以下几个公式进行转换3D重建主要有以下公式转换关于结构光照明的一致性主要研究的是：要知道对于相机的二维空间中的一个像素，另一个摄像机/投影仪空间中的相应像素是什么。

被动的立体视觉主要包括：沿极线、基于区域匹配： 强度和窗口、基于特征的匹配： 边缘/形状、基于傅里叶的匹配： 频率。

极几何主要通过matlab 软件进行仿真。

SLI/ASV 其实不需要极几何，关键是要有图案设计。

结构光照明扫描流包括纹理生成、调制生成、相生成、3D 重建等几个过程组成。

结构光照明采取的模式策略是一种简单的模式，其中包括：Binarized 强度，有噪音、 非线性失真和饱和度；数字处理方法；像素分辨率；还有很多别的模型。

结构光照明的模式策略包括以下几种，其中相位测量轮廓术 (PMP) 因为它的准确度和可靠性而闻名，另外还有模拟方法，投影模式的表达式是其中H 是高度。

便携式媒体播放器捕捉 到的图案的图像有以下公式进行计算其中三个未定义的参数i. e., A c , B c , 和 Phi 为使用 atan2 和范围 [-pi 、 pi) 或 [0，2pi)。

其中的未知量：相位是投影仪中的坐标，B c 是被照亮场景的反射率，A c 和B c 是背景光的光线强度。

SLI 的本质是要有足够理想的条件，要使条件足够理想，需要满足以下的条件 其中Α，反射率的范围在0和1之间，I pn 和预测模式的强度和投影仪的坐标有关。

Β是环境光线的强度。

⎪⎪⎭⎫ ⎝⎛-+=N n H y y x I p p p pn ππ22cos 5.1275.127),(⎥⎦⎤⎢⎣⎡-+=N n y x y x B y x A y x I c c c c c c c c c c cn πϕ2),(cos ),(),(),(∑-==101N n cn c I N A 2102102cos 2sin 2⎭⎬⎫⎩⎨⎧⎥⎦⎤⎢⎣⎡⎪⎭⎫ ⎝⎛+⎭⎬⎫⎩⎨⎧⎥⎦⎤⎢⎣⎡⎪⎭⎫ ⎝⎛=∑∑-=-=N n cn N n cn c N n I N n I N B ππ⎪⎪⎭⎪⎪⎬⎫⎪⎪⎩⎪⎪⎨⎧⎥⎦⎤⎢⎣⎡⎪⎭⎫ ⎝⎛⎥⎦⎤⎢⎣⎡⎪⎭⎫ ⎝⎛=∑∑-=-=10102cos 2sin arctan N n cn N n cn N n I N n I ππϕ),()],(),()[,(),(c c c c p p pn c c c c cn y x y x y x I y x y x I ββα++=),(),(2),(cos 5.1275.127),(),(c c c c c c c c c c cn y x y x N n y x y x y x I ββπϕα+⎭⎬⎫⎩⎨⎧+⎥⎦⎤⎢⎣⎡⎪⎭⎫ ⎝⎛-+=ββα++=)5.127(c A α5.127=c B下面讲下误差的来源，包括确定来源和不确定来源两种，确定来源主要是光学设备的非线性响应，不确定来源主要是相加噪声。

结构光照明的本质就是实践。

下面来看几个公式 其中G(.) 是非线性失真的传递函数。

Wn 是相加噪声。

怎样设计个人独特的战略模式呢，主要通过以下几个步骤进行：1.以理想的模型开始，包括译码和解码两种方式，2.用实用模型分析和评估结果。

2.模拟3.仿真以上这些内容是我从刘凯老师的学术讲座上面学到的，但是我觉得这些内容有的过于难懂，所以我也在网上查阅了一些资料来帮助我理解上面的内容。

结构光照明三维成像系统(3D Imaging System with Structured Illumination)基于光学三角法测量原理，是一种主动三维传感技术。

光学投影系统将一定模式的结构光图案投射到待测物体表面，在表面上形成受到被测物体表面形状调制的三维变形图像。

该三维图像由位于另一角度的成像系统探测，从而获得二维的变形图像。

结构光图案的变形程度取决于光学投影系统与成像系统之间的相对位置和物体表面轮廓。

当光学投影系统与成像系统之间的相对位置一定时，由变形的二维图像可以恢复物体表面的三维轮廓。

结构光照明三维成像系统由光学投影系统、成像系统、计算机系统等组成。

根据光学投影系统所投射的模式不同，结构光模式又可以分为点结构光模式、线结构光模式、多线结构光模式、网格结构光模式、面结构光模式等。

1.点结构光模式投射系统发出的光束投射到物体表面上产生一个光点，光点经过摄像机的镜头成像在摄像机的像平面上，形成一个二维像点。

摄像机的视线和光束线在空间中于光点处相交，形成一种简单的三角几何关系。

通过一定的标定可以得到这种三角几何约束关系，并由其可以唯一确定光点在某一已知世界坐标系中的空间位置。

作为一种独具特色的非接触式测量方法，点结构光模式满足在线检测中快速、实时的要求。

但其缺点是获取的信息量较少，每次只能获得物体表面一个点的信息，因此实际应用中多采用扫描的方式。

2.线结构光模式线结构光模式又称为光带模式。

投射系统投出的光束经过一个柱面镜在空间中形成一个窄的平面，与物体的表面相交时，在物体表面上产生一个亮的光条。

该光条由于物体表面深度的变化以及可能的间隙而受到调制，表现为图像的光条发生了畸变和不连续，畸变的程度与深度成正比，不连续显示出了物体表面间的物理间隙。

线结构光视觉的任务就是从畸变的n pn cn w I G I +++=ββα])([γππ⎥⎦⎤⎢⎣⎡⎪⎪⎭⎫ ⎝⎛-+=N n H y I G p pn 22cos 2121255)(∑-=⎥⎦⎤⎢⎣⎡⎪⎭⎫ ⎝⎛-≈∆102sin 2N n n N n w NB πϕϕ2222w NB σσϕ=∆光条图像信息中获取物体表面的三维信息。

3.多线结构光模式多线结构光模式是线结构光模式的扩展。

由光学投射器向物体表面投射了多条光条，这样我们可以在一幅图像中处理多条光条，提高图像的处理效率，并且增加了测量的信息量，获取了更多的物体表面信息。

此模式即为“光栅结构模式”，多光条可利用投影仪投射一个光栅图案来产生。

与线结构光相比，此模式的效率和范围增加，但同时也引入了标定复杂性的增加和光条匹配问题。

4.网格结构光模式网格结构光模式又称为网格编码模式。

该模式可以提取多面体上平面区域的位置和方向。

采用高对比度的方形网格照明视场，使用线性频域滤波分析法，通过提取出来的平面之交线确定边缘。

2D FFT用于频域内快速计算和分割处理，在网格编码图像中识别平面。

由透视投影所引起的变形网格到投影前原形网格的恢复变换矩阵包含了局部表面的法线方向。

网格编码区域转换成2D Fourier，它实际上是一组空间频域内融洽相关的交错占函数，识别平面6函数的分离与带通滤波是等效的，其反变换就是图像中分离平面的重现。

5.面结构光模式面结构光模式，采用一定的方法对整个投影平面编码，可以获得最高的数据测量密度。

PMP、FTP、SPD及时空二值编码结构光照明模式等都属于这种模式。

近年来，伴随着激光技术、计算机技术，以及图像处理等高新技术的发展，光学非接触式测量技术得到广泛的应用，尤其是以结构光照明三维成像系统为代表的三维轮廓测量技术得到了较大发展，被认为是最有发展前途的三维轮廓测量方法f22，231。

随着计算机、光学元器件的性价比大幅提高，结构光照明三维成像系统的实用性、商业性日益明显，但此技术中仍存在着诸多问题，亟待解决。

大致可以概括为以下几个方面：1、遮挡问题由于结构光照明三维成像系统是基于光学三角法进行测量，投影仪和摄像机之间存在着一定的夹角，通过拍摄受待测物体表面调制而变形的图案，解出包含在变形图案中的投影仪坐标信息，根据投影仪坐标一高度映射关系来获取物体三维面形信息。

此时若物体表面的高度剧烈变化或者不连续，便会造成阴影、遮挡等问题。

增加投影仪和摄像机之间的夹角，可以提高系统的测量精度，但同时也导致了更多的遮挡和阴影，局部区域的测量数据不可靠，因此我们需要在测量可靠性与精度之间权衡利弊，综合考虑优化系统结构。

2、对应点匹配问题在面结构光照明三维成像系统工作过程中，通过编码来确定投影仪与摄像机的对应点，因此可靠的对应点匹配关系是结构光照明三维成像系统测量中的一个极其重要的问题。

实际中，由于阴影、遮挡、噪音及局部采样不足等原因，造成解码错误，导致对应点的误匹配。

寻求鲁棒性更高的编码、解码及误码校正方法是提高三维测量可靠性的重要途径。

3、测量系统的标定方法结构光照明三维成像系统的标定是提高测量精度最重要的步骤之一。

在实际操作中，寻求恰当的系统标定方法，可以大大提高系统的测量精度。

典型的结构光照明三维成像系统由投影仪、摄像机、计算机组成，结构模型如图所示，它是光、机、电、算一体化系统，有硬件和软件两大部分组成。

该系统主要由结构光编码图案投影、摄相机成像、实验数据的获取与处理三大部分组成，测量过程大致有如下几个步骤：（1）由投影仪投出结构光编码图案；（2）摄像机拍摄受到物体面形调制的变形方案，该2D图像中隐藏着物体的三维轮廓信息；（3）对获取的变形图案进行处理（编码），得到投影仪、投影机对应点。