kinect三维重建

上海大学2014 ～2015学年秋季学期研究生课程考试

课程设计大作业

课程名称：建模与仿真课程编号： 09SAS9011

论文题目: 基于Kinect的三维重建

研究生姓名: 邵军强学号: 14721629 论文评语:

成绩: 任课教师:

评阅日期:

基于Kinect的三维重建

邵军强

（上海大学机电工程与自动化学院）

摘要：三维重建是计算机视觉的一个重要目标，可以帮助人们快速精确地将日常生活中的物体数字化，并有着广泛的应用前景。本文叙述了一种成本低廉、快速且操作简便的三维重建方法。借助于微软公司的Kinect 体感传感器作为采集深度图像和彩色图像的输入设备，通过对原始深度图像的去噪、平滑、表面重建等一系列方法，最终可以获得在三维空间中的点云模型。

关键词：三维重建，Kinect，点云模型

Based on Kinect 3D Reconstruction

SHAO JUNQIANG

( Shanghai University EMSD and automation College)

Abstract:3 D reconstruction is an important goal of computer vision, and can help people quickly and accurately to digital objects in everyday life, and has a broad application prospect. This paper describes a kind of low cost, quick and easy operation method of 3 d reconstruction. By using Microsoft's device body feeling sensor as a collection of depth image and color image input device, through the depth of the original image denoising and smoothing, surface reconstruction and a series of methods, finally can get the point cloud model in three-dimensional space.

Keywords：3D Reconstruction,Kinect, point cloud model

1 引言

Kinect 传感器是一种RGB-D 传感器，即可以同时获得环境颜色值（RGB）和深度值（depth）的传感器．它的采集速度快，精度高，且价格低廉，使其迅速被运用到很多领域．机器人领域也开始了对Kinect 传感器广泛的研究[1]．利用Kinect 传感器对室内环境进行3D 重构，获得环境的3D 点云模型是研究热点之一．华盛顿大学与微软实验室[2]，开发了基于SIFT （尺度不变特征变换）特征匹配定位及TORO（Tree-basednetwORk Optimizer）优化算法的实时视觉SLAM系统来建立3D 点云地图．德国Freiburg 大学[3]提出了RGBD-SLAM 算法，采用了与华盛顿大学类似的方法，但是为了提高实时性，使用了Hogman（hierarchical optimization for pose graphs on manifolds）图优化算法，同时在相对位姿检测上采用了SURF （加速鲁棒特征）特征进行对应配．KinectFusion 算法与这些算法不同，它仅使用深度信息，通过设计高效及高度并行的算法在GPU（图形处理单元）上运行达到了非常高的实时性，在试验中，在配置4000 元左右的电脑上运行速度达到了18 帧／秒（在同样配置的计算机上前面两种算法仅达到2 帧／秒），在进行场景建立时有良好的用户体验，甚至可以用来做一些人机交互方面的应用[4-5]．同时KinectFusion 采用了基于TSDF（truncated signed distance

function）模型的点云融合方法，构建的点云模型冗余点少．而前面的方法因为没有进行点云融合，所以在地图创建过程中，点云的容量将不断增加[1]．

除此之外，KinectFusion 算法也存在一些问题，由于其重建过程是在GPU上的实时重建，因此，受GPU 内存限制，只能建立较小规模环境。其算法注重效率的提升，在鲁棒性方面有不足之处，比如在一些环境中容易出现定位失效而无法正常建模。

2 Kinect 传感器

Kinect 传感器如图1，它包括随机红外点云投射器、红外相机和彩色相机．

图1 Kinect传感器结构

红外点云投射器和红外相机构成了一个结构光3D 成像系统[8]．Kinect可以同时采集到环境的深度信息数据和颜色信息数据，其中深度信息数据是一个2 维矩阵，它的元素值表示环境中物体到相机中心的距离值，可以作为灰度图像进行处理．

不同于普通的通过计算得到物体3D坐标的设备，Kinect可以直接获取物体与摄像头之间的距离，这是Kinect最受人瞩目的一个功能。微软先后于2009年和2010年收购了3DV Systems(TOF)和PrimeSense(Light Coding)这两家以色列公司，并最终采用了Light Coding 技术作为Kinect体感设备的深度摄像功能的基础。

Light Coding技术理论是利用连续光（近红外线）对测量空间进行编码，经感应器读取编码的光线，交由晶片运算进行解码后，产生一张具有深度的图像。Light Coding技术说到底还是结构光技术。但与传统的结构光方法不同的是，他的光源打出去的并不是一副周期性变化的二维的图像编码，而是一个具有三维纵深的“体编码”。这种光源叫做激光散斑（laser speckle），是当激光照射到粗糙物体或穿透毛玻璃后形成的随机衍射斑点。这些散斑具有高度的随机性，而且会随着距离的不同变换图案，空间中任何两处的散斑都会是不同的图案，等于是将整个空间加上了标记，所以任何物体进入该空间以及移动时，都可确切记录物体的位置。

光源标定：测量前对原始空间的散斑图案做记录，先做一次光源的标定，方法是每隔一段距离，取一个参考平面，把参考平面上的散斑图案记录下来；假设Kinect规定的用户活动范围是距离摄像头1~4m，每隔10cm取一个参考平面，标定后保存了30幅散斑图像；测量时拍摄一幅待测场景的散斑图案，将这幅图像和保存的30幅参考图像依次做互相关运算，得到30幅相关度图像；空间中有物体存在的位置，在相关度图像上就会显示出峰值。把这些峰值一层层叠在一起，经过插值运算，即可得到整个场景的三维形状。

Kinect就是以红外线发出人眼看不见的class 1镭射光，透过镜头前的diffuser（光栅）将镭射光均匀分布投射在测量空间中，再透过红外线CMOS传感器记录下空间中的每个散斑，结合原始散斑图案，再透过晶片计算成具有3D深度的图像。传感器是通过黑白光谱的方式来感知环境的，纯黑代表无穷远，纯白代表无穷近，黑白间的灰色对应着物体到传感器的物理距离，如图2。

图2 Kinect激光点阵

Kinect 的主要技术参数如图3：检测距离0.5m～ 7m，检测角度水平方向57?，竖直方向43?，

采集帧率为30 帧／秒，误差在4m 远处为1.4%．

图3 Kinect相关参数

3 KinectFusion 算法

KinectFusion 算法通过将Kinect 采集到的深度数据进行匹配定位与融合来实现3D 场

景重构．它的算法流程如图4[4] 所示，主要由4 个部分组成：a) 深度数据处理，是将传感器原始的深度数据转换成3D 点云，得到点云中顶点的3 维坐标和法向量；b) 相机跟踪，是将当前帧3D 点云和由现有模型生成的预测的3D 点云进行ICP 匹配，计算得到当前帧相机的位姿；c) 点云融合，是根据所计算出的当前相机位姿，使用TSDF 点云融合算法[9]将当前帧的3D 点云融合到现有模型中；d) 场景渲染，是使用光线跟踪的方法，根据现有模型和当前相机位姿预测出当前相机观察到的环境点云，一方面用于反馈给用户，另一方面提供

给b) 进行ICP 匹配．

图4 KinectFusion 算法流程图

4、KinectFusion 对原始深度图的处理

由于获得的原始深度图像据有较多的噪点，不利于基于ICP算法的相机姿态追踪。所以需要对原始深度图做去噪处理以增加配准的准确度和速度。双边滤波是比较理想的滤波方法。

双边滤波是一种保边缘的光滑图象处理技术，它可以追溯到1995 年Aurich和Weule [9]非线性高斯滤波器的工作，他后来被Smith 和Brady[10]重新发现，并且作为其SUSAN 框架的一部分，Tomasi 和Manduchi[11]给出了它目前的名称。自那时以来，双边滤波的使

用迅速发展和普及，现在在图像处理中的应用已经随处可见，它已被用于多中应用领域，在理论和应用方面都有了很大的发展。理论上，双边滤波和robust statistics, PDEs, Local mode filtering 一样，是一种各向异性扩散方法[12]，它是几种框架连接的桥梁。双边滤波的两种加速算法，一种是分段线性近似[13]，即将双边滤波线性化并用下采样来加速，这种算法极大

地降低了运算时间，但是并没有理论基础，近似的精度也不清楚。另一种是将双边滤波表示成较高维空间的卷积[14]，而卷积计算可以进行下采样，并不明显影响结果的准确性。这种

近似算法实现了几个数量级的加速。再有就是双边滤波器两个参数的选取，可以自适应地根据噪声选取参数，能得到最好的滤波效果，而且省去了以往实验多次来选择参数的麻烦。

双边滤波的广泛应用是因为它有以下几个特征：

1、表述简单：每个像素被相邻像素的加权平均所取代。这个方面是重要的，因为它更容易获得有关其行为的直觉，更容易适应特定要求的应用并实现它。

2、效果完全取决于两个参数，这两个参数表示保持图像特征的大小和对比度。

3、可用于非迭代的方式。这些参数不具有累积性的迭代，这使得参数易于设置。

4、可以以一种交互的速度计算大的图象，这要基于有效的计数算法，如果图形硬件是可用的，甚至可以实时计算[15]。

5 KinectFusion 中的ICP 定位方法

ICP 定位环节将当前帧3D 点云和预测得到的3D 点云进行匹配时，由以下步骤来实现：

A) 利用投影法来确定对应点关系．用一个2 维ICP 来表示其过程，如图5 所示．图5(a) 中黑色曲线是环境中的物体，相机在连续两个位置分别对其进行采样和预测，O k 和O k?1 分别是当前相机和前一帧相机的坐标系原点．首先将k 和k?1 时刻的两个点云都转换到当前

帧k 的相机坐标系下，然后将两个点云通过相机中心O k 向像平面上投影，两个点云中具有

相同的像平面上的投影点的点即为对应点，如图5(b) 中的P1 和P2 两点．算法中还通过对应

点间的欧氏距离和法方向夹角来对对应点进行筛选．

图5 2D 的ICP 例子示意图

B) 利用点到平面的误差机制来衡量当前相对位姿的准确度．如图5(b) 所示，在2 维情况下，P1 和P2 间的误差为P1 到P2 点的切线的距离d．所有对应点间的总误差公式如下：

其中Ω(u) ?表示当前点云中的一个点u存在对应点，T g,k 是一个4×4 的位姿矩阵，表示当前帧相机在世界坐标系下的绝对位姿，世界坐标系定义为第一帧的相机坐标系，k(u) 为当前帧中u点的顶点坐标，是u点在预测帧中对应点的顶点坐标，为对点的法向量．C) 通过优化式(1) 得到最佳的相对位姿T g,k．采用线性化的方法将优化问题转化为一个最小二乘优化，通过计算一个线性方程组如式(2) 来计算最优解x．

其中

，

,

,

D) 迭代A) ～B)10 次．

6 KinectFusion 中的TSDF 点云融合算法

TSDF 算法用一个立方体栅格来表示3 维空间（如图4步骤(c)），立方体中每一个栅格存放的是该栅格到物体模型表面的距离，同时使用正负来表示在表面被遮挡一侧和可见一侧，而过零点就是表面上的点，如图6 中左侧的立方体中的一个物体模型．当有新的数据需要加入模型时会按照式(3)和(4)，进行融合处理，式中i+1 表示当前点云对应的栅格距离值，i 表

示原有的栅格距离值，同一个栅格的距离值通过一个权重W 来进行融合，新的权重为两个权重之和，示意图如图6 中右侧．在KinectFusion 算法中当前点云的权重为1．

图6 基于空间体的点云融合

这种方法是具有最小二乘优化性质的，同时使用了权重值来进行融合，对传感器的一些噪声具有一定的抑制作用{1}。

7 KinectFusion 重建物体的显示方法

点云融合后使用光线跟踪方法对融合后的图像进行显示，从而能够动态的实时的观察融合后的图像。光线跟踪是一种通过统一的方法，计算表面消隐、阴影、光的反射和折射等全局光照和其他效果的算法[16]。

Cook 等[17]提出分布式的光线跟踪算法，根据分布函数进行采样而产生一定方向分布的光线，并在场景中进行跟踪而产生运动模糊、景深、半影和模糊反射等光照效果。Kajiya[18]提出基于分布式光线跟踪的层次采样算法，它适应具有广泛多样性的基于蒙特卡洛方法的光线跟踪。Mitchell[19]将图像的非均匀采样方法应用到高维的分布式的光线跟踪算法中。Walter 等[20][21]提出一个新算法，通过对光源进行聚类生成相应的树状结构，并对其进行层次性的遍历，从而有效地对具有很多的各种类型的光源（点光源、面光源等）的场景进行光线跟踪，并应用到多维的光线跟踪算法中以产生丰富的视觉效果（如运动模糊、介质光照和景深等）。Hachisuka 等[22]提出光线跟踪的多维自适应采样与重建技术，即先在多维空间进行自适应采样，然后通过多维函数的综合而产生分布式的绘制效果（如软影、景深和运动模糊等）。

基于点云模型的投影算法能很好地绘制物体表面的局部光照的效果。光线跟踪是生成图像的非常通用的技术，能够模拟诸如阴影、反射和折射等全局光照（如图 7 所示），通过图像的每个像素跟踪光线到场景中，与场景中的几何面片进行求交计算[16]。

图7 基于点云模型的光线跟踪的绘制效果

8 结语

利用本文提到的三维重建方法，可以在日常环境下，无需使用成本高昂且操作复杂的设备，仅仅借助 Kinect 就能够在短时间内进行初步的三维建模，目前这类模型已经可以满足日常娱乐的需求。如果要想模型更加精确的话，就得使用3DMax 或 Maya 等专业工具来对本软件得出的模型进行修改，展望未来 Kinect 在三维重建方面必将拥有十分广阔的应用发展前景。

参考文献：

[1] 朱笑笑，曹其新，杨扬，陈培华. 一种改进的KinectFusion 三维重构算法, 第36 卷第2 期, 2014 年3

月,129-132

[2] Henry P, Krainin M, Herbst E, et al. RGB-D mapping: Usingdepth cameras for dense 3D modeling of indoor

environments[C]//RSS Workshop on RGB-D Cameras. 2010.

[3] Fioraio N, Konolige K. Realtime visual and point cloud SLAM[C]//RSS Workshop on RGB-D Cameras.

2011.

[4] Izadi S, Kim D, Hilliges O, et al. KinectFusion: Real-time 3Dreconstruction and interaction using a moving

depth camera

[C] Proceedings of the 24th Annual ACM Symposium on UserInterface Software and Technology. New York,

USA: ACM,2011: 559-568.

[5] Newcombe R A, Izadi S, Hilliges O, et al. KinectFusion: Realtimedense surface mapping and

tracking[C]//10th IEEE International Symposium on Mixed and Augmented Reality. Piscataway,USA: IEEE, 2011: 127-136.

[8] Herrera D C, Kannala J, Heikkila J. Joint depth and color camera calibration with distortion correction[J].

IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(10):2058-2064.

[9] Aurich and J. Weule. Non-linear gaussian filters performing edge preserving di?usion. In

Proceedings of the DAGM Symposium, 1995

[10] M. Smith and J. M. Brady. SUSAN – a new approach to low levelimage

processing.International Journal of Computer Vision, 23(1):45–78, May 1997.

[11] C. Tomasi and R. Manduchi, “Bilateral filtering for gray and color images,” in Proc. 6th Int. Conf.

Computer Vision, New Delhi, India, 1998, 839－846.

[12] M. Elad, “On the origin of the bilateral filter and ways to improve it,” IEEE

Trans.Image Processing, vol. 11, no.10, 1141–1151, Oct. 2002.

[13] Durand, F., and Dorsey, J. 2002. Fast bilateral filtering for the display of high

dynamic range images. ACM Transactions on Graphics 21, 3 (Proc. SIGGRAPH 2002), 257－266. [14] Paris and F. Durand. A fast approximation of the bilateral filter using a signal

processing approach. In Proceedings of the European Conference on Computer Vision,

2006

[15] 王玉灵，基于双边滤波的图像处理算法研究，西安电子科技大学，硕士学位论文，2010年，2-3

[16] 蔡鹏，基于光线跟踪与光子映射的点云数据绘制，博士学位论文，北京工业大学，2013-6-24，

[17] Cook R L, Porter T, Carpenter L. Distributed Ray Tracing [J]. Computer Graphics,

1984, 18(3): 137-145.

[18] Kajiya J T. The rendering equation [J]. Computer Graphics, 1986, 20(4): 143-150.

[19] Mitchell D P. Spectrally optimal sampling for distribution ray tracing [J]. Computer

Graphics, 1991, 25(4): 157-164.

[20] Walter B, Fernandez P, Arbree A, Bala P, Donikian M, Greenberg D P. Lightcuts: a scalable approach to

illumination [J]. ACM Transactions on Graphics, 2005, 24(3): 1098-1107.

[21] Walter B, Arbree A, Bala K, Greenberg D P. Multidimensional lightcuts [J]. ACM

Transactions on Graphics, 2006, 25(3): 1081-1088.

[22] Hachisuka T, Jarosz W, Weistroffer R P, Dale K, Humphreys G, Zwicker M, Jensen H W.

Multidimensional adaptive sampling and reconstruction for ray tracing [J]. ACM Transactions on Graphics, 2008, 27(3): 1-10.