基于深度视觉的物体识别算法研究

第一章绪论 (1)

1.1 物体识别技术的研究背景及意义 (1)

1.2 本文的主要工作和内容安排 (2)

1.3本文的内容安排 (3)

第二章相关工作 (4)

2.1 Kinect 简介 (4)

2.2 Kinect 相机校准 (4)

2.2.1世界坐标系、图像坐标系、相机坐标系 (4)

2.2.2 内参校准 (6)

2.2.3 外参校准 (8)

2.3点云数据的获取 (10)

2.4本章小结 (10)

第三章NSHOT特征描述符 (11)

3.1 3D特征描述符概述 (11)

3.1.1 PFH（Point Feature histogram）描述符 (12)

3.1.2 FPFH（Fast Point Feature histogram）描述符 (13)

3.1.3 SHOT(Signature of Histogram of Orientation)描述符 (13)

3.2 NSHOT特征描述符 (15)

3.3 实验 (18)

3.3.1实验环境 (18)

3.3.2实验数据 (18)

3.3.3 实验结果 (18)

3.4本章小结 (21)

第四章基于NSHOT特征描述符的点云表面匹配方法 (22)

4.1传统的点云表面匹配方法 (22)

4.1.1 基于正态分布变换算法的点云表面匹配方法 (22)

4.1.2传统的迭代最近点算法 (22)

4.2基于NSHOT特征描述符的点云表面匹配方法 (24)

4.3实验 (26)

4.3.1实验环境 (26)

4.3.2 实验结果 (27)

4.4本章小结 (31)

第五章总结与展望 (32)

5.1工作总结 (32)

万方数据

5.2展望未来 (32)

参考文献 (33)

发表论文和科研情况 (36)

致谢 (37)

万方数据

第一章绪论

1.1 物体识别技术的研究背景及意义

3D物体识别技术对于自主驾驶和智能机器人等领域的研究具有非凡的意义，在智能机器人的研究中，物体识别算法有助于智能机器人在未知环境中识别物体，进行导航。

曾经很长一段时间，研究人员们集中研究三维重构等比较底层，期待机器人能够像人一样，通过视觉确定三维世界中物体的类别和空间位置。为了实现物体识别，计算机需要对输入的视觉信息进行复杂的推理，从而识别出视觉信息所对应的物体以及彼此的关系。

但是，计算机得到的信息只能是灰度图或彩色图的二维或三维矩阵，为了推理出语义信息，必须从图像矩阵中提取出颜色、纹理、形状等低层次原始视觉特征，进一步推理出目标物体的语义符号组成高层次语义，实现机器对物体的识别。

三维物体识别的目标是从点云中将物体正确的识别出来，并确定其位置和方向[8]。

早期，三维物体识别主要是在二维RGB图像的基础上进行的，很多研究人员用精细复杂的物体几何模型来解决物体识别问题，并考虑了视点、遮挡以及内部类变量等因素。

Kanade等人首先将线以及线之间的相交部分进行分类，使用线构画3D物体；Brooks和Pentland将自动形状、通用锥形体、超二次曲面结合起来表示复杂的物体。将类似于CAD 这样的模型和图像边缘进行匹配，使得被部分遮挡物体及其内部类变量问题得到解决。

但是，这样的系统不能够鲁棒地处理现实世界中的图像，很多在可控实验室场景以外的环境中都失败了。这主要是因为二维图像在图像投影的过程中会丢失实际物体的三维结构信息，并且容易受到光照等外界条件的影响[7]。后来经过研究发现，光照强度以及物体的表面特性对物体的深度信息并没有影响，因此可以直接利用深度信息来表示物体的几何结构信息，进而进行物体识别。

近几年来，随着几何采集技术的不断发展，三维物体识别技术快速发展。微软公司2010年推出的Microsoft Kinect[9]，可以对环境信息进行采集，同时输出RGB图像和深度图像，其中RGB图像的分辨率为640*480，深度图像的分辨率为320*240，使得利用Kinect相机获取的深度信息来解决3D物体识别问题成为了一个新的研究热点。在2010年，Henry等人[1]使用一个可移动Kinect对室内场景进行数据采集，同时利用形状信息和表面信息对多帧数据进行配准，为室内场景建立了完整的三维地图。Holz等人[2]在RGB-D图的基础上，实现了室内机器人的壁障以及平面的提取。Ren等人[3]在进行三维场景理解时，使用了超像素MRF和分割树技术。Silberman等人[4]提出了一种对室内场景物体之间支撑关系进行推理的新方法，提出使用RANSAC算法对平面进行拟合，进而推理出物体之间的支撑关系，并利用深度和颜色梯度信息对RGB-D图像进行分割。

Koppula等人[5]根据物体之间的上下文关系，建立了描述物体局部的颜色、材质以及光

万方数据