基于全局配准累积误差极小的人体RGB-D数据三维重建
基于RGB-D视频的面向模型的三维物体检测与重建
摘要近年来，三维重建越来越受到更多计算机视觉领域学者的重视，随着三维重建的要求越来越高，其难度也愈加明显。
三维重建的难度在于以下几个原因：物体移动的范围、采取受噪声影响的三维点群的精确度、点群之间互相的遮蔽情形、三维重建的速度等因素。
近年来提出的重建方法中，图像数据的捕捉都在简单的场景或是将目标置于旋转平台上。
所以为了减少场景的限制，在本论文中，探讨如何使用与目标同类型的三维模型去辅助用户检测目标的姿态及位置，并达成重建的目的。
本文通过单RGB-D相机获得了3D图像，提出一个基于RGB-D视频的面向模型的三维物体检测与重建的方法。
利用RGB-D图像数据具有丰富信息的特点，有效增加目标检测与姿态估计的准确率。
利用事先建立的三维目标样本所提供的不同视角的RGB-D数据，可以准确地检测输入图像的目标，且在相机的内部与外部参数无法得知的情况下，有效进行目标姿态估计。
利用改进的追踪与对齐技术，本论文所提出的3D目标重建技术可实现扩增实境应用的3D图像显示、互动及场景重建的需求。
与传统使用少量特征的姿态估计相比，该方法能更有效地重建高质量的三维物体。
为了验证重建系统的可靠性，将本文所使用的方法与其他姿态估计的方法进行比较，结果表明本方法具有明显优势，证明重建系统能够有效地检测目标与姿态估计。
关键词：三维目标模型，RGB-D视频，目标检测，姿态估计，三维重建，三维校正AbstractIn recent years, 3D reconstruction has received more and more attention from scholars in the field of computer vision. As the requirements for 3D reconstruction become higher and higher, the difficulty becomes more and more obvious. The difficulty of 3D reconstruction lies in the following reasons: the range of the object's movement, the accuracy of the 3D point groups affected by noise, the mutual occlusion of the point groups, the speed of the 3D reconstruction, and other factors. In the reconstruction methods proposed in recent years, the image data is captured in a simple scene or a target is placed on a rotating platform. So in order to reduce the limitation of the scene, in this paper, we explore how to use the same type of 3D model as the target to assist the user to detect the pose and position of the target and achieve the purpose of reconstruction.In this paper, a single RGB-D camera is used to obtain 3D images, and a model-oriented 3D object detection and reconstruction method based on RGB-D video is proposed. The use of RGB-D image data is rich in information and effectively increases the accuracy of target detection and attitude estimation. Utilizing the RGB-D data of different perspectives provided by the three-dimensional target samples established in advance, the target of the input image can be accurately detected, and the target pose estimation can be effectively performed when the internal and external parameters of the camera cannot be known.With improved tracking and alignment technology, this paper can fulfill the needs of 3D image display and scene reconstruction for augmented reality applications. Compared with traditional pose estimation using a small number of features, this method can reconstruct high-quality 3D objects more efficiently. In order to verify the reliability of the reconstruction system, the method used in this paper is compared with other attitude estimation methods, and the results show that this method has obvious advantages, proving that the reconstruction system can effectively detect the target and attitude estimation.Keywords:3D object model, RGB-D Data, Object detection, Pose estimation目录摘要........................................................................................................... I II Abstract . (IV)第1章绪论 (1)1.1 研究背景与意义 (1)1.2 研究目的 (2)1.3 研究内容与方法 (3)1.4 论文架构 (3)第2章目标检测、姿态估计、RGB-D数据与三维目标重建技术 (4)2.1 目标检测 (4)2.2 姿态估计 (4)2.3 RGB-D数据 (5)2.3.1 数据类型和属性 (5)2.3.2 公开数据集 (7)2.3.3 开源库 (9)2.4 RGB-D图像为主的三维目标重建技术 (10)2.5 本章小结 (11)第3章系统结构概述 (12)3.1 基础方法介绍 (12)3.1.1 RGB-D图像捕获设备 (12)3.1.2 图像分割方法GrabCut算法 (12)3.1.3 三维迭代最近邻点算法(Iterative closest point) (14)3.2 系统流程简介 (16)3.3 本章小结 (17)第4章基于模型的三维图像目标检测 (18)4.1 三维目标点云的生成 (18)4.1.1 深度图像二值化 (18)4.1.2 图像坐标与实体坐标转换关系 (19)4.2 三维物体点云对齐 (20)4.2.1 三维模型CGIs的建立 (21)4.2.2 基于SIFT特征的目标姿态估计 (23)4.2.3 以ICP微调目标姿态 (26)4.3 GrabCut物体分割 (27)4.4 本章小结 (31)第5章面向模型的三维图像目标重建 (32)5.1 全局三维模型对齐 (32)5.2 三维模型重建 (33)5.3 本章小结 (35)第6章实验结果与分析 (36)6.1 测试环境及测试资料库 (36)6.2 物体姿态估计 (37)6.3 三维模型分割与重建 (40)6.4 本章小结 (43)第7章结论与展望 (44)参考文献 (45)致谢 (50)第1章绪论1.1 研究背景与意义3D场景建模长期以来一直是计算机图形学和计算机视觉中的基本问题。
基于大数据和RGB-D图像的虚拟实验室场景三维重建
3D reconstruction of virtual laboratory scene based on big data and RGB-D image
作者： 吴永林[1]
作者机构： [1]六安职业技术学院信息与电子工程学院,安徽六安237158
出版物刊名： 宁夏师范学院学报
页码： 96-103页
年卷期： 2021年 第7期
主题词： 大数据;RGB-D图像;虚拟实验室场景;三维重建;视景仿真
摘要：为了提高虚拟实验室场景三维重建能力,提出基于大数据和RGB-D图像的虚拟实验室
场景三维重建方法.采用大数据算法建立虚拟实验室场景三维图像采集模型,提取虚拟实验室场景三维内部结构特征并进行融合处理.先通过RGB-D图像分解方法,进行虚拟实验室场景的信息跟踪和模糊度重建.然后结合虚拟现实视景重建技术,进行虚拟实验室场景拟合和透射特征分析,重建虚拟实验室RGB-D特征分解和像素特征,实现虚拟实验室场景的三维重构.仿真结果表明,采用该方
法进行虚拟实验室场景三维重构的精度较高,三维重建后的输出精度较高,信息融合度较好.。
一种基于多视点RGBD相机高分辨率人体三维重建方法[发明专利]
![一种基于多视点RGBD相机高分辨率人体三维重建方法[发明专利]](https://img.taocdn.com/s3/m/d0893a0c443610661ed9ad51f01dc281e53a569c.png)
专利名称：一种基于多视点RGBD相机高分辨率人体三维重建方法
专利类型：发明专利
发明人：于涛,吉朝南,戴翘楚
申请号：CN202110193747.3
申请日：20210220
公开号：CN112927348B
公开日：
20220308
专利内容由知识产权出版社提供
摘要：本发明提出了一种基于多视点RGBD相机高分辨率人体三维重建方法，该方法包括如下步骤：准备数据训练集；提取图像特征；对空间点进行采样；计算每个采样点投影在多视点相机采集到的图像上的位置，并计算所对应的特征；结合深度摄像机的空间点深度信息，计算每个采样点的psdf 作为该采样点对应不同图像特征值融合的权重；利用每个采样点的psdf作为权重对采样点的特征值进行融合，并作为MLP神经网络的输入；通过MLP神经网络预测每个采样点在空间中处于模型表面的概率，从而能完成人体三维模型几何表面重建，采用相同的步骤同样可完成人体三维模型表面纹理重建，从而得到具有高分辨的的人体三维重建模型，该技术可应用于AR/VR交互与远距离交流等领域。
申请人：北京未澜科技有限公司
地址：100083 北京市海淀区中关村大街18号8层04-895
国籍：CN
代理机构：北京远创理想知识产权代理事务所(普通合伙)
代理人：卫安乐
更多信息请下载全文后查看。
计算机视觉中的三维重建：探索三维重建技术在虚拟现实、增强现实与机器人导航中的应用
计算机视觉中的三维重建：探索三维重建技术在虚拟现实、增强现实与机器人导航中的应用摘要本文深入探讨了计算机视觉中的三维重建技术，重点关注其在虚拟现实（VR）、增强现实（AR）和机器人导航领域的应用。
三维重建作为计算机视觉的核心任务之一，旨在从二维图像或视频中恢复真实世界的三维结构。
随着三维重建技术的不断发展，其在各个领域的应用日益广泛，为人们的生活和工作带来了诸多便利。
本文将回顾三维重建技术的发展历程，介绍主流的三维重建方法，并详细阐述其在VR、AR和机器人导航领域的应用现状与未来展望。
引言三维重建是计算机视觉领域的一项重要任务，其目标是从二维图像或视频中获取场景或物体的三维信息，并构建出相应的几何模型。
三维重建技术在众多领域具有广泛的应用价值，如虚拟现实、增强现实、机器人导航、文物保护、医学影像分析等。
近年来，随着深度学习技术的发展，三维重建技术取得了显著的进步，为相关领域的应用带来了新的机遇。
三维重建技术的发展历程早期的三维重建技术主要基于几何方法，如立体视觉、运动恢复结构（SfM）等。
这些方法通过分析多张图像之间的几何关系来恢复场景的三维结构。
然而，这些方法对图像质量和特征匹配的精度要求较高，且难以处理复杂的场景。
随着深度学习技术的兴起，基于学习的三维重建方法逐渐成为主流。
这些方法通过学习大量的图像数据，自动提取图像中的特征，并建立二维图像与三维结构之间的映射关系。
深度学习方法在三维重建任务中取得了显著的成果，能够处理复杂的场景和低质量的图像。
主流的三维重建方法目前，主流的三维重建方法主要包括以下几类：1. 基于深度学习的单目三维重建：该方法通过学习大量的单目图像数据，直接从单张图像中恢复场景的三维结构。
代表性的算法有MVSNet、NeuralRecon等。
2. 基于深度学习的双目/多目三维重建：该方法利用多张图像之间的视差信息，通过深度学习模型来估计场景的深度信息，从而重建出三维结构。
3. 基于RGB-D相机的三维重建：该方法利用RGB-D相机获取的彩色图像和深度图像，通过融合两种信息来重建场景的三维结构。
基于RGBD传感器的三维重建技术研究
基于RGBD传感器的三维重建技术研究摘要：RGBD传感器结合了RGB图像和深度图像的输入，能够提供更加丰富的信息用于三维重建。
本文综述了基于RGBD传感器的三维重建技术的研究进展，包括传感器工作原理、数据处理、特征提取和三维重建等方面。
此外，还介绍了目前面临的挑战以及未来的发展方向。
一、引言三维重建技术是从多个图像或深度图像中获取物体或场景的三维模型的过程。
传统的基于视觉的三维重建方法主要使用单个摄像机采集的RGB图像，但由于缺乏深度信息，往往会导致遮挡和噪声等问题。
为了解决这些问题，研究人员引入了RGBD传感器，它能够提供相对准确的深度图像，从而改善了三维重建的效果。
二、RGBD传感器的工作原理RGBD传感器主要由一个RGB摄像机和一个深度传感器组成。
RGB摄像机用于捕捉物体或场景的颜色信息，深度传感器利用结构光或者飞行时间原理来测量物体或场景的距离信息。
通过将RGB图像和深度图像进行对齐，可以获得具有空间几何信息的RGBD数据。
三、RGBD数据的处理获取到RGBD数据后，需要进行一系列的预处理操作才能用于三维重建。
首先，需要对深度图像进行去噪处理，以降低噪声对后续操作的影响。
其次，需要校准RGB图像和深度图像之间的对齐误差。
最后，需要将RGBD数据转换成点云数据，以便进行后续的特征提取和三维重建。
四、特征提取特征提取是RGBD三维重建的关键步骤之一、传统的方法主要基于SIFT、SURF等特征提取算法，但这些方法主要针对RGB图像，无法准确提取深度信息。
近年来，研究人员提出了一些新的特征提取方法，如基于深度图像的特征描述子和基于传感器数据的深度特征描述子等。
这些方法能够有效地利用RGBD数据中的颜色和深度信息，提高特征的鉴别能力和匹配精度。
五、三维重建基于RGBD数据的三维重建方法可分为基于体素的方法和基于点云的方法两类。
基于体素的方法利用体素网格将三维空间划分为小的立方体单元，通过对每个立方体单元进行建模来生成三维模型。
医学图像配准与三维重建算法研究
医学图像配准与三维重建算法研究一、引言医学图像配准与三维重建算法是医学影像处理领域的重要研究内容。
医学影像配准是指将来自不同时间点或不同成像方式的医学图像对齐，以便进行准确的比较和分析。
而三维重建算法则是将医学图像中的二维数据转换为三维模型，提供更全面准确的解剖结构信息。
本文将深入探讨医学图像配准与三维重建算法的原理与应用。
二、医学图像配准算法1. 刚体配准算法刚体配准算法主要用于对齐具有相同解剖结构的医学图像，例如脑部MRI图像。
其基本思想是通过寻找最佳的旋转和平移参数，使得源图像与目标图像在空间中重叠最好。
常用的刚体配准算法包括最小二乘法、互信息和归一化互相关等。
2. 非刚体配准算法非刚体配准算法适用于不具备完全相同解剖结构的医学图像，例如乳腺X射线图像。
非刚体配准的核心问题是如何建立非刚体变形模型，以便实现图像间的配准。
常用的非刚体配准算法包括基于物理模型的有限元方法、基于统计学习的变形模型和基于图像特征的配准方法等。
三、医学图像三维重建算法1. 体绘制算法体绘制是一种常用的三维重建方法，它通过将医学图像中的二维切片堆叠起来，形成一个立体的体积数据。
体绘制算法包括体绘制技术、体绘制的分类和体绘制的应用。
在体绘制的应用方面，通过3D模型的可视化，医生可以更好地理解病变的形态和位置。
2. 表面重建算法表面重建算法主要用于对医学图像进行三维网格化，以生成真实的解剖结构模型。
表面重建算法包括基于体素的方法、基于点云的方法和基于曲面拟合的方法等。
这些方法可以将医学图像中的信息进行提取和处理，得到更具几何形态的三维表面模型。
四、医学图像配准与三维重建的应用医学图像配准与三维重建在临床医学和医学研究中有广泛的应用价值。
例如，在手术导航中，医生可以将术前的图像与实际手术时的图像进行配准，以帮助手术操作。
在肿瘤定位和治疗方面，三维重建可以提供更加准确的肿瘤形态和位置信息，使得肿瘤的切除和放疗更加精确。
此外，医学图像的配准与三维重建还可以在病理分析、医学教育和科学研究等领域发挥重要作用。
基于RGB-D树状结构物体三维重建
基于RGB-D树状结构物体三维重建CHEN Guo-jun;ZHANG Qing-wei;LI Kai-yue;CAO Yue【摘要】由于设备采集树状物体数据精度差,导致树状物体枝干连接部位数据丢失,重建出来的树状物体枝干不连续.树状结构物体颜色单调统一,各枝叶形状相似,导致特征点提取困难,配准精度低.通过对深度数据的分析,彩色图像与深度数据相比拥有更完整的信息,使用深度数据与彩色数据相结合的方法,根据彩色图像与深度数据的坐标映射关系,使用彩色图像修复缺失的深度数据.边界轮廓同样能够体现物体的形状特征,使用目标边界点作为特征点,应用边界点的曲率属性进行特征点的匹配.实验结果表明,使用彩色深度数据结合的优化方法相比较于直接用深度图优化深度数据的方法,能够解决枝干间断的问题,同时使边缘数据更加完整.使用边界特征配准方法能够为ICP精确配准提供良好的初始位置,从而提高精确配准时的精度.【期刊名称】《计算机技术与发展》【年(卷),期】2018(028)012【总页数】5页(P142-146)【关键词】Kinect;三维重建;法向量;曲率;最小二乘法;ICP【作者】CHEN Guo-jun;ZHANG Qing-wei;LI Kai-yue;CAO Yue【作者单位】;;;【正文语种】中文【中图分类】TP391.90 引言随着计算机视觉技术的发展，三维重建技术的应用越来越广泛，可应用于军事、生活等各个领域。
通常三维重建更多的是以人体、地形、室内环境等为目标，其形状规整，特征突出，重建相对容易。
但是相对于树状结构物体，其颜色单调，结构复杂，特征提取困难，而且枝干较细的部位测得的深度数据不完整，重建的模型精度差。
树状物体是大自然中普遍存在的事物，对于农业、林业等领域有重要的研究价值。
树状物体的三维模型能够更好、更方便地应用于各方面的研究，因此对树状物体进行三维重建有着重要的研究意义。
1 相关工作三维重建的方法主要有基于图片的方法和基于深度数据的方法。
基于RGB-D数据的物体三维建模及鞋垫定制应用
基于RGB-D数据的物体三维建模及鞋垫定制应用三维重建是计算机视觉中的热点研究课题。
以物体三维重建为基本研究对象,对基于Structure From Motion和Kinect Fusion的两种三维重建方法进行改进,并对三维重建方法进行实际应用,进行人体脚部建模,并提出了一种由脚部三维模型全自动化生成定制鞋垫的方法。
针对以上课题展开研究,研究内容和创新点总结为以下三点:第一,主要介绍了Structure From Motion的三维重建技术,针对缺少丰富纹理的物体提出了一种特征点提取和匹配方法,采用人体和脚部两组视频对提出的方法进行验证,对图像序列较多的匹配可采用层次哈希策略加速,详细介绍了运动恢复结构方法,包括由特征匹配点恢复出相应图像的相机参数和场景结构的原理,采用PMVS对稀疏点云进行稠密扩展,利用泊松表面重建并进行纹理化,用人工采集的数据集验证此三维重建系统。
第二,提出了基于改进Kinect Fusion的三维重建方法,设计了一个采集系统使得数据采集与离线重建相独立;提出一种改进的ICP点云配准方法,结合RGB彩色图,利用彩色图像与深度图的对齐,进而得到彩色图像中的特征匹配点对应的三维点,从而估计一个变换矩阵作为ICP算法的初始值;最后采用立方体体素融合方法进行点云融合及表面重建,最终得到三维模型。
第三,提出了一种由脚部网格模型进行个性化鞋垫定制的方法,首先利用改进的RANSAC算法粗略估计脚底平面位置,并作为一致性点漂移(CPD)算法配准的初始值,从而得到脚底面精确法向;提出一种基于高度连续性的切割线算法得到脚底曲面的切割线,采用DBSCAN聚类算法得到脚底曲面,最后采用两种策略的网格平滑,并进行脚底曲面的拉伸操作,最终得到定制鞋垫。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1) (浙江工业大学计算机科学与技术学院 杭州 2) (浙江理工大学信息学院 杭州 310018) (ywmGB-D 扫描数据获取和人体三维重建过程中存在扫描数据分辨率不高、噪声干扰影响较大、配准误差 较大等问题, 提出一种基于累积误差极小的 RGB-D 扫描数据全局配准的人体模型三维重建方法. 首先采集人体扫描 数据并进行预处理, 去除噪声和背景; 然后利用基于三维点特征描述符匹配求解局部扫描数据的粗略配准, 并通过 最近点迭代的方法进行精细配准; 再构建局部配准数据加权图, 通过最小生成树方法合并局部相邻帧数据来减少全 局误差传播的影响, 利用环闭合的方法解决累积误差问题并得到全局刚体配准结果; 通过对全局刚体配准后的数据 依次进行非刚体变换并不断融合配准后数据, 解决扫描过程中的移动问题, 进一步减少全局累积误差; 最后利用全 局配准结果和扫描数据中的颜色信息生成融合颜色信息的人体三维重建模型. 利用 2 台 Kinect 设备扫描获取的人体 全方位扫描数据进行实验的结果表明, 该方法能够方便、高效地重建具有高度真实感的三维人体, 而且重建生成的三 维人体测量尺寸与真实人体尺寸之间的误差较小.
Abstract: 3D human body reconstruction using RGB-D scanning data is still challenge due to low-quality data, noise interference and registration error. To solve these problems, a global registration cumulative error minimization based 3D human body reconstruction method using RGB-D scanning data is introduced. The first step is to capture and preprocess human body scanning data, eliminating noise and background. Then a method based on point feature descriptor is proposed for local rough registration and this pairwise registration is refined by iterative closest point approach. Afterwards, a weighted graph for local aligned data is constructed and local data in this graph is combined using minimal spanning tree. This reduces the influence of global error propagation. A global rigid registration is achieved based on loop closure. In order to solve body drift problem in scanning and further reduce cumulative error, an incremental non-rigid method is applied to global non-rigid
Sun Yuliang1), Miao Yongwei2)*, Bao Chen1), Xia Haibang2), Zhang Xudong1), and Chen Jiazhou1)
1) (College of Computer Science and Technology, Zhejiang University of Technology, Hangzhou 310023) 2) (College of Information Science and Technology, Zhejiang Sci-Tech University, Hangzhou 310018)
关键词: RGB-D 数据; 人体三维重建; 累积误差; 局部配准; 全局配准
中图法分类号: TP391.41
DOI: 10.3724/SP.J.1089.2019.17584
Global Registration Cumulative Error Minimization Based 3D Human Body Reconstruction Using RGB-D Scanning Data
第 31 卷 第 9 期 2019 年 9 月
计算机辅助设计与图形学学报
Journal of Computer-Aided Design & Computer Graphics
Vol.31 No.9 Sept. 2019
基于全局配准累积误差极小的人体 RGB-D 数据三维重建
孙瑜亮1), 缪永伟2)*, 鲍 陈1), 夏海浜2), 张旭东1), 陈佳舟1)
收稿日期: 2018-09-05; 修回日期: 2018-11-15. 基金项目: 国家自然科学基金(61272309); 浙江理工大学科研基金(17032001-Y). 孙瑜亮(1987—), 男, 博士研究生, 主要研究方向为计算机图形学、数字几何处理、计算机视觉; 缪永伟(1971—), 男, 博士, 教授, 博 士生导师, CCF 高级会员, 论文通讯作者, 主要研究方向为计算机图形学、数字几何处理、计算机视觉、机器学习等; 鲍 陈(1983—), 男, 博士研究生, 主要研究方向为计算机图形学、计算机视觉; 夏海浜(1993—), 男, 硕士研究生, 主要研究方向为计算机图形学、计 算机视觉; 张旭东(1982—), 男, 博士, 实验师, 主要研究方向为计算机图形学、计算机视觉; 陈佳舟(1984—), 男, 博士, 副教授, 主 要研究方向为计算机图形学、计算机视觉.