基于深度学习的创意三维体素模型的建模系统的构建方法与制作流程
深度学习模型构建的详细步骤与指南

深度学习模型构建的详细步骤与指南深度学习是一种基于人工神经网络的机器学习技术,它模仿人类大脑的神经网络结构和工作方式来进行高级模式识别和数据处理。
深度学习模型的构建是这一领域的核心任务之一,它涉及到数据准备、网络设计、模型训练和调优等多个步骤。
本文将介绍深度学习模型构建的详细步骤与指南。
1. 理解问题并准备数据在构建深度学习模型之前,首先需要对待解决的问题有一个完整的理解。
明确问题的类型(分类、回归等)和目标(准确率、召回率等),确定数据集的特点和要求。
同时,对数据进行预处理,包括数据清洗、缺失值填充、特征选择等。
确保数据集的质量和完整性对于构建有效的深度学习模型至关重要。
2. 构建神经网络结构深度学习模型的核心是神经网络。
在构建神经网络结构时,需要选择合适的网络架构、激活函数和优化器等。
常见的深度学习网络结构包括卷积神经网络(CNN)、循环神经网络(RNN)和多层感知器(MLP)等。
根据问题的特点和数据集的特征,选择适合的网络结构是一项重要的任务。
3. 编写代码并进行模型训练在选择了合适的网络结构后,需要使用编程语言(如Python或R)来编写代码并进行模型训练。
使用深度学习框架(如TensorFlow、Keras或PyTorch)可以简化训练过程。
在进行模型训练时,需要确定合适的损失函数和优化算法,并选择适当的超参数(如学习率、批量大小和迭代次数)来优化模型的性能。
4. 模型评估与调优训练完成后,需要对模型进行评估和调优。
评估模型的性能可以使用多种指标,如准确率、召回率、F1值等。
如果模型的性能不理想,可以尝试调整网络结构、优化算法或增加训练数据等。
通过迭代优化,逐步改进模型的性能和泛化能力。
5. 模型部署和应用经过训练和调优后,深度学习模型可以被部署和应用于实际问题中。
部署可以通过将模型导出为可执行文件、嵌入式设备或云服务来完成。
应用领域广泛,包括图像识别、语音识别、自然语言处理、推荐系统等。
浅谈三维虚拟人体模型的构建与应用

浅谈三维虚拟人体模型的构建与应用1.引言随着计算机技术和图形学的不断发展,出现了许多三维模型的应用场景。
其中,三维虚拟人体模型的应用成为了研究和实践的热点。
三维虚拟人体模型的应用,可以用于各种领域,如医学、游戏、广告等。
因此,本文将从三维虚拟人体模型的构建和应用方面进行探讨。
2.三维虚拟人体模型的构建在构建三维虚拟人体模型之前,需要了解一些基本的概念。
例如,三维坐标系、视角、透视等等。
此处不再赘述,有兴趣的读者可以自行了解。
2.1 数据采集构建三维虚拟人体模型的第一步是数据采集。
目前数据采集的主要方法有两种:1.扫描法扫描法又分为接触式扫描和非接触式扫描两种。
接触式扫描需要将被扫描对象表面与扫描仪接触,以获取其表面形态信息。
而非接触式扫描则不需要与被扫描对象直接接触。
2.重建法重建法是通过对被扫描物体的多张图像进行处理,获取其三维数据。
重建法有多种方法,例如体素重建、多视图三维重建、结构化光束法等。
2.2 数据处理通过数据采集得到的数据需要进行后期处理,包括数据清洗、数据对齐、数据配准等。
此步骤的主要目的是将采集到的数据转化为三维坐标系中的数据,并保证数据的准确性和完整性。
2.3 模型构建模型构建包括建模、纹理映射、绑定等步骤。
建模通常采用的是三维建模软件,如3D Max、Blender等。
纹理映射则是将采集到的纹理图像映射到模型表面,以增加模型的真实感。
绑定则是将模型的骨骼系统与肌肉系统相连接,以便于后续的动画制作。
3.三维虚拟人体模型的应用3.1 医学领域三维虚拟人体模型在医学领域的应用成为了医学研究的重要手段之一。
例如,通过三维虚拟人体模型可以进行切片、分层、模拟手术等操作,以便于医生对患者进行精准的治疗。
3.2 游戏领域三维虚拟人体模型在电子游戏中的应用也非常广泛。
游戏开发者可以利用三维虚拟人体模型来构建游戏角色、场景等。
同时,通过对三维虚拟人体模型的动态模拟与渲染,可以使游戏更加真实、流畅。
三维建模的流程

三维建模的流程三维建模是指利用计算机软件将现实世界中的物体或场景以三维模型的形式呈现出来的过程。
它广泛应用于电影、游戏、建筑设计、工业设计等领域。
本文将介绍三维建模的流程,包括前期准备、建模、材质贴图和渲染等环节。
一、前期准备在进行三维建模之前,需要明确建模的目标和需求,确定所要建模的物体或场景的形状、大小、比例等。
同时,还需要收集相关参考资料,包括照片、草图、图纸等。
这些资料将有助于建模师更好地理解和把握建模对象的特征和细节。
二、建模建模是三维建模流程的核心环节。
在建模过程中,建模师需要运用建模软件,根据参考资料和自己的想象力,逐步构建出三维模型。
建模软件常见的有3ds Max、Maya、Blender等。
建模的方法有多种,包括多边形建模、曲面建模、体素建模等。
建模师可以根据建模对象的特征选择合适的建模方法。
三、材质贴图在建模完成后,需要为模型添加材质贴图,使其外观更加真实和逼真。
材质贴图是指将具有颜色、纹理、反射等属性的图片贴到模型表面的过程。
建模软件提供了丰富的材质库,建模师可以根据需要选择合适的材质,并对其进行调整和优化。
此外,建模师还可以通过绘制纹理贴图来实现更精细的效果。
四、灯光设置灯光设置是为了模拟现实世界中的光照条件,使模型在渲染过程中能够呈现出逼真的光影效果。
建模师可以在建模软件中添加各种类型的灯光,如点光源、平行光源、聚光灯等,并对其位置、亮度、颜色等参数进行调整。
合理的灯光设置可以使模型更加生动和立体。
五、渲染渲染是将建模师所创建的三维模型转化为二维图像的过程。
在渲染过程中,建模软件会根据模型的几何形状、材质属性和灯光设置等信息,计算出每个像素点的颜色和亮度值。
建模师可以选择不同的渲染算法和参数设置,以达到所需的渲染效果。
渲染结果可以输出为图片或视频格式,用于展示和后期制作。
六、后期制作在渲染完成后,还可以进行后期制作,以进一步提升模型的质量和逼真度。
后期制作包括图像修饰、色彩调整、特效添加等。
基于深度学习的三维重建算法研究

基于深度学习的三维重建算法研究随着机器学习技术的快速发展,深度学习已经被应用于各种领域。
在计算机视觉领域,基于深度学习的三维重建算法越来越受到重视。
三维重建是从二维图像或视频中恢复出三维模型的过程,对于计算机视觉、计算机图形学、虚拟现实等领域非常重要。
本文将介绍基于深度学习的三维重建算法的研究现状和发展趋势。
一、传统的三维重建算法传统的三维重建算法主要包括立体视觉、激光雷达和结构光等。
其中,立体视觉方法基于从多角度的图像中恢复出场景中物体的空间位置和形状。
激光雷达方法则是通过激光束扫描物体表面的方式获取物体的三维信息。
结构光则是通过投影特殊的光源模式,在物体表面上形成一些斑纹,并通过记录这些斑纹在物体上变形前后的位置变化,以恢复出物体表面的三维形状。
然而,传统的三维重建算法存在一些问题。
例如,立体视觉方法需要多角度的图像,并且对光照和纹理等条件要求比较高;激光雷达方法需要特殊的设备并且成本较高,同时对于物体表面的透明或者反射等情况较难处理;结构光方法则对于物体表面的反射和遮挡也有一定的限制。
二、基于深度学习的三维重建算法随着深度学习技术的发展,基于深度学习的三维重建算法被提出。
这些算法可以利用深度学习模型从单张或多张图像中恢复出三维场景。
基于深度学习的三维重建算法具有不需要特殊设备、对物体表面的透明和反射等问题具有更好的鲁棒性、对图像的光照、纹理等条件要求比较低等优点。
目前,基于深度学习的三维重建算法主要有以下几种类型:单视角图像到深度图的转换、多视角图像到点云的转换、偏移视角图像到三维网格的转换和利用语义信息进行三维重建。
1. 单视角图像到深度图的转换单视角图像到深度图的转换是最基本的基于深度学习的三维重建算法之一。
这种方法通过神经网络模型将单张图像转换成对应的深度图像,然后通过三维点云生成算法或者体素分立方法将深度图转换成三维模型。
这个方法的好处是只需要单张图像,计算成本较低,但是缺点是三维重建的精度有限。
三维人体建模

三维人体建模在数字化时代的今天,三维人体建模技术的发展日益成熟,为各行各业提供了更加精确和高效的工具。
三维人体建模是通过计算机技术将人体的形状、结构和动作等信息转化为数字化的三维模型,广泛应用于影视动画、虚拟现实、医学仿真、服装设计等领域。
本文将深入探讨三维人体建模技术的原理、应用和发展趋势。
一、三维人体建模的原理三维人体建模的原理是通过采集人体的形状、纹理和动作等数据,利用计算机图形学和计算机视觉技术进行处理和重构,最终生成完整的三维人体模型。
主要包括数据采集、数据处理和模型生成三个步骤。
1.数据采集:三维人体建模的数据来源主要包括传感器、摄像头、扫描仪等设备,用于获取人体的外形、姿势、肌肤等信息。
常用的数据采集技术包括结构光扫描、激光扫描、摄影测量、运动捕捉等。
2.数据处理:通过对采集到的数据进行处理,去除噪声、对齐数据、拟合曲面等,以准确地表达人体的形状和结构。
3.模型生成:将处理后的数据转化为三维模型,包括网格建模、曲面重建、关节绑定、骨骼绑定等过程。
最终得到逼真的、可交互的三维人体模型。
二、三维人体建模的应用三维人体建模技术在各个领域都有着广泛的应用,为相关行业带来了许多便利和创新。
1.影视动画:在电影、动画片等影视作品中,通过三维人体建模可以制作出逼真的人物角色,让观众身临其境地感受故事情节。
2.虚拟现实:在虚拟现实技术中,三维人体建模可以用于创建真实感十足的虚拟环境和人物形象,为用户提供沉浸式的体验。
3.医学仿真:医学领域利用三维人体建模技术进行解剖学研究、手术模拟、病理分析等,有助于提高诊断和治疗的准确性。
4.服装设计:在服装行业中,设计师可以利用三维人体建模技术为不同身材的人群设计服装,并进行虚拟试穿,提高设计效率和客户满意度。
三、三维人体建模的发展趋势随着计算机技术和图形学技术的不断进步,三维人体建模技术也在不断发展和完善,未来有着更广阔的应用前景。
1.精细化:未来三维人体建模技术将更加注重模型的细节和真实感,包括皮肤纹理、肌肉结构、头发模拟等方面的提升。
基于数字几何建模技术的三维人体建模

基于数字几何建模技术的三维人体建模第一章:引言数字几何建模技术是一种将真实世界中的物体或场景用数字数据表示的方法,具有广泛的应用领域。
在计算机图形学领域,数字几何建模技术不仅可以用来建模机械、建筑、自然场景等,还可以用来建模人体。
面对越来越多丰富的虚拟现实应用场景,如游戏、影视、教育等,数字几何建模技术的三维人体建模技术愈加重要。
本文将着重介绍基于数字几何建模技术的三维人体建模。
第二章:三维人体建模基础1. 三维人体建模的步骤三维人体建模分为以下几个步骤:①数据采集:通过光线扫描、摄像等方式获取人体数据。
②数据处理:对数据进行预处理,去掉噪声和冗余信息等。
③挖掘特征:提取人体的关键特征点、轮廓线等。
④参数化建模:将数据进行变换、分割和拼接,通过修改参数实现人体形态的变化。
⑤材质贴图:将人体表面贴上皮肤、衣物等材质贴图。
⑥动画表现:为人体添加动作和表情,完成三维人体建模。
2. 三维人体建模的技术特点三维人体建模需要满足以下几个技术特点:①真实感:建模结果需要在视觉上具有真实感。
②动态性:建模结果需要支持动态表现,实现人体的运动、变形等。
③渲染效果好:建模结果需要支持在不同的虚拟现实场景下使用,如游戏、影视等。
3. 数字几何建模技术在三维人体建模中的应用数字几何建模技术在三维人体建模中的主要应用有:①曲线和曲面:可以用来建模人体的轮廓线和表面。
②参数化建模:可以通过控制参数改变人体的形态。
③形状匹配和拟合:可以对不完整的数据进行估计和拟合,以获得更准确的建模结果。
第三章:数字几何建模技术在三维人体建模中的进一步研究1. 基于贝塞尔曲线和曲面的模型贝塞尔曲线和曲面是一种基于参数化建模的方法,可以实现对人体形态的精细控制。
通过控制关键点的位置,曲线和曲面可以在保证光滑性和连续性的情况下对人体形态进行大规模变形,达到各种形态的变化效果,极大的方便了三维人体建模中的形态控制。
2. 基于实例学习的模型实例学习是一种基于学习算法的方法,可以通过模拟数据学习人体形态变化的规律。
立体建模的操作规程包括(3篇)

第1篇一、前言立体建模是一种利用计算机技术对三维物体进行建模的方法,广泛应用于建筑设计、工业设计、游戏开发等领域。
为了确保立体建模工作的顺利进行,提高工作效率和质量,特制定本操作规程。
二、操作前的准备1. 硬件准备:确保计算机硬件配置满足立体建模软件的运行要求,如处理器、内存、显卡等。
2. 软件准备:安装并配置好立体建模软件,确保软件版本与硬件兼容。
3. 工具准备:准备绘图板、鼠标、键盘等辅助工具,以提高操作便捷性。
4. 基础知识:了解立体建模的基本概念、原理和方法,熟悉相关软件的操作界面和功能。
三、操作步骤1. 创建新项目:打开立体建模软件,创建一个新的项目。
2. 建立基础模型:根据设计需求,选择合适的建模方法(如多边形建模、曲面建模等)来建立基础模型。
3. 细化模型:对基础模型进行细化处理,包括添加细节、调整比例、优化拓扑结构等。
4. 材质贴图:为模型添加材质和贴图,使模型更具真实感。
5. 灯光设置:根据场景需求,设置合适的光源和照明效果。
6. 摄影机调整:调整摄影机的位置和角度,以获取最佳的渲染效果。
7. 渲染输出:设置渲染参数,进行渲染输出,生成最终的图像或动画。
四、注意事项1. 保持工作环境整洁:确保操作区域干净、有序,避免因杂乱而影响操作。
2. 遵守操作规范:严格按照软件操作流程进行操作,避免因操作不当导致模型损坏。
3. 保存进度:在建模过程中,定期保存项目进度,防止数据丢失。
4. 注意健康:长时间操作电脑,注意眼睛休息,适当活动身体,预防职业病。
5. 求助与沟通:遇到问题时,及时向同事请教或查阅资料,确保项目顺利进行。
五、操作后的工作1. 整理项目文件:将项目文件进行分类整理,方便后续查找和修改。
2. 评估项目质量:对完成的模型进行质量评估,确保符合设计要求。
3. 修改与完善:根据评估结果,对模型进行修改和完善。
4. 上报与交接:将完成的模型提交给相关人员,确保项目顺利进行。
本规程适用于立体建模工作的全过程,各相关人员应严格遵守,确保项目质量与效率。
制作三维实体模型的流程

制作三维实体模型的流程下载温馨提示:该文档是我店铺精心编制而成,希望大家下载以后,能够帮助大家解决实际的问题。
文档下载后可定制随意修改,请根据实际需要进行相应的调整和使用,谢谢!并且,本店铺为大家提供各种各样类型的实用资料,如教育随笔、日记赏析、句子摘抄、古诗大全、经典美文、话题作文、工作总结、词语解析、文案摘录、其他资料等等,如想了解不同资料格式和写法,敬请关注!Download tips: This document is carefully compiled by theeditor. I hope that after you download them,they can help yousolve practical problems. The document can be customized andmodified after downloading,please adjust and use it according toactual needs, thank you!In addition, our shop provides you with various types ofpractical materials,such as educational essays, diaryappreciation,sentence excerpts,ancient poems,classic articles,topic composition,work summary,word parsing,copy excerpts,other materials and so on,want to know different data formats andwriting methods,please pay attention!1. 确定模型需求:明确模型的用途、目标和受众。
收集相关的参考资料,如图片、图纸、实物等。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
本技术涉及三维体素模型的建模领域,其公开了一种基于深度学习的创意三维体素模型的建模系统的构建方法,构建一种可自动生成具有创意性的三维体素模型,同时具有可交互编辑功能的建模系统。
该方法包括:A、制作三维模型的体素数据集以及组成三维模型的语义部件数据集;B、搭建三维模型的生成模型以及三维模型组成部件的生成模型,并采用体素数据集和语义部件数据集分别进行训练;C、基于训练后的三维模型的生成模型中的编码器和训练后的三维模型组成部件的生成模型中的编码器构建语义结构模型,并进行训练;D、将训练后的语义结构模型整合入系统中作为建模算法,同时为用户提供交互界面以及针对生成的三维模型组件的可控编辑接口。
权利要求书1.基于深度学习的创意三维体素模型的建模系统的构建方法,其特征在于,包括以下步骤:A、制作三维模型的体素数据集以及组成三维模型的语义部件数据集;B、搭建三维模型的生成模型以及三维模型组成部件的生成模型,并采用体素数据集和语义部件数据集分别进行训练;C、基于训练后的三维模型的生成模型中的编码器和训练后的三维模型组成部件的生成模型中的编码器构建语义结构模型,并进行训练;D、将训练后的语义结构模型整合入系统中作为建模算法,同时为用户提供交互界面以及针对生成的三维模型组件的可控编辑接口。
2.如权利要求1所述的基于深度学习的创意三维体素模型的建模系统的构建方法,其特征在于,步骤A中,基于已知数据集ShapeNetCore,并进行人工的分类和对齐来制作三维模型的体素数据集;然后利用MeshLab软件对ShapeNetCore数据集提供的三维模型的部件根据语义结构进行分割和分类,以此制作组成三维模型的语义部件数据集。
3.如权利要求1所述的基于深度学习的创意三维体素模型的建模系统的构建方法,其特征在于,步骤B中,采用整体变分自编码器作为三维模型的生成模型,采用部件变分自编码器作为三维模型组成部件的生成模型;采用KL散度和二进制交叉熵作为损失函数,利用体素数据集中的数据训练所述整体变分自编码器;采用KL散度和二进制交叉熵作为损失函数,利用三维模型的语义部件数据集中的数据训练所述部件变分自编码器。
4.如权利要求3所述的基于深度学习的创意三维体素模型的建模系统的构建方法,其特征在于,所述整体变分自编码器和部件变分自编码器均采用编码器-解码器的结构,编码器和解码器均由深度卷积神经网络组成;其中,部件变分自编码器采用的卷积层数少于整体变分自编码器采用的卷积层数。
5.如权利要求1所述的基于深度学习的创意三维体素模型的建模系统的构建方法,其特征在于,步骤C中,所述语义结构模型采用编码器-解码器结构,其编码器由已经训练完成的某类物体的整体变分自编码器中的编码器和已经训练完成的该类物体下所有的部件变分自编码器中的编码器并行构成,语义结构模型的解码器由深度卷积神经网络组成;采用KL散度和二进制交叉熵和多类别交叉熵作为损失函数训练所述语义结构模型。
6.如权利要求1所述的基于深度学习的创意三维体素模型的建模系统的构建方法,其特征在于,步骤D中,所述针对生成的三维模型组件的可控编辑接口用于供用户针对生成的三维模型中的组件进行自定义修改。
技术说明书基于深度学习的创意三维体素模型的建模系统的构建方法技术领域本技术涉及三维体素模型的建模领域,具体涉及一种基于深度学习的创意三维体素模型的建模系统的构建方法。
背景技术随着人们娱乐方式的改变,影视特效,动漫创作、游戏制作等很多数字媒体领域的需求迅速扩张。
而在这些数字媒体领域中,3D物体的建模是重要的工作部分,例如环境场景的建模,物体建模和人物建模。
此外随着3D打印技术的逐步成熟,对三维模型的需求也逐步增加。
传统技术中的三维建模的方式通常有以下几种:1、全自动的即时定位与地图构建方法:该方法利用激光传感器或雷达进行三维场景的建模,常将其搭载到可移动的载体上,一边移动一边逐步扫描进行建模。
此方法的缺点在于,使用的传感器大多价格昂贵,对民用的普及还不太现实。
而且此方法仅限于对现有物体的模型的还原,不具有创新性;没有提供用户可编辑的接口,不可进行对生成的模型进行编辑。
2、基于对模型组件装配的建模方法:该方法针对所需建模的特定物体,事先准备特定的模型组件数据库。
用户只需自主选取特定的组件或根据推荐的组件进行模型的拼装即可完成三维模型的构建。
此方法的缺点在于,建模缺乏创意性,只是对现有模型组件的拼装,可交互性差,用户不可对模型组件进行编辑。
3、采用专业的三维模型计算机辅助设计工具建模:采用Maya、AutoCAD等专业工具进行三维模型的建模,需要专业的设计人员进行操作。
此方法的缺点是,设计周期长,人力成本高,很难满足未来对三维模型的需求。
因此,本申请有必要构建一种可自动生成具有创意性的三维体素模型,同时具有可交互编辑功能的建模系统。
技术内容本技术所要解决的技术问题是:提出一种基于深度学习的创意三维体素模型的建模系统的构建方法,构建一种可自动生成具有创意性的三维体素模型,同时具有可交互编辑功能的建模系统,基于该系统可快速生成具有创意性的三维模型,并提供良好的交互功能。
本技术解决上述技术问题采用的技术方案是:一种基于深度学习的创意三维体素模型的建模系统的构建方法,包括以下步骤:A、制作三维模型的体素数据集以及组成三维模型的语义部件数据集;B、搭建三维模型的生成模型以及三维模型组成部件的生成模型,并采用体素数据集和语义部件数据集分别进行训练;C、基于训练后的三维模型的生成模型中的编码器和训练后的三维模型组成部件的生成模型中的编码器构建语义结构模型,并进行训练;D、将训练后的语义结构模型整合入系统中作为建模算法,同时为用户提供交互界面以及针对生成的三维模型组件的可控编辑接口。
作为进一步优化,步骤A中,基于已知数据集ShapeNetCore,并进行人工的分类和对齐来制作三维模型的体素数据集;然后利用MeshLab软件对ShapeNetCore数据集提供的三维模型的部件根据语义结构进行分割和分类,以此制作组成三维模型的语义部件数据集。
作为进一步优化,步骤B中,采用整体变分自编码器作为三维模型的生成模型,采用部件变分自编码器作为三维模型组成部件的生成模型;采用KL散度和二进制交叉熵作为损失函数,利用体素数据集中的数据训练所述整体变分自编码器;采用KL散度和二进制交叉熵作为损失函数,利用三维模型的语义部件数据集中的数据训练所述部件变分自编码器。
作为进一步优化,所述整体变分自编码器和部件变分自编码器均采用编码器-解码器的结构,编码器和解码器均由深度卷积神经网络组成;其中,部件变分自编码器采用的卷积层数少于整体变分自编码器采用的卷积层数。
作为进一步优化,步骤C中,所述语义结构模型采用编码器-解码器结构,其编码器由已经训练完成的某类物体的整体变分自编码器中的编码器和已经训练完成的该类物体下所有的部件变分自编码器中的编码器并行构成,语义结构模型的解码器由深度卷积神经网络组成;采用KL散度和二进制交叉熵和多类别交叉熵作为损失函数训练所述语义结构模型。
作为进一步优化,步骤D中,所述针对生成的三维模型组件的可控编辑接口用于供用户针对生成的三维模型中的组件进行自定义修改。
本技术的有益效果是:通过构建一种可自动生成具有创意性的三维体素模型,同时具有可交互编辑功能的建模系统,该建模系统针对特定类别的物体不仅可以实现自动生成三维物体的体素模型,而且能够在建模的过程中生成创意性的物体(该创意性指网络生成的模型具有随意性,但是保留该类物体的基本属性,在组成物体的部件上具有不同于已存在的该类物体),同时提供给用户可编辑的接口,使用户可以对模型进行自主的修改。
因此,基于此建模系统可以简化建模流程,缩短建模周期,可以实现指定类别的物体的自动、批量三维体素模型的生成,同时满足用户自定义修改的需求。
附图说明图1为本技术中构建的建模系统的系统构架图;图2为本技术中构建的建模系统的工作流程图。
具体实施方式本技术旨在提出一种基于深度学习的创意三维体素模型的建模系统的构建方法,构建一种可自动生成具有创意性的三维体素模型,同时具有可交互编辑功能的建模系统,基于该系统可快速生成具有创意性的三维模型,并提供良好的交互功能。
在具体实现上,本技术中的基于深度学习的创意三维体素模型的建模系统的构建方法,包括以下步骤:1、制作三维模型的体素数据集以及组成三维模型的语义部件数据集;本步骤中,基于已知数据集ShapeNetCore,该数据集共包括55种常见物体类别的三维模型,通过进行人工的分类和对齐来制作三维模型的体素数据集;然后利用MeshLab软件对ShapeNetCore数据集提供的三维模型的部件根据语义结构进行分割和分类,以此制作组成三维模型的语义部件数据集。
例如:从ShapeNetCore中挑选出7类物体,椅子、床、柜子、台灯、飞机、汽车、门。
每类物体包括800个用于训练的三维物体模型和200个用于测试的三维物体模型,组成物体模型的体素数据集。
利用MeshLab对物体三维模型数据集中的物体进行部件标注,标注方法如下:使用MeshLab 打开三维模型,使用MeshLab提供的体素标注工具,对三维模型的体素进行标记,例如椅子模型,椅子的靠背部分的体素全部标记为1,椅子腿部分的体素全部标记为2,扶手标记为3。
这样针对每个三维模型的体素均标记一个类别,代表此体素属于物体的哪个部件。
最后根据不同的体素的标记,从物体三维模型中提取出指定类别的体素,也即提取出部件,根据部件组成部件数据集。
每类物体有一个针对该物体的部件数据集。
由于前面选取了7类物体,对应也有7个部件数据集:椅子部件数据集包括4类子部件(靠背、扶手、椅面、椅子腿)、床包括3类子部件(床面、床腿、床靠背)、柜子包括3类子部件(顶柜、中柜、柜腿)、台灯包括4类子部件(灯泡、灯架、灯罩、灯座)、飞机包括3类子部件(机身、机翼、机尾翼)、汽车包括2类子部件(车身、车轮)、门包括2类子部件(门板、门把手)。
2、搭建三维模型的生成模型以及三维模型组成部件的生成模型,并采用体素数据集和语义部件数据集分别进行训练;本步骤中,采用整体变分自编码器作为三维模型的生成模型,采用部件变分自编码器作为三维模型组成部件的生成模型;整体变分自编码器网络的结构为编码器-解码器结构。
编码器通过7个模块构成,每个模块包括一个三维卷积层,一个池化层、一个平均迟化层以及一个线性整流函数,编码器的输入为物体三维模型的体素数据格式,编码器的输出为正态分布的均值和方差(即将三维模型映射到一个概率空间),解码器的结构和编码器对称,输入为编码器的输出,也即均值和方差,输出为预测的三维结构。
在进行训练时,需针对某一类别物体单独训练,损失函数采用KL 散度和输入输出模型的交叉熵,优化器采用Adam。