基于无人机倾斜摄影的校园三维模型构建

江西理工大学学报Journal of Jiangxi University of Science and Technology第40卷第3期2019年6月Vol.40,No.3Jun.2019文章编号：2095-3046（2019）03-0014-08DOI:10.13265/ki.jxlgdxxb.2019.03.003引文格式：陈优良，周亦明，兰小机，等.基于无人机倾斜摄影的校园三维模型构建[J].江西理工大学学报，2019，40(3)：14-21.0引言随着信息化技术的普及和快速发展，校园的管理也越来越多地依靠计算机技术的支持，并不断地朝着数字信息化的趋势发展.“数字校园”已经成为各大高校争相开展的校园建设课题之一，其中，校园三维建模是数字校园建设的一大亮点，主要是基于无人机倾斜摄影的校园三维模型构建陈优良，周亦明，兰小机，李雪丽（江西理工大学建筑与测绘工程学院，江西赣州341000）摘要：无人机倾斜摄影的三维建模具有高效率、高精度、低成本等巨大优势，针对其作为一项新兴技术缺乏较为系统的规范流程的问题，探究与完善了无人机倾斜摄影三维建模的方法流程，包括倾斜影像数据的采集、数据预处理、三维模型构建等.以江西理工大学红旗校区为例，实施了无人机航摄作业并采集了校园影像数据，对倾斜影像进行联合平差和密集匹配、数字表面模型建立、纹理映射等生成了三维初始模型，然后结合Geomagic 对初始模型进行修补，完成了校园三维精细模型的构建.与传统三维建模技术比较，基于无人机倾斜摄影的三维建模具有省时省力、位置精确、高还原度、高效率等优点.关键词：校园三维建模；无人机；倾斜摄影中图分类号：P237文献标志码：AConstruction of campus 3D model based on obliquephotography of UAVCHEN Youliang,ZHOU Yiming,LAN Xiaoji,LI Xueli(School of Architectural and Surveying &Mapping Engineering,Jiangxi University of Science and Technology,Ganzhou 341000,China)Abstract:The construction of 3D model based on oblique photography of UAV has great advantages such as high efficiency,high precision and low cost.But as a new technology,it lacks a systematic and standardized process.To solve the problem,the paper is devoted to probing into oblique image data acquisition,data preprocessing,3D model construction,etc.UAV was used to collect images of Hongqi Campus of Jiangxi University of Science and Technology.After combined adjustment,dense matching,digital surface model establishment and texture mapping of the collected images,an initial 3D model was created.Then,the model was repaired with Geomagic to obtain a fine Campus 3D model .Compared with the traditional 3D model construction technology,3D model construction based on oblique photography of UAV is time-saving,labor-saving,and efficient,and it has high positional accuracy and reduction.Keywords:construction of campus 3D;UAV;oblique photography收稿日期：2018-08-23基金项目：国家自然科学基金资助项目（41261093）;江西省教育厅科技项目（GJJ170522）作者简介：陈优良（1978-），男,副教授,主要从事GIS 技术与应用、智慧城市等方面的研究，E-mail:gis_public@.依靠地理信息技术、虚拟现实等新兴技术，实现校园实景的三维模型构建.传统的三维建模技术是利用影像或规划图作为底图，依赖已有数据或估算建筑高度，利用建模软件结合人工进行三维模型的构建.有很多学者对传统的三维模型构建的方法和技术进行了探索，其中，彭芳媛等[1]研究了基于航测数据利用3DMAX 创建三维模型的方法，并对三维建模技术进行了详细叙述，给出了实验结果的同时对建模过程中的存在的一些关键性问题进行了讨论；许捍卫等[2]通过实际的数字城市项目介绍了SketchUp软件创建城市三维模型的基本流程，同时进一步剖析了SketchUp 软件与其他软件相比较在城市三维建模过程中所具有的优缺点；张凯选等[3]通过应用AutoCAD2007在辽宁工程技术大学校园进行了三维建模的操作并探索了其建模方法，有效地提高了AutoCAD三维建模的灵活性和稳定性；张晖等[4]根据已有的建筑物内部各楼层的房间分布矢量化数据和基底投影分布数据，结合CityEngine软件生成了大场景建筑物三维模型.张养安等[5]阐述了几种较为成熟的三维模型建立方法和三维城市模型的构建流程，并基于3DMAX技术介绍了制作模型主体的作业流程以及进一步实现了虚拟现实三维建模.范葛芹等[6]利用SketchUp在南京理工大学泰州科技学院进行了校园三维建模，验证了SketchUp在校园三维模型构建中具有的优势.传统的三维建模具有效果亮丽、色彩美等优点，但它主要是基于二维的地形图，而二维地形图的数据采集和成图都需要大量人力物力，周期长、成本高、效率低，并且二维地形图的直观性较差，不能反映复杂的地物形状，与真实世界反差大等.无人机倾斜摄影作为一种采集三维数据的新兴技术，是无人机技术与倾斜摄影技术的完美结合.无人机通过搭载多台传感器从不同视角来获取的影像数据，避免了传统的航测遥感影像拍摄只从垂直角度拍摄的不足，并在很大程度上增强了三维所带来的真实感，具有省时省力、位置精确、高效率、高还原度等优势.目前，基于无人机倾斜摄影的三维建模还没有较为系统的规范流程，本文以江西理工大学红旗校区为例，探究基于无人机倾斜摄影构建三维模型的方法流程，试图为无人机倾斜摄影的三维建模提供一套可参考的解决方案.1基于无人机倾斜摄影的三维模型构建方法基于无人机倾斜摄影的三维模型构建的主要步骤为：倾斜影像数据采集、数据预处理和三维模型构建等，如图1所示.1.1倾斜影像数据采集无人机倾斜影像数据采集包括现场实地勘察、航测参数设置、无人机航摄作业，具体步骤为（图2）.1）根据实验任务，对现场进行实地勘察，了解实验区及其周边的建筑物的布局、高度、面积等属性，通过分析实验区域的地理位置和地势特点，设计合适的航测方案.以谷歌地图影像为底图，对实验区域进行分区.分区航摄的目的是保证在航摄获取影像的地面分辨率、航向分辨率及旁向分辨率现场实地勘察无人机航摄作业倾斜影像数据的采集定位定姿数据整理影像数据拷贝与检查三维模型生成纹理映射数字表面模型生成倾斜影像密集匹配倾斜影像联合平差模型的修补与改正三维模型的构建数据预处理陈优良，等：基于无人机倾斜摄影的校园三维模型构建第40卷第3期15图1无人机倾斜摄影测量三维建模方法流程能满足指定要求.原则上来说，航向的重叠率应该在60%~80%的范围内，并且不能小于53%；旁向重叠度在通常情况下应该为15%~60%，但是不得小于8%.2）设计多架次的航测任务，选择合适的无人机的起飞和降落场地.一般来说，无人机起飞应选择四周尽可能空旷的场地，并要有合适的落差，以保证弹射起飞的安全性；而降落场地的要求是无人机的转弯半径内没有地面障碍物及无关人员、车辆、建筑物等.3）设置无人机的相关参数，规划飞行航线.根据实际情况，调整曝光时间，设置重叠度参数、航高参数等.必须保证无人机的航高高于最高建筑物；在相同航线上的相邻照片的航高之间的差距应保证不大于30m ；最小航高与最大航高的差距应保证小于50m ；应保证设计航高与实际航高之差小于50m.飞行的航线间隔要保证一致.4）将规划的航线上传到无人机飞行控制系统，手动操控遥控器或者设置主动飞行模式，控制无人机进行航摄作业，完成数据的采集.在无人机航摄作业的过程中，要观察航摄状况，实时调整飞行姿态，根据制定的航线实时观察曝光数量、航高、航速、飞行轨迹，确保航测过程安全完成.1.2数据预处理无人机进行航摄作业时，受到风向、风速的干扰，会导致拍摄获取的影像出现数量缺失、清晰度低、色彩反差大等问题，因此需要对无人机航摄作业获取的数据进行相应的预处理.数据的预处理主要包括影像数据的拷贝与检查和定位定姿数据整理.1）影像数据的拷贝与检查将影像数据从无人机相机拷贝出来之后，需要对影像数据的完整性和可靠性进行检查，不同视角的影像数据应分类存放，并且不同视角文件夹的影像数据是以一一对应的.影像数据的检查内容有：①实际影像数量与理论数量是否在误差范围内；②影像的清晰度如何，有没有存在虚焦、重影、位置偏移等问题；③不同视角获取的影像数量是否一致；④影像的质量如何，有没有存在大面积阴影、反光、色彩不真实等问题；⑤影像数据拷贝时间是否出现时间跳跃值.2）定位定姿数据整理定位定姿数据由无人机航摄拍照时生成，由无人机地面站系统导出，记录了无人机飞行轨迹，及拍摄曝光瞬间的位置姿态信息.需要对定位定姿数据进行整理的内容主要有：①由于无人机所搭载的镜头在无人机没有起飞之前就已经开始工作了，无人机获取的影像数据量会比地面站获取的定位定姿数据量多，因此还需要根据规划的飞行航线来整理已获取到的定位定姿数据[7]，使定位定姿数据的数据量与影像数据要保证严格一致且一一对应；②原始定位定姿数据包含后期建模不需要的数据，并且格式也不符合后期使用要求，不能直接使用，需要对原始定位定姿数据进行筛选、分类.1.3三维模型构建无人机倾斜摄影三维模型的构建大致包括四大步骤：1）倾斜影像联合平差：基于特征点提取算法可以获得多视影像对应的连结点，这些连结点和外业控制点坐标相结合进行区域网平差运算，就能实现倾斜影像的联合平差[8]，从而得到每张影像的外方位元素和所有加密点的物方坐标.作为倾斜影像三维模型构建的最重要的一个步骤，倾斜影像联合平差涉及的算法主要有：影像数据的特征点提取和光束法区域网平差[9].通常使用的方法步骤为：①影像数据的特征点提取在摄影测量领域常用的算法有SIFT 、Forstner 、Moravec 、SUSAN 、Harris 等.其中SIFT 是一种局部特征描述子，该算法具有尺度不变性、精度高、稳定性强等优点[10]，更适用于倾斜影像的特征提取；②连接点、控制点坐标和连接线以及POS 数据相结合，建立不同视角的影像区域网平差的线性误差方程；作为光束法区域网平差的基础数学模型是共线方程，其误差方程式为：V =At +BX -l其中，A 和B 表示相应的系数矩阵；t 表示影像定向未知数；X 表示坐标未知数向量；l 表示影像坐标观图2无人机航摄作业流程确定实验任务实验区环境勘测航摄分区选择起飞、降落场地设置无人机各项参数规划航带开始航空摄影江西理工大学学报2019年6月16测值向量；③经过联合平差解算，得到每张像片的高精度外方位元素和所有加密点的物方坐标.2）倾斜影像密集匹配：影像匹配就是快速准确的确定两幅或两幅以上影像之间的同名像点.基于规则格网划分后的空间平面，运用多基元、多视密集影像匹配技术创建立体像对，结合物方面元和像方特征点及多视影像上的成像和特征信息，采用不固定的参考影像匹配策略来匹配无人机采集的倾斜影像数据[11].3）生成数字表面模型：根据倾斜影像联合平差解算出来得到各影像外方位元素及物方坐标，凭借倾斜影像密集匹配得到高密度的三维点云数据模型，由点云构成不规则三角网，进而形成高精度、高分辨率的数字表面模型（DSM ）.4）纹理映射：纹理映射主要是基于瓦片技术，三维不规格三角网格的每个三角形面片的法线方程与二位图像会形成一定的夹角，根据这个夹角选择相对应并最合适的纹理来完成纹理的自动映射，从而生成全要素三维模型.2校园三维模型构建应用实践2.1实验区概况本实验区为江西理工大学红旗校区（图3），地处江西省赣州市章贡区，介于东经114°55′48″~114°56′24″，北纬25°21′0″~25°51′60″之间，占地面积453333m 2，校内最高建筑为主教楼（12层），校外周边最高建筑是建测楼后面的附属医院（22层），均未超过100m.2.2校园倾斜影像数据采集及预处理本次飞行采用了6轴固定翼无人机飞行平台，搭载增稳平台和五镜头倾斜相机（如图4所示）.无人机机身直径为1350mm,单臂长度为400mm ，对称电机轴距为1300mm ，起飞重量为13.5kg ；无人机有效载重为2.6~5kg ，载重2.5kg 时可飞行42min ，空载飞行时间68min ，抗风能力为5级.五镜头倾斜相机有一个是进行垂直摄影的，其他4个是从不同方向进行倾斜摄影，传感器尺寸为23.2mm*15.4mm ，中间镜头相机焦距为16mm ，其余4个镜头相机焦距为20mm ，单镜头分辨率为2040万像素，侧视镜头倾斜角为45°，最短曝光间隔为2s ，地面分辨率为0.02m.无人机起飞点选择在相对空旷的区域———行政楼前，设计的相对航高为110m ，总共设置了3个架次，每一个架次规划的航线为6条，航向之间的重叠度为75%，旁向重叠度为75%，间隔距离为49.4m ，无人机水平飞行速度为6m/s.航线规划如图5所示.无人机获取的数据主要有地面影像数据、POS 数据、飞行航线规划图.无人机航摄作业完成后，需要将获取到的影像数据进行检查，确定影像数据没有变形、丢失、扭曲等现象，整理获取到的影像数据，对影像数据进行统一编号，将相同架次的数据放入一个单独文件夹，不同视角的影像数据按照对应的“前、后、左、右、中”5个方向分类存放，需保证各个文件夹的影像数据严格一致，并且将POS 数据也进行编号，使之与垂直摄影获取的影像数据编号一一对应.2.3校园三维模型构建本实验所用数据包括:1）影像数据.本实验使用的影像有2820幅，来源于无人机倾斜摄影，每幅影像尺寸为3632像素×5456像素.图3江西理工大学红旗校区区域图陈优良，等：基于无人机倾斜摄影的校园三维模型构建第40卷第3期17图46轴无人机倾斜摄影系统图5校园航线规划2）控制点数据.像控点的选择和布设对三维建模和数字测图的精度有着重大的影响，是确保最终产品成果精度的关键.本实验从校园原有控制点中精选了5个重叠度较大且每个镜头都能拍摄到的控制点作为该实验的像控点.3）POS 数据.文件记录无人机飞行时的轨迹和拍摄曝光瞬间的位置及相关姿态信息，如编号、经度、纬度、绝对行高、俯仰角、滚转角及旋偏角，如表1所示.本实验使用Smart3D 软件来构建校园三维模型.Smart3D 软件是一款基于图形运算单元、不需人工干预的全自动快速三维建模软件，只要二维影像的重叠度符合要求，依据基于GPU 并行运算的影像密集匹配技术进行快速的三维场景运算，就可以通过自动空三运算解算出一系列连续的影像的高精度外方位元素，生成基于真实影像的超高密度点云数据模型，如图6所示，进而完成对现实世界的逼真的三维重构，最终达到实现全要素的校园三维模型的目的，具有高自动化、高性能、高稳定性和可移植性、可扩展性、兼容性强等特点[12].本实验使用Smart3D 构建初始模型的具体步骤为：1）添加影像数据：新建工程，设置工程名称、工程目录，添加前、后、左、右、中五个不同方向的影像数据及对应的POS 数据.在添加影像数据中，需要输入传感器尺寸（mm ）以及镜头焦距信息（mm ）.2）检查影像数据：在添加影像数据之后，需要对影像数据的完整性进行检查，如果检查结果出现问题，则需要重新整理原始影像数据.还可以进入3D view 板块查看测区3D 视图，确定影像排列和相机旋转参数设置是否正确.3）控制点影像关联：设置空间坐标系与控制点坐标系一致，添加控制点，然后进行控制点刺点，每个控制点至少在一个方向上的3张照片上刺出.在本实验中添加了5个控制点，因此需要在15张照片找出控制点位置进行刺点.4）连接点：空三加密解算的结果有时会出现与期望不符的情况，对此可以选择通过合理的添加连接点来优化.5）空三解算：提交空三按钮，输入空三名称，选择定位模式为选用照片的定位数据，其他参数为默认设置.需要打开Engine ，空三处理才会正式开始编号经度/（°）纬度/（°）绝对行高/m 俯仰角/（°）滚转角/（°）旋偏角/（°）DSC08869.JPG 25.8553627114.9251372224.5926.15-2.4-2.13DSC08870.JPG 25.8555286114.925238224.5726.74-2.25-2.52DSC08871.JPG 25.8556966114.925334224.6127.02-3.37-2.68DSC08872.JPG 25.8558687114.9254224224.5726.72-3.32-2DSC08873.JPG 25.8560398114.9255134224.4925.79-3.01-1.18DSC08874.JPG 25.8562096114.925607224.5826.3-2.51-2.67DSC08875.JPG25.8563799114.9256996224.6926.03-3.83-2.05……………………………………表1POS 数据江西理工大学学报2019年6月18图6模型点云数据运行，空三可以多次提交直到符合精度要求.6）三维模型构建：新建重建，由于拍摄范围大，影像数据多，完成重建所需计算机内存过大，普通计算机的性能不足以一次性完成重建计算的任务，因此需要根据电脑性能设置瓦片分块，将校园数据分为若干数据切块，分块进行重建计算，使得电脑的内存在最大内存期望之下，从而达到提高处理速度的目的.提交生产，设置模型名称及输出数据格式，就可以自动生成三维模型.本实验区域分为24个瓦片，设置输出格式为OBJ ，初始校园三维模型中的主教楼如图7所示.初始的校园三维模型有存在不美观，模型表面凹凸不平、空中有悬浮、纹理扭曲、破洞等多种模型缺陷,引起这些模型缺陷的原因比较复杂和多样，主要原因有：1）无人机在航摄过程中受到气候的影响而产生影像的畸变；2）航摄作业实施过程中，人为因素导致的倾斜相机姿态产生变化；3）无人机航摄在获取地面影像时，无法避免都会存在一定的摄影死角或缺少数据关联点的问题.这些模型缺陷使得校园三维模型无法满足美观上和应用上的需求，因而需要后期对最初的校园三维模型进行修补和改正，主要是针对以下三个方面进行修补和改正：1）几何修复：删除悬浮在空中的杂物、修补模型中的破洞、对凹坑凸包进行平面拟合等；2）纹理修复：对扭曲、不清晰或色彩不均匀的纹理进行替换和修改；3）细节修复：由于航摄死角，往往会出现模型不完整情况，需要对其整体修饰或者替换.Geomagic 软件具有自动化特征、高效率处理复杂形状和自由曲面形状等优点，因此本实验利用Geomagic 软件对初始模型精化处理来完善初始的校园三维模（精修后校园三维模型中的主教楼如图8所示）.图7初始校园三维模型中的主教楼陈优良，等：基于无人机倾斜摄影的校园三维模型构建第40卷第3期19图9修补前后的八角塘模型（b ）修补后图8精修后校园三维模型中的主教楼以江西理工大学红旗校区八角塘的初始模型缺陷为例，Geomagic 针对八角塘模型的缺陷主要操作流程有：1）修补破洞：多边形→填充孔|填充单个孔→单击模型中的破洞；2）修补凹凸不平：套索（或多义线）选取凹凸不平区域→多边形→修补|修复工具→拟合到平面→定义平面（直线自定义平面或者最佳拟合）→确定；3）悬浮：套索或多义线选取悬浮物→Delete ；4）色彩不均：工具→颜色|编辑颜色→设置适宜的颜色及不透明度→确定；修补模型是一项精益求精的工作，需要有足够的耐心和细致的观察力，经过多次尝试找到最合适的修改方案，八角塘模型修补前后的对比如图9所示.（a ）修补前江西理工大学学报2019年6月203结论文中以江西理工大学红旗校区为例，探究了利用无人机倾斜摄影获取影像数据并进行三维建模的方法流程，构建了校园三维精细模型，相较于传统的建模方式，在效率、性价比、自动化和还原度等方面的优势较为突出.但是这种建模产品也存在一定的不足，比如影像数据采集的质量依赖于飞行操控手的熟练度和经验；另外三维模型的数据量较大，因而对电脑性能的配置需求更高，但是随着科技的进步，这些问题在未来都将得到解决，基于无人机倾斜摄影的三维建模将越来越多应用在各个领域.参考文献：[1]彭芳媛，周齐生，向常淦.基于航测数据的三维建模方法研究[J].测绘，2011，34(2):63-65.[2]许捍卫，房晓亮，任家勇，等.基于SketchUp的城市三维建模技术[J].测绘科学，2011，36(1):213-214，189.[3]张凯选，闫野，魏来.CAD下三维建模研究[J].计算机系统应用，2012，21(2):192-195.[4]张晖，刘超，李妍，等.基于CityEngine的建筑物三维建模技术研究[J].测绘通报，2014(11):108-112.[5]张养安，李俊锋，杨爱玲，等.基于3DMAX的虚拟现实三维建筑模型建模技术初探[J].测绘与空间地理信息，2015，38(10):151-153，157.[6]范葛芹，周荣生，卢其飞.基于Google SketchUp的数字化校园三维建模技术的研究[J].软件，2017，38(1):53-57.[7]王果，谢瑞，肖海红，等.无人机倾斜摄影技术支持下的校园三维模型构建[J].河南工程学院学报(自然科学版)，2017(1):44-47.[8]周晓波，王军，周伟.基于无人机倾斜摄影快速建模方法研究[J].现代测绘，2017，40(1):40-42.[9]闫利，费亮，叶志云，等.大范围倾斜多视影像连接点自动提取的区域网平差法[J].测绘学报，2016，45(3):310-317，338. [10]庞瑞，徐昌荣.遥感影像SIFT特征匹配的并行实现及优化[J].江西理工大学学报，2016，37(5):28-33.[11]Gerke M.Dense matching in high resolution oblique airborne images[C]//International Archives of the Photogrammetry,Remote Sensingand Spatial Information Science,2009,38(Part3/w4):77-82. [12]孙宏伟.基于倾斜摄影测量技术的三维数字城市建模[J].现代测绘，2014(1):18-21.陈优良，等：基于无人机倾斜摄影的校园三维模型构建第40卷第3期21。