基于OpenCV的视觉定位四旋翼无人机
基于计算机视觉的无人机物体识别追踪
基于计算机视觉的无人机物体识别追踪作者：李杰刘子龙来源：《软件导刊》2020年第01期摘要：提出一种将ROS系统的AR.Drone飞行器作为载体，基于飞行器实现物体识别追踪的具体优化方案。
在计算机视觉方面，结合物体识别OpenCV模块中的Haar级联分类器与卡尔曼滤波，实现无人机的目标识别以及对错误目标的过滤功能，使飞行器在搭载摄像头模块后，可结合现有视觉模型完成目标识别要求，算法融合后的系统性能具有良好的鲁棒性;在飞行器控制方面，结合飞行器自身的反馈控制模块与基于相对位置控制的PD位置控制器，优化飞行器自身姿态及目标追踪过程中的动态参数调节优化功能，使飞行器在目标追踪过程中具有良好的自适应性。
基于以上两点优化方案建立实验模型，取得了较好的实验效果。
具体相对位置估计均方根误差实验结果为：在x方向上为0.124 Sm，在v方向上为0.243 7m，在z方向上为0.176 8m，证明了该优化方案的实用性。
关键词：计算机视觉;无人机;目标识别;目标追踪;ROS系统;OpenCVDOI： 10. 11907/rjdk.191475开放科学（资源服务）标识码（OSID）：中图分类号：TP301文献标识码：A文章编号：1672-7800（2020）001-0021-040 引言在计算机视觉领域，物体识别算法框架的发展已趋于稳定，目前的计算机视觉已能够应用于大部分场景[1-6]。
无人驾驶飞行器[7-8]（ Unmanned Aerial Vehicle，UAV）是一种兼具飞行、垂直起降等功能，具有较好机动性的小型机器人，在融合计算机视觉技术后，广泛应用于无人机导航、定位着陆、飞行避障、视觉同步定位与建图（ Simultaneous Lo-calization and Mapping，SLAM）等方面。
无人机物体识别追踪技术利用无人机作为载体，结合计算机视觉技术，在飞行过程中结合飞行高度与视角，提取目标物体图像特征并对特征信息进行处理，同时结合相对位置控制算法，实现追踪功能。
基于视觉的室内四旋翼无人机目标追踪系统设计
如图3所示系统硬件设计包括控制集成电路板的设计， 此系统将飞行控制模块、图像处理模块、光流传感器模 块、超声波模块、模式切换模块以及距离报警模块集成在 一起。
3 飞行器控制系统设计
3.1 控制系统流程 如图4所示，本系统利用探测跟踪系统解析摄像头采集
的图像，得出坐标并将其传给飞行器导航系统。飞行器导 航经过计算后发出PWM波传给飞行控制系统。飞行控制系 统接收PWM波进行姿态的调整。
摘 要：针对无人机在室内飞行无法依靠 GPS定位飞行，还有一些人员无法到达的地点进行关键信息的搜寻工作问 题，设计了一种基于视觉的室内四旋翼无人机目标追踪系统，实现室内定位自主飞行与物体自主识别跟踪功能。
关键词：四旋翼飞行器；目标追踪；室内自主控制；单目视觉同步定位
中图分类号：TP391
文献标志码：A
2.School of Computing, North China University of Technology, Beijing, 100144, China)
Absrtact：For the UAV can not rely on GPS positioning flight in the indoor flight, there are some people can not reach the location of the key information search work problem, designed a vision based four-rotor UAV target tracking system, indoor positioning autonomous flight and object recognition tracking function.
基于视觉的微小型四旋翼飞行器位姿估计研究与实现
基于视觉的微小型四旋翼飞行器位姿估计研究与实现近年来，随着无人机技术的飞速发展，微小型四旋翼飞行器（Micro Aerial Vehicles，MAV）在军事、民用以及科学研究领域得到广泛应用。
然而，由于微小型四旋翼飞行器具有体积小、负载轻的特点，机载传感器受限，同时在复杂环境下的准确位姿估计仍然是一个挑战。
位姿估计是微小型四旋翼飞行器实现自主飞行和导航的重要环节。
传统的位姿估计方法主要依靠惯性测量单元（Inertial Measurement Unit，IMU）和全球定位系统（Global Positioning System，GPS）等传感器的测量数据。
然而，这些传感器仅能提供有限的信息，并且容易受到环境干扰，从而导致位姿估计的不准确性。
因此，基于视觉的位姿估计方法成为研究的热点和难点。
基于视觉的位姿估计方法利用了飞行器上搭载相机的图像信息，通过对图像进行分析和处理，获得飞行器相对于地面的准确位置和姿态。
在实现过程中，首先需要对图像进行特征提取和特征匹配，通过寻找图像中的角点或者特定的纹理特征，计算出特征点的位置和方向。
接着，通过特征点的匹配，建立相机坐标系与世界坐标系之间的映射关系，从而得到相机相对于世界坐标系的位姿信息。
然而，基于视觉的位姿估计方法仍然面临一些挑战。
首先，由于微小型四旋翼飞行器的体积小，相机像素尺寸有限，导致捕获的图像分辨率较低，特征提取的精度和鲁棒性受到限制。
其次，微小型四旋翼飞行器飞行速度较快，快速的姿态变化会导致特征点在相邻帧之间的跟踪失败，进而影响位姿估计的准确性。
此外，光照变化和遮挡等环境因素也会对视觉位姿估计方法的性能产生影响。
为了解决以上问题，研究人员提出了一系列基于视觉的位姿估计方法和算法。
例如，利用非线性优化方法，通过最小化图像特征点在不同帧之间的重投影误差，从而得到最优的位姿估计结果。
另外，基于视觉惯导融合的方法也被广泛应用。
该方法将视觉信息与惯性测量单元的测量结果进行融合，通过互补滤波器或者扩展卡尔曼滤波器等算法，最终得到更准确的位姿估计结果。
基于OPENCV视觉处理的旋翼无人机识别规划的设计
Electronic Technology •电子技术Electronic Technology & Software Engineering 电子技术与软件工程• 63【关键词】Opencv 无人机 跟踪控制随着科学技术发展，无人机硬件设备向高集成、高性能方向发展，特别是旋翼型无人机具有灵活性高、稳定性好、可以垂直起降场地适应性较强的优点，广泛应用于无人机测绘、无人机植保、无人机侦查识别等领域。
硬件中集成了CMOS 传感器和处理器可以进行跟踪和识别，这类无人机在各种领域都有较强的自主控制能力，适应不同的工作环境。
然而旋翼无人机随着姿态控制的同时避免不了出现震动和干扰，图像容易模糊；识别过程中，被跟踪物体颜色如果和背景颜色相近容易出现识别失败导致跟踪失败现象；当被跟踪物体被遮挡后没有相应的算法去解决等。
本文根据以上问题，提出一种基于Opencv 视觉处理的旋翼无人机识别规划方案，能够实现自主跟踪控制。
1 多旋翼无人机飞行平台多旋翼无人机飞行平台采用飞越TAROT公司680pro 碳纤维机架（TL68P00），轴距695mm ，可安装无刷电机数量为六个；无刷电机采用3510电机，kv 值为350；电子调速器采用3~6S/40A ，供电电压从11.1V~25.2V ，最大持续电流40A ；螺旋桨尺寸为13寸碳纤维螺旋桨；动力电池采用格瑞普公司的格氏16000mAh/15C 电池。
该平台无负载重量约为4.2公斤，悬停时间约为32分钟。
本设计中采用的六旋翼无人机飞行平台具有高机动性，具备空间三轴六自由度的飞行能力，对场地要求较小，适合执行图像处理并跟踪任务。
2 图像处理及跟踪原理首先通过六旋翼无人机飞行平台搭载的视觉采集设备对图像进行采集，将每秒24帧的视频 通过串行通信传送给图像处理器的高速存储器，先进行图像预处理，如降低图像噪点、图像曝光纠正等等，然后送入以图像处理基于OPENCV 视觉处理的旋翼无人机识别规划的设计文/赵旭器为核心的控制板运行移植的Opencv 代码对视频图像进行处理。
基于视觉的小型四旋翼无人机自主飞行控制
（ Ｐ Ｉ Ｄ） ｃ ｏ ｎ ｒ ｔ ｏ ｌ ｌ ｅ ｒ ｕ ｓ ｅ ｄ ｔ ｈ ｅ ｓ ｅ ｌ ｆ － ｍｏ ｔ ｉ ｏ ｎ ｅ ｓ ｔ ｉ ｍａ ｔ ｉ ｏ ｎ ａ ｓ ｆ ｅ ｅ ｄ ｂ ａ ｃ ｋ ｓ ｉ ｇ ｎ ａ １ ． Ｕｎ ｌ ｉ ｋ ｅ ｔ ｈ ｅ ｔ ｒ ａ ｄ ｉ ｔ ｉ ｏ ｎ ａ ｌ ｈ ｏ ｓ ｔ － ｂ ａ ｓ ｅ ｄ ｃ ｏ ｎ ｔ ｒ ｏ ｌ ｓ ｙ ｓ ｔ ｅ ｍ ｒｃ ａ ｈ ｉ ｔ ｅ ｃ ｔ ｕ ｒ ｅ ． ｈｅ ｔ
验平 台，该飞行系统 中采用 了一个 嵌入式控制架构 的试验平 台。该平 台依靠机 载嵌入计算机进行光流计算 、运动状态 估计 ， 并采用机载飞行控制器执行控制 算法 。 这种嵌入式控制架构工程 实现难 度高 ， 但更利于 实现 四旋 翼无 人机的全 自主飞行控制 。
试验结果表 明，提 出的设计 方法取得 了较好全 自主 飞行控制 效果 。 关键词 ： 四旋翼无人机 ；视觉 ；运动状态估 计； 自主控制
２ ． Ｉ ｎ ｓ ｔ ｉ ｔ ｕ ｔ ｅ ｏ ｆ Ｒ ｏ ｂ ｏ ｔ ｉ ｃ ｓ ａ ｎ ｄ Ａｕ ｔ ｏ ｎ ｏ ｍｏ ｕ ｓ Ｓ ｙ ｓ ｔ ｅ ｍ， Ｔ ｉ ａ ｎ ｊ ｉ ｎ Ｕ ｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ ｙ ， Ｔ ｉ ａ ｎ ｊ ｉ ｎ ３ ０ ０ ０ ７ ２ ；
摘要 ：提 出为实现 小型四旋翼无人机 自主飞行控制 ，设计 一种基 于视觉的飞行控制方法 ，并搭 建嵌入式控制 架构飞行试验平 台。在 控制过程中 ，光流信息与姿态角信 息进行 融合用于估计无人机水平位置信息 ，利用 获取 到的水平位置信息作为 内外环
结构 的比例微分积分（ Ｐ ｒ ｏ ｐ ｏ ｒ ｔ ｉ ｏ ｎ ｉ ｎ ｔ ｅ ｇ ｒ ａ ｔ ｉ ｏ ｎ ｄ ｉ ｆ ｅ ｒ ｅ ｎ ｔ ｉ ａ ｔ ｉ ｏ ｎ ， Ｐ Ｉ Ｄ） 控制器外环反馈信 息。不同于传统的基于地面站 的控制架 构试
基于深度学习的四旋翼无人机控制算法优化研究
基于深度学习的四旋翼无人机控制算法优化研究随着人工智能的发展和深度学习的应用，四旋翼无人机的控制算法也得到了重大的提升。
基于深度学习的无人机控制算法在提高飞行精度和性能方面表现出了显著的优势。
本文将介绍基于深度学习的四旋翼无人机控制算法的优化研究。
一、深度学习在无人机控制中的应用深度学习是一种人工智能的方法，它模仿人脑的神经网络结构，可以让机器自己学习和识别数据特征，从而实现对数据的自动分析和处理。
在无人机控制中，深度学习可以帮助无人机识别环境、避开障碍物、自动控制飞行方向和速度等。
二、深度学习在四旋翼无人机控制中的优势四旋翼无人机控制是一项高难度的工程技术，需要大量的运动控制、电路控制和传感器控制等方面的知识。
传统的无人机控制算法效果受到传感器精度和算法模型的限制，难以精确控制无人机。
而基于深度学习的无人机控制算法可以自学习和自适应，使得控制算法变得更加灵活。
三、基于深度学习的四旋翼无人机控制算法基于深度学习的四旋翼无人机控制算法包括视觉感知、环境感知和运动控制三个主要部分。
其中视觉感知主要通过相机和图像处理技术获取无人机周围的图像信息，环境感知主要通过传感器获取无人机周围的环境信息，运动控制主要通过无线通信技术传递控制信号，实现对无人机的精确控制。
四、算法优化研究基于深度学习的四旋翼无人机控制算法虽然精度和性能较好，但也存在一些问题。
例如，算法自学习的过程需要大量数据的支持，对数据质量和纯度要求较高，数据规模也需要大。
此外，算法的可控性也存在一定的问题，例如难以实现实时控制，需要大量的计算资源等。
针对上述问题，需要进行算法优化研究。
优化研究可以从以下方面进行：1. 数据静态引入：提高数据质量和准确性，减少数据量，提高数据利用率。
2. 算法实时控制：提高算法的实时性和控制性能，使得无人机控制更加精确和稳定。
3. 降低计算资源：优化算法模型，降低算法计算复杂度和计算量，提高算法效率。
五、结论深度学习技术的应用使得四旋翼无人机控制算法得到了大幅度的提升，算法的精度和性能也得到了显著提高。
基于OpenMV的四旋翼无人机目标跟踪系统设计与实现
基于OpenMV的四旋翼无人机目标跟踪系统设计与实现
马晓琳;周弘斌;黄福龙
【期刊名称】《电子测试》
【年(卷),期】2022()2
【摘要】基于四旋翼无人机小巧便捷可控的特点,设计并实现了一种可识别并自动跟踪物体的四旋翼无人机系统,该系统采用STM32F407为主控芯片,综合光流模块、数传模块、OpenMV4模块和电机、螺旋桨等外围设备,采用姿态估算、色块跟踪
解耦合、色块识别、滤波、坐标系转换、PID调节、前馈调节等算法实现四旋翼的识别与自动跟踪,使其可以在平稳飞行的同时,按照程序指令搜寻目标,并触发跟踪状态,完成自动跟踪。
该四旋翼无人机系统灵巧便携,操作简单,通用性强,应用前景广阔。
【总页数】3页(P20-21)
【作者】马晓琳;周弘斌;黄福龙
【作者单位】陆军工程大学石家庄校区
【正文语种】中文
【中图分类】TP3
【相关文献】
1.基于视觉的四旋翼无人机目标跟踪系统设计
2.基于视觉的四旋翼无人机目标跟踪研究
3.四旋翼无人机飞控系统设计与实现
4.四旋翼无人机飞控系统设计与实现
5.
基于四旋翼无人机的运动目标跟踪控制研究
因版权原因，仅展示原文概要，查看原文内容请购买。
基于视觉的微小型四旋翼飞行器位姿估计研究与实现
基于视觉的微小型四旋翼飞行器位姿估计研究与实现基于视觉的微小型四旋翼飞行器位姿估计研究与实现一、引言随着四旋翼飞行器技术的进步和广泛应用，人们对于提高四旋翼飞行器的自主定位与导航能力的需求也越来越迫切。
而四旋翼飞行器的位姿估计是实现自主定位与导航的关键环节之一。
近年来，随着计算机视觉技术的不断发展和成熟，基于视觉的位姿估计技术成为研究的热点。
本文将对基于视觉的微小型四旋翼飞行器位姿估计进行深入研究。
二、基于视觉的位姿估计技术综述1. 视觉传感器与视觉定位视觉传感器是指通过摄像头获取图像信息的传感器。
视觉定位是指通过分析图像获取目标位置信息的过程。
常用的视觉定位方法包括特征点匹配、光流法、直接法等。
2. 特征点匹配特征点匹配是一种常用的目标检测与跟踪方法。
通过寻找图像中的特征点，并将其与模板图像中的特征点进行匹配，从而实现目标的定位与跟踪。
常用的特征点匹配方法包括SIFT和SURF等。
3. 光流法光流法通过分析图像中像素点的位置变化来推断目标的移动方向与速度。
光流法常用于动态环境下的目标跟踪与定位。
4. 直接法直接法是一种通过分析图像灰度值的变化来推断目标位姿的方法。
通过计算目标在图像上的亮度变化，可以估计目标相对于相机的位姿。
三、基于视觉的微小型四旋翼飞行器位姿估计方法研究1. 目标检测与跟踪对于四旋翼飞行器的位姿估计，首先需要进行目标的检测与跟踪。
通过视觉传感器获取的图像数据，采用特征点匹配、光流法等方法，可以对四旋翼飞行器进行目标检测与跟踪，并获取目标在图像中的位置信息。
2. 位姿估计算法基于目标检测与跟踪得到的位置信息，可以采用成熟的位姿估计算法对四旋翼飞行器的位姿进行估计。
常用的位姿估计算法包括Kalman滤波器、扩展Kalman滤波器、无迹卡尔曼滤波器等。
3. 实验与验证为了验证基于视觉的微小型四旋翼飞行器位姿估计方法的有效性，本文进行了一系列实验。
实验采用了市面上常见的微小型四旋翼飞行器，并在室内和室外进行了不同场景下的飞行实验。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第35卷 第4期 福 建 电 脑 Vol. 35 No.4
2019年4月
Journal of Fujian Computer
Apr. 2019
———————————————
本文得到浙江省大学生科技创新活动计划项目(No.0618026)资助。
刘新泽，男，1998年生，主要研究领域为电子信息方向。
E-mail: 1145655900@ 。
刘靖宇，男，1993年生，主要研究领域为电子信息方向。
E-mail: 346875661@ 。
钮杨洁，女，1998年生，主要研究领域为电气工程及其自动化。
E-mail: 1403390414@ 。
杜智文，男，1995年生，主要研究领域为计算机方向。
E-mail: 1009963012@ 。
丁建鑫，男，1996年生，主要研究领域为电子信息方向。
E-mail: 1194173858@ 。
基于OpenCV 的视觉定位四旋翼无人机
刘新泽 刘靖宇 杜智文 钮杨洁 丁建鑫
(同济大学浙江学院电子与信息工程系 浙江 嘉兴 314051)
摘 要 本论文所制作的无人机由以下两个核心部分组成，其一是以TM4C123G 单片机为飞控的核心部分，其二是以安装有OpenCV 库的树莓派为视觉识别的核心部分。
系统通过树莓派（图像处理器）检测周围环境，获得当前飞行器的位置以及偏离目标位置，将位置数据传回飞控芯片，再经过飞控的核心参数计算处理，矫正自身的姿态，或者偏移角度以达到指定目标位置。
关键词 单片机；树莓派；OpenCV ；视觉定位；设计制作 中图法分类号 TP302.1 DOI:10.16707/ki.fjpc.2019.04.034
OpenCV-based Visual Positioning Four-Rotor UA V
LIU Xinze, LIU Jinyu, DU Zhiwen, NIU Yangjie, DING Jiangxin
(Department of Electronic and Information Engineering, Tongji Zhejiang College, Jiaxing, China, 314051)
1 引言
多旋翼无人机已经有一百多年的历史，四旋翼作为小型多旋翼无人机的一种，也已经存在超过二十五年。
因其易用性、开放性和安全性，具有广泛的民用和军用价值。
OpenCV 是一个基于BSD 许可（开源）发行的跨平台计算机视觉库，拥有超过400个免费的图像处理函数，涉及面广泛，而且其中的算法易理解且能达到很好的效果。
从图像处理到模式识别、从静态图像到运动视频、从二维平面到相机的三维标定以及三维的重建都可以利用四旋翼无人机。
目前市面上大部分无人机均是通过接收GPS 信号进行定位，而这种定位方式虽有很多好处，但也存在着很大的弊端。
如果在室内或者偏远地区等，GPS 信号弱甚至没有信号的时候，无人机就不能进行准确定位，容易失控，进而发生安全事故。
本文所设计的基于OpenCV 的视觉定位四旋翼无人机在于若无人机能自主进行视觉定位，则可有效避免此情况的发生。
2 系统方案设计
该四旋翼的设计框架如图1所示，包括主控芯片TM4C123G 和树莓派（含OpenCV 数据库）、mpu6050
、超声波模块、摄像头。
通过硬件设备之间的相互连接，将飞行姿态、高度、水平位置汇总至主控芯片实现矫正自身的姿态，或者偏移角度以达到指定目标位置。
图1 系统设计框架
98 福建电脑2019年
2.1飞控核心部分
根据设计方案，综合对比了目前比较常用的芯片，结合性能与成本等多重考虑，决定选取高性能的TM4C123G作为飞控核心的主控芯片，MPU6050作为调整四旋翼姿态的MEMS传感器，超声波作为其高度传感器。
开展了大量的软硬件调试与验证，设计和制作了飞控电路板，作为飞控核心部分的基础。
并以此编写了飞行控制算法。
利用PID控制进行姿态调整，PID 控制具有结构和原理简单、易于实现、实用性强、鲁棒性较好等优点，是使用最广泛的一种控制率[1]。
在飞控核心部分中，综合了各传感器的优缺点，对其数据进行数字滤波处理后，利用卡尔曼滤波算法对无人机进行姿态的最优估算，实时为飞控提供无人机的姿态信息。
并在MATLAB中进行仿真行，验证算法。
然后将程序移植到飞控板中进行调试与相应的飞行验证。
既可以降低因程序问题导致的不必要损失，又可以得出一套精准的飞行控制系统。
2.2视觉核心部分
OpenCV是一个开源视觉库，功能强大的同时，运算量也是巨大的。
考虑到市面上大部分主流的微控制器运行困难，所以使用基于ARM的微型计算机（树莓派）用以搭载并运行OpenCV视觉库。
配合使用500万像素的摄像头，用于实时采集无人机所处坏境的图像。
图像的二值化在图像处理中占有极其重要的作用，用来获取某些图像中需要的信息[2]。
在处理彩色图像时先对图像进行灰度化减小图像的复杂度，减少图像后续处理的计算量[3]。
对于标记物体的识别，先进行高斯滤波，再进行均值滤波，然后进行边缘检测也就是canny，最后进行霍夫变换。
当摄像头采集图像后，对其获取的图像进行均值滤波算法处理，目的是抑制电气元件或者环境因素引起的噪声，平滑图像。
均值滤波算法，也叫邻域平均算法。
其基本原理是将某一指定大小窗口内的像素进行排序，然后将获取到排好序序列的中值替换给窗口的中间像素[4]。
领域平均法的优点是处理方法简单且计算速度快，适合于实时传输的使用。
对于标记物体的识别，本系统采用Canny边缘检测，先找出所有可能的边缘信息，再运用OpenCV 提供的find Contours函数将边缘信息转化为轮廓信息，最后再对其轮廓信息进行分析处理，找出标记物体。
与该目标物体的识别还有一种方法是采用阈值算法分割出特定灰度值范围内的物体，但该算法受光照影响较大，而边缘检测受光照影响较少，因此Canny采用边缘检测算法[5]。
通过超声波模块回传高度的信息，最终确定无人机的所在方位，并将信息反馈给飞控系统，调整相应的飞行姿态。
3总结
本文所设计的四旋翼无人机系统总体框架如下图2所示。
图2 系统总体框架
在GPS定位的基础上，增添了基于OpenCV的视觉定位，极大地提高了四旋翼无人机的稳定性、安全性以及易用性。
并在实验楼的测试场地内，测试成功，实现了在没有GPS信号情况下对目标的精准定位，并飞行平稳。
不过目前使用局限性很大，仅适用于一定范围的空间内，有待于进一步的研究。
参考文献
[1] 李炜.无人机飞行PID控制及智能PID控制技术研究[硕士学位论文].
南京理工大学,南京, 2004
[2] 郭佳, 刘晓玉, 吴冰, 付晓薇. 一种光照不均匀图像的二值化方法.
计算机应用与软件,2014,31(03):183-186,202
[3] 徐以美,郭宝龙,陈龙.基于RGB颜色空间的减背景运动目标检测.计
算机仿真,2008(03):214-217
[4] 黄宝贵, 卢振泰, 马春梅, 等.改进的自适应中值滤波算法. 计算机
应用, 2011, 31(7):1835-1837
[5] OpenCV单目视觉定位(测量)系统.CSDN博客,
https:///chenmohousuiyue/article/details/56300915,2017。