基于机器视觉的无人机着陆技术
基于视觉的无人机着陆导航
表 1.1 国外典型无人机的起飞着陆方式及导引体制 名称 ”全球鹰” (GlobalHawk) 美国 ”捕食者” (Predator) 美国 ”猎人” 美国 ”影子”600 (Shadow) 美国 ”开拓者” (Pathfinder) ”苍鹭”(Heron) 以色列 太阳能试验无 人机 高空长航时无 人机 轮式起飞着陆 多用途无人机 战术无人机 无人侦察机 轮式起飞着陆 可降落伞紧急 回收 常规起飞着陆 也可伞降回收 轮式起飞着陆 可用降落伞/翼 伞回收 轮式起飞着陆 GPS导航， 遥控/ 预编程控制 惯性导航、 远距 无线电导航系统 或者GPS导航系统 遥控飞行 GPS导航系统 飞行中由预先编 好的程序控制 可收放式起落 架 半自主式飞行 类型 高空长航时无 人驾驶侦察机 起飞/着陆方式 轮式起飞着陆 控制与制导 自动完成从起飞 到着陆的整个过 程GPS/INS导航 GPS/INS导航 其他 两个人负责用 差分GPS指挥自 动起飞和着陆 只需一段大约 700米的平坦地 面就可以起飞
华中科技大学 硕士学位论文 基于视觉的无人机着陆导航 姓名：赵昊昱 申请学位级别：硕士 专业：计算数学 指导教师：李红 20061026
摘
要
计算机视觉由于其经济、 无源、 信息丰富等特点， 成为无人机自主着陆中不可缺 少的重要信息源，利用视觉信息对飞机着陆进行导航已经成为一个崭新的研究课题。 本文以国家自然科学基金项目”基于视觉的无人飞行器自主着陆导引信息实时提取与 转换”为背景，以机载摄像机获得的飞机着陆过程中的机场序列图像为研究对象，研 究利用计算机视觉的理论， 通过数字图像处理方法以及代数与几何知识， 实时提取飞 行参数， 为飞机自主着陆提供导航信息。 本文主要在以下四个方面提出了一些新的方 法和尝试。 首先， 在特征提取阶段， 文中提出了一种局部使用方向小波变换的方法， 该方法 提取出的特征具有信息完整性、 准确性以及抗噪性等特点。 其次， 在直线检测阶段， 文中提出一种基于线性函数与二次函数相结合的预测方 法， 将其与Hough直线检测方法相结合， 大大提高了运算的速度和检测的精度。 在此基础上， 文中提出一种计算飞机飞行参数的新方法， 它克服了传统方法中利 用点对应关系而难于提取特征点的问题， 也不需要人为设置着陆标识， 只需对两条跑 道边线和一条着陆线进行检测， 这些线具有明显的可视性和直线性， 由此可直接算出 飞机的三个姿态角； 也可以利用地平线和跑道边线实现上述目的。 若跑道的宽度是已 知的， 进而可以算出飞机的位置矢量。 最后，本文尝试了一种直接利用图像特征，对飞机的飞行状况进行控制的方法。 在控制调整过程中， 用三次样条插值方法， 利用三次样条的光滑性可以使飞机整个调 整过程能够平稳完成。 理论分析和实验结果表明， 基于视觉的飞机自主着陆导航是可行的， 而且具有一 定的实时性和较高的计算精度， 适合为飞机实时着陆进行导航。 关键词： 无人机 直线检测 着陆导航 飞行参数 计算机视觉 三次样条 方向小波 Hough变换
基于计算机视觉INS的无人机自主着陆组合导航研究
素在图像阵列中的行数和列数来表示其位置，以图像的左上角
为坐标原点，是图像处理中常用副的坐标系，像素坐标值一般
一岛（ｉ－竺≯）可得图像平面下的像点坐标为ｐｌ（“１，ｖ１）， ’。。 ‘
ｐ２（ｕ２，ｖ２）。其中，（，，Ｉ，，１）是摄像机的图像分辨率（用像素 点表示），最艿，表示像素在图像平面横纵方向的长度。
机坐标系的对应关系为‘＝Ｒ（ｚ；一矗）一Ｒ２Ｚ，根据该式
可以得到如下的计算公式：
Ａ１＝Ｒ１Ｉｘ＋Ｒ１２１一（Ｒ’矗）ｌ一（如工：）ｌ
（１）
＿ｕｌａｌ；Ｒ２１ｚ＋Ｒ２２ｌ一（Ｒ·五）２一（如ｚ：）２ （２）
Ｊ
＿ｖｌａｌ；Ｒ３１ｚ＋Ｒ３２１一（Ｒ·矗）。一（氏ｚ：）３ （３）
Ｊ
Ｊ：１２＝Ｒ１ｌｘ＋Ｒ１２ｌ一（Ｒ’矗）１一（如ｚ：）ｌ
—ｆ
ａｌ，２２，则这两点的摄像机坐标可以如下表示为Ｑ１，掣Ａ１，
Ｊ
李１），（地簪２，％２）。
ｘ轴，定义观察者的坐标系，如下：
假设从机体坐标系到摄像机坐标系的旋转矩阵为Ｒ２，可
１．１．２摄像机坐标系｛ｆ）
以通过摄像机的已知安装角度类似表示，它是一个已知矩阵。
摄像机坐标系（ｃ｝为三维坐标系，也成为视觉坐标系， 是以摄像机光学中心为坐标原点，摄像机的光轴为Ｘ轴，其Ｙ 轴，ｚ轴所在的平面和像平面平行，并符合右手法则。坐标表 示值表示为（‘，弘，磊）。
ｔｈｅｎ ｐｕｔ ｔｈｅ ｎｏｄａｌ ｏｆ ｔｈｅ ｔｈｒｅｓｈｏｌｄ ｌｉｎｅ ｗｉｔｈ ｔｈｅ ｅｄｇｅ ｏｆ ｔｈｅ ｒｕｎｗａｙ ａｓ ｆｅａｔｕｒｅ ｐｏｉｎｔｓ．Ａｌｇｏｒｉｔｈｍ ｉｓ ｇｉｖｅｎ ｂａｓｅｄ ｏｎ ｉｍａｇｉｎｇ ｇｅｏｍｅｔｒｙ．Ｉｔ
ｓｈｏｗｓ ｔｈａｔ ｔｈｅ ｅｘｔｒａｃｔｉｏｎ ａｎｄ ｃｏｎｖｅｒｓｉｏｎ ａｒｅ ｖｉｓｉｂｌｅ ｔｈｒｏｕｇｈ ｔｈｅ ｅｘｐｅｒｉｅｎｃｅ． Ｋｑ ｗｏｒｄｓ：ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ，ｌａｎｄｉｎｇ ｎａｖｉｇａｔｉｏｎ；ｆｅａｔｕｒｅ ｐｏｉｎｔ
视觉辅助无人机自动着陆系统
视觉辅助无人机自动着陆系统1.关键词：自动着陆系统，线段检测，色彩饱和值，无人机方法，自动驾驶仪飞行控制。
2.引言：无人机系统中的自动导航系统是辅助操作人员进行更精确的飞行操纵的重要功能。
结合GPS航路点导航，提出了一种基于视觉辅助跑道识别和自动驾驶飞行控制的仪表着陆系统方法。
设计了一种简单、成熟、可靠的检测算法，用于Paparazzi 自动驾驶系统。
在传统RGB检测的基础上，引入了色饱和度值(HSV)颜色空间，给出了更为精确的检测结果。
增加了线段检测器(LSD)，用于在进近过程中搜索跑道边缘，以便在航路点0着陆。
建立了一种接近跑道的无人机归航的制导方法，并将其合并到一个等待点，然后再转向跑道。
与仪表着陆系统滑翔道相似，无人机在着陆过程中需要一个特定的滑翔道过程，因此需要建立标志物。
3.介绍：近几十年来，航空导航制导技术已相当成熟。
导航系统通过对无人机的正确实现，基于罗盘、GPS接收机、惯性测量单元(IMU)、空中数据单元(ADU)等机载传感器计算当前位置和方向。
导航系统的输出数据输入到自动驾驶仪的制导系统，以确定飞机的控制。
航路点被规划并设置在自动驾驶飞行控制器上。
跑道末端起始点的航路点0和其他航路点被指定为要遵循的飞行路线。
对于无人机的着陆，需要一个归航的阶段来接近机场，瞄准跑道方向完成着陆过程。
仪表着陆系统(ILS)[1]是最可靠的飞机着陆系统。
设计了一种适用于无人机归航的着陆方法。
无人机不像载人飞机那样携带复杂的仪器。
通过有限的航路点和跑道方向数据，可以得到简单的解决方案。
跑道线对着陆控制很有用。
没有无线电设备，视觉-空中跑道识别可能在无人机上被采用。
在跑道检测方面，2014年Braunschweig 大学飞行制导研究所提出了一种基于图像的导航和跑道检测方法[2]。
该方法需要一幅地理参考图和OpenCV算法对进场跑道进行跟踪。
来自西北工业大学自动化学院的尚和石还开发了基于视觉的无人机进场和着陆跑道检测方法[3]。
一种基于机器视觉的无人机自主着陆测量方法[发明专利]
![一种基于机器视觉的无人机自主着陆测量方法[发明专利]](https://img.taocdn.com/s3/m/d7af72aa2b160b4e777fcfdd.png)
专利名称：一种基于机器视觉的无人机自主着陆测量方法专利类型：发明专利
发明人：曲晓雷,董俊彪,王家兴,邵铮,冯心钰
申请号：CN202011568095.9
申请日：20201225
公开号：CN112797982A
公开日：
20210514
专利内容由知识产权出版社提供
摘要：本申请提供了一种基于机器视觉的无人机自主着陆测量方法，所述方法包括：获取无人机着陆过程中的高度及距离跑道的距离，当所述无人距着陆机场的高度及距着陆跑道的距离满足预定条件时，获取具有机场跑道的图像；解析所述图像，获得跑道边缘线和地平线；根据跑道边缘线和地平线解算出所述无人机着陆过程中的飞行参数，所述飞行参数包括高度、侧偏距、滚转角、俯仰角及偏航角。
本申请所提供的基于机器视觉的无人机自主着陆测量方法，通过引入视觉算法获得飞行参数，可以减轻无人机配重，提高飞机续航能力，且不接受外部设备发送的信息，抗干扰能力强，可以实现全天候、全天时着陆，搭载红外系统的视觉系统，可以避免天气，光照带来的影响。
申请人：中国航空工业集团公司沈阳飞机设计研究所
地址：110035 辽宁省沈阳市皇姑区塔湾街40号
国籍：CN
代理机构：北京航信高科知识产权代理事务所(普通合伙)
代理人：高原
更多信息请下载全文后查看。
基于机器视觉的无人机着陆技术课件
摘要 圆拱形气囊 自动着陆系统构成 试验结果 总结和展望
•基于机器视觉的无人机着陆技术
•1
1.摘要
l 统计显示，在所有的无人飞行器事故原因分析中，着陆部分的操控 不当占据着最大的比重。
l Why？
l 无人机的地面领航员对运行环境认知的有限性 l 无人机在着陆前低速运行时其机动性的限制
3.自动着陆系统构成
3.1 软件算法
l 3.1.1 基于颜色的气囊检测 l 3.1.2 基于图像矩的气囊检测 l 3.1.3 地理位置算法 l 3.1.4 直接视觉伺服
3.2 实验平台组成
•基于机器 软件算法
•基于机器视觉的无人机着陆技术
•5
符号说明
•基于机器视觉的无人机着陆技术
•基于机器视觉的无人机着陆技术
•2
2.圆拱形气囊
l 各向同性的形状特征 l 对比网络辅助的着陆方式（只能从一个方向着陆），可以从任何方
向着陆以避免侧向风的干扰（迎风） l 采用与外界环境颜色具有强烈对比的气囊可改善图像识别 l 起着无人机回收吸震和视觉标记的双重作用
•基于机器视觉的无人机着陆技术
•3
•25
机载摄像头与地面摄像头拍摄对比
•基于机器视觉的无人机着陆技术
•26
阶段1
•基于机器视觉的无人机着陆技术
•27
阶段2
•基于机器视觉的无人机着陆技术
•28
阶段3
•基于机器视觉的无人机着陆技术
•29
阶段4
•基于机器视觉的无人机着陆技术
•30
Result
l In all cases, the vision system was able to successfully recognize the dome and command the flight controller to guide the vehicle into the dome accurately and reliably
基于视觉的无人机自动着陆定位算法
图1 着陆目标(注：图中黑色部分原为红色)图2 视觉算法流程图图3 坐标转换图(4)当椭圆确定后，因为范围大的椭圆对圆心估计的失真较标原点的空间位置坐标，R是无人机相对于着陆目标原点的角度(6)(8)在摄像机拍摄的图像中(10)(11)从坐标系O'X'Y'Z'到坐标系图4 自然光线下目标提取结果(注：图中六边形为蓝色，三角形为绿色，圆形及中间原点为红图5 较暗光线下目标提取结果(注：图中六边形为蓝色，三角形为绿色，圆形及中间原点为(15)(17)联立(15)和(17)，并令得关求得值带都已求出(18)[1]Zhao Y, Pei H. An improved vision-based algorithm for unmanned aerial vehicles autonomous[2]Cocchioni F, Mancini A, Longhi S. Autonomous navigation, landing and recharge of a quadrotorusing artificial vision[C] Unmanned Aircraft Systems (ICUAS), 2014 International Conference on.[3]Kim H J, Kim M, Lim H, et al. Fully autonomous vision-based net-recovery landing system for afixed-wing uav[J]. Mechatronics, IEEE/ASME Transactions on, 2013, 18(4): 1320-1333.[4]Hui C, Yousheng C, Xiaokun L, et al. Autonomous takeoff, tracking and landing of a UAV on amoving UGV using onboard monocular vision[C] Control Conference (CCC), 2013 32nd Chinese.[5]Cocchioni F, Frontoni E, Ippoliti G, et al. Visual Based Landing for an Unmanned Quadrotor[J].[6]Lange S, Sünderhauf N, Protzel P. Autonomous landing for a multirotor UAV using vision[C]。
基于视觉辅助技术的无人机自主着陆系统研究
基于视觉辅助技术的无人机自主着陆系统研究作者：郭瞻肖祖铭来源：《科技风》2017年第05期摘要：在本次研究中，笔者主要设计了一套无人机自主着陆系统，在该系统中发挥主要作用的是视觉技术。
本系统主要包括两个部分，第一部分是硬件平台，第二部分则是软件算法。
为了检验本系统的有效性，笔者开展了实验验证工作，最终证明本文设计的系统可以实现预期功能，最终结果的精确度也是可以接受的。
关键词：视觉辅助技术；无人机；自主着陆系统早在20世纪美国就开始了关于无人机的研究，进入21世纪以来，在新的时代背景下，随着科学技术的不断发展和进步，无人机技术也变得越来越成熟。
在战斗中，对无人机而言最为关键的问题主要有两个：一个是顺利起飞，并按照预定轨迹进场；另一个问题则是任何准确的开展着陆操作。
因此，关于无人家着陆问题的研究是该领域的一个热点，好多学者都开展了相关研究，并取得了一定的成果。
现阶段，随着视觉技术的发展，好多人开始研究如何将视觉技术融入无人机的着落系统中。
基于视觉导航技术开始出现，并收到了人们的重视，在很多领域得到了使用。
在本次研究中，笔者首先介绍了基于视觉技术的无人机自主着陆系统的硬件平台设计，接下来介绍了该系统的软件算法，最后探讨了对系统进行实验仿真的结果。
1 硬件平台设计在本文设计的系统中，摄像机的位置是无人机的机头下部。
在无人机进入着陆状态之后，操作人员可以技术摄像机获得相关信息。
通过对这些信息进行一系列的处理，操作人员可以得到关于无人机的飞行参数，从而实现无人机的自主着陆。
硬件是组成系统的重要部分，笔者在设计本系统时选择的硬件平台是基于模拟摄像机和模拟输入接口的图象处理开发模式，这是一种比较常见的硬件平台模式。
该硬件平台可以发挥的作用主要有四个：第一，借助于CCD 相机获取机场中的环境信息，这是保证后续工作得到顺利开展的基础和前提；第二，可以对CCD数据执行一定的操作，如读操作和保存操作；第三，可以处理一些图像数据，从图像数据中获得需要的信息，从而为确定无人机的飞行参数提供有效依据；第四，确保系统可以和飞控计算机开展一定的数据交换操作。
基于视觉辅助技术的无人机自主着陆系统研究
科技风2017年3月上科技创新D01：10.19392/ki.l671-7341.201705008基于视觉辅助技术的无人机自主着陆系统研究郭瞻肖祖铭景德镇学院机电系江西景德镇333000摘要:在本次研究中，笔者主要设计了一套无人机自主着陆系统，在该系统中发挥主要作用的是视觉技术。
本系统主要包括两个部分，第一部 分是硬件平台，第二部分则是软件算法。
为了检验本系统的有效性，笔者开展了实验验证工作，最终证明本文设计的系统可以实现预期功能，最终结 果的精确度也是可以接受的。
关键词:视觉辅助技术;无人机；自主着陆系统早在20世纪美国就开始了关于无人机的研究，进入21世纪以来，在新的时代背景下，随着科学技术的不断发展和进步，无人机技术也变 得越来越成熟。
在战斗中，无人机而言最为关键的问题主要有两个: 一个是顺利起飞，并按照预定轨迹进场;另一个问题则是任何准确的开 展着陆操作。
因此，关于无人家着陆问题的研究是该领域的一个热点，好多学者都开展了相关研究，并取得了一定的成果。
现阶段，随着视觉 技术的发展，好多人开始研究如何将视觉技术融入无人机的着落系统 中。
基于视觉导航技术开始出现，并收到了人们的重视，在很多领域得 到了使用。
在本次研究中，笔者首先介绍了基于视觉技术的无人机自主 着陆系统的硬件平台设计，接下来介绍了该系统的软件算法，最后探讨 了对系统进行实验仿真的结果。
1硬件平台设计在本文设计的系统中，摄像机的位置是无人机的机头下部。
在无人 机进入着陆状态之后，操作人员可以技术摄像机获得相关信息。
通过对 这些信息进行一系列的处理，操作人员可以得到关于无人机的飞行参 数，从而实现无人机的自主着陆。
硬件是组成系统的重要部分，笔者在 设计本系统时选择的硬件平台是基于模拟摄像机和模拟输入接口的图 象处理开发模式，这是一种比较常见的硬件平台模式。
该硬件平台可以 发挥的作用主要有四个：第一，借助于CCD相机获取机场中的环境信息，这是保证后续工作 得到顺利幵展的基础和前提；第二，可以对CCD数据执行一定的操作，如读操作和保存操作；第三，可以处理一些图像数据，从图像数据中获得需要的信息，从 而为确定无人机的飞行参数提供有效依据；第四，确保系统可以和飞控i十算机开展一定的数据交换操作。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
纲要
a
2
1.摘要
• 统计显示，在所有的无人飞行器事故原因分析中，着陆部分的操控不 当占据着最大的比重。
• Why？
– 无人机的地面领航员对运行环境认知的有限性 – 无人机在着陆前低速运行时其机动性的限制
a
24
试验结果2
a
25
4次试验的飞行轨迹
It is caused by the inherent weak coupling between the horizontal and
vertical dynamics of a fixed-wing airplane.
a
26
机载摄像头与地面摄像头拍摄对比
a
14
3.1.4 直接反馈视觉伺服
即使可实现：
定位圆拱形气囊的准确坐标 飞行器控制系统可优秀地追踪给定参考轨迹
但是：
导航误差仍然比气囊的尺寸更大，使之不可能恒定地从一个小目标点着陆
因此：
提出一个图像直接反馈伺服系统，图像处理结果直接反馈到飞行控制器
a
15
a
16
a
17
3.2 实验平台组成
a
18
试验平台参数
a
19
硬件架构
a
20
无线收发系统
a
21
4、试验结果
a
22
• 圆拱形气囊的地面坐标由差分式GPS获得
• 试验流程：
初始化INS 用发射器发射无人机 发出着陆命令 寻找气囊
应用视觉系统定位气囊坐标
应用视觉算法锁定目标
下降到一定高度转换为直接视觉伺服 保持安全速度着陆
a
23
试验结果1
a
32
谢谢
a
33
3.2 实验平台组成
a
5
3.1 软件算法
a
6
符号说明
a
7
3.1.1 基于颜色的气囊检测
filtering rule：
(a,b,c)=(1.5,1.5,20)
a
8
3.1.2 基于图像矩的气囊检测
• 图像处理流程：
原始图像 二值化
侵蚀和扩张 处理图像
• 因为：气囊投影为半圆到正圆，Hu矩变化很小 • 所以： Hu矩可作为目标气囊的一个不变描述 • 考虑前四阶的Hu矩已经足够 • HU矩适用于高速率检测
a
12
a
13
Fig shows a geolocation result obtained from a test flight
Obviously from this result, the geolocation alone will not be sufficient for precision guidance to the dome. The relatively large error of the geolocation result is mainly attributed to the errors in the attitude and pose of the vehicle and the camera.
a
3
2.圆拱形气囊
• 各向同性的形状特征 • 对比网络辅助的着陆方式（只能从一个方向着陆），可以从任何方向
着陆以避免侧向风的干扰（迎风） • 采用与外界环境颜色具有强烈对比的气囊可改善图像识别 • 起着无人机回收吸震和视觉标记的双重作用
a
4
3.自动着陆系统构成
3.1 软件算法
– 3.1.1 基于颜色的气囊检测 – 3.1.2 基于图像矩的气囊检测 – 3.1.3 地理位置算法 – 3.1.4 直接视觉伺服
a
27
阶段1
a
28
阶段2
a
29
阶段3
a
30
阶段4
a
31
Result
• In all cases, the vision system was able to successfully recognize the dome and command the flight controller to guide the vehicle into the dome accurately and reliably
• 提出了一种基于机器视觉识别圆拱形气囊、应用于小型UAV的自动着 陆系统，为了改善在光线变化的环境中的鲁棒性，提出了一种基于颜 色和形状的视觉检测算法，并通过了一系列试验的验证
• 由于低成本的导航传感器精度不足，在锁定目标后应用直接反馈视觉 伺服控制
• 关键词: 无人机； 自动着陆； 直接视觉伺服；图像矩； 地理位置
a
9
where are the ith and jth order normalized moments with regard to horizontal axis and vertical axis ,respectively
a
10
a
11
3.1.3 地理位置算法
• Once the image coordinates of the dome is found by the detection algorithms introduced above, its location in a local Cartesian frame can be computed by Eq. (2.3).