基于点状β智能体的飞行器集群避障控制方法
基于深度强化学习的无人机集群数字孪生编队避障
基于深度强化学习的无人机集群数字孪生编队避障
张宇宸;段海滨;魏晨
【期刊名称】《工程科学学报》
【年(卷),期】2024(46)7
【摘要】无人机集群在各个领域中扮演着重要角色,具有丰富的应用场景.然而,将深度强化学习方法应用于自主无人机面临着诸多严峻挑战.本文基于多智能体深度强化学习,通过使用局部信息建立单个无人机的状态空间,并使用多智能体近端策略优化(Multi-agent proximal policy optimization,MAPPO)的在线策略算法来训练策略网络,从而克服了环境的不确定性和对全局信息的依赖.同时,引入了数字孪生的概念,为资源紧张型算法提供了新思路.为了解决采样困难和资源紧张的问题,基于数字孪生技术,构建了一个用于无人机编队避障策略模型训练的架构.首先,构建了多个数字孪生环境,用于强化学习算法在任务开始之前进行交互采样的预训练,以使集群具备基本的任务能力.然后,使用在真实环境中采集的数据进行补充训练,使得集群能够更好地完成任务.对采用这种两阶段训练架构的效果进行了对比,同时与其他策略算法进行比较,验证了MAPPO的样本效率性能.最后,设计了实际飞行验证测试,验证了从孪生环境中获得的策略模型的实用性和可靠性.
【总页数】10页(P1187-1196)
【作者】张宇宸;段海滨;魏晨
【作者单位】北京航空航天大学飞行器控制一体化技术重点实验室
【正文语种】中文
【中图分类】TG142.71
【相关文献】
1.基于事件驱动的无人机强化学习避障研究
2.基于元强化学习的无人机自主避障与目标追踪
3.不确定环境下的深度强化学习编队避障控制
4.基于深度强化学习的端到端无人机避障决策
因版权原因，仅展示原文概要，查看原文内容请购买。
多智能体系统与无人机集群协同任务规划研究
多智能体系统与无人机集群协同任务规划研究简介：随着无人机技术的飞速发展，无人机集群已成为多智能体系统中的一个重要研究领域。
无人机集群可以通过协同任务规划，实现灵活、高效的工作方式。
本文将探讨多智能体系统与无人机集群协同任务规划的研究进展和应用。
一、多智能体系统与无人机集群的概念多智能体系统是由多个智能体组成的系统，每个智能体都具有自主决策和行为能力。
无人机集群是多智能体系统中的一种重要应用形式，由多个无人机协同工作，完成特定的任务。
无人机集群的优势包括高效的任务执行、灵活的协同能力以及适应复杂环境的能力。
二、无人机集群协同任务规划的研究方法1.集中式规划方法集中式规划方法是指由中央控制单元制定全局任务规划，并将任务分配给各个无人机。
这种方法可以实现全局最优化任务规划，但受限于计算能力和通信带宽，无人机集群规模有限。
集中式规划方法适用于任务执行过程中需要高度协同和决策的场景。
2.分布式规划方法分布式规划方法将任务规划过程分散到每个无人机上。
每个无人机根据局部信息和协同策略，独立地制定自己的任务规划。
分布式规划方法具有较好的可扩展性和适应性，但可能导致局部最优解。
这种方法适用于任务执行过程中需要较强的自主性和适应性的场景。
3.混合规划方法混合规划方法将集中式规划方法和分布式规划方法相结合，在无人机集群中实现任务规划的灵活性和效率。
该方法根据具体任务的需求和无人机集群的规模选取合适的规划策略，使任务规划既能充分利用全局信息，又能保持无人机的自主性。
三、无人机集群协同任务规划的关键技术1.任务分配任务分配是无人机集群协同任务规划中的重要环节。
任务分配算法根据任务的性质和无人机的能力，将任务分配给各个无人机。
常用的任务分配方法包括最小剩余能力算法、分配规则算法、基于学习的任务分配算法等。
2.路径规划路径规划是指根据任务分配结果，规划每个无人机的飞行路径，使其尽量高效地完成任务。
路径规划算法可以基于先验地图，考虑障碍物避障和航迹优化等因素。
基于证据推理的无人机集群协同避障能力试验评估方法
基于证据推理的无人机集群协同避障能力试验评估方法嘿，咱今儿个就来唠唠这个基于证据推理的无人机集群协同避障能力试验评估方法。
你想想看啊，这无人机集群就好比是一群机灵的小鸟儿，它们在天空中飞呀飞的。
可这天空可不是空荡荡啥都没有啊，那可是有各种各样的障碍物呢！就像小鸟儿在树林里飞，得躲开那些树枝呀啥的。
那怎么知道这些无人机能不能很好地避开这些障碍呢？这就得靠咱这厉害的试验评估方法啦！就好像给这些小无人机们来一场考试，看看它们到底本事咋样。
证据推理呢，就像是个超级侦探，能从各种蛛丝马迹里找出真相。
在这无人机的世界里，它能从各种数据、信息里分析出无人机避障的情况到底好不好。
咱来具体说说这试验咋搞。
先得给无人机们设计好各种障碍场景，这就跟给小朋友搭积木似的，得搭得有挑战性。
然后让无人机们飞进去，看看它们怎么应对。
这过程中，那个证据推理就开始发挥作用啦，它把无人机的飞行轨迹呀、速度呀、应对策略呀等等都收集起来，然后细细分析。
比如说，有两架无人机，一架遇到障碍就“嗖”地一下躲开了，动作那叫一个敏捷；另一架呢，在那犹豫半天，差点就撞上去了。
那很明显，第一架的表现就好得多呀！证据推理就能把这些细节都给抓住，然后给出一个客观的评价。
这评估方法可重要了呢！要是没有它，咱怎么知道无人机集群到底厉不厉害呀？怎么知道它们能不能安全地执行任务呀？这就好比你要去参加比赛，总得有个裁判来给你打分吧！而且呀，这方法还能不断改进和完善呢。
就像我们学习一样，学了新东西，就变得更厉害了。
随着技术的发展，无人机也会越来越先进，那这评估方法也得跟着升级呀，不然怎么能跟得上它们的脚步呢？你说，这基于证据推理的无人机集群协同避障能力试验评估方法是不是很神奇？它就像是无人机的导师，指引着它们变得更优秀、更强大。
所以呀，咱可不能小瞧了这个评估方法，它可是无人机集群发展的重要保障呢！没有它，那些无人机说不定就会在天空中横冲直撞，那可不得了啦！你说是不是这个理儿呢？。
基于MATD3算法的多智能体避碰控制
基于MATD3算法的多智能体避碰控制
郭雷;梁成庆
【期刊名称】《计算技术与自动化》
【年(卷),期】2024(43)1
【摘要】使用多智能体双延迟深度确定性策略梯度(Multi-agent Twin Delayed Deep Deterministic Policy Gradient,MATD3)算法研究了多无人机的避障和到达目标点问题,首先,利用MATD3算法的优越性提高训练效率。
其次,基于人工势场法的思想设计了稠密碰撞奖励函数,使得智能体在没有找到最优解决方案时也能得到积极的反馈,加快学习速度。
最后,在仿真实验阶段,通过设计的三组对比实验和泛化实验验证了算法的有效性。
【总页数】7页(P9-15)
【作者】郭雷;梁成庆
【作者单位】河海大学理学院;河海大学人工智能与自动化学院
【正文语种】中文
【中图分类】TP273
【相关文献】
1.基于人工智能和软计算的船舶自动避碰决策算法
2.对基于人工智能和软计算的船舶自动避碰决策算法分析
3.基于机器学习的实海域无人艇避碰算法智能演进方法
4.具有避碰和保持连通的多智能体鲁棒编队控制
5.基于纯追踪算法的智能船舶避碰决策支持
因版权原因，仅展示原文概要，查看原文内容请购买。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
关 健词 ：集群 ；加速度 ；协议 ；点状 智能体
Ｅｖ ｄ ｎｇ Ｃｏ ｒ ｌ ｅ ｈｏ ｏ ｏ ｋ ０ ｒ ｒ ｆ ａ ｉ ｎｔ ｏ ｔ ｄ ｆ ｒＦｌ ｃ ｆ Ｍ Ａｉ ｃ ａ ｔ Ｂａ ｅ ｎ Ｄｏ －ｉ Ａｇ ｎｔ ｓ ｄ ０ ｔｌｋｅ ｅ
ａＡｇ ｎ ｏ ｎｐｏｅｔ ｎｏ ｅｏ ｓ ｃｅｉｔ ｎｆｒ ｄｉｔ ｖ ｉｉｇｔｅｄ ｔｉｅ８Ａｇｎ ｓ ｓｕ ｄ ａｄｔｅｃｏｄｎ ｔ ｏ Ａｇｎ ｇ ｔｅ ｔ ｅｔ ｗ ｒ ｃｉ ｎｔ ｂｔ ｌ ｓｒ ｓ ｒ ｏａｏｄｎ ｏ－ｋ ｅｔ ｓｍｅ ，ｎ ｏｒｉａｅ ｔ ｅｔｏ ｅｈｒ ｈ Ｓ ｊ ｏ ｈ ａ ａ ｅ ｅ ｎ ｈ ｌ ａａ ｈ ８ ｔ ｗｉ ｒｌｔ ｅｖｃｏｓｉ ｔｅ（， ） ｒｔｃｌｎ ｕ ｆｈ ｃｅｅａｏ ｓ ｄ ｌｅ ． ｔ ｒｈ ｔｔｅｍｕｔＡｇｎ ｓａｌ ｔ ｈｐ ｏｋｉ ｃｓ ｆｉｅ ｕａ ｅａｖ ｅｔｒ ｎ ｈ ｐｏｏｏ ｐ ｔ ｅａｃ ｌ ｔｒｉ ｍｏ ｕａ ｄ Ａｆ ａ，ｈ ｌ－ ｅｔ ｂｅ ｏｓａｅｆ ｃ ａｅｏ ｒｇ ｌ ｉ ｉ ｏｔ ｒ ｔ ｅｔ ｉ ｉ ｌ ｎ ｒ ｒ
［ ｓｒｃ］Ａｓｏｔｅｎ ｆｃｅ ｃ ｆ ｖ ｄｎ ｒｇ ｌｒ ｂｔｃｅｉ ｔ ｄｔ ｎ ｌｉ ｒｆｅａ ｉｇｓ ａｅｉｓａｆ ｃ ｏ ｔ ｌｔ ｔｇ ａｅ ｎｄ ｔｉｅ Ａｂｔａ ｔ ｅ ｉ ｙｏ ａ ｉｇｉ ｅｕａ ｓ ｌ ｎ ｒ ｉｏ ａ ａ ｃａｔ ｖ ｄｎ ｒｔｇｅ， ｏｋｃｎｒ ｒ ｅ ｙｂ ｓｄｏ ｏ—ｋ ｔ ｈｉ ｉ ｎ ｅ ｒ ｏ ａ ａ ｉ ｒ ｔ ｌ ｏ ｓａ ｌ
其 单个智能体的 加速度输入为 ＝ ＋ｆ ” ， ｕ＋ 其中， 表
示（， ） 。 ａ作用量 ， ” 表示（， 作用量 ， ［ ａ ）
反ቤተ መጻሕፍቲ ባይዱ ：
“ｉ ＝
是一个分布式导航
∑
ｊ Ｎ Ｅ ７
（ 一 ） ｚ ａｇ 一 ） Ｉ ｑ 。 ） １ Ｉ ｕ ｃ （（ ｔ
中图 分类号： Ｐ７ Ｔ２３
基于点状 智 能体 的飞行 器 集群避 障控制 方法
沈 东 ，魏璃 轩 ，胡明朗
（ 空军工程大学工程学院 ，西安 ７ ０ ８ ３） １ ０
摘
要 ：针对传 统的飞行器集群避障方法不能有效规避非规 则障碍物 的问题 ，提出一种 基于点状 智能体 的集群避障控制方法。在加速度
ｏ ｓａ ｌｓ ｉ ｌ ｔ ｎ ｒ ｓ ｌ ｓ ｏ ｈ ｔａ ｌ ｏ ｉ ｍ ｎ ｅ ｏ ｅ ｆｄ ｔｌ ｅ Ａｇｅ ｔ ｓｔ ｅ ｄ ｒｅ ｆ ｃ ｉ ｅ ｅ ａ ｉ ｇ ｉ ａ ｅｏ ｅ ｕ ａ ｂ ｔ ｃ ｅ ． ｂ ｔ ｃ ｅ Ｓ ｍｕ ａ ｉ ｅ ｕ ｔ ｈ ｗｓｔ ａ ａ ａ ｇ ｒｔ ｕ ｄ ｒｔ ｍ ｄ ｌ ｏ —ｉ ｏ ｈ ｈｅ ｏ ｋ ｎ ｏ ｒ ｎ ｅ ｆｅ ｔ ｖ ｄ ｎ ｃ ｓ ｆｉ ｇ ｌｒｏ ｓａ ｌｓ ｉ ｖ ｎ ｒ
第３ ６卷 第 ９期
Ｖ Ｌ３ ｏ ６
・
计
算
机
工
程
２１ ００年 ５月
Ｍ ａ ０１ ｙ２ ０
Ｎｏ９ ．
Ｃｏ ｕ ｅ ｎ ｉｅ ｒ ｇ ｍｐ ｔｒ ｇｎ ｅｉ Ｅ ｎ
人工 智 能及识 别技 术 ・
文章编号：ｌ ３２（ １）．０８—０ 文 ００ ４８ ００ ＿ｌ ＿ ０＿ ＿ ２ ０－ ４ ３ ９ 献标识码： Ａ
输入 的基础上 ， 基于 智能体概念定义点状 智能体 ，将 智能体对其在障碍物表面投影的规避 变为对 点状 智能体 的规避 ， 调整个体加 速度输入 中（ ） 协议量 的 智能体的坐标和相关向量 ， 多智能体面 向非规则障碍物形成集群 。 使 仿真结果表明 ， 该方法能 实现集群对非规
ＳＨ ＥＮ ｏｎ Ｗ ＥＩＲｕｉｘ Ｄ ｇ， － ｕａｎ， Ｕ ｉ —ａ Ｈ Ｍ ｎｇ ｌ ｎｇ
（ ｎ ｉｅ ｒ ｇＩ ｓ ｔｔ， ｒ ｏｃ ｎ ｉｅ ｒ ｇＵｎｖ ｒｉ ， ’ｎ７ ３ ） Ｅ ｇｎ ｅｉ ｔｕ ｅＡｉ Ｆ ｒ ｅ ｇｎ ｅｉ ｉｅ ｓ ｙ Ｘｉ ０ ８ ｎ ｎ ｉ Ｅ ｎ ｔ ａ １ ０
Ａｇ ｎ ｓｓｕ ｉ ｄ Ｏｎ ｔ ｅ ｂ ｓ ｆａ ｃ ｌｒ ｔ ｒｉ ｐ ｔ ｔ ｅ ｄ ｔｌ ｅ Ａｇ ｎ ｓｄ ｆｎ ｄ ｂ ｓ ｄ ｏ ｈ ｏ ｉ ｎ ｏ Ａｇｅ ｔ ａ ｏ ｇ ｗｉ ｉ ｈ ｔ ｅ ａ ｏｉ ｎ ｅｏ ｅ ｔｉ ｔ ｄ ｅ ｈ ａ ｅ ｏ ｃ ｅ ｅ ａ ｏ ｎ ｕ ， ｈ ｏ —ｉ ｋ ｅ ｔｉ ｅ ｅ ａ ｅ ｎ ｔ ｅｎ ｔｏ ｆ ｉ ｎ ， ｌ ｎ ｔ ｗｈ ｃ ｈ ｖ ｄａ ｃ ｆ ｈ
广泛关注。针对如何使多无人飞行器 自主实现对 障碍物有效 规避的问题 ， 学术界和工程界始终在付诸 巨大努力进行研究 。 多智能体集群技术 的关键是建立一种能够 同时实现智能体间 防碰撞、障碍物规避和 向目标集合 的模 型及算法 。
文献【］ １在大规模 群体 系统 的计 算机 仿真 方面做 出了开 创性 的工作 ，提 出了形成集群行为 的 ３条启发 式规 则。文 献［］ 出了一种 基于速度 匹配规则 的简单 的离 散时 间动态 ２提
［ ｙｗｏｄ ］ｆ ｃ ； ｃｅ ｒｔｒｐｏｏ ｏ； ｏ—ｋ ｅ ｔ Ｋｅ ｒｓ ｌ ｋ ａｃｌ ａ ； ｒｔｃ ｌｄ ｔｉｅ０Ａｇｎ ｏ ｅ ｏ ｌ
ｌ 概述
近年来，对 多智能体集群系统的研 究一直受到学术界的
２ 基于 智能体 的避障模型
文献 ［２使 用了基于加速度输入 的集群避 障控制方法。 １１