国际机器人足球比赛及其相关技术

文章编号 2 2 2 国际机器人足球比赛及其相关技术Ξ李 实 徐旭明 叶 榛 孙增圻清华大学计算机系国家智能技术与系统重点实验室 北京 摘 要 本文在简要介绍两个相关的国际组织 ≤∏ 联合会和ƒ 的基础上 重点论述了 ≤∏ 的比赛环境 同时详细阐述了目前各国参加 ≤∏ 比赛球队的系统结构及其相关技术 对提高我国相关领域的研究水平 迅速组织我们自己的机器人足球队参加国际比赛并取得好名次具有指导意义关键词 ≤∏ ƒ 机器学习 决策 ∏ 2 系统 分布式人工智能中图分类号 ×° 文献标识码1 引言训练和制造机器人进行足球赛 是当前人工智能和机器人领域的研究热点之一 机器人足球比赛的设想首先是由加拿大不列颠哥伦比亚大学的教授 在 年的论文5 ≥6中提出的 举办机器人世界杯足球赛的目的是为了促进分布式人工智能研究与教育的发展 通过提供一个标准任务 使得研究人员利用各种技术 获得更好的解决方案 从而有效促进各领域的发展 涉及的研究领域包括 智能机器人系统!多智能体系统!实时模式识别与行为系统!智能体结构设计!实时规划和推理!基于网络的三维图形交互!传感器技术等 研究目标是计划经过五十年左右的研究 使机器人足球队能战胜人类足球冠军队 目前 有关机器人足球比赛的国际组织有两个 ≤∏ 联合会和ƒ组织 ≤∏ • ≤∏ 即机器人世界杯足球锦标赛 年 月 在日本东京举行的关于人工智能领域重大挑战的研讨会中 与会的研究人员对制造和训练机器人进行足球比赛以促进相关领域研究进行了探讨 在一些学者的积极倡导下 如美国≤ 的 ∏ ∂ 教授 ≥ ≠公司的支持下 成立了 ≤∏ 联合会 并于 年在日本举行了一次表演赛 获得了很大地成功 第一届 ≤∏ 比赛和会议于 年举行 大约有 个机器人球队 包括美国!日本和欧洲的主要大学及研究机构 和超过 名观众参加此次盛会 第二届比赛 ≤∏ 2 °有接近 支球队参赛 是历史上最大规模的移动机器人会议 每年举办一届ƒ ƒ 2≥ 是由韩国人创立的组织 从年开始每年举办一届比赛 ƒ 的比赛中只有实际机器人的比赛 没有仿真组比赛 目前其国际影响力比较小 主要有韩国!新加坡!巴西等一些国家的研究机构组队参赛 ƒ 采用集中式系统结构 即系统中只有一个决策机制 比赛过程中需要人的部分参与 而 ≤∏ 为分布式系统 各个队员具有自己独立的进程 负责自身的信息感知!决策和动作执行 进程之第 卷第 期年 月机器人 ΡΟΒΟΤ∂ ≥Ξ收稿日期间不许进行直接的信息交换考虑到 ≤∏ 的影响力和技术特点 我们将在下文中详细介绍 ≤∏ 比赛情况和各参赛队的设计结构2 ΡοβοΧυπ比赛及仿真环境2 1ΡοβοΧυπ比赛参加比赛的机器人足球队是由多个在动态环境下快速移动的机器人组成 ≤∏ 同时提供一个软件平台来进行软件仿真研究 为了有效促进相关领域的研究与发展 比赛仅是整个活动的一部分 目前 ≤∏ 活动包括如下几个方面技术会议 机器人足球赛 机器人足球挑战赛 教育程序 基础结构发展当然 机器人足球赛是整个活动的主要部分 研究者们会聚一堂 评价研究的进展情况 机器人足球赛锦标包括仿真组比赛 小型机器人组比赛 小型机器人组标准比赛 每队 人 中型机器人组比赛 ≥ 有腿机器人比赛 ≥ 公司发起 类人机器人组比赛 计划从 年开始 也许提前 遥操作比赛 即将宣布 ≤∏ 展示会 2 2 ΡοβοΧυπ仿真比赛环境≤∏ 仿真组比赛是各种比赛中参赛队数目最多的一种 由于仿真环境与人类足球比赛的环境相似 比赛队员的仿真模型与实际队员也很接近 实现了机器人比赛中由于机器人硬件的不足而放弃的规则 故其对于分布式人工智能理论的研究具有重要意义 本文将主要介绍仿真比赛环境和比赛球队的实现方法 仿真比赛是在一个标准的计算机环境内进行的 比赛规则基本上与国际足球联合会的比赛规则一致 只是在某些方面有很小地改动 比赛采用≤ Ù≥ √ 方式 由 ≤∏ 联合会提供标准的≥ ≥ √ 系统 参赛队编写各自的≤程序 模拟实际足球队员进行比赛 ≥ ≥ √ 是一个允许竞赛者使用各种程序语言进行仿真足球比赛的系统 它提供了一个虚拟场地 并对比赛双方的全部队员和足球的移动进行仿真 以离散的方式控制比赛的过程 为了使仿真比赛更加真实 ≥ ≥ √ 在环境中生成一定的环境噪声 对每个≤ 的感知和执行动作进行干扰 ≤相当于球员的大脑 指挥球员的运动 每个≤ 模块只允许控制一名球员 ≤ 之间不允许直接进行通信 ≤之间的通讯必须通过≥ ≥ √ 来进行 竞赛者同时运行与比赛球员数目相等的≤≥ √ 和≤ 之间的通信是通过 ⁄°Ù °协议进行的 竞赛者可以使用支持 ⁄°Ù °的任何程序系统 每个仿真周期 ≥ √ 会从全部≤读取下个周期队员要执行的命令 同时≥ √ 在一定的周期内 决定于队员的自身状态 为每个队员发送其相应的感知信息≥ ≥ √ 包含两个程序 ≥ ≥ √ 和≥≥ ≥ √ 的工作是仿真足球和队员的状态!与≤ 进行通信!按照一定的规则控制游戏的进程 裁判功能 ≥ 则负责利用• ÷ 或• 系统显示虚拟场地 如图 所示 ≥ √ 可以同时与多个≥ 相连 在多个显示器上同时显示比赛的情况2 3 设计难点从上节的论述可以归纳仿真比赛环境的特点主要有第 卷第 期李实等 国际机器人足球比赛及其相关技术机器人 年 月图 ≥动态实时系统 比赛每个仿真周期为 年国际比赛规则 要求每个 在此时间内完成全部计算并将要执行的命令发送给≥ ≥ √ 否则将失去本次动作执行的机会环境干扰 由于≥ ≥ √ 的影响 每个 不能准确地感知环境 同时不能精确地改变环境合作与协调 全部 具有一个共同的目标 需要使用有效的方法进行 之间的合作 同时解决局部目标与全局目标 个体目标与共同目标之间冲突的问题 受限的通讯带宽 系统不允许 之间直接进行信息交换 全部通讯必须由≥ ≥ √ 控制 在一定的仿真周期内 只有有限的消息得到传递3Μυλτι−αγεντ系统 ΜΑΣ 与分布式人工智能 ΔΑΙ≤∏ 是以 ≥和⁄ 为主要研究背景的 其主要目的就是通过提供一个标准的!易于评价的比赛平台 促进⁄ 与 ≥的研究与发展 下面简单介绍 ≥与⁄ 的发展历程及主要的研究领域3 1研究背景随着结构和计算机控制的技术处理与系统复杂度的增加 使得他们作为单一结构的设计 维护和中央控制系统的监视都变得非常困难 分布式系统是很好的解决办法 这些系统的主要衡量标准是鲁棒性而非最优性 技术的快速发展从 年开始≈ ≈• ≈• ×的概念在⁄ ≈ 的研究中成为主要的角色 与 相比 ⁄ 主要从不同的角度研究智能系统的集体行为 在⁄ 相对模糊的概念中主要领域为多智能体系统 ≥ ≈⁄ 同时包含一些经典 外的研究领域 在过去的 年中 的设计与应用成为越来越多研究人员的兴趣≈• ≈• × 至少有三个主要的研究领域影响了 设计的发展 控制理论 认知心理学和经典 规划理论 根据对外界环境的刺激采用不同的决策与推理方式 结构可以划分为慎思结构 ⁄ √ !反应结构 √和混合结构 3 1 1ΔελιβερατιϖεΑγεντσ经典 中大多数 模型基于≥ 和 的物理符号系统假说 在他们的假说中维护一个对外界环境的内部描述 这是一个精确的精神状态 可以通过某种形式的符号推理进行改变 这种结构称之为慎思结构 在过去的几年中 一个最受关注的研究方向是 的 ⁄ 模型 ⁄⁄ 模型的概念始于 年 ≈ 从那时起 它成为设计中主要的研究领域≈ ≈ ≈ ⁄ 模型的主要思想是依靠定义一组精神类型来描述 的内部处理状态和建立控制结构 精神类型指的是信念愿望 和意图 在大多数实际的 ⁄ 方法中 如≈ ° ≈ 已经补充了目标 和规划 的概念3 1 2ΡεαχτιϖεΑγεντσ在 年代中期 出现了一种新思想 它受到了行为心理学的强烈影响 在一些著名学者的引导下 如 ≈ ≈ ≤ ≈ ≤ ≈ 和≈一种新的 结构发展起来 它经常称之为 √ 2 ∏ 或 √ 这种 在运行时进行实时决策 通常基于有限的信息量和简单的 ∏ 2 规则 一些学者 以 为代表 否认需要任何环境的符号表示 与⁄ √ 不同的是 √直接基于传感器的输入进行决策 在其内部不维护外界环境模型 即可以在完全陌生的环境中进行操作 反应结构的设计受到≥ 假说≈≥ 的启发 他相信行为的复杂性反映了其所处环境的复杂性 而非内部结构的复杂性 3 1 3混合结构上述的两种结构有其各自的缺点 纯粹的反应式系统很难设计直接目标的行为 大多数基于推理机制的⁄ √ 系统不易处理而且缺少反应能力 发挥两种结构的优点 是混合结构设计的主要思想 作为一种主要的混合结构模型 层结构是过去几年中逐步发展起来 并在实际中有效克服上述缺点的方法≈ ≈ ≈ ≈ƒ ≈ƒ ≈ ≈⁄ ≈ ≥ ≈≥° 层是结构化功能与控制的有效手段 同时可以使设计的系统具有多种期望的属性 如 √ 能力! √ 能力!合作和自适应 层结构的主要思想是将按照 的功能将其结构分成 个或更多的混合组织的层 层之间可以互相交互 层具有如下优点使模块化 不同的功能被清晰的分开 并且通过定义好的接口相连 使结构更加紧凑 增加了鲁棒性 方便调试 由于多个层可以并行运行的计算能力得到增强 特别地 的 √ 能力得到了增强 在规划时 √ 层仍然可以监视环境状态的变化由于在不同的功能应用中需要不同类型的知识 限制独立层的知识量而不影响其决策是完全可能的这些优点使层成为统一 √ 和 √ 结构最有效的技术 早期基于层结构的系统主要包括 ƒ 的 ° 系统≈ƒ ≈ƒ ! 的2 结构 第 卷第 期李实等 国际机器人足球比赛及其相关技术机器人 年 月≈ 和ƒ ∏ 的× ∏ 结构≈ƒ3 2机器人足球队结构特点但为了完成比赛任务 每个队员 即一个 必须具有如下能力个人技术 对应于人类足球队员的个人能力决策能力 根据比赛的实际情况 进行实时决策 以决定下一步的动作合作能力 可以和其他 合作完成一定的子目标学习能力 包括在线学习 比赛过程中通过学习来判断对方的行为 和离线学习 主要用于学习个人技术通讯能力 与本队的其他队员实现有限的信息交换 要受到≥ ≥ √ 的限制 并不被对方破译其中学习和决策是关键因素由 ≤∏ 仿真模型的原理 可知 感知环境的信息主要是通过视觉的方式 听觉信息的传递受到通讯带宽的严重限制 因此 之间的信息交互不能简单的通过传统的通讯语言 如 ± 来实现 需要从新设计系统的鲁棒性是致关重要的 每个 的决策不能受到任何环境因素的限制从比赛的特点可以看出 必须提高 的智能水平 使其具有很高的学习和思维决策能力 才能在比赛中立于不败之地≈°4ΡοβοΧυπ主要参赛队的系统结构和技术特点4 1参赛队的结构特点结构的不同 也就体现了决策方式的不同 参加 ≤∏ 比赛的各国机器人球队结构差异很大 前面介绍的几种 结构都有使用 如使用 ⁄ 模型≈≥ ≤° ⁄ ≈ 2⁄ ∏ 使用反应式结构≈ ∏ 但用得最多的是基于层结构的混合结构模型≈°4 1 1基于ΒΔΙ模型的慎思结构在一个动态和不确定的域中 如 ≤∏ 比赛 建立一个统一的 稳定的环境模型是必要的 通过一个固定的环境模型 短期的错误信息需要被更正 不精确的信息需要重新进行估算通过推理获得错过的信息 为了能实现最终的目标 每个 需要在其内部维护一个稳定的环境模型 含有一个稳定的信念 ≈ 2⁄ ∏ 有多支球队使用⁄ 模型 其中最著名的为 × ∏ × 曾获得 年比赛的亚军 × ∏ × 的结构特点是按照 ⁄ 模型的结构建立全队的规划过程 环境模型等同于信念 从固定目标库中选择的目标作为⁄ 则表现为两级阶段的规划过程 每个仿真周期 规划过程都要重新执行 具体可以区分为 如果 正在控球 则选择传球或继续带球 如果 没有控球 则在断球!四处观察和跑到一定位置三中情况中进行决策 决策过程通过决策树来进行 在固定的目标库中进行选择 由于没有使用 和 命令来进行 之间的通讯 每个队员对队友的内部状态 体力状况 没有了解 可能会产生错误的期望目标选择之后 队员要找到最好的方法去实现目标 这个阶段的规划函数会根据 的技术水平 产生一个长期的!粗略的 同时带有一定参数的规划 队员执行规划4 1 2反应结构一个典型的反应结构如下图所示图 反应式结构从传感器进入的数据同时传给多个行为模块 如果某些模块的条件被满足 则这些行为就会有输出 但究竟那一个被执行 或全部执行 需要由 模块进行判决 一般常用的算法有 静态优先级算法!动态优先级算法和混合算法 需要有具体应用环境而定4 1 3层结构层结构一般可分为两层或三层 通讯层!控制层和决策层≈∞ ∏ ≈⁄ ° ≥ ≈≥发展了一个决策技术 称之为 √ 它在多个事先定义好的行为之间进行选择 ≈≥ ∂ 建立了层学习模式 首先学习低级技术 然后按照层的顺序 越来越高的层技术和行为被加入 此系统与≥ 系统的最大差别在于≥ 没有使用定义好的行为 所以 系统适合整队比赛 而≥ 的技术主要用在一对一的情况 但≥ 的层学习有一个重要的问题 由于学习的过程是从低级到高级 逐步进行 每步学习都是在低一层的基础上进行的 因此 当某一层学习产生误差时 误差会通过层之间进行传递 使整个系统出现决策失误 ≈×在南加洲大学的 ≥ ≥队中使用了精确的队模型 称之为 ≥×∞ 由于环境状态空间特别巨大 精确的模型会影响系统的鲁棒性 荷兰阿姆斯特丹大学的 ∏≥ ≈ ∏ ≥ 将≥的层结构进行简化 建立推理层和执行层的双层结构 同时采用面向对象技术中的° Ù≤ 模型进行决策算法的设计 取得了很好的效果4 2 参赛队的技术特点学习的内容包括个人技术!多之间的合作技术和对手的合作模式等 目前参加 ∏ 比赛的球队都实现了个人技术和多之间的合作技术 实现的方式主要有遗传算法≈∞ ∏ ≈× ∏ ∏ !监督学习≈° 和再励学习≈° ≈ 2⁄ ∏ ≈∞ ≤ ∞ 其中用得最多的是再励学习 主要使用离线方式进行训练 由于比赛只有 个仿真周期 一场比赛对机器学习还很不够 在线方式的学习和调整只有少数几种结构实现≈° ≈∞ ≤ ∞ 使用再励学习算法由于 ≤∏ 仿真比赛环境为复杂环境 同时有很大的环境噪声 因此很难在内 第 卷第 期李实等 国际机器人足球比赛及其相关技术机器人 年 月部建立精确的环境模型 而且实际环境还会出现一些事先很难预料的状态 会使基于精确模型的推理出现偏差 因此采用 ⁄ 模型有一定的不足 同时我们对比赛环境并不是完全陌生 有一定的先验知识 所以采用单一的 √ 模型无法满足比赛的要求 因此 二者的结合的混合结构是最佳选择 混合 因其更广泛的认知能力 有很成功的应用≈≤ ∏5小结有关机器人足球比赛的研究在中国刚刚起步 本文综述了 ≤∏ 比赛的详细情况 同时介绍了目前国际上一些/老牌劲旅0的设计思路 希望对国内相关领域的研究与发展起到帮助作用参考文献∏ ≠ ∏ ∏ ∏ ∞ ∏ ≤∏ ≤ ° ≤∏ 2 ≥ • ≤∏ 2 ≥∏ εταλ ≥ ≥ √ ∏ ≤∏ ƒ ÙÙ ∏° ≥ ∏ 2 ≥ ° ⁄ ∏ ≤p ° | × ⁄ ≥2⁄ ∏ ∏ ∏ • × ∏ 2⁄ √ ° × ≤∏ 2 ≥ • ≤∏ 2 ≥∏ √ × ∞¬ ∏ ∏ ∏ ⁄ ∞ ∞≤∏ 2 ≥ • ≤∏ ≥ΙΝΤΕΡΝΑΤΙΟΝΑΛΡΟΒΟΤΣΟΧΧΕΡΤΟΥΡΝΑΜΕΝΤΑΝΔΧΟΡΡΕΛΑΤΙςΕΤΕΧΗΝΙΘΥΕ≥ ÷ ÷∏2 ≠∞ ≥ 2ΔεπαρτμεντοφΧομπυτερΣχιενχε Τεχηνολογψ ΣτατεΚεψΛαβοφΙντελλιγεντΤεχηνολογψΣψστεμσ ΤσινγηυαΥνιϖερσιτψ ΒειϕινγΑβστραχτ ∏ ≤∏ ƒ ƒ ƒ 2≥ ∏ ≤∏ ∏ × ∏ √ ∏ ≤∏ ∏ × ∏ ∏ ∏ ⁄ ∏ 2 ≥ 2 × ∏ √ Κεψωορδσ ≤∏ ƒ 2 ∏ 2 ⁄作者简介李实 2 男 博士生 研究领域 智能控制与智能机器人系统 机器学习与决策等徐旭明 2 男 博士生 研究领域 智能控制与智能机器人系统 信息系统等叶榛 2 女 副教授 研究领域 智能控制与智能机器人 虚拟现实与临场感技术等。