装备保障计算机兵棋推演系统技术框架
引言
随着信息技术的不断发展，计算机技术为兵棋 推演提供了良好的平台，计算机兵棋已经基本取代 手工兵棋，成为了兵棋技术发展的主流。目前世界 主要军事强国都在致力于计算机兵棋推演系统的 研究，其中具有代表性的如美军及其北约盟友使用 的联合战区作战计算机兵棋系统（Ｊｏｉｎｔ Ｔｈｅａｔｅｒ Ｌｅｖｅｌ Ｓｉｍｕｌａｔｉｏｎ，ＪＴＬＳ）［１］、美空军研究实验室开发的第三 代兵棋系统（Ｓｙｓｔｅｍ－ｏｎ－Ｓｙｓｔｅｍ Ｗａｒｇａｍｅｓ）［２］等。
２ 系统技术框架的构建
２．１ 棋子寿命周期方法描述 任何事物都会经历一个从产生到消亡的过程，
通过这个过程可以把握事物运动与系统环境运行 的关系，从而掌握系统的特点和规律。在基于计算 机的兵棋推演系统中，棋子是兵棋系统的主要构成 元素，是反映敌我态势最直接的信息载体，是推演 指挥员命令的执行体，它与地理环境信息共同承担 兵棋推演的物质基础［９］。兵棋棋子的产生与活动是 兵棋推演功能实现的重点，兵棋系统能否正常运 行，主要考量标准就是棋子活动的有效性和正确 性，以及棋子信息变化的可信性。兵棋棋子从产生 到消亡，能够反映出兵棋推演的整个推演过程，通 过研究这个过程，我们可以构建兵棋推演系统的框 架结构，提出系统实现的技术框架。
１ 装备保障兵棋推演系统分析
１．１ 概念 计算机兵棋推演系统是利用建模与仿真技术、
收稿日期：２０１２－１０－０９
修回日期：２０１２－１，男，河北故城人，硕士研究生。研究方向：装备保障建模与仿真。
·８８·
王桂起，等：装备保障计算机兵棋推演系统技术框架
（总第 ３８－２０８７）
人机交互功能主要是辅助推演人员进行命令 下达和态势观察，一般通过设立指挥作业分系统、 态势显示分系统来实现。
推演裁决功能是系统推演活动实现的基础，在 计算机兵棋推演系统下的推演裁决通常分为系统 规则裁决和专家干预裁决，系统规则裁决主要是通 过抽象现实的军事活动，构建科学准确的规则体系 并建立相应的业务模型，由计算机程序实现推演的 自动裁决；专家干预裁决是通过建立一定的席位， 并设置相应的权限，使军事专家可以对推演过程中 或推演结束后发现的问题进行研讨，作出处理意 见，对推演活动进行正确的干预。
该系统框架的功能层由前端应用平台、推演引 擎平台、基础环境平台等 ３ 层构成，各层之间主要 通过标准数据接口进行协调工作。 2.3.1 前端应用平台功能描述
根据系统推演流分析，将推演活动分为推演准 备、推演实施和评估分析，依据推演流程确立该功 能层各功能单元，该层主要依靠人机交互技术实 现，通过一定的人机界面实现态势显示和系统推演 操作。想定管理和推演配置功能模块完成推演前战 场兵力的部署、作战地域气象地形信息调入、推演
图 １ 兵棋系统技术框架
席位设置、推演权限管理、推演初始化等工作；推演 设置完成后，推演人员通过态势显示功能模块了解 战场情况，由指挥作业功能模块进行方预案的制 定、兵力部署和作战命令的下达，推演运行过程由 导调控制功能模块进行控制，并对推演各席位进行 监控，以达到控制训练进程，监控训练活动的目的； 在推演过程中系统实时采集推演数据，并在推演结 束后，通过评估分析功能模块对本次推演活动进行 评估，分析作战方案的可行性，为下次推演活动提 供参考或战时依据推演效果制定作战计划。同时系 统为军事专家设立了综合研讨功能模块，辅助军事 专家对推演态势进行分析，并发表交流各自的观 点，必要时可以对推演活动进行干预。 2.3.2 推演引擎平台功能描述
摘 要：装备保障兵棋系统是兵棋技术在装备保障领域的应用，可以辅助对抗性兵棋系统，使兵棋这一作战模拟
工具能更好地模拟战争。首先阐述了装备保障兵棋推演系统的概念，并对系统功能进行了描述，提出了基于棋子寿命
周期的方法，通过对棋子寿命分析，构建了装备保障兵棋推演系统的技术框架，并在此基础上给出了一个应用实例。
Ａｂｓｔｒａｃｔ：The wargaming for equipment support based on computer is the application of wargame’ s technology in equipment support，it can assist in the wargaming for combat to promote the wargame as a tool to simulate the war greatly.Firstly，the concept and the function of wargaming for equipment support are explained.Then the method based on the period of the chessman’s life is thinked out，the technique framework of the wargaming system is established by analyzing the chessman’s life.Finally，a case is introduced on the basis.
分析评估功能实现对推演活动的总体评价，主 要是通过实时采集推演过程中的数据，对推演活动 进行分析，形成评估结果，检验保障方案，并对推演 人员的指挥决策能力进行评判。
接口功能实现与作战对抗兵棋对接的问题。任 何的装备保障活动都是为作战服务的，而任何的作 战活动也是不可能脱离保障而独立进行，装备保障 兵棋系统从数据传输、通信协议、规则和模型体系 等方面与作战对抗兵棋系统建立接口关系，实现与 作战对抗兵棋的对接。
通过棋子寿命分析，可以映射出兵棋推演的基 本过程，将棋子的生命活动与系统的功能进行耦 合，并根据棋子生命流分离出系统推演流与规则数 据流，建立以 ３ 个流为不同坐标轴的三维空间坐标 体系，从 ３ 个角度对系统进行分析。系统推演流是 推演人员根据推演想定设置和推演流程说明，进行 推演的操作过程，是棋子生命活动的表现形式，通 过推演流的分析，明确系统前端平台的功能模块， 并对系统人机交互功能模块进行串联；规则数据流 反映整个推演系统的数据传输和接收以及系统规 则应用，贯穿于推演的整个过程，是棋子进行各种 活动的数据基础和行为约束条件。结合棋子生命 流、系统推演流、规则数据流的工作流程和运行原 理，以三维空间坐标分析体系为参考系，根据系统 的功能描述，提出基于棋子寿命周期的装备保障兵 棋推演系统技术框架。
本文拟抓住棋子从构建到推演执行、裁决，棋 子产生消亡或状态信息的改变这条主线，从棋子状 态的动态变化与推演功能相结合的角度出发，把握 推演运行机理，提出基于棋子寿命周期的方法，借 鉴相关仿真技术，构建装备保障兵棋推演系统的技 术框架。该方法以棋子的生命活动为主线，通过分 析棋子在不同推演阶段的不同活动和状态，对应提 出系统实现推演活动的功能应用，从而根据兵棋推 演机制，串联起系统的各功能应用，构建系统的结 构框架，并从技术实现的角度，提出兵棋推演系统 的技术框架。该方法的特点是从系统基本构成元素 的角度研究系统的开发过程，以棋子生命状态的形 式反映推演业务活动的实现，将应用系统所要实现 的推演活动从复杂的系统支撑环境和功能模块中 抽象出来，从而将抽象的系统转变为直观的功能应 用，并以推演活动为中心，把握棋子的静态属性和 动态变化属性与推演规则相关联的规律，映射出系 统功能实现所需的技术，该方法在一定程度上可以 实现系统推演设置的多态性，通过棋子的不同属性 和组合模拟多种战场环境，与手工兵棋每战一棋的 特点相一致。 ２．２ 棋子寿命分析
虽然我国接触兵棋技术的时间较短，但已有相 关科研院所对计算机兵棋系统进行了研究开发［３－８］， 实现了一定的兵棋作战对抗功能。目前开发的兵棋 系统侧重点在作战对抗方面，装备保障只是作为一
种辅助功能得到了一定的应用，实现的功能也比较 简单，不能很好地模拟实战情况下全部的保障活 动，致使推演活动缺乏一定的真实感，推演结果的 可信性也会受到影响。因此，在研究作战对抗兵棋 系统的基础上，有必要深入进行装备保障兵棋推演 系统的研究，本文在分析棋子寿命的基础上，提出 了基于棋子寿命周期的技术框架构建方法，为装备 保障兵棋推演系统的实现提供了一定的技术手段， 使装备保障服务于作战的理念更好地得以贯彻，使 兵棋这一作战模拟工具能更好地模拟战争。
·８９·
（总第 ３８－ ２０８８）
火力与指挥控制
２０１３ 年 第 １２ 期
棋子的生成主要是由军事专家和软件编程人 员协作完成兵棋棋子的实现问题，军事专家对现实 世界军事力量的信息进行抽象提取，并根据经验数 据确定棋子的各种技术状态参数；棋子的推演活动 主要是依托系统的功能单元和推演规则设置实现 的 ，活 动 内 容 主 要 包 括 ：力 量 编 组 、机 动 、隐 蔽 、展 开、抢救抢修、器材供应、撤收、归建等等，根据兵棋 推演“以人为中心”的特点，棋子活动的触发条件是 推演人员对棋子下达的作战命令，系统根据解析功 能，驱动棋子进行相应的推演活动；棋子状态的变 化是由棋子之间的交互行为触发产生的，由系统的 裁决规则模型实时进行实现的，状态变化主要是装 备保障力量的保障力值和作战力量的战斗力值等 相关棋子属性值的变化，其中包含棋子在推演活动 中的数值变化；棋子力量的补充或重建是在棋子状 态发生变化后，推演人员判断战场态势，对现有棋 子力量进行调整，变更棋子力量结构或补充力量元 素。 ２．３ 技术框架
Ｖｏｌ． ３８，Ｎｏ． １２ Ｄｅｃ，２０１３
文章编号：１００２－０６４０（２０１３）１２－００８８－０４
火力与指挥控制 Ｆｉｒｅ Ｃｏｎｔｒｏｌ ＆ Ｃｏｍｍａｎｄ Ｃｏｎｔｒｏｌ
第 ３８ 卷 第 １２ 期 ２０１３ 年 １２ 月
装备保障计算机兵棋推演系统技术框架
王桂起 1，2，杜晓明 1，古 平 1，张贝贝 1 （１．军械工程学院，石家庄 ０５０００３；２．解放军 ９２３８３ 部队，福州 ３５０１０９）
关键词：兵棋推演，棋子，技术框架
中图分类号：ＴＰ３９１．９
陆军战术级计算机兵棋推演系统设计与运用研究
陆军战术级计算机兵棋推演系统设计与运用研究摘要：计算机兵棋推演对提升指挥员的作战指挥能力具有重要的意义。
本文首先分析了陆军合成部队指挥训练对计算机兵棋推演系统的功能需求，其次对陆军战术级计算机兵棋推演系统的基本构成与功能详细设计，最后提出系统运用模式与方法。
关键词：计算机兵棋推演；陆军；战术级；系统设计与运用中图分类号：E911；TP391.9 文献标识码：A DOI:计算机兵棋推演在世界各国军队中受到了广泛的重视和应用，在作战指挥训练和作战辅助决策方面具有重要军事价值[1-4]。
相比于战略、战役级，陆军战术级兵棋推演的作战单位分辨率较高，要求更为详细的作战行动细节描述。
因此，研发满足陆军合成部队指挥训练的战术级计算机兵棋推演系统具有较大的难度和迫切性，值得探索研究。
1 系统功能需求分析计算机兵棋推演系统主要满足以下需求：一是能够反映战争系统的复杂性。
战争是典型的复杂巨系统[5]。
从广义上讲，战场中的每个人、每件装备都是构成战争系统的组分，他们状态的任何变化都可能导致战争系统状态空间的改变，从而改变战争的结局。
计算机兵棋推演系统在建模时，必须充分利用系统科学的理论和方法来对战争系统的复杂性进行描述。
二是能够体现部队作战指挥流程。
计算机兵棋推演的结果固然与系统操作水平有关，但更为重要的是取决于首长机关对部队的指挥控制。
在以往的计算机模拟对抗演习中，被广为诟病的是作战模拟像“游戏”，主要就是因为作战模拟系统缺乏对指挥能力训练功能。
为此，计算机兵棋推演系统必须提供相应的指挥控制功能，从而体现指挥对部队作战行动的决定性作用。
三是能够支持战后裁决评估。
主要包括两方面：一是支持导演对演习情况进行裁决和讲评，主要是应具备作战过程再现、战果战损统计、令报查询等功能；二是支持对演习情况进行评估，主要是应具备作战方案评估、作战行动效果评估、推演结果裁决等功能。
2 计算机兵棋推演系统构成与功能计算机兵棋推演系统主要由导控分系统、指挥分系统、模拟分系统、评估分系统、显示分系统以及管理分系统构成。
新形势下提高军队装备保障实战化训练水平的几点思考
新形势下提高军队装备保障实战化训练水平的几点思考摘要：装备保障是指军队为满足作战及其他任务需要而在装备调配、维修、经费等方面组织实施的保障【1】。
在当前军队大抓实战化训练的背景下，装备保障实战化训练作为军事训练重要的组成部分，是部队战斗力生成和保持的重要环节，对于做好军事斗争准备有着重要的作用。
因此，提升军队装备保障实战化训练水平，对于提高军队装备保障能力，打赢信息化条件下局部战争有着重要的意义。
关键词：装备保障，训练，实战，信息化，战斗力随着科技的进步，当今世界军事形态正在由机械化向信息化转型，军事斗争已变成体系与体系的对抗，更多的高新技术被应用到各类武器装备，装备保障方式也随之发生变化，对装备保障工作提出了更高的要求。
为适应信息化战争条件下装备保障需求，必须以应对多种安全威胁、完成多样化军事任务装备保障需求为牵引，针对各种作战对手和相关非战争军事行动特点，在近似实战条件下进行全方位装备保障训练【2】，才能真正提高军队装备保障能力。
一、紧跟时代发展，创新训练方法手段训练是否贴近实战，直接决定装备保障能力的形成和发展，影响着装备保障实战化训练的质量和效益。
在全军大抓实战化训练的背景下，要根据信息化战争对装备保障的要求，本着“什么管用就练什么”的原则，创新训练方法手段，大力加强与实战最贴近的装备保障内容训练，快速提升军队装备保障能力。
（一）重视高科技在装备保障训练中的运用随着计算机和兵棋系统的广泛开发运用，军队开展模拟仿真实战化训练已成为必然趋势，装备保障要积极适应实战化训练转型要求，努力创造条件，推进模拟仿真训练应用，要充分利用现代科技资源和成果，结合装备保障训练特点，开发装备保障模拟训练体系，积极开展计算机模拟训练，兵棋推演等演练，提高模拟训练层次和质量。
（二）重视基地化训练装备保障基地化训练，是指依托训练基地（中心）所开展的有关战役保障、装备战术保障和装备技术保障等方面的训练活动【3】，基地化训练是提高实战化训练质量和效益的有效途径，可以有针对性的对不同战略方向、不同自然环境、不同作战任务进行最大限度的实战模拟，对部队训练水平进行严格的检验评估，充分发挥集中建设的优势，使更多的部队能够得到高层次、高水平的训练，提高装备保障能力。
后装保障兵棋规则构建浅析
后装保障兵棋规则构建浅析摘要：经过几个世纪的发展，兵棋已经成为模拟战争和研究战争的重要工具[1]。
传统兵棋，对后装保障的模拟大多进行了简化处理，通常采用补给点值、补给线等概略方式来表现战争的后装保障环节。
随着现代战争对后装保障要求的大幅提升，军队后装保障领域亟需专门的后装保障兵棋推演系统来进行相关问题研究与后装保障指挥决策训练，而兵棋规则是兵棋系统研发的核心关键，因此，本文主要分析论述将经典兵棋理论应用于后装保障兵棋规则构建的基本原理，为开展后装保障兵棋规则构建研究提供理论支撑。
关键词：兵棋规则，后装保障，基本理论一、后装保障兵棋规则构建的主要内容后装保障兵棋推演的基本原理可以形象理解为“实兵指挥，虚兵行动”，“实兵指挥”指以推演人员为中心的保障行动指挥决策活动，“虚兵行动”指由后装保障兵棋规则进行驱动，依据“实兵指挥”命令，在后装保障兵棋系统仿真环境下由虚拟兵力模型进行的虚拟保障行动，两者有机联系、共同作用构成了后装保障兵棋推演的主要内容。
基于此，后装保障兵棋规则构建主要分为两部分内容，具体如下。
（一）支撑“实兵指挥”的兵棋规则支撑“实兵指挥”的兵棋规则主要指用于明确后装保障兵棋推演流程以及规范推演人员推演活动的推演组织规则，具体包括后装兵棋推演流程规定和推演指挥规则两类兵棋规则。
1.推演流程规定推演流程规定主要依据后装保障的指挥编组模式和作业流程，并综合运用兵棋模拟简化思维进行设计，主要作用是明确后装保障兵棋推演的推演席位设置、推演回合轮次以及每个回合中各阶段可进行的保障指挥操作。
2.推演指挥规则推演指挥规则主要依据后装保障的指挥作业文书，并综合考虑兵棋系统技术实现进行设计，主要作用是明确推演人员与后装保障兵棋系统的交互方式，以及推演人员对后装保障兵棋推演指挥作业文书的填写规范。
（二）支撑“虚兵行动”的兵棋规则支撑“虚兵行动”的兵棋规则主要指传统兵棋理论中的实体规则、行动规则和裁决规则，这三类兵棋规则共同作用，驱动虚拟保障兵力在虚拟战场中执行后装保障行动并裁决得到行动结果，进而为“实兵指挥”提供决策反馈，使推演人员获得拟真的决策体验。
用兵棋推演检验现代后勤保障效能研究
用兵棋推演检验现代后勤保障效能研究摘要：随着国家利益和军队使命任务不断拓展，后勤保障时空跨度急剧扩大。
特别立足现代军事斗争形态，准确把握后勤准备基点。
军队要做到以什么样的方式打仗，就以什么样的方式保障。
这就要求后勤保障力量控制精、技术含量高，确保后勤资源全程可控高效释能。
关键字：兵棋推演；后勤；保障1引言现代后勤保障效能检验需要与兵棋推演无缝接轨，以兵棋为工具进行保障方案检验评估时，推演者可以在对抗中观察事态的发展过程，从中发现原来仅凭主观想象预测敌方可能行动而制订出来的方案中存在的漏洞和隐患。
通过修正主观认识的过程，即“检查－发现－修正”的周期性活动，做到后勤保障与军事斗争各方面协调同步。
2用兵棋推演检验现代后勤保障概述在美国2018年度海-空-天博览会，有专家指出：“为实现未来战争的战斗目标，各军种应在演练和兵推中增加将装备运输到战争环境中这一内容。
”海军陆战队后勤指挥部的帕特里克.凯莱赫认为：“在过去的兵推和演练中，我们总是假定所需的装备和人员均已经准备就绪，可以直接开战。
我们现在必须明确地演练、兵推相关后勤方案。
”军队做出这种假设后，将无法确定后勤保障存在哪些缺陷，也无法验证新技术在后勤领域的运用效果。
例如：后勤力量否具备保障作战任务的一体化能力？非军方合作伙伴能够填补哪些能力缺口？各后勤力量在互通性方面存在哪些障碍，是否能够消除？等。
因此，需要兵棋推演来修正主观认识带来的偏差，针对现代战争后装保障的复杂性和系统性，采用体系建模和离散仿真相结合技术，模拟联合作战指挥和作战保障全过程，重点推演后勤保障和装备保障行动，实现战略投送、物资供应、卫勤救治、装备供给，设备维修等推演功能，满足后装指挥训练、装备物资调控、后装保障方案评估等要求，不断提高后装指挥、卫勤保障、装备物资保障和战场投送能力。
3利用兵棋推演检验保障效能具体内涵3.1检验行动与保障一体化效果依托兵棋推演组织军事行动和后勤保障,能够体现作战与后勤保障之间的关系,特别是系统能够充分反映后勤对作战行动的制约作用后勤保障对作战既有促进作用、支撑作用,也会对作战产生制约和影响。
现代兵棋推演技术分析
压“４１，如图１所裂９１。
图１
正六角网格与方形网格的误差比较
兵棋的棋子代表一定的作战单位或战场事件。代表作战 单位的棋子叫“单位算子”。在棋子上，通常显示其攻击力 值、防御力值、机动点值、军兵种、主要装备、作战代号、 番号等主要信息，以及目标类型、武器级别、射程等附属信 息。代表战场事件的棋子叫“事件算子”，主要用于记录伤 亡、破坏、突发事件等动态战场情况。“事件算子”通常受 兵棋裁判控制，由裁判人员根据战斗结果或想定规则设置不 同的事件。 兵棋规则是指导兵棋推演实施的基本准则，是兵棋推演
想定管理人员资源库想定转换工具仿真脚本文件评估管理人员评估结果任务管理人员作战目标作战要素评估指标体系军事想定军事专家入库战场态势数据采集回放工具运行数据在线统计工具评估工具过程数综合研讨厅资源下载20406080100第一阶段第三阶段其他仿真运行方案文件方案生成工具仿真计算机系统运行支撑系统方案调度工具加载部署检查调度生成收集配置信息运行数据运行数据数据采集需求军事想定脚本文件组件信息入库研讨型兵棋推演系统运行示意图第21卷增刊2vol
较适合作战分析的推滴ｉ式．＊何在＊日＃怠化＾纯十＊ｄ体现是计算“柞战棋“所要研克十解女
的ＲＨ首先从兵棋粉和悍弈＿削々角度舟析Ｔ兵棋推腐竹奉质和作用．接着比较分竹Ｔ特矗兵
推潸｝姥．井得到Ｔ初步应月 关键诃：＾祺，兵棋推淆，研讨型＃拱，％旮采成
接与计算机兵楼推演■砖，ｔｉ＊台研讨型兵棋和＃寺集成的＆想，设计实现Ｔ一十研甘型兵蜞
ｏｆＭｏｄｅｒｎ Ｗａｒｇａｍｉｎｇ
１００９８５，曲ｍ｝
ＰＥＮＧＣｈｕｎ ｇｕａｎ９１，ＪＵＲｕ－ｓｈｅｎ９１，ＹＡＮＧＪｉａｎ《ｈｉ‘，ＨＵＡＮＧＫｅ－ｄｔ。
２＾Ⅻ¨州Ｒｅ，ｘｅｘ＾ＩＭ札№ｑｆｐＬＡ＇ｓ
联合战役装备保障兵棋推演系统软件
联合战役装备保障兵棋推演系统软件装备保障兵棋推演系统借鉴了外军联合作战推演系统的先进经验，针对我军特点量身定制，能够适应战役战术不同层次联合作战演训需要，实现指挥决策训练、作战预案评估、战法设计验证等联合作战指挥需要。
一、华盛恒辉装备保障兵棋推演系统互联網是個神奇的大网，大數據開發和軟件定制也是一種模式，這裏提供最詳細的报价，若是你真的想作，能夠來這裏，這個手技的開始叔字是一伍扒中間的是壹壹叁叁最後的是泗柒泗泗，按照順序組合起來就能夠找到，我想說的是，除非你想作或者瞭解這方面的內容，若是只是湊熱鬧的話，就不要來了。
诸军种同“图”作战华盛恒辉装备保障兵棋推演系统将陆、海、空、天、电等不同军兵种的作战行动融合在“一张地图”上，充分体现各军兵种不同作战力量作战行动之间的相互作用关系与效果，解决了航图、海图无法展现地面作战行动和大比例尺地图无法展现空中、海上作战行动的矛盾。
二、华盛恒辉装备保障兵棋推演系统战场要素、力量要素展现全面华盛恒辉装备保障兵棋推演系统紧跟世界军事发展步伐，努力展现联合作战中复杂战场环境对作战行动的影响效果，以及作战行动越来越依赖保障行动的实际情况，把可能发生在战场上的各类自然环境、电磁环境和保障因素生成在模拟战场的地图上，并通过规则把这些要素与作战行动联系起来，最大限度还原战场真实情况。
三、指挥控制灵活便捷四、交互过程逼近作战实际系统在基于装备性能模拟作战平台及行动的基础上，依据历史经验数据、引用指数法则，综合模拟了建制单位及其行动能力，配合规则设计上对概率法则的引用，五、复盘讲评直观方便模拟训练系统既要能够遵从自然时间特征，客观展现作战进程，也要能够为演训人员提供研讨讲评的条件。
六、量化评估作战方案系统通过对作战预案推演过程中每一行动所引发事件的统计记录，根据预先设置要求，综合为图表形式提供相关行动成功和失败的概率值及其原因，实现对同一方案的量化评估;。
基于深度强化学习的兵棋推演决策方法框架
第４１卷第２期２０２０年４月国防科技ＮＡＴＩＯＮＡＬＤＥＦＥＮＳＥＴＥＣＨＮＯＬＯＧＹＶｏｌ ４１ꎬＮｏ ２Ａｐｒ２０２０㊀[收稿日期]㊀２０１９－０９－１６[作者简介]㊀崔文华ꎬ女ꎬ博士ꎬ工程师ꎬ研究方向:运筹分析与智能决策ꎻ李东ꎬ男ꎬ博士ꎬ工程师ꎬ研究方向:机器学习㊁军事智能ꎻ唐宇波ꎬ男ꎬ博士ꎬ副教授ꎬ研究方向:兵棋推演与作战模拟ꎻ柳少军ꎬ男ꎬ博士ꎬ教授ꎬ研究方向:运筹分析与智能决策ꎮ基于深度强化学习的兵棋推演决策方法框架崔文华ꎬ李㊀东ꎬ唐宇波ꎬ柳少军(国防大学ꎬ北京㊀１０００９１)㊀㊀[摘㊀要]㊀针对兵棋推演的自动对抗问题ꎬ文章提出基于深度学习网络和强化学习模型来构建对抗策略ꎮ文章结合深度强化学习技术优势ꎬ立足多源层次化的战场态势描述ꎬ提出面向智能博弈的战场态势表示方法ꎻ将作战指挥分层分域的原则同即时策略游戏中的模块化和分层架构相结合ꎬ提出一种层次化和模块化深度强化学习方法框架ꎬ用于各决策智能体与战场环境交互的机制以及对抗策略的产生ꎻ为满足实际作战响应高实时特点ꎬ提出压缩的深度强化学习ꎬ提升模型输出速度ꎻ为改善对不同环境的适应性ꎬ提出利用深度迁移学习提升模型泛化能力ꎮ[关键词]㊀兵棋推演ꎻ深度强化学习ꎻ态势表示ꎻ压缩学习方法ꎻ深度迁移学习[中图分类号]ＴＰ１８ꎻＥ９１㊀㊀[文献标识码]Ａ㊀㊀[文章编号]㊀１６７１－４５４７(２０２０)０２－０１１３－０９ＤＯＩ:１０ １３９４３/ｊ ｉｓｓｎ１６７１－４５４７ ２０２０ ０２ ２１㊀㊀引言随着人工智能第三次浪潮的到来ꎬ战争的智能化趋势已愈发凸显ꎬ而且呈现出从计算智能向感知智能再到认知智能的发展与应用趋势ꎮ２０１７年美军率先提出 算法战 并成立相关机构开展系统研究ꎬ正式拉开了认知智能在军事领域的应用探索ꎮ此后ꎬ 马赛克战 决策中心战 等作战概念的相继发布ꎬ标志着美军军事智能化转型的脚步从概念到实践的加速推进ꎮ２０２０年２月１１日ꎬ美国战略与预算评估中心发布题为«马赛克战:利用人工智能和自主系统实施决策中心战»的研究报告ꎬ更进一步明确智能化战争的核心技术路线ꎬ即人工智能技术和自主化系统ꎮ其中ꎬ人工智能主要是用于开发决策辅助工具ꎬ以协助指挥官管理快速而复杂的作战行动ꎬ提升决策优势ꎬ进而取得竞争优势ꎮ未来战争到底怎么打ꎬ人工智能提供何种程度的辅助决策ꎬ不能凭空想象ꎮ当前最常用的辅助筹划和决策工具是兵棋ꎬ算法支撑下的兵棋推演和作战实验可以验证战法和检验行动ꎬ因此可以通过研究兵棋推演的智能化来探索辅助决策的智能化ꎮ实现兵棋推演智能化的本质是解决不确定性系统的智能博弈与决策问题ꎬ核心是对抗策略建模与学习技术ꎮ实现智能决策的技术途径包括深度学习和强化学习技术ꎮ其中ꎬ在拥有大量训练数据的情况下ꎬ深度学习技术可以捕捉人的经验和直觉ꎬ结合高效算法和工程实现ꎬ已经在图像识别㊁语音识别和自然语言处理等领域逼近或超越人类感知ꎮ在规则不完备㊁信息不完全的情况下ꎬ强化学习技术通过试错机制与环境交互ꎬ通过最大化累积奖赏来学习最优策略ꎬ具有强大的决策能力ꎬ在控制领域有广泛的应用前景[１]ꎮ基于以上军事需求与技术研究现状ꎬ本文主要探讨以兵棋系统为依托的基于深度强化学习的决策技术框架ꎮ㊀国防科技㊀２０２０年第２期(总第３２１期)图１㊀基于深度强化学习的兵棋推演决策方法框架㊀㊀一、基于深度强化学习的智能决策框架设计深度学习是机器学习的一种ꎬ其概念源于人工神经网络的研究ꎬ含多个隐藏层的多层感知器就是一种深度学习结构ꎮ深度学习利用多层网络结构以及非线性变换ꎬ通过组合低层特征形成更加抽象㊁易于区分的高层表示ꎬ以发现数据的分布特征ꎮ强化学习通过最大化智能体获得的累计奖赏值ꎬ以得到学习过程的最优策略ꎬ因此更加侧重学习解决问题的策略ꎮ深度强化学习是将深度学习的感知能力和强化学习的决策能力相结合[２]ꎬ被认为是迈向通用人工智能的重要途径[３]ꎮ深度强化学习方法由谷歌公司的ＤｅｅｐＭｉｎｄ团队提出ꎬ可直接根据输入的图像进行控制ꎬ无需任何人工编码和领域知识ꎬ具有很强的通用性ꎮ在如策略游戏[４－６]㊁机器人控制[７－８]㊁参数优化[９－１１]等具有挑战性领域均有不俗表现ꎮ深度强化学习基本原理是采用深度神经网络作为强化学习中的价值函数的逼近[５]ꎬ避免传统迭代优化的方法在连续动作和状态空间中失效的缺陷ꎮ以经典的Ｑ－ｌｅａｒｎｉｎｇ为例[９]ꎬ其目的是建立从状态(Ｓ)到动作(Ａ)的价值函数ꎬ以保证每次在特定状态中采取价值最大的动作ꎬ迭代方法如下:Ｑ(ＳｔꎬＡｔ)ѳＱ(ＳｔꎬＡｔ)＋α[Ｒｔ＋１＋γｍａｘａＱ(Ｓｔ＋１ꎬａ)－Ｑ(ＳｔꎬＡｔ)](１)采用深度神经网络逼近价值函数Ｑ(ｓꎬａꎻθ)ʈＱ∗(ｓꎬａ)ꎬ其中θ为神经网络参数ꎬ是待学习的部分ꎮ这样ꎬ在连续的动作空间上ꎬ采取经验回放的技术累计智能体与环境交互产生的经验数据ꎬ包括状态㊁动作㊁奖励等组成的样本ｅｔ＝(ｓｔꎬａｔꎬｒｔꎬｓｔ＋１)ꎬ使得求梯度成为可能ꎮ在分析人在回路的对抗推演时不难发现ꎬ人类指挥员正是基于每一个回合的当前态势分析ꎬ结合战损㊁战果等反馈来进行决策ꎮ因此ꎬ兵棋推演中对抗策略的产生可以采取类似的途径ꎮ将深度学习方法应用于战场感知数据的智能化分析处理ꎬ可迅速自主地辨明战场形势ꎬ增强指挥员对态势的分析和理解ꎮ利用强化学习可辅助指挥员高效决策ꎬ提升指挥控制效能ꎬ从而将信息优势转化为决策优势ꎮ强化学习的关键一步是需要对动作定义奖励函数ꎮ从某种意义上讲ꎬ奖励信号引导学习模型的走向ꎬ很多深度强化学习项目的失败根源于奖励函数的设计不合理或者奖励信号的响应不及时ꎮ在ＤｅｅｐＭｉｎｄ与暴雪公司合作开放的 星际争霸２ 学习环境中ꎬ开发者定义了 暴雪分值 为当前己方资源㊁等级㊁单位和建筑的加权ꎬ供强化学习算法参考[５]ꎮ兵棋推演中可结合当前态势ꎬ综合己方战果战损统计㊁资源剩余和目标达成情况ꎬ加权定义反馈值作为奖励函数ꎮ由于作战指挥结构具有天然的层次性ꎬ并遵循分域控制的原则ꎬ简单套用深度强化学习难以兼顾全局ꎮ复杂的战场环境也给学习系统带来挑战ꎬ响应高实时的决策特性决定了策略产生系统不宜过于庞杂ꎮ而作为一般的机器学习方法ꎬ难免对所学样本产生过拟合ꎬ不易泛化到新的学习环境中去ꎮ针对上述问题ꎬ本文提出基于深度强化学习的智能决策框架ꎬ如图１所示ꎮ其中ꎬ各决策智能体对应于实际作战中各级指挥员ꎬ采用层次化和模块化的方法描述智能决策的一般框架ꎮ４１１㊀崔文华ꎬ等:基于深度强化学习的兵棋推演决策方法框架图２㊀战场态势要素图按照兵棋推演中的决策流程ꎬ态势描述用于解决决策的输入问题ꎬ将兵棋各类数据的融合统一描述为战场态势ꎮ各决策智能体在此框架下优化ꎬ主要是解决深度神经网络快速响应和对复杂战场环境的适应等问题ꎬ分别采取网络压缩和迁移学习的手段ꎮ二、面向智能博弈的战场态势表示战场态势的表示是对抗策略生成的前提ꎮ完备准确的态势表示意味着从输入空间到输出策略的逻辑可能ꎮ研究表明ꎬ美军指挥员高度依赖 认知导向的决策模式 ꎬ即在理解战场态势的基础上按照认知结果决策ꎬ而少部分是运用理性或分析导向的决策模式ꎮ针对瞬息万变的战场态势ꎬ指挥员按照察觉变化㊁理解原因㊁预测走向的认知模式对态势进行感知ꎬ分析判断敌我双方力量对比㊁部署和环境等形成的状态和形势ꎬ从而做出决策ꎮ战争是不完全且不完美信息的动态微分博弈ꎬ是最复杂的对抗活动[１２]ꎮ由多个作战主体连续决策产生的战场状态空间近乎连续ꎬ造成战争博弈树无法遍历覆盖的困境ꎮ近年来ꎬ智能博弈领域的发展已经对智能体动作空间约简有一些积累ꎬ如用于 星际争霸２ 中的层次化强化学习将宏观动作分组ꎬ类似做法也可以用于状态空间的简化ꎮ用于描述战场态势的要素可大致分为五类:社会/政治/经济环境类㊁战场环境类㊁兵力部署与作战能力类㊁重要动态目标类及对抗措施类ꎮ态势要素的分类结构如图２所示ꎬ其中每一子类要素由若干指标组成ꎮ在兵棋推演中ꎬ指挥员主要通过态势图来获取理解战场态势所需的信息ꎮ１ 态势图态势是指对抗各方的作战及保障力量的当前状态ꎬ由各种棋子表示ꎬ是对战场的实时直观呈现ꎮ不同对抗方视角下ꎬ感知的信息完整性和时效性依赖于各方的侦察情报能力ꎮ态势图主要包５１１㊀国防科技㊀２０２０年第２期(总第３２１期)括战场环境(包括地形㊁气象等)㊁部队当前任务及行动㊁装备设施的当前状态㊁路径信息(运动目标的轨迹)和动态信息(交火㊁位置变化等)ꎮ利用态势图可以掌握己方兵力在什么位置㊁执行何种任务ꎬ可以通过侦察手段了解敌方兵力所在位置(依赖于侦察时间㊁可能具有滞后性)ꎬ可以判断敌方兵力行动动态作战企图ꎮ２ 战场情况报告各级兵力向上一级指挥机关上报的各种报告ꎬ包括任务执行反馈㊁遭遇敌情㊁交战毁伤㊁后装保障㊁突发事件及各阶段定期信息汇总等内容ꎮ利用报告可以掌握本方部队作战情况及各类保障情况ꎬ如任务进展是否顺利㊁物资是否短缺㊁情报保障是否及时等ꎮ３ 统计数据对战果战损㊁物资消耗等数据的统计ꎮ通过分时段对己方部队的人员㊁装备㊁各类目标的损失与后勤物资的消耗进行分类汇总ꎬ以及基于本方情报侦察力量对所获取的战果进行统计ꎬ使指挥员对上一阶段作战效果有一定的客观认识ꎮ态势统一描述将以上三种信息分层分域融合ꎬ以向量化方法来表征当前战场情况ꎮ依托现有兵棋构建智能博弈系统既要考虑影响作战决策的全要素ꎬ又要对已有输入特征重新设计ꎮ值得注意的是ꎬ深度学习的发展已越来越倾向于使用原始特征直接作为机器模型输入ꎬ而不是手工设计各种复杂的特征ꎮ深度学习直接使用原始像素作为输入ꎬ深度神经网络通过原始像素逐层学习到更高层的概念ꎮ结合自主对抗策略生成关键技术 深度强化学习ꎬ采用 态势图背后的逻辑数据＋统计数据＋各种报告 作为态势描述向量ꎬ结合具体想定下的特定任务ꎬ决定态势表示中的主要内容ꎬ直接将原始数据 堆 成向量ꎮ目前ꎬ态势表示的难点在于以统一的方式融合不同信息来源ꎮ由于组成态势各特征分量由于量纲不同ꎬ需要对历史批量数据进行归一化处理ꎮ研究推演对抗数据ꎬ总结各分量数值分布规律ꎬ可以作为在线使用时特征向量归一化的依据ꎮ三、智能指挥决策分层学习架构２０１８年ꎬ南京大学俞扬课题组提出采用层次化深度强化学习解决 星际争霸２ 中动作空间巨大问题[１３]ꎮ腾讯ＡＩ实验室联合两所美国高校发表了人工智能应用于 星际争霸２ 的文章ꎬ分别提出了基于扁平化动作结构的深度强化学习智能体ＴＳｔａｒＢｏｔ１和基于分层动作结构规则控制器的智能体ＴＳｔａｒＢｏｔ２[１４]ꎬ均战胜了游戏内置作弊级ＡＩꎮ这些层次化的学习架构天然适合作战分层指挥分域控制的原则ꎬ给了我们构建基于深度强化学习的对抗策略优化的启发ꎮ在即时策略游戏中ꎬ由于超长视野的复杂决策和众多智能体有所分工ꎬ使得层次化实现成为可能ꎮＴＳｔａｒＢｏｔ１采用了宏观动作和强化学习相结合的架构ꎬ顶层控制器负责管理经手工编码的１６５个宏观动作ꎬ分为５组ꎬ控制器本身策略采用强化学习实现ꎬ如图３所示ꎮ宏观动作和预设的硬编码规则避免了学习算法陷入细节决策中ꎬ有效压缩了动作空间ꎬ使强化学习产生对抗策略成为可能ꎮ在现代联合作战指挥控制中ꎬ分层指挥已经成为原则之一ꎮＴＳｔａｒＢｏｔ１将智能体动作按宏观动作分组ꎬ决策部分集中到上层控制器ꎬ解决了战争博弈中作战实体众多㊁动作空间无限等问题ꎬ将对抗策略的产生集中到决策智能体本身上来ꎮ定义动作空间和态势后ꎬＴＳｔａｒＢｏｔ１使用现成的深度强化学习算法ꎬ即采取深度Ｑ网络(将Ｑｌｅａｒｎｉｎｇ和卷积神经网络结合在一起)架构和近端策略优化算法ꎮＴＳｔａｒＢｏｔ１的一大缺点是一组预定义动作一旦被选择ꎬ只能全部执行ꎬ这种以执行空间换决策空间易造成任务执行资源的浪费ꎬ并可能带来负面结果ꎮＴＳｔａｒＢｏｔ２将ＴＳｔａｔＢｏｔ１中的宏观动作进一步划分为微观动作ꎬ使得操作更为精准ꎬ代价是决策链更长ꎮ尽管ＴＳｔａｒＢｏｔ２中的控制器也可以采用强化学习训练ꎬ但论文最终将控制器部分也使用硬规则编码ꎮ实践证明ꎬ这种做法是有效的ꎮ２０１８年ꎬ几乎在同时并行展开的另一项研究由美国加州伯克利大学研究人员发表(简称ＢｅｒｋｅｌｅｙＢｏｔ)[１５]ꎬ他们提出模块化的深度强化学习架构ꎬ在 星际争霸２ 中也取得了不错的成绩ꎮ这项研究与ＴＳｔａｒＢｏｔｓ类似ꎬ将先验知识融入学习系统中去ꎬ将 星际争霸２ 决策按功能划分为几个独立模块(工兵管理㊁建筑㊁战斗㊁微操管理和监视)ꎬ每个模块分别负责自己的职权范围ꎬ如图４所示ꎮ这一点与现有的兵棋系统中６１１㊀崔文华ꎬ等:基于深度强化学习的兵棋推演决策方法框架图３㊀ＴＳｔａｒＢｏｔ１宏观－强化学习架构图４㊀ＢｅｒｋｅｌｅｙＢｏｔ学习架构的指令分组不谋而合:作战行动按区域分陆上㊁空中㊁海上㊁常导㊁特种㊁情报和后装ꎬ陆上有分合成部队㊁炮兵㊁防空㊁工程防化等ꎮＢｅｒｋｅｌｅｙＢｏｔ采用Ａ３Ｃ算法优化深度学习策略ꎮ与ＴＳｔａｒＢｏｔｓ采取互博弈方式训练不同ꎬＢｅｒｋｅｌｅｙＢｏｔ采取自我对抗训练ꎬ到测试时才与星际争霸内置ＡＩ对抗ꎮ从这点看ꎬＢｅｒｋｅｌｅｙＢｏｔ训练方式更具实际意义ꎮ战争模拟系统或兵棋与即时策略游戏具有天然相似性:都是在局部可见信息条件下解决巨大状态和动作空间上的复杂决策问题ꎬ兼具长短期规划和多任务协作ꎮ依托现有兵棋系统ꎬ构建基于深度强化学习的对抗策略生成技术ꎬ兼顾分层和模块化的设计思想ꎬ将典型想定下的指挥机构按层级划分ꎬ将兵棋棋子与指令按功能划分ꎮ决策智能体的输入为本级所见战场态势ꎬ输出为动作ꎬ可采用现成深度强化学习框架和优化算法ꎬ用自我对抗展开训练ꎬ产生优化对抗策略ꎮ基于兵棋系统的智能指挥决策分层学习架构如图５所示ꎮ根据上述层次化深度学习框架设计ꎬ将决策本身分为多层ꎬ每层主体不能太多ꎮ拟按照作战编成分组ꎬ各层智能体负责自己职权内的决策ꎬ以归纳和约简空间ꎬ并按照作战指挥原则ꎬ使用智能体由下至上逐层代替各级指挥员ꎮ合理设计每层智能体的权责范围和控制对象ꎬ接受上级命令作为输入ꎬ控制下级智能体或行动模型的策略为输出ꎮ算法训练的主要流程是根据作战意图设定目标函数ꎬ在数据管理与分析平台中加载相应的历史对抗数据ꎬ历史断点㊁近似模型或新建模型和训练模型ꎬ生成对抗测量ꎬ同时将最新模型和断点信息存回至数据管理与分析平台ꎬ运用分层行动智能体实现快速在线临机智能决策和多主体协同ꎮ使用树搜索和探索性仿真的方法对行动方案优化设计ꎬ令智能体与基线智能体不断进行对抗ꎬ胜利方作为下一轮博弈的基线智能体ꎬ以提升智能体决策水平ꎮ基于以上深度学习框架ꎬ还需要解决神经网络模型用于兵棋推演实时战场７１１㊀国防科技㊀２０２０年第２期(总第３２１期)图５㊀基于兵棋系统的智能指挥决策分层学习架构决策的具体问题ꎮ兵棋推演模拟真实作战过程时ꎬ智能决策模型需要满足响应高实时㊁环境高复杂等真实战场环境特点ꎬ因此ꎬ需要优化深度学习模型ꎬ提升决策速度ꎬ并适应场景变化ꎮ下面从模型压缩和迁移两个方面阐述模型优化方法ꎮ(一)基于网络压缩的优化学习方法未来战争是 以快吃慢 的战争ꎬ决策速度决定了ＯＯＤＡ环的运转周期ꎮ因此ꎬ对抗策略不仅要关注策略优劣的问题ꎬ还要关注策略生成快慢的问题ꎮ一般的深度强化学习重点在学习框架的设计ꎬ包括输入/输出表示㊁激励函数等ꎬ而深度神经网络部分采用成熟的网络结构和优化算法ꎮ战场环境作为典型的复杂学习环境ꎬ战争博弈面临响应高实时的需求ꎮ为提高学习模型的泛化能力和决策响应速度ꎬ常见的做法是对学习模型进行稀疏化处理ꎬ或者压缩网络结构ꎬ将一般的深度网络变成轻量级网络ꎬ以提高输出速度和快速部署能力ꎮ比较常见的神经网络压缩方法有参数修剪和共享㊁低秩分解㊁滤波器变换/压缩和知识蒸馏ꎮ这些方法都是针对神经网络的一般方法ꎬ可以考虑结合深度强化学习压缩网络结构ꎮ参数修剪和共享是压缩神经网络最直观的方式ꎮＳ Ｈａｎ在其博士论文中提出完整的深度神经网络压缩流程:(１)修剪不重要的连接ꎬ重新训练稀疏的网络ꎻ(２)量化连接权重ꎬ采用更节省内存的方式例如二值化ꎻ(３)采用霍夫曼编码[１６]ꎬ如图６所示ꎮ该图展示了神经网络剪枝技术修剪了原紧密连接中的冗余部分ꎬ获得更稀疏的连接ꎮ图６㊀神经网络剪枝和共享低秩分解可以将高维数据近似映射到低维空间ꎬ从而有效节约数据表达成本ꎮ在卷积神经网络中ꎬ用低秩分解代替全连接将卷积核冗余消除ꎬ可有效提升模型预测速度ꎮ滤波器变换/压缩的提出受到两方面的启发:一是人们普遍认为卷积神经网络参数平移不变性和卷积权重共享对性能至关重要ꎬ并能有效防止过拟合ꎬ虽然这种观点还缺乏强有力的理论支撑ꎻ二是２０１６年Ｃｏｈｅｎ等人提出的等变群论表８１１㊀崔文华ꎬ等:基于深度强化学习的兵棋推演决策方法框架明采用变换/压缩的输入经神经网络输出ꎬ同先将输入经过神经网络输出再变换/压缩ꎬ其结果等价[１７]ꎬ从理论上证明了用滤波器压缩神经网络的合理性ꎬ而使用更紧凑的卷积滤波器可以有效降低计算成本ꎮ知识蒸馏由Ｈｉｎｔｏｎ于２０１５年提出ꎬ提出神经网络的训练遵循 学生 老师 的范例来减少训练[１８]ꎬ根据 老师 软化的反馈来惩罚 学生 ꎬ并将若干 老师 网络压缩成一个 学生 网络ꎬ最终由 学生 网络预测输出ꎮ尽管原理简单ꎬ但它在各种图像分类任务中显示了良好的性能ꎮ更重要的是ꎬ知识蒸馏的方法让神经网络变得更浅从而加速计算ꎮ用于兵棋推演的决策模型输入为基本决策模型ꎬ输出为压缩后的模型ꎬ评价指标为实际对抗中的决策回报ꎬ如兵棋推演中经统一量化后特定目标的战损和战果ꎮ其中ꎬ模型压缩的难点在于平衡决策速度与精度存在的矛盾:简化的模型可以满足快速实时响应的要求ꎬ但却以降低决策精度为代价ꎻ反之ꎬ复杂的模型可以提升决策精度ꎬ但响应时延较长ꎮ图７㊀迁移学习的一般过程(二)面向多样战场环境的深度迁移学习基于机器学习的方法通常受训练数据不够用和对环境的过拟合两方面的影响ꎬ而深度强化学习作为一种通用的机器学习技术也不例外ꎮ将深度强化学习用于兵棋对抗训练的潜在风险是生成的对抗策略受训练环境所限ꎬ不能有效应对新情况ꎮ而迁移学习是给定源问题域中的数据和学习任务ꎬ从中学到对目标域学习任务有用的知识ꎬ而源问题数据与目标域数据分布不同ꎬ学习任务也不同ꎬ一般源问题域数据规模较目标域大ꎬ如图７所示ꎮ迁移学习算法的主要目的是解决在数据不满足独立同分布的情况下ꎬ如何训练出具有高精度的分类器[１９]ꎮ由于其放宽了训练数据必须与测试数据保持独立同分布的假设ꎬ极大提高了模型的通用能力ꎮ深度强化学习与迁移学习的进一步结合也是未来的方向之一ꎮ在特定作战领域训练模型所需训练样本不足的情况下ꎬ可以使用深度迁移学习改善模型的通用性ꎬ并泛化到一般作战领域生成对抗策略的问题ꎮ深度迁移学习是采用深度学习的方式进行迁移学习ꎮ根据源领域和目标领域㊁源任务与目标任务之间的异构性ꎬ迁移学习可以为四类[２０]:基于实例的㊁基于映射的㊁基于网络的和基于规则的迁移学习ꎮ下面以智能对抗策略生成为具体背景一一阐述ꎮ基于实例的深度迁移学习考虑如下假设ꎬ尽管源问题域和目标问题域存在差异ꎬ但根据相似度匹配原则ꎬ源问题域中的部分实例可以通过分配适应权重供目标问题域的学习使用ꎮ其核心目标是通过一定的衡量标准对源问题域中的不同样本进行评估[２１]ꎬ从源问题域中选择出较为合适的训练样本集合ꎬ对其进行加权训练ꎬ然后将这些样本迁移到目标域ꎮ以海空联合作战为例ꎬ因为交互的环境都是对空ꎬ目标和奖励完全一致ꎬ海上防空行动的策略样本可以迁移到陆上场景ꎬ为训练陆上防空所用ꎮ基于映射的深度迁移学习主要是通过在源域和目标域间寻找典型特征代表来进一步弱化两个域之间的差异ꎬ从而实现知识的跨域迁移与利用[２２]ꎮ其实现方法为首先通过特征映射把各个领域的数据从原始高维特征空间映射到低维空间ꎬ从而缩小映射后的源域数据与目标域数据之间的差异ꎻ之后利用低维空间中的有标签源域数据训练分类器对目标域数据进行预测ꎮ尽管在某些情形下有所不同ꎬ但源问题域数据和目标域数据可以在精心设计的新的数据空间中更为相似ꎬ极大地丰富了训练所需样本ꎮ以夺岛作战为例ꎬ南登岛作战集群智能体与北登岛作战集群智能体演习对抗积累的样本可以被映射到新的数据空间ꎬ该空间的样本只关注登岛策略的产生条件和决策效果ꎬ而将具体环境泛化ꎮ基于网络的深度迁移学习将源问题域训练好的网络重用ꎬ包括部分网络结构和连接参数ꎬ作为目标域问题预先训练模型ꎮ此方法的思路是假设源域和目标域的样本数据均含有标签ꎬ但目标域中不含标签的样本数据多于有标签的ꎬ通过源域估计的模型参数辅助优化目标域目标模型ꎮ在９１１。
一种用于辅助兵棋推演的快速决策框架研究
一种用于辅助兵棋推演的快速决策框架研究
陈健;赵建印;纪红
【期刊名称】《网络安全与数据治理》
【年(卷),期】2024(43)3
【摘要】基于一般的决策和规划流程,提出了一个面向兵棋推演的快速决策框架(Rapid Military Decision Framework, RMDF),该框架针对异构实体模型,通过分层的网格环境对复杂推演环境简化建模,将推演实体的作用效果,简化为地面、海上和空中三个网格环境层次上的作用效果,并以热图的形式在网格环境中显示,通过推演实体的核心参数来确定其性能模型和行为模型,并基于一致性包算法实现任务分配,生成备选行动策略,通过快速仿真实现推演策略的迭代优化,能够在推演之前或推演期间提供行动方案的快速评估,可以有效地辅助兵棋推演指挥人员进行复杂态势下的兵棋推演。
【总页数】6页(P21-26)
【作者】陈健;赵建印;纪红
【作者单位】海军航空大学
【正文语种】中文
【中图分类】TP391
【相关文献】
1.装备保障兵棋推演系统框架研究
2.基于深度强化学习的兵棋推演决策方法框架
3.基于兵棋推演的联合作战方案评估框架研究
4.兵棋推演的智能决策技术与挑战
5.面向联合作战兵棋推演的智能决策建模框架
因版权原因，仅展示原文概要，查看原文内容请购买。
新型应急计算机兵棋推演系统及方法
新型应急计算机兵棋推演系统及方法随着信息技术的不断发展，军事领域也不断迎来新的变革。
在军事训练和战役规划中，兵棋推演系统扮演着重要的角色。
为了应对日益复杂和多样化的战争环境，新型的应急计算机兵棋推演系统及方法应运而生。
本文将介绍这一系统的特点和优势，并探讨其对军事决策的影响。
首先，新型应急计算机兵棋推演系统与传统系统相比，具有更高的实时性和准确性。
它利用先进的计算机技术，能够迅速处理庞大的军事数据，并根据实时情报进行动态调整。
在快速变化的战场环境中，决策者能够及时了解最新的战术情报，做出更加准确的决策。
同时，该系统还能够模拟真实的战场环境，使训练和推演更加真实可信。
其次，新型应急计算机兵棋推演系统具有更高的灵活性和可扩展性。
它可以灵活适应不同类型的战争模拟和训练需求，可以根据具体任务的要求进行个性化配置。
同时，该系统还支持多种不同的战术模型和算法，使决策者可以根据实际情况选择最合适的模拟方法。
此外，该系统还具有良好的可扩展性，可以随着技术的发展和需求的变化进行升级和改进。
另外，新型应急计算机兵棋推演系统还具有更高的效率和经济性。
相比传统的推演方法，该系统能够大大缩短推演时间，提高决策效率。
决策者可以通过这个系统进行多次的模拟与推演，快速找到最佳的战术方案。
此外，该系统还能够减少实地训练的成本和风险，节约军事资源。
在应急情况下，这种新型的应急计算机兵棋推演系统发挥的作用更加突出。
它能够在紧急情况下实时获取战斗环境数据，快速分析决策方案，并帮助指挥员做出正确而迅速的决策。
在应对突发事件时，这个系统可以提供快速反应和高效执行的支持，大大提高了军事行动的成功率和安全性。
综上所述，新型应急计算机兵棋推演系统及方法在军事训练和战役规划中具有重要的意义。
它能够提供更高的实时性、灵活性和准确性，提高决策效率，降低军事成本。
尤其在应急情况下，这个系统能够迅速响应并提供支持，帮助指挥员做出快速而准确的决策。
相信随着技术的不断进步，这个系统在未来将发挥越来越重要的作用，为军事行动带来更多的优势和便利。
基于兵棋推演的后勤物资储备精确计算
基于兵棋推演的后勤物资储备精确计算摘要：兵棋作为近年来模拟仿真领域中热议的概念之一，在军队后勤研究领域的应用越来越广，其低成本、高仿性、短周期的特点为军队后勤物资消耗的预测与战略后勤物资的预置提供了一种新型的研究模式，有利于加快军队后勤研究从定性到定量的转变。
为此，本文基于兵棋推演的后勤物资储备精确计算进行了探讨。
关键词：兵棋系统；实战化军事训练；应用1兵棋推演的关键技术大型兵棋系统的功能主要是模拟未来战争指挥与决策环境，用于战争分析和人员训练。
兵棋推演系统必须反映客观实际，遵从自然规律、作战规律和科学原理，如燃油消耗、物资补给、电子干扰、环境影响等，这些是兵棋演习系统中的客观规律。
因此，兵棋演习系统在未来设计与发展过程中，需要重点开展以下工作：1.1战争复杂系统建模创造出符合复杂系统特点的战争模型，既能反映微观的作战行动，又能反映宏观的客观规律，包括各类作战及保障行动、战场地理及人文环境。
研究战略问题时，还需要对国家关键基础设施及行政系统、社会民众行为、舆论态度、企业经济活动，甚至国际关系等建模。
1.2兵棋推演规则体系构建建立起所有作战或人员行动的规则体系，并完成定性定量结合的科学与经验计算。
这种计算有时极为繁杂和精细，为的就是使得推演结果尽量接近真实。
比如地面作战战损计算，虽然只是几千个模型中的一个，但它也要为几百种交战形式生成近300个数学矩阵才能完成。
1.3数据组织及多重关系建立建立起大规模数据基础，描述出作战行动与后装保障、环境影响的多重关联关系。
比如弹道导弹的作战过程，会与大气风向影响、电子战干扰、飞行过程相关，也会与导弹重量、外形尺寸、可以通过的桥梁、隧道、道路等制约因素相关。
这种关系对成千上万的武器装备、作战和保障部队，以及战场环境、社会人员等都要建立，可见其工作量的巨大。
1.4感知真实性的建立创造出符合情报侦察认知特点的战场感知环境。
因为在实际战场上，每一方所显示的态势都是不一样的，有N方对抗，就需要N+1种态势。