超级计算机容错系统设计研究

超级计算机容错系统设计研究
监控与管理，确保系统各类节点处于监控之下， ＲＡＳ网络通常采用单独的以太网络，只用于各种 管理功能。
采用独立维护监测：通过独立的维护监测网络 实现对全机系统中各个硬件设备、部件的实时监 测，提供各种硬故障信息，与ＲＡＳ网络分别构成 独立的基础可用性管理网络、
４结构模型
可持续计算能力是衡量一台大型计算机系统 性能的重要指标，凶此，在各种大型计算机系统的 设计中，可用性设计是不可缺少且相当关键的部 分。一般的容错系统都分为两个部分。
他硬件的正常运行。 ＲＵ是系统中具有独立自治和可管理、可维护、
可动态重构特性的独立单元。：其划分至少应该满足 ３个原则：１）满足硬件可设计、可维护陆要求；２） 满足软件最小影响单元设计需求；３）具有自愈、 故障传播抑制能／Ｊ。，通过ＲＵ划分和最小ＲＵ确立， 实现系统级的模块化设计，提高整体可用性水件的设计 支持，要建立在硬件设计的基础上，凶此，这里专 门分析一些基本的硬件设计要求。
３１硬件ＩｑＵ设计
硬件的可替换部件（Ｒｅｐｌａｃｅａｂｌｅ Ｕｎｉｔ，简称 ＲＵ）设计是系统高可用的基础，也是系统高可用 的基础，软件高可用也是建立在硬件ＲＵ设计的基 础上的、这样的部件能够在系统运行过程中与其他 硬件部分动态断连，并单独关电维修而不会影响其
系统内的各个节点、节点上的ＣＰＵ、节点上 的一些专用设备、网络模块或网络芯片等硬件在设 计中需要具备基本的ＲＵ特征。
３．２易管理的可容错网络
系统网络（用于课题运行时进程问通信的计算 网络）在结构上要具有高冗余度、可容错件与易管 理性。网络是连通各个节点互连的基础，需要具备 下列容错特性：１）具备易管理性、易用性，支持 简单的局部化状态管理与初始化，支持网络降级和 重构的易操作性，否则再优秀的网络也可能凶为管 理和使用的复杂性而失去生命ＩＩ，Ｊ，进而影响系统的 可用性；２）网络中的芯片模块或者芯片组具备ＲＵ 特性，从而具备网络故障抑制和独立更换能力；３） 当网络部分芯片故障时，对故障芯片降级（即避开 故障芯片）之后，剩余的冗余通路可以继续保持连 通性，提供节点之间的通信，支持系统的正常运行； ４）网络部分芯片故障后，在启动网络容错机制的 情况下，可以绕开故障芯片点，仍然保证网络畅通； ５）网络应该具备灵活的智能寻址算法（如自适应 路由等），在发生链路故障时，自动选择最佳路径， 完成数据传递；６）具备消息包的自动重传功能， 当系统中ｍ现偶发性故障时，系统部件支持重传功 能，不会丢失数据。
｝ｔ厶 Ａ，＊一 Ｌ～各种容错一 控制接— 插件Ｌ—一＊＊、ｏｒＡ
——ｊＬ—一——ＪＬ—一——ｊＬ—一——Ｌ—一——Ｌ—一
系统管理 资源管理．．．作业管理
软件监删系统维护
用户课题（ＭＰＩ、ＯＰＥＮ肝等）及系统硬件环境（节点、阿络） 罔２容错控制流程示意冈
在这个架构中，可以完成从故障发现、故障分 类、信息存储、故障仲裁到故障处理之间的全部流 程，是一个比较通用的容错控制流故障发现由软 件的心跳检测和硬件的维护系统完成（简单的系统 也可以只具备其中一种），而故障仲裁后的处理策 略根据不同系统的需求和设计能力，可以有不同的 容错手段，在本模型中，容错处理措施都是以接捕 件的形式纳入到系统中的，接捕件可以根据需要进 行扩展，以实现容错功能的增强。
２．３可靠的信息中心
大型系统中各种硬部件、元器件个数比较多， 软件配置也比较丰富，这样，在系统的管理、维护 以及使用期问，各种配置的、实时的、历史的信息 都比较多，不同的软件之问往往需要交互这些信 息。无论是从系统数掂的一致性考虑，还是考虑到 系统容错中各种软件数据的可靠交互，都需要为系 统建立可靠的信息中心，用于存储和维护系统生命 周期中的一些重要信息。信息中心不是数据中心， 它为系统提供关键信息的可靠存储，还应该提供标 准、易用的数据访问接口。目前，主流的大型计算 机都是以数据库的形式提供可靠的信息中心。
作业运行过程中，当作业的部分资源发生故障 时，一日．指示了作业可以进行局部恢复，作业管理 对该作业的控制自动进入局部恢复容错流程。容错 过程中，如果当前环境中存在剩余的冗余节点资源 时，作业管理自动分配新的冗余资源代替作业已经 发生故障的节点，并将作业本来在故障节点上运行 的作业任务迁移到新分配的冗余节点上运行，完成 作业任务的局部迁移。：作业局部恢复之后，作业不 问断运行，能够得到正确结果，并能够顺利退卅、 作业的局部恢复过程向用户完全透明，用户只需要 在作业运行前指定是否需要在节点故障时执行局 部恢复容错即可，这种容错模型需要并行＿ｆ＿ｆｔ言库的 支持，在国际上已经有相应的模型（ＭＰＩＣＨ—Ｖ２）， 理论上，只要并行ｔｎ言库进行相应的支持，所有并 行课题都适合这种模型，但实现的代价比较高。
系统往往需要多种容错手段，各种容错手段最好能
够纳入到统一的控制架构之中，这样既方便各种功
能的协同设计，进行统一规划，又可以避免各个软
件模块之间可能造成的冲突、建立在这个思想的基
础上，我们给卅图２所示的一个比较通用的基本容
错系统架构。
…＊．矗．磊厂ｉ磊ｒ—磊毒—丽—Ｌ——一 系统售息库｝１｝
窖错总控｝：＿＿”自十“叶
容错思想是容错设计的基础，决定设计思路和 方向。不同的系统也有不同的设计要求、不同的设 计思想和理念。：在标准化集群系统中，容错往往只 有一些系统级或应用级的保留恢复；而在高端超级 计算机系统的设计中，很多硬件单元都需要定制， 软件往往也需要重新设计，必然会降低成熟度与可 靠性，这给容错设计带来了机遇和挑战。
超级计算机容错系统设计研究
制模型，进而指导具体的软件架构和容错方法设 计，是一种高屋建瓴的容错设计思想，可有效指导 系统的结构设计。
２Ｊ２模块与结构化设计
在大系统中，良好的容错系统应该是模块化与 结构化的。模块化设计可以使得软件各个子模块的 功能相对单一，从而降低软件设计的复杂度，并提 高稳定性。采用模块化、结构化的设计思想，设计 统一的系统架构，并将系统功能逐个分解，形成一 个个小的软件单元，在每一个模块引入可用性设 计，通过将各个子模块以各种方式组合在一起，构 成完整的系统，从而将容错深入各个模块，与正常 的管理、运行控制融为一体、无缝整合，避免单独 的容错系统与『Ｆ常的非容错环境之问容易产生的 相互隔离，衔接不畅的问题、
（４）系统级保留恢复 是作业管理系统自动完成的一种容错措施。系 统级保留恢复是指在作业运行过程中周期性或者 事件触发地对作业进行全局的保留，形成检查点， 以便保留作业运行的阶段成果。成功保留过的作 业，可以继续运行，也可以根据需要（机时不满足 或者环境故障）停止运行，并可以在机时满足时从 成功的检查点恢复作业的继续执行，从而阶段性保 留作业运行成果的一种手段、作业恢复时，作业管 理可以设计成自动检查作业是否存在检查点文件， 一Ｅｔ存在，则自动作业从检查点恢复执行。作业保 留恢复支持在提交时指示周期性保留，也可以作业 运行时重新定义保留周期，或者可以在作业运行的 任意时刻触发作业进入保留。相比应用级保留恢 复，系统级保留恢复往往开销较大，但向用户透明、ｊ （５）作业局部降级 作业运行过程中，当作业部分资源发生故障 时，一日指示了作业可以进行局部降级，则作业管 理对该作业的控制自动执行局部降级容错流程，作 业管理将甩掉故障节点，通知作业，并由作业在低 层的ｔｎ言库中重构作业环境，完成降级、ｊ作业降级 过程中，作业继续运行，降级完成后，作业剩余的 任务可以继续运行，直到作业完成并结束，能够得 到正确结果并退卅。这种容错措施是根掂某些特定 ＿ｆ＿ｆ÷言的容错特征而特别提供的一种容错手段，作业 局部降级尤其适用于某些动态分发任务的课题。 （６）作业局部恢复
１引言
目前，超级计算机系统的规模越来越大，结构 甘益复杂，硬件可靠性和软件可用性都面临着严峻 的威胁和挑战、系统高可用性是研制超大规模并行
作为系统设计的重要组成部分，高可用系统的 目的是在软硬件发生故障时，系统能够通过各种容 错措施使得用户课题得以顺利运行完，且在总的运 行时间上不受大的损失，从而提高整机的可用性、 由于系统运行中软硬件的各种故障和异常不可避 免，容错也就不可缺少。
计算机系统必须解决的一项关键性技术，在国际超 级计算机技术研究领域也是一个｜‘分令人关注的 前沿性课题。
在超级计算机的容错技术中，相关的措施有很 多，但将各种措施形成完整体系的并不多本文拟 结合１。作实践，从容错思想、模型、具体措施等方 面进行分析，并给卅相应的总结。
２容错思想
～一～一
一～ ～一 一 一～一一一一一一一一～一一一一一一一
２
超级计算机容错系统设计研究
路由重构是指在部分网络芯片故障导致无法进行消 息传递时，触发系统软件容错，设法重新构造可用 的网络通路，满足课题消息的『Ｆ常使用需求
（３）作业回卷 是作业管理系统自动完成的一种容错措施，适用 于所有类型的作业，是作业终止并再次提交的自动化 过程过程。．在作业运行过程中作业盼自Ｂ分资源发生故 障，若作业提交时指示了回卷属性（或配置了回卷属 性），则作业管理系统自动触发作业进入回卷流 程，回卷之后的作业运行与回卷之前的作业运行方 式、参数完全相同，并自动避开已经发生故障的节 点。如果作业在发生故障之前已经有过成功的保 留，则回卷后作业的运行还可以根据需要设计成从 最近一次成功的检查点开始继续运行，确保不丢失 已经获得的部分成果、
容错控制采用带外控制部分和带内受控的容 错模型、带外的管理控制部分是系统的各种基础管 理软件，包括资源管理、作业管理、系统维护、高 可用管理等可用性的管理模块；带内受控部分是各 种受管理的子系统和软件模块，包括消息库、各种 应用等、如图１所示
罔１系统容错控制模型
良好的容错系统结构是容错成功的关键，大型
５软件容错
不同系统容错措施各不相同，有硬件层、软件 层、或者软硬件协同完成的，有的是透明的，有些 则是需要人Ｔ干预的。：从友善性来说，系统的容错 功能要尽可能地做到透明化（可以是全透明或者向 用户透明），这样才能减轻用户使用的负担。
硬件容错的措施通常包括：ＣＲＣ、ＥＣＣ校验、 存储器清洗、内存冗余、端到端重传、自适应路由、 多网络路径、消息重传、消息排重等，单纯硬件层 次的容错大部分是向软件透明的，只有少部分影响 比较大的措施需要软件配合。