一种面向高性能计算的多FPGA互联结构及划分方法

优先出版计 算 机 应 用 研 究第32卷--------------------------------基金项目：北京市自然科学基金(4122010)作者简介：肖春华(1978-)，女，博士研究生，主要研究方向为嵌入式FPGA 系统设计、基于新型互联技术的片上网络NoC 设计、高性能计算；黄樟钦(1965-)，男，教授，博导，主要研究方向为嵌入式系统、系统级设计方法；李达(1978-)，男，博士研究生，主要研究方向为嵌入式FPGA 系统设计、多核处理器系统．一种面向高性能计算的多FPGA 互联结构及划分方法 *肖春华，黄樟钦，李达(北京工业大学 嵌入式软件与系统研究所 北京 100022)摘 要：针对高性能计算系统在大规模通信互联中面临的性能、成本及功耗等问题，融合新兴的高速互联技术，结合大规模超大规模系统通信的局部性和异构性，提出基于多FPGA 的混合层级高速互联结构，并给出基于集群的多FPGA 逻辑功能划分方法。

该方法能够根据不同应用自定义设计高效互联网络，降低大规模计算系统的互联成本和开销。

通过应用实施例实验证明，该方法能够实现大规模设计向多FPGA 高性能计算平台的快速映射，加速高性能可配置计算系统的设计实现。

关键词：高性能计算；多FPGA 系统；逻辑资源划分；高性能互联； 中图分类号：TN47 文献标志码：AHierarchical routing architecture and partitioning approach for multiple FPGAsoriented to high performance computingXIAO Chun-hua, HUANG Zhang-qin, LI Da(Beijing University of Technology, Embedded Software & System Institution, Beijing 100022)Abstract: To target the problems of performance, cost and energy consumption in large scale communications of high performance computing, a hierarchical routing architecture and partitioning approach for multiple FPGAs is proposed. This method compromises the merits of emerging high performance interconnects, and exploits the local and hierarchical properties of future large scale communications. The customized interconnect topology can be designed according to different applications through the proposed approach, which can help to reduce the interconnect cost while keep the high performance. This approach can implement the fast mapping from the design to the real high performance computing system with multi-FPGAs, and accelerate the realization of high performance reconfigurable computing systems.Key Words: high performance computing; multi-FPGA architecture; high performance interconnects0 引言高性能计算一般面向大规模计算领域，通常由几百个机柜，成千上万个节点构成一个庞大的具有超强能力的计算系统[1]，而每个节点通常集成了多个、几十个甚至上百个处理器核心。

在这样的大规模计算系统中，某个计算单元与其他计算资源之间的通讯交互通常是非均匀的。

在系统设计时，通常采用非均匀缓存结构管理机制 （Non-uniform cache architecture ，NUCA)和 page-recoloring 等机制[2][3]，将cache 单元放置在对其访问最频繁的计算单元附近。

进而通过一些cache 划分机制[4][5]来实现全局通信量最小（绝大多数通信集中在本地Cluster 内部）。

因此，国内外实现高性能计算主要采用基于集群的体系结构，在最新发布的TOP500高性能计算机中[6]采用Cluster 体系架构的高性能机比例高达80%以上（如图1所示），占据排行榜中的垄断地位。

目前各行各业对高性能计算系统的需求越来越高，不仅需要可靠的高性能计算，对计算功耗，计算模型的应用速度，软件更新和升级等方面的需求也不断提高。

计算速度带来的竞争优势也在促使高性能计算系统对新的计算需求的响应速度。

传统的高性能计算系统开发成本高达数百万甚至数百亿美元，对系统的频繁升级及维护往往耗费大量的人力物力，而且在计算系统安装和使用上的功耗已经造成了越来越高额的运转成本（计算功耗、散热维护成本）和空间成本（因为散热问题导致的计算系统的空间利用率）。

随着半导体工艺的不断进步，现场可编程逻辑门阵列FPGA 不仅能够加速大规模复杂计算，而且能够大幅降低计算功耗，以灵活的可配置性减少系统应用成本及维护成本。

近年来，已有公司及科研机构通过在高性能计算系统中集成大量的FPGA 来获得更好的性价比[14][15]。

如集成了96个高端Altera Stratix FPGA 的可重构超级计算机以及Pico Computing 公司集成的112个FPGA 的可重构超级计算机等。

但是，这些大量集成的FPGA 以什么样的拓扑结构方式进行有效互联，是高性能可重构计算系统设计中的一个重要步骤。

高网络出版时间：2014-08-27 12:21网络出版地址：/kcms/detail/51.1196.TP.20140827.1221.161.html性能计算中不同结构的并行系统一般需要有特别定制的互联网络，难以标准化、通用化，如何根据不同应用的实际需求设计高效的互联网络已经成为改善高性能计算机性能的一个关键问题[16]。

高性能计算系统内部大量节点之间的互联网络是数据流组织及通信的渠道，是HPC 效率发挥的关键。

传统的超大规模集成电路主要采用具有低阻抗、高导电率的金属线实现元件间的互联。

随着CMOS 工艺的不断发展，尤其是当半导体工艺发展到深亚微米阶段时，基于金属线物理特性的互联技术存在严重的传输延迟问题、带宽密度问题，以及功耗问题，这些问题随着通信距离的增加和集成电路规模的扩大而愈加严重。

另一方面，光互联、射频互联，高速无线互联等新兴互联技术由于优异的物理特性，能够通过低能耗的One-hop 实现长距离的数据通信，逐渐成为取代传统RC 电气互联的可能趋势[7][8][9]。

目前，HPC 机机柜之间已经普遍采用光互联，而机柜内光互联，板内，以至芯片内光互联的研究[31][32][33][34]也在广泛深入的展开，并取得了一定的研究成果。

这些新兴的互联技术能够满足高性能计算中高效能通信互联（高带宽、低时延、低功耗）的巨大需求[10]，但是由于设计实现上仍存在的诸多挑战（如光电转换延迟，传输干扰，对温度的高敏感性等问题），短时间内不能完全取代传统互联方式，因此新兴互联技术和传统互联技术的混合互联架构成为了技术过渡时期灵活可行的有效实现方式。

正是由于大规模超大规模高性能计算系统所体现出的“局部性”[11][12]、“异构性”[13]，以及传统高性能计算系统在性能、成本及功耗等方面的挑战，本文提出这样一种面向高性能计算的多FPGA 混合层级高速互联结构HHHS (Hybrid Hierarchical High Speed)及相应的逻辑划分方法，根据不同的应用，自定义设计高效的互联网络，实现大规模设计向多FPGA 高性能计算平台的快速映射，加速高性能可配置计算系统的设计实现。

这种混合层级结构融合了新兴高速互联技术在较长距离及大数据量通信方面的高效优势，结合应用的功能集群划分，实现集群内部本地One-hop 有线通信，集群间One-hop 高速无线通信，降低大规模计算系统的互联开销和成本。

图1 世界TOP500高性能计算机的体系结构分布错误!未找到引用源。

1 面向高性能计算的多FPGA 拓扑结构多FPGA 系统中多片FPGA 之间的连接方式称为多FPGA 系统的拓扑结构。

目前典型的多FPGA 系统互联结构包括线阵结构[17][18]，MESH 网格结构[19][20][21][22]，交叉互联结构[23][24][25]以及混合互联结构[26][27][27][29][30]（如图2所示）。

这些互联结构基于传统的互联技术，在面向大规模超大规模计算系统时，面临严重的传输延迟问题、带宽密度问题，以及功耗问题，尤其是远距离FPGA 之间需要较大的直接互联开销或者中间路由开销，可扩展性不强。

如图3所示，本文所提出的混合层级高速互联结构HHHS 为基于集群的两级互联结构，分为本地互联网络和全局互联网络两个层次（也即，集群内部互联拓扑及集群间互联拓扑）。

集群内部互联拓扑为基于传统金属线连接的全互联结构，各FPGA 节点可直接与在同一集群内的其他FPGA 节点直接通信；全局互联网络为高速全局互联网络，采用新兴高速互联技术（如光通信，毫米波高速无线通信等）实现各集群之间的高速互联。

本地互联网络中至少有一个节点为层级传递节点（Relay Node ），实现本地通讯和全局通讯的连接。

层级传递节点FPGA 可以选择高性能FPGA ，在集成计算功能同时执行层级互联功能，也可以选择低端及小规模FPGA ，只执行层级互联功能，如当全局互联网络采用高速无线互联时，层级传递节点执行无线访问基站（wireless station ）的功能，实现信息的缓存和发送接收。

本地互联网络中的通信结点和不在同一集群的另一节点通信时，将信息发送给本地的Relay Node ，本地的Relay Node 通过高速通信将信息发送到目的节点所在的集群Relay Node ，再由目的Relay Node 将信息转发给目的节点，因此集群间的通信需要3 hops 。