Infiniband高速互连网络(徐迪威)

InfiniBand高速互连网络

徐迪威

广州广东省计算中心，510033

摘要：InfiniBand是目前发展最快的高速互连网络技术，具有高带宽、低延迟和易扩展的特点。通过研究和实践，对InfiniBand技术的数据包、数据传输、层次结构、与以太网技术的对比、虚拟化、交换机制、发展愿景等进行了全面探索，提出了InfiniBand最终成为高速互连网络首选的观点。

关键词：InfiniBand；高速互连网络；数据包；结构模型；虚拟化；交换机制

Research on Design of InfiniBand High Speed Interconnection

Abstract: InfiniBand is a fast growing technology of high speed interconnection (HSI), whose characteristics are high bandwidth, low latency and easy extension. Via researching and practicing, the paper explores on InfiniBand data packets, data transfer, multilevel architectures, comparing with Ethernet, virtualization, switching mechanism, roadmap, etc. The author presents the viewpoint that InfiniBand will become the first choice in setting up HSI.

Keywords: InfiniBand(IB); High Speed Interconnection(HSI); Data Packet; Hierarchy Model; Virtualization; Switching Mechanism

1引言

随着中央处理器（CPU）运算能力的极速增长，高速互连网络（High Speed Interconnection, HSI）已成为高性能计算机研制的关键所在。HSI是为了改善计算机外围元件扩展接口（Peripheral Component Interface, PCI）的性能不足而提出的一项新技术。经过多年的发展，支持高性能计算（High Performance Computing, HPC）的HSI目前主要是Gigabit Ethernet和InfiniBand，分别占全球超级计算机TOP500（2011年11月）的44.8%和41.8%，而InfiniBand 是其中增长最快的HSI。InfiniBand是在InfiniBand贸易协会（IBTA）监督下发展起来的一种高性能、低延迟的技术。

2 InfiniBand Trade Association(IBTA)

IBTA成立于1999年，由Future I/O Developers Forum和NGI/O Forum两个工业组织合二为一组成，在HP、IBM、Intel、Mellanox、Oracle、QLogic、Dell、Bull等组成的筹划运作委员会领导下工作。IBTA专业从事产品的遵从性和互用性测试，其成员一直致力于推进InfiniBand规范的设立与更新。

3 InfiniBand概述

InfiniBand是一种针对处理器与I/O设备之间数据流的通信链路，其支持的可寻址设备高达64000个[1]。InfiniBand架构（InfiniBand Architecture, IBA）是一种定义点到点（point-to-point）交换式的输入/输出框架的行业标准规范，通常用于服务器、通信基础设施、存储设备和嵌入式系统的互连[2]。InfiniBand具有普适、低延迟、高带宽、管理成本低的特性，是单一连接多数据流（聚类、通信、存储、管理）理想的连接网络，互连节点可达成千上万。最小的完整IBA单元是子网（subnet），多个子网由路由器连接起来组成大的IBA网络。IBA子网由端节点（end-node）、交换机、链路和子网管理器组成[3]。

InfiniBand发展的初衷是把服务器总线网络化，所以InfiniBand除了具有很强的网络性能以外还直接继承了总线的高带宽和低时延[4]。总线技术中采用的DMA（Direct Memory Access）技术在InfiniBand中以RDMA（Remote Direct Memory Access）的形式得以实现。RDMA服务可在处理器之间进行跨网络数据传输，数据直接在暂时内存之间传递，不需要操作系统介入或数据复制。RDMA通过减少对带宽和处理器开销的需要降低了时延，这种效果是通过在NIC的硬件中部署一项可靠的传输协议以及支持零复制网络技术和内核内存旁路实现的[5]。这使得InfiniBand在与CPU、内存及存储设备的数据交换方面天生地优于万兆以太网以及光纤通道（Fiber Channel, FC）。

InfiniBand实现了基于客户机-服务器和消息传递的通信方案及基于存储映射实现网络通信的方案，将复杂的I/O系统与处理器、存储设备分离，使I/O子系统独立，是一种基于I/O通道共享机制的总线互连技术[6]。

InfiniBand系统由信道适配器（Channel Adapter, CA）、交换机、路由器、线缆和连接器组成。CA分为主机信道适配器（Host Channel Adapter, HCA）和目标信道适配器（Target Channel Adapter, TCA）。IBA交换机原理上与其它标准网络交换机类似，但必须能满足InfiniBand的高性能和低成本的要求。InfiniBand路由器是用来把大网络分割为更小的子网，并用路由器连接在一起。HCA是一个设备点，诸如服务器或存储设备的IB端节点通过该设备点连接到IB网络。TCA是信道适配器的一种特别形式，多用于存储设备等嵌入式环境[7]。InfiniBand体系结构如图1所示。