InfiniBand是一项为互连网架构而设计的支持IO连接的功

InfiniBand 技术InfiniBand是一项为互连网架构而设计的支持I/O连接的功能强大的体系结构。

主要OEM服务器厂商都支持InfiniBand，并以此为基点扩展和创建下一代服务器内I/O互连标准。

一个高带宽的符合工业标准的I/O连接方式首次将传统的箱内总线的角色进行了延伸。

InfiniBand在提供箱内背板解决方案，外部互连，和箱外带宽方面是独一无二的；也可以说，它提供了一种过去只能在传统网络连接中使用的连接方式。

以当前的技术现状，要把I/O和系统区域网络统一起来，需要发展一种新的体系结构，这种体系结构必须同时满足过去完全分开的两个领域的不同需求。

InfiniBand的推出填补了这种体系结构的空白，带来了一场关于I/O的技术变革，而支撑其完成使命的，是InfiniBand有能力支持互连网对可靠性，可用性和可服务性的需求。

与早期PCI总线和其它各厂商专有的交换网络及I/O解决方案相比，Infiniband更具有提供RAS（可靠性、可用性、可服务性）的能力，本文将就此对Infiniband的特性和能力进行讨论。

同时，本文还讨论了InfiniBand体系结构如何提供复杂的硅、软件和系统解决方案。

InfiniBand 拥有完善的规范，其中的InfiniBand 规范1.2详细定义了很多工业标准，如：电气接口、机械连接器、软件和管理界面等方面的内容。

本文对InfiniBand规范1.2做了概要介绍，以期读者可以了解InfiniBand体系结构的全貌。

文章分为四个部分。

介绍部分为读者搭建了一个InfiniBand的平台，并揭示了为什么主流服务器厂商会支持这个新标准。

第二部分介绍了Infiniband将会给当前这个被传统技术所统治的市场带来什么样的影响。

第三部分对基于交换的网络和基于总线的结构进行了一般性的比较；而对InfiniBand和PCI-X及其它专有解决方案的差异则做了详细论述。

最后一部分详细介绍了InfiniBand体系结构，并从宏观角度回顾了InfiniBand的重要特性。

介绍Infiniband是一个基于交换的串行I/O互连体系结构，运行速度为每方向2.5Gb/s或10Gb/s（每端口）。

和共享总线结构不同，InfiniBand是一个针数很少的串行结构，可连接印刷电路板（PCB – Printed circuit board）上的设备，并支持箱外带宽。

使用普通的双绞铜线，InfiniBand支持的连接距离为17m；而如果使用光缆，其支持的距离则可达数公里甚至更远。

InfiniBand支持QoS和RAS。

“支持RAS”特性在设计之初就被融入了InfiniBand的体系结构，这些特性对于InfiniBand 有能力成为位于Internet核心的下一代服务器和存储系统的通用I/O基础架构具有非常重要的意义。

InfiniBand终将从根本上改变系统和Internet互连体系，下文将详细讨论Infiniband这些与生俱来的特性是如何促成这场技术变革。

InfiniBand系统网络（如下图）受到各大工业公司的支持，其中包括了所有主要服务器厂商（如：戴尔，惠普，IBM，英特尔，微软和Sun等公司）。

如前所述，InfiniBand体系结构拥有众多优点，但是，为了实现10Gb/s的链路带宽，必须去掉PCI瓶颈，具有讽刺意味的是，如今，恰恰是PCI在协助Infiniband发展互连技术。

市场重要市场，例如应用群集，系统内部通讯，和处理器间通讯都需要高带宽、QoS和RAS 特性。

很多嵌入系统（包括路由器、存储系统和智能交换机）使用PCI总线- 常常是紧凑PCI方式，作为其内部I/O体系结构。

这样的系统无法跟上高速的网络互连技术，如：千兆以太网络和ATM。

因此，很多公司都开始致力于开发自己的I/O互连架构。

基于开发以太局域网，光纤通道存储区域网络以及广域网互连的成功经验，InfiniBand的出现已经超出了今天的市场需求，可以为更大范围的系统提供互连。

这些成就都得益于InfiniBand直接支持很多重要特性，如：RAS、QoS和可扩展性。

应用群集今天，互连网已经发展成为全球基础架构。

它支持流媒体，B2B（Business-to-Business）解决方案，电子商务和交互门户。

每一种应用程序都必须满足对数据持续增长和数据可靠性的需求。

做为支持这些应用的服务提供商身负重压。

他们需要在日益拥挤的链路中提供高效的通讯，同时还要针对不同QoS和安全等级进行计费。

应用服务提供商（ASP－Application Service Providers）已经上升到为那些将业务建立在Web上面的公司提供电子商务、电子市场、和其他的电子业务。

这些ASP必须能够提供高可靠的服务来满足Internet的爆炸性增长。

要满足这些需求，人们的首选方案是采用群集。

群集是指一组服务器使用可提供负载均衡的交换机连接起来，它们并行工作，服务特定应用。

InfiniBand使用具有丰富特性的可管理的体系结构统一了网络互连，从而简化了应用群集内部的连接。

InfiniBand的交换结构具有天生的群集连接性，因而可在箱内和箱外提供高可靠性和高扩展能力。

设备可以随时接入网络，而且可以通过增加交换机设备来提供多路径支持。

InfiniBand具有内置的QoS特性，设备间的高优先级交易会被优先处理。

处理器间通讯处理器间通讯使得多个服务器处理同一应用成为可能。

为保证服务器间业务处理的可靠性，高带宽、低延迟和可靠的连接是非常必要的。

应用程序仍在继续追求更高的处理器带宽，因而良好的可扩展性也很必要。

InfiniBand具有交换特性，支持系统间的多路径连接，从而保证了处理器间通讯连接的可靠性。

InfiniBand 具有完全热交换特性，因而由单点管理（子网管理器）的InfiniBand 具有良好的扩展性。

InfiniBand支持多路广播，单一的交易可以送达多个目的地。

这包括送到子网中的所有系统，或者这些系统中的某几个。

InfiniBand的高带宽连接为处理器间通讯提供了强有力的支持，完全不需要第二种I/O连接。

I/O 结构：网状结构和总线结构的比较虽然共享总线结构有很多缺点，它仍然是当今最普遍使用的I/O互连方式。

群集和网络所要求的系统间的高速和容错连接，在总线结构中都无法实现。

因此，所有总线结构的系统都需要使用网卡来实现网络拓扑上的扩展。

为了和系统发展同步，I/O体系结构必须能够提供高速的连接和良好的扩展能力。

下表是交换网络和共享总线结构之间的简单比较。

共享总线结构总线结构中，所有的通讯共享相同的带宽。

总线中增加的端口越多，每个外设的可用带宽就越小。

同时，总线结构还存在很严重的电子、机械和电源问题。

在并行总线中，每个连接都需要很多的针（64位PCI需要90针），从而使得电路板的外观很滑稽，而且需要使用非常精确印刷的电路板空间。

如果使用高总线频率，在PCB板上每个信号的传输距离被限制到很小。

在有很多的卡槽的基于槽位的系统中，终结很难控制，而且如果设计不正确会造成很多问题。

传统的共享总线结构由于负载能力的限制，总线结构只允许在一个总线上连接非常少的设备。

通过增加桥设备来提供另外的总线，桥后的总线可提供新的连接能力，克服单一总线结构的限制。

虽然这样做，系统可以连接更多的设备，但是当需要要访问系统中其它部分的设备时，数据仍然要流过中心总线。

每增加一个桥都会带来延迟和带宽紧张。

总线要设计成在完全负载的情况下工作（例如连接了标准所规定的最大数量的设备），这从根本地限制了总线的频率。

总线结构的最问题之一是它不支持箱外系统连接。

而为了让系统之间建立通讯，还需要借助单独的连接，例如以太网连接（服务器到服务器间通讯）或者光纤通道连接（存储网络）。

交换网状结构交换网络采用点到点的基于交换机的互连设计，适合容错和扩展。

点到点的交换网络的含义是每个链路只连一个设备，因而和总线结构不同，交换网络的负载和终结非常容易控制。

因为只允许连接一个设备，所以最坏的情况和最典型的情况是相同的，为此I/O性能得到了大大提升。

交换网状结构具有扩展性：你可以连接更多的交换机到网络中来，再通过交换机连接更多的节点。

和共享总线结构不同，当新的交换机连接进来，系统的聚合带宽反而会增加。

设备间支持多路径，有效保证了高聚合带宽，同时提供了安全的冗余连接。

新的互连方式为InfiniBand提供补充新的连接方式，例如PCI Express，对InfiniBand的发展起到了很大的促进作用，因为它们提供了新水平的CPU访问带宽，并且允许InfiniBand扩展箱外带宽。

PCI Express在发展，这会为InfiniBand提供一个连接系统逻辑的切入点：通常情况下，它可提供20Gb/s的带宽以满足4XInfiniBand链路的需要，甚至它能提供60Gb/S的带宽，可满足12XInfiniBand 链路的需求，这些技术对InfiniBand作了最好的补充。

箱外带宽InfiniBand体系结构的基础特性之一是箱外带宽。

InfiniBand有能力获得带宽，这些带宽过去被陷在服务器内部，现在可以通过InfiniBand扩展到整个网络当中。

InfiniBand通过在网络中精确传送数据，使得10G/S的带宽得到有效的利用。

过去，数据离CPU越远数据带宽降低的就越快。

箱外的含义之一是从处理器到I/O的带宽，服务器间连接以组成群集，或者处理器间通讯，含义之二是到存储或者数据中心边缘的带宽。

现在先进的处理器都有前端总线，其和处理器或者内存通讯的带宽可达25Gb/s，可是PCI-X系统却将箱外带宽限制为8Gb/s。

数据中心内部的实际带宽更加有限：处理器间的通讯带宽只有1到2Gb/s，光纤通道或者存储通讯的速度最高为2Gb/s；系统间的通讯，通常会采用以太网络，速度为1Gb/s。

这说明从处理器到数据中心的边缘，会损失大部分的带宽。

如前所述，新互连技术，如PCI-X，P5IOC和GX总线可以将本地的I/O带宽提高到30甚至60Gb/s。

新的处理器和系统芯片组内部已经集成了这些连接，因而克服了PCI所带来的限制。

因为HCA可以接入这些内部连接，InfiniBand的带宽得到了释放，这使得InfiniBand 能在群集、通讯和连接存储的时候够保持原有的速度。

2001年推出1 X和4X链路，2005年则推出12X，30Gb/s链路连接方式。

Infiniband 技术概览InfiniBand是基于交换机的点到点的互连体系结构，它为当前系统而设计，也可以满足下一代系统的需求。

它既可以用在PCB上连接不同组件，同时可以延伸到箱外，成为机箱间的连接。

每个独立链路都建立在四线的2.5Gb/s 的双向连接上。

体系结构定义了一个分层的硬件协议（物理、链路、网络和传输层），当然也定义了软件层来管理初始化和设备间的通讯。