在 IBM POWER 服务器上使用 Infiniband 组建高性能计算集群

在IBM POWER 服务器上使用

Infiniband 组建高性能计算集群

罗明, 软件工程师, IBM

卜俊辉, 软件工程师, IBM

2011 年5 月10 日

随着服务器处理速度的不断加快，高性能计算用户对网络传输速度也有着越来越高的要求，传统意义上的以太网，已经无法满足这种需求。InfiniBand 网络标准就是在这种情况下应运而生的，它在很大程度上解决了传统以太网络的高延迟瓶颈问题, 运行速度可达到每端口2.5Gb/s 到10Gb/s。目前，IBM POWER 服务器和高性能计算软件套件对Infiniband 提供了全面的支持，本文将逐一介绍InfiniBand 技术架构，以及如何在IBM POWER 服务器的AIX 系统上配置InfiniBand 网络设备，并使用IBM 高性能软件套件构建高性能计算集群。

Infiniband 的基本概念

网络是常常被认为是路由器、交换机和插在服务器和存储设备上的电缆的集合。在大部分人的印象里，网络用来连接服务器到其他服务器、存储和其他网络。其实，这是一种普遍存在的对网络的片面看法，它将过多的注意力集中在处于网络底层结构的电缆和交换机上。这是典型的“以网络为中心的”观点：认为网络的构成架构应该决定应用程序的通讯模式。

Infiniband 网络则基于“以应用程序为中心”的新观点。它的提出来源于一个简单的问题：如何让应用程序访问其他应用程序以及存储尽可能的简单、高效和直接？如果以“应用程序为中心”的观点来思考I/O 问题，就能得到一种与传统完全不同的网络架构。

Infiniband 基于一种非常简单的原则：提供一种易于使用的消息服务。这个服务可以被用来与其他应用程序、进程或者存储进行通信。应用程序不再向操作系统提交访问其他资源的申请，而是直接使用Infiniband 消息服务。Infiniband 消息服务是一个非常高效、直接的消息服务，它摒弃了传统网络和应用程序之间消息传递的复杂结构。直接使用Infiniband 服务意味着应用程序不再依赖操作系统来传递消息，这大大提高了通信效率。如图1，Infiniband 消息服务可以在两个应用程序之间创建一个管道，来使应用程序之间直接进行通信，从而绕过了操作系统，大大提高了效率。

图 1. Infiniband 通信连接原理

回页首Infiniband 在HPC（High performance computing）领域的应用

高性能计算（HPC）是一个涵盖面很广的领域，它覆盖了从最大的“TOP 500”高性能集群到微型桌面集群。这篇文章里的我们谈及的HPC 是这样一类系统，它所有的计算能力在一段时间内都被用来解决同一个大型问题。换句话说，我们这里讨论的HPC 系统不会被用来运行传统的企业应用，例如：邮件、计费、web 等。一些典型的HPC 应用包括：大气建模、基因研究、汽车碰撞模拟、流体动态分析等。图 2 显示了一个标准的高性能集群（HPC）的拓扑结构。可以看到，在高性能计算集群中，各种设备是通过集群的交换网络连接到一起的。所以，高性能计算系统除了需要高性能的中央处理器外，还需要高性能的存储和低延迟的进程间通信来满足科学运算的需求。在大型集群中高速的交换网络扮演了非常重要的角色，甚至比CPU 还要关键，处于集群的核心位置。大量的实验数据表明，集群的性能和可扩展性主要和消息在节点之间的传递速度有关，这意味着低延迟的消息传递是被迫切需求的，而这正是Infiniband 的优势。下面我们就介绍下Infiniband 为什么比传统网络更适合高性能计算系统。

图 2. 高性能计算集群拓扑

根据我们对高性能计算系统的认识，Infiniband 的低延迟、高带宽和原生的通道架构对于此类系统来说是非常重要的。低延迟的Infiniband 网络可以在保证性能的前提下，增大集群的规模。

通道I/O 架构则可以提供可扩展的存储带宽性能，并且支持并行文件系统。

说道HPC 就不能不提MPI(Message Passing Interface)。MPI 是应用在HPC 上主要的消息传递中间件标准。虽然MPI 也可以应用在基于共享内存的系统上，但是，更多的则是被当作通讯层用作连接集群中的不同节点。MPI 通讯服务依赖于底层的提供节点间真正信息传递的消息服务。Infiniband 作为一种底层消息服务为MPI 层提供了被称为RDMA（Remote Direct Memory Access）的消息服务。在上面一章，我们讨论了应用程序之间如何通过Infiniband 通讯架构来实现直接的通讯，从而绕过操作系统。在HPC 中，我们可以认为HPC 应用程式调用MPI 通讯服务，而MPI 则利用底层的RDMA 消息服务实现节点间通讯。这就使得，HPC 应用程序具备了不消耗集群CPU 资源的通讯能力。IBM PE（Parallel Environment）软件作为一种MPI 标准的实现，加入了对Infiniband 的支持。本文后面的章节会介绍如何启用PE 对Infiniband 的支持。

回页首通过HMC 为IBM POWER 服务器配置Infiniband 适配器

要想使用Infiniband 高速网络，首先需要对硬件进行配置。IBM Power 服务器提供了对

Infiniband 设备的原生支持，用户可以通过HMC 进行统一管理。通过虚拟化，用户可以方便的将单个12 倍速的Infiniband 端口分配给最多16 个逻辑分区使用。下面我们就一步步的介绍如何在一个逻辑分区上增加Infiniband 设备。

1. 首先点选需要配置Infiniband 适配器的逻辑分区，在下拉列表中点选

Configuration Manage Profiles

图 3. 选择逻辑分区（查看大图）

2. 在新弹出的窗口中选择Edit：

图 4. 编辑逻辑分区配置文件

3. 在HCA 的标签页面中，选中要分配的Infiniband 设备，并点击Configure：

图 5. 选择Infiniband 适配器

4. 在新弹出的窗口中，为这个适配器分配一个GUID index：

图 6. 配置Infiniband 设备属性

到此为止，我们就成功的为一个逻辑分区分配了一个新的Infiniband 适配器。接下来我只需要在AIX 系统中配置一下，Infiniband 适配器就可以正常使用了。配置方法可以参考

developerWorks 中国上的文章“为AIX 配置Infiniband”。

回页首使用NIM 安装高性能计算集群上的AIX 系统

在使用HMC 配置完Infiniband 网络设备以后，我们还需要为集群中每台的节点上安装好AIX 操作系统，由于集群的节点众多，使用网络安装是最常见快速的方法。由于篇幅关系，本文在这里不再讲解如何使用AIX 再带的网络安装系统（NIM）来自动化的安装AIX 操作系统，具体方法请各位读者参考developerWorks 相关文章“Unix/Linux 系统自动化管理: 网络自动化安装”。

回页首

在IBM POWER 上配置IBM Parallel Environment 使用Infiniband 网络

在安装完集群的系统后，要想让HPC 应用软件使用Infiniband 网络，我们还需要安装配置支持Infiniband 网络的MPI 通讯软件。IBM Parallel Environment(PE) 是一个针对HPC 并行程序的开发和运行环境，它提供了对Infiniband 网络的支持，用户的并行程序可以通过PE 运行在高速Infiniband 网络上。IBM PE 由消息传递函数库（如：MPI），并行运行环境（POE），调试工具（PDB）组成。IBM PE 实现了两种通讯库----IP(internet protocol) 和US（user space）。

这两种通讯库是对于用户来说是完全透明的，它们使用统一的应用程序编程接口。也就是说使用IP 协议的程序可以无需修改就运行在US 模式。US 模式是PE 专门为Infiniband 高速网络设计的通讯子库，能最大限度的发挥Infiniband 网络的优势。从PE 5.2 版本开始，PE 拥有了无需借助资源管理器（例如：IBM LoadLevler）在Infiniband 网络上运行US 任务的能力。

下面我们就简单介绍下，如何使用PE 在Infiniband 网络上运行US 模式的任务。

安装IBM Parallel Environment

在安装IBM Parallel Environment 以前，请保证集群所有节点之间的root 用户可以实现免密码的rsh 自由登陆。然后使用下面的步骤安装PE：

1. 拷贝IBM Parallel Environment 软件到一个节点的硬盘，这里我们假设拷贝到

/tmp 目录下

2. 使用install – a – d /tmp ppe* 命令安装IBM Parallel Environment 到

这个节点

3. 使用文档编辑器（如：vi）在/tmp 下创建一个节点列表文件(host.list)，里面包含

所有节点名，例如：

使用IBM Parallel Environment 在Infiniband 上进行高性能计算

当使用PE 来分配计算节点时，你需要先创建一个节点列表文件，就像上一节我们创建的列表文件一样。

1. 如何使用单个Infiniband 网络适配器：

学习

?Unix/Linux 系统自动化管理: 网络自动化安装: 本文是Unix/Linux 系统管理自动化系列中的一篇，介绍使用AIX NIM 软件包批量化安装AIX 系统。

?为AIX 配置Infiniband: 介绍如何配置Infiniband 和在AIX 上设置IP over Infiniband 接口。

?AIX and UNIX 专区：developerWorks 的“AIX and UNIX 专区”提供了大量与AIX 系统管理的所有方面相关的信息，您可以利用它们来扩展自己的UNIX 技能。

?AIX and UNIX 新手入门：访问“AIX and UNIX 新手入门”页面可了解更多关于AIX 和UNIX 的内容。

?AIX and UNIX 专题汇总：AIX and UNIX 专区已经为您推出了很多的技术专题，为您总结了很多热门的知识点。我们在后面还会继续推出很多相关的热门专题给您，为了方便您的访问，我们在这里为您把本专区的所有专题进行汇总，让您更方便的找到您需要的内容。

?AIX and UNIX 下载中心：在这里你可以下载到可以运行在AIX 或者是UNIX 系统上的IBM 服务器软件以及工具，让您可以提前免费试用他们的强大功能。

?IBM Systems Magazine for AIX 中文版：本杂志的内容更加关注于趋势和企业级架构应用方面的内容，同时对于新兴的技术、产品、应用方式等也有很深入的探讨。

IBM Systems Magazine 的内容都是由十分资深的业内人士撰写的，包括IBM 的合作伙伴、IBM 的主机工程师以及高级管理人员。所以，从这些内容中，您可以了解到更高层次的应用理念，让您在选择和应用IBM 系统时有一个更好的认识。

讨论

?加入developerWorks 中文社区。查看开发人员推动的博客、论坛、组和维基，并与其他developerWorks 用户交流。