魔方(曙光5000A)超级计算机的测试与分析

Ｎ Ｐ Ｂ － Ｍ Ｚ 软 件 包 提 供 两 种 不 同 的 Ｈ ｙｂ ｒｉｄ 模 式 的并行实现，一种是Ｍ Ｐ Ｉ＋ Ｏ ｐｅｎＭ Ｐ 实现，一种是 ＳＭ Ｐ＋Ｏ ｐｅｎＭ Ｐ实现。Ｍ ＰＩ＋Ｏ ｐｅｎＭ Ｐ混合编程模式广泛 应用用科学计算应用中，且更适合“魔方”的系统 架构。在Ｍ ＰＩ＋Ｏ ｐｅｎＭ Ｐ实现中，节点间使用Ｍ ＰＩ进行 通信，单个节点内部使用Ｏ ｐｅｎＭ Ｐ实现并行。更多的 有关Ｎ ＰＢ －Ｍ Ｚ混合编程模式的实现可参考文献［６，７］。本 测试中选用Ｎ ＰＢ －Ｍ Ｚ问题规模是Ｃ ｌａｓｓ Ｄ 。Ｂ Ｔ－Ｍ Ｚ和 ＳＰ－Ｍ Ｚ的Ｚｏｎｅ数均为３２ ｘ ３２，（１０２４个Ｚｏｎｅ），总的 计算网格大小（Ｇ ｘ＊Ｇ ｙ＊Ｇ ｚ）为１６３２ ｘ １２１６ ｘ ３４（６７．５ Ｍ ｉｌｌｉｏｎ个网格点）。Ｃ ｌａｓｓ Ｄ Ｐｕｒｅ Ｍ ＰＩ运行所需内存 １２．８Ｇ Ｂ ，内存的最小要求限制了单节点上可运行的 总进程数。
文中，以“魔方”作为测试平台，选取单点内 存带宽测试程序Ｓｔｒｅａｍ 进行单点性能测试，使用Ｉｎｔｅｌ Ｍ ＰＩ Ｂ ｅｎｃｈｍ ａｒｋ进行集群系统的组通信性能测试； 应用上，选取已被广泛用于评价高性能计算机系统 的Ｎ Ａ Ｓ Ｐａｒａｌｌｅｌ Ｂ ｅｎｃｈｍ ａｒｋ及Ｎ Ａ Ｓ Ｐａｒａｌｌｅｌ Ｂ ｅｎｃｈｍ ａｒｋ Ｍ ｕｌｔｉ－Ｚｏｎｅ作为测试算例，研究在Ｈ ＰＰ架构下消息传 递编程模型、共享内存编程模型及混合编程模型下 应用的性能。
１２ａ
Ｃ ＰＵ ０（０，１，２，３）， Ｃ ＰＵ １（０，１，２，３）， Ｃ ＰＵ ２（０，１，２，３）
１２ｂ
Ｃ ＰＵ ０（０，１，２）， Ｃ ＰＵ １（０，１，２）， Ｃ ＰＵ ２（０，１，２）， Ｃ ＰＵ ３（０，１，２）
１６
Ｃ ＰＵ ０（０，１，２，３）， Ｃ ＰＵ １（０，１，２，３）， Ｃ ＰＵ ２（０，１，２，３）， Ｃ ＰＵ ３（０，１，２，３）
魔方（曙光５０００Ａ ）专辑
45
魔方（曙光５０００Ａ ）超级计算机的测试与分析
徐莹 张丹丹 徐磊 张伟 姜恺 姚继锋
上海超级计算中心 上海 ２０１２０３ ｙｘｕ＠ ｓｓｃ．ｎｅｔ．ｃｎ
摘要： 本文对“魔方”（曙光５０００Ａ ）超级计算机系统从单点性能和应用在集群系统上的性能进行
３． Ｂ ｅｎｃｈｍ ａｒｋ程序集简介
３．１ 访存带宽测试Ｓ ｔｒｅａｍ Ｓｔｒｅａｍ ｂｅｎｃｈｍ ａｒｋ 用于单节点内测试内存访问的
持续带宽，它通过测试四种向量运算的性能来衡量 系统的性能，这四种运算是：（１）Ｃ Ｏ ＰＹ ： ａ（ｉ） ＝ ｂ（ｉ）；（２）ＳＣ Ａ ＬＥ ：ａ（ｉ） ＝ ｑ＊ｂ（ｉ）；（３）ＳＵ Ｍ ：ａ（ｉ） ＝ ｂ（ｉ） ＋ ｃ（ｉ）；（４）ＴＲ ＩＡ Ｄ ： ａ（ｉ） ＝ ｂ（ｉ） ＋ ｑ＊ｃ（ｉ）。Ｓｔｒｅａｍ 的 并行版本基于Ｏ ｐｅｎＭ Ｐ 实现，可用于测试多核的 ＳＭ Ｐ节点。Ｓｔｒｅａｍ 在设计上采用了远远大于Ｃ ａｃｈｅ容量 的大数据集，因此其测试结果更能反映大型向量计 算类应用的性能。
３．３ 计算流体力学应用Ｎ Ｐ Ｂ Ｎ ＰＢ （Ｎ Ａ Ｓ Ｐａｒａｌｌｅｌ Ｂ ｅｎｃｈｍ ａｒｋ）［５］所包含的８个程序
来自计算流体动力学应用领域，它们可以很好的表 现出一般应用程序的实际性能，已经被普遍接受为 高性能计算机的性能测试标准。
Ｎ ＰＢ 程序包有５个核心程序，它们是应用较频繁 的一些算法，其主要测试特点为： ＩＳ（Ｉｎｔｅｇｅｒ Ｓｏｒｔ， 整数排序），主要测试整数运算性能和集合通信 性能，对通信延迟很敏感；Ｅ Ｐ （Ｅ ｍ ｂａｒｒａｓｓｉｎｇｌｙ Ｐ ａｒａｌｌｅｌ，无通信并行），主要测试数序函数的浮点 运算性能；Ｍ Ｇ （３－Ｄ Ｍ ｕｌｔｉｇｒｉｄ，三维多重网格）， 采用多重网格算法求解三维Ｐ ｏｉｓｓｏｎ方程，主要测试 规则的非连续存储访问集合通信和点到点通信； Ｃ Ｇ （Ｃ ｏｎｊｕｇａｔｅ Ｇ ｒａｄｉｅｎｔ，共轭梯度法），主要测试不 规则的集合通信和点到点通信；Ｆ Ｔ （Ｆ ａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ ，快速傅立叶变换），用ＦＦＴ求解三维偏微 分方程，主要测试集合通信。
本文分四部分，第二部分介绍“魔方”集
群系统，第三部分介绍所使用的测试程序及应用 Ｂ ｅｎｃｈｍ ａｒｋ，第四部分为测试结果及分析，最后一部 分为全文结论及未计算中心的“魔 方”，系统为Ｈ ＰＰ体系结构，共１９２０个１６计算核心的 刀片节点，每个节点通过Ｉｎｆｉｎｉｂａｎｄ高速网络互联。 每个节点由４路Ｑ ｕａｄ－ｃｏｒｅ Ａ Ｍ Ｄ Ｏ ｐｔｅｒｏｎ ８３４７＠ １．９Ｇ Ｈ ｚ 构 成 ， ６ ４ Ｇ Ｂ 内 存 ， 理 论 计 算 峰 值 达 到 １ ２ ８ Ｇ ｆｌｏｐ ／ ｎｏｄｅ。“魔方”的计算节点分布在３８个ｒａｃｋ中，每个 ｒａｃｋ包含有５箱刀片（每箱１０个刀片），每箱刀片内 置有Ｉｎｆｉｎｉｂａｎｄ交换模块和千兆以太网交换模块。
了测试与分析。测试结果为在“魔方”超级计算机进行科学及工程计算应用提供参考。
１． 引言
２００８年世界超级计算机ＴＯ Ｐ５００中，采用ＳＭ Ｐ的 集群系统所占比例约８２％ ，采用多核处理器的ＳＭ Ｐ集 群系统所占比例近８０％ ，使用多核处理器的ＳＭ Ｐ集 群系统已经成为一种趋势。排名第１０的曙光５０００Ａ ， 在上海超级计算中心安装之后，取名为“魔方”（ Ｍ ａｇｉｃ Ｃ ｕｂｅ），采用的是新型的“超并行”（Ｈ ｙｐｅｒ Ｐａｒａｌｌｅｌ Ｐｒｏｃｅｓｓｉｎｇ，简称Ｈ ＰＰ）系统架构，具有全局 地址空间和三级并行（Ｃ Ｍ Ｐ－ＳＭ Ｐ－Ｄ ＳＭ ）的分布式 系统。这种体系结构结合了ＳＭ Ｐ和Ｍ ＰＰ的优点，同时 具备节点间分布式存储和节点内共享存储的层次结 构，支持节点间消息传递和节点间共享内存２级至多 级混合并行编程模型。目前，对于集群上不同并行 编程模型的研究［２，３］都基于某种类型的硬件系统，系 统的架构往往成为性能影响的最重要的因素。
测试中Ｂ Ｔ和ＳＰ要求处理器网格为方形，ＬＵ 和 Ｍ Ｇ 要求处理器数目为２的幂次。 ３．４ 混合编程应用Ｎ Ｐ Ｂ －Ｍ Ｚ
Ｎ ＰＢ －Ｍ Ｚ（Ｎ Ａ Ｓ Ｐａｒａｌｌｅｌ Ｂ ｅｎｃｈｍ ａｒｋ Ｍ ｕｌｔｉ－Ｚｏｎｅ Ｖ ｅｒｓｉｏｎ）是Ｎ ＰＢ ３．１版本以上的混合并行编程版本。 Ｎ ＰＢ －Ｍ Ｚ程序包含３个应用的Ｂ ｅｎｃｈｍ ａｒｋ：Ｂ Ｔ－Ｍ Ｚ， ＳＰ－Ｍ Ｚ，ＬＵ －Ｍ Ｚ。
46
《高性能计算发展与应用》 ２００９年第三期 总第二十八期
进行测试，ＩＭ Ｂ －Ｅ Ｘ Ｔ和ＩＭ Ｂ －ＩＯ 是针对Ｍ ＰＩ２的测试， 分别测试Ｍ ＰＩ２的单边通信和Ｉ／Ｏ 性能。
ＩＭ Ｂ 既可以对Ｍ ＰＩ在集群中运行的效率做全面的 测试，也可以针对特定Ｍ ＰＩ进行测试。通过设定运行 时参数，ＩＢ Ｍ 可以对纪录运行时间，消息长度，通信 子的选择等进行调节。除此之外，ＩＭ Ｂ 还有有面向点 对点通信以及集合通信的测试项目。本次进行ＩＭ Ｂ 测 试针对的是Ｍ Ｐ Ｉ的集合通信，测试包含两个部分： Ｂ ａｒｒｉｅｒ和Ｂ ｃａｓｔ，其中Ｂ ｃａｓｔ针对不同的消息长度进行 了测试。
的函数。其中４０９６核数的情况下，Ｂ ａｒｒｉｅｒ函数所花 时间有比较明显的增加，小于２０４８核情况，从１６到 ２０４８核，耗费的时间增加了不到六倍。整体来看性 能较为出色。
图１ ｓｔｒｅａｍ 测试结果 由测试结果（图１）可以看出，当采用８ｃ方案时 （即每个Ｃ ＰＵ 的两个核绑定２个线程的情况）此时访 存的带宽达到最大值，比１６线程的结果还要好。测 试结果说明，使用线程绑定技术能够提高应用程序 对内存的访问速度。
面对如此庞大的高性能的计算系统，如何让它 的计算能力发挥到最大，更有效的进行利用，尤其 是如何利用其为大规模科学及工程计算模拟服务， 已经成为研究的热点。为了能有效利用高性能计算 资源并提高科学和工程应用的性能，本文从两个角 度对“魔方”的使用进行了考查，一方面是系统本 身可提供的性能，包括单点性能及集群系统性能； 另一方面则是典型应用大规模运行时的可扩展性及 加速性能。
注：Ｃ ＰＵ ０（０，１，２，３）， Ｃ ＰＵ １（０，１，２，３）表示８个线程分别依次绑定到Ｃ ＰＵ ０和Ｃ ＰＵ １的所有核。
47
由于Ｏ ｐｅｎＭ Ｐ线程在核间的迁移可能会导致应用 性能的下降，所以，同时测试了将线程绑定到核上 的情况，如表２所示，分别使用８、１２和１６个线程测 试Ｓｔｒｅａｍ ，同时设置不同的绑定方案，绑定方案见表 ２。
另外３个是计算流体力学常用的基本程序，其主 要测试特点为：ＬＵ （Ｌｏｗ ｅｒ－Ｕ ｐｐｅｒ Ｔｒｉａｎｇｕｌａｒ，对称超 松弛求解块稀疏方程组），主要测试细粒度的非连 续存储访问点到点阻塞通信；Ｂ Ｔ（Ｂ ｌｏｃｋ Ｔｒｉｄｉａｇｏｎａｌ， 解５ｘ５三对角块方程组），测试通信和计算的平 衡，以非连续存储访问点到点长消息通信为主；ＳＰ （Ｓｃａｌａｒ Ｐｅｎｔａｄｉａｇｏｎａｌ，解五对角线方程组），测试 通信和计算的平衡，以非连续存储访问点到点长消 息通信为主，与Ｂ Ｔ的通信模式相似，但通信强度比 Ｂ Ｔ高。
３．２ 组通信测试ＩＭ Ｂ ＩＭ Ｂ （Ｉｎｔｅｌ Ｍ ＰＩ Ｂ ｅｎｃｈｍ ａｒｋ）［４］是Ｉｎｔｅｌ Ｃ ｌｕｓｔｅｒ
Ｔｏｏｌｋｉｔ的一个组成部分，是由Ｉｎｔｅｌ开发维护的用于测 试Ｍ Ｐ Ｉ函数在实际运行中的性能的软件包。它包含 三个组成部份：（１）ＩＭ Ｂ －Ｍ ＰＩ１；（２）ＩＭ Ｂ －Ｅ Ｘ Ｔ； （３）ＩＭ Ｂ －ＩＯ 。其中ＩＭ Ｂ －Ｍ ＰＩ１针对不同的Ｍ ＰＩ１函数
ＳＰ－Ｍ Ｚ随着问题规模的增加（如从 Ｃ ＬＡ ＳＳ Ａ 到 Ｃ ＬＡ ＳＳ Ｅ ），整个计算域被划分成多个相等大小的子 域，这样ＳＰ－Ｍ Ｚ就易于达到负载均衡。相比之下， Ｂ Ｔ－Ｍ Ｚ由于问题的特性产生的ｚｏｎｅ的大小变化很大， 使其更接近于真实的应用场景。而Ｂ Ｔ－Ｍ Ｚ每个ｚｏｎｅ的 大小不相同，ｚｏｎｅ的大小变化跨度大，最大的ｚｏｎｅ和 最小的ｚｏｎｅ大小比接近２０，这就使得Ｂ Ｔ－Ｍ Ｚ相比ＳＰ－ Ｍ Ｚ更难以达到负载均衡。