高性能计算机的性能测试

HPL.dat内容介绍
http://www.netlib.org/benchmark/hpl/faqs.html 第1/2行：文件说明 第3行： 计算结果输出文件命名 第4行： 输出定义，6=stdout,7=stderr,其它数字为第三行命名的文件输出 第5行： N，问题规模的数目（Nｓ的个数） 第6行： Ns, Ns表示求解线性方程组Ax＝b中矩阵A的规模（N），一般按公 式N×N×8＝系统总内存（Byte)×80％ 第7行： of NBs， NB的个数 第8行： NBs,最佳的取值在[32 .. 256]，取值大小由计算规模及平台来决定 第11、12行： Ps×Qs表示二维处理器网格。其有遵循以下几个要求： 1. P×Q＝进程数。这是HPL的硬性规定。P×Q＝系统CPU数＝进程数。一般来 说一பைடு நூலகம்进程对于一个CPU可以得到最佳性能。 2.当Q/4≤P≤Q时，性能较优。 3.当P＝2n，即P2的幂时，性能较优。 其他选项默认即可
基因 (编码区) 主要蛋白质序列 蛋白质的3D结构 生物功能
流体力学行业应用
Fluent性能测试（980万网格）
Fluent性能测试（200万网格） 14 12 10 8 6 4 2 0 8 16 CPU核心数量
每步迭代时间（秒）
每步迭代时间（秒）
30 25 20 15 10 5 0 16 24 CPU核心数量 32 千兆网 IB
Linpack的运行
• 运行注意事项： 1. 运行程序在环境变量未设置时要写绝 对路径 2.提交命令指定的CPU个数必须与 HPL.dat中设置的Ps x Qs一致 3.标准输出要写文件，这样有助于运行 完毕后查看运行结果
提纲 一.HPCS时代的挑战 二.行业细分，促进应用 三.微软WCCS行业应用深入 四.曙光HPC产品介绍
为什么使用集群系统？
• 科学计算领域
– 更快的速度 – 更高的精度 – 更大的范围
• 信息服务领域
– 更好地整合、提高可管理性 – 更高的吞吐率 – 更高的可靠性
为何要提高计算能力？
实 时 系 统
速度 精度
飞机、汽车模拟
规模
轮船制造
如何提高计算能力？
软件
硬件
改进算法
提高单机速度
软件并行化
使用并行机
WCCS与曙光的合作
• 联合成立曙光/微软/应用软件技术测试实 验室 • 为曙光提供WCCS机群操作系统，搭建在 曙光机群平台，对行业应用软件进行兼容 性及性能测试
WCCS在曙光公司的测试介绍
• 测试平台介绍 硬件平台：5台A610r-F 系统平台：WCCS机群操作系统 测试软件：Linpack测试软件HPL，PMB等
测试软件要求
• 软件平台要求
• • • • •
Visual Studio 2005 Platform SDK HPL.tgz CCS SDK ACML 库 http://developer.amd.com/acml.aspx?session_i d=CAHJH$51498@HIHFDAHE#a
acml-3-5-0-win64.exe 安装到c:\acml3.5.0
多种结构的比较
结构 特性 SMP DSM MPP Cluster
可扩展性
易管理性
最差
很强
差
很强 无需网络
强
一般 很强
很强
较差 强
网络能力 无需网络
并行编程 共享变量 共享变量、 消息传递 消息传递 方式 消息传递
价格 贵 昂贵 昂贵 较低
提纲
• • • • 一.高性能集群系统介绍 二.行业细分，促进应用 三.微软WCCS行业应用深入 四.曙光HPC产品介绍
Linpack测试软件Makefile
Makefile需要结合WCCS平台、测试软件平台及HPL的 程序来进行修改，微软提供了修改过的Makefile文件， 需要注意的几个地方： 1.运行程序的路径 2.运行程序时需调用的MSMPI库、ACML库等的路径 3.计算节点的CPU类型及架构
Linpack程序的编译
Linpack软件测试介绍
• Linpack
Linpack是一个用Fortran语言编写的线性代数软件 包，主要用于求解线性方程组和线性最小平方问题。 Linpack是测量高性能集群计算机浮点计算能力的重要 工具。它的性能指标包括time和Gflops(Gillions of floating-point operations per second)。HPL测试 的参数比较多，其中最重要的是以下3个： NB，LU数据分解数据块大小，是指LU分解过程中 所形成的数据小方块的大小。 NB的取值对HPL测试的 结果比较重要，它的取值与集群系统的构造，网络连 接方式，编译时用了哪个BLAS库，还有内存的大小这 几个因素有关。通过测试本集群系统的NB取值120和80 较为合适。
高性能计算机的性能测试
提纲
一.高性能集群系统介绍 二.行业细分，促进应用 三.微软WCCS行业应用深入 四.曙光HPC产品介绍
提纲
• • • • 一.高性能集群系统介绍 二.行业细分，促进应用 三.微软WCCS行业应用深入 四.曙光HPC产品介绍
什么是集群系统
• 利用标准网络将一台台普通服务器或者 PC机连接起来，为使用者提供更高的计 算能力和存储能力并为使用者提供单一 系统映象的系统。 • 单一系统映象：使用者在使用集群系统 的时候感觉上就象使用一个单独的计算 机系统一样。
提高效率－性能优化
硬件平台 系统架构 处理器: AMD，Intel 交换机: 各种计算网络 文件系统: nfs文件系统，PVFS，Lustre等并行 文件系统 编程模型和并行环境 同一领域的各种软件 编译器和优化选项
用户服务－促进应用
软件的编译，测试 性能优化 软件的移植 帮助用户解决使用中的难题 帮助用户分析系统瓶颈，寻找解决方法
测试软件的获得及安装步骤
• Platform SDK: http://www.microsoft.com/downloads/details.aspx?FamilyId=0BA F2B35-C656-4969-ACE8-E4C0C0716ADB&displaylang=en • Visual Studio 2005: http://msdn.microsoft.com/vstudio/products/trial/ • HPL.tgz http://www.netlib.org/benchmark/hpl/ 解压 hpl.tgz to c:\workshop\ • Download Microsoft Compute Cluster Pack SDK from http://www.microsoft.com/downloads/details.aspx?FamilyID=D84 62378-2F68-409D-9CB3-02312BC23BFD&displaylang=en • Install Compute Cluster Pack SDK to c:\ProgramFiles\MicrosoftComputeClusterPack • http://www.netlib.org/blas/faq.html 针对计算节点架构选择优化 的 BLAS库 • 注意: 假如使用 Win64 Platform SDK来编译HPL，需要链接 “bufferoverflowU.lib”库文件
MM5主模块
预报结果 后处理
Micaps
RIP
Vis5d
Grads
JPEG
汽车制造行业应用
• • • • 峰值内存占用达30G! 结果文件达13G! Solver Time 6.6小时 Wall Time 12.3小时
基因组信息学应用
生物信息学是把基因组DNA序列信息 分析作为源头，破译隐藏在DNA序列 中的遗传语言，特别是非编码区的 实质；同时在发现了新基因信息之 后进行蛋白质空间结构模拟和预测
软件和硬件必须紧密结合！
根据应用选择合适的并行计算机
SMP
不 同 的 应 用 需 求 不 同 的 计 算 方 法 不 同 的 体 系 结 构
DSM
MPP Cluster
如 何 选 择？
对称多处理机 （SMP）
分布共享存储多处理机系统 (DSM)
大规模并行计算机系统 (MPP)
机群系统(Cluster)
Linpack软件测试介绍
NS，LU数据分解过程中形成的小数据方块的维 数，它是定义被测系统内存的占用量。从并行计 算的角度去看，并行计算总是尽可能多的在节点 内计算，尽可能少的进行节点间的通信。NS的取 值与集群系统的内存大小是有关系的。经测试被 测集群系统NS取值应在[15000，16000]的区间上， 即总内存占有率为40%左右。 P*Q决定了进行HPL测试时处理器网格尺寸的大 小，P代表水平方向上的处理器个数，Q代表垂直 方向上的处理器个数，它代表了所有节点进程间 的通信网格。经测试在相同的条件下，网格尺寸 P*Q接近于正方形的，P略小于或者等于Q，其测试 的结果较好。
高性能计算机应用领域
石油勘探
气象预报
汽车制造
基因信息
生物物理
信息服务
数学
船舶制造
石油行业应用
盆地模拟
油藏数值模拟
地震勘探
气象行业应用
探空地面资 料自动下载 报文解报 探空地面报文 检错质量检查 T213资料完整 性检查和插值 Terrain T213资料 自动下载
Regridder Litter_R Interpf
千兆网 IB
32
提纲
• • • • 一.高性能集群系统介绍 二.行业细分，促进应用 三.微软WCCS行业应用深入 四.曙光HPC产品介绍
性能测试－重心转移
由某种标准benchmark转向用户应用 Linpack性能测试 PMB性能测试 NPB性能测试 FFT性能测试 用户行业应用程序测试 由单一转为综合 Linpack性能测试 HPCC性能测试 行业应用综合评价软件包 性能测试对用户的有用性探讨
Linpack程序运行前HPL.dat设置
1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. HPLinpack benchmark input file Innovative Computing Laboratory, University of Tennessee HPL.out output file name (if any) 6 device out (6=stdout,7=stderr,file) 4 # of problems sizes (N) 29 30 34 35 Ns 4 # of NBs 1 2 3 4 NBs 0 PMAP process mapping (0=Row-,1=Column-major) 3 # of process grids (P x Q) 2 1 4 Ps 2 4 1 Qs 16.0 threshold 3 # of panel fact 0 1 2 PFACTs (0=left, 1=Crout, 2=Right) 2 # of recursive stopping criterium 2 4 NBMINs (>= 1) 1 # of panels in recursion 2 NDIVs 3 # of recursive panel fact. 0 1 2 RFACTs (0=left, 1=Crout, 2=Right) 1 # of broadcast 0 BCASTs (0=1rg,1=1rM,2=2rg,3=2rM,4=Lng,5=LnM) 1 # of lookahead depth 0 DEPTHs (>=0) 2 SWAP (0=bin-exch,1=long,2=mix) 64 swapping threshold 0 L1 in (0=transposed,1=no-transposed) form 0 U in (0=transposed,1=no-transposed) form 1 Equilibration (0=no,1=yes) 8 memory alignment in double (> 0)