Clussoft高性能软件使用手册

Clussoft高性能软件使用手册

目录

1 Clussoft简介 .............................................................................................................................- 3 -

1.1 打印帮助说明................................................................................................................- 3 -

1.2 查看所有可用软件包....................................................................................................- 3 -

1.3 查看软件组....................................................................................................................- 4 -

2 软件安装...................................................................................................................................- 6 -

2.1 基本配置........................................................................................................................- 6 -

2.1.1 设置安装根目录.................................................................................................- 6 -

2.1.2 初始化集群环境.................................................................................................- 6 -

2.2 根目录结构说明............................................................................................................- 6 -

2.3 编译器安装说明............................................................................................................- 7 -

2.4 MPI安装说明.................................................................................................................- 7 -

2.5 数学库安装说明............................................................................................................- 7 -

2.6 测试工具安装说明........................................................................................................- 8 -

2.7 应用软件安装说明........................................................................................................- 8 -

2.8 安装软件组....................................................................................................................- 9 -

2.9 查看可用软件............................................................................................................. - 10 -

3 软件使用说明........................................................................................................................ - 12 -

3.1 设置软件环境变量..................................................................................................... - 12 -

3.1.1 手动加载.......................................................................................................... - 12 -

3.1.2 Moudle管理 ..................................................................................................... - 12 -

3.2 clusbench使用说明..................................................................................................... - 12 -

3.2.1 查看帮助.......................................................................................................... - 12 -

3.2.2 单机Linpack测试........................................................................................... - 13 -

3.2.3 整机Linpack测试........................................................................................... - 14 -

3.2.4 内存测试.......................................................................................................... - 14 -

3.3 appbench使用说明 ..................................................................................................... - 15 -

3.3.1 查看帮助.......................................................................................................... - 15 -

3.3.2 运行lammps测试 ........................................................................................... - 15 -

4 Clussoft开发说明 .................................................................................................................. - 18 -

4.1 架构说明..................................................................................................................... - 18 -

4.2 开发说明..................................................................................................................... - 18 -

1Clussoft简介

Clussoft可以很方便的部署HPC比较流行的软件，目前该功能已集成在Gridview-3.2.*上，为了与Gridview 中的统一，我们重新编写了Clussoft，使用方式上与yum 比较类似，相比于上一版扩展性更强。

目前，Clussoft提供的自动化软件安装主要分为编译器、数学库、MPI、测试工具和应用软件等五大分类，为了简化安装又从上述几大类软件选取了部分软件分成Applications, base和benchmark三类软件组。下面就最新版clussoft的使用作详细说明。

1.1打印帮助说明

./clussoft --help # 查看基本帮助信息

1.2查看所有可用软件包

./clussoft -a

结果如下图所示：

第一列为软件名称和版本，第二列为软件分组，第三列为安装类型（share为共享安装，安装在共享目录下，如/public; distributed 为分布式安装，每个节点安装一份，放在本地磁盘）。

1.3查看软件组

Clussoft提供类似yum组安装方式，可一键完成某个组中所有软件的安装，例如，./clussoft -L

目前，clussoft分为Applications、base和benchmark三个分组，Applications包含常用应用软件，例如分子动力学、量子化学、开发工具和气象海洋等软件；base包含常用编译器、MPI和数学库等，benchmark包含集群性能测试工具包，如Linpack测试和应用测试。

2软件安装

2.1基本配置

2.1.1设置安装根目录

软件默认安装目录为/public/software, 安装过程若要指定安装目录，可通过-d参数指定软件安装根目录路径，例如，

./clussoft -d path-to-install/

注意：要保留指定目录下最上级目录下的.gridview目录，切勿删除，该目录有安装软件的记录文件。

2.1.2初始化集群环境

本节将要安装集群批量管理工具pssh和module，在此之前，准备待部署的集群节点列表nodelist，执行命令，

./clussoft -p nodelist

执行成功后，将会在nodelist中所含节点上部署module管理工具，方面应用程序环境变量管理。

2.2根目录结构说明

Clussoft根据软件分类会在根目录生成相对应的次级目录，例如，根目录为/public/software，则其根目录包含以下次级文件夹，

apps benchmark compiler mathlib modules mpi profile.d

其中，apps对应着应用软件的存储目录，benchmark对应着测试工具的存储目录，compiler为编译器安装目录，mathlib是各种数学库的安装目录，modules存储已安装应用软件的module配置文件，mpi是各种MPI实现的安装目录，profile.d包含所有已安装软件的环境变量配置文件。

2.3编译器安装说明

Clussoft集成对Intel编译器和GNU编译器的自动化部署。以安装Intel编译器为例，./clussoft -i intel-2015.2.164

执行成功后，Intel编译器会安装在{根目录}/ compiler/intel/composer_xe_2015.2.164/ 目录下，相应环境变量文件写入{根目录}/profile.d/compiler_intel-composer_xe_2015.2.164.sh。

2.4MPI安装说明

Clussoft集成对IntelMPI, MPICH, MV APICH, OPENMPI的自动化部署。

以安装Intel编译器编译安装OpenMPI-2.0.0为例，可执行，

./clussoft -i openmpi-intel-2.0.0## 安装Intel编译器编译的OpenMPI

安装成功后，OpenMPI会安装在{根目录}/mpi/openmpi/2.0.0/intel目录下，相应环境变量文件写入{根目录}/profile.d/mpi_openmpi-2.0.0-intel.sh。

2.5数学库安装说明

Clussoft集成对FFTW2/3, GSL, HDF5, HDF, LAPACK, NETCDF等的自动化部署。

以安装双精度FFTW3为例，可执行，

安装成功后，FFTW3会安装在{根目录}/mathlib/fftw/3.3.4/double目录下，相应环境变量文件写入profile.d/mathlib_fftw-3.3.4-double.sh。

2.6测试工具安装说明

Clussoft集成HPL, IMB，i7z, IOZONE, LMBENCH, MPIGRAPH, STREAM等常用测试软件的自动化部署，并集成自动化测试工具appbench和clusbench。

为方便集群性能测试和后期维护，可一键安装所有测试软件，执行

./clussoft -I benchmark

执行成功后，所有测试软件会安装在{根目录}/benchmark/目录下。

2.7应用软件安装说明

Clussoft集成分子动力学、量子化学、生命科学、气象环保等开源软件，以及R, Perl 和Python开发包的自动化部署，安装前需要下载指定版本的源码包，并上传到Clussoft对应软件的src目录下。

例如，预安装开源量子化学软件OpenMX,

首先，进入OpenMX官方网站https://www.360docs.net/doc/5019342077.html,，下载openmx-3.8源码包openmx3.8.tar.gz；

其次，将源码包openmx3.8.tar.gz上传至apps/OpenMX/src/目录下；

最后，执行：

./clussoft -i OpenMX

安装成功后，软件会安装在{根目录}/apps/openmx/3.8/目录下，同时生成一个job.pbs作

业提交的脚本文件。

Clussoft所支持的软件包下载地址和指定版本，可查看下表:

2.8安装软件组

Clussoft支持Applications, base和benchmark三种软件组的一键部署, 以安装base为例，./clussoft -I base ## 安装base组所有软件

执行成功后，base所包含的软件列表会根据软件分类安装在不同目录下，相应的环境变量文件安装在{根目录}/profile.d目录下。

2.9查看可用软件

支持两种方式，查看本集群已安装的软件列表，

方法一，使用Clussoft命令，执行

./clussoft -l ## 查看所有已安装的软件包信息

软件包安装信息包含软件名称、分组、安装类型、安装目录、软件环境变量文件和安装用户，普通用户可查看root和本用户安装的所有软件。

方法二，使用module管理命令，执行

module avail

3软件使用说明

3.1设置软件环境变量

3.1.1手动加载

对于root超级用户可设置开机自动加载，即，选择{根目录}/profile.d目录下环境变量文件，将其拷到/etc/profile.d目录下；

对于普通用户，使用某个软件，临时加载环境变量，可以执行，

source {根目录}/profile.d/*.sh

也可以将上述命令，写入~/.bashrc文件内，设置为该用户默认环境变量；

3.1.2Moudle管理

本节可参考module机制基本命令，即执行，man module查看帮助。

3.2clusbench使用说明

clusbench是一个简单易用的集群测试工具包，集成了一些常见的高性能测试项目，比如单机Linpack、整机Linpack、Stream测试等。clusbench 会根据集群节点信息自动生成参数，通过简单几条命令就会测试出不错的Linpack结果。

最新版本为：clusbench-1.3。

3.2.1查看帮助

./clusbench -h

3.2.2单机Linpack测试

1)编辑nodelist添加需要测试的节点主机名

要保证nodelist 中节点所有的CPU 型号、内存大小、操作系统版本一致，这样我们才能根据CPU 峰值和内存来计算Linpack 参数。

2)执行单机Linpack 命令

./clusbench -s

在这个过程中需要你确认Linpack 参数，如果默认的参数不合适，请输入相关参数。

如果直接使用我们给出的默认参数，而不想再次确认，直接执行

./clusbench -s -q

3)查看Linpack结果

在log目录下有各节点Linpack测试输出文件，tail 查看即可，例如，

HPL_node1_20160719-1013.log

3.2.3整机Linpack测试

1)编辑nodelist添加需要整机测试的节点名

2)执行clusbench整机测试Linpack

./clusbench -t -q # 使用默认参数测试整机Linpack

3)查看最终结果

在log目录下有整机Linpack测试输出文件，tail 查看即可，例如，tHPL_20160719-1006.log

3.2.4内存测试

clusbench使用Stream测试内存带宽

1) 编辑nodelist文件

2) 执行clusbench -m命令来自动测试内存带宽

测试首先会检查内存信息，测试结束会给出每个节点的性能信息，比如下图输出信息可得出admin1带宽为80GB/s

3.3appbench使用说明

开发appbench测试工具目的在于，使用标准算例测试集群运行业务程序的性能，目前支持分子动力学程序lammps和量子化学软件包vasp的自动化测试。使用appbench前需要确保安装module功能[参考2.1.2]，用于加载应用程序环境变量。

最新版本为：appbench-1.0。

3.3.1查看帮助

./appbench -h

输出参数和说明内容如下，

-help，-h print this help # 打印帮助

--run-vasp，-rV running vasp demo # 测试vasp算例

--run-lammps，-rL running lammps demo # 测试lammps算例

--kill，-k Stop bench jobs # 终止计算任务

3.3.2运行lammps测试

1)编辑nodelist，添加需要的计算节点，节点数目为偶数N，程序会按照N/2递减的

方式依次分配节点资源进行测试，最少需要2个节点。

2)编辑配置文件config，选择需要测试的程序和算例

例如，选在lammps算例1

#!/bin/bash

#============================================================================== # RUN_ID stands for the benchmark ID, ex., lammps - [ 1 for 01_Lammps ] ,

# vasp - [ 2 for 02_Graphene, 3 for 3_PdNiP, 4 for 4_Fullerene ]

# Which means running lammps with RUN_ID being 1 and running vasp with RUN_ID

# being 2, 3, 4, and once a time is permitted.

#============================================================================== let RUN_ID=1

3)执行测试命令

./appbench -rL

4)查看测试结果

目录log会输出任务的日志文件，可使用tail查看，例如

1_Lammps.4.20160928

任务总计算时间会输出在results目录下，使用cat可查看结果，例如

1_Lammps.4.20160928

lammps测试算例4节点运行elapsed时间为190秒。

lammps测试算例2节点运行elapsed时间为373秒。

4Clussoft开发说明

4.1架构说明

Clussoft依据软件功能，在根目录下有apps、benchmark、compiler、mathlib和mpi五个分组。每个分组拥有各应用软件的次级目录，通过各个应用软件基本信息配置文件https://www.360docs.net/doc/5019342077.html,进行搜索定位。

应用软件目录包含配置文件、安装脚本、源码包和环境检查脚本，开发者需了解各部分功能，可灵活开发工具集。

4.2开发说明

以量子化学软件Abinit为例，开发一键安装程序过程中，需要准备两个配置文件、一个安装脚本文件和源码包。

两个配置文件：clussoft.cfg和https://www.360docs.net/doc/5019342077.html,，用于定义全局变量和软件基本信息。

一个安装脚本：install.sh，自动化安装主要脚本文件，实现软件包编译安装。

源码包：上传应用软件源码包，放置在src目录下。