2014年高性能计算机用户使用简介_v1[1]

• 用户常用的文件系统
空间 HOME主目录 GPFS空间 公用数据空间 环境变量 $HOME $WORKDIR $DATADIR 说明 quota管理，备份 quota管理，不备份 统一管理
公用软件
临时空间
$APPDIR
$TMPDIR
统一管理
定期删除
– 请使用环境变量访问，如：
• 进入GPFS空间：cd $WORKDIR
配置
说明
32CPU核（3.55GHz） 用户登录 256GB内存 32CPU核（3.55GHz） 计算任务 128GB内存 32CPU核（3.55GHz） 计算任务 256GB内存 32CPU核（3.55GHz） 前后处理等任务 256GB内存 32CPU核（3.55GHz） 运行Loadleveler等 256GB内存 软件服务 8CPU核（3.6GHz） 32GB内存 用于安装、维护、控 制节点
具体使用帮助参考： /demo/note3.html
作业卡的编写
• #@ network.MPI = sn_all,shared,us
• #@ tasks_per_node = 32
– 每个节点4个CPU共32个CPU核，即每个节点可使用32个CPU核
中国气象局
高性能计算机系统 使用简介
2014年7月
内容
系统概况
系统登录
文件系统
公有软件/公用数据
系统环境
作业管理
系统概况
节点分类
登录节点 计算节点 大内存计算节点 前后处理节点 服务节点 管理节点
服务器
P460 P460 P460 P460 P460 P750
数量
4 481 58 15 2 2
作业管理
• 现有两个作业集群（子系统）：cl_cma，cl_cmb • 常用命令
– 提交作业：llsubmit
• llsubmit [cmdfile] //提交作业
– 显示作业状态：llq
• • • • llq -X all //显示两个子系统的作业情况 llq -X cl_cma //显示子系统1 cl_cma的作业情况 llq -X cl_cmb //显示子系统2 cl_cmb的作业情况 llq -X all -l [jobid] //通过作业号查看某一作业的详细信息
示例１：串行作业
• • • • • • • • • • • • #!/bin/ksh # @ job_type = serial # @ initialdir = /u/sunjing/loadl # @ comment = WRF (模式名称） # @ input = /dev/null # @ error = ./out/$(jobid).err # @ output = ./out/$(jobid).out # @ executable = example1 # @ notification = complete # @ notify_user = sunjing@cma18n01 # @ class = serial # @ queue
编译环境
• Fortran compiler(V14.1)
– xlf, (xlf90, xlf95,) serial code
– mpxlf, (mpxlf90, ..)
– xlf_r, (xlf90_r)
MPI code
OpenMP
• C compiler(V12.1)
– xlc, …, mpxlc, …, xlc_r
上图表为子系统1（Uranus）的情况，子系统2（Neptune）与子系统1 的配置完全相同
3
系统登录
• 系统登录
– 域名登陆： （子系统1）
或 （子系统2）
– 均衡负载：各系统配置3个登录节点，根据节点的负载，自动分 配到较空闲的一个
• 如用户lijuan提交的作业ID号为cma20n02.23510.0，则创建的临时空间目录为：
lijuan/cma20n02.23510
– 用户在作业的脚本（cmd文件）中可通过$JOBDIR环境变量来使用 ，不需单独设置此变量 – 用户作业结束时生成结束标记 – 根据标记删除3天前结束的作业的临时目录
– 取消作业：llcancel
• llcancel -X [cluster_name] [jobid] //通过子系统名和作业号删除某一作业
– 查看队列信息：llclass
• llclass -X {cluster_name | all} //查看某一个子系统或所有子系统的队列资源情况
• man Command 查询详细命令使用方面
• 数据格式： NetCDF、GRIB1、GRIB2、BIN等 • 当前数据量：150TB+
系统环境变量
• 环境变量设置
– 用户登录后缺省的shell是ksh
– 通过$HOME/.profile和$HOME/.kshrc文件设置环境变量
• 系统环境变量
– export OBJECT_MODE=64 – export PATH=$APPDIR/cdo/bin:$APPDIR/grads/bin:$APPDIR/ferret/bin:$APPDIR/hdf4 /bin:$APPDIR/hdf5/bin:$APPDIR/netcdf/bin:$APPDIR/nco/bin:$APPDIR/ncview/ bin:$APPDIR/wgrib/bin:$APPDIR/wgrib2/bin:$APPDIR/ghostscript/bin:$APPDIR /imagemagick/bin:$APPDIR/ncl/bin:$PATH – export NCARG_ROOT=$APPDIR/ncl – export GADDIR=$APPDIR/grads/data – export GASCRP=$APPDIR/grads/lib – export LIBPATH=$APPDIR/netcdf/lib:$APPDIR/udunits/lib:$LIBPATH
示例２：MPI作业
• • • • • • • • • • • • • • • #!/bin/ksh # @ job_type = parallel # @ initialdir = /u/sunjing/loadl # @ comment = WRF (模式名称） # @ error = ./out/$(jobid).err # @ output =./out/$(jobid).out # @ notification = complete # @ notify_user = sunjing@cma18n02 # @ network.MPI = sn_all,shared,us # @ node = 6 # @ tasks_per_node = 32 # @ class = normal # @ queue export TARGET_CPU_LIST=-1 poe launch wrf.exe (launch用于将进程自动绑定到CPU，会提高性能）
谢 谢！
与业务合用资源，优先级低于业务作业，业务高峰时 间将被抢占，墙钟时间1小时 串行队列
业务串行队列
serial
serial_op
5（256GB）
2 （256GB）
160
64
作业管理
• 调度策略
– 用户作业将被系统自动分配到合适的子系统运行 – 各class的优先级别一样； – 同一class，如果不指定墙钟时间，系统认为优先级别一样，先来先服 务； – 如指定的墙钟时间不一样，认为墙钟时间短的优先级高。
公用软件
• 安装目录：$APPDIR • 已安装：
– cdo-1.6.0、cmor-2.7.1、curl-7.30.0、expat-2.1.0、ferret-6.3、 fftw-3.3.3、ghostscript-9.04、grads-1.8、grads-2.0.2、
grib_api-1.9.18、netcdf-4.1.3、ncl-6.2.0等
• 节点命名
– cm{a|b}FNnNN
– {a|b}：子系统1或子系统2；FN：机柜号；NN：机柜内节点编号
– 登录节点： cma18n01, cma18n02, cma19n03 cmb18n01,cmb18n02,cmb19n03
系统登录
• 修改口令
– 在登录节点执行：$passwd
文件系统（1）
• #@ comment=模式名称
– 关键字必须写 – “#@ comment = Others ”将导致作业无法提交运行 – 有新增模式或应用，请联系信息中心高性能计算室管理员
• #@ jobtype=?? (serial 或parallel)
– 执行交互作业时选择serial队列
• 请使用loadleveler提交作业！
与业务合用资源，优先级低于业务作业，业务高峰时 间将被抢占，墙钟时间1小时 串行队列
业务串行队列
serial
serial_op
3（256GB）
4 （256GB）
96
128
队列基本设置-cl_cmb
队列名称 normal （缺省队列） largemem operation 72 （128GB） minijob 2304 计算节点数量 300+ （128GB） 70（256GB） CPU核数 9999+ 2240 普通并行作业队列 大内存队列，用于对内存需求量大的作业运行。 业务/准业务作业专有队列 说明
示例3：OpenMP+MPI作业
• • • • • • • • • • • • • • • #!/bin/ksh # @ job_type = parallel # @ initialdir = /u/sunjing/loadl # @ comment = WRF (模式名称） # @ error = ./out/$(jobid).err # @ output =./out/$(jobid).out # @ notification = complete # @ notify_user = sunjing@cma18n02 # @ network.MPI = sn_all,shared,us # @ node = 6 # @ tasks_per_node = 32 # @ class = normal # @ queue export TARGET_CPU_LIST=-1 poe hybird_launch wrf.exe (hybird_launch用于将进程自动绑定到CPU ，会提高性能）