华师大高性能计算集群作业调度系统简明手册
某高校高性能集群部署文档
某高校高性能计算集群部署文档（瘦节点部分）2012年11月25日目录1.文档更新历史........................................................................................................ 错误!未定义书签。
2.集群概览 (5)3.准备工作 (5)3.1.对所有节点的内置硬盘建立RAID (5)3.2.收集物理信息 (6)4.部署管理节点操作系统 (6)4.1.安装操作系统 (6)4.2.系统安装完之后配置 (7)5.安装配置Platform HPC集群管理软件 (8)5.1.安装包准备 (8)5.2.执行安装程序 (8)5.3.安装过程中的操作 (8)6.使用Platform HPC做操作系统分发 (9)6.1.配置网络接口 (9)6.2.为刀片机HS22操作系统分发 (12)6.3.对刀片组HS12操作系统分发 (16)6.4.对IO节点做系统分发 (20)6.5.对Login节点做系统分发 (23)7.使用Platform HPC维护操作系统分发 (26)7.1.移除已经部署的操作系统 (26)7.2.重新部署操作系统 (26)7.3.部署新的机器 (27)7.4.维护部署模板内容 (28)8.GPFS配置方法 ...................................................................................................... 错误!未定义书签。
8.1.XIV近线存储划分 ..................................................................................... 错误!未定义书签。
8.2.XIV存储驱动安装 ..................................................................................... 错误!未定义书签。
高性能计算系统(HPC)软件实施方案
2：高性能计算平台——分系统组成
高性能计算平台——仿真计算分系统
双路计算服务器、双路GPU计算服务器、16路胖节点计算服务器组成。
硬件组成
软件配置
CAE高性能计算软件由于其计算方式的不同，对CPU、内存、IO等的要求也不同，具体分为三大类：IO密集型，通讯密集型和支持GPU加速类型。
考虑因素
应用软件兼容性Linux和Windows的互兼容性CPU兼容性厂家对操作系统的支持时间
操作系统
安装方式
Windows
图形服务器本地硬盘配置一块系统盘，全部空间都分配给c:盘。安装过程中选择带“图形界面的Windows Server”。
Linux
2路服务器本地配置一块系统盘。16路服务器本地多块配置一块系统盘。操作系统安装过程中选择“Desktop User”模式，安装完成后配置Yum，Yum源放置到/apps/rhel68下面，方便后续随时增减安装包。配置PAM动态认证插件，实现动态SSH配置，提升系统安全性。每台机器需要配置IB驱动和并行运行环境，保证并行计算可以通过IB口进行通信。并行运行环境需要配置MPICH、Open MPI和Intel MPI几种，并优先使用Intel MPI。
/opt/xcat
-
集群管理软件
/apps/<appname>
C:\(本地盘)
应用软件安装位置
计算数据区
/data
/data/<密级>/<user>
S:\（映射盘）
用户计算作业临时存储空间，不同密级的任务数据文件分开
存储规划
3：项目实施——集群时钟同步
高性能计算节点
高性能计算节点1、采用SCalabIe架构可扩展处理器，处理器数至少需要2个，单处理器核心数量至少28个，工作频率至少2.6GHz；总计需要提供不低于4.65万亿次每秒的浮点计算能力；2、数据指标：本系统采用高效数据系统，可分配容量每个处理核心至少需要4.5GB的容量；3、高速计算模块：为提高系统的运行效率，需要额外增加加速模块，加速模块采用主动散热模式，供电环境由本系统统一供应；加速模块至少需要提供71万亿次每秒的单精度浮点计算能力，加速缓存空间总共需要48GB的容量，加速模块2个，最大支持10个，需配置外部专用散热套件；4、系统存储：不少于1块企业级SSD系统盘，单块硬盘容量248OGB系统容量；5、数据存储：不少于1块企业级SSD硬盘，单块硬盘容量多.92TB存储容量；6、PCIE扩展槽：≥12个PCle4.0插槽;7、网络：双口万兆光口；可远程管理9、电源：为了确保平台的稳定可靠运行，需要提供叁200OW的2+2冗余供电模块；10、数据传输模块：支持2片运算卡通过NVLink链接；11、标配SMP模块：模块可提供B/S架构的完全中文化的显示界面，可支持采用一键式安装设计，能够以图表的方式完整监控系统CPU用量（含比例）、系统内存用量（含比例）、内存剩余量、系统硬盘用量（含比例）、硬盘剩余量、系统网卡状态，如即时的上传/下载速度、系统运算卡用量、运算卡剩余量、系统下各张运算卡卡状态：型号、插槽位置、显存使用量、电压使用量、温度、风扇转速、负载状况等指标、图标显示界面刷新率为秒级；模块国产并提供软件著作权证书；12、4U机架式服务器13、提供中国国家强制CeC认证证书；14、设备生产厂商提供质量管理体系：GB/T19001-2016/IS09001：2015标准认证证书；15、提供完善的培训服务，包括但不限于通过DIGrrS.TensorRT,了解和实践基于深度神经网络的深度学习工作流程，解决图像分类、目标检测和神经网络部署的问题，动手实验课程基于最新的Al框架，SDKs和GPU技术，为保证培训专业性，设备生产厂商需具有NVIDIA认证的DLI 讲师，需提供讲师签约文件及授权文件复印件证明；16、服务器要求全新，产品为全配置装箱，在厂商整机配置清单上包含全部配件，必须保证产品是同一批次出厂，通过官方的服务热线可查询到配置详细信息，必须和采购要求匹配一致。
高性能计算集群(HPC_CLUSTER)
高性能计算集群(HPC CLUSTER)1.1什么是高性能计算集群?简单的说，高性能计算(High-Performance Computing)是计算机科学的一个分支，它致力于开发超级计算机，研究并行算法和开发相关软件。
高性能集群主要用于处理复杂的计算问题，应用在需要大规模科学计算的环境中，如天气预报、石油勘探与油藏模拟、分子模拟、基因测序等。
高性能集群上运行的应用程序一般使用并行算法，把一个大的普通问题根据一定的规则分为许多小的子问题，在集群内的不同节点上进行计算，而这些小问题的处理结果，经过处理可合并为原问题的最终结果。
由于这些小问题的计算一般是可以并行完成的，从而可以缩短问题的处理时间。
高性能集群在计算过程中，各节点是协同工作的，它们分别处理大问题的一部分，并在处理中根据需要进行数据交换，各节点的处理结果都是最终结果的一部分。
高性能集群的处理能力与集群的规模成正比，是集群内各节点处理能力之和，但这种集群一般没有高可用性。
1.2 高性能计算分类·高性能计算的分类方法很多。
这里从并行任务间的关系角度来对高性能计算分类。
1.2.1 高吞吐计算(High-throughput Computing)有一类高性能计算，可以把它分成若干可以并行的子任务，而且各个子任务彼此间没有什么关联。
因为这种类型应用的一个共同特征是在海量数据上搜索某些特定模式，所以把这类计算称为高吞吐计算。
所谓的Internet计算都属于这一类。
按照Flynn的分类，高吞吐计算属于SIMD（Single Instruction/Multiple Data,单指令流-多数据流）的范畴。
1.2.2 分布计算(Distributed Computing)另一类计算刚好和高吞吐计算相反，它们虽然可以给分成若干并行的子任务，但是子任务间联系很紧密，需要大量的数据交换。
按照Flynn的分类，分布式的高性能计算属于MIMD（Multiple Instruction/Multiple Data，多指令流-多数据流）的范畴。
LSSC-IV高性能计算机集群系统简介
LSSC-IV 高性能计算机集群系统简介“科学与工程计算国家重点实验室”的LSSC-IV四号集群系统，于2017年 11月建成，12月投入使用。
LSSC-IV集群基于联想深腾8810系统构建，包含超算和大数据计算两部分。
计算集群主体部分包含408台新一代ThinkSystem SD530模块化刀片(每个刀片包括2颗主频为2.3GHz的Intel Xeon Gold 6140 18核Purley处理器和192GB内存)，总共拥有14688个处理器核，理论峰值性能为1081TFlops，实测LINPACK性能703TFlops。
系统还包括1台胖结点（Lenovo X3850X6服务器，2颗Intel Xeon E7-8890 V4处理器, 4TB内存,10TB本地存储），4个KNL结点（1颗Intel Xeon Phi KNL 7250处理器，192GB内存）以及管理结点、登陆结点等。
集群系统采用Lenovo DS5760存储系统，磁盘阵列配置双控制器，8GB缓存，主机接口8个16Gbps FC接口，60块6TB NL_SAS盘作为数据存储，裸容量共计360TB，系统持续读写带宽超过4GB/s磁盘阵列通过2台I/O 结点以GPFS并行文件系统管理，共享输出给计算结点。
大数据计算部分包括7台GPU服务器（分别配置NVIDIA Tesla P40、P100和V100 计算卡）和由8台Lenovo X3650M5 服务器组成的HDFS辅助存储系统。
集群系统所有结点同时通过千兆以太网和100Gb EDR Infiniband 网络连接。
其中千兆以太网用于管理，EDR Infiniband 网络采用星型互联，用于计算通讯。
LSSC-IV 的操作系统为：Red Hat Enterprise Linux Server 7.3。
LSSC-IV 上的编译系统包括Intel C,Fortran 编译器，GNU编译器， Intel VTune 调试器等。
高性能计算(HPC)资源管理和调度系统解决方案
网络安全：整个系统只需要在防火墙上针对特定服务器开放特定端口，就可以实现正常的访问和使用，保证了系统的安全性。数据安全性：通过设定ACL（访问控制列表）实现数据访问的严格控制，不同单位、项目、密级用户的数据区严格隔离，保证了数据访问的安全性。用户任务的安全性。排他性调度策略，虚拟机隔离用户账户的安全性。三员管理：系统管理员、安全管理员、审计管理员三个权限分离，互相监督制约，避免权限过大。审计系统。保证所有与系统安全性相关的事件，如：用户管理（添加、删除、修改等）、用户登录，任务运行，文件操作（上传，下载，拷贝，删除，重命名，修改属性）等都能被记录，并通过统计分析，审查出异常。密级管理。支持用户和作业的密级定义。
基于数据库的开放式调度接口
案例 用户自定义调度策略：需要根据用户余额来对其作业进行调度，如果用户余额不足，该用户的作业将不予调度。 解决方案： 针对上述需求可以自定义作业的准备阶段，在数据库中为该阶段定义一存储过程用来检测用户余额信息表，根据作业所对应的用户余额来返回结果，例如： Step 1. 根据数据库开放schema配置该自定义调度策略 表 POLICY_CONF:POLICY_NAME | POLICY_ENABLEmy_policy_01 | true Step 2. 为自定义调度策略my_policy_01自定义作业准备阶段 表JOB_PREPARE_PHASE: POLICY_NAME | READY_FUNC | REASON_IDX my_policy_01 | check_user_balance | 4 check_user_balance 为方案中所描述的存储过程，其接口需要满足作业准备阶段自定义的接口要求，其实现细节如下：
现有的LSF集群系统不用作任何改动，包括存储、操作系统、LSF、应用程序和二次开发的集成脚本等。大大降低了系统的整合的难度和工作量。也有利于保护现有的投资。同时考虑到了作业以及相关数据的转发。降低了跨集群作业管理的难度。数据传输支持文件压缩和断点续传，提高了作业远程投送的效率和稳定性。支持https加密传输，安全性更强。
高性能计算集群的配置与管理指南
高性能计算集群的配置与管理指南随着科技的发展和计算需求的增加，高性能计算集群成为了解决复杂计算问题的有效工具。
配置和管理一个高性能计算集群需要考虑各种因素，包括硬件、软件和网络方面的要求。
本文将介绍高性能计算集群的配置和管理指南，帮助您构建和维护一个高效的计算环境。
一、硬件配置在配置一个高性能计算集群时，首先需要考虑的是硬件方面的需求。
以下是您应该关注的一些关键要素：1.服务器规格：选择适合您计算需求的服务器规格。
您可以根据计算密集型或存储密集型的任务来选择具有较高的CPU和内存的服务器。
同时，一个具有良好的网络连接的集群也是必要的。
2.网络交换机：选择高质量的网络交换机以确保高性能的数据传输。
对于规模较小的集群，千兆以太网可能足够，但对于大规模集群，您可能需要考虑使用万兆以太网或光纤通信技术。
3.存储系统：合理选择存储系统以满足数据存储和访问的需求。
对于大规模的数据集，您可以考虑使用分布式文件系统，如Hadoop分布式文件系统（HDFS）或GlusterFS。
二、软件配置正确的软件配置对于高性能计算集群的操作和性能至关重要。
以下是您应该注意的一些关键软件配置方面的要素：1.操作系统：选择适合您的需求的操作系统。
Linux是一个常见的选择，因为它具有广泛的开源软件支持，并提供了强大的性能和稳定性。
2.调度器：选择一个合适的调度器来管理和分配集群上的作业。
Slurm、PBS Pro和SGE（Sun Grid Engine）是常见的调度器选择，它们可以帮助您合理地分配计算资源，提高集群的利用率。
3.并行计算库：使用并行计算库可以加速计算任务的执行。
常用的并行计算库包括OpenMP、MPI和CUDA。
根据您的任务需求，选择合适的并行计算库来优化代码执行效率。
三、集群管理高性能计算集群的管理是确保其正常运行的关键。
以下是您应该关注的一些关键管理方面的要素：1.集群监控：使用适当的监控工具来实时监测集群的状态。
高性能计算集群的配置与使用教程
高性能计算集群的配置与使用教程高性能计算（High Performance Computing，HPC）集群是一种强大的计算工具，能够处理大规模的数据和执行复杂的计算任务。
本文将介绍高性能计算集群的配置和使用方法，并为您提供详细的教程。
1. 配置高性能计算集群配置高性能计算集群需要以下几个步骤：1.1 硬件要求选择适合的硬件设备是配置高性能计算集群的第一步。
您需要选择性能强大的服务器，并确保服务器之间能够互相通信。
此外，还需要大容量的存储设备来存储数据和计算结果。
1.2 操作系统安装选择合适的操作系统安装在每个服务器上。
常用的操作系统有Linux和Windows Server，其中Linux被广泛使用于高性能计算集群。
安装操作系统后，您还需要配置网络设置、安装必要的软件和驱动程序。
1.3 服务器网络连接为了保证高性能计算集群的正常工作，需要配置服务器之间的网络连接。
您可以选择以太网、光纤等网络连接方式，并确保每个服务器都能够互相访问。
1.4 集群管理软件安装为了方便管理和控制高性能计算集群，您需要安装相应的集群管理软件。
常用的集群管理软件有Hadoop、Slurm和PBS等。
这些软件可以帮助您管理任务队列、分配资源和监控集群的运行状态。
2. 使用高性能计算集群配置完高性能计算集群后，您可以开始使用它进行计算任务。
以下是使用高性能计算集群的一般步骤：2.1 编写并提交任务首先，您需要编写计算任务的代码。
根据您的需求，可以选择编写Shell脚本、Python脚本或其他编程语言的代码。
编写完毕后，您需要将任务提交到集群管理软件中。
2.2 监控任务状态一旦任务提交成功，您可以使用集群管理软件提供的监控功能来跟踪任务的状态。
您可以查看任务的进度、资源使用情况和错误信息等。
2.3 调整任务与资源如果您发现任务需要更多的计算资源或运行时间，您可以根据需要调整任务的资源配置。
集群管理软件通常提供了资源调整的功能，您可以根据任务的实际情况进行调整。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
华师大高性能计算集群作业调度系统简明手册
华师大高性能计算集群采用曙光的Gridview作业管理系统，其中集成了torque+Maui，是十分强大的作业调度器。
下面将依次介绍华师大的的作业调度系统的设定，使用，以及相关作业调度命令
一：华师大作业调度系统队列策略设定
由于华师大的超级计算中心共分三期建设，其作业调度设定较为复杂：
CPU 节点名
(pestat
可查看) 节点Core
个数
队列备注
第一期E5450 b110-b149
b210-b229
8(2*4) mid1,huge
第二期E5640 b310-b339
b410-b439 8(2*4) mid2,
hugeA(需申请)
其中hugeA队列提交后
需经批准
第三期X5675
,GPU(c2050
)
a110-a149
a210-a249
a310-a339
a410-a447
12(2*6) mid3,small,ser
ial,gpu
hugeB(需申请),
shu(私有队列)
itcs(私有队列)
其中hugeB队列提交后
需经批准
shu和itcs为私有队列，
不向公共用户开放
在命令行输入cchelp 可以查看详细的华师大的作业调度系统策略，如下
二：作业调度系统的使用
华师大计算中心共有两个登陆节点login(59.78.189.188)和login1(59.78.189.187)，供用户登陆提交相关作业。
一般来说，可直接使用命令行提交作业。
不过为了规范和易于管理，建议使用PBS脚本进行作业提交，提交命令为qsub **.pbs(pbs脚本文件)。
下面将简要的分别给出串行作业和并行作业的PBS样本(已放至/home/目录下)，仅供参考，更多高级功能，请自行查阅相应手册。
1.串行作业pbs脚本样本
#PBS -N test \\表示该作业名称为test。
#PBS -l nodes=1:ppn=1 \\表示申请1 个节点上的1 颗CPU。
#PBS -j oe \\表示系统输出，如果是oe，则标准错误输出(stderr)和
标准输出(stdout)合并为stdout
#PBS –q serial \\表示提交到集群上的serial 队列。
. /job>job.log 为提交的作业。
2.并行作业PBS脚本样本
并行作业脚本与串行类似，只需指定相应的mpi，并采用infiniband网络相应的格式即可。
如下图，
上图中使用的是intel mpi, 略作修改即可使用openmpi,如下图：
三：作业调度系统相关命令
1.查看队列中的作业状态：qstat
利用qstat可以查看作业的运行状态：
输入以上命令后，将会有如下输出：
以上几列的含义分别为：作业号、作业名、用户名、使用的时间、状态、
队列名。
其中状态R表示运行中，Q表示排队中，H表示Hold。
2.终止作业：qdel
如果一个用户想终止一个作业，可以用qdel+作业号来取消。
例如：qdel 3470
3.查看集群整体负载情况：pestat
如下图
4.显示节点信息：pbsnodes
利用pbsnodes可以显示系统各个节点的信息，比如空闲（free）、当机
（down）、离线（offline）。
例如：显示所有空闲的节点：
pbsnodes -l free
更多关于PBS的命令和高级用法，例如checkjob,qhold,qorder等，请自行查阅相关手册。