基于Abaqus软件的并行计算异构集群平台的搭建
高性能计算平台ABAQUS算例
高性能计算平台ABAQUS算例高性能计算平台ABAQUS算例贺有为（******************），June.2010作者简介：贺有为，中南大学材料学院研究生，师从邓运来教授，在邓运来和唐建国老师的指导下研究功能材料与分子的模拟计算。
目录ABAQUS简介 (1)ABAQUS的主要功能 (1)ABAQUS的优点 (2)为什么要利用高性能计算平台运行ABAQUS作业 (2)LINUX系统下ABAQUS应用算例 (3)ABAQUS简介ABAQUS是一套功能强大的工程模拟有限元软件，是材料计算软件里的贵族，其解决问题的范围从相对简单的线性分析到许多复杂的非线性问题。
ABAQUS包括一个丰富的、可模拟任意几何形状的单元库。
并拥有各种类型的材料模型库，可以模拟典型工程材料的性能，其中包括金属、橡胶、高分子材料、复合材料、钢筋混凝土、可压缩超弹性泡沫材料以及土壤和岩石等地质材料。
作为通用的模拟工具，ABAQUS 除了能解决大量结构（应力∕位移）问题，还可以模拟其他工程领域的许多问题，例如热传导、质量扩散、热电耦合分析、声学分析、岩土力学分析（流体渗透∕应力耦合分析）及压电介质分析。
ABAQUS的主要功能ABAQUS为用户提供了广泛的功能，且使用起来又非常简单。
大量的复杂问题可以通过选项块的不同组合很容易的模拟出来。
例如，对于复杂多构件问题的模拟是通过把定义每一构件的几何尺寸的选项块与相应的材料性质选项块结合起来。
在大部分模拟中，甚至高度非线性问题，用户只需提供一些工程数据，像结构的几何形状、材料性质、边界条件及载荷工况。
在一个非线性分析中，ABAQUS能自动选择相应载荷增量和收敛限度。
他不仅能够选择合适参数，而且能连续调节参数以保证在分析过程中有效地得到精确解。
用户通过准确的定义参数就能很好的控制数值计算结果。
ABAQUS的优点ABAQUS软件在求解非线性问题时具有非常明显的优势。
其非线性涵盖材料非线性、几何非线性和状态非线性等多个方面。
建立异构机群系统并行计算环境的一种解决方案
万方数据
计算机工程与应用 !""#$#!
Y%
1 1 建立新 ()*+,-./,0. 文件 ! 1 1 断开 %&’ 服务器连接
（72,< ） （*2- ） ； 895:<,5*2--.*4
通过 %&’ 获取可 用 节 点 机 后 ， 有 两 种 节 点 分 配 方 式 供 用 户选择： 选择在 OPQ RBS’P 列表控件列出的可用节点机， 定义 自己的虚拟机群系统； 直接应用管理平台自动建立的 ()*+,-.I 使得节点位置对用户透明， 用户不必关心哪些节点参 /,0. 文件， 与执行自己的并行任务。此外， 利用 %&’ 还可以对各节点机配 置独占使用或共享等属性， 以满足各类并行计算需求。
/, ,/ MY(8,:+254 E3 \+254-)(.\N ； 4+.[ 获取可执行文件子目录中的相应可执行文件名 862D-)(.53YaH.*X,6 1 Y862D-)(.Y(8,:+254 6*8 I8 Y862D-)(.5 Y(8,:+254 ： [ 远程复制可执行代码 /, <2-.
F F 1 1 读节点机状态
,/ MI- =Y-()*+,-.= I) =Y-()*+,-.= E3 ="=N ； 4+.（$_> ） ： (8,:+2543\.H86 Y(8,:+254 ： ]> $_] \
1 1 显示出错信息并退出执行 !F F .05. C
（54<.66 ， ； =G5： @2 -2<.5 /2?-<>-= ） /86,-4/ （" ） ； .H,4
在集群计算系统上以并行方式运行Gaussian03作业的实现方式
在集群计算系统上以并行方式运行Gaussian03作业的实现方式摘要：针对云南大学高性能计算中心Gaussian03目前没有充分利用曙光集群计算资源的现状，介绍了Gaussian03并行计算的实现方法。
云南大学高性能计算中心Gaussian03使用现状目前中心曙光系统上Gaussian03的使用过程中，由于输入文件中没有选择任何并行执行方式，导致所有作业基本都以线性方式执行，即其效率与单CPU执行没有什么区别，并没有充分利用集群系统的计算资源。
以下对曙光集群系统上Gaussian03作业实现并行计算的方法进行介绍。
Gaussian03并行计算方式的介绍Gaussian是做半经验计算和从头计算使用最广泛的量子化学软件，该软件由很多子程序（Link）构成。
一个Gaussian 03执行程序会启动多个子程序分段执行，其中部分子程序可以并行执行，部分程序只能串行执行，各个子程序的功能及其可并行性请参见附录1。
Gaussian03软件提供了两种并行方式，一种是OpenMP共享内存的并行方式，另一种是TCP-Linda并行方式，也可以两种并行方式混合使用。
具体来讲，共享内存的并行方式只允许作业使用某个单节点上共享内存的多个CPU。
譬如中心曙光系统上，一个作业如果通过共享内存的方式并行执行，则最多只能使用某个计算节点上的4个CPU。
TCP-Linda是专门为Gaussian03设计，实现G03分布式并行的必需程序，它以Linda并行库来实现多机的并行作业。
Linda并行方式允许作业使用多个节点上分布式共享内存的多个CPU。
譬如中心曙光系统上，一个作业如果通过Linda并行执行，若用户权限是中型作业区的8个节点，则作业可以使用8个节点协同作业。
Gaussian 03软件可以在执行任务的时候选择Linda并行方式、共享内存方式或者两种方式的混合。
Gaussian03并行计算的实现Gaussian03提供的两种并行方式或者两种方式的混合，主要通过输入文件中Link0命令来实现：%NProcLinda、%NProcShared、%LindaWorkers（提醒：本中心目前使用的是Gaussian03.D.01版本，在该版本中%NProc命令已经失效），关于Gaussian03软件所有Link0命令的含义及使用方法请参见附录2。
Abaqus小型并行计算集群平台的构建方法
处理器
Intel Core 2 Duo 2.8GHz 处理器
存储节点 闪存/内存 128M FLASH/2G DDRⅡ
硬盘
8 块 SATAⅡ 1TB 企业级硬盘，组建 RIAD 5
网卡
双 1Gb 以太网卡，支持链路聚合与巨型帧
1 台 DELL PowerConnect 2724 千兆以太网络交换机
交换能力
B 组-低负荷下使用 NAS 的 Abaqus 计算：只进行 1 个 Abaqus 计算任务，使用 4CPU，该计算任务使用 NAS 设备来存储共享文件。
C 组-不 使用 NAS 的 Abaqus 计算：只进行 1 个 Abaqus 计算任务，使用 4CPU，该计算任务不使用 NFS 服务， 将文件 直接存储在本地磁盘上。此种情况是最优情况 ，但 调用多个节 点并行计算时必需使用 NFS 服务，即在集群 构架下最优情况不适用于大型的并行计算。
大规模并行计算平台的设计与实现
大规模并行计算平台的设计与实现随着科技的不断进步，大规模并行计算已成为许多领域中的重要技术手段。
在面对越来越复杂的问题和海量的数据时，传统的串行计算已无法满足需求，而并行计算平台的设计与实现则成为解决方案之一。
设计一套高效可靠的大规模并行计算平台需要考虑多个方面，包括硬件架构、通信模型、并行算法以及调度和管理等。
本文将详细介绍这些方面的内容，并探讨如何有效地设计和实现一套大规模并行计算平台。
首先，硬件架构是设计大规模并行计算平台的基础。
常见的硬件架构包括集群、分布式系统和超级计算机等。
集群是由多台计算机相互连接组成的，每台计算机可以独立工作，也可以相互合作完成任务。
分布式系统由多个独立的计算节点组成，节点之间通过网络进行通信和协作。
超级计算机则采用高度集成的多处理器结构，通过高速互联网络实现多个处理器之间的数据交换和共享。
选择适合应用需求的硬件架构是设计高效的并行计算平台的首要任务。
其次，通信模型是并行计算平台中的重要组成部分。
通信模型决定了节点之间的数据传输方式，包括点对点通信和集合通信。
点对点通信是指只有一个发送方和一个接收方之间的通信，而集合通信则涉及多个节点之间的数据交换。
在设计并行算法时，合理选择通信模型可以提高计算效率和减少通信开销。
在并行计算平台中，优秀的并行算法对于提高计算性能起到至关重要的作用。
并行算法是将问题划分为多个子问题，每个子问题由不同的计算节点处理。
在并行计算平台设计与实现过程中，需要选择适合问题特点的并行算法，并设计有效的任务划分和通信策略，以充分利用并行计算资源，提高计算效率。
除了硬件架构、通信模型和并行算法外，调度和管理也是一个重要的方面。
调度和管理包括任务的调度和资源管理两个部分。
任务调度决定了任务在计算平台上执行的顺序和方式，资源管理则负责分配和管理计算平台上的资源。
合理的调度和管理策略可以避免资源浪费、降低任务执行时间，并提高整体的性能。
总结来说，大规模并行计算平台的设计与实现需要考虑硬件架构、通信模型、并行算法以及调度和管理等多个方面。
基于Abaqus软件的并行计算集群平台构建与优化方法
环境１中，计算任务只读写本地磁盘，数据传输 速度快；但在集群系统中，所有ＣＰＵ均能读写的存 储是ＦＡＳ，ＦＡＳ与ＣＰＵ间通过网络传输数据，传输 速度慢。环境２提供文件服务的设备是ＮＡＳ设备， 环境３提供文件服务的设备是服务器，ＮＡＳ设备为 文件服务做了大量的系统优化，因此其文件服务性 能要优于服务器。环境４最符合实际应用环境，与环 境２相比，环境４的耗时增幅为１．３８％。比较４个环 境中的计算耗时，得出：①采用ＮＡＳ设备作为集群 的存储节点，可以提高集群系统的计算速度；②在并 行计算环境下，ＮＡＳ设备的性能稳定。
萼
内存
２ＧＢ ＤＤＲ Ｉ
点
硬盘
８ＴＢ ＲＩＡＤ ５磁盘阵列
网卡 双千兆网卡，支持链路聚合
一１台ＤＥＬＩ。ＰｏｗｅｒＣｏｎｎｅｃｔ ２７２４千兆以太网络交换机 菇交换能力最大４８ Ｇｂｐｓ交换速度
琶链路聚合６个组的链路聚合，每组最多４个端Ｅｌ
””
巨型帧 支持９Ｋ巨型帧
通信性能对集群整体的性能具有决定性的影 响，某些情况下，集群网络的性能是整个集群系统性 能的瓶颈。采用何种网络互连技术连接节点以及如 何优化网络提高网络性能，是构建集群平台的重要 工作内容。
１ 基于Ａｂａｑｕｓ软件的数值模拟并行 计算集群平台的建立
１．１硬件与操作系统
集群是一种通过局域网络将多台计算机连接起 来协同工作的并行计算系统，可以用个人电脑、工作 站或者对称多处理机（ＳＭＰ）来组建。与ＳＭＰ相比， 集群更具有可扩放性（文献［１］）：增加集群中处理器
·收稿日期：２００９—０４—２３；修回日期：２００９—０５．１ ２ 基金项目：国家自然科学基金项目（９０７１５０１８）、国家公益性行业（地震）科研专项（２００８０８０２２）、江苏省高校自然科学重 大基础研究项目（０８ＫＪＡ５６０００１）资助 作者简介：阚圣哲（１ ９８３一），男，硕士研究生。主要从事城市地震灾害预测、并行计算和ＧＩＳ系统集成研究。 Ｅｍａｉｌ：ｋａｎｓｚ．ｃｏｏｌ＠１ ６３．ｃｏｒｎ
ABAQUS的并行求解功能HOWTO-DMP_with_
• Name Resolution:
– MPI codes are sensitive to correct name resolution. DNS (Domain Name Services) or local host resolution should be correctly configured so that the HOSTNAMES of each NODE can be correctly resolved to their respective TCP/IP addresses.
Page 2
Distributed Memory Processing (DMP) with ABAQUS • What is DMP? • How does it work with ABAQUS? • What do I need to do in order to set this up?
– Hardware Considerations – Software Considerations
• Remote Shell:
– MPI codes require either ‘rsh’ (Remote Shell) or ‘ssh’ (Secure Shell) for communication and remote execution of commands between NODES. ABAQUS supports both remote shell implementations. Remote shell (rsh) is the default for ABAQUS. – Remote shell however, is not usually enabled in default installations of current Linux operating systems because it is inherently insecure. Secure shell is enable by default and is the recommended method for remote command execution in all Linux distributions. – Both ‘rsh’ and ‘ssh’ MUST be configured for ‘password free’ authentication between all NODES in a cluster
并行计算：利用多核处理器和集群提高性能
并行计算：利用多核处理器和集群提高性能并行计算是指同时利用多个处理器或计算机集群来并行处理计算任务的一种计算模式。
随着多核处理器和集群计算技术的发展，越来越多的应用程序开始采用并行计算技术来提高性能和效率。
本文将从多核处理器和集群计算的原理、优势及应用领域等方面进行深入分析，并探讨并行计算在未来的发展趋势和挑战。
一、多核处理器的原理及优势1.多核处理器的原理多核处理器是指在一个物理芯片上集成了多个处理核心，每个核心都可以独立执行指令和处理数据。
多核处理器的原理是通过并行处理多条指令来提高系统的性能和效率。
当一个核心在执行一条指令时，其他核心可以同时执行其他指令，从而实现并行处理。
2.多核处理器的优势多核处理器的优势主要体现在以下几个方面：（1）提高性能：多核处理器能够同时执行多个任务，从而大大提高了系统的计算速度和响应能力。
（2）节省能源：相比传统的单核处理器，多核处理器在执行相同任务时可以实现更高的能效比，从而节省了能源。
（3）增强可靠性：多核处理器通过分布式处理和故障容忍等技术可以提高系统的可靠性和稳定性。
（4）降低成本：多核处理器的集成化设计可以降低系统的成本，提高系统的性价比。
二、集群计算的原理及优势1.集群计算的原理集群计算是指通过连接多台计算机来构建一个高性能计算系统，各个计算节点之间通过网络连接进行数据传输和协同计算。
集群计算的原理是通过将大规模的计算任务分解成多个小任务，然后分配给不同的计算节点并行处理，最后将结果合并输出。
2.集群计算的优势集群计算的优势主要体现在以下几个方面：（1）可扩展性：集群计算系统可以根据应用需求动态扩展计算节点，以满足不同规模和复杂度的计算任务。
（2）高性能：集群计算通过并行处理和数据分布式存储等技术可以实现高性能的计算和数据处理。
（3）灵活性：集群计算可以根据应用需求选择不同的计算节点和网络拓扑，以实现不同的计算模式和数据流程。
（4）成本效益：集群计算系统可以通过利用廉价的商用计算机和网络设备来构建高性能的计算平台，从而降低了系统的运维成本和投资成本。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第31卷第5期2011年10月地震工程与工程振动JOURNAL OF EARTHQUAKE ENGINEERING AND ENGINEERING VIBRATION Vol．31No．5Oct．2011收稿日期：2011－05－27；修订日期：2011－07－25基金项目：国家公益性行业（地震）科研专项（200808022）；江苏省自然科学基金项目（BK2008368）作者简介：毛昆明（1985－），男，博士研究生，主要从事轨道交通引起的环境振动方面研究.E-mail ：kun -ming@yeah．net 通讯作者：陈国兴（1963－），男，教授，博士，主要从事土动力学与岩土地震工程研究.E-mail ：gxchen@njut．edu．cn 文章编号：1000－1301（2011）05－0184－06基于Abaqus 软件的并行计算异构集群平台的搭建毛昆明，陈国兴（南京工业大学岩土工程研究所，江苏南京210009）摘要：在异构集群上充分利用新、旧硬件资源调度计算任务是实现集群高性能并行计算的难点。
通过测试已搭建集群服务器的CPU 和内存对Abaqus 软件计算速度的影响，发现CPU 的主频对Abaqus /Explicit 模块计算速度的影响大，CPU 的缓存对Abaqus /Standard 模块速度影响大；当内存满足计算任务的最小需求时，增加内存对计算速度无任何影响；当内存不足时，计算速度会大幅减慢。
据此测试结果，新增4台服务器作为计算节点和一台Infiniband QDR 交换机作为交换节点，搭建了新的异构集群，性能测试结果表明：相对于千兆以太网络交换机，Infiniband QDR 交换机的并行计算效率更好，且集群的计算节点越多越显著；Abaqus /Standard 模块并行计算效率的提高幅度要比Abaqus /Explicit 模块的稍高一些。
针对异构集群硬件构架相差较大的2批新、旧硬件，设置了2个管理节点、2个网络节点、2个存储节点，充分利用了新、旧硬件资源，高效地实现了在一个异构集群平台上提交与下载任务。
关键词：异构集群；Abaqus 软件；并行计算；Infiniband QDR 交换机中图分类号：P315．69文献标志码：AConstruction of parallel computing heterogeneouscluster platform based on Abaqus softwareMAO Kunming ，CHEN Guoxing（Institute of Geotechnical Engineering ，Nanjing University of Technology ，Nanjing 210009，China ）Abstract ：Taking full advantage of new and old hardware resources on the heterogeneous cluster to schedule compu-ting jobs is a difficult point in the realization of high performance parallel computing．The influence of servers ’CPU and memory on computing speed of Abaqus software on the cluster which has been constructed is tested．The conclusions are drawn ：CPU clock speed has a great effect on the computing speed of Abaqus /Explicit module and CPU internal cache has a great effect on computing speed of Abaqus /Standard module．When memory satisfies the minimum requirement of a computing job ，increasing memory has no effect on the computing speed．When memory is insufficient ，computing speed will slow down sharply．According to the testing results ，four servers as the compu-ting nodes and an Infiniband QDR switch as the network node are added ，and then the heterogeneous cluster is con-structed．Parallel computing speed of the Infiniband QDR switch is tested ，and the result shows that the parallel effect of the Infiniband QDR switch is superior to the gigabit ethernet switch．The more the number of computingnodes is ，the better the parallel effect is．Abaqus /Standard module ’s elevated range of parallel computing efficien-cy is slightly better than Abaqus /Explicit module ’s．Specific to two groups of new and old equipment whose archi-tectures are quite different ，two management nodes ，two network nodes and two storage nodes are set up．The new and old hardware resources are taken full advantage ，then submission and download of jobs from the heterogeneous cluster platform is achieved efficiently．Key words ：heterogeneous cluster ；Abaqus software ；parallel computing ；Infiniband QDR switch引言数值模拟是工程振动（地震、风振、列车振动、爆破等）分析领域里一项重要的研究手段，但现代土木工程体积巨大，结构形式复杂，结构物与周围的场地构成了一个复杂的耦合作用系统。
巨大的计算量和超长的计算时间使传统的串行PC 机无能为力，故并行计算机成为高性能计算的平台。
并行计算机主要包括对称多处理机（SMP ）和集群［1］。
集群的使用更为广泛，已有很多学者搭建了并行计算集群［2－6］。
与SMP 相比，集群更具扩展性［1］：增加集群中处理器数量时只需要增加集群的计算节点，但增加集群的计算节点面对的最大难题便是计算机第一定律－－摩尔定律［7］，其本质意思是指计算机硬件的更新速度很快，一年前顶尖的产品或许一年后无人问津。
一个可升级的集群必然包含新、旧硬件，在这样一个异构集群上如何调度计算任务、充分利用所有硬件，是一个必须解决的问题。
不同的硬件在一起工作有可能不兼容，即使兼容也会产生其他不可预知的一些问题，例如：2个构架相差较大的CPU 在一起工作，其计算速度比1个CPU 还慢，甚至有可能造成任务中断。
本文在已构建的基于Abaqus 软件和Linux 操作系统的并行计算集群平台［4］的基础上，测试了CPU 和内存对Abaqus 软件计算速度的影响，增加了与原集群硬件构架相差较大的新节点，并对新构建的异构集群的拓扑结构进行了优化。
1新计算节点的硬件配置要想使集群有很好的计算性能，首先需提高单节点的计算性能。
单节点的计算性能主要受控于CPU 和内存，CPU 型号和内存大小的选择也决定了所需资金的多少。
因此，对原集群增加新的服务器前必须进行一系列测试，以决定其CPU 型号和内存大小选取的合理性价比。
当CPU 的构架相同或相差不大时，影响CPU 性能的主要参数是缓存和主频，但这两者通常不可兼得，应根据不同的应用需求进行选择。
原集群的计算节点中2台服务器的CPU 为Xeon 5365，另2台服务器的CPU 为Xeon 5450，主频均为3GHz 。
缓存对计算速度的影响见表1，以Xeon 5365的计算时间为基准（Abaqus /Standard 模块与Abaqus /Ex-plicit 模块的计算时间不作横向比较，计算时间均定为1），归一化得到Xeon 5450的计算时间。
可以看出：缓存越大，计算速度越快；缓存对Standard 模块的影响很大，但对Explicit 模块的影响不明显。
表1CPU 缓存对Abaqus 计算速度的影响Table 1Effect of CPU internal cache on computing speed of AbaqusCPU 型号缓存值Standard 模块下计算时间Explicit 模块下计算时间理论值实际值理论值实际值Xeon 53658M 1111Xeon 545012M 0．670．560．670．83原集群的终端中有3台PC 机，CPU 都是Intel Core 系列，分别为E3300、E5400、E6800，缓存均为2M 。
主频对计算速度的影响见表2，以E3300的计算时间为基准，归一化得到E5400和E6800的计算时间。
可以发现：主频越高，计算速度越快；主频对Abaqus /Explicit 模块的影响很大，但对Abaqus /Standard 模块的影响稍小。
581第5期毛昆明等：基于Abaqus 软件的并行计算异构集群平台的搭建表2CPU主频对Abaqus软件计算速度的影响Table2Effect of CPU clock speed on computing speed of AbaqusCPU型号主频值（GHz）Standard模块下计算时间Explicit模块下计算时间理论值实际值理论值实际值E33002．51111E54002．70．920．950．920．93E68002．930．850．900．850．84原集群的计算节点的内存为8GB，但可以通过拔插内存条的方式改变内存值，比较不同内存情况下Abaqus软件的计算速度。