高性能计算集群的cae软件应用
CAE(计算机辅助工程)技术及其应用
材料力学和弹性力学研究的对象都是弹性范围 内的小变形，对于大变形、塑性问题等工程实 际中经常遇到的问题，皆无能为力。
理论上的缺陷为工程实际的计算和产品的优化 设计造成了很大的困难。
（3）计算机辅助工程（CAE）
CAE技术是有限单元法（包括有限条、有限体积、有限差分等）与计 算机结合的产物。 在现代设计流程中，CAE是创造价值的中心环节。事实上，CAE技术 是企业实现创新设计的最主要的保障 。
软件：软件是CAE分析的主体。开发功能强大、易于使用、运 算速度快的分析软件是关键。
六、国外CAE技术的现状
国外对CAE技术的开发和应用真正得到高速的发展和普遍应用则 是近年来的事。这一方面主要得益于计算机在高速化和小型化方 面取得的成就，另一方面则有赖于通用分析软件的推出和完善。
各国都在投入大量的人力和物力，加快人才的培养。
CAE从60年代初在工程上开始应用到今天，已经历了30多年的 发展历史，其理论和算法都经历了从发展到日趋成熟的过程， 现已成为工程和产品结构分析中（如航空、航天、机械、土木 结构等领域）必不可少的数值计算工具。
CAE的应用领域由最初的固体力学发展到热传导、流体动力学、 电场分析、磁场分析以及多场耦合等领域。 在力学领域的应用已由最初的强度、刚度问题发展到屈曲稳定 性、动力响应、接触问题、弹塑性、大变形等力学性能的分析 计算以及结构性能的优化设计等。
确解。 2、应力近似解在精确解上下振荡。在单元内，某些点上的近
似解等于精确解。。
u a1 a2x a3 y v a4 a5x a6 y
三、CAE技术在工程中的应用举例
早在70年代初期就有人给出结论：有限元法在产品设计中的应 用，使机电产品设计产生革命性的变化，理论设计代替了经验 类比设计。
高性能计算系统(HPC)软件实施方案
2：高性能计算平台——分系统组成
高性能计算平台——仿真计算分系统
双路计算服务器、双路GPU计算服务器、16路胖节点计算服务器组成。
硬件组成
软件配置
CAE高性能计算软件由于其计算方式的不同，对CPU、内存、IO等的要求也不同，具体分为三大类：IO密集型，通讯密集型和支持GPU加速类型。
考虑因素
应用软件兼容性Linux和Windows的互兼容性CPU兼容性厂家对操作系统的支持时间
操作系统
安装方式
Windows
图形服务器本地硬盘配置一块系统盘，全部空间都分配给c:盘。安装过程中选择带“图形界面的Windows Server”。
Linux
2路服务器本地配置一块系统盘。16路服务器本地多块配置一块系统盘。操作系统安装过程中选择“Desktop User”模式，安装完成后配置Yum，Yum源放置到/apps/rhel68下面，方便后续随时增减安装包。配置PAM动态认证插件，实现动态SSH配置，提升系统安全性。每台机器需要配置IB驱动和并行运行环境，保证并行计算可以通过IB口进行通信。并行运行环境需要配置MPICH、Open MPI和Intel MPI几种，并优先使用Intel MPI。
/opt/xcat
-
集群管理软件
/apps/<appname>
C:\(本地盘)
应用软件安装位置
计算数据区
/data
/data/<密级>/<user>
S:\（映射盘）
用户计算作业临时存储空间，不同密级的任务数据文件分开
存储规划
3：项目实施——集群时钟同步
为自由而战——CAE高性能计算破冰纪实
ｔ 门■ 一 Ｉ Ｊ ｜
对 大内存的支持 让Ｃ Ｅ Ａ 在前后处理 方面获得 自由 ， 其 使
即使性 能不 高的计 算机 构成
－＿， ＇一
－
５ 囡９址 惠 ２６ １ ０ ＿ 情 化 ０ 年Ｉ月 遗 ０
维普资讯
设 计 制造
的集群仍 然可 以获得 良好的并 行性能 。 因此 ．集群模 式 的并 行算法将 是任何 并行计 算程序 的必 由之 路 ．而集群 只能是 分 布式 的 ． 因此分布式 并行计算 也 自然而然成 为Ａ Ｓ Ｓ Ｎ Ｙ 的选 择 。 微 软 公 司 于 ２０ ０ ６ 年 ６ 月 推 自 己 的 集 群 操 作 系 统
Ｈ Ｃ的 发展趋势 ．提出 ＡＮ ＹＳ的 Ｈ Ｃ发展战略 。２０ Ｐ Ｓ Ｐ ０ ４年 Ａ Ｓ Ｓ创纪录地进 行了一个 １ 自由度的 问题 的计算 ．确立 ＮＹ 亿
了这个 Ｃ ＡＥ巨人在 Ｈ Ｃ的领 导地位 Ｐ
Ｃ Ｅ Ｈ Ｃ的 目标 是 ” Ａ— Ｐ 用最低的成 本模拟真 实世界 ‘ ．即 用最短 的时间 最少的人 力 最低的资 金 进行复杂单 场模
维普资讯
Ｄ 代 黧
在大 模型的建 立 大 图形的 处理 以及 大数据 库的操作 方面几 乎没 有障碍 ．用户可 以建立高保 真模型 。
首 先 ．大 内存允许我们 把模型 建立得 很精细 。Ｃ Ｅ的 目 Ａ
标之 一是找到模 型中的热 点 ． 也就是 危险点 即使同一模 型 ．
里存在一 个问题就是 产 品的截荷 和约束 并不是直 接施加在 该 零部件 上 ．而是 由其它零 部件传 递过来 只对单 一零部件
进 行分析 时 就 不得不 做边界条件 假设 。 如果 使用 整机 模型 ．
这 种问题便 不存在 。 但是 ． 建立 整机模型 却存在 另一个问题 ． 零 部件之 间的接触 复杂产 品干百个 零部件 之间的接 触单元
发电企业高性能计算中心的建设与实践
发电企业高性能计算中心的建设与实践摘要：随着国华电力研究院海水淡化、燃煤效能分析等一批自主科研项目的深入开展，普通计算终端已经无法满足专业设计与仿真软件的配置要求。
为满足技术人员对高速计算的需求，研究院建设高性能计算中心。
本文就计算中心的网络架构、高性能计算集群的配置、作业调度与集群管理系统，信息安全管控措施与机制，以及最终的平台性能测试情况进行介绍。
该中心已经成为企业技术研发的基础平台，有效提高企业自主设计、自主创新能力，实现了知识产权的保护与核心技术的保密。
关键词：高性能计算；集群；并行计算、网格计算、计算中心中图分类号：tp393随着信息技术在科学领域的不断发展发展，高性能计算已经成为理论科学和实验科学以后科技创新的主要工具[1]，也成为科技研发能力新的竞争点[2].90年代后期以来，一些传统行业和高性能计算结合的交叉学科不断涌现。
在能源领域，随着技术水平和技术难度的不断提高，工程设计和设备制造对于计算机性能的要求越来越高。
在电力行业，高性能计算已经被应用于电力系统的潮流计算、短路计算、稳定计算[3]，以及大电网系统的可靠性评估[4]。
高性能计算通过将多台机器连接起来同时处理复杂的计算问题，是一种并行计算（parallelprocessing）集群的实现方法，平台主要功能是利用所有的计算资源同时运行在并行环境下开发的并行应用程序，以解决单个计算机系统不能解决的问题（如问题规模大、单机运行速度慢）[5]。
运行在高性能的软件需要支持并行计算机制，大量应用的有cae（computeraidedengineering）工程仿真分析软件、cfd（computationalfluiddynamics）流体力学计算软件等[6]。
高性能计算中心建设是构建高性能计算能力的系统工程，要从业务需求出发，考虑软件、硬件的合理投入与综合管理。
1 工作背景神华国华（北京）电力研究院（以下简称“研究院”）作为技术支持与服务单位，承担了国华电力技术研究职能。
ANSYS mechanical如何在Workbench环境中使用高性能计算
文章来源：安世亚太官方订阅号（搜索：peraglobal）ANSYS mechanical属于隐式结构有限元分析求解器，一般完成一个有限元分析过程需要前处理、求解和后处理三个步骤。
前处理一般在图形工作站上完成，有限元求解可在工作站、集群及SMP 服务器上进行。
对于中小型问题（例如1000 万节点以内的ANSYS mechanical问题），一般认为在图形工作站上就可以进行求解；对于中大型问题（例如1000 万节点以上的ANSYS mechanical 问题），建议还是在计算性能更高的集群或SMP 服务器上进行。
对于中小型问题，可以在图形工作站上运行有限元后处理程序，读取计算结果进行结果的分析。
因此对于ANSYS mechanical在Workbench环境中使用高性能计算的方法共有两种：一种是直接通过workbench界面进行设置并行计算求解，在本地的工作站进行求解计算；另外一种是在workbench界面中将文件保存为ANSYS mechanical经典界面的求解文件格式，提交给高性能计算平台进行计算。
1、ANSYS mechanical在Workbench界面设置方法此种方法适合中小型问题在本地的工作站进行求解计算，设置方法简单方便。
在Workbench界面环境下，打开Model模块，在菜单中依次选择Tools＞Solve Process Settings＞Advanced，进行CPU设置选择对应的CPU核数（建议关闭超线程，设置的核数不能超过工作站的CPU物理核数），默认使用分布式求解选项。
2、保存为经典界面的求解文件格式方法此种方法适合中大型问题在高性能计算平台进行计算，需要在Workbench界面中存储为指定的格式，设置步骤稍微繁琐些。
方法一：输出为dat文件，设置文件名为：file.dat。
在Workbench界面环境下，打开Model模块，在左侧的目录树上选中Static Structural。
高性能计算中心】高性能计算中心建设需求分析
高性能计算中心】高性能计算中心建设需求分析高性能计算中心建设需求分析目录1.1 高性能集群安全问题现状在高性能计算中心建设过程中，安全问题是必须重视的。
当前，高性能集群存在着安全问题，例如网络攻击、数据泄露等。
因此，在建设高性能计算中心时，必须采取有效措施保障系统的安全性。
1.2 系统建设需求分析高性能计算中心的建设需要考虑多方面因素。
首先，需要考虑计算节点的数量、性能、存储容量等。
其次，需要考虑网络架构、数据传输速度等因素。
此外，还需要考虑系统的可靠性、可扩展性等方面的问题。
1.3 CAE仿真与高性能计算1.3.1 CAE需求分析在建设高性能计算中心时，需要考虑到CAE仿真的需求。
根据不同的仿真需求，可以选择不同的计算节点。
例如，SMP节点适合处理单个大型仿真任务，而刀片集群适合处理多个小型仿真任务。
此外，Infiniband计算网可以提供更快的数据传输速度，适合处理大规模的数据计算任务。
改写后的文章：高性能计算中心建设需求分析目录1.1 高性能集群安全问题现状在高性能计算中心建设过程中，必须重视安全问题。
当前，高性能集群存在网络攻击、数据泄露等安全问题。
因此，在建设高性能计算中心时，必须采取有效措施保障系统的安全性。
1.2 系统建设需求分析高性能计算中心的建设需要考虑多方面因素。
首先，需要考虑计算节点的数量、性能和存储容量。
其次，需要考虑网络架构和数据传输速度。
此外，还需要考虑系统的可靠性和可扩展性。
1.3 CAE仿真与高性能计算1.3.1 CAE需求分析在建设高性能计算中心时，需要考虑到CAE仿真的需求。
根据不同的仿真需求，可以选择不同的计算节点。
例如，SMP节点适合处理单个大型仿真任务，而刀片集群适合处理多个小型仿真任务。
此外，Infiniband计算网可以提供更快的数据传输速度，适合处理大规模的数据计算任务。
1.3.1.4 存储系统需求在存储系统需求方面，我们需要考虑以下几个因素：存储容量、存储速度、数据备份和恢复、数据安全性等。
CAE-CFD应用与解决方案
高性能
• 每台SMP服务器天阔A950提供32处理器内核和256GB以上内存，32*4*2.0G=2560亿次 • 每台TC2600刀片机箱提供80个处理器内核和64*10GB以上内存，80*4*2.0G=6400亿次 • 10/20Gbps高速Infiniband网络大幅度提升并行计算性能 • 全4Gb光纤存储网络
• 性能较高但价格昂贵，软件兼容度不高
• 发展趋势
• 双核、四核、多核 • X86和RISC的融合 • 运算加速技术等
互联方式的选择
• 千兆以太网，带宽小（理论值125MB/s),延迟大35--45 µs ； • Myrinet：MPI乒乓测试带宽：230 MB/s，MPI短消息延迟：7 µs ； • Infiniband；MPI乒乓测试带宽：850 MB/s，MPI短消息延迟：< 7 µs ；
•Triad •5865 •13296 •18271
英特尔带宽较低
• 缘故在于前端总线瓶颈
计算密集型应用基准测试 --流体力学性能 Fluent性能测试
计算密集型应用基准测试 --流体力学性能 Fluent加速比测试
计算密集型应用基准测试 --LSDYNA性能
计算密集型应用基准测试 --LSDyna机群性能
共享内存结构
• 内存支持统一编址 • 处理器之间通过高速总线连接 • OpenMP支持 • 内部通信能力强
例子
• 曙光A950 • IBM P575
体系结构的选择
集群结构
•内存无法统一编址 •计算单元通过网络相连 •MPI支持 •内部通信能力较弱
例子
•曙光TC4000 •IBM 1350
•105% growth from June 2006 •173% growth from Nov 2005
高性能计算(HPC)资源管理和调度系统解决方案
网络安全：整个系统只需要在防火墙上针对特定服务器开放特定端口，就可以实现正常的访问和使用，保证了系统的安全性。数据安全性：通过设定ACL（访问控制列表）实现数据访问的严格控制，不同单位、项目、密级用户的数据区严格隔离，保证了数据访问的安全性。用户任务的安全性。排他性调度策略，虚拟机隔离用户账户的安全性。三员管理：系统管理员、安全管理员、审计管理员三个权限分离，互相监督制约，避免权限过大。审计系统。保证所有与系统安全性相关的事件，如：用户管理（添加、删除、修改等）、用户登录，任务运行，文件操作（上传，下载，拷贝，删除，重命名，修改属性）等都能被记录，并通过统计分析，审查出异常。密级管理。支持用户和作业的密级定义。
基于数据库的开放式调度接口
案例 用户自定义调度策略：需要根据用户余额来对其作业进行调度，如果用户余额不足，该用户的作业将不予调度。 解决方案： 针对上述需求可以自定义作业的准备阶段，在数据库中为该阶段定义一存储过程用来检测用户余额信息表，根据作业所对应的用户余额来返回结果，例如： Step 1. 根据数据库开放schema配置该自定义调度策略 表 POLICY_CONF:POLICY_NAME | POLICY_ENABLEmy_policy_01 | true Step 2. 为自定义调度策略my_policy_01自定义作业准备阶段 表JOB_PREPARE_PHASE: POLICY_NAME | READY_FUNC | REASON_IDX my_policy_01 | check_user_balance | 4 check_user_balance 为方案中所描述的存储过程，其接口需要满足作业准备阶段自定义的接口要求，其实现细节如下：
现有的LSF集群系统不用作任何改动，包括存储、操作系统、LSF、应用程序和二次开发的集成脚本等。大大降低了系统的整合的难度和工作量。也有利于保护现有的投资。同时考虑到了作业以及相关数据的转发。降低了跨集群作业管理的难度。数据传输支持文件压缩和断点续传，提高了作业远程投送的效率和稳定性。支持https加密传输，安全性更强。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
随着计算机应用的广泛深入，不同领域处理问题的规模也越来越大，对计算速度的追求也在不断增长。
例如，在气象预报、流体力学、能源工程、生物制药、图像处理等领域的问题都涉及到海量的计算数据，并且计算必须在能接收的时间内完成。
所以，如何在短时间内完成计算任务，提高并行计算的效率已经成为这些领域要解决的问题。
商用CAE软件现在发展的非常之迅速，而且都致力于软件的并行化开发。
目前，市场上的通用CAE软件都实现了集群中的并行运行，而且效果都非常良好。
以ANSYS为例，作为目前最常用的有限元求解软件之一，它的求解模块种类多，多物理场实现耦合求解以及实现协同仿真技术等优点受到广大用户的欢迎。
因此，通用CAE已经成为今后工程计算领域的重要工具。
1 CAE通用软件的发展
20世纪在50年代末、60年代初就投入大量的人力和物理开发具有强大功能的有限元分析程序。
其中最为著名的是由美国国家宇航局在1965年委托美国计算科学公司和贝尔航空系统公司开发的NASTRAN有限元分析系统。
此后有德国的ASKA、英国的PAFEC等公司的产品。
CAE在工程上初步开始使用一直到今天，已经经历了50多年的发展历史，其理论和算法都经历了从蓬勃发展到日趋成熟的过程。
在航天、航空、机械、土木机构等领域的工程和产品结构分析中已经成为必不可少的数值计算工具，同时也是分析连续力学各类问题的一种重要手段。
随着计算机技术的普及和不断提高，CAE系统的功能和计算精度都有很大提高，
各种基于产品数字建模的CAE系统应运而生，并已成为结构分析和结构优化的重要工具，同时也是计算机辅助4C系统（CAD/CAE/CAPP/CAM）的重要环节。
CAE系统的核心思想是结构的离散化，即将实际结构离散为有限数目的规则单元组合体，实际结构的物理性能可以通过对离散体进行分析，得出满足工程精度的近似结果来替代对实际结构的分析，这样可以解决很多实际工程需要解决而理论分析又无法解决的复杂问题。
正因为CAE在制造企业中承担着关键的工具的作用，所以其高性能平台的选择也非常的重要，这个平台直接影响CAE的运行性能表现、整体成本和系统等方面的问题。
所以，高性能计算平台与CAE软件的如何更好的配合要进行一个全面的权衡。
2 CAE模拟的步骤
2.1 建立物理模型
在研究一项具体的问题的时候，首先必须要明确研究对象及其物理特性。
确定出一个具有特定便捷的研究区域，分析的特征与特性。
其次根据研究内容的特征，做出简化假定和近似，忽略非本质的物理过程来简化整个物理模型。
从而得出一个经过简化，比较有研究特点的物理模型。
2.2 建立数学模型
物理模型确定以后就要建立相应的数学模型，也就是用数学模型来反映问题各量之间的
微分方程及相应的定解条件。
从而归结成一套反映其内部因素数量关系的数学公式、逻辑准则和具体算法。
更加准确的描述和研究客观现象的运动规律。
2.3 空间离散
空间离散也就是对建立的物理模型进行空间的网格划分，可以通过编程以及网格划分软件来完成。
目前，ANSYS软件中的ICEM-CFD模块就是专门在结构化以、非结构化以及混合网格方面比较有优势的一个网格划分工具。
2.4 确定离散格式
在离散的网格点上，构造离散方程，形成代数方程组，寻求高效率、高准确度的计算方法，还有坐标、边界条件等。
求解这些近似离散方程，从而得到网格点上物理量的近似，如压力、密度、速度等的近似解。
2.5 求解
在所有的模型建立好以后就可以开始编制程序和进行计算，大型复杂系统的计算就需要通过高性能计算集群来完成。
从而产生大量的计算结果文件来提供研究（利用PC或者超级计算机来完成）。
2.6 后处理
求解所产生的大量数据就需要用后处理来形象的显示出来，可以从各个角度去研究物理问题的细节。
从这些细节问题上分析需要研究的问题，然后通过电脑屏幕形象的将这些大量的数据显示出来。
3 高性能计算集群的并行处理
3.1 简易高性能计算集群结构
简易高性能计算集群主要由一个主节点（服务节点）、一个系列从节点（客户节点）以及连接它们的交换机和网线，主节点是集群的控制器和对外的网关，负责对各个节点进行管理和控制和对外的通信；从节点执行主节点分配来的任务。
这样通过独立的计算机和高速网络搭建的集群属于分布式内存并行计算机，各个处理器之间通过消息传递来交换信息。
3.2 并行处理模式
采用大规模并行处理模式进行问题的求解时，一般通过区域分解方法（domain decomposition method）来处理分析对象。
所谓区域分解方法，即把整个模拟问题区域划分成很多相对小的求解子域，把每个子区域分配给不同的处理器分别进行求解，区域分解允许每个处理器独立于其他处理器来求解自己的那部分问题，而处理器之间通过交互机制进行数据交换，最后将每个子区域的解综合起来，得到整个区域的全局解。
3.3 并行求解策略
3.3.1 CPU核数
复杂系统的大规模求解有时候非常耗时，通常会认为CPU核数给的越多，计算速度就越快。
其实不然，只有合理的分配计算资源才能使计算更加经济有效[4]。
并行计算性能评价中有一项叫做加速比，对于同一个计算模型，不断增加CPU核数对其进行测试计算，当CPU增加到一定数目时，计算时间就不会有明显的加快。
因此，对于有些情况来说，CPU 核数太多反而会造成计算资源的浪费。
3.3.2 计算网格
模型的网格数也就是对空间离散后的单元数。
对于复杂问题来说，单纯增加网格规模，而不进行算法升级，计算精度就会很有限。
增加网格密度在一定程度上会提高计算的精度，但是过多的增加网格只会带来计算精度的下降，这一点在做具体物理计算时要予以考虑。
3.3.3 MPI数据交换
MPI是目前最主要的并行环境，不同节点间的通信需要网络来支持，集群系统的互联网技术大体上经历了从Ethernet到Giganet，Myrinet，Infiniband，Quadrics等发展历程。
不同的软件会在版本内置一个MPI，各个商业软件都有自己的特点和优势来实现对硬件的支持，这将大幅度提高并行处理能力。
3.3.4 求解器类型
用户在并行计算时，不能一味的追求求解速度，而是要结合具体求解的问题，同时考虑计算的稳定性和求解精度，选择合适的并行求解器。
计算时求解的迭代方式、收敛性以及稳定性等都是需要考虑在提高计算效率之内的问题之一。
4 结论
本文首先介绍了CAE通用软件的发展，其次对CAE模拟的步骤进行了简单的介绍。
综合以上两方面简单的阐述了高性能计算并行的策略，为CAE通用软件的用户提供了一定的参考意见，从而选择合适的求解方法。
参考资料来源：/cae/。