采用PETSc的有限元并行计算实现与优化

合集下载

无结构图划分过程有限元任务分配5PFELAC大规模并行计算问题

1.PFELAC并行程序求解流程
1.PFELAC并行程序求解流程
2.PFELAC并行计算使用模式
2.PFELAC并行计算使用模式
3.PFELAC软件思想 • 并行计算技术和并行程序设计的复杂性
依赖于不同类型的计算问题、数据特征、计算要求、和系统构架，并行计算技术较为复杂,程序设计需要考虑数据划分，计算任务和算法划分，数据访问和通信同步控制,软件开发难度大,难以找到统一和易于使用的计算框架。并
并行程序的编制是并行计算的瓶颈： – 必须深刻了解并行机的软硬件环境 – 必须深入了解并行机的通讯机制 – 必须深入了解并行算法的程序实现方法 – 必须……..
行版有限元语言及编译器
3.PFELAC软件思想
偏微分方程表达式
+
算法
PFELAC
高性能数值计算程序
PFELAC本质上是一门描述偏微分方程及方程求解算法的语言通过PFELAC能够快速生成偏微分方程所描述问题的串行与并行计算程序。
PFELAC并行培训
PFELAC并行版
产品介绍
产品优势
产品功能
PFELAC并行版—产品介绍
并行有限元语言及其编译器（简称PFELAC）是国内自主研发的开源并行有限元仿真软件，该软件采用有限元语言生成串行计算程序，再由串行计算程序自动生成有限元并行计算C++程序，降低有限元并行计算程序的开发难度，大大提高了有限元仿真分析的求解规模和计算效率。目前已经在国内大规模超级计算机（例如：国家超级计算天津中心、济南中心，中国科学院超级计算环境等）安装并运行测试，PFELAC以其强大的并行计算能力为大规模、超大规模有限元计算提供了自主研发的仿真平台。

大规模结构动力学有限元并行计算

大规模结构动力学有限元并行计算1.引言大规模结构动力学有限元并行计算是在计算机技术不断进步的背景下，为了提高结构动力学有限元模拟的计算效率而诞生的技术手段。

随着计算机性能的不断提升，结构动力学有限元模拟的计算需求越来越强，对于传统的串行计算方式已经不能满足要求。

因此，并行计算成为大规模结构动力学有限元模拟的重要手段，对于提高计算效率，缩短计算时间、优化计算结果等方面都有着重要作用。

2.大规模结构动力学计算的特点大规模结构动力学有限元模拟计算其主要特点就是计算规模大、时间长，数据量大、数据处理复杂等方面的特点。

传统的串行计算方式将计算任务划分为多个小任务一步步完成，但是随着计算规模的不断扩大，计算时间变得越来越长，而且CPU处理的数据量也越来越大，数据复杂度也不断提高。

因此串行计算的效率日益降低，这时并行计算成为了必不可少的解决方式。

3.并行计算的优点并行计算使得多个CPU可以同时运行计算程序，计算任务可以分割为多个小任务分配给不同的CPU同时处理，以提高计算效率。

并行计算的另一个优点是，可以充分利用计算机内存，以最大化地提高计算机的计算能力。

并行计算的设计主要需要解决两个问题，第一个问题是如何将计算任务分割为多个小任务，第二个问题是如何有效地协调多个CPU之间的计算任务。

4.并行计算的应用大规模结构动力学有限元并行计算技术的应用领域非常广泛，主要适用于几何复杂、物理特性复杂的结构物动力学问题，是风洞试验、现场试验等一些实验手段无法解决的问题，如飞行器、高速列车、大型工程结构物等动态响应和破坏性分析等。

并行计算技术帮助用户可以通过一种虚拟试验的方式，不断调整和优化结构的设计，以提高结构的性能和安全性。

5.并行计算的挑战虽然并行计算的优点非常明显，但是并行计算的应用也存在着一些比较明显的挑战。

首先，分割任务分配给不同的CPU之后，需要考虑先后顺序和数据的传输，因此需要设计一些特殊的数据传输方式和计算协调方式；其次，并行计算的算法需要进行特殊优化以充分发挥计算机的性能；最后，并行计算的系统设计需要考虑大规模并发操作带来的瓶颈和性能损失。

一种基于PETSc的GCRO-DR算法并行处理方法[发明专利]

(10)申请公布号 (43)申请公布日 2014.12.03C N 104182209A (21)申请号 201410427589.3(22)申请日 2014.08.27G06F 9/38(2006.01)(71)申请人中国科学院软件研究所地址100190 北京市海淀区中关村南四街4号(72)发明人刘芳芳杨超(74)专利代理机构北京科迪生专利代理有限责任公司 11251代理人成金玉孟卜娟(54)发明名称一种基于PETSc 的GCRO-DR 算法并行处理方法(57)摘要本发明公开一种基于PETSc 的GCRO-DR 算法并行处理方法，(1)并行进行m 步Arnoldi 迭代，生成子空间V m+1和hessenberg 矩阵(2)串行求解最小二乘问题特征值问题和Reduced QR 分解；(3)开始进行迭代，并行进行m-k 步Arnoldi 过程；(4)并行求解(5)串行求解最小二乘问题和Reduced QR 分解；(6)进行下一个迭代步，直至收敛；(7)当求解第二个及以后的系统时，先并行更新回收矩阵C k 和U k ，然后开始迭代，直至收敛。

本发明提出的并行实现方法通过调用PETSc 库能实现多个节点协同计算，进而可以提高GCRO-DR 算法的整体性能。

(51)Int.Cl.权利要求书2页说明书5页附图2页(19)中华人民共和国国家知识产权局(12)发明专利申请权利要求书2页说明书5页附图2页(10)申请公布号CN 104182209 A1.一种基于PETSc的GCRO-DR算法并行处理方法，所述方法主要用于并行求解稀疏线性系统，其特征在于包括如下步骤：(1)求解第一个稀疏线性系统时，设重启(restart)步数为m，回收(recylen)步数为k，先并行进行m步Arnoldi迭代，生成子空间Vm+1和hessenberg矩阵(2)通过将hessenberg矩阵转换成上三角矩阵来求解最小二乘问题的解，其中min表示求解最小值，y为最小二乘解，c为初始残量的2范数与单位向量e1的乘积，该步骤在每个处理器分别进行求解，最后每个处理器都存储了一份y；(3)利用步骤(2)求解得到的y，并行计算线性系统的解x，并利用公式计算残量r的值，其中r为残量；(4)利用国际开源线性代数软件包LAPACK中函数dgeev，求解的特征值和特征向量，并利用recylen个相应于最小特征值的特征向量形成Pk ，该步在每个处理器上分别进行求解，最后每个处理器均存储一份Pk；(5)利用步骤(4)得到的Pk，采用PETSc函数多向量更新VecMAXPY计算回收矩阵利用国际开源稠密矩阵计算软件包BLAS函数dgemm计算此时，每个处理器可分别计算Reduced QR分解，并更新回收矩阵Ck 和Uk；(6)开始进行迭代，当时残量的2范数小于设定好的阀值时，一直进行迭代，每次先进行m-k步Arnoldi过程，生成子空间以及生成Bk时，可重复利用Arnoldi过程中稀疏矩阵向量乘的结果，这样减少整个算法稀疏矩阵向量乘次数，进而优化性能；(7)通过PETSc函数向量拷贝VecCopy、向量扩展VecScale、向量范数VecNorm得到(8)求解的解时，其中min表示求解最小值，W和G是子空间矩阵，r是残量，y是最小二乘解，先按照步骤(2)中类似的方式求解ym-k,然后采用公式计算yk，并组成整体的y，通过上述过程中得到的残量2范数来验证收敛条件；该步骤在每个处理器分别进行；(9)当求解第二个及以后的稀疏线性系统时，先采用修正的Gram-Schmidt算法由各个处理器协同计算Reduced QR分解，然后进行Ck 和Uk的更新，然后进行上述(6)-(9)步，直至收敛。

并行计算技术在有限元分析中的应用

并行计算技术在有限元分析中的应用有限元分析是一种广泛应用于工程领域的数值计算方法，用于解决复杂结构的力学问题。

然而，随着计算机技术的迅速发展，传统的有限元分析方法在处理大型问题时面临着计算速度和内存限制的挑战。

为了克服这些限制，人们开始应用并行计算技术来提高有限元分析方法的计算效率。

并行计算技术是一种将计算任务分解为多个子任务，并同时进行处理的方法。

通过利用多个处理器或计算机的计算能力，可以大大缩短计算时间和提高计算效率。

在有限元分析中，采用并行计算技术可以将大型问题分解为多个小型子问题，并同时求解，从而减少整体计算时间。

首先，通过并行计算技术可以实现问题的分解和并行求解。

在有限元分析中，问题通常可以划分为多个单元，每个单元可由一个或多个处理器负责求解。

通过将计算任务分配给多个处理器，可以同时进行求解，从而提高整体的计算效率。

这种并行求解方法可以在一台计算机系统内进行，也可以在多台计算机上进行网络并行计算。

其次，并行计算技术可以应用于并行装配和求解大型稀疏线性方程组。

有限元分析中，通常需要解决大规模的线性方程组，例如位移和应力问题。

传统的直接求解方法需要显式地存储整个系数矩阵，这对于大规模问题来说是非常困难的。

而并行计算技术可以将整个矩阵分块存储，并并行装配，从而降低存储需求和提高求解速度。

此外，并行计算技术还可以应用于优化有限元网格和自适应网格技术。

在复杂结构的有限元分析中，网格的划分和优化对结果的准确性和计算效率具有重要影响。

传统的网格优化方法通常需要较长的计算时间。

而并行计算技术可以将网格优化任务分解为多个子任务，并同时进行优化，从而加快优化过程。

并行计算技术在有限元分析中的应用也面临一些挑战和限制。

首先，问题的分解和划分需要合理且精确地设计，以避免子问题之间的依赖和冲突。

其次，不同的并行计算架构和平台具有不同的特点和限制，需要针对具体的计算平台进行算法和程序的优化。

最后，大规模并行计算系统的配置和维护也需要相应的硬件和软件支持。

采用PETSc的有限元并行计算实现与优化

ＣｍｕｒＥｇｎｅｉｎｐｌａｉｓ计算机工程与应用ｏｐｔｎｉｒｇａｄＡｐｉｔｎｅｅｎｃｏ
２１，６１）００４（０
５７
采用ＰＴｃ的有限元并行计算实现与优化ＥＳ
张健飞
ＺＨＡＮＧｉｎｆｉＪａ —ｅ
ＺＨＡＮＧｉｎ— ｅ．ｒｌｌｉｐｅｅｔｔｎａｄｕｉｇｏｎｔｌｍｅｔｃｍｐｔｎｔＰＪａｆｉＰａａｌｍｌｍｎａｉｎｔｎｎｆｆｉｅｅｎｏｕｉｇｗｉｈＥＴＳ．ｍｐｔｒＥｎｉｅｒｎａｄｅｏｉｅｃＣｏｕｅｇｎｅｉｇｎ
Ａｐｌｃｔｎ．００，６１：７５．ｐｉａｉｓ２１４（０）５ — ９ｏ
ＡｂｔａｔｏｔｂｅＥｔｓｌＴｏｋｔｆｃｎｉｃｃｍｐｔｉ（ＥＳ）ｐｏｉｓｍｎｉｈｐｒｒａｃｂｅｔａｄｓｌｅｏｓｃ：ＰｒｌｘｎｉｅｏｌｉｏＳｉｔｏｕａｏＰＴｃｒｖｄａｙｈｇｅｏｍｎｅｏｊｓｎｏｖｒｆｒａｅｂｒｅｆｉｔｎｅｆｃｓｒ
河海大学土木工程学院，南京２０９１０８
ＳｈｏｏｉｌＥｇｅｒｇＨｈｉＵｉｅｓｙＮｎｉｇ２０９，ｈｎｃｏｌｆＣｖｎｉｅｎ，ｏａｎｖｒｔ，ａｊ１０８Ｃｉａｉｎ＠ｈｕｅ．：ａｅｄｎ
ｓｌｉｇｆｉｎｔｅｅｍｅｔｑｔｓＡｃｒｉｔｔｅｈａｔｒｓｉｓｆＰＥＴＳｔｐｅｆｒｍｎｃｔｉｇｏｖｎｏｆｉｅｌｎｅｕａｉ．ｃｏｄｎｇｏｈｃａｒｃｅｔｃｏｏｎｉｃ，ｗｏｒｏａｅｕｎｎｍｅｓｒｓｒｐｒｓｎｅｔｅａｕｅａｅｅｅｔｄ，ｈｙ

PETSc先进代数解法器的设计与实现

３４向．量运算实现
பைடு நூலகம்
ｒ＝。；＝ｗ＝ｗ＝ｙ一一１二时刀＝ｏａｏｕｒｏｒ始这－１ｐ。ｏｏ－０－。Ｐ，当０，ｏ：ＦＡ；；ｏ化，；４００ｉｉ一；；；＝不ｒ６Ｔｒｏｏ＝；＝ｏ一ｙＡ初
３３向量的初始化．
（计算ｉｔｌｕｌ－ｘＫＰｉｌｓｕ（ｐ，Ｔ，；Ｉ）ｎｉｒｉａｏｏＳＩｔＲｉａｋ，ＶＢｉｅｄｒｂ，ｎｉｅｄｌｓＸ，）ａｓ＝ＡａＲ
（由算中个值实都或，实的个ＫＰ法们手计需这初值２于法各初数是１者。在现各Ｓ算我可以工算出要些始）的向可以免杂的始化。如ＣＳ现过避繁初量。例在ＭＧ实程中些量仅要用函ｅｏＯＳＰＡｐＢｏＢ仅向就需调数Ｖｃｐ和ＫＰｐｙＡｒ．ｃｙＣｌＡ
时候更加高效。
２ｒｌｖＫｙｏ子空间方法ＭＧＣＳ
ＰＴ。经实现了ＥＳ本身已共扼梯度法（ＱＧ和ｓＣ）广义最小残差法（ＭＥ）最小二乘ＱＣＣＳｉＧ，ＧＲＳ，Ｒ分解（ＳＲ等但是对于一些新改进的Ｋｙｏ子空间方法，ＭＧ［，ＣＳ３，ＢＣ［，Ｃ［都ＬＱ）ｒｌｖ例如ＣＳ２Ｉ［ＩＩＧ４ＩＲ５１Ｇ１１］
（：＝；；；０；１Ｙ１ｏｏ０）－ｐ＝ｑ＝ｗ＝１００
（：＝；＿０ｔ＝－ｘｓ＝ｔＡ；２ｗ１ｙ＝；Ａｏｏ）＿）（ｉｏ；ｂ

基于 PETSc 的有限元高性能求解方法

基于 PETSc 的有限元高性能求解方法高怀玉;张峰;秦忠国【摘要】Based on the application and development platform provided by the calculation toolbox PETSc , a parallel linear solver was developed for single multi-core computers .Data and operations that are necessary for an FEM analysis were packaged in the form of a class provided by C++, and the linear FEM iteration method was used to solve problems in parallel.Test results show that 3G memory and four nuclear computers can compute a 3D linear FEM with a number of nodes of 800 000 .The speedup ratio was up to 1.81 for two processes and 3.24 for four processes .The solver has a good ability to adapt to morbid equations .Iteration can converge for the finite element model with elastic modulus of materials differing by 100 000 times.%基于科学计算工具箱PETSc提供的应用开发平台，针对单机多核计算机开发出一种线性并行求解器。

PETSc工具箱(简介、安装、程序设计)

3. 其余均保留不变，求出的 v =~ b 此方法的处理只需要修改两个数值即可，简单方便，虽然求得的是近似值，但一般仍然推荐使用。
高效的并行求解器
线性求解器KSP
非线性求解器SNES 时间步进求解器TS
1、PETSc工具箱简介：下载与编译主页：/petsc/petsc-as/ Download：源码（petsc-3.4.4.tar.gz）
编译
可调用的库文件（包括头文件）
cygwin,winfe,cl...
处理
形成组方装程总组刚的矩阵系[K] 数矩阵[K]和右端
边界处理
项{P}（PETSc）修改
2、存储总刚的矩阵结方构程Mat
和存储列阵的向量结构Vec
求解支配方程组:
PETS[cK求]{u解}={器p} 求解（KSP）
后处理
输出位移
1、提供成熟高效的方程组求解程序
分布式计算环境下！
3、基于PETSc的有限元求解程序设计：流程
功能类似于MPI_Finalize()
大量的成熟的方程组并行解法，包括直接法，迭代法和预条件子！
2、PETSc程序示例：组件的使用
1、声明。
矩阵 Mat 声明：Mat A;
2、创建。 3、设置（赋值）。 4、使用。
创建：MatCreate(A…); 设置(赋值)：MatSet…(A…); 聚集：VecAssembly…(A…); 使用：如KSP调用; 释放：MatDestroy(&A);
5、释放。
向量 Vec
声明：Vec x;
创建：VecCreate(x…);
设置(赋值)：VecSet…(x…);
线性解法器 KSP
聚集：VecAssembly…(x…);

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

采用PETSc的有限元并行计算实现与优化
张健飞
【期刊名称】《计算机工程与应用》
【年(卷),期】2010(046)010
【摘要】可移植可扩展科学计算工具箱PETSc提供了高性能求解偏微分方程组的大量对象和解法库,基于此进行结构有限元并行计算,可降低难度和成本.给出了基于PETS的结构有限元并行计算实现方法,包括有限元方程组的并行形成和并行求解的实现.根据PETSc的特点,提出了提高计算性能的优化措施,即数据局部化和存储预分配.数值实验表明实现方法可行,优化措施效果明显.
【总页数】3页(P57-59)
【作者】张健飞
【作者单位】河海大学土木工程学院,南京,210098
【正文语种】中文
【中图分类】O246
【相关文献】
1.有限元并行计算自动分区方法的优化 [J], 王琥;李光耀;钟志华
2.基于光滑聚集代数多重网格的有限元并行计算实现方法 [J], 武立伟;张健飞;张倩
3.采用JAVA RMI实现自动并行计算的叶型优化设计平台 [J], 赖宇阳;李淼;袁新
4.三维有限元-边界元耦合法的并行计算及优化措施 [J], 李莉;潘杰;赵曰峰;朱翠霞
5.应用EBE-PCG策略实现三维有限元的并行计算 [J], 范大鹏;盛德军;聂旭涛
因版权原因，仅展示原文概要，查看原文内容请购买。