Linux环境下MPI并行编程与算法实现研究
并行计算_实验三_简单的MPI并行程序及性能分析
并行计算_实验三_简单的MPI并行程序及性能分析一、实验背景和目的MPI(Massive Parallel Interface，大规模并行接口)是一种用于进行并行计算的通信协议和编程模型。
它可以使不同进程在分布式计算机集群上进行通信和协同工作，实现并行计算的目的。
本实验将设计和实现一个简单的MPI并行程序，并通过性能分析来评估其并行计算的效果。
二、实验内容1.设计一个简单的MPI并行程序，并解决以下问题：a.将一个矩阵A进行分块存储，并将其均匀分配给不同的进程；b.将每个进程分别计算所分配的矩阵块的平均值，并将结果发送给主进程；c.主进程将收到的结果汇总计算出矩阵A的平均值。
2.运行该MPI程序，并记录下执行时间。
3.对程序的性能进行分析：a.利用不同规模的输入数据进行测试，观察程序的运行时间与输入规模的关系；b. 使用mpiexec命令调整进程数量，观察程序的运行时间与进程数量的关系。
三、实验步骤1.程序设计和实现：a.设计一个函数用于生成输入数据-矩阵A；b.编写MPI并行程序的代码，实现矩阵块的分配和计算；c.编写主函数，调用MPI相应函数，实现进程间的通信和数据汇总计算。
2.编译和运行程序：a.使用MPI编译器将MPI并行程序编译成可执行文件；b.在集群上运行程序，并记录下执行时间。
3.性能分析：a.对不同规模的输入数据运行程序，记录下不同规模下的运行时间；b. 使用mpiexec命令调整进程数量，对不同进程数量运行程序，记录下不同进程数量下的运行时间。
四、实验结果和分析执行实验后得到的结果：1.对不同规模的输入数据运行程序，记录下不同规模下的运行时间，得到如下结果：输入规模运行时间100x1002.345s200x2005.678s300x30011.234s...从结果可以看出，随着输入规模的增加，程序的运行时间也相应增加。
2. 使用mpiexec命令调整进程数量，对不同进程数量运行程序，记录下不同进程数量下的运行时间，得到如下结果：进程数量运行时间110.345s26.789s43.456s...从结果可以看出，随着进程数量的增加，程序的运行时间逐渐减少，但当进程数量超过一定限制后，进一步增加进程数量将不再显著减少运行时间。
MPI并行程序设计实例教程教学设计
MPI并行程序设计实例教程教学设计1. 简介MPI (Message Passing Interface) 是一种进程间通信的标准，可用于实现并行计算。
MPI 是一个库，通过对 MPI 中的函数调用，可实现在共享内存和分布式内存计算机中实现并行计算的任务分割和进程通信。
在实际应用中，MPI 会被和多线程一样用于实现算法的并行化，从而提高计算效率和运行速度。
2. 教学目标通过这个实例教程，我们会：1.了解 MPI 并行程序设计的基本概念和原理2.学会使用 MPI 的基本函数和指令3.学会通过实例演示的方式，掌握常见的 MPI 算法和技术4.实现一个简单的 MPI 并行程序，对其进行测试和优化，提高程序的执行效率3. 教学计划本教程共计 5 个部分，每个部分涵盖不同的内容。
每个部分的内容和学习目标如下：第一部分：MPI 基础概念和原理本部分的目标是让学生了解 MPI 的概念、原理和应用场景。
通过课堂讲授、案例分析和问题解答等方式，使学生领悟 MPI 的并行计算模型和通信方式。
第二部分：MPI 基本函数和指令本部分的目标是让学生掌握 MPI 中的基本函数和指令，理解其使用方法和调用方式。
通过讲解 MPI_Init、MPI_Comm_size、MPI_Comm_rank 等函数和指令，让学生能够熟练使用 MPI 构建并行程序。
第三部分：MPI 并行算法实例本部分的目标是让学生通过具体实例学习 MPI 并行算法设计的方法和技巧。
通过案例分析的方式，让学生了解 MPI 算法设计的核心思想、主要步骤和注意事项。
同时，本部分还会介绍一些常见的 MPI 库和工具，如 MPIBLAST 和 OpenMPI。
第四部分：MPI 程序设计和优化本部分的目标是让学生实践 MPI 代码的编写、调试和优化过程。
通过一个综合实例，让学生学习 MPI 并行程序的设计、实现和测试。
同时，本部分还会讲授MPI 排序算法和负载平衡算法的具体实现方法。
基于MPI的主从式并行任务分配的研究与实现
（ 中师 范 大 学 计 算 机 科 学 与 技 术 系 华 湖 北 武汉 ４０ ７ ） ３０ ９
摘
要
并行计 算中的任务分配和负载平衡是衡量 程序 性能的两个重 要因素。针对 任务分 配问题 ， 先用求连 通分量 的算法将任
务分 配成若干个任 务组， 再利用 队列的性质 ， 将每 组任 务动态地 分配给空 闲的从进程 ， 从而一定程度上减少 了问题解决 的时间， 同时
第２ ７卷 第 ６期
２１ ０ ０年 ６月
计 算机 应 用与软 件
Ｃｏ ｕ ｅ ｐ ｉａ ｉｎ ｎｄ Ｓ ｆｗａ ｅ ｍｐ ｔ ｒＡｐ ｌｃ ｔｏ ｓ ａ ｏｔ ｒ
Ｖｏ ． ７ Ｎｏ ６ １２ ．
Ｊｎ ００ ｕ ．２ １
基 于 ＭＰ 的 主 从 式 并 行 任 务 分 配 的研 究 与 实 现 Ｉ
达 到 了负 载平 衡 的 目的 。 关 键 词 并行计 算 ＭＰ 连 通 分 量 队列 负 载 平 衡 Ｉ
ｏＮ ＰＩ ＢＡＳＥＤ ＡＳＴＥＲ． Ｍ ． Ｍ ＳＬＡＶＥ ＰＡＲＡＬＬＥＬ ＴＡＳ ＡＬＬＯ ＣＡＴＩ Ｋ ＯＮ ＡＮＤ ＴＳ Ｉ ＰＬＥＭ ＥＮＴＡＴＩ Ｉ Ｍ ｏＮ
Ｚｅ ｇ Ｙａ ｎ ｎ （ ｅａｔｅｔｆＣ ｍ ｕｅ Ｓｉ ｃ ａｄ Ｔｃｎｌｇ ，ｅｔ ｌ ｈｎ ｏ ａ ｎｖｒｔ， ｕ ａ ３ ０ ９ Ｈ ｂｉＣ ｉ ） Ｄｐ ｒ ｎ ｏ ｐ ｔ ｃ ｎｅ ｎ ｅｈ ｏ ｙ Ｃｎｒ ｉａＮ ｍ ｌＵ ｉ ｓＣ ｅｉ ａ
视 。它 在 科 学 研 究 、 程 技 术 以及 军 事 等方 面 的 应 用 ， 经 取 得 工 已
１ 主从 式并行任务 中的 ＭＰ Ｉ
ＭＰ 是 消息 传递并行程序 设计 的标 准之 一 ， 目前 主要 的 Ｉ 是 并行环境 。它适用 于基 于分布内存的并行计算机系统 的消息传 递模型 ， 具有移植性好 、 功能强大 、 率高等多种特点 ， 效 而且有 多 种不 同的免 费 、 高效 、 用的实现 版本 ， 实 几乎所有 的并行计算 机
MPI综合实验报告
MPI综合实验报告一、实验目的本次实验旨在探究MPI并行计算技术在多节点集群中的应用，并通过编写相关代码实现一个简单的并行计算任务，验证MPI的计算能力和效果。
二、实验原理MPI（Message Passing Interface）是一种并行计算中进程间通信的标准接口。
MPI通过发送和接收消息来实现进程之间的通信，协调各个计算节点的工作。
一般而言，MPI程序由多个进程组成，每个进程可以独立地执行计算任务，当需要进行通信时，进程可以通过MPI提供的接口来发送和接收消息。
三、实验过程1.配置MPI环境在实验开始前，需要在多个节点上安装MPI环境，并确保各节点之间能够正常通信，可以互相发送和接收消息。
2.编写代码首先，需要编写一个主进程（通常为进程0）和多个子进程参与计算的代码。
主进程负责将计算任务分配给子进程，并收集子进程的计算结果。
子进程则负责进行具体的计算任务。
以下是一个简单的示例代码：```pythonfrom mpi4py import MPIif rank == 0:#主进程负责任务分配data = [i for i in range(size-1)] # 分配给每个子进程的数据for i in range(1, size):#主进程接收结果result = []for i in range(1, size):print("Result:", result)else:#子进程接收任务数据#子进程进行计算result = data * 2#子进程发送计算结果```以上代码使用了mpi4py库来实现MPI的功能。
在主进程中，首先准备要分配的数据，然后将每个子进程的数据发送给相应的子进程，并接收子进程的计算结果。
在子进程中，首先接收来自主进程的数据，然后进行计算，并将计算结果发送给主进程。
3.运行实验在配置好MPI环境和编写好代码后，将代码保存并上传到各个节点上。
然后，在主节点上执行以下命令来运行程序：``````其中，`-np 5`表示使用5个进程来进行计算。
MPI并行计算性能的研究
４．１．３二维快速傅里叶变换（ＦＦＴ）的并行计算 二维傅里叶变换，就是进行两次一维ＦＦＴ计算，即 首先进行行变换，然后再对行变换的结果进行列变 换．并行实现快速傅里叶变换算法的思路就是把行 变换和列变换的计算任务分配到各个节点并行完 成．并行傅里叶变换的过程为：各节点进行行变换 一各节点把行变换的结果发送给根进程一根进程 对行变换结果进行转置运算一根进程把转置结果 发送到所有计算节点一各计算节点再进行行变换 一各节点把变换结果发送到根进程一根进程进行 转置一得到最后结果．
ＬＩ Ｊｉｕ—Ｋａｉｌ¨。ＺＨＵＪｕｎｌ，ＮＩＮＧ Ｊｉａｏ－Ｘｉａｎｌ
（１．Ｃｏｌｌｅｇｅ ｏｆ Ｐｈｙｓｉｃｓ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ，Ｓｉｃｈｕａｎ Ｕｎｉｖｅｒｓｉｔｙ，Ｃｈｅｎｇｄｕ ６１００６４。Ｃｈｉｎａ； ２．Ｉｎｓｔｉｔｕｔｅ ｏｆ Ａｔｏｍ ａｎｄ Ｍｏｌｅｃｕｌａｒ Ｐｈｙｓｉｃｓ，Ｓｉｃｈｕａｎ Ｕｎｉｖｅｒｓｉｔｙ，Ｃｈｅｎｇｄｕ ６１００６５，Ｃｈｉｎａ）
该算法并行计算的计算量大而通信量很小，各 节点具有很少的相关性是相对独立的．此类问题具 有理想的并行性，编程容易实现，加速比也接近理 想值，并行效率接近于１．测试结果如图３所示．
丑 删Ｒ口
ｌ
３ ５ ７ ９ １１ ３
１５ １７ １９
节点数量（台）
图３ Ｍａｎｄｅｌｂｒｏｔ并行计算 Ｆｉｇ．３ Ｐａｒａｌｌｅｌ ｃｍｐｕｔｉｎｇ ｏｆ Ｍａｎｄｅｌｂｒｏｔ
Ｃ．式中Ｚ蚪，是复数Ｚ＝口＋ｂ／（其中ｉ＝Ｆ １）
的第忌＋１次迭代，乙是第忌次迭代，Ｃ是确定该 点在复数平面中位置的复数值．Ｚ的初值为０．迭 代将一直进行下去，直至Ｚ的幅值大于１００（这表 明Ｚ最终将变为无穷大）或是迭代次数已达到某 种任意规定的限度．记录每个点的迭代次数．
并行编程原理与实践
并行编程原理与实践一、并行编程概述并行编程是指利用多个处理器或计算机核心同时执行程序，以提高程序的性能和效率。
在多核CPU和分布式系统的背景下，越来越多的应用程序需要实现并行计算。
但是，并行编程也带来了许多挑战，比如线程同步、数据共享等问题。
二、并行编程模型并行编程模型是指描述并行计算过程的抽象概念和方法。
常见的并行编程模型包括共享内存模型和消息传递模型。
1. 共享内存模型共享内存模型是指所有处理器都可以访问同一个物理内存空间，并且可以通过读写共享变量来进行通信。
在共享内存模型中，线程之间可以通过锁机制来同步访问共享变量，以避免数据竞争。
2. 消息传递模型消息传递模型是指不同处理器之间通过发送和接收消息来进行通信。
在消息传递模型中，每个处理器都有自己的私有内存空间，不能直接访问其他处理器的内存空间。
因此，在消息传递模型中需要使用特殊的通信库来实现进程之间的通信。
三、并行编程技术1. 多线程编程多线程编程是指利用多个线程同时执行程序，以提高程序的性能和效率。
在多线程编程中，需要注意线程同步、数据共享等问题。
2. OpenMPOpenMP是一种基于共享内存模型的并行编程技术，它提供了一组指令集，可以在C、C++和Fortran等语言中实现并行计算。
OpenMP 采用“指导性注释”的方式来控制程序的并行执行。
3. MPIMPI是一种基于消息传递模型的并行编程技术，它可以在分布式系统中实现进程之间的通信。
MPI提供了一组函数库，可以在C、C++和Fortran等语言中实现并行计算。
4. CUDACUDA是NVIDIA公司推出的针对GPU的并行编程技术。
CUDA允许开发者使用C语言来编写GPU程序，并且提供了丰富的API函数库来支持各种计算任务。
5. MapReduceMapReduce是Google公司推出的分布式计算框架，它可以将大规模数据集分成若干个小块进行处理，并且通过网络传输将结果汇总起来。
MapReduce采用函数式编程思想，将计算过程抽象成映射和归约两个阶段。
mpi
Message Passing Interface—消息传递接口
与OpenMP并行程序不同，MPI是一 种基于信息传递的并行编程技术。消息传 递接口是一种编程接口标准，而不是一种 具体的编程语言。简而言之，MPI标准定义 了一组具有可移植性的编程接口。
1.MPi组成
• 数据类型
定义了精确的数据类型参数而不使用字节计数,以数据类型为单位指定 消息的长度； 对于C和Fortran,MPI均预定义了一组数据类型和一些附加的数据类型； 可以发送 或接收连续的数据，还可以处理不连续的数据；中的一个通信域定义了一组进程和一个通信的上下文,虚拟处理 器拓扑、属性等内容。它以对象形式存在,作为通信操作的附加参数。 MPI预定义的通信域：mpi comm world（包含所有进程）、 mpi comm self（只包含各个进程自己的进程组）
• MPI调用接口—6个基本调用
1.mpi init（）初始化MPI执行环境，建立多个MPI进程之间的联系，为 后续通信做准备 2.mpi finalize 结束MPI执行环境 3.mpi comm rank用来标识各个MPI进程的，给出调用该函数的进程的 进程号,返回整型的错误值 两个参数：MPI_Comm类型的通信域，标识参与计算的MPI进程组； &rank返回调用进程中的标识号 4.mpi comm size用来标识相应进程组中有多少个进程
• 组通信—一个特定组内所有进程都参加全局的数据处理和通信操作
功能：通信—组内数据的传输 同步—所有进程在特定的点上取得一致 计算—对给定的数据完成一定的操作 类型：1）数据移动 广播（mpi bcast） 收集（mpi gather） 散射（mpi scater） 组收集（mpi all gather）全交换（all to all） 2）聚集 规约（mpi reduce）将组内所有的进程输入 缓冲区中的数据按 定操作OP进行运算,并将起始结果返回到root进程的接收缓冲区 扫描（mpi scan）要求每一个进程对排在它前面的进程进行规约 操作,结果存入自身的输出缓冲区 3）同步 路障（mpi barrier）实现通信域内所有进程互相同步,它们将处 于等待状态,直到所有进程执行它们各自的MPI-BARRIER调用
Linux环境下的MPICH
1.1.1Linux操作系统下的环境搭建1.1.1.1 l am-mpiMPI是一种消息传递编程模型，并成为这种模型编程的代表和事实上的标准。
MPI是一个库而不是一门语言，因此对MPI的使用必须和特定的语言结合起来进行，如科学与工程计算领域的FORTRAN语言、目前广泛使用的开发语言C等。
LAM（Local Area Multicomputer）是免费的MPI实现，由Ohio State University开发。
配置并行环境之前几点说明：1.安装Linux系统（RedHat 9.2）2.安装网卡驱动（因为实验室的机群系统dellPE2850服务器无法自动识别网卡，需要手动驱动网卡。
普通机器RH可自动识别其网卡的机器.网卡驱动在自带的Server Assistant 光盘中：）步骤：#cd /mnt/cdrom/pexxxx/network/r82795该文件夹下，有网卡驱动的压缩包，将其拷贝到 /root下，解压#tar -xzvf *进入解压后的文件夹：#cd /root/Intel_LAN_72_RHLinux_src_A00/e1000/e1000-5.2.17.10/src , #make install安装后，重起机器。
3.在重新启动过程中，系统会自动识别新硬件，此时需要对网卡的相关信息进行配置修改网络配置文件如下：1)修改文件 /etc/sysconfig/network-scripts/ifcfg-eth0 ,修改IP、网关等信息：DEVICE=eth0 设备名称BOOTPROTO=staticONBOOT=yesIPADDR=192.168.0.109 IP地址NETMASK=255.255.255.0 子网掩码NETWORK=192.168.0.0 可选写BROADCAST=192.168.0.255 可选写GATEWAY=192.168.0.1 网关2)配置DNS，需要修改 /etc/resolv.conf 文件nameserver 210.47.208.8 DNS服务器地址3)修改 /etc/sysconfig/network文件，指定主机名NETWORKING = yesHOSTNAME = node064)修改 /etc/hosts 文件，对主机名加以解释，加入：192.168.0.106 node06完成上面几步后，网络基本配置完成，此时需要重启机器，或重新开启网络服务:可以使用命令：#reboot 重启机器#service network restart 重新开启网络服务注：每台机器都配备两块网卡：eth0、eth1，如果网卡驱动、网络配置后网络仍然不通，需要关闭eth1，而只启用eth0。
MPI并行编程
2.1 MPICH的实验环境
实验环境： RedHat 9.0 + Vmware 6.0 + MPICH 2-1.0 Fedora 14+ Dell Blade*1（主节点）+Dell PC*2 （从节点） +MPICH 2-1.2.1p1
2.2 MPICH的搭建步骤
[dair@node01 ~]$ mpicc -o hello hello.c [dair@node01 ~]$ ./hello ( ) [0] Aborting program ! Could not create p4 procgroup. Possible missing fileor program started without mpirun. [dair@node01 ~]$ mpirun -np 4 hello Hello World! Hello World! Hello World! Hello World! [dair@node01 ~]$
MPI并行编程
大纲
• • • • MPI并行编程简介 Linux下MPI并行编程环境的搭建 MPI并行程序设计 实例分析：矩阵乘法
1.1 什么是并行计算
进程 1 进程 2
传统的串行计算 串行计算，分为“指令” 串行计算 和“数据”两个部分，并在程序 执行时“独立地申请和占有”内 存空间，且所有计算均局限于 该内存空间。
计算机打印字符 我们输入的命令
3.6.1 MPI消息
• 消息：指在进程间进行的一次数据交换。 • 一个消息由源地址、数据个数、数据类型、目标地址、 消息标识和通信体构成。 • 消息包括信封和数据两个部分，信封指出了发送或接收 消息的对象及相关信息，而数据是本消息将要传递的内 容。
MPI综合实验报告
MPI综合实验报告MPI（Message Passing Interface）是一种并行计算编程模型，可用于在分布式内存系统中实现进程间通信。
本文将介绍一个关于MPI的综合实验报告，涵盖了MPI的基本概念、实验目的、实验过程和实验结果。
一、实验目的1.熟悉MPI的基本概念和编程模型；2.掌握MPI的几个常用函数的使用方法；3.理解并实现并行计算的数据分发和结果收集。
二、实验过程1.环境准备：配置MPI开发环境，包括安装MPI软件包和设置环境变量。
2.实验设计：设计一个简单的并行计算任务，实现对一组数据的平方计算。
3.编码实现：使用MPI编写程序，在主进程中生成一组数据，在其他进程中进行数据分发和计算。
4.程序运行：运行MPI程序，观察并记录各个进程的计算结果。
5.结果分析：比较串行计算和并行计算的结果，并计算加速比。
三、实验结果1.硬件环境：实验采用了一台配置为4核的计算机进行测试。
2. 算法实现：程序中使用MPI的MPI_Send和MPI_Recv函数进行通信，其中主进程通过MPI_Bcast函数将数据广播到其他进程，其他进程使用MPI_Recv函数接收数据，并计算平方。
3.数据分析：比较串行计算和并行计算的结果，通过计算加速比来评估并行计算的效果。
实验结果显示，并行计算的加速比在4个进程的情况下超过了3倍。
四、实验总结本次实验成功地实现了一个简单的MPI并行计算任务，并比较了串行计算和并行计算的结果。
实验结果表明，MPI能够实现进程间的高效通信，并发挥多核处理器的计算能力，从而显著提高计算速度。
通过实验，我对MPI的编程模型和函数使用有了更深入的了解，也加深了对并行计算的理解。
（以上内容为模拟生成。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Linux 环境下MPI 并行编程与算法实现研究曾志峰(怀化学院计算机系,湖南怀化418008) 收稿日期:2004203225 作者简介:曾志峰(1963-),女,湖南怀化人,副教授,主要研究方向为并行与分布式计算、网络安全技术。
摘 要:并行计算实现求解一些复杂的问题,并行编程技术的进步使得并行计算逐步应用到很多领域。
MPI 是一种消息传递编程模型并可以被广泛使用的编写消息传递程序的标准,已扩展为一种优秀的并行程序设计语言。
该文简要介绍了有关并行编程的基本概念与方法,深入讨论了MPI 并行编程环境与并行编程模式,对MPI 并行性进行了分析,给出了Linux 环境下MPI 编程环境的配置方法,最后结合一个实例详细描述了用MPI 实现并行算法的方法。
通过对实验程序的结果分析,在Linux 机群环境下用MPI 实现复杂的并行算法是简单的,并且能取得较好的性能。
关键词:消息传递模型;MPI ;通信模式;并行编程中图分类号:TP31111 文献标识码:A 文章编号:16712654X (2004)022*******引言以高性能计算平台支撑的大规模并行计算已经成为计算领域瞩目的焦点。
在基于共享内存与分布内存的并行计算机群等硬件环境下可以求解一大类复杂的科学与工程计算问题,并行计算编程技术的进步也使得并行计算已经开始渗透并普及到各个领域和方面。
一个并行处理系统主要由并行平台(操作系统和硬件)与并行编程和求解应用问题的算法构成。
并行编程又包括并行语言和其他工具、源程序、编译程序(包括预处理器、汇编程序和连接程序)、自然并行代码等运行时间支持和其他库。
所有这些操作系统实用程序、程序设计语言、编译器以及运行时间库等环境工具构成了并行编程环境。
为了提供给用户一个良好的并行编程环境,很多厂商开发了有自己特色的支持平台,如I BM 公司的E UI 、Intel 的NX 、橡树岭的PVM 等,这些平台都是开发出各自专有的消息传递包或消息传递库,提供了相似的功能,并且在特定的平台上具有优越的性能,缺点是在应用程序一级上互不兼容,可移植性很差。
基于机群系统的并行编程环境的特点是一个消息传递模型,各个并行执行的程序之间通过传递消息来交换信息、协调同步。
消息传递是相对于进程间通信方式而言的,而且与具体并行机存储模式无关,任何支持进程间通信的并行机,均可支持消息传递并行程序设计。
为了开发一个高效标准具有可移植性的消息传递库,1992年由I BM 、Intel 公司、Paras oft 等开发商、G MP 等研究机构和Edinburgh 等大学成立了MPI 论坛。
MPI 论坛于1994和1997年分别推出了MPI -1和MPI -2标准,提供了一个适合进程间进行标准消息传递的并行程序设计平台。
目前MPI 已经发展成为应用最广泛的并行程序设计平台,几乎被所有并行计算环境(共享和分布式存储并行机、MPP 、机群系统等)和流行的多进程操作系统(UNIX 、Linux 、Windows )所支持,基于它开发的应用程序具有最佳的可移植性、功能强大、效率高等多种优点。
本文侧重介绍基于Linux 的MPI 编程环境MPICH 及其在PC 集群计算机系统中进行MPI 并行编程的主要方法。
1 MPI 组成MPI 是一种消息传递编程模型并可以被广泛使用的编写消息传递程序的标准。
它由一组库函数组成,在F ortran 或C 的基础上扩展为一种并行程序设计语言。
严格来说,MPI 只是一个库,提供了应用程序的编程接口,方便F ortran77/90或C/C ++等编程语言直接对这些库例程或函数进行调用,实现进程间通信。
111 MPI 数据类型为了支持异构环境和易于编程,MPI 定义了精确的数据类型参数而不使用字节计数,以数据类型为单位指定消息的长度,这样可以独立于具体的实现,并且更接近于用户的观点[2]。
对于C 和F ortran ,MPI 均预定义了一组数据类型(如MPI -I NT 、MPI -DOUBLE 等)和一些附加的数据类型(如MPI -LONG -LONG -I NT 等),第34卷 第2期2004年6月 航空计算技术Aeronautical C om puter T echnique V ol 134N o 12Jun 12004这些与语言中的数据类型相对应。
MPI除了可以发送或接收连续的数据之外,还可以处理不连续的数据,如多维向量或类C语言中的结构数据类型。
为了发送不连续的数据,MPI定义了打包(pack)与解包(un2 pack)操作,在发送前显式地把数据包装到一个连续地缓冲区,在接收之后再从连续缓冲区中解包。
MPI还允许发送和接收不同的数据类型,使得数据重映射方便灵活。
通过使用不同的数据类型调用MPI-SE ND,可以发送不同类型的数据,使得MPI对数据的处理更为灵活。
112 通信域[2]通信域是MPI的一个关键概念,它以对象形式存在,作为通信操作的附加参数。
通信域为开发消息传递程序提供了模块化支持,从而强有力地支持开发并行库和大规模代码。
MPICH中的一个通信域定义了一组进程和一个通信的上下文,虚拟处理器拓扑、属性等内容。
通信上下文是通信域所具有的一个特性,它允许对通信空间进行划分,提供了一个相对独立的通信区域,由系统严格管理,对用户是透明的,有力地保证了库代码的消息通信互不干扰。
MPI-C OM M-W OR LD是一个由MPI提供的预定义的通信域,它包括所有的进程。
所有的MPI实现都要求提供MPI-C OM M-W OR LD通信域,在进程的生命期中不允许将其释放。
用户也可以在原有通信域的基础上,定义新的通信域。
通信域为库和通信模式提供了一种重要的封装机制。
113 MPI调用接口MPI-1提供了128个调用接口,MPI-2提供了287个调用接口,但MPI所有的通信功能可以用它的6个基本调用来实现,也就是说可以用这6个基本调用来完成基本的消息传递并行编程。
1)MPI初始化:MPI-I NIT()是MPI程序的第一个调用,它完成MPI程序所有的初始化工作,也是MPI 程序的第一条可执行语句。
2)MPI结束:MPI-FI NA LIZE()是MPI程序的最后一个调用,它结束MPI程序的运行,也是所有MPI程序的最后一条可执行语句。
3)获取当前进程标识:MPI-C OM M-RANK(comm, rank)返回调用进程在给定的通信域中的进程标识号,有了这一标识号,不同的进程就可以将自身和其他的进程区别开来,实现各进程的并行和协作。
指定的通信域内每个进程分配一个独立的进程标识序号,例如有n个进程,则其标识为0～n-1。
4)通信域包含的进程数:MPI-C OM M-SIZE(comm, size)返回给定通信域中所包括的进程的个数,不同的进程通过这一调用得知在给定的通信域中一共有多少个进程在并行执行。
5)消息发送:MPI-SE ND(bu f,count,datatype,dest, tag,comm):MPI-SE ND将发送缓冲区buf中的count个datatype数据类型的数据发送到目的进程dest,tag是个整型数,它表明本次发送的消息标志,使用这一标志,就可以把本次发送的消息和本进程向同一目的进程发送的其他消息区别开来。
MPI-SE ND操作指定的发送缓冲区是由count个类型为datatype的连续数据空间组成,起始地址为buf。
6)消息接收:MPI-REC V(buf,count,datatype, s ource,tag,comm.status)从指定的进程s ource接收消息,并且该消息的数据类型和消息标识和本接收进程指定的datatype和tag相一致,接收到的消息所包含的数据元素的个数最多不能超过count。
status是一个返回状态变量,它保存了发送数据进程的标识、接收消息的大小数量、标志、接收操作返回的错误代码等信息。
接收到的消息的源地址、标志以及数量都可以从变量status中获取,如在C语言中,通过对status.MPI-S OURCE,status.MPI-T AG,status.MPI-ERROR引用,可以得到返回状态中所包含的发送数据进程的标识,发送数据使用的tag标识和本接收操作返回的错误代码。
2 MPI并行编程211 MPI并行编程模式MPI具有两种最基本的并行程序设计模式:对等模式和主从模式,大部分并行程序都是这两种模式之一或二者的组合。
并行程序设计的两种基本模式可概括出程序各个部分的关系。
对等模式中程序的各个部分地位相同,功能和代码基本一致,只是处理的数据或对象不同。
而主从模式体现出程序通信进程之间的一种主从或依赖关系。
并行算法是并行计算的核心,用MPI实现并行算法,这两种基本模式基本上可以表达用户的要求,对于复杂的并行算法,在MPI 中都可以转换成这两种基本模式的组合或嵌套。
212 点对点通信模式在点对点通信中,MPI提供了两类发送和接收机制:阻塞和非阻塞。
阻塞发送完成的数据已经拷贝出发送缓冲区,即发送缓冲区可以重新分配使用,阻塞接受的完成意味着接收数据已经拷贝到接收缓冲区,即接收方已可以使用;非阻塞操作在必要的硬件支持下,可以实现计算和通信的重叠。
基于阻塞和非阻塞的机制,MPI提供了具有以下语义的4种通信模式:标准通信模式、缓存通信模式、同步通信模式、就绪通信・26・ 航空计算技术 第34卷 第2期模式。
对于非标准通信模式,只有发送操作,没有相应的接收操作,一般用标准接收操作代替。
1)标准通信模式:由MPI根据系统当前的状况选择缓存发送或者同步发送方式来完成发送,当然缓冲是需要付出代价,它会增加通信时间,占用缓冲区等。
2)缓存通信模式:缓冲发送是假设有一定容量的数据的缓冲区空间可以使用,发送操作可在相应的接收操作前完成,其完成则发送缓冲区可重用,但数据的发送其实没有真正的完成,而是把发送数据立即存入系统缓冲区中等待相应的接收操作发生并完成。
3)同步通信模式:采用同步通信模式的开始并不依赖于接受进程相应的接受操作是否已经启动,但在相应的接受操作未开始之前,发送不能返回。
当同步发送返回后,意味着发送缓冲区的数据已经全部被系统缓冲区缓存,并且已经开始发送,发送缓冲区也可以被释放或重新使用。
4)就绪通信模式:发送操作仅在相应的接收操作发生后才能发生,其完成后则发送缓冲区可以重用,它不需要同步方式那样的等待。
213 组通信所谓组通信是指涉及到一个特定组内所有进程都参加全局的数据处理和通信操作。
组通信由哪些进程参加以及组通信的上下文,都是该组通信调用的通信域限定的。
组通信一般实现三个功能:通信、同步、计算:通信功能主要完成组内数据的传输,同步功能组内所有进程在特定的点上取得一致,计算功能要对给定的数据完成一定的操作。