MPI并行计算环境的建立
MPI并行计算环境的建立
一、配置前的准备工作
假设机群是3个节点。
1.安装Linux(CentOS 5.2)系统，并保证每个节点的sshd服务能正常启动。
笔者并没采用真实的3台机器，而是利用虚拟机(VMware Workstation6.5)在一台装有XP系统的机器上安装多个Linux系统进行模拟。
注意事项：
（1）因为笔者采用mpich2-1.3.2p1.tar.gz，此版本对gcc、autoconf等软件包版本要求较高，为避免出错，尽量安装最新的Linux系统。
（2）在用VMware Workstation安装Linux系统时可能会遇到磁盘类型不兼容的问题，笔者采用的版本就出现了这样的问题，解决要点如下：
a.启动Workstation选择创建定制的虚拟机；
b.SCSI适配器类型选LSI Logic (Linux内核在2.4以下的选择BusLogic)；
c.选择虚拟磁盘类型(IDE)。
（3）安装VMware Workstation tools。
Linux系统启动后，选择菜单栏——虚拟机——安装VMware tools，按照提示将相应的安装包复制到你想要的目录下，执行命令：
tar zxvf vmware-tools.tar.gz
cd vmware-tools（进入解压目录）
./install.pl（因版本不同，名字不一定相同，读者注意，执行名字类似的即可）
2.为每个节点分配IP地址，IP地址最好连续分配，如192.168.1.2、192.168.1.3、192.168.1.4、......。（不要分配192.168.1.1）
3.配置/etc/hosts文件，该文件可以实现IP地址和机器的对应解析，所有节点的该文件均要按下面的内容修改：
192.168.1.2 node1
192.168.1.3 node2
192.168.1.4 node3
通过以上配置后节点之间能够通过各节点的机器名称相互访问。例如，可以通过ping node2进行测试。
注意事项：
该测试必须在关闭Linux防火墙的条件下进行，否则可能失败。
永久生效：chkconfig iptables on/off（重启生效）
即时生效：service iptables start/stop（重启失效）
二、挂载NFS文件系统
由于MPICH的安装目录和用户可执行程序在并行计算时需要在所有节点保存副本，而且目录要相互对应，每次一个节点一个节点的复制非常麻烦，采用NFS文件系统后可以实现所有节点内容与主节点内容同步更新，并自动实现目录的对应。NFS文件系统使得所有机器都能以同样的路径访问服务器上保存的文件，访问方法如同对本地文件的访问。通常我们会将MPICH的安装目录及并行程序存放目录配置为NFS共享目录，这样可以省去将文件向各个节点复制的麻烦，大大提高工作效率。
NFS文件系统的配置方法示例如下（假设NFS服务器IP为192.168.1.2，配置需要在root 用户下完成）。
1.服务器端配置方法（下面的配置只在主节点进行）。
（1）/etc/exports文件配置
在文件/etc/exports中增加以下几行：
/usr/cluster 192.168.1.3(rw,sync,no_root_squash,no_subtree_check)
/usr/cluster 192.168.1.4(rw,sync,no_root_squash,no_subtree_check)
这几行文字表明NFS服务器向IP地址为192.168.1.3,192.168.1.4的2个节点共享其/usr/cluster 目录（目录必须存在），并使这些节点具有相应的权限（可查询相关的文档）。如有更多的节点可按此方法填写。
（2）启动NFS服务
启动NFS服务只需要以下两个命令：
service portmap start
注：在最新的内核中，NFS守护进程改为rpcbind，如是新内核，启动NFS守护进程的命令是“service rpcbind start”。
service nfs start
到此IP为192.168.1.2的服务器已可以向其他两个节点提供/usr/cluster目录的文件共享。
2.客户端配置方法（需要在所有子节点做同样的配置）。
（1）建立共享目录。
建立与服务器相同的共享目录用于共享服务器文件：
mkdir /usr/cluster
（2）查看服务器已有的共享目录（这步可省略）。
showmount -e 192.168.1.2
通过这条命令我们可以查看IP地址为192.168.1.2服务器可以共享的目录情况。
（3）挂载共享目录。
mount -t nfs 192.168.1.2:/usr/cluster /usr/cluster
这一命令将NFS服务器192.168.1.2上的共享目录挂载到本地/usr/cluster目录下。我们也可在所有子节点的/etc/fstab文件中输入以下的代码，使文件系统在启动时实现自动挂载NFS：
192.168.1.2:/usr/cluster /usr/cluster nfs defaults 0 0
至此我们已可以实现对NFS共享目录的本地访问，所有子节点的/usr/cluster文件夹都共享了NFS服务器的同名文件夹的内容，我们可以像访问本地文件一样访问共享文件。MPICH的安装目录和用户存放并行程序的文件夹都需要实现NFS共享，从而避免了每次向各节点发送程序副本。
三、配置ssh实现MPI节点间用户的无密码访问
由于MPI并行程序需要在各节点间进行信息传递，所以必须实现所有节点两两之间能无密码访问。节点间的无密码访问是通过配置ssh公钥认证来实现的。
例如，对新用户user配置ssh公钥认证，先在node1上做以下操作。
（1）生成了私钥id_dsa和公钥id_dsa.pub，具体操作方法如下。
mkdir ~/.ssh
cd ~/.ssh
ssh-keygen -t dsa
系统显示一些信息，遇到系统询问直接回车即可。
（2）将该密钥用作认证，进行访问授权。按如下命令在node1执行。
cp ~/.ssh/id_dsa.pub ~/.ssh/authorized_keys
chmod go-rwx ~/.ssh/authorized_keys
（3）将~/.ssh目录下的文件复制到所有节点。
scp -r ~/.ssh node2:
scp -r ~/.ssh node3:
（4）检查是否可以直接（不需要密码）登录其他节点。
ssh node1
ssh node2
如能两两之间不需要密码登录其他节点，则表明配置成功。
四、安装MPICH2
1.下载并解压MPICH2压缩包。
tar zxvf mpich2-1.3.2p1.tar.gz
解压完成后将在当前目录生成一个MPICH文件目录。
2.进入MPICH解压后的目录，配置安装目录。
注意事项：
最新版本mpich2的进程管理默认使用hydra，而不是mpd。如果你要使用mpd，使用./configure --with-pm=mpd:hydra
./configure --prefix=/usr/cluster/mpich2 --with-pm=mpd:hydra
根据以上配置MPICH将安装在目录/usr/cluster/mpich2，并确保所有节点已建立针对该目录的NFS共享。
3.编译安装MPICH2。进入解压后的MPICH文件目录，分别执行make和make install指令，这会花一段较长的时间。
4.在当前用户主目录下建立并编辑配置文件mpd.hosts。将所有你允许访问本机进行并行计算的机器名填入，一行一个机器名，如果该机器上有两个CPU，就将它的名字加入两次，
以此类型。
node1
node2
node3
node4
注意，文中包含自己的目的是为了在只有一个节点时也可以模拟并行计算环境。
5.配置环境变量。编辑用户主目录下的~/.bashrc文件，增加一行：
PATH="$PATH:/usr/cluster/mpich2/bin"
这一行代码将MPI的安装路径加入用户的当前路径列表。重新打开命令行窗口后生效。
6.启动mpd守护进程。运行mpirun，首先要运行mpd。在启动mpd守护进程前要在各个节点的安装目录（/usr/MPICHI-install/etc/mpd.conf）生成一个mpd.conf文件，内容为：secretword=123456
其中，“123456”为识别口令，在所有节点中都建立该文件并保持口令一致，口令可自己设定。
进入/usr/MPICHI-install/etc/目录执行以下命令
touch mpd.conf
chmod 600 mpd.conf
mpd &
mpd &为启动本地mpd的命令，我们也可以采用以下命令同时启动mpd.hosts中所列节点的mpd。
mpdboot -n <节点个数> -f mpd.hosts
这一命令将同时在mpd.hosts文件中所指定的节点上启动mpd管理器。
mpd启动后执行“mpdtrace -l”可以查看各个节点机器名。
7.编译、运行一个简单的测试程序cpi，这是一个MPICH自带的计算圆周率的并行示例程序，该例程在MPICH解压后的examples目录下。
运行命令如下：
mpirun -np 3 ./cpi
mpi的编译命令为mpicc，如编译test.c可用如下命令：
mpicc test.c -o test
mpirun –np 3 ./test
本文来自CSDN博客，转载请标明出处：https://www.360docs.net/doc/0614780665.html,/Leaderman_IT/archive/2011/03/03/6221427.aspx
MPI并行程序设计实例教程
编辑推荐 ◆书中内容侧重于以MPI库为基础开发并行应用程序，对MP规范定义的各项功能和特征在阐述其特点基础上均配以实例加以说明和印证。 ◆书中所附实例尽量采用独立的功能划分，其中的代码片段可直接用于并行应用程序开发 ◆在讲述基本原理的同时，注重对各项消息传递和管理操作的功能及局限性、适用性进行分析从而使熟读此书的读者能够编写出适合应用特点，易维护、高效率的并行程序。 ◆与本书配套的电子教案可在清华大学出版社网站下载。 本书简介 本书旨在通过示例全面介绍MP1并行程序开发库的使用方法、程序设计技巧等方面的内容，力争完整讨论MP1规范所定义的各种特征。主要也括MPI环境下开发并行程序常用的方法、模式、技巧等 内容。在内容组织上力求全面综合地反映MPl-1和MPI-2规范。对MPI所定义的各种功能、特征分别
给出可验证和测试其工作细节的示例程序 目录 第1章 MPI并行环境及编程模型 1.1 MPICH2环境及安装和测试 1.1.1 编译及安装 1.1.2 配置及验汪 1.1.3 应用程序的编译、链接 1.1.4 运行及调试 1.1.5 MPD中的安全问题 1.2 MPI环境编程模型 1.2.1 并行系统介绍 1.2.2 并行编程模式 1.2.3 MPI程序工作模式 1.3 MPI消息传递通信的基本概念 1.3.1 消息 1.3.2 缓冲区 1.3.3 通信子 1.3.4 进样号和进程纰 1.3.5 通价胁议 1.3.6 隐形对象 第2章 点到点通信 2.1 阻糍通信 2.1.1 标准通信模式 2.1.2 缓冲通信模式 2.1.3 就绪通信模式 2.1.4 同步通信模式 2.1.5 小结 2.2 非阻塞通信 2.2.1 通信结束测试 2.2.2 非重复的非阻塞通信 2.2.3 可醺复的非阻塞通信 2.2.4 Probe和Cancel 2.3 组合发送接收 2.3.1 MPl_Send,MPI_RecvoMPl_Sendreev 2.3.2 MPI_Bsend←→MPl_Sendrecv 2.3.3 MPI_Rsend←→MPI_Sendrecv 2.3.4 MPl_Ssend←→MPl_Sendrecv 2.3.5 MPl_lsend←→MP1一Sendrecv 2.3.6 MPl_Ibsend←→MPI_Sendrecv 2.3.7 MPI_Irsend←→MPI_Sendrecv 2.3.8 MPl_Issend,MPI_Irecv←→MPI_Sendrecv 2.3.9 MPI Send_init←→MPl_Sendrecv 2.3.10 MPI一Bsendj init←→MPl_Sendrecv 2.3.11 MPI_Rsend_init←→MPI_Sendrecv 2.3.12 MPl_Ssend_init,MPl_Recv_init←→MPl_Sendrecv 2.4 点到点通信总结
MPI并行编程环境及程序设计
第27卷 第3期河北理工学院学报Vol127 No13 2005年8月Journa l of Hebe i I n stitute of Technology Aug.2005 文章编号:100722829(2005)0320041203 MP I并行编程环境及程序设计 杨爱民1,陈一鸣2 (11河北理工大学理学院,河北唐山063009;21燕山大学理学院,河北秦皇岛066004)关键词:MP I;并行编程;消息传递 摘 要:通过对MP I原理和特点的研究,给出了并行MP I程序的基本设计思路和执行过程,并 实现了向量相加的并行计算。 中图分类号:TP316 文献标识码:A 0 引 言 近几十年来,大规模和超大规模的并行机取得了快速发展,由于各种原因,开发商对用户提供的必要支持,如它们各自专有的消息传递包NX、EU I、P VM等,虽然在特定平台上具有很优越的性能,但是从应用程序来看,可移植性差。1992年11月,在Supercomputi ong’92会议上,正式成立了一个旨在建立一个消息传递标准平台的MP I(Message Passing I nterface)论坛,该论坛不仅包括了许多P VM、Exp ress等的研制者及并行程序用户,还吸收了许多著名计算机厂商的代表。论坛于1994年5月,公布了MP I标准。MP I是一种为消息传递而开发的广泛使用的标准,它为消息传递建立了一个可移植的、高效、灵活的标准。 1 MP I的原理与特征 MP I是一个函数库,而不是一门语言,它是一种消息传递模型,它的最终目的是服务于进程间通信。MP I作为一个并行程序库的开发平台,为用户编写和运行程序提供了便利的条件。由于MP I是基于消息传递机制构建的系统,因此它在体系结构为分布存储的并行机中有很宽阔的应用空间,它可以应用在各种同构和异构的网络平台中。它的编程语言可以为Fortran77/90、C/C++。在Fortran77/90、C/C++语言中都可以对MP I的函数进行调用,它作为一种消息传递模式的并行编程环境,MP I并行程序要求将任务进行划分,同时启动多个进程并发的执行,而各个进程之间通过MP I的库函数来实现其中的消息传递。 MP I与其它并行编程环境相比,显著的特点有: (1)可移植性强,能同时支持同构和异构的并行计算; (2)可伸缩性强,允许并行结构中的节点任意增加或减少; (3)能很好的支持点对点通信和集体通信方式; (4)对C语言和Fortran语言的支持,使其能很好的满足各种大规模科学和工程计算的需要。 这样,以MP I作为公共消息传递接口的并行应用程序就可以不作任何改动的移植到不同种类和型号的并行机上,也能够正常运行,或者移到网络环境中也一样。 2 MP I的基本函数 MP I为消息传递和相关操作提供了功能强大的库函数,MPl-1中有128个,MP I-2中有287个库函数。但是从理论上来说,MP I的所有通信功能都可以用它的6个基本调用来完成,即使用这6个函数可以实现所有的消息传递并行程序。这六个函数分别为呼(Fortran77语言的调用格式来描述): (1)MP I初始化 MP I程序的初始化工作通过调用MPl l N I T(I ERROR)来实现,所有MP I程序的第一条可执行语句都是 收稿日期:2004210221 基金项目:河北省自然科学基金项目(E2004000245) 作者简介:杨爱民(19782),男,河北顺平人,河北理工大学理学院教师,硕士。
消息传递并行编程环境MPI
国家973项目高性能计算环境支持讲座 MPI与PETSc 莫则尧 （北京应用物理与计算数学研究所）
个人介绍 莫则尧，男，汉族，1971年7月生，副研究员：●1992年国防科技大学应用数学专业本科毕业； ●1997年国防科技大学计算机应用专业并行算法 方向博士毕业； ●1999年北京应用物理与计算数学数学博士后流 动站出站，并留所工作； ●主要从事大规模科学与工程并行计算研究。
消息传递并行编程环境MPI 一、进程与消息传递 二、MPI环境的应用现状 三、MPI并行程序设计入门（程序例1） 四、初步的MPI消息传递函数 五、作业一 六、先进的MPI函数 七、MPI并行程序示例2（求解- u=f）； 八、MPI环境的发展 九、作业二
一、进程与消息传递 1．单个进程（process ） ● 同时包含它的执行环境（内存、寄存器、程序计数器等），是操作系统中独立存在的可执行的基本程序单位； ● 通俗理解：串行应用程序编译形成的可执行代码，分为“指令”和“数据”两个部分，并在程序执行时“独立地申请和占有”内存空间，且所有计算均局限于该内存空间。 2．单机内多个进程： ● 多个进程可以同时存在于单机内同一操作系统：由操作系统负责调度分时共享处理机资源（CPU 、内存、存储、外设等）； ● 进程间相互独立（内存空间不相交）：在操作系统调度下各自独立地运行，例如多个串行应用程序在同一台计算机中运行； ● 进程间可以相互交换信息：例如数据交换、同步等待，内存
些信息在进程间的相互交换，是实现进程间通信的唯 一方式； ●最基本的消息传递操作：发送消息（send）、接受消 息（receive）、进程同步（barrier）、规约（reduction）； ●消息传递的实现：共享内存或信号量，用户不必关心； 3．包含于通过网络联接的不同计算机的多个进程： ●进程独立存在：进程位于不同的计算机，由各自独立 的操作系统调度，享有独立的CPU和内存资源； ●进程间相互信息交换：消息传递； ●消息传递的实现：基于网络socket机制,用户不必关 心； 4．消息传递库函数: ●应用程序接口（API）：提供给应用程序（FORTRAN、 C、C++语言）的可直接调用的完成进程间消息传递
MPI并行编程系列二快速排序
MPI并行编程系列二快速排序 阅读：63评论：0作者：飞得更高发表于2010-04-06 09：00原文链接在上一篇中对枚举排序的MPI并行算法进行了详细的描述和实现，算法相对简单，采用了并行编程模式中的单程序多数据流的并行编程模式。在本篇中，将对快速排序进行并行化分析和实现。本篇代码用到了上篇中的几个公用方法，在本篇中将不再做说明。 在本篇中，我们首先对快速排序算法进行描述和实现，并在此基础上分析此算法的并行性，确定并行编程模式，最后给出该算法的MPI实现。 一、快速排序算法说明 快速排序时一种最基本的排序算法，效率相对较高。其基本思想是：在当前无序数组R[1,n]中选取一个记录作为比较的"基准"，即作为排序中的"轴"。经过一趟排序后，当前无序数组R[1,n]就会以这个轴为核心划分为两个无序的子区r1[1,i-1],r2[i,n]。其中左边的无序子区都会比"轴"小，右边的无序子区都会比"轴"大。这样下一趟排序，我们就可以对这两个子区用同样的方法进行划分排序，知道所有的无序子区中的记录均排好为止。 根据算法的说明，快速排序时一个典型的递归算法，算法描述如下： 无序数组R[1],R[2],.,R[n] quick_sort(R,start,end) if(start end) r=partion(R,start,end) quick_sort(R,start,r-1) quick_sort(R,r+1,end) endif end quick_sort方法partion的作用就是选取"轴"，并将数组分为两个无序子区，并将该"轴"的最终位置返回，在这里我们选择数组的第一个元素为"轴"，其算法描述为： partion(R,start,end) r=R[start] while(start end)
MPI并行编程系列二快速排序
MPI 并行编程系列二快速排序 阅读：63 评论：0作者：飞得更高发表于2010-04-06 09 ：00 原文链接 在上一篇中对枚举排序的MPI并行算法进行了详细的描述和实现，算法相对简单，采用了并行编程模式中的单程序多数据流的并行编程模式。在本篇中，将对快速排序进行并行化分析和实现。本篇代码用到了上篇中的几个公用方法，在本篇中将不再做说明。 在本篇中，我们首先对快速排序算法进行描述和实现，并在此基础上分析此 算法的并行性，确定并行编程模式，最后给出该算法的MPI实现。 一、快速排序算法说明 快速排序时一种最基本的排序算法，效率相对较高。其基本思想是：在当前 无序数组R[1,n] 中选取一个记录作为比较的"基准" ，即作为排序中的"轴" 。经过一趟排序后，当前无序数组R[1,n] 就会以这个轴为核心划分为两个无序的子区r1[1,i-1],r2[i,n] 。其中左边的无序子区都会比"轴"小，右边的无序子区都会比" 轴" 大。这样下一趟排序，我们就可以对这两个子区用同样的方法进行划分排序，知道所有的无序子区中的记录均排好为止。 根据算法的说明，快速排序时一个典型的递归算法，算法描述如下：无序数组R[1],R[2],.,R[n] quick_sort(R,start,end) if(start end) r=partion(R,start,end) quick_sort(R,start,r-1) quick_sort(R,r+1,end) endif end quick_sort 方法partion 的作用就是选取" 轴" ，并将数组分为两个
无序子区，并将该" 轴" 的最终位置返回，在这里我们选择数组的第一个元素为"轴" ，其算法描述为： partion(R,start,end) r=R[start] while(start end) while((R[end]=r)&&(start end)) end- end ehile R[start]=R[end] while((R[start]r)&&(start end)) start++ end wile R[end]=R[start] end while R[start]=r return start end partion 该排序算法的性能好坏主要取决于" 轴" 的选定，即无序数组的划分是否均衡。最好的情况下，无序数组每次都会被划为两个均等的无序子区，这是算法的负责度为o(nlogn) ；最坏的情况，无序数组每次划分都是左边n-1 个元素，右边0 个元素，这时算法的复杂度为 o(n A2)。在通常的情况下，该算法的复杂度会依然保持在o(nlogn) ，上只不过具有更高的常数因子。因此，选定一个有效地"轴"，成为该算法的关键。一般情况下，会选定无序数组的第一个，中间或者是最后一个元素作为算法的"轴"，我们可以对着三个元素进行比较，取大小居中的那个元素作为该算法的" 轴" 。 、快速排序算法的串行实现 确定在什么条件下终止递归操作。主函数代码如下： 1：void quick_sort_function(int*array,int start,int last){2
基于MPI并行编程环境简述
并行计算课程报告 题目：MPI并行编程环境概要指导老师：阮幼林教授 学院：信息工程学院 班级：信息研1001班 姓名：余华 学号：104972102820 时间：2011年01-10
摘要 随着科技的发展，新一代的计算机，无论计算能力和计算速度，都比旧的计算机优越。但人类对高性能计算的需求，也不断提高.除了增强处理器本身的计算能力外，并行处理是一种提高计算能力的有效手段.从前，并行处理要采用昂贵的专用计算机，随着个人计算机及网络成本下降，现已广泛用分布式网络计算机系统进行并行处理。在分布网络计算机系统中，采用消息传递方法实现进程间的通讯。当前流行基于消息传递的并行编程环境是MPI(Message Passing Interface)。 关键词：消息传递；消息传递接口；并行编程； Abstract Because of the development of technology, the new generation of computer should be better than the former ones in the power and speed of computing. But the people's demand of high performance of computing is increasing too. In addition to enhancing the computing power of the processor, parallel processing is also an efficient way to enhance the power of computing. In the past, the parallel processing can only run on the expensive and special computers. As the cost of personal computers and networks decreased, and now, it is popular to process the parallel processing on the distributed network computing systems. In the distributed network computing systems, message passing is used for the communication between processes. MPI (Message Passing Interface) are common development environments of parallel processing based on message passing. Keyword：Message passing; Message passing interface; Parallel programming;
基于MPI的并行计算程序设计测试报告
中南大学 CENTRAL SOUTH UNIVERSITY 基于MPI的并行计算程序设计测试报告 学院：软件学院 专业：软件工程 学号： 姓名： 指导教师： 20**-**-**
基于MPI的并行计算程序设计测试报告 一．并行计算概述 1.采用并行计算的原因： ?串行程序速度提升缓慢。从串行程序的发展来讲，一方面，物理速度渐变发展，芯片速度每18个加快一倍，而内存传输率每年加快9%。另一方面，物理极限无法突破，芯片晶体管接近了原子极限，传输速度不可能超过光速。 ?可以加快速度。更短的时间内解决相同的问题，相同的时间内解决更多的复杂的问题。 ?可以加大规模。并行计算可以计算更大规模的问题。 2.并行计算简介 并行计算（Parallel Computing）是指同时使用多种计算资源解决计算问题的过程。为执行并行计算，计算资源应包括一台配有多处理机（并行处理）的计算机、一个与网络相连的计算机专有编号，或者两者结合使用。并行计算的主要目的是快速解决大型且复杂的计算问题。此外还包括：利用非本地资源，节约成本，使用多个“廉价”计算资源取代大型计算机，同时克服单个计算机上存在的存储器限制。为利用并行计算，通常计算问题表现为以下特征：1.将工作分离成离散部分，有助于同时解决；2.随时并及时地执行多个程序指令；3.多计算资源下解决问题的耗时要少于单个计算资源下的耗时。 对并行处理的需求极大的促进了并行技术的发展，因此许多大规模并行计算机系统相继问世，如PVP、SMP、MPP、DSM等。但传统的并行系统的高成本性、专用性、系统规模的不可伸缩性等使其难以推广到普通的商业应用和科学计算中。高性能集群系统因其性能价格比高、高可复用性、强可扩展性、用户编程方便等优点在科学研究中得到了广泛的应用。并行计算机系统的出现就需要对程序进行并行设计，这种需求使得各种不同的并行编程环境得到了很大发展。现行高性能计算机系统中使用的并行编程环境主要有两种：PVM(Parallel Virtual Machine)和MPI(Message Passing Interface)。PVM的开发始于1988年，由美国橡树岭国家实验室发起。目前很多人采用MPI作为并行开发环境。 3.并行计算的相关内容 ?存储方式。共享内存：ccNUMA,SMP；分布式内存：MPP,Cluster。 ?三种计算模式。Uniprocessor,shared memory,distribute memory. ?并行化分解方法。任务分解：多任务并行执行；功能分解：分解被执行的计算；区域分解:分解被执行的数据。 ?并行算法的分类。按运算的基本对象：分数值并行算法和非数值并行算法。按进程间的依赖关系：分同步并行算法，异步并行算法和纯并行算法。按并行计算的任务大小：分粗粒度并行算法，中粒度并行算法和细粒度并行算法。