并行计算-练习题
MPI并行计算考试简答题
MPI并行计算考试简答题并行计算机分类什么是SIMD并行计算机？可以同时执行一条指令处理多个数据的计算机什么是MIMD并行计算机？可以同时执行多条指令处理多个数据的计算机什么是SPMD并行计算机？同时执行一个程序处理多个数据的计算机什么是MPMD并行计算机？同时执行多个程序处理多个数据的计算机什么是分布式内存并行计算机？各处理器不共享内存的并行计算机什么是共享内存并行计算机？处理器共享内存的并行计算机并行编程模式隐式并行、数据并行、消息传递、共享变量现在串行编程语言几乎都是高级语言，为什么在并行计算领域编程语言却还相对级别较低？并行计算目前还缺乏统一的模型和标准你知道的并行语言有哪些？HPF，各种并行C，并行C++，并行PASCAL你认为串行语言和并行语言的区别有哪些？是否提供并行的结构，是否提供并行的语义并行算法的分类是怎样的？粗粒度/细粒度并行算法，同步/异步并行算法同步并行算法在具有什么特点的并行计算机上可以高效实现？SIMD类并行计算机粗粒度的并行算法在什么条件下性能优于细粒度的并行算法？并行的粒度越小就有可能开发更多的并行性提高并行度这是有利的方面但是另一个不利的方面就是并行的粒度越小通信次数和通信量就相对增多这样就增加了额外的开销，因此合适的并行粒度需要根据计算量、通信量、计算速度、通信速度进行综合平衡这样才能够取得高效率。
一个好的并行算法的前提是什么？一个好的并行算法要既能很好地匹配并行计算机硬件体系结构的特点又能反映问题内在并行性如何设计适合机群系统的并行算法？对于机群系统一次通信的开销要远远大于一次计算的开销，因此要尽可能降低通信的次数或将两次通信合并为一次通信，基于同样的原因，机群计算的并行粒度不可能太小，因为这样会大大增加通信的开销，如果能够实现计算和通信的重叠那将会更大地提高整个程序的执行效率。
并行算法的一般设计过程：PCAM设计过程该过程分为四步：任务划分、通信分析、任务组合和处理器映射，简称PCAM 设计过程。
并行计算-习题及答案-第12章 并行程序设计基础
第十二章 并行程序设计基础习题例题：1、假定有n 个进程P(0)，P(1)，…，P(n -1)，数组元素][i a 开始时被分配给进程P(i )。
试写出求归约和]1[]1[]0[-+++n a a a 的代码段，并以8=n 示例之。
2、假定某公司在银行中有三个账户X 、Y 和Z ，它们可以由公司的任何雇员随意访问。
雇员们对银行的存、取和转帐等事务处理的代码段可描述如下：/*从账户X 支取￥100元*/atomic {if (balance[X] > 100) balance[X] = balance[X]-100； }/*从账户Y 存入￥100元*/atomic {balance[Y] = balance[Y]-100；}/*从账户X 中转￥100元到帐号Z*/atomic {if (balance[X] > 100){balance[X] = balance[X]-100；balance[Z] = balance[Z]+100；} }其中，atomic {}为子原子操作。
试解释为什么雇员们在任何时候（同时）支、取、转帐时，这些事务操作总是安全有效的。
3、考虑如下使用lock 和unlock 的并行代码：parfor (i = 0；i < n ；i++){noncritical sectionlock(S)；critical sectionunlock(S)；}假定非临界区操作取T ncs时间，临界区操作取T cs时间，加锁取t lock时间，而去锁时间可忽略。
则相应的串行程序需n( T ncs + T cs )时间。
试问：①总的并行执行时间是多少？②使用n个处理器时加速多大？③你能忽略开销吗？4、计算两整数数组之内积的串行代码如下：Sum = 0；for(i = 0；i < N；i++)Sum = Sum + A[i]*B[i]；试用①相并行；②分治并行；③流水线并行；④主-从行并行；⑤工作池并行等五种并行编程风范，写出如上计算内积的并行代码段。
并行计算-习题及答案-例题习题讲解
例题习题讲解例1 SIMD-SM上求最大值算法Beginfor k=m-1 to 0 dofor j=2k to 2k+1-1 par-doA[j]=max{A[2j], A[2j+1]}end forend forend时间分析t(n)=m×O(1)=O(logn)p(n)=n/2c(n)=O(nlogn) 非成本最优例2 令n=2k(k>=0)，求n个数和的并行算法算法运行时间：t(n)=O(logn)总运算量: W(n)=W(1)(n)+W(2)(n)+W(3)(n)=n+∑n/2h+1=O(n)由Brent定理知: t(n)=O(n/p+logn)例3 设A为矩阵，有如下串行程序段：f o r i=1t o n d of o r j=1t o n d oa[3i,2j]=a[3i-2,2j-1]e n df o re n df o r其相关方向向量为，可知行和列间同时存在数据相关。
在此我们可以试用行划分、列划分和方块划分.在行划分的情况下令m=┌n/p┐,例1的串行程序段可以转化为如下的并行程序段：f o r k=1t o P P a r-d of o r i1=1t o m d of o r j=1t o n d oa[3(k-1)m+3i1,2j]=a[3(k-1)m+3i1-2,2j-1]e n df o re n df o re n df o r例4 设A为一个n阶方阵，有如下串行程序段：f o r i=1t o n d of o r j=1t o n d oa[i,j]=a[i-1,j]e n df o re n df o r分析矩阵A的元素下标i和j，则i和j的相关方向向量为，各列之间数据无任何相关关系。
因此对矩阵A可按列划分。
串行程序段可转化为如下并行程序段：f o r k=1t o P P a r-d of o r j1=1t o m d of o r i=1t o n d oa[i,(k-1)m+j1]=a[i-1,(k-1)m+j1] e n d f o re n df o re n df o r例5注：本例无链路竞争和死锁现象例6 E立方选路0110(S)1101(D)1011(R)例7 DNS乘法示例C00=1×(-5)+2×7=9C01=1×(-6)+2×8=10C10=3×(-5)+4×7=13C11=3×(-6)+4×8=14例8 上三角方程组的回代解法并行化(1)SISD上的回代算法Begin(1)for i=n downto 1 do(1.1)x i=b i/a ii(1.2)for j=1 to i-1 dob j=b j-a ji x ia ji=0endforendforEnd(2)SIMD-CREW上的并行回代算法- 划分: p个处理器行循环带状划分- 算法Beginfor i=n downto 1 dox i=b i/a iifor all P j, where 1≤j≤p do for k=j to i-1 step p do b k=b k-a ki x ia ki=0endforendforendforEnd // p(n)=n, t(n)=n例9 n=8的BF网络表示P r,i与上层P r-1,i, P r-1,j相连, 这里j与i仅在第r位不同例10 一个在MPI中创建新通信域的例子M P I_C o m m M y W o r l d,S p l i t W o r l d;i n t m y_r a n k,g r o u p_s i z e,C o l o r,K e y;M P I_I n i t(&a r g c,&a r g v);M P I_C o m m_d u p(M P I_C O M M_W O R L D,&M y W o r l d);M P I_C o m m_r a n k(M y W o r l d,&m y_r a n k);M P I_C o m m_s i z e(M y W o r l d,&g r o u p_s i z e);C o l o r=m y_r a n k%3;K e y=m y_r a n k/3;M P I_C o m m_s p l i t(M y W o r l d,C o l o r,K e y,&S p l i t W o r l d);例11 考虑如下程序段：L1:f o r I=1t o50d o...S:X(2*I)=......T:...=...X(3*I+1)......e n df o r这里：f1(I)=2*I；g1(J)=3*J+1。
并行算法考试题
1、名词解释：（1）等分宽度：把网络划分为两个相等的部分（节点数之多差1），所需要去掉的网络边的条数。
（2）网络直径：网络中两个节点之间的最远的距离（3）并行运行时间：从第一台处理机开始执行任务开始，到最后一台处理机执行完任务所经历的时间。
（4）并行步：能够同时执行的操作数。
（5）加速比：同一任务在串行计算下的运行时间/并行计算下的运行时间。
2、介绍超立方体网络互连方式的性能指标解答：q维超立方体，等分宽度为2q-1，网络直径：q，网络接口数：q3、按照指令流和数据流，并行计算机可以分为哪些类型？各自适合什么样的并行计算？排名在前20的计算机都是什么类型的计算机？它们的区别是什么？解答：（1）SIMD：适合指令/操作级并行（2）MIMD：适合块、回路或子程序级的并行4、并行算法有哪些设计方法？（1）流水线技术（2）分而治之策略（3）平衡二叉树方法（4）倍增技术（5）加速级联策略5、举例说明平衡树方法的原理？参考：使用n/2台计算机，可以在⎡⎤nlog步完成运算。
26、Logp模型有哪些参数？BSP模型有哪些参数？这两个模型之间的关系是什么？（1） L ：源处理机与目标处理机之间进行消息通信所需要等待的延迟时间上限（2） o ：处理机用于发送或接收每个消息的时间开销（3） g ：连续发送/接收消息的时间间隙（4） P ：处理机个数BSP 模型：（1） P ：处理机数（2） g ：选路器吞吐率（3） L ：全局同步之间的时间间隔关系：（1） 本质上等效，可以相互模拟（2） 用BSP 模拟LOGP 所进行的计算时，通常会慢常数倍。
（3） 反之，慢对数倍7、 题目记不清了，只要知道两个公式就可以了，对于logp ：L+2o 对于logGp ：t α+t β8、 计算加速比和效率的题，具体记不清了，只要会使用公式就可以了。
9、 关于群集系统中QR 分解的题目。
将矩阵的行列都分成5等分，得到它的25个任务，按照贪婪算法的调度思想，画出子任务执行的并行步。
并行计算的参考题目
并行计算的参考题目1、讨论某一种算法的可扩放性时，一般指什么？88答：讨论某一种算法的可扩放性时，实际上是指该算法针对某一特定机器结构的可扩放性2、使用“Do in Parallel”语句时，表示的是什么含义105答：表示算法的若干步要并行执行3、并行计算机的存储访问类型有哪几种？26答：存储访问类型有：UMA（均匀存储访问）、NUMA（非均匀存储访问）、COMA（全高速缓存存储访问）、CC-NUMA（高速缓存一致性非均匀存储访问）、NORMAl（非远程存储访问）4、什么是同步？它有什么作用？如何实现？107答：同步是在时间上强使各执行进程在某一点必须相互等待。
作用：确保个处理器的正确工作顺序以及对共享可写数据的正确访问（互斥访问）。
实现方法：用软件、硬件和固件的方法实现。
5 在并行加速比的计算中，常用的三种加速比定律分别是哪三种？（P83）答：常用的三种加速比定律分别是：适用于固定计算负载的Amdahl定律，适用于可扩放问题的Gustafson定律和受限于存储器的Sun和Ni定律。
6、试比较Amdahl定律、Gustafson定律、Sun和Ni定律三种加速定律的应用场合。
83 答：Amdahl定律适用于固定计算负载的问题Gustafson定律适用于可扩放性问题Sun和Ni定律适用于受限于存储器的问题。
7.并行算法的基本设计技术有哪些？它们的基本思想是什么？139答：(1)基本技术有：划分设计技术(又分为均匀划分技术、方根划分技术、对数划分技术和功能划分技术)、分治设计技术、平衡树设计技术、倍增设计技术、流水线设计技术等。
(2)基本思想分别如下：a.划分设计技术：(P139) 将一原始问题分成若干部分，然后各部分由相应的处理器同时执行。
b.分治设计技术：(P144)将一个大二复杂的问题分解成若干特性相同的子问题分而治之。
若所得的子问题规模仍嫌过大，可反复使用分治策略，直至很容易求解诸子问题为止。
并行计算-练习题
并行计算-练习题2014年《并行计算系统》复习题（15分）给出五种并行计算机体系结构的名称，并分别画出其典型结构。
①并行向量处理机（PVP）②对称多机系统（SMP）③大规模并行处理机（MPP）④分布式共享存储器多机系统（DSM）⑤工作站机群（COW）（10分）给出五种典型的访存模型，并分别简要描述其特点。
①均匀访存模型（UMA）：物理存储器被所有处理机均匀共享所有处理机访存时间相同适于通用的或分时的应用程序类型②非均匀访存模型（NUMA）：是所有处理机的本地存储器的集合访问本地LM的访存时间较短访问远程LM的访存时间较长③Cache一致性非均匀访存模型（CC-NUMA）：DSM结构④全局Cache访存模型（COMA）：是NUMA的一种特例，是采用各处理机的Cache组成的全局地址空间远程Cache的访问是由Cache目录支持的⑤非远程访存模型（NORMA）：在分布式存储器多机系统中，如果所有存储器都是专用的，而且只能被本地存储机访问，则这种访问模型称为NORAM绝大多数的NUMA支持NORAM在DSM中，NORAM的特性被隐匿的3. （15分）对于如下的静态互连网络，给出其网络直径、节点的度数、对剖宽度，说明该网络是否是一个对称网络。
网络直径：8节点的度数：2对剖宽度：2该网络是一个对称网络4. （15分）设一个计算任务，在一个处理机上执行需10个小时完成，其中可并行化的部分为9个小时，不可并行化的部分为1个小时。
问：（1）该程序的串行比例因子是多少，并行比例因子是多少？串行比例因子：1/10并行比例因子:9/10如果有10个处理机并行执行该程序，可达到的加速比是多少？10/(9/10 + 1) = 5.263（3）如果有20个处理机并行执行该程序，可达到的加速比是多少？10/(9/20 + 1)= 6.897（15分）什么是并行计算系统的可扩放性？可放性包括哪些方面？可扩放性研究的目的是什么？一个计算机系统（硬件、软件、算法、程序等）被称为可扩放的，是指其性能随处理机数目的增加而按比例提高。
并行计算习题(全)
第二章 习题例题：
1.
当代并行计算机系统介绍
请尽可能访问以下有关高性能并行计算的网址： IEEE/CS ParaScope (/parascope/)，world-wide parallel computing sites High Performance Computing Lists (/homes/mcbryan/public_html/bb/2/summary.html) The Language List (http://cuiwww.unige.ch/langlist) enumerate programming languages TOP 500 (/benchmark/top500.html) World's TOP 500 most powerful computing sites (at Netlib，University of Tennessee) Myrinet () DSM bibliography (http://www.cs.ualberta.ca/~rasit/dsmbiblio.html) Berkeley Active Message page (/AM/active_messages.html) The Cray Research system page (/products/systems/) SGI/Cray Origin 2000 (/Products/hardware/servers/index.html) Cray T3E (/products/systems/crayt3e/) PetaFLOPS web site (/hpcc/) NASA HPCC Program (/hpcc/) Cray T3E (/products/systems/crayt3e/) IBM SP (/hardware/largescale/) Intel Paragon (/Services/ Consult/Paragon/paragon.html) Kai Li (/~li/) SP2 at MHPCC (/doc/SP2.general/SP2.general.html) MPI Standard site (/mpi/index.html) MIT Parallel and Distributed Operating Systems Group (/). National Center for Supercomputer Applications at UIUC (NCSA) (/) Cornell Theory Center (CTC) (/ctc.html) Argonne Natl Laboratory，Mathematics & Computer Science Div. (/) Army Research Lab (/) Lawrence Livermore National Laboratory (/comp/comp.html) Los Alamos Natl Laboratory (LANL) Advanced Computing Laboratory (/). Maui High Performance Computing Center (MHPCC) (/mhpcc.html) San Diego Supercomputer Center (/SDSCHome.html) Sandia National Laboratories (/) Massively Parallel Comp. Res. Lab. Parallel Processing in Japan (/papers/ppij.html) Cray Research (/) IBM High-Performance Computing (/) ParaSoft Corporation (/)
并行计算与高性能计算考核试卷
（以下为答题纸区域，请考生在此区域作答，超出此区域作答无效。）
三、填空题（本题共10小题，每小题2分，共20分，请将正确答案填到题目空白处）
1.并行计算中，将一个大的任务分解成多个子任务的过程称为______。
2.在并行计算中，______是指使用多个处理器执行单个任务的不同部分。
3.高性能计算中，______是一种衡量计算机性能的指标，表示每秒能够执行的浮点运算次数。
C. CUDA
D. Java
5.并行计算中，任务分解与任务分配是（）
A.相同的过程
B.互相独立的
C.相互依赖的
D.无关的
6.以下哪个部件不是并行计算机的主要组成部分？（）
A.处理器
B.存储器
C.网络接口卡
D.显卡
7.高性能计算领域中，计算速度的主要指标是（）
A. MIPS
B. MFLOPS
C. GHz
D. OpenCL
11.并行计算中，以下哪种通信方式开销最小？（）
A.同步通信
B.异步通信
C.广播通信
D.全局通信
12.以下哪个术语不是高性能计算中的术语？（）
A.性能
B.效能
C.并行度
D.带宽
13.并行计算中，以下哪种同步机制可能会导致死锁？（）
A.互斥锁
B.条件变量
C.信号量
D.读写锁
14.以下哪个选项不属于并行计算中的数据依赖类型？（）
3. MFLOPS
4.点对点
5.数据并行
6.可扩展性
7.图形处理单元
8.互斥锁
9. SRAM
10.并发
四、判断题
1. ×
2. ×
3. √
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2014年《并行计算系统》复习题
（15分）给出五种并行计算机体系结构的名称，并分别画出其典型结构。
①并行向量处理机（PVP）
②对称多机系统（SMP）
③大规模并行处理机（MPP）
④分布式共享存储器多机系统（DSM）
⑤工作站机群（COW）
（10分）给出五种典型的访存模型，并分别简要描述其特点。
①均匀访存模型（UMA）：
物理存储器被所有处理机均匀共享
所有处理机访存时间相同
适于通用的或分时的应用程序类型
②非均匀访存模型（NUMA）：
是所有处理机的本地存储器的集合
访问本地LM的访存时间较短
访问远程LM的访存时间较长
③Cache一致性非均匀访存模型（CC-NUMA）：
DSM结构
④全局Cache访存模型（COMA）：
是NUMA的一种特例，是采用各处理机的Cache组成的全局地址空间
远程Cache的访问是由Cache目录支持的
⑤非远程访存模型（NORMA）：
在分布式存储器多机系统中，如果所有存储器都是专用的，而且只能被本地存储机访问，则这种访问模型称为NORAM
绝大多数的NUMA支持NORAM
在DSM中，NORAM的特性被隐匿的
3. （15分）对于如下的静态互连网络，给出其网络直径、节点的度数、对剖宽度，说明该网络是否是一个对称网络。
网络直径：8
节点的度数：2
对剖宽度：2
该网络是一个对称网络
4. （15分）设一个计算任务，在一个处理机上执行需10个小时完成，其中可并行化的部分为9个小时，不可并行化的部分为1个小时。
问：
（1）该程序的串行比例因子是多少，并行比例因子是多少？
串行比例因子：1/10
并行比例因子:9/10
如果有10个处理机并行执行该程序，可达到的加速比是多少？
10/(9/10 + 1) = 5.263
（3）如果有20个处理机并行执行该程序，可达到的加速比是多少？
10/(9/20 + 1)= 6.897
（15分）什么是并行计算系统的可扩放性？可放性包括哪些方面？可扩放性研究的目的是什么？
一个计算机系统（硬件、软件、算法、程序等）被称为可扩放的，是指其性能随处理机数目的增加而按比例提高。
例如，工作负载能力和加速比都可随处理机的数目的增加而增加。
可扩放性包括:
1.机器规模的可扩放性
系统性能是如何随着处理机数目的增加而改善的
2.问题规模的可扩放性
系统的性能是如何随着数据规模和负载规模的增加而改善
3.技术的可扩放性
系统的性能上如何随着技术的改变而改善
可扩放性研究的目的:
确定解决某类问题时何种并行算法与何种并行体系结构的组合，可以有效的利用大量的处理器；
对于运用于某种并行机上的某种算法，根据在小规模处理机的运行性能预测移植到大规模处理机上的运行性能;
对固定问题规模，确定最优处理机数和可获得的最大的加速比
（15分）给出五个基本的并行计算模型，并说明其各自的优缺点。
①PRAM：SIMD-SM
优点：
适于表示和分析并行计算的复杂性；
隐匿了并行计算机的大部底层细节（如通信、同步），从而易于使用。
缺点：
不适于MIMD计算机，存在存储器竞争和通信延迟问题。
②APRAM:MIMD-SM
优点：
保存了PRAM的简单性；
可编程性和可调试性（correctness）好；
易于进行程序复杂性分析。
缺点：
不适于具有分布式存储器的MIMD计算机。
③BSP：MIMD-DM
优点:
把计算和通信分割开来；
使用hashing自动进行存储器和通信管理；
提供了一个编程环境。
缺点：
显式的同步机制限制并行计算机数据的增加；
在一个Superstep中最多只能传递h各报文。
④LogP：MIMD-DM
优点：
可捕捉并行计算机的（同步）通信瓶颈（通过发送或接收L/g 个报文）；
可隐匿拓扑结构，路由算法和网络协议的细节；
可用于共享变量，报文传递和数据并行处理等方案。
缺点：
受限于网络的通信能力（当进行处理机数量扩充时）；
难以计算同步开销和进行算法描述和设计。
⑤C3模型
优点：
考虑了一对一和一对多的通信方案细节；
反应了受拥塞影响的计算性能。
缺点：
模型的参数较复杂；
算法的设计与分析和计算机的结构状况有关。
（15分）说明并行算法的基本设计过程。
①划分（P）
目的
开发并行性的可行性
方法
数据分解+功能分解
规划
常用的数据，通信频率的进程分为一组
判据（Check list 的设计问题）
②通信（C）
目的
根据任务执行的需要交换数据后；协调任务的执行
通信要求
在域分解中的确定通信要求
在功能分解时，容易确定通信需求
通信模式
局部通信结构化静态同步
全局通信非结构化动态异步
判据（测试表的设计问题）
③组合（A）
目的
按性能要求和时间的代价来考察前两阶段的结果对小的任务进行必要的组合以减少通信开销和提交性能
需回答8个方面的问题
判据（测试表的设计问题）
④匹配（M）
目的
将每个任务分配到一个处理机上，降低通信开销和执行时间，提高处理机利用率。