并行计算作业

云南大学信息学院2010—2011学年下学期研究生课程《并行计算》期末考试A卷任课教师：专业：学号：姓名：一、基础知识1. 简单阐述当前流行的并行计算机分类，以及各类并行机体系结构的主要特征。

按内存访问模型、微处理器和互联网络的不同，当前流行的并行机可分为对称多处理共享存储并行机（SMP：Symmetric Multi-Processing）、分布共享存储并行机（DSM：Distributed Shared Memory）、机群（cluster）、星群（constellation）和大规模并行机（MPP：Massively Parallel Processing）等五类。

SMP并行机有如下主要特征：对称共享存储、单一的操作系统映像、局部高速缓存cache 及其数据一致性、低通信延迟、共享总线带宽、支持消息传递、共享存储并行程序设计。

SMP 并行机具有如下缺点：欠可靠、可扩展性（scalability）较差。

DSM 并行机具有如下主要特征：并行机以结点为单位，每个结点包含一个或多个CPU，每个CPU 拥有自己的局部cache，并共享局部存储器和I/O设备，所有结点通过高性能互联网络相互连接；物理上分布存储；单一的内存地址空间；非一致内存访问（NUMA）模式；单一的操作系统映像；基于cache 的数据一致性；低通信延迟与高通信带宽；DSM 并行机可扩展到数百个结点，能提供每秒数千亿次的浮点运算性能；支持消息传递、共享存储并行程序设计。

机群(cluster)有三个明显的特征：1、系统由商用结点构成，每个结点包含2-4 个商用微处理器，结点内部共享存储。

2、采用商用机群交换机连接结点，结点间分布存储。

3、在各个结点上，采用机群Linux 操作系统、GNU 编译系统和作业管理系统。

星群(constellation)有三个明显的特征：1、系统由结点构成，每个结点是一台共享存储或者分布共享存储的并行机子系统，包含数十、数百、乃至上千个微处理器，计算功能强大。

2、采用商用机群交换机连接结点，结点间分布存储。

3、在各个结点上，运行专用的结点操作系统、编译系统和作业管理系统。

大规模并行机系统主要特征为：1、系统由结点构成，每个结点含10 个左右处理器，共享存储。

处理器采用专用或者商用CPU。

2、采用专用高性能网络互连，结点间分布存储。

3、系统运行专用操作系统、编译系统和作业管理系统。

2. 一个多处理机系统由100台处理器组成，每台处理器的峰值执行速度为2Gflops．当10%代码为顺序执行而90%代码可并行化时，该系统以Gflops表示的性能为多少?Sp= 1/(10%+90%/100)≈9.17Sp*2Gflops=18.34Gflops所以该系统的性能为18.34Gflops 。

二、基本通信操作1. 若并行计算机使用存储转发路由选择。

大小为m 的消息经长度为d 的路径从P source 传送到的P ndestinatio 成本为ts+tw*d*m 。

一种可替代的传送大小为m 的消息的方法如下：将消息分成k 部分，每部分的大小为m /k ，然后将这k 个不同的消息一个接一个地从P source 传送到P ndestinatio 。

对于这种新方法，在下面两种情况下，导出将大小为m 的消息传送到d 站以外所需时间的表达式。

1） 假设在路径中，当前一条消息到达下一个节点后，另一条消息就能从P source 发出.2） 假设只有当前一条消息到达后另一条消息才能从P source 发出。

对于每种情况，当k 的值在1和m 之间变化时，试讨论表达式的值。

如果ts 很大，或者ts ＝0时，k 的最优值是多少？解：由题意可知① t1=ts+(m/k)*tw*d+(k-1)m/k * tw② t2=k*(ts+tw*d*m/k)1) t1=ts+[(k-1)/k+d/k]*m*tw 有表达式可以看出随K 值的增大而减小。

表达式的值ts+(m-1+d)*tw ≦t1≦ts+tw*d*m.所以k 的最优值为m 。

2) t2=k*ts+tw*d*m,有表达式的值随K 的增大而增大。

表达式的值ts+tw*d*m ≦t2≦k*ts+tw*d*m.。

当k 为1时取得最小值，所以k 的最优值为1.1）t(sp)= (k m d t t w s ⨯⨯+)+(k-1)·(km d t t w s ⨯⨯+1) 当s t =0时，t(sp) = k m d t w ⨯⨯+d m t w ⨯-k m d t w ⨯⨯1 =d m t w ⨯+⎪⎭⎫ ⎝⎛-⨯d d k m t w 1此时，k 的最优值为m 当s t =∞时，t(sp) = k m d t t w s ⨯⨯++k ·s t +d m t w ⨯-s t -k m d t w ⨯⨯1 = k ·s t +d m t w ⨯+⎪⎭⎫ ⎝⎛-⨯d d k m t w 1此时，k 的最优值为1 2）t(sp)= k km d t t w s ⋅⨯⨯+)( 当s t =0时，t(sp) =k k m d t w ⋅⨯⨯)(=m d t w ⨯⨯，此时，k 的最优值为任意数 当s t =∞时，t(sp) = k ·s t +m d t w ⨯⨯，此时，k 最优值为15. 在环中，多对多广播有两种不同的实现方法：（1）标准环算法；（2）超立方体算法。

1） 上述两种方法的运行时间各是多少？如果k 个消息必须在同一时间通过同一链路，那么假定这些消息的有效字传送时间为kt w 。

同时假定t s =100t w 。

2） 如果消息m 非常大，那么上述两种算法哪个更好，为什么？3） 如果消息m 非常小（可能是一个字），那么哪个算法更好，为什么？解：1） 标准环算法的运行时间：T=（ts+k*tw*m*p/2）*(p-1)超立方体算法的运行时间：T=（ts+k*tw*m*p/2）*logp6．考虑一台有2n 个处理器的共享地址空间并行计算机。

假设每个处理器都有一些本地内存，],[,],[j i B j i A 被储存在j i P ,的本地内存中。

此外，j i P ,在它的本地内存中计算],[j i C 。

假定它在非本地内存中进行一次读或写需要的时间是w local t t +，在本地内存中进行一次读或写需要的时间是local t 。

请推导下列算法在这台并行计算机上的并行运行时间的表达式。

CREW PRAM 上两个n n ⨯矩阵A 和B 相乘的算法，得出矩阵B A C ⨯=――――――――――――――――――――――――――――――――――――――1. procedure MA T_MULT_CREW_PRAM(A, B, C , n)2. begin3. Organize the 2n processes into a logical mesh of n n ⨯;4. for each process j i P , do5. begin6. ],[j i C :=0;7. for k :=0 to n -1 do8. ],[],[],[:],[j k B k i A j i C j i C ⨯+=;9. endfor ;10. end MAT_MULT_CREW_PRAM---------------------------------------------------------------------------------------------------------------- 解： 当k=i 时，],[j i B 在j i P ,的本地内存中,此时执行第8条语句的时间为local t +w local t t ++local t +local t ；同理可得，当k=j 时，],[j i A 在j i P ,的本地内存中,此时执行第8条语句的时间为local t +local t +w local t t ++local t ,当k 既不等于i 也不等于j 时，执行第8条语句的时间为，local t +w local t t ++w local t t ++local t 因此，最后总的时间为t(sp) =（n-2）·(local t +w local t t ++w local t t ++local t )+2·（l o c a l t +local t +w local t t ++local t ）= n ·(local t +w local t t ++w local t t ++local t )-2·t w三、计算与编程4. 编写程序实现蒙特卡罗方法的并行计算．蒙特卡罗算法求pi 。

//并行算法#include <stdio.h>#include <pthread.h>#include <time.h>#include <stdlib.h>#include <sys/time.h>#include <unistd.h>long cs=0; //循环次数long count=0; //主线程有效次数long count_thread=0; //thread 线程有效次数struct timeval start, finish; //定义开始结束时间double diffsec,diffusec;long t;//每次生成数据数量pthread_mutex_t mutex;long double *data_thread,*data_main;//void *thread(void *)void thread(void){int i=0,j=0;double x,y;//long double *data_thread;long double data_thread[t];for(i=0;i<cs/t;i++){// data_thread=new (long double)[t];pthread_mutex_lock (&mutex);//lockfor(j=0;j<t;j++)data_thread[j]=(long double)rand()/(long double)RAND_MAX; pthread_mutex_unlock(&mutex);//unlockfor(j=0;j<t;j+=2){x=data_thread[j];y=data_thread[j+1];if((x*x+y*y)<=1)count_thread++;}//delete []data_thread;}}//主线程计算量为总数的一半int main(void){printf("Please input the number:");scanf("%d",&cs);cs=cs*1000000;printf("Please input the number for generating the data once:"); scanf("%d",&t);t=t*100000;pthread_t id;int ret;srand( (unsigned)time( NULL ) );pthread_mutex_init(&mutex,NULL);//声明互斥锁ret=pthread_create(&id,NULL,(void *)thread,NULL); //创建thread线程 gettimeofday(&start,NULL); //记录开始时间int i=0,j=0;double x,y;long double data_main[t];for(i=0;i<cs/t;i++){// data_main=new (long double)[t];pthread_mutex_lock(&mutex);//lockfor(j=0;j<t;j++)data_main[j]=(long double)rand()/(long double)RAND_MAX; pthread_mutex_unlock(&mutex);//unlockfor(j=0;j<t;j+=2){x=data_main[j];y=data_main[j+1];if((x*x+y*y)<=1)count++;}//delete []data_main;}pthread_join(id,NULL); //两线程同步count+=count_thread;gettimeofday(&finish,NULL); //记录结束时间//计算所耗时间diffsec=(double)__sec;diffusec=(double)(__usec)/(double)1000000; diffsec+=diffusec;//输出结果printf("Cost time=%f second \n",diffsec);printf("roop times=%d \n",cs);printf("effective times=%d \n",count);printf("pi= %f \n",4*(double)count/(double)cs);return(0);}。