14并行算法设计(PCAM)讲解
并行图计算模型与算法设计
并行图计算模型与算法设计并行计算是一种用于处理大规模数据和复杂计算任务的计算模型。
在过去的几十年里，随着计算机硬件技术的不断发展，单个计算节点的计算能力已经开始达到瓶颈，因此人们开始寻找新的计算模型来提高计算效率。
并行图计算模型就是这样一种新的计算模型，它利用多个计算节点同时进行计算，从而实现了高效的并行计算。
一、并行图计算模型的基本原理并行图计算模型是基于图的并行计算模型。
其中，图是由节点和边组成的数据结构，节点表示计算任务，边表示计算任务之间的依赖关系。
在并行图计算模型中，任务被分布到多个计算节点上，每个计算节点处理自己负责的子图。
节点之间可以通过边来进行通信和数据交换。
并行图计算模型的基本原理是将整个计算过程划分为多个小的计算任务，并将这些任务分配给多个计算节点进行并行计算。
每个计算节点相互独立地计算自己负责的任务，并根据任务之间的依赖关系进行数据交换和通信。
通过并行计算，可以充分利用计算节点的计算能力，加速计算过程。
二、并行图计算模型的优势与传统的串行计算模型相比，并行图计算模型具有以下几个优势：1. 高效利用计算资源：通过将计算任务分配给多个计算节点并行执行，可以充分利用计算资源，提高计算效率。
2. 处理大规模数据：并行图计算模型适用于处理大规模数据和复杂计算任务的场景。
通过将计算任务分布到多个计算节点上，并行计算可以有效地减少计算时间。
3. 灵活的任务调度：并行图计算模型采用分布式任务调度的方式，可以根据计算节点的可用性和负载情况，动态调整任务的分配和调度，进一步提高计算效率。
4. 高容错性：由于并行图计算模型中的计算节点相互独立地执行任务，当某个节点出现故障时，可以通过将任务重新分配给其他节点来实现容错。
这使得并行图计算模型具有很高的容错性。
三、并行图计算算法设计并行图计算算法设计是指设计并行图计算模型中的具体算法，以实现高效的并行计算。
在设计并行图计算算法时，需要考虑以下几个方面：1. 任务划分：将整个计算任务划分为多个小的计算任务，并将这些任务分配给不同的计算节点进行并行计算。
高性能计算中的并行算法设计思路
高性能计算中的并行算法设计思路在高性能计算领域，对于大规模数据处理和复杂问题求解，使用并行算法是必不可少的。
并行算法的设计思路关乎着计算效率和并行性能的提升。
本文将探讨高性能计算中的并行算法设计思路，并介绍一些常用的并行算法技术。
首先，了解问题本身是并行化的前提。
对于某些问题来说，并行化是有意义和可行的，因为问题的输入可以被切分成多个子问题，同时这些子问题之间又是相互独立的。
例如，图像处理、大规模矩阵运算等问题就适合使用并行算法来加速计算。
其次，选择合适的并行算法模式。
根据问题的特点和问题规模，我们可以选择不同的并行算法模式。
常见的并行算法模式包括任务并行和数据并行。
任务并行是将问题划分为多个任务，每个任务被单独执行；数据并行是将数据分割成多个部分，每个处理单元负责处理其中一部分数据。
有时候，混合并行模式也可用于更好地利用资源和提高计算效率。
接下来，考虑并行算法的通信和同步机制。
在并行计算中，各个处理单元之间需要进行数据交换和协调工作。
因此，设计合理的通信和同步机制是并行算法的关键。
常见的通信和同步技术包括消息传递和共享内存。
在消息传递机制中，处理单元通过消息传递进行通信；而共享内存机制中，处理单元可以直接访问共享内存空间。
根据不同的问题和硬件平台，选择合适的通信和同步机制可以提高计算效率和并行性能。
另外，选择合适的并行计算框架和库也是并行算法设计的一部分。
有许多并行计算框架和库可供选择，例如MPI、OpenMP、CUDA等。
这些框架和库提供了高层次的接口和优化技术，可以简化编程和加速计算过程。
根据问题的特点和硬件平台，选择合适的并行计算框架和库可以提高开发效率和计算性能。
此外，优化并行算法的效率是不可忽视的。
并行算法的优化可以涉及算法细节、数据结构选择、计算任务划分以及负载平衡等方面。
例如，通过合理选择数据结构和算法实现，可以减少通信和同步操作，从而提高计算效率。
同时，对于负载不平衡的情况，可以采用动态负载均衡技术来解决。
14并行算法设计(PCAM)讲解
从问题描述开始设计并行算法
方法描述
从问题本身描述出发，不考虑相应的串行算 法，设计一个全新的并行算法。
评注
挖掘问题的固有特性与并行的关系； 设计全新的并行算法是一个挑战性和创造性
的工作；
借用已有算法求解新问题
通信：原来是一个整体，不需要通信，分解后 各个部分之间存在交流了，即通信。
通信属于额外成本，越少越好。
组合：任务组合形成更大的任务，目的是减少 通信。
映射：并行程序的实现过程。
图中：三个处理器，有六个任务，怎样安排来 执行的问题。
PCAM设计方法学
设计并行算法的四个阶段
划分(Partitioning) 通讯(Communication) 组合(Agglomeration) 映射(Mapping)
映射(实现的考虑，系统来做)
方法描述 负载平衡算法 任务调度算法 映射判据
方法描述
每个任务要映射到具体的处理器，定位 到运行机器上；
任务数大于处理器数时，存在负载平衡 和任务调度问题；
映射的目标：减少算法的执行时间
并发的任务 不同的处理器 任务之间存在高通讯的 同一处理器
权重轮询调度算法(Weighted Round-Robin Scheduling)
上面所讲的轮询调度算法并没有考虑每台 服务器的处理能力，在实际情况中，可能并不 是这种情况。由于每台服务器的配置、安装的 业务应用等不同，其处理能力会不一样。所以， 我们根据服务器的不同处理能力，给每个服务 器分配不同的权值，使其能够接受相应权值数 的服务请求。
该算法形式化描述如下：
并行算法的设计基础
表示其间的 n (i=1 to n) 次语句序列的执行 可以并行完成
2. for all 语句 for all Pi where 0 i k-1 do : :
end for 2019/11/20
表示 k 个 处理器同时 执行其间的 语句序列 9
3. 并行算法的复杂性度量
令 f(n) 和 g(n) 是定义在自然数集合N 上的两个函数，
2019/11/20
4
定义3：同步算法(synchronized algorithm):是指算 法的诸进程的执行必须相互等待的一类并行算法。 SIMD算法是同步算法中的一种特例。
定义4：异步算法(asynchronous algorithm):是指算 法的诸进程的执行不必相互等待的一类并行算法。
定义5：分布并行算法(distributed algorithm)：将 同一任务分解为若干个子任务，使之分布在由通信 链路连接的多个节点上协同完成运算的算法。
定义12：一个并行算法的期望时间复杂性 ( expected time-complexity ) ：对于所有输入 规模为 n 的问题，在给定的计算模型之下求解问 题所需的时间的平均值。
2019/11/20
15
定义13：一个并行算法最坏情况下的空间复杂性 (worst-case space-complexity) ：对于所有输 入规模为 n 的问题，在给定的并行计算模型之下 求解问题所需的内存空间的最大值。
22
我们把 A 按列分为 p 个 n*r 的小矩阵A1 , A2 ,… , Ap 把 X 按行分为 p 个 r*1 的小向量X1 , X2 ,… , Xp
A = A1 A2 …
Ap
(n*r) (n*r)
并行计算的四类设计模型
并行计算的四类设计模型一、数据并行模型数据并行模型是指将计算任务分成多个子任务，每个子任务在不同的处理器上并行执行，每个处理器处理不同的数据集。
数据并行模型适用于可以将计算任务划分为多个独立的数据块的情况，每个处理器独立处理一个数据块，最后将结果汇总得到最终的计算结果。
数据并行模型的典型应用是矩阵乘法。
在矩阵乘法中，将两个大的矩阵分成多个小的子矩阵，每个处理器负责计算一个子矩阵的乘法，最后将所有子矩阵的结果相加得到最终的乘积矩阵。
二、任务并行模型任务并行模型是指将计算任务分成多个子任务，每个子任务在不同的处理器上并行执行，每个处理器负责处理一个子任务。
任务并行模型适用于可以将计算任务划分为多个独立的子任务的情况，每个处理器独立执行一个子任务，最后将各个子任务的结果合并得到最终的计算结果。
任务并行模型的典型应用是图像处理。
在图像处理中，可以将图像分成多个小的区域，每个处理器负责处理一个区域的像素，最后将各个区域的处理结果合并得到最终的处理结果。
三、流水线模型流水线模型是指将计算任务划分为多个阶段，每个阶段由不同的处理器负责执行，各个处理器按照流水线的方式，将计算结果传递给下一个阶段进行处理。
流水线模型适用于计算任务之间存在依赖关系的情况，可以通过流水线的方式提高计算任务的并行度。
流水线模型的典型应用是指令执行。
在计算机中，指令的执行可以划分为取指、译码、执行和写回等阶段，每个阶段由不同的处理器负责执行，各个处理器按照流水线的方式，将指令流传递给下一个阶段进行处理。
四、数据流模型数据流模型是指将计算任务划分为多个节点，每个节点负责接收输入数据，并进行计算后输出结果。
数据流模型适用于计算任务之间存在复杂的数据依赖关系的情况，可以通过数据流的方式实现计算任务的并行执行。
数据流模型的典型应用是信号处理。
在信号处理中，输入信号经过一系列的计算节点，每个节点对输入信号进行特定的处理，最后得到输出结果。
每个节点独立执行，通过数据流的方式将输入信号传递给下一个节点进行处理。
并行算法
并行性条件 数据相关性：流相关、反相关、输出相关 相关性判别条件 输入集合I1,I2, 输出集合U1,U2,
I1Λ U2=Φ ; I2Λ U1=Φ ; U1Λ U2=Φ ;
数据相关
• P1： A＝B+C • P2: D＝A×B
其中变量A是导致P1和P2发生数据相关的原因。
P1和P2不能并行执行
1)可并发执行的任务放在不同的处理器上，增强并行度 2)需要频繁通信的任务置于同一处理器上以提高局部性。 3)采用域分解技术，当分解算法复杂，工作量不一样，通 信也许是非结构化的，此时需要负载平衡算法。 4)基于功能分解，会产生一些由短暂任务组成的计算，它 们在开始与结束时需与别的任务协调，此时可采用任务调度 算法。
假设 F(x)是D R n到D的一个映射, 要求解x* , 使得x*是 方程F(x)=0的一个解.记F(x)的Jacobi矩阵为G(x)=F' ( x ), 对给定的初始值x (0) , 则Newton迭代法如下 : x (k+1) x (k) G 1 ( x (k) ) F ( x (k) ), k 0,..........
并行算法简介
解决方案中心 高性能计算部 姜金良
目录
并行算法基本概念 并行算法分类 并行化方法 并行算法的一般设计方法 并行算法的基本设计技术 并行算法的一般设计过程 并行程序设计方法 并行编程模型
并行算法的概念
• 并行算法：是一些可同时执行的诸进程的集合，这些进程相互作
用和协调动作从而达到给定问题的求解。
• 同步和异步并行算法
同步并行算法需要在某一时刻需要与其它的处理机进行数 据交换,然后才能继续进行.异步并行算法进行数据交换不 需要严格确定在某一时刻,每个处理机按照预定的计算任 务持续执行,但通常需要在一定的时候必须进行一次数据 交换,以保证算法的正确性 例:
并行算法PPT课件
学习方式： ▪ 课程讲授、大作业和课堂讨论相结合
2021/3/12
《并行算法》 5 / Ch0
0.2 课程简介: 教材和主要参考书目
教材： ▪陈国良, 并行算法的设计与分析
《并行算法》 3 / Ch0
主要内容
0.1 任课教师和课程主页 0.2 课程介绍
▪ 课程内容、特点和授课方式 ▪ 教材和主要参考书目 ▪ 课程在并行计算技术中的地位 0.3 课程考核和评分要求 0.4 并行计算介绍 ▪ 什么是并行计算? ▪ 为什么需要并行计算? ▪ 几种实现方案 ▪ 并行计算的粒度 ▪ 并行计算的研究领域 ▪ TOP500和China TOP50 ▪ 问题示例
2021/3/12
《并行算法》 10 / Ch0
0.4 并行计算介绍: 什么是并行计算？
A parallel computer is a “collection of processing elements that communicate and cooperate to solve large problem fast”. –-David E. Culler
▪ 课程内容、特点和授课方式 ▪ 教材和主要参考书目 ▪ 课程在并行计算技术中的地位 0.3 课程考核和评分要求 0.4 并行计算介绍 ▪ 什么是并行计算? ▪ 为什么需要并行计算? ▪ 几种实现方案 ▪ 并行计算的粒度 ▪ 并行计算的研究领域 ▪ TOP500和China TOP100 ▪ 问题示例
2021/3/12
《并行算法》 4 / Ch0
0.2 课程介绍: 内容、特点和学习方式
并行算法——精选推荐
并行算法两个密切相关的并行计算模型。
电路模型z 通过电路连接的逻辑门（与/或/非）、 z 重要的措施– 门的数目– 深度（同步电路的时钟周期）PRAM 模型z P 个处理器，每个都有一个随机存取储存器和局部寄存器 z 全部与一个大的共享随机访问存储器M 相连 z 处理器之间的通信通过共享存储器实现 z 同步并行步骤z 不现实，但是启发了“并行度”的概念 虽然用的相同的模型，却让我们关注不同的事情 电路模型z 通过电路连接的逻辑门（与/或/非）、 z 重要的措施– 门的数目– 深度（同步电路的时钟周期） z 有界和无界输入/输出z ()AC k 和：对于规模为n 的问题深度为的无界和有界的输入 ()NC k (log )k O n +z 用完全二叉树 ()()(1)AC k NC k AC k ⊂⊂z()()NC NC k AC k ==∪∪附加z 考虑到加入和，以及进位i a i b 1i c −产生输出和下一个进位 i s i c z 行波进位：个门，时间复杂度 ()O n ()O n z 先行进位：个门，时间复杂度 ()O n ()O n z 为进行与先准备i c z 给出和，以及可能出现的三种情况：i a i b i c – 如果，不论为何值i a b =i i 1i c −i c a =：一般设11c =或删除 0i c =– 否则， 1i i c c −=– 依次写下,,i x k p g =z 考虑到3的“乘法表”，如右图，在同一行的二加法效果，只有当两个都是传递数时，对传递数才前位进位3×z 现在令0y k =，1i i y y x −=×i z通过引入右图来约束“乘法表”z 结论：i y k =意味着，0i c =i y g =意味着1i c =，i y p =不会发生 z 于是问题简化为在并行中计算所有的 i y 并行前缀z 建立一个完全二叉树 z 在每个节点有两个门 z 向上传递所有孩子的结果z 向下传递所有i x 前面的最左端孩子的结果 z 可以为任何联合的功能服务PRAM 模型各种冲突解决办法（CREW，EREW，CRCW）z ()(1)CRCW k EREW k ⊂+z()NC CRCW k =∪PRAM 仿真了电路，反过来也成立z 因此NC 很好的定义了 在实践中的不同z EWER 需要时间来找到最大值（信息理论下界） log n z 用个处理器，CRCW 可以通过恒定的时间找到最大值2n – 每对对比– 如果某个目标丢失，则在这一项上面写“不是最大” – 检查所有项–如果某项最大（没有被覆盖），在结果中写下他的值z 用n 个处理器在时间内(log log )O n – 假设还有k 项留下 – 把n k 项分成2kn块– 每个的最大二次时间：22()()k n n k n = – 递推：2()1()T k T k=+– 2(2)1(2)ii T n T n =+ – 因此共有lo 项g n 并行前缀 z 用n 个处理器EREW 表排序z 下一组指针 ()n x z ；()(())d x d n x +=()(())n x n n x =z 经过归纳，在路径上的值的总和不变0.1高效工作算法主要观点：z 我们已经看到的并行算法是有点“低效”的z 比串行算法做的总工作更多（处理器个数乘以时间） z 理想的解决办法：把总的工作按比例分配最佳的串行工作 z 高效工作算法z 通过一个完全有效的方法，一些处理器（甚至一个）也能“模拟”出许多处理器 z 一旦你写了一个针对许多处理器的算法，并行模拟“缓存漠视算法”。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
增加重复计算有可能减少通讯量；
二维网格计算 周围有四个，所以计算量是1，通信量是4. 看四个小点 周围有八个，计算量是4，通信量是8.
重复计算
重复计算也叫冗余计算，有时可用冗余计
算来减少通信。
减少通讯量，但增加了计算量，应保持 恰当的平衡；
重复计算的目标应减少算法的总运算时 间；
图中：三个处理器，有六个任务，怎样安排来 执行的问题。
PCAM设计方法学
设计并行算法的四个阶段
划分(Partitioning) 通讯(Communication) 组合(Agglomeration) 映射(Mapping)
划分：分解成小的任务，开拓并发性； 通讯：确定诸任务间的数据交换，监测划分的合理性； 组合：依据任务的局部性，组合成更大的任务； 映射：将每个任务分配到处理器上，提高算法的性能。
方法描述
每个任务要映射到具体的处理器，定位 到运行机器上；
任务数大于处理器数时，存在负载平衡 和任务调度问题；
映射的目标：减少算法的执行时间
并发的任务 不同的处理器 任务之间存在高通讯的 同一处理器
映射实际是一种权衡，属于NP完全问题
NP就是Non-deterministic Polynomial的问题， 也即是多项式复杂程度的非确定性问题。
同时也要保持灵活性和减少软件成本, 降低软件工程代价
重复计算
示例：二叉树上N个处理器求N个数 的全和，要求每个处理器均保持全 和。
s
s
b
b
s
s
s
s
b
b
b
b
0
1
2
3
0
1
2
3
二叉树上求和，共需2logN步
重复计算
示例：二叉树上N个处理器求N个数的全和， 要求每个处理器均保持全和。
Σ70
Σ70
递归对剖 局部算法 概率方法 循环映射
静态调度——轮询算法
随着各站点访问量和信息交流量的迅猛增长， 如何使用最小的资源成本，提高网络的效率， 最优化用户体验，已经成为网络管理人员不得 不面对的挑战。
技术上讲，就是ICP--网际网路内容提供者 (internet content provider)行业面临的网络资 源有效利用问题，也就是如何进行对网络的访 问分流，以便能够快速响应用户反应，即：负 载均衡。
轮询调度算法(Round-Robin Scheduling)
轮询调度算法的原理是每一次把来自用户 的请求轮流分配给内部中的服务器，从1开始， 直到N(内部服务器个数)，然后重新开始循环。
增加粒度：
在划分阶段,致力于尽可能多的任务以增大 并行执行的机会.但定义大量的细粒度任务 不一定产生一个有效的算法,因为这有可能 增加通信的代价和任务创建的代价
表面-容积效应
通讯量与任务子集的表面成正比，计算量 与任务子集的体积成正比；
通信量与其附近的任务数有关，计数量 与任务本身大小有关。
评注
挖掘问题的固有特性与并行的关系； 设计全新的并行算法是一个挑战性和创造性
的工作；
借用已有算法求解新问题
方法描述
找出求解问题和某个已解决问题之间的联系； 改造或利用已知算法应用到求解问题上。
评注
这是一项创造性的工作； 使用矩阵乘法算法求解所有点对间最短路径
是一个很好的范例。
并行计算 Parallel Computing
并行算法设计（ PCAM ）
主讲人：张琪
并行算法的一般设计方法
串行算法的直接并行化 从问题描述开始设计并行算法 借用已有算法求解新问题
从问题描述开始设计并行算法
方法描述
从问题本身描述出发，不考虑相应的串行算 法，设计一个全新的并行算法。
PCAM设计方法学
划分(Partitioning) 通讯(Communication) 组合(Agglomeration) 映射(Mapping) 小结
组合
方法描述 表面-容积效应 重复计算 组合判据
方法描述
组合是由抽象到具体的过程，是将组合 的任务能在一类并行机上有效的执行；
例? 是否保持了类似的计算和通讯？ 有没有减少并行执行的机会？
PCAM设计方法学
划分(Partitioning) 通讯(Communication) 组合(Agglomeration) 映射(Mapping) 小结
映射(实现的考虑，系统来做)
方法描述 负载平衡算法 任务调度算法 映射判据
NP完全问题是不确定性图灵机在P时间内能解 决的问题，是世界七大数学难题之一。NP完 全问题是NP类中“最难”的问题，也就是说 它们是最可能不属于P类的。这是因为任何NP 中的问题可以在多项式时间内变换成为任何特 定NP完全问题的一个特例。属于计算机科学 理论的一个基本概念。
负载平衡算法
静态的：事先确定； 概率的：随机确定； 动态的：执行期间动态负载； 基于域分解的：
合并小尺寸Βιβλιοθήκη 务，减少任务数。如果任 务数恰好等于处理器数，则也完成了映 射过程；
如果任务数大于处理器数，需要进行映 射；
通过增加任务的粒度和重复计算，可以 减少通讯成本；
保持映射和扩展的灵活性，降低软件工 程成本；（例如：开发和维护成本）
前两个步骤是在算法层次上的，本部分和 并行机、体系结构有关。
PCAM设计过程
问题
划分
通信 组合
映射
划分：是对任务并行的求解，把任务大任务都 打散，打稀碎，分解成小任务。
通信：原来是一个整体，不需要通信，分解后 各个部分之间存在交流了，即通信。
通信属于额外成本，越少越好。
组合：任务组合形成更大的任务，目的是减少 通信。
映射：并行程序的实现过程。
Σ70
Σ70
Σ70
Σ70
Σ70
Σ70
Σ30
Σ30
Σ30
Σ30
Σ74
Σ74
Σ74
Σ74
Σ10
Σ10
Σ32
Σ32
Σ54
Σ54
Σ76
Σ76
0
1
2
3
4
5
6
7
蝶式结构求和，使用了重复计算，共需logN步
组合判据
增加粒度是否减少了通讯成本？ 重复计算是否已权衡了其得益？ 是否保持了灵活性和可扩放性？ 组合的任务数是否与问题尺寸成比