硕士算法2010_第7章 并行计算基础

25
消息传递方式


虫孔寻径（wormhole routing）：分组被分成更小的固定大 小的数据片（flit）进行传输。分组头负责首先在源节点和 目的节点之间建立连接，数据片再沿着此连接传递。一旦一 个节点开始传送一个分组的第一个flit时，这个节点就必须 等待这个分组的全部的flit都送出后，才能转发其他的分组。 虫孔寻径有点像虚拟直通， 它与存储转发的不同之处在于当通信链路忙时，虫孔寻径并 不缓存整个分组，而只存储一个flit，并且用网络流量控制 机制阻塞该分组的后续flit的传送，让它们保留在传输路径 上的中间节点中。

Shared memory. Distributed memory. Virtual shared memory

7
Shared Memory



Small number of processors which each have access to a global memory store. Communications via write/reads to memory. Simple to program (no explicit communications). Poor scaling due to memory access bottleneck.
19
网格（Mesh）

如果将二维网络的每行每列的头尾都连接起来，就成 了二维环绕网格。环绕网格结合了网格和环的优点。 如果二维环绕网格中，水平节点不是逐行头尾连接， 而是将上下链路头尾连接，就得到了Illiac网络。 搏动阵列是一类为实现特定的算法而设计的多维流水 线阵列结构。图d是完成矩阵相乘而专门设计的搏动阵 列。

10
11
11
12
12
13
13
14
14
并行计算机通信机制 静态网络 动态网络 并行计算机的消息传递方式 互连网络的路由选择
15
线性阵列和环
在线性阵列中，n个节点用n-1条链路连接起来。 线性阵列结构的通信效率很低，而且可靠性差。 将线性阵列的两端点相连就是环，环可以是单 向的，也可以是双向的。双向环因为有两条通 路，所以可靠性比单向环更高。
8
Distributed Memory





Each processor has its own local memory. Processors connected via some interconnect mechanism. Processors communicate via explicit message passing. Local memory access quicker than remote memory access. More scalable than Shared Memory architecture. Similar to the scenario of classrooms in a school. Examples: Meiko Computing Surfaces, IBM SP-1/SP-2, Intel Paragon，Dawning 1000/2000
(a) 网格
(b)二维环绕网格
(c) Illiac网格
(d) 搏动阵列
20
超立方体和带环立方体

n维超立方体由2n个节点组成，节点分布在n维上，每 维有两个节点。(n+1) 维超立方体可以通过两个n 维
超立方体的对应顶点互连得到。 将一个n维立方体的每个节点用n个节点组成的环代替， 就构成了带环n维立方体。

21
交叉开关

交叉开关是一种高带宽网络，它由一组排成网格形状 的开关组成，负责在输入端和输出端之间建立动态连 接.
0 1 存储区 2 3 b-1
开关单元
0 1 处 理 器 2 3 4
p-1
22
多级互连网络

构造大型网络的一种方法是把交叉开关 级联起来，构成多级互连网络
处理器
0 1 第 1 级 p-1 p-1 第 2 级 第 n 级 b-2 b-1
29
Memory Collisions

Four ways to handle the memory collisions
Choose the processor with highest priority Choose a processor at random Add the value written (logical OR) Queue read and queue write (QRQW)
23
多级互连网络
存储区
b b
Ω网络

一种多级互连网络,网络级间采用均匀洗 牌连接。
0 1 2 3 4 5 6 7
第一级 第二级 第三级
24
0 1 2 3 4 5 6 7
0 1
直送
0 1 0 1
上播
0 1
交叉
0 1 0 1
下播
0 1
0 1
消息传递方式


存储转发（Store-and-Forward）：消息被封装成分 组来传送。分组是消息传输的基本单位，它带有路 由选择信息、校验信息以及顺序信息等。分组在中 间节点不断地被存储和转发，直到到达目的节点。 目的节点再把分组组装成原来的消息。 在存储转发方式中，中间节点需要足够大的缓冲区 来存储可能出现的最大的分组。
4
Classification of Parallel Architectures
5
SIMD Architecture





Single Instruction Multiple Data. Each processor has its own memory where it keeps its data. Every processor synchronously executes same instructions on its local data. Instructions issued by controller. Processors can communicate with each other. e.g. DAP, CM200
26
路由选择机制


最小化路由：路由选择机制总是选择从源到目的的最短路径。 使用最小化路由选择，有可能会导致一部分网络发生拥塞。 确定性路由（ deterministic routing ）：确定性路由不使 用任何网络的信息，只根据源和目的做出路由选择； 自适应路由（adaptive routing）：自适应路由根据网络的 当前状态进行路由选择。如果网络中存在拥塞，确定性路由 不会作出反应，而自适应路由可以检测到拥塞，并使后续消 息的路由绕过拥塞部分。 维序路由（dimension-ordered routing）：维序路由是一种 按维的顺序选择路由的方法，在二维网格中，这种算法称为 XY路由算法，而在超立方体中它称为E 立方体路由算法，E 为超立方体的维数。
28
PRAM models

PRAM models vary according


how they handle write conflicts The models differ in how fast they can solve various problems.
only one processor are allow to write to one particular memory cell at any one step
9
Virtual Shared Memory
Each processor has some local memory. Direct access to remote memory by global address space. Hardware includes support circuitry to deal with remote accesses, allowing very fast communications. Example: Cray T3D

Concurrent Read Exclusive Write (CREW)


Concurrent Read Concurrent Write (CRCW) Algorithm works correctly for CREW

will also works correctly for CRCW but not vice versa



In practice performance depends on the manner in which the problem is divided between the processors. Ideally want a program running on P processors to execute P times faster. Want each processor to perform a similar amount of work, i.e., ensure load balancing.
6
6
MIMD Architecture
Multiple Instruction Multiple Data Several independent processors capable of executing separate programs. Further subdivision on relationship between processors and memory.
算法设计与分析