第1章-并行计算体系结构汇总
中科大-并行计算讲义-并行计算机系统与结构模型
Intel Paragon系统框图
I/O部分
SCSI
计算
节点
节点
计算部分
计算 节点
……
服务部分 I/O部分
计算
服务
SCSI
节点
节点
节点
以太网
HIPPI 节点
计算 节点
计算 节点
……
计算 节点
服务 节点
SCSI 节点
FDDI
VME 节点
用户I/O
磁带
HIPPI 节点
计算 节点
计算 节点
……
计算 节点
CU
PE0
PE1
…
P E n-1
IN
M0
M1
…
M m-1
(b)共享存储阵列机
中科大-并行计算讲义-并行计算机系统与结构模 型
2021/1/21
6
阵列处理机的特点
• SIMD－单指令多数据流机
• 利用资源重复开拓计算空间的并行
• 同步计算－－所有PE执行相同操作
• 适于特定问题（如有限差分、矩阵运算等） 求解
2021/1/21
10
Balance同构对称多处理机系统
80386CPU Weitek1167FPU
…
80386CPU Weitek1167FPU
存储器 8MB
…
存储器 8MB
64KB 高速缓存
…
64KB 高速缓存 系统总线
存储控制器
… 存储控制器
总线适配器 以太局域网
磁盘控制器
…
磁盘
磁盘
总线适配器 多总线
• 阵列处理机 分布存储 共享存储 流水线
• 向量处理机 并行向量机
计算机科学中的计算机体系结构和并行计算
计算机科学中的计算机体系结构和并行计算计算机科学领域中的计算机体系结构和并行计算是两个重要的主题。
计算机体系结构涉及计算机硬件和软件组成的结构，而并行计算则关注多个任务同时进行的能力。
本文将介绍计算机体系结构和并行计算的基本概念、应用领域以及未来的发展趋势。
一、计算机体系结构计算机体系结构是指计算机硬件和软件之间的接口。
它定义了计算机的组成部分以及它们之间的交互方式。
计算机体系结构的主要组成部分包括中央处理器（CPU）、内存、输入输出设备等。
计算机体系结构可以分为单体系结构（SISD）、单指令多数据（SIMD）、多指令多数据（MIMD）等不同类型。
单体系结构是最简单的类型，它由一个处理器和一个内存组成。
它按部就班地执行指令，并逐个处理数据。
单指令多数据结构允许并行处理多个数据元素，这对于需要大量计算的任务非常有用。
而多指令多数据结构可以执行多个指令，并且可以操作多个数据集。
这种结构常用于超级计算机和并行计算领域。
二、并行计算并行计算是指多个任务同时进行的计算方式。
它通过将任务分解为多个子任务，并由多个处理器并行执行这些子任务。
并行计算具有高效、快速的特点，可以大大提高计算速度和处理能力。
并行计算广泛应用于科学计算、图像处理、数据挖掘等领域。
并行计算可以分为共享内存和分布式内存两种模式。
共享内存并行计算中，多个处理器共享同一个内存空间，它们可以直接相互访问和修改数据。
而分布式内存并行计算中，每个处理器都有自己的私有内存，并通过消息传递方式进行通信。
这两种模式各有优劣，根据具体应用和需求选择合适的方式。
三、计算机体系结构和并行计算的应用领域计算机体系结构和并行计算在许多领域都发挥着重要作用。
在科学计算中，计算机体系结构的设计和优化可以提高运算速度和精度，从而加快研究进程。
并行计算在天气预报、地震模拟、蛋白质折叠等复杂计算中得到广泛应用。
在人工智能领域，计算机体系结构和并行计算的进步为深度学习等任务提供了强大的计算支持。
并行计算机体系结构
第一章并行计算机体系结构在介绍并行算法及其软件设计之前，必须先介绍一下并行计算机与分布式并行的一些基本知识。
目前国内这方面的资料不是很完善，为此，本章将阐述一下并行计算机体系结构的一些基本知识。
1.1并行计算机定义简单地讲，并行计算机就是由多个处理单元(以下也称为处理器，或简称为CPU)组成的计算机系统，这些处理单元相互通信和协作能快速、高效的求解大型复杂问题。
定义中涉及的问题：a) 并行计算机的规模：, 例如处理单元有多少，这就涉及到系统是小规模的(十个或几十个)、中规模的(上百个)和大规模的(成千上万个)的问题；b) 处理单元的功能：处理单元的功能有多强，这就涉及到系统的组织策略是平行对称的“蚁军法”(Army of Ants)或是一种主从的形式“象群法”(Hert of Elephants) 的问题；c) 处理单元之间怎样连接，这就涉及到系统是按照什么样的拓朴结构彼此互连起来的问题；d) 处理单元的数据是如何传递的，这就涉及到通信是按照共享变量方式的或消息传递方式的问题。
e) 各处理单元彼此相互协作共同求解大型复杂问题，则涉及到的问题更多，例如如何保证多处理单元操作的顺序性，这就涉及到同步互斥问题；如何确保共享数据的完整性问题，这就涉及到不同存储层次中的数据的一致性问题。
f) 此外，还有求解具体问题的并行程序的编写、调试、运行和性能分析等方面的问题。
1.2并行机的由来并行计算机是相对串行计算机而言的，所谓串行计算机就是只有单个处理单元顺序执行计算程序的计算机，所以也称为顺序计算机。
顺序计算机最早是从位串行操作到字并行操作、从定点运算到浮点运算改进过来的；然后它按照图1.1所示的过程逐步演变出各种并行计算机系统：从顺序标量处理(Scalar Processing)计算机开始，首先用先行(Look-ahead)技术预取指令，达到重叠操作实现功能并行；支持功能并行可使用多功能部件和流水线两种方法；而流水线技术对处理向量数据元素的重复相同的操作表现出强大的威力，从而产生了向量流水线（Vector-pipelining）计算机（包括存储器到存储器和寄存器到寄存器两种结构）；不同于时间上并行的流水线计算机，另一分支的并行机是空间上并行的SIMD（单指令流多数据流）并行机，它用同一控制器同步地控制所有处理器阵列执行相同操作来开发空间上的并行性；如果用不同的控制器异步地控制相应的处理单元执行各自的操作，则就派生出另一类非常主要的MIMD（多指令流多数据流）并行机；其中，如果各处理单元通过公用存储器中的共享变量实现相互通信，则就称为多处理机（Multiprossors）；如果处理单元之间使用消息传递的方式来实现相互通信，则就称为多计算机（Multicomputers），它也是当今最流行的并行计算机，也是本书讨论的重点。
计算机的并行计算技术有哪些详解并行计算的架构与应用
计算机的并行计算技术有哪些详解并行计算的架构与应用在现代科技领域，计算机的并行计算技术被广泛应用于许多领域，提供了强大的计算能力和效率。
本文将详细解释并行计算的概念、架构和应用，以及介绍几种常见的并行计算技术。
一、并行计算的概念并行计算是指同时执行多个计算任务的过程，以提高计算机系统的速度和性能。
与传统的串行计算相比，通过并行计算，多个处理器可以同时处理不同的计算任务，从而大大缩短了计算时间。
二、并行计算的架构1. 对称多处理器（SMP）对称多处理器是一种常见的并行计算架构，它包含多个处理器核心（CPU），每个处理器核心都可以访问共享内存。
因此，每个处理器核心都具有相同的权限和能力，并且可以相互通信和协作。
2. 分布式内存计算机（DMC）分布式内存计算机是一种将多个计算机连接在一起，并通过网络进行通信的并行计算架构。
在分布式内存计算机中，每个计算机都有自己的本地内存，并且计算任务被划分为子任务，在多台计算机之间进行并行计算。
3. 向量处理器向量处理器是一种特殊的并行计算架构，其核心思想是通过同时执行多个数据元素来提高计算性能。
向量处理器具有广泛的数据并行能力，并且可以在单个指令中处理多个数据。
三、并行计算的应用1. 科学计算在科学研究领域，许多复杂的计算任务需要大量的计算资源和时间。
通过并行计算技术，科学家可以利用多个处理器来加速大规模的数值模拟、数据分析和计算实验，从而加快科学研究的进程。
2. 数据挖掘与机器学习数据挖掘和机器学习是分析和理解大规模数据集的重要领域。
并行计算技术可以加速数据挖掘算法和机器学习模型的训练和推断过程，减少模型训练时间，提高预测和分类准确性。
3. 图像和视频处理在图像和视频处理领域，许多算法需要处理大量的像素和帧。
通过并行计算技术，可以将图像和视频处理任务分成多个子任务，并在多个处理器上同时处理这些子任务，从而提高图像和视频处理的效率和实时性。
4. 数据库管理和并行查询在大规模数据库管理和查询中，通过并行计算技术可以将查询任务划分为多个子任务，并由多个处理器同时执行这些子任务。
并行处理与体系结构
哈尔滨工业大学计算机科学与技术学院
29
其特点： 它有一个开放的体系结构以及与系统其他
部分衔接的标准接口。 它是市售产品，若它不具有版权则更好。 它有多家供应商，在公开市场大批量供应。 它相对成熟，已为许多人使用相当长时间，
且已完成必要的排错。
有效地利用更大并行性，即如何为扩大 的系统进行编程。
哈尔滨工业大学计算机科学与技术学院
8
（2）资源扩展
增加处理器数不是唯一方式。
保持处理器数不变；
通过增加更多存储容量、更大的芯 片外高速缓存以及更大容量磁盘等 方法来扩展系统。
哈尔滨工业大学计算机科学与技术学院
9
例题：IBM SP2中的存储器需求
哈尔滨工业大学计算机科学与技术学院
24
POE特点：
支持一个并行程序无需任何修改就能在 由RS6000结点机构成的任何网络中运行
结点可以是一个低端PowerPC工作站，可 以是一个高端SP2宽结点。
这些结点能由任何普通互联网络，从慢 速以太网到SP2的高性能开关(HPS)，加 以连接。
MPI基于4个相互正交的主要概念：
数据类型 通信操作 通信子 虚拟拓扑
4者的任何组合均是有效的。
哈尔滨工业大学计算机科学与技术学院
34
完全的独立起到了事半功倍效果：
少数简单概念，组合在一起时能提供许 多功能。
为较早期的超立方体计算机而开发的许 多并行算法显式地使用超立方体的互连 拓扑，但在网络连接系统中，它们并不 适用。
体系结构的拥有者(通常是供应商)允许 用户或第3方了解体系结构；
用户可自己制造与体系结构兼容的组件， 甚至修改或重新加以设计；
第1章-并行计算体系结构
1.1.1并行向量处理机（PVP）
4种向量运算指令
源向量取自两个向量寄存器组 Vj op Vk 源操作数之一取自标量寄存器组 Vj op Vk 主存储与向量寄存器之间数据传送 Mem op Vj Vj op mem
1.1.1并行向量处理机（PVP）
并行要求
无向量冲突
V4→V1+V2 V5→V1*V3 V4→V1*V3 V5→V1*V6
V1发生源向量冲突
无功能部件冲突
发生乘部件冲突
1.1.2对称多机系统（SMP）
属于MIMD,UMA,中粒度，高级别并行多机系统 具有可插拔的Cache芯片的商用多机系统 集中式共享存储器 对称性：每个处理机关于I/O操作，OS服务和SM 的权限是等同的 可扩展行受到SM和总线的限制 机型：SGI工作站，DEC服务器8400，Dawning-1等
1.1.2对称多机系统（SMP）
典型结构：
p/c主机 cache
p/c
……
p/c
总线和交叉开关 SM SM …… SM
5种商用机型
1.1.3 大规模并行处理机（MPP）
属于MIMD ，NUMA 中/大粒度多处理机 采用专用的高宽带低延时的通信网络 物理上分布的存储器 进程间采用阻塞报文交互操作（同步） 处理机级、任务级（异步） 机型：Intel Paragon，IBM SPQ，Dawning
1.1.1并行向量处理机（PVP）
典型结构
VP
VP
……
VP
交叉开关
SM
SM
……
并行计算机体系结构PPT课件
17
二、Amdahl定律
*基本思想：优化某部件所获得的系统性能的改善程度，取 决于该部件被使用的频率，或所占总执行时间的比例
S T0
p
Te
1
(1
fe
)
fe re
*举例：某功能处理时间占系统时间的40%，将其处理速度加
快10倍后，整个系统性能提高多少？ Sp
10
解—已知fe=0.4，re=10，利
23
*特点：吞吐率与I/O软硬件组织方式及OS有很大关系； 能够反映软硬件系统对多任务的响应能力
*提高吞吐率方法： 流水化--使多个作业流水处理； 并行处理--给每个PE分配多个作业，各PE相互协调
3、利用率 *定义：利用率＝持续性能÷峰值性能 *特点：不直接表示系统性能，与前两种指标有密切关系； 对系统性能优化及结构改进起着至关重要的作用！
A系统 B系统
得到性能可扩放性曲线 1
n
影响因素—结构、处理器数、问题规模、存储系统等
25
二、性能评价与比较
1、评价技术
(1)分析技术 *思路：在一定假设条件下，计算机系统参数与性能指标间
存在着某种函数关系，按其工作负载的驱动条件列出方程，用 数学方法求解后评价
*发展：从脱离实际的假设发展到近似求解 近似求解算法—聚合法、均值分析法、扩散法等
2
二、参考教材
1、并行计算机体系结构，陈国良等著，高等教育出版社， ISBN 7-04—11558-1，2002.9
2、并行计算机体系结构，David E.Culler等著，李晓明等译， 机械工业出版社，ISBN 7-111-07888-8，2002.10
3、可扩展并行计算—技术、结构与编程，黄铠、徐志伟著，陆 鑫达等译，机械工业出版社，2000.5
1 并行计算与并行计算机结构模型
并行计算Parallel Computing编并行计算——结构•算法•编程▪第一篇并行计算的基础第章并行计算与并行计算机结构模型▪第一章▪第二章并行计算机系统互连与基本通信操作▪第三章典型并行计算机系统介绍▪第四章并行计算性能评测第一章并行计算及并行机结构模型▪ 1.1 计算与计算机科学▪ 1.2* 单处理机与指令级并行▪ 1.3* 多核处理器与线程级并行▪ 1.1.4 4 并行计算机体系结构▪ 1.4.1 并行计算机结构模型4.2 并行计算机访存模型▪ 1.1.4.2▪ 1.4.3 Intel和AMD多核CPU架构并行计算计算科学计算需求并行计算、计算科学、计算需求▪并行计算：并行机上所作的计算，又称高性能并行计算并行机上所作的计算又称高性能计算或超级计算。
▪计算科学：计算物理、计算化学、计算生物等。
▪计算是科学发现的三大支柱之一。
▪科学与工程问题的需求：气象预报、油藏模拟、核武器数值模拟、航天器设计、基因测序等。
▪需求类型：计算密集、数据密集、网络密集。
()▪美国ASCI计划(1996)：核武器数值模拟。
第一章并行计算及并行机结构模型▪ 1.1 计算与计算机科学▪ 1.2* 单处理机与指令级并行▪ 1.3* 多核处理器与线程级并行▪ 1.1.4 4 并行计算机体系结构▪ 1.4.1 并行计算机结构模型4.2 并行计算机访存模型▪ 1.1.4.2▪ 1.4.3 Intel和AMD多核CPU架构并行计算机结构模型并计算结构型(d) 分布共享存储处理机 DSM（ａ） 并行向量处理机 ＰＶＰ（ｂ） 对称多处理机 ＳＭＰ（ｃ） 大规模并行处理机 ＭＰＰVP: Vector ProcessorSM : Shared MemoryP/C: Microprocessor and Cache MB: Memory BusLM: Local MemoryNIC:Network Interface Circuitry DIR: Cache Dirctory并行计算机体系合一结构▪SMP、MPP、DSM和COW并行结构渐趋一致。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1.1.1并行向量处理机（PVP）
典型结构
VP
VP …… VP
交叉开关
SM
SM …… SM
1.1.1并行向量处理机（PVP）
实例Cray-1,组成如下：
中央处理器，含运算控制部件，指令缓冲器，指 令控制部件和寄存的功能部件。
存储器（内存） 交互通道，连接诊断维护控制机，磁盘存储器
（SM）前端机（用户机） 向量流水部件，含8*64个向量寄存器，但V0-V7
Interconnect
Single
UMA
Custom Crossbar
Single
UMA
Bus or Crossbar
Single
NUMA
Custom Network
Multiple
Multiple
NORMA or NUMA
Custom Network
Commodity Network
System Characteristics
Commodity
Type
vector
micro-
5种p典ro型ce系sso统r 结构特pr征ocessor
DSM
DASH Cray T3D
Commodity microprocessor
MPP
Intel paragon IBM SP2
Commodity microprocessor
COW
Berkeley NOW, Alpha farm
Max memory
28GB
16GB
Interconnect Bandwidth
Bus 2.1GB/s
Bus 960MB/s
Internal disk
192GB
168GB
I/O channels
12PCI
N/A
buses, each
133MB/s
I/O slots I/O bandwidth
144 PCI slots
的权限是等同的 可扩展行受到SM和总线的限制 机型：SGI工作站，DEC服务器8400，Dawning-1等
1.1.2对称多机系统（SMP）
典型结构：
p/c主机 cache
p/c
…… p/c
总线和交叉开关
SM SM …… SM
5种商用机型
1.1.3 大规模并行处理机（MPP）
属于MIMD ，NUMA 中/大粒度多处理机 采用专用的高宽带低延时的通信网络 物理上分布的存储器 进程间采用阻塞报文交互操作（同步）
对用户来讲，是一个物理上分布的，逻辑上是共 享的一个由硬件支持的单一的存储器地址空间。
采用基于DIR（Cache目录）的Cache一致性机 制
采用专用通信网络 可使用共享存储器编程模式
1.1.4 分布式共享存储器多机系统（DSM）
机型Stanford DASH, Gray T30 典型结构：
第1章 并行计算体系结构
1.1 并行计算机系统结构模型 1.2 访存模型 1.3 并行计算机系统互连
1.1.1并行向量处理机（PVP）
属于SIMD（Single-Instruction MultipleData）、UMA （Uniform Memory Access） 型的大粒度度计算机
少量的高性能向量处理器，处理能力≧1G flops 专用高宽带交叉开关实现存储器之间的互联 大量的共享存储器模块（SM） 大量向量寄存器和指令缓冲器,不使用高速缓存。 机型Cray C-90/T-9,NECSX-4,Gralaxy-1,Cray-1
并行要求
无向量冲突
V4→V1+V2 V1发生源向量冲突 V5→V1*V3
无功能部件冲突
V4→V1*V 3 V5→V1*V6
发生乘部件冲突
1.1.2对称多机系统（SMP）
属于MIMD,UMA,中粒度，高级别并行多机系统 具有可插拔的Cache芯片的商用多机系统 集中式共享存储器 对称性：每个处理机关于I/O操作，OS服务和SM
等
1.1.5 工作站机群（COW）
典型结构：
MB
P/C
MB
P/C
M
……
M
Bridge
LD
10M
NIC
Bridge
LD
10M
NIC
商用网络
te PVP
SMP
Example
Cray C-90
Cray CS6400
Systems
Cray T-90
DEC 8000
1.1.6 小结
Processor Custom
Commodity microprocessor
Memory Model
Centralized Centralized Distributed Distributed
shared
shared
shared
unshared
Distributed unshared
Address Space
Access Model
配向量加和浮点加部件，标量寄存器组S0-S7
1.1.1并行向量处理机（PVP）
4种向量运算指令
源向量取自两个向量寄存器组 Vj op Vk
源操作数之一取自标量寄存器组 Vj op Vk
主存储与向量寄存器之间数据传送 Mem op Vj Vj op mem
1.1.1并行向量处理机（PVP）
DEC Alpha server
8400 5/440
HP9000/ T600
1.1.6 小结 No. processors
12
12
Processor type
437 MHz Alpha 21164
180 MHz PA 8000
系统比较 Off-chip cache
4MB
8MB
per processor
1.2GB/s
112 HPPB slots
MB
P/C
MB P/C
LM
……
D/R
LM D/R
NIC
NIC
专用网络
1.1.5 工作站机群（COW）
属于MIMD NUMA 粗粒度多机系统 分布式存储器 每个节点是一套完整的计算机系统（SMP或PC） 采用低成本的商品网络互连结构 每个节点拥有本地磁盘和完整的OS（MPP只有内
核） 机型：Berkeley NoW，Alpha Farm, FXCOW
处理机级、任务级（异步） 机型：Intel Paragon，IBM SPQ，Dawning
1000
1.1.3 大规模并行处理机（MPP）
典型结构：
P/C
P/C
LM
…
LM
NIC
NIC
Custom-Designed Network
1.1.4 分布式共享存储器多机系统（DSM）
属于MIMS，NUMA，NORMA，大粒度多机系统 （No-Remote Memory Access）