并行计算机系统的分类MIMD体系结构共87页
并行计算机体系结构
并行计算机系统的软件技术
计算模式:
单程序多数据模式:系统由多个独立的进程组成, 它们都运行相同的程序,但处理的数据集合不同 流水线式: 分阶段计算模式: 分而治之式 多完成人模式
并行计算机系统的软件技术
通信方式:
共享变量 消息传递
:多指令流单数据流(流水线处理机): MIMD体系结构:多指令流多数据流
一致性内存访问(UMA) 非一致性内存访问(NUMA) 仅高速缓存访问(COMA) MPP:大规模并行处理系统 COW:工作站集群
多计算机系统:
并行计算机系统的性能问题
硬件性能指标: 延迟时间:CPU发送分组至接收到响应的时间间隔 带宽:系统每秒能传送的信息量 软件性能指标: 加速比:一个程序在有n个处理器的计算机上运行和在只 有一个处理器的计算机上运行的速度之比 获得更高的性能: 增加更多的CPU,但要能够保持相同的CPU平均带宽和不 变的平均延迟时间 减少或隐藏延迟时间的技术:数据复制,数据预取,多线程 技术,使用无阻塞的写
并行计算机体系结构
计算机体系结构的分类
SISD体系结构:单指令流单数据流
以单一的指令流从存储器取指令,以单一的数据流从存储器取操作数并将 结果写回存储器
单一的控制部件,多个处理部件 阵列处理机和向量处理机 多个处理部件,多条指令同时在一份数据上进行操作 多处理机系统:共享物理内存
SIMD体系结构:单指令流多数据流
并行计算机系统的软件技术
控制模式: 使用一个控制线程的方式 使用多个线程控制的方式 并行粒度: 多个独立线程协同工作解决同一个问题 在一个程序调用了一个过程后并不等待调用结 束就继续往下执行,使调用者和被调用者并行运 行 进程用某种方法创建多个线程,所有的线程都在 进程的地址空间中运行
02_2并行计算机(系统结构)
P
M
P M
P M
...
P M
2019/2/23
23
构建并行机系统的不同存储结构
PVP (Cray
中央存储器 T90)
UMA SMP SGI
多处理机 （ 单地址 空间 共享 存储器 ） (Intel SHV,SunFire,DEC 8400, PowerChallenge,IBMR60,etc.) (KSR-1,DDM) (Stanford Dash, SGI Origin 2000,Sequent NUMA-Q, HP/Convex Exemplar) (Cray T3E)
2019/2/23 10
MPP（Massively Parallel Processor）
处理节点采用微处理器 系统中有物理上的分布式存储器 采用高通信带宽和低延迟的互连网络（专门设 计和定制的） 能扩展至成百上千乃至上万个处理器 异步MIMD，构成程序的多个进程有自己的地 址空间，进程间通信消息传递相互作用
16
Origin3000 与 Altix3000
Origin3000
2019/2/23
Altix3000
17
并行计算机内存访问模型
UMA / NUMA / COMA / CC-NUMA / NORMA
2019/2/23
18
并行计算机访存模型（1）
UMA（Uniform Memory Access）模型是均匀存储访问模型的 简称。其特点是：
节 点1 P / C 节 点N M e m P / C
… P/C
交 叉 开 关 总 线 或
…
I / O
…P/C
开 关 总 线 或 交 叉
并行计算机体系结构PPT课件
17
二、Amdahl定律
*基本思想：优化某部件所获得的系统性能的改善程度，取 决于该部件被使用的频率，或所占总执行时间的比例
S T0
p
Te
1
(1
fe
)
fe re
*举例：某功能处理时间占系统时间的40%，将其处理速度加
快10倍后，整个系统性能提高多少？ Sp
10
解—已知fe=0.4，re=10，利
23
*特点：吞吐率与I/O软硬件组织方式及OS有很大关系； 能够反映软硬件系统对多任务的响应能力
*提高吞吐率方法： 流水化--使多个作业流水处理； 并行处理--给每个PE分配多个作业，各PE相互协调
3、利用率 *定义：利用率＝持续性能÷峰值性能 *特点：不直接表示系统性能，与前两种指标有密切关系； 对系统性能优化及结构改进起着至关重要的作用！
A系统 B系统
得到性能可扩放性曲线 1
n
影响因素—结构、处理器数、问题规模、存储系统等
25
二、性能评价与比较
1、评价技术
(1)分析技术 *思路：在一定假设条件下，计算机系统参数与性能指标间
存在着某种函数关系，按其工作负载的驱动条件列出方程，用 数学方法求解后评价
*发展：从脱离实际的假设发展到近似求解 近似求解算法—聚合法、均值分析法、扩散法等
2
二、参考教材
1、并行计算机体系结构，陈国良等著，高等教育出版社， ISBN 7-04—11558-1，2002.9
2、并行计算机体系结构，David E.Culler等著，李晓明等译， 机械工业出版社，ISBN 7-111-07888-8，2002.10
3、可扩展并行计算—技术、结构与编程，黄铠、徐志伟著，陆 鑫达等译，机械工业出版社，2000.5
第8章 MIMD计算机
计算机体系结构 +
主讲：陈付龙
2013-7-22
1
第8章 MIMD计算机
• 多指令流多数据流（Multiple Instruction Stream Multiple Data Stream，简称MIMD） ，它使用多个控制器来异步地控制多个处 理器，从而实现空间上的并行性。
概念回顾
MIMD计算机硬件
• 多个处理机（CPU ，含有PU和CU）/计算机 （含有CPU和I/O） • 互联网络 • 不只是外围设备共享，而且要用多个指令 不见分别控制，通过机间复杂互联网络实 现通信。
MIMD计算机软件
• 算法上，不局限于向量数组处理，还要挖 掘和实现更多通用算法中的隐含性 • 系统管理上，更多依靠软件（操作系统） 手段有效解决资源分配和管理问题，特别 是处理机管理和进程调度。
8.1 多处理机系统概述
MIMD机器的崛起源于两个因素： （1） MIMD的灵活性。在合适的软硬件支持下， MIMD可以作为高性能单用户机使用，也能同时运 行多个任务，或者是高性能多任务的组合。
（2） MIMD可由具有价格/性能比优势的微处理 器建成。
事实上，目前几乎所有的多处理器计算机使用和 工作站、小型单处理器服务器一样的微处理器芯片 。
每个任务均与其余任务通信一次 同一台处理机上任务间通信不计 互联网络
处理机1
处理机2
处理机N
总的处理时间最小的情况
（3）通信开销为线性函数的模型
每个处理机与其余处理机通信一次 互联网络
处理机1
处理机2
处理机N
平均分配法的时间开销
（4）机间通信可以多路同时进行的模型
• 每台处理机都有通信链路与其他处理机相连，通信操作可以 与任务本身重叠。 • 任意一个时刻一个处理机只能与另外一个处理机通信
并行计算机的分类与发展
❖ 各个处理器的地位完全相等
❖ 单一操作系统映像
ห้องสมุดไป่ตู้
❖ 低通信延迟
❖ 所有处理器共享总线带宽
❖ 总线、存储器、操作系统失效可能导致系 统崩溃
❖ 可扩展性较差
2020/6/1
6
分布存储MIMD型并行机
❖ 80年代中期出现，主要特征是
❖通过互连网络交换信息
❖各个结点有局部存储器
优点：编程容易，比分布存储系统更容易做到 负载平衡
缺点：内存是瓶颈，可扩性差，造价相对高昂
2020/6/1
4
SMP与PVP的图示
…
… …
… … … …
VP
SM
交 VP 叉 SM
开
关
VP
SM
P/C 总 SM
线
P/C 或 SM
交
叉 开
SM
P/C 关 I/O
PVP示意图
2020/6/1
SMP示意
图
5
SMP计算机系统
❖大规模并行处理机MPP、机群系统 (Cluster)
2020/6/1
7
MPP图示
MB
P/C
MB
P/C
LM ……
LM
…
NIC
NIC
定制网络
2020/6/1
8
机群系统(Cluster)图示
MB P/C
MB P/C
M Bridge LD IOB
…… …
M Bridge LD IOB
NIC
NIC
以太网等商品化网络
❖ 单一的系统映像
2020/6/1
11
DSM图示
多处理机的组成分类
多处理机的组成分类
多处理机的组成分类可以根据其工作方式、结构和架构进行划分：
1. 根据工作方式：
- 执行删除方式：根据指令的不同删除执行删除。
指令并行多处理机、数据并行多处理机。
- 线程级并行方式：通过同时执行多个线程来增加处理能力。
多线程多处理机。
- 任务级并行方式：将任务划分为多个子任务并同时执行以提高处理能力。
任务并行多处理机。
2. 根据结构：
- SIMD（单指令多数据）结构：多个处理器同时执行同一指令，但处理不同的数据。
SIMD多处理机。
- MIMD（多指令多数据）结构：多个处理器可以独立执行不同的指令和处理不同的数据。
MIMD多处理机。
3. 根据架构：
- 对称多处理架构（SMP）：所有处理器共享内存，可以同时访问相同的I/O设备。
对称多处理机。
- 非对称多处理架构（AMP）：每个处理器有自己独立的内存和I/O设备。
非对称多处理机。
- 分布式多处理架构：多个处理器通过网络进行通信和协作，每个处理器有自己的内存和I/O设备。
分布式多处理机。
请注意，以上是对多处理机的一般分类，具体的分类体系可能因为不同的上下文和应用而有所差异。
第11章__并行计算机体系结构简介
第11章__并行计算机体系结构简介1. 引言随着计算机应用的不断发展，对计算机性能和计算能力的需求越来越高，而单一计算机性能的提升已经达到了瓶颈。
面对这种情况，计算机学科开始关注并行计算机。
并行计算机的提出，为解决单一计算机的性能瓶颈开辟了一条新的道路。
本章将简要介绍并行计算机体系结构。
2. 并行计算机的概念并行计算机是使用并行处理器（即多个处理器）来执行并行任务的计算机。
并行处理器是一种能够在同一时间内处理多个指令或多个数据的处理器，因此对于需要进行大量计算的应用程序而言，使用并行计算机可以大大提高计算速度。
并行计算机可以分类为以下三类：（1）指令级并行计算机：每个指令被分成数个步骤，不同步骤可以并行执行，以提高计算速度。
（2）进程级并行计算机：多个处理器执行不同的程序或进程，从而提高计算速度。
（3）数据级并行计算机：多个处理器对同一数据进行不同的计算，以提高计算速度。
3. 并行计算机的体系结构并行计算机的体系结构包括处理器阵列、多处理器、超级计算机等。
（1）处理器阵列：处理器阵列是由多个同构的处理器组成的结构，每个处理器都有自己的主存储器和指令流。
处理器阵列相对简单，但是需要使用特殊的编程技术，在编写并行程序时需要考虑负载平衡、同步和通信等问题。
（2）多处理器：多处理器是由多个不同类型的处理器组成的计算机系统，这些处理器可以是同构的，也可以是异构的。
多处理器系统采用共享存储器结构或分布式内存结构。
由于多处理器系统特点是强一致性和数据共享，它需要使用特殊算法来避免死锁和竞争条件等问题。
（3）超级计算机：超级计算机是由数千个处理器组成的计算机系统，它的计算能力是常规计算机的数十倍或数百倍。
超级计算机一般使用NUMA结构、MPP结构或混合结构，采用分布式内存结构可以有效解决存储器容量的限制问题，同时使用高速互联技术可以提高计算速度。
4. 并行计算机的优缺点并行计算机相对于单一计算机性能的优势主要体现在以下几个方面：（1）计算速度快：并行计算机可以同时执行多个任务，因此可以大大缩短计算时间。
13并行计算机体系结构
交换结点所做的工作就是接收到达输入端口的分组然 后把分组发送到正确的输出端口，具有多种不同的工 作方式。
互连网络的寻径算法
寻径算法：决定一个分组从源结点到达目的结点的过 程中经过的结点序列的算法。
24
互连网络的分类
静态网络
静态网络(Static Networks)是指结点间有着固 定连接通路且在程序执行期间，这种连接保持 不变的网络。
第13章
并行计算机体系结构
本章主要内容
并行计算机系统结构概述 并行计算机系统的设计问题
并行计算机系统的互连网络 并行计算机系统的性能问题 并行计算机系统的软件问题
SIMD计算机简介 MIMD多处理机简介 MIMD多计算机简介
2
计算机系统结构的发展历程
硬件技术和系统结构
软件和应用
第一代 （1945～1954）
电子管和继电器。单CPU，以程 序计数器PC和累加器顺序完成定 点运算。
机器语言或汇编语言。单用户。 用CPU程序控制I/O。
第二代 （1955～1964）
晶体管和磁芯存储器。用印制电 路互连。变址寄存器，浮点运算； 多路存储器，I/O处理机。
有编译程序支持的高级语言，子 程序库，批处理监控程序。
第三代 （1965～1974）
中小规模集成电路。多层印制电 路。微程序设计，流水线，高速 缓存，先行处理机。
多道程序设计，分时操作系统， 多用户应用。
第四代 （1975～1990）
大规模集成电路。半导体存储器。 用于并行处理的多处理机操作系
多处理机，多计算机，向量超级 统、专用语言和编译器；并行处
计算机。
理或分布计算的软件工具和环境。
大量商品化的处理器的出现为设计并行计算机系 统提供了可能。