02第二章 并行程序设计基础并行计算基础
2019/9/19
*
多级存储体系结构
并行计算机的多级存储结构主要包括两个问题：
• Cache的映射策略，即cache如何从内存中取得数据进行存储；
• 节点内部或者节点之间内存的访问模式 。
cache原理，cache以cache线为基本单位，每条cache包含L个 字，每个字8个字节。例如，L=4，则表示cache线包含4*8=32 个字节。内存空间分割成块（block），每个块大小与cache线 长度一致，数据在内存和cache之间的移动以cache线为基本 单位 。
2019/9/19
*
访存模型
UMA（Uniform Memory Access）模型：该模型内存 模块与节点分离，分别位于互联网络的两侧
• 物理存储器被所有节点共享； • 所有节点访问任意存储单元的时间相同； • 发生访存竞争时，仲裁策略平等对待每个节点，即每个节
点机会均等； • 各节点的CPU可带有局部私有高速缓存； • 外围I/O设备也可以共享，且每个节点有平等的访问权利。
2019/9/19
*
第二章 并行计算基础
内存模块与节点分离
内存模块位于节点内部
2019/9/19
*
多级存储体系结构
解决内存墙（memory wall）性能瓶颈问题； 节点内部的cache称为二级cache（L2 cache）； 处理器内部更小的cache成为一级cache（L1 cache）； L1 cache连接CPU寄存器和L2 cache，负责缓存L2 cache中的
• 且有可能加入一些诸如同步和通信等需要考虑的方面。
2019/9/19
*
பைடு நூலகம்
同步并行计算模型
SIMD分布存储模型
• 采用一维线性连接的SIMD模型，简记为SIMD-LC • 采用网孔连接的SIMD模型，简记为SIMD-MC • 采用树形连接的SIMD模型，简记为SIMD-TC • 采用树网连接的SIMD模型，简记为SIMD-MT • 采用立方连接的SIMD模型，简记为SIMD-CC • 采用立方环连接的SIMD模型，简记为SIMD-CCC • 采用洗牌交换连接的SIMD模型，简记为SIMD-SE • 采用蝶形连接的SIMD模型，简介为SIMD-BF • 采用多级互联网络连接的SIMD模型，简记为SIMD-MIN
第二章 并行计算基础
组成并行计算机的各个部分：
• 节点（node）：每个节点由多个处理器构成，可以直接进 行输入输出（I/O）操作；
• 互联网络（interconnect network）：所有节点通过互联网 络相互连接通信；
• 内存 （memory）：内存由多个存储模块组成
1、与节点对称的分布在互联网络的两侧； 2、位于各个节点的内部。
• For i=1 to M
•
A[i]=A[i]+2*B[i]
如果操作数存在cache中，称该次访问是命中的，否则，该次
操作是“扑空”的 。
2019/9/19
*
多级存储体系结构
cache的映射策略（内存块和cache线之间如何建立相 互映射关系）：
• 直接映射策略（direct mapping strategy）：每个内存块只
• PRAM-CRCW （Concurrent-Read and Concurrent-Write） ，允许同时 读和同时写。
优点：
• 适合于并行算法的表达、分析和比较；
• 使用简单，很多诸如处理器间通信、存储管理和进程同步等并行计算 机的低级细节均隐含于模型中；
• 易于设计算法和稍加修改便可运行在不同的并行计算机上；
• 各处理器节点中没有存储层次结构，全部高速缓存组成了 全局地址空间；
• 利用分布的高速缓存目录进行远程高速缓存的访问； • COMA中的高速缓存容量一般都大于2级高速缓存容量； • 使用COMA时，数据开始时可以任意分配，因为在运行时
它最终会被迁移到要用到它的地方。
2019/9/19
*
并行计算模型
能被唯一的映射到一条cache线中 ；
• K－路组关联映射策略 （K-way set association mapping strategy）：Cache被分解为V个组，每个组由K条cache线 组成，内存块按直接映射策略映射到某个组，但在该组中， 内存块可以被映射到任意一条cache线；
• 全关联映射策略 （full association mapping strategy）:内存 块可以被映射到cache中的任意一条cache线。
2019/9/19
*
访存模型
NUMA（Non-Uniform Memory Access）模型：该模 型内存模块分布在各个节点内部，所有局部内存模 块均构成并行计算机的全局内存模块。内存模块在 物理上是分布的，在逻辑上是全局共享的，这种模 型也称之为“分布式共享访存模型”
• 物理存储器被所有节点共享，任意节点可以直接访问任意 内存模块；
SIMD同步并行计算模型
• 共享存储的SIMD模型（PRAM模型）； • 分布存储的SIMD模型（SIMD互联网络模型）
MIMD异步并行计算模型
• 异步PRAM模型 • BSP模型 • LogP模型 • C3模型
2019/9/19
*
同步并行计算模型
SIMD共享存储模型假定存在着一个容量无限大的共享存储器，有有限或 无限个功能相同的处理器，且均具有简单的算术运算和逻辑判断功能，
在任何时刻各处理器均可通过共享存储单元相互交换数据。
SIMD共享存储模型（PRAM模型）
• PRAM-EREW （Exclusive-Read and Exclusive-Write），不允许同时读 和同时写；
• PRAM-CREW （Concurrent-Read and Exclusive-Write） ，允许同时读 但不允许同时写；
• 节点访问内存模块的速度不同，访问本地存储模块的速度 一般是访问其他节点内存模块的3倍以上；
• 发生访存竞争时，仲裁策略对节点可能是不等价的；
• 各节点的CPU可带有局部私有高速缓存 （cache）；
• 外围I/O设备也可以共享，但对各节点是不等价的。
2019/9/19
*
访存模型
COMA（Cache-Only Memory Access）模型：全高速 缓存存储访问模型
并行计算概述PPT课件
• 第一篇 并行计算的基础 • 第一章 并行计算机系统及其结构模型 • 第二章 当代并行机系统：SMP、MPP和Cluster • 第三章 并行计算性能评测
• 第二篇 并行算法的设计 • 第四章 并行算法的设计基础 • 第五章 并行算法的一般设计方法 • 第六章 并行算法的基本设计技术 • 第七章 并行算法的一盘
桥
系统 I
节点 2
节点 N
SAN(e.g.Myrinet)
I/O总 线 ,系 统 总 线
接口
LAN(e.g.以 太 网 ,FDDI)
系统 II
2021/8/11
15
第15页/共84页
网络性能指标
• 节点度（Node Degree）：射入或射出一个节点的边数。在单向网络中， 入射和出射边之和称为节点度。
2
N / 2向）
4
2( N 1)
N
4
N 1
2N
4
2 N/2
2N
3 2loN g 1
1
非
N 1
是
N
非
2(N N)
非
2N
是
2N
非
N 1
星形
2
N N 1
超立方
N 2n
n
n
非 N / 2
是
N/2
N 1 nN/ 2
立方环
Nk2k
3
2k1k/2 N/(2k)
是
3N/ 2
2021/8/11
24
第24页/共84页
动态互连网络 (1)
1100
1110 1101
1111
0010
0011
1010
并行算法与并行程序设计
并行算法与并行程序设计并行计算是目前解决实际问题、改善处理效率的有效手段，它的应用涵盖科学、工程、商业等诸多领域。
并行算法与并行程序设计是并行计算的两大核心内容。
本文集中论述并行算法与并行程序设计的基础原理、种类以及应用价值。
并行算法的基本概念与特性并行算法是一种能同时执行多条指令的算法，它分为多个独立的部分，这些部分可以在多个计算机或者同一台计算机的多个处理器上同时执行。
并行算法的研究目标在于优化并行计算，提高计算效率。
并行算法主要有两种典型的计算模型，即数据并行模型和任务并行模型。
数据并行模型中，每个处理器都对输入数据的不同部分进行操作；而任务并行模型则将任务分配到不同的处理器上执行。
并行算法的设计设计并行算法的关键在于选择合适的并行模型，比如数据并行、功能并行、任务并行等，并在此基础上设计出性能优异的算法。
其中，算法的分解性与并行性是设计并行算法的两大考虑因素。
此外，选择合适的同步机制也是至关重要的。
并行程序设计的基本概念与特性并行程序设计是指编写能在多个处理器上同时执行的程序，以改善执行速度和处理效率。
并行程序设计面临的主要挑战是如何有效并正确地同步各个处理器间的操作，以及如何处理数据依赖和任务调度问题。
并行程序设计的工具和方法目前，编程语言如OpenMP、MPI、CUDA等都可用于并行程序设计，它们提供了用于控制并发执行和数据同步的语义。
OpenMP和MPI 主要面向共享内存和分布式内存应用，并提供了一套丰富的API和指示器进行并行访问控制。
而CUDA是一种GPU的并行计算架构，主要用于处理海量数据，以实现强大的计算能力。
并行算法与程序设计的应用价值通过并行计算可以大幅提高处理器的使用效率，进而可以在较短时间内处理大量数据，尤其在科学计算、数据挖掘、图像处理、人工智能等方面表现出了极大的应用价值。
总结并行算法和并行程序设计是并行计算的基础，它们的目标是提供高效、可靠的解决方案，以解决现实世界中的复杂问题。
并行计算第二部分
05
并行计算在科学计算领域应用
气象模拟中的并行计算应用
气候模型并行化
利用并行计算技术，可以加速气 候模型的运行，提高模拟的准确 性和效率。
大规模数据处理
气象模拟涉及大量数据的处理和 分析，并行计算可以显著提高数 据处理速度。
实时天气预报
通过并行计算，可以实现更快速、 更准确的天气预报，满足实时性 要求。
地震数据处理
利用并行计算技术，对大规模地震数据进行高效处理，提高数据 处理速度和精度。
油藏模拟
通过并行计算，实现对复杂油藏的高精度、高效率模拟，为石油 勘探和开发提供决策支持。
油气运移模拟
利用并行计算技术，模拟油气在地下岩层中的运移过程，预测油 气的分布和储量。
航空航天工程中的并行计算应用
飞行器设计
常见并行计算模型
常见的并行计算模型包括共享内存模型、消息传递模 型和数据并行模型等。其中，共享内存模型是指多个 处理器共享同一块内存空间，通过读写共享内存中的 数据进行通信和同步；消息传递模型是指处理器之间 通过发送和接收消息进行通信和同步；数据并行模型 是指将数据集划分成多个子集，每个处理器处理一个 子集，并通过合并各个子集的处理结果得到最终的计 算结果。
到最终的计算结果。
特点
并行计算的主要特点包括并行性、可扩展性、高效性、容错性等。其中，并行性是指能够同时处理多个任务 或操作；可扩展性是指系统能够方便地增加计算资源以提高计算能力；高效性是指通过并行处理可以显著缩
短计算时间；容错性是指系统能够在部分计算节点出现故障时继续进行计算，保证计算的可靠性。
常见并行计算模型及比较
网格计算优点
资源共享、协同工作、按需服务。
网格计算应用
生物医学、地球科学、高能物理等领域。
第二章并行编程软件基础2
2.2 进程间通信（续1）
具体实现：
在共享存储环境中，通过读/写操作系统通过的共享数 据缓存区来实现 在分布式存储网络环境中，通过网络通信来实现
2013-8-18
8
2.3 线程
进程不适合细粒度的共享存储并行程序设计。 线程 （threads）又被称作轻量级进程。 进程可由单个线程来执行，即通常所说的串行执行；或者 ，进程也可由多个线程来并行执行，此时，多个线程将共 享该进程的所有资源特征，并可以使用不同的CPU，对不 同的数据进行处理，从而达到提高进程执行速度的目的。
资源特征，包括程序执行所必需的计算资源，例如程序代码、内 存地址空间、文件系统、I/O设备、程序计数器、寄存器、栈空间 等 执行特征，包括在进程执行过程中动态改变的特征，例如指令路 径（即进程执行的指令序列）、进程的控制与执行状态等。
2.1 进程（续1）
状态:
非存在状态：进程依赖的程序还没有投入运行； 就绪状态：进程由其父进程（例如，操作系统的内核进程或shell 进程，或其它应用程序进程）调入并准备运行； 运行状态：进程占有CPU和其它必须的计算资源，并执行指令； 挂起状态：由于CPU或其它必须的计算资源被其它进程占有，或 必须等待某类事件的发生，进程转入挂起状态，以后一旦条件满 足，由操作系统唤醒并转入就绪状态； 退出状态：进程正常结束或因异常退出而被废弃
并行程序设计-5
内容提要
一 二 三 并行编程硬件基础 并行编程软件基础 多线程编程基础 （3学时） （3学时） （2学时）
四
五 六
Linux多线程编程
Windows多线程编程 OpenMP编程
（2学时）
（3学时） （7学时）
七
并行编程基础
2.1.3 并行编程方法
实用并行编程模型有4种：蕴式、数据并行、消 息传递和共享变量。 编程系统绝大部分是扩展的Fortran和C，有三种 扩展方法：
库子程序：除了标准库外，加入一组新的库函数，以 支持并行化和交互操作。（MPI，Pthreads多线程库）
新构造：扩展程序设计语言使其具有某些新构造，以 支持并行化和交互。（Fortran中的密集数据操作）
大多数并行语言是Fortran和C的某种扩展，缺少 代可扩展和异构性可扩展的能力。
并行编程的进展
已开发出了很多并行算法。 已涌现一小批简单的并行算法范例。 自然模型正集中趋向于两种模型：
共享变量模型（PVP,SMP,DSM等） 多地址空间的消息传递模型（MPP，集群等）
高层并行编程模型正集中趋向于3种标准 模型：
允许相同程序在不同结点上以SPMD方式重 复执行
数据并行构造
SPMD并行性可用数据并行构造加以说明
例如说明并行循环： parfor(i:=1;i<=N;i++) {C[i]=A[i]+B[i]} 用户可以用1条数组赋值语句：C=A+B或 forall（i=1，N） C[i]=A[i]+B[i]
数据并行（HPF） 消息传递（PVM，MPI） 共享变量（OpenMP）
2.1.2 并行编程环境
从用户观点看，一个典型的并行处理系统有如下图的结 构。 （顺序或并行）应用算法
用户（程序员）
并行语言和其 他工具
（顺序或并行）源程序
并行编程
编译程序（预处理器，汇编程序和连接程序）
运行时间支持和 其他库
并行程序设计
将不同的任务或函数组织成流水线，使得 任务的执行可以相互重叠，提高整体吞吐 量。
04
常见并行程序设计模型
OpenMP模型
1 2 3
共享内存并行编程
OpenMP是一种支持多平台共享内存并行编程的 API，适用于对称多处理器（SMP）和分布式共 享内存（DSM）系统。
编译器指令和库函数
OpenMP通过编译器指令和库函数来实现并行化 ，程序员可以使用这些指令和函数来标识并行代 码块和同步点。
优化同步机制
选择合适的同步机制，如锁、信号量等， 以减少同步开销并提高并行程序的执行效 率。
减少通信开销
采用高效的通信算法和数据结构，减少通 信次数和数据量，降低通信延迟对性能的 影响。
调试和测试工具介绍
01
调试工具
02
GDB：GNU调试器，支持多线程和并行程序的调试，提 供断点、单步执行、变量查看等功能。
THANKS
感谢观看
可移植性和可扩展性
MPI具有良好的可移植性和可扩展性，可以运行在各种不同的硬件和 操作系统平台上。
CUDA模型
01
GPU加速计算
CUDA（Compute Unified Device Architecture）是NVIDIA推出的一种 GPU加速计算平台，利用GPU的强大 计算能力来加速应用程序。
其他领域
生物信息学、金融工程、网络安全等 。
并行计算挑战与机遇
挑战
并行计算的复杂性、通信开销、负载均衡等问题。
机遇
随着硬件技术的不断发展，并行计算的规模和性能不断提升，为解决大规模计 算问题提供了更多可能性。同时，新兴应用领域如人工智能、大数据等也为并 行计算带来了新的发展机遇。
02
《并行程序设计导论》第二章
并行程序设计导论第二章：并行计算模型2.1引言随着计算机技术的飞速发展，单个处理器的性能提升逐渐遇到瓶颈。
为了进一步提高计算效率，人们开始研究并行计算技术。
并行计算是指同时使用多个计算资源来协同完成计算任务的一种计算方式。
并行计算模型是并行程序设计的基础，它定义了并行计算的基本结构和行为规范。
本章将介绍几种常见的并行计算模型，并分析它们的特点和应用场景。
2.2数据并行模型数据并行模型是最常见的并行计算模型之一，它的核心思想是将数据划分为多个部分，每个部分在不同的处理器上并行处理。
数据并行模型主要适用于计算密集型任务，如科学计算、图像处理等。
在数据并行模型中，数据划分和任务分配是关键问题。
数据划分策略包括均匀划分、非均匀划分和基于图划分等。
任务分配策略包括静态分配、动态分配和负载均衡等。
2.3消息传递模型消息传递模型是一种基于通信的并行计算模型，它将计算任务分配给不同的处理器，并通过消息传递机制进行通信。
消息传递模型主要适用于分布式系统和网络并行计算。
在消息传递模型中，处理器之间的通信是关键问题。
通信方式包括同步通信和异步通信。
同步通信是指发送和接收操作在通信过程中必须等待对方完成；异步通信是指发送和接收操作可以独立进行，不需要等待对方完成。
2.4共享内存模型2.5其他并行计算模型除了上述几种常见的并行计算模型外，还有一些其他并行计算模型，如：（1）任务并行模型：将计算任务划分为多个子任务，每个子任务在不同的处理器上并行执行。
任务并行模型主要适用于任务分解和任务调度。
（2）管道并行模型：将计算任务划分为多个阶段，每个阶段在不同的处理器上并行执行。
管道并行模型主要适用于流水线处理和任务分解。
（3）分布式并行模型：将计算任务分配给分布式系统中的多个节点，通过节点之间的通信和协同完成计算任务。
分布式并行模型主要适用于大规模分布式系统和云计算。
2.6总结并行计算模型是并行程序设计的基础，它定义了并行计算的基本结构和行为规范。
并行计算基础知识ppt课件
(1)并行计算机的设计
包括本并行计算机的构造设计、互
联拓扑、网络通讯等。设计并行计算机
重要的一点要思索处置机数目的按比例
增长〔即可扩展性〕及支持快速通讯及
处置机间的数据共享等。
1.1.2并行计算的研讨内容
(2)有效算法的设计
假设没有有效的并行算法，并行计算机无
多层总线、交叉开关、多级互联网络。
宽带互联网络：当前，除了公用MPP 系统采用静态
的拓扑构造外，微机机群均采用宽带互联网络衔接
各个计算结点。
1.3.2 并行计算机的类型
Flynn(1966年)分类法是根据系统的指令流和数据流
对计算机系统进展分类的一种方法。
指令流：机器所执行的指令序列
数据流：指令流调用的数据序列〔包括输入数据和
性在处置器内部的运用大大提高了并行
计算机系统的性能。
1.2.1 并行计算机开展简述
1972年，诞生了第一台并行计算机ILLIAC Ⅳ (Illinois
Integrator and Automatic Computer) 伊利诺斯(理工学院)
积分仪和自动计算机。
它由Illinois 大学和Burrouphs公司协作研制胜利的。
经过网络衔接以一定的方式有序地组织起来
〔一定的衔接方式涉及网络的互联拓扑、通讯
协议等，而有序的组织那么涉及操作系统、中
间件软件等〕。
并行计算的主要目的：
一是为了提供比传统计算机快的计算速度；
二是处理传统计算机无法处理的问题。
1.1.2并行计算的研讨内容
并行计算的研讨内容广泛，包括并行计
并行程序设计导论PPT课件
消息传递编程模型
特点
各个并行部分之间通过发送和接收消 息来进行通信和同步。
优点
可扩展性好，适用于分布式内存系统 。
缺点
编程复杂，需要显式地管理通信和同 步。
应用场景
适用于大规模并行处理系统、集群计 算等。
数据并行编程模型
特点
优点
将相同的操作同时应用于不同的数据元素 ，实现数据级别的并行性。
编程简单，易于实现并行化。
04
常用并行算法介绍
并行排序算法
如并行快速排序、并行归并排序等，用于大规模数据的排序。
并行图算法
如并行广度优先搜索、并行最短路径算法等，用于图论问题的求解。
并行矩阵运算
如矩阵乘法、矩阵分解等，是科学计算和工程应用中常见的并行算法。
并行数值计算
如并行蒙特卡罗方法、并行有限元方法等，用于数值计算问题的求解。
06
并行程序设计实践
并行程序设计实验环境搭建
硬件环境
选择适合并行计算的硬件设备，如多 核CPU、GPU或分布式计算集群。
网络环境
确保实验环境中的网络连接稳定，以 便进行分布式并行计算。
软件环境
安装并行程序设计所需的操作系统、 编译器、调试器和性能分析工具。
并行程序设计实验项目介绍
矩阵乘法
通过并行计算加速矩阵乘 法运算，提高计算效率。
Intel VTune Amplifier
针对NVIDIA GPU的并行程序性 能分析工具，可以对CUDA程序 进行性能分析和优化。
并行程序优化策略
任务划分与负载均衡
将并行任务划分为多个子任务，并分配 给不同的处理单元，实现负载均衡，提
高并行效率。
数据局部性优化
程序设计中的并行计算技术
程序设计中的并行计算技术在当今数字化的世界里，计算机成为人类生产力不可或缺的一部分。
而计算机程序的设计也显得尤为重要，好的程序设计不仅能够提高计算机执行任务的效率，同时还能够降低计算机执行任务所需的时间和空间成本。
而并行计算技术作为一种比较先进和有效的计算机程序设计技术，受到了越来越多的关注和应用。
一、并行计算的基础概念并行计算是指将一个大问题分解成若干个小问题，然后将这些小问题分配给多个处理单元同时执行，从而提高计算效率的一种计算方法。
并行计算可以利用计算机的多个处理单元，在同一时间内完成多个计算任务，比如，在一个矩阵计算任务中，可以将一个大的矩阵分解成若干个小的矩阵，然后将这些小的矩阵分配给不同的处理单元，由这些处理单元同时完成计算任务，这样可以大大减少计算任务所需的时间。
二、并行计算技术的分类并行计算技术可以分为多种类型，通常将其分为以下三种：1. 共享内存并行计算技术共享内存并行计算技术是指所有的处理单元都可以访问同一个内存并且所有的处理单元之间共享数据的计算技术，典型的共享内存并行计算技术有OpenMP和PThreads等，这些技术通常被用于多核处理器的并行计算中。
2. 分布式内存并行计算技术分布式内存并行计算技术是指多个处理单元之间彼此独立，通过网络进行数据传输，并且每一个处理单元都拥有自己独立的内存的计算技术，典型的分布式内存并行计算技术有MPI和PVM 等，这些技术通常被应用于集群、云计算等领域。
3. GPU并行计算技术GPU并行计算技术是指利用图形处理器进行并行计算的技术，它是一种比较新的并行计算技术。
GPU具有成百上千的处理单元以及高速内存，适合于处理大规模的数据并行计算，典型的GPU并行计算技术有OpenCL和CUDA等。
三、并行算法与并行程序设计并行计算技术在程序设计中的应用主要是通过使用并行算法实现的。
并行算法是指将一个算法分解成多个可并行执行的子任务，每个子任务被分配到不同的处理单元上执行，从而提高了计算效率。