并行计算：第九章 稠密矩阵运算
稀疏矩阵乘法 并行
稀疏矩阵乘法并行全文共四篇示例，供读者参考第一篇示例：稀疏矩阵乘法是一种重要的数值计算问题，它在很多领域都有着广泛的应用，比如图像处理、机器学习等。
由于稀疏矩阵的特性是大部分元素都是0，只有少量非零元素，所以传统的矩阵乘法算法在处理稀疏矩阵时会浪费大量的计算资源。
为了解决这个问题，人们提出了一种并行计算的方法，即利用多个处理器同时计算矩阵乘法，从而提高计算效率。
在并行计算中，稀疏矩阵乘法也有着自己的特点和挑战。
稀疏矩阵的非零元素分布在整个矩阵中，处理起来比较困难。
矩阵乘法的计算量随着非零元素的增加而增加，所以需要合理地分配计算资源和任务。
稀疏矩阵乘法的并行计算需要考虑通信开销和负载均衡，以充分利用多个处理器的计算能力。
为了解决上述问题，人们提出了一些并行的稀疏矩阵乘法算法。
其中比较有代表性的是基于CSR（Compressed Sparse Row）格式的算法。
CSR格式是一种压缩存储稀疏矩阵的方法，它将矩阵分成三部分：非零元素数组、列索引数组和行偏移数组。
基于CSR格式的算法在并行计算中能够有效地减少通信开销，提高计算效率。
还有一些其他的并行稀疏矩阵乘法算法，比如基于COO （Coordinate）格式、基于Ecoo（Ellpack-Chebyshev）格式等。
这些算法都有着自己的特点和适用场景，可以根据具体的问题选择合适的算法。
在并行计算中，负载均衡是一个非常重要的问题。
负载不均衡会导致一些处理器的计算资源被浪费，影响整体的计算效率。
为了解决负载均衡问题，人们提出了一些方法，比如动态任务分配、静态任务划分、自适应任务调度等。
这些方法能够根据任务的计算量和数据分布特点，合理地分配任务，从而提高计算效率。
除了负载均衡，通信开销也是一个需要考虑的重要问题。
在并行计算中，处理器之间需要进行通信，传递计算结果和数据，这会导致一定的开销。
为了减小通信开销，人们提出了一些方法，比如数据压缩、异步通信、消息合并等。
并行计算中稠密矩阵运算
并行计算中稠密矩阵运算一、引言稠密矩阵运算是并行计算中的重要领域之一，在科学计算、数据分析和机器学习等领域都得到了广泛应用。
本文将从并行计算的角度出发，探讨稠密矩阵运算在并行计算中的应用及其相关技术。
二、并行计算中的稠密矩阵运算稠密矩阵运算主要涉及到矩阵乘法、矩阵分解、矩阵求逆、特征值计算等方面。
在并行计算中，这些运算的主要挑战来自于如何最大化利用计算资源，提高计算效率，同时避免死锁和其他并发问题。
基于并行化思想的稠密矩阵计算方法主要有两种：数据并行和任务并行。
数据并行将矩阵分割成若干块，同时将计算任务分配到多个处理器上进行计算。
任务并行则将矩阵分解成若干个子任务，每个子任务在独立的处理器上进行计算。
1. 矩阵分块技术矩阵可以利用分块技术进行分割，将稠密矩阵分成若干小块，再将小块分别分配到不同的处理器上进行计算。
这样做可以减少整个计算任务中的通信量，提高计算效率。
2. 并行矩阵乘法矩阵乘法是并行计算中最基本也是最常见的操作之一。
并行矩阵乘法的实现主要利用了任务并行：将矩阵乘法的运算过程分解成若干个子任务，每个子任务在独立的处理器上进行计算。
3. 并行矩阵分解在处理大型稠密矩阵时，往往需要将其分解成较小的分块矩阵进行计算。
目前，常用的并行矩阵分解方法主要有LU分解、QR 分解、SVD分解等。
1. 科学计算在科学计算中，稠密矩阵运算广泛应用于数值模拟、图像处理、计算流体动力学等领域。
高效的并行稠密矩阵计算能够大幅缩短计算时间，提高计算精度。
2. 数据分析数据分析中常常需要对大量数据进行稠密矩阵运算，例如特征值分解、主成分分析等。
并行计算可以在较短的时间内处理大量数据，加速数据分析的过程。
3. 机器学习在机器学习中，基于稠密矩阵的数据处理和计算是必不可少的。
并行计算能够大幅缩短计算时间，提高机器学习模型的训练速度和性能。
五、总结并行计算中的稠密矩阵运算是高性能计算的一个重要领域。
通过使用数据并行和任务并行等技术，可以最大化利用计算资源，提高计算效率。
稠密矩阵LU分解的并行算法
q=n，m=1时，Tp 3nc + 2ns + 2bn log 行算法
2020/6/19
17
二维循环块分布并行算法(续)
2020/6/19
18
二维循环块分布并行算法(续)
❖ 并行执行时间为
Tqq n(2m2 / 3 m / 2 1/ 6)c (2m 1)n2c / q 2ns log q 2bn2 log q / q 2n3c /(3q2 ) mn2c / q m2nc / 3 2mn2c / q2
2
一维块分布的基本并行算法(续)
假设n=pm，其中p为进程数，m为块的阶数，则 ❖ 第所0需要k的<时p间步为，(2进m程3/3P-km/2先/2分-m解/6A)ck;,k为Lk,kUk,k， ❖ 之后，Pk/进行操作Ak,j :＝ (Uk,k)-1(Lk,k)-1Ak,j，
j>k，所需要的时间为(2m3-m2)(p-k-1)c； ❖ 其的次 时， 间为Pks/l将ogApk,+k+b1(:pp-1-广k-播1)m给2所lo有g p进；程，所需要 ❖ 最要后 的， 时各 间进 为程2m并3 m行in计(算pA-ki-,j1:,=)A(i,jp--Ak-i,1k )Ack。,j，所需
2020/6/19
5
一维块分布的流水线并行算法(续)
2020/6/19
6
一维块分布的流水线并行算法(续)
❖ 序号越小的进程，计算量越小，负载严重不 平衡，从而导致很多进程处于空闲状态
❖ 负载最重的是最后一个进程，其上的个行块 几乎需要更新 p－1次，每次一个行块中的 块数为p－1不断减少到1
❖ 并行执行时间为 (n3c/p)，所以无论n增大到 什么程度，并行效率不可能大于2/3
高斯消元法并行算法
高斯消元法是一种求解线性方程组的常用方法，通过将系数矩阵化为上三角矩阵，从而求解出各个未知量的值。
在实际应用中，由于线性方程组规模较大，顺序算法效率较低，因此需要采用并行算法来加速计算。
以下是一个简单的高斯消元法并行算法的示例：
1. 并行化矩阵分解
将系数矩阵分为多个子矩阵，每个子矩阵包含若干行和列，每个处理器对应一个子矩阵。
在每个处理器上进行部分主元消去，将矩阵化为上三角矩阵。
2. 并行化回代求解
从最后一行开始，每个处理器计算出一个未知量的解，并将该解广播给其他处理器。
然后，每个处理器根据已知的解，计算出当前行中另一个未知量的解，并继续向前回代，直到求解出所有未知量的值。
3. 并行化通信
在并行计算过程中，需要频繁地进行通信和同步。
可以采用MPI （Message Passing Interface）标准来实现进程之间的通信。
具体来说，可以使用MPI_Send和MPI_Recv函数在不同进程之间发送和接收消息。
通过以上并行化策略，可以将高斯消元法的计算过程分摊到多个处理器上，并行计算，从而提高计算效率。
需要注意的是，在并行计算中
需要考虑负载均衡、通信开销等问题，以达到最优的计算性能。
大规模稀疏矩阵并行计算
非零元的分布带状分布按块分布……正定性对称性
矩阵的存储方式求解方法的选择求解速度……
直接法
矩阵图重排：一般分为两大类，带宽缩减算法（也常称为外形缩减）和区域分解算法，应用较多的带宽缩减算法CM，RCM，GPS，Rosen算法。一般建议多重方法结合使用：全局方法的全局平衡性、局部方法的局部最优特性。符号分解：确定非零元结构以及相应的消元索引，以便在实际数值分解前确定所需存储资源大小，避免数值分解中动态分配存储空间和复杂的索引策略。构建消去树(elimination tree)：确定分解节点之间的分解依赖，即确定分解的顺序并构成并行分解的层次结构。
5/31/2024
大规模稀疏矩阵并行计算
10
代数多重网格法方法选择
对于非结构化网格形成的矩阵，SGS，SSOR方法不易并行，即使使用顶点着色技术，因其粗粒度的并行更适合于传统的多核处理器，并不非常适合GPU这样的细粒度并行的架构。Jacobi方法不具有低通滤波性，因此推荐使用damp-Jacobi和PCG方法作为迭代子，其中damp-Jacobi方法的权值一般取为2/3。在最粗网格上的计算推荐使用直接解法。通常对于二阶椭圆边值问题，几何多重网格法具有更好的计算效率以及收敛速度。
5/31/2024
大规模稀疏矩阵并行计算
16
大规模稀疏矩阵GPU计算程序优化设计探索
分支优化 消除分支结构的小技巧 例如： if( a>b ){ a=c; } else { a=0; } 可以替换为： a=( a>b )*c;
5/31/2024
大规模稀疏矩阵并行计算
17
大规模稀疏矩阵GPU计算程序优化设计探索
12
代数多重网格法方法选择
5/31/2024
矩阵乘法并行算法分析课件
增加并行度对加速比的贡献会逐渐减小。
实际应用中的性能表现
矩阵规模
在实际应用中，矩阵的规模对并行算法的性能表现有显著影响。
数据分布
数据在矩阵中的分布情况也会影响并行算法的性能，如均匀分布 、稀疏矩阵等。
系统环境
并行算法在实际应用中的性能表现还受到系统环境的影响，如硬 件资源、操作系统等。
PART 05
在数据密集型应用中，如机器学习、图像处理等领域，并行计算 能够显著提高数据处理速度和效率。
云计算平台
随着云计算技术的发展，并行计算在云计算平台上的应用将更加广 泛，为大数据处理提供更高效、灵活的计算服务。
人工智能与机器学习
并行计算在人工智能和机器学习领域的应用前景广阔，能够加速模 型训练和推理过程，提高人工智能应用的性能和效率。
3
数据处理
在数据处理中，矩阵乘法可以用于数据分析和挖 掘等领域，如图像处理和自然语言处理等。
PART 02
矩阵乘法并行算法的实现 方式
基于线程的并行算法
总结词
通过多线程并行执行，充分利用多核处理器资源。
详细描述
基于线程的并行算法利用操作系统的线程库，将矩阵乘法任务划分为多个子任务，每个子任务由一个线程执行。 线程间通过共享内存或消息传递进行通信，以完成整个矩阵乘法操作。
基准测试
通过对比不同并行算法在相同规模矩阵乘法任务上的 执行时间，评估算法的性能。
性能指标
包括吞吐量、加速比、并行度等，用于量化算法的效 率。
并行度与加速比的关系
并行度
01
指并行算法中同时处理的任务数量，与硬件资源有关。
加速比
02
指并行算法相对于串行算法的性能提升比例。
关系
并行计算(中科大讲义)
▪ n,节点规模 w，数据宽度
国家高性能计算中心（合肥）
2021/4/12
22
标准互联网络（1）
▪ Myrinet:
▪ Myrinet是由Myricom公司设计的千兆位包交换网络，其目的 是为了构筑计算机机群，使系统互连成为一种商业产品。
▪ Myrinet是基于加州理工学院开发的多计算机和VLSI技术以及 在南加州大学开发的ATOMIC/LAN技术。Myrinet能假设任 意拓扑结构，不必限定为开关网孔或任何规则的结构。
▪ 多处理机总线系统的主要问题包括总线仲裁、中断处理、协议转换、 快速同步、高速缓存一致性协议、分事务、总线桥和层次总线扩展等
CPU板
LM
CPU
本地外围设备 (SCSI总线)
IOC
存储器板 存储器单元
本地总线
存储器总线
高速缓存
IF
IF
MC
系统总线
I/O板
IOP
IF
数据总线
缓冲
IF
(底板上)
通信板
IF
开关，在Ilinois大学的
Cedar[2]多处理机系统中采用了Ω网络
▪ Cray Y/MP多级网络，该网络用来支持8个向量处理器和256 个存储器模块之间的数据传输。网络能够避免8个处理器同时 进行存储器存取时的冲突。
国家高性能计算中心（合肥）
2021/4/12
21
动态互连网络比较
动态互连网络的复杂度和带宽性能一览表
▪ 一个交换开关模块有n个输入和n个输出，每个输入可连接到任 意输出端口，但只允许一对一或一对多的映射，不允许多对一 的映射，因为这将发生输出冲突
▪ 级间互连（Interstage Connection ）：
矩阵相乘-并行算法
矩阵相乘-并行算法LT行度。
对于一个n×n的方阵，棋盘划分最多可以使用n^2个处理器进行并行计算，但使用按行或列分解最多可以使用n个。
对矩阵相乘采用棋盘式划分的算法通常称作Cannon算法。
A）行列划分又叫带状划分（Striped Partitioning），就是将矩阵整行或者整列分成若干个组，每个组指派给一个处理器。
下图所例为4个CPU，8×8矩阵的带状划分。
在带状划分情况下，每个CPU将会均匀分配到2行(列)数据。
8×8矩阵变成了一个1×4或4×1的分块矩阵，每个CPU所属的分块矩阵大小为8×2或2×8。
B）棋盘划分就是将矩阵分成若干个子矩阵，每个子矩阵指派给一个处理器，此时任一处理器均不包含整行或者整列。
下图所示即为4个处理器情况下8×8矩阵的棋盘划分，其中处理器阵列为2×2，每个处理器分配到的子矩阵大小为4×4。
矩阵划分成棋盘状可以和处理器连成二维网孔相对应。
对于一个n×n维矩阵和p×p的二维处理器阵列，每个处理器均匀分配有（n/p）×(n/p)=n^2/p^2个元素。
使用棋盘式划分的矩阵相乘算法一般有两种，Cannon算法和Summa算法。
SUMMA算法能够计算m*l的A矩阵和l*n的B矩阵相乘（m、l、n可不相等），而cannon算法只能实现n*n的A矩阵和n*n的B矩阵相乘，具有很大的局限性。
3.2、算法原理A) 行划分法假设是M*N，计算前，将矩阵N发送给所有从进程，然后将矩阵M分块，将M中数据按行分给各从进程，在从进程中计算M中部分行数据和N的乘积，最后将结果发送给主进程。
这里为了方便，有多少进程，就将M分了多少块，除最后一块外的其他数据块大小都相等，最后一块是剩下的数据，大小大于等于其他数据块大小，因为矩阵行数不一定整除进程数。
最后一块数据在主进程中计算，其他的在从进程中计算。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
P4
P5
P6
P7
(3,0) (3,1) (3,2) (3,3) (7,0) (7,1) (7,2) (7,3) (0,4) (0,5) (0,6) (0,7) (4,4) (4,5) (4,6) (4,7)
P8
P9
P10
P11
(1,4) (1,5) (1,6) (1,7) (5,4) (5,5) (5,6) (5,7) (2,4) (2,5) (2,6) (2,7) (6,4) (6,5) (6,6) (6,7)
P4
P5
P6
P7
(3,0) (3,1)(3,2) (3,3)(3,4) (3,5)(3,6) (3,7) (4,0) (4,1)(4,2) (4,3)(4,4) (4,5)(4,6) (4,7)
P8
P9
P10
P11
(5,0) (5,1)(5,2) (5,3)(5,4) (5,5)(5,6) (5,7) (6,0) (6,1)(6,2) (6,3)(6,4) (6,5)(6,6) (6,7)
4
第九章 稠密矩阵运算
9.1 矩阵的划分
9.1.1 带状划分 9.1.2 棋盘划分
9.2 矩阵转置 9.3 矩阵-向量乘法 9.4 矩阵乘法
带状划分（1）
16×16阶矩阵，p=4
列块带状划分
国家高性能计算中心（合肥）
行循环带状划分
6
带状划分（2）
示例：p＝3，27× 27矩阵的3种带状划分
(3,7) (4,7)
4
5
6
7
(5,0) (2,0)
(5,4) (5,1) (2,4) (2,1)
(5,5)(5,2) (2,5)(2,2)
(5,6) (5,3) (5,7) (2,6) (2,3) (2,7)
8
9
10
11
(5,0) (6,0)
(5,1) (5,2) (5,3) (5,4) (6,1) (6,2) (6,3) (6,4)
9.1 矩阵的划分 9.2 矩阵转置 9.3 矩阵-向量乘法
9.3.1 带状划分的矩阵-向量乘法 9.3.2 棋盘划分的矩阵-向量乘法 9.3.3 矩阵-向量的脉动乘法
9.4 矩阵乘法
求Y=AX
矩阵-向量乘法
⎜⎛ y0 ⎟⎞ ⎜⎛ a0,0
⎜ ⎜ ⎜⎜⎝
y1 #
yn−1
⎟ ⎟ ⎟⎟⎠
=
⎜ ⎜ ⎜⎜⎝
(2)网孔连接的计算时间
Tp
=
n2 p
+
2(
p
− 1)ts
+
n p
tw ( p − 1)
// 前1项是乘法时间， 后 2项是多到多的播送时间
=
n2 p
+
2ts (
p − 1) + nt w
// p充分大时
国家高性能计算中心（合肥）
21
带状划分的矩阵-向量乘法（2）
示例
国家高性能计算中心（合肥）
a1,0 #
an−1,0
a0,1 a1,1 #
an−1,1
" a0,n−1 ⎟⎞⎜⎛ x0 ⎟⎞
a1,n−1 ⎟⎜ x1 ⎟
"
# an−1,n
−1
⎟⎜ ⎟⎟⎠⎜⎜⎝
# xn−1
⎟ ⎟⎟⎠
n−1
∑ yi = aij ⋅x j j=0
串行算法计算时间t(n)=O(n2)
国家高性能计算中心（合肥）
19
第九章 稠密矩阵运算
(0,0) (0,4) (0,1) (0,5) (0,2) (0,6) (0,3) (0,7)
(1,0) (2,0)
0
1
2
3Leabharlann (1,1) (1,2) (1,3) (1,4) (1,5) (1,6) (1,7) (2,1) (2,2) (2,3) (2,4) (2,5) (2,6) (2,7)
0
1
2
3
(4,0) (1,0)
划分方法
带状划分(striped partitioning): one dimensional, row or column, block or cyclic
棋盘划分(checkerboard partitioning): two dimensional, block or cyclic
国家高性能计算中心（合肥）
22
第九章 稠密矩阵运算
9.1 矩阵的划分 9.2 矩阵转置 9.3 矩阵-向量乘法
9.3.1 带状划分的矩阵-向量乘法 9.3.2 棋盘划分的矩阵-向量乘法 9.3.3 矩阵-向量的脉动乘法
9.4 矩阵乘法
棋盘划分的矩阵-向量乘法（1）
划分(块棋盘划分): Pij存放ai,j, xi置入Pi,i中 算法: 对p=n2情形
(1,6) (1,7)(3,6) (3,7) (5,6) (5,7) (7,6) (7,7)
通(讯a 步)
转(置b 后)
国家高性能计算中心（合肥）
图9.4
13
棋盘划分的矩阵转置（3）
超立方连接
划分:
An×n划分成p个大小为
n×
p
n 子块
p
算法:
①将A＝⎜⎜⎝⎛
A11 A21
A12 A22
并行计算
Parallel Computing
主讲人 徐 云
Spring, 2014
第三篇 并行数值算法
第九章 稠密矩阵运算 第十章 线性方程组的求解 第十一章 快速傅里叶变换 第十二章 数值计算的基本支撑技术
第九章 稠密矩阵运算
9.1 矩阵的划分
9.1.1 带状划分 9.1.2 棋盘划分
9.2 矩阵转置 9.3 矩阵-向量乘法 9.4 矩阵乘法
10
第九章 稠密矩阵运算
9.1 矩阵的划分 9.2 矩阵转置
9.2.1 棋盘划分的矩阵转置 9.2.2 带状划分的矩阵转置
9.3 矩阵-向量乘法 9.4 矩阵乘法
棋盘划分的矩阵转置（1）
网孔连接
情形1: p=n2。
通讯步
国家高性能计算中心（合肥）
转置后
12
棋盘划分的矩阵转置（2）
情形2: p<n2。
①每个Pi向其他处理器播送xi(多到多播送)；
②每个Pi做相应计算；
注: 对p<n情形,算法中Pi要播送X中相应的n/p个分量
(1)超立方连接的计算时间
Tp
=
n2 p
+
ts
log
p
+
n p
tw( p
− 1)
// 前1项是乘法时间， 后 2项是多到多的播送时间
=
n2 p
+
ts
log
p
+
nt w
// p充分大时
P12
P13
P14
P15
(3,4) (3,5) (3,6) (3,7) (7,4) (7,5) (7,6) (7,7)
(a)
(b)
6
7
14
15
2
3
10
11
4
5
12
13
国家高性能计算中心0 （合肥） 1
8
9
15
第九章 稠密矩阵运算
9.1 矩阵的划分 9.2 矩阵转置
9.2.1 棋盘划分的矩阵转置 9.2.2 带状划分的矩阵转置
⎟⎟⎠⎞转置为⎜⎜⎝⎛
A11 A12
A21 A22
⎟⎟⎠⎞
②对Aij递归应用①进行转置，直至分块矩阵的元素处于同一处理器； ③进行同一处理器的内部转置。
运行时间:
Tp
=
n2 2p
+
2（ts
+ tw
n2 p
) log
p
// 内部转置
n2 2p
，选路：2（t
s
+
tw
n2 p
)，递归步：log
p
=
n2 2p
8
9
10
11
(1,4) (1,5)(3,4) (3,5) (5,4) (5,5) (7,4) (7,5) (0,6) (0,7)(2.6) (2,7) (4,6) (4,7) (6,6) (6,7)
12
13
14
15
12
13
14
15
(7,0) (7,1) (7,2) (7,3) (7,4) (7,5) (7,6) (7,7)
①每个Pi,i向Pj,i播送xi(一到多播送)； ②按行方向进行乘-加与积累运算，最后一列Pi,n-1收集的结 果为yi；
注: 对p<n2情形,p个处理器排成 p × p的二维网孔，
(1.)X..按按网算中列行孔法相一单连中应到点接P分i多积的,i向量播累计P置j送的算,i入播时时时P送i间间间,i的X::T中(通tps((+相tC讯s ∴+Tn应p时)nt:Tpw的间p)nt≈lw/o):gnlpot2psg++pts+pnl个top+hg(ttw分ph (+p+量t−hpn1p−)p1tw) log p + 3th
9.1 矩阵的划分 9.2 矩阵转置 9.3 矩阵-向量乘法
9.3.1 带状划分的矩阵-向量乘法 9.3.2 棋盘划分的矩阵-向量乘法 9.3.3 矩阵-向量的脉动乘法
9.4 矩阵乘法
带状划分的矩阵-向量乘法（1）
划分(行带状划分): Pi存放xi和ai,0,ai,1,…,ai,n-1, 并输出yi 算法: 对p=n情形
P12
P13