矩阵计算并行算法幻灯片
合集下载
线性代数矩阵及其运算ppt课件
篮 球 比 赛 是 根据运 动队在 规定的 比赛时 间里得 分多少 来决定 胜负的 ，因此 ，篮球 比赛的 计时计 分系统 是一种 得分类 型的系 统
4 . 同型矩阵 两矩阵的行列数分别相等称它们是同型矩阵
5. 矩阵 AB 相等 充要条件是:
1）A、B是 同 型 矩 阵
2）ai j bi j(第i，j位 置 上 的 元)素 相 等
证明 （1）、（2）、（3）易证，下证明(4). 设矩阵 A为m×s 阶矩阵，矩阵 B为s×n阶矩阵，那么： ( AB)T与 BTAT 是同型矩阵； 又设 C = A B，因为 CT的第 i 行第 j 列的元素正好是 C 的 cji ，即 cji=aj1b1i+aj2b2i+…+ajsbsi =b1iaj1+b2iaj2+…+bsiajs
篮 球 比 赛 是 根据运 动队在 规定的 比赛时 间里得 分多少 来决定 胜负的 ，因此 ，篮球 比赛的 计时计 分系统 是一种 得分类 型的系 统
负矩阵 : A= ( aij)
减法：Ａ B =Ａ+ ( B)
2.矩阵的数乘
定义2.3 数λ与矩阵Ａ的乘积记为λA或Aλ，并规定：
a11 a12 ... a1n
a1
k
dia(ga1,a2,an)
a2
;
kI
k
an
k
5. 上（下）三角形矩阵
a11 a12 a1n
A
a 22
a
2
n
a
nn
b11
B
b21
b22
bn1
bn2
bnn
篮 球 比 赛 是 根据运 动队在 规定的 比赛时 间里得 分多少 来决定 胜负的 ，因此 ，篮球 比赛的 计时计 分系统 是一种 得分类 型的系 统
线性代数 矩阵及其运算优秀PPT
排成的m行n列的数表
a11 a12 ... a1n
a21 a22 ... a2n
... ... ... ...
称m行n列矩阵，简称 m×n矩阵。记作
am1 am2 ... amn
a11 a12 ... a1n
A
a21 ...
a22 ...
... ...
a2n ...
am1 am2 ... amn3
由于方阵Ak、Am、E对乘法是可交换的，所
以矩阵A的多项式的乘法也是可交换的，即
f (A)g(A) g(A)f (A)
从而A的多项式可以象数x的多项式分解因式.
如： A2 3A 2E ( A 2E)( A E)
( A E)3 A3 3A2 3A E
22
5.矩阵的转置
定义2.6 A的转置矩阵，记作AT，是将A的行列互换后所 得矩阵如果 A是一个 m×n 阶矩阵， AT 是一个 n×m 阶矩阵。
而b1i，b2i，…，bsi 正好是 BT的第 i 行，aj1,aj2,…,ajs 正
好是 AT的第 j 列，因此 cji 是 BTAT的第 i 行第 j 列的元 素。故
( AB )T = AT BT
24
6. 对称矩阵与反对称矩阵
设 A为 n 阶方阵， 若 AT = A，
即
aij = aji (i,j=1,2,…,n)，
32
§2.3 逆矩阵
1、可逆矩阵的定义（定义2.8）
设对于 n 阶方阵 A，若存在 n 阶方阵 B 使得 A B = B A = E 恒成立，则称矩阵 A 可逆或满秩矩阵, 或非奇异矩阵；B 称为 A 的逆矩阵，记为 A－1 = B 。
2、可逆矩阵的唯一性、存在性及性质
并行计算概述PPT课件
并行计算——结构•算法•编程
• 第一篇 并行计算的基础 • 第一章 并行计算机系统及其结构模型 • 第二章 当代并行机系统：SMP、MPP和Cluster • 第三章 并行计算性能评测
• 第二篇 并行算法的设计 • 第四章 并行算法的设计基础 • 第五章 并行算法的一般设计方法 • 第六章 并行算法的基本设计技术 • 第七章 并行算法的一盘
桥
系统 I
节点 2
节点 N
SAN(e.g.Myrinet)
I/O总 线 ,系 统 总 线
接口
LAN(e.g.以 太 网 ,FDDI)
系统 II
2021/8/11
15
第15页/共84页
网络性能指标
• 节点度（Node Degree）：射入或射出一个节点的边数。在单向网络中， 入射和出射边之和称为节点度。
2
N / 2向）
4
2( N 1)
N
4
N 1
2N
4
2 N/2
2N
3 2loN g 1
1
非
N 1
是
N
非
2(N N)
非
2N
是
2N
非
N 1
星形
2
N N 1
超立方
N 2n
n
n
非 N / 2
是
N/2
N 1 nN/ 2
立方环
Nk2k
3
2k1k/2 N/(2k)
是
3N/ 2
2021/8/11
24
第24页/共84页
动态互连网络 (1)
1100
1110 1101
1111
0010
0011
1010
• 第一篇 并行计算的基础 • 第一章 并行计算机系统及其结构模型 • 第二章 当代并行机系统：SMP、MPP和Cluster • 第三章 并行计算性能评测
• 第二篇 并行算法的设计 • 第四章 并行算法的设计基础 • 第五章 并行算法的一般设计方法 • 第六章 并行算法的基本设计技术 • 第七章 并行算法的一盘
桥
系统 I
节点 2
节点 N
SAN(e.g.Myrinet)
I/O总 线 ,系 统 总 线
接口
LAN(e.g.以 太 网 ,FDDI)
系统 II
2021/8/11
15
第15页/共84页
网络性能指标
• 节点度（Node Degree）：射入或射出一个节点的边数。在单向网络中， 入射和出射边之和称为节点度。
2
N / 2向）
4
2( N 1)
N
4
N 1
2N
4
2 N/2
2N
3 2loN g 1
1
非
N 1
是
N
非
2(N N)
非
2N
是
2N
非
N 1
星形
2
N N 1
超立方
N 2n
n
n
非 N / 2
是
N/2
N 1 nN/ 2
立方环
Nk2k
3
2k1k/2 N/(2k)
是
3N/ 2
2021/8/11
24
第24页/共84页
动态互连网络 (1)
1100
1110 1101
1111
0010
0011
1010
第六讲矩阵计算并行算法ppt课件
串行程序性能优化 —— 并行程序性能优化的基础
调用高性能库。如：BLAS、LAPACK、FFTW 选择编译器优化选项：-O2、-O3 合理定义数组维数 注意嵌套循环次数：数据访问的空间局部性和时间局部性 循环展开 例: ex4performance.c 数据分块
4
程序性能优化
并行程序性能优化
46
三角方程并行求解
47
三角方程并行求解
48
三角方程并行求解
49
三角方程并行求解
50
上机作业
用算法 3 编写并行程序求解下三角方程组
Ax b
其中
A(aij) nn, aij i1j1, ij
0,
ij
b[1,1, ,1]Tn
51
2)
A02 A02 A02 A10 A10 A10 A21 A21 A21
B20 B21 B22 B00 B01 B02 B10 B11 B12
31
Cannon 算法
32
Cannon 算法
33
Cannon 算法示例
34
上机作业
按行行划分并行计算矩阵乘积，其中
A(aij)nn, aij i1 j1 B (b ij)n n , b ij i j 1
行列划分 行行划分 列列划分 列行划分
17
行列划分
行列划分：A 按行划分、 B 按列划分
令 C = (Cij)，其中 Cij = AiBj
将 Ai, Bj 和 Cij ( j = 0, 1, ..., p-1) 存放在第 i 个处理器中 (这样的存储方式使得数据在处理器中不重复)
Pi 负责计算 Cij ( j = 0, 1, ..., p-1)
示例程序：ex4matmul01.f
调用高性能库。如：BLAS、LAPACK、FFTW 选择编译器优化选项：-O2、-O3 合理定义数组维数 注意嵌套循环次数：数据访问的空间局部性和时间局部性 循环展开 例: ex4performance.c 数据分块
4
程序性能优化
并行程序性能优化
46
三角方程并行求解
47
三角方程并行求解
48
三角方程并行求解
49
三角方程并行求解
50
上机作业
用算法 3 编写并行程序求解下三角方程组
Ax b
其中
A(aij) nn, aij i1j1, ij
0,
ij
b[1,1, ,1]Tn
51
2)
A02 A02 A02 A10 A10 A10 A21 A21 A21
B20 B21 B22 B00 B01 B02 B10 B11 B12
31
Cannon 算法
32
Cannon 算法
33
Cannon 算法示例
34
上机作业
按行行划分并行计算矩阵乘积，其中
A(aij)nn, aij i1 j1 B (b ij)n n , b ij i j 1
行列划分 行行划分 列列划分 列行划分
17
行列划分
行列划分：A 按行划分、 B 按列划分
令 C = (Cij)，其中 Cij = AiBj
将 Ai, Bj 和 Cij ( j = 0, 1, ..., p-1) 存放在第 i 个处理器中 (这样的存储方式使得数据在处理器中不重复)
Pi 负责计算 Cij ( j = 0, 1, ..., p-1)
示例程序：ex4matmul01.f
线性代数第二章矩阵及其运算2-3PPT课件
例如，设实数k=2，矩阵A=[1 2; 3 4]，则kA=[2 4; 6 8]。
CHAPTER 02
矩阵的乘法
矩阵乘法的定义
01
矩阵乘法是将两个矩阵对应位置的元素相乘，得到一个新的矩 阵。
02
矩阵乘法的结果是一个矩阵，其行数等于左矩阵的行数，列数
等于右矩阵的列数。
矩阵乘法的操作顺序是先进行行操作，再进行列操作。
CHAPTER 05
矩阵的秩
秩的定义
秩的定义
矩阵的秩是其行向量组或列向量 组的一个极大线性无关组中向量 的个数。
秩的Байду номын сангаас质
矩阵的秩是唯一的，且其值满足 特定的性质，如对于任何矩阵A， r(A)≤min(m,n)，其中m和n分别 为矩阵A的行数和列数。
秩的计算方法
可以通过多种方法计算矩阵的秩， 如高斯消元法、行变换法、初等 行变换法等。
线性代数第二章矩阵及 其运算2-3ppt课件
CONTENTS 目录
• 矩阵的加法与数乘 • 矩阵的乘法 • 逆矩阵与伴随矩阵 • 矩阵的行列式 • 矩阵的秩 • 矩阵的应用
CHAPTER 01
矩阵的加法与数乘
矩阵的加法
矩阵加法定义
两个矩阵A和B的和记作A+B，定义 为满足以下条件的矩阵C，即C的元 素Cij=Aij+Bij（i，j=1，2，…，n）。
03
矩阵乘法的性质
1 2
结合律
$(AB)C=A(BC)$，即矩阵乘法满足结合律。
分配律
$A(B+C)=AB+AC$，即矩阵乘法满足分配律。
3
单位元
存在一个单位矩阵，使得任意矩阵与单位矩阵相 乘都等于原矩阵。
CHAPTER 02
矩阵的乘法
矩阵乘法的定义
01
矩阵乘法是将两个矩阵对应位置的元素相乘，得到一个新的矩 阵。
02
矩阵乘法的结果是一个矩阵，其行数等于左矩阵的行数，列数
等于右矩阵的列数。
矩阵乘法的操作顺序是先进行行操作，再进行列操作。
CHAPTER 05
矩阵的秩
秩的定义
秩的定义
矩阵的秩是其行向量组或列向量 组的一个极大线性无关组中向量 的个数。
秩的Байду номын сангаас质
矩阵的秩是唯一的，且其值满足 特定的性质，如对于任何矩阵A， r(A)≤min(m,n)，其中m和n分别 为矩阵A的行数和列数。
秩的计算方法
可以通过多种方法计算矩阵的秩， 如高斯消元法、行变换法、初等 行变换法等。
线性代数第二章矩阵及 其运算2-3ppt课件
CONTENTS 目录
• 矩阵的加法与数乘 • 矩阵的乘法 • 逆矩阵与伴随矩阵 • 矩阵的行列式 • 矩阵的秩 • 矩阵的应用
CHAPTER 01
矩阵的加法与数乘
矩阵的加法
矩阵加法定义
两个矩阵A和B的和记作A+B，定义 为满足以下条件的矩阵C，即C的元 素Cij=Aij+Bij（i，j=1，2，…，n）。
03
矩阵乘法的性质
1 2
结合律
$(AB)C=A(BC)$，即矩阵乘法满足结合律。
分配律
$A(B+C)=AB+AC$，即矩阵乘法满足分配律。
3
单位元
存在一个单位矩阵，使得任意矩阵与单位矩阵相 乘都等于原矩阵。
并行计算.5矩阵
带状划分的矩阵转置
划分:
An×n分成p个(n/p)×n大小的带
P0 P1
n
P2 P3 图9.7
算法:
①Pi有p-1个(n/p)×(n/p)大小子块发送到另外p-1个处理器中; ②每个处理器本地交换相应的元素
棋盘划分的矩阵转置
仅讨论网格块棋盘划分的矩阵转置算法，循环棋盘划分和 映射同样考虑即可。下面分两种不同的网络互联结构分别 讨论：二维网格互联结构、超立方体结构。
P8
(5,0) (6,0) (5,1) (5,2) (6,1) (6,2)
矩阵的转置
转置（Transposition）是基本的矩阵运算。一个矩阵A的转 置记为 AT，它是将矩阵A的元素延对角线互换而得到的。 矩阵转置的串行算法很简单，只需要把上三角（不包括对 角线）的元素循环一遍，每个元素与其对称位置的元素交 换位置即可，整个过程只需要一个单位的多余空间，时间 复杂度为O(n2)。下面讨论在不同的矩阵划分方式下的并行 矩阵转置算法。
P2
(5,1) (7,0) (4,3) (6,2)
P3
(7,1) (6,3)
P4
(3,0) (4,0) (3,1) (3,2) (4,1) (4,2)
P5
(3,3) (3,4) (4,3) (4,4)
P6
(3,5) (3,6) (4,5) (4,6)
P7
(3,7) (4,7) (1,2) (0,4)
带状划分
带状划分就是把矩阵按照行或列分成几部分，分别映射到 各个处理器。如果分到每个处理器的各行或列是连续的， 则称为块带状划分（Block-Striped）；相对的，如果是按 照行号或者列号取模而进行的矩阵划分则称为循环带状划 分（Cyclic-Striped）。 下图是一个16×16的矩阵带状划分到4各处理器的例子， 左右分别为列方向的块带状划分和行方向的循环带状划分。 带状划分最多能够把一个n×n的矩阵划分到n的处理器上。
矩阵及其运算PPT课件
第9页/共2题 (课后题2题)：
设
1 A 1
1 1
1 1 2 3 1, B 1 2 4
1 1 1 0 5 1
求3AB 2A及 AT B
2 13 22
0 5 8
答案：3AB 2A 2 17 20 , AT B 0 5 6.
第22页/共24页
六、方阵的行列式
2010年期末考题(I)
二、选择（每题4分，共16分）
1、设A与B均为n阶方阵，则下列结论中成立的是( B )
A. |AB|=0,则A=0或B=0; B. |AB|=0,则|A|=0或|B|=0； C. AB=0,则A=0或B=0; D. AB≠0,则|A|≠0或|B|≠0；
T ，
则An ____1___12.
1 3
23
3
n
1
2
1
2 3
矩阵拆分相乘
3
3
1
2
第13页/共24页
2012年期末考试题
二项式法
1
4、设A
0
0 0
2012年期末考试题
0
1
,
则A
n
n nn1
_0____n .
0
0
n(n 1) n2
2
nn1
n
五.(10分)(线性代数I，36学时专业学时做 )设
转置矩阵的运算性质 (1) (AT)T = A; (2) (A+B)T = AT + BT;
(3) (A)T = AT;
(4) (AB)T = BTAT;
第2页/共24页
由n 阶方阵A 的元素所构成的行列式叫做方阵A 的行列式, 记作 | A | 或 detA .
设
1 A 1
1 1
1 1 2 3 1, B 1 2 4
1 1 1 0 5 1
求3AB 2A及 AT B
2 13 22
0 5 8
答案：3AB 2A 2 17 20 , AT B 0 5 6.
第22页/共24页
六、方阵的行列式
2010年期末考题(I)
二、选择（每题4分，共16分）
1、设A与B均为n阶方阵，则下列结论中成立的是( B )
A. |AB|=0,则A=0或B=0; B. |AB|=0,则|A|=0或|B|=0； C. AB=0,则A=0或B=0; D. AB≠0,则|A|≠0或|B|≠0；
T ，
则An ____1___12.
1 3
23
3
n
1
2
1
2 3
矩阵拆分相乘
3
3
1
2
第13页/共24页
2012年期末考试题
二项式法
1
4、设A
0
0 0
2012年期末考试题
0
1
,
则A
n
n nn1
_0____n .
0
0
n(n 1) n2
2
nn1
n
五.(10分)(线性代数I，36学时专业学时做 )设
转置矩阵的运算性质 (1) (AT)T = A; (2) (A+B)T = AT + BT;
(3) (A)T = AT;
(4) (AB)T = BTAT;
第2页/共24页
由n 阶方阵A 的元素所构成的行列式叫做方阵A 的行列式, 记作 | A | 或 detA .
第2章 矩阵运算基础PPT课件
又如，设a=[10.5,25]，求a/5和5\a
23
2.2.5 数组的除法：
用符号“./” 和“.\”表示。a、 b必须具有相同的阶数。a./b表 示a中元素分别除以b中的对应元 素。 a.\b表示b中元素分别除以a 中的对应元素。
24
>> a=[1 2 3]; >> b=[2 4 6]; >> c=a./b c=
2
40
3.求逆矩阵
>> X=[1 2 3 0; 5 6 0 8; 9 0 11 12; 0 14 15 16];
>> Y=inv(X)
Y=
0.2299 0.0908 0.0351 -0.0717
分类:
行向量 列向量
13
向量的构造
1．逐个输入
>>a=[1 3 9 10 15 16]
%采用空格和逗号分隔构成行向量
>>b=[1; 3; 9; 10; 15; 16] %采用分号隔开构成列向量
2．利用冒号表达式“:”生成向量
>>x=1:2:9
%初值=1，终值=9，步长=2
>>z=1:5
%初值=1，终值=5，默认步长=1
30 36 42 >> 1 2 3;-2 0 0; 1 0 1; -1 2 3];B=[-1 3; -2 2; 2 1],求C=A*6， >> A=[1 2 3;-2 0 0; 1 0 1; -1 2 3]
A=
123 -2 0 0 101 -1 2 3
2.2.3 数组的乘法 使用“ .* ”运算符，要求a、b两数组 必须具有相同的阶数，
a .* b表示a和b中对应元素之间相乘。
23
2.2.5 数组的除法：
用符号“./” 和“.\”表示。a、 b必须具有相同的阶数。a./b表 示a中元素分别除以b中的对应元 素。 a.\b表示b中元素分别除以a 中的对应元素。
24
>> a=[1 2 3]; >> b=[2 4 6]; >> c=a./b c=
2
40
3.求逆矩阵
>> X=[1 2 3 0; 5 6 0 8; 9 0 11 12; 0 14 15 16];
>> Y=inv(X)
Y=
0.2299 0.0908 0.0351 -0.0717
分类:
行向量 列向量
13
向量的构造
1．逐个输入
>>a=[1 3 9 10 15 16]
%采用空格和逗号分隔构成行向量
>>b=[1; 3; 9; 10; 15; 16] %采用分号隔开构成列向量
2．利用冒号表达式“:”生成向量
>>x=1:2:9
%初值=1，终值=9，步长=2
>>z=1:5
%初值=1，终值=5，默认步长=1
30 36 42 >> 1 2 3;-2 0 0; 1 0 1; -1 2 3];B=[-1 3; -2 2; 2 1],求C=A*6， >> A=[1 2 3;-2 0 0; 1 0 1; -1 2 3]
A=
123 -2 0 0 101 -1 2 3
2.2.3 数组的乘法 使用“ .* ”运算符，要求a、b两数组 必须具有相同的阶数，
a .* b表示a和b中对应元素之间相乘。
《矩阵及其运算》PPT课件
其中e1为初始值，e2为步长，e3为终止值。 在MATLAB中，还可以用linspace函数产生行向量。其调 用格式为：
linspace(a,b,n) 其中a和b是生成向量的第一个和最后一个元素，n是元 素总数。
显然，linspace(a,b,n)与a:(b-a)/(n-1):b等价。
4．建立大矩阵 大矩阵可由方括号中的小矩阵或向量建立起来。(自学)
《矩阵及其运算》PPT课件
本课件仅供大家学习学习 学习完毕请自觉删除
谢谢 本课件仅供大家学习学习
学习完毕请自觉删除 谢谢
第2章 MATLAB矩阵及其运算
2.1 变量和数据操作 2.2 MATLAB矩阵 2.3 MATLAB运算 2.4 矩阵分析 2.5 矩阵的超越函数 2.6 字符串 2.7 结构数据和单元数据 2.8 稀疏矩阵
前面已讲。
2.2 MATLAB矩阵
1．直接输入法
直接输入需遵循以下基本规则： •整个矩阵应以“ [ ]”为首尾，即整个输入矩阵必须包含在 方括号中； •矩 阵 中 ， 行 与 行 之 间 必 须 用 分 号 “ ； ” 或 Enter 键 ( 按 Enter键)分隔； •每行中的元素用逗号“ ，”或空格分隔； •矩阵中的元素可以是数字或表达式，但表达式中不可包含 未知的变量，MATLAB用表达式的值为该位置的矩阵元素赋 值。 •当 矩 阵 中 没 有 任 何 元 素 时 ， 该 矩 阵 被 称 作 “ 空 阵 ” （Empty Matrix）。
例：x=5*(6-1/0.5); 5*(6-1/0.5)+3;
MATLAB的基本算术运算符有：＋(加)、－(减)、*(乘)、 /(右除)、\(左除)、^(乘方)，等等。 注: 运算是在矩阵意义下进行的，单个数据的算术运算只 是一种特例。
linspace(a,b,n) 其中a和b是生成向量的第一个和最后一个元素，n是元 素总数。
显然，linspace(a,b,n)与a:(b-a)/(n-1):b等价。
4．建立大矩阵 大矩阵可由方括号中的小矩阵或向量建立起来。(自学)
《矩阵及其运算》PPT课件
本课件仅供大家学习学习 学习完毕请自觉删除
谢谢 本课件仅供大家学习学习
学习完毕请自觉删除 谢谢
第2章 MATLAB矩阵及其运算
2.1 变量和数据操作 2.2 MATLAB矩阵 2.3 MATLAB运算 2.4 矩阵分析 2.5 矩阵的超越函数 2.6 字符串 2.7 结构数据和单元数据 2.8 稀疏矩阵
前面已讲。
2.2 MATLAB矩阵
1．直接输入法
直接输入需遵循以下基本规则： •整个矩阵应以“ [ ]”为首尾，即整个输入矩阵必须包含在 方括号中； •矩 阵 中 ， 行 与 行 之 间 必 须 用 分 号 “ ； ” 或 Enter 键 ( 按 Enter键)分隔； •每行中的元素用逗号“ ，”或空格分隔； •矩阵中的元素可以是数字或表达式，但表达式中不可包含 未知的变量，MATLAB用表达式的值为该位置的矩阵元素赋 值。 •当 矩 阵 中 没 有 任 何 元 素 时 ， 该 矩 阵 被 称 作 “ 空 阵 ” （Empty Matrix）。
例：x=5*(6-1/0.5); 5*(6-1/0.5)+3;
MATLAB的基本算术运算符有：＋(加)、－(减)、*(乘)、 /(右除)、\(左除)、^(乘方)，等等。 注: 运算是在矩阵意义下进行的，单个数据的算术运算只 是一种特例。
矩阵及其运算 ppt课件
而b1i，b2i，…，bsi 正好是 BT的第 i 行，
aj1,aj2,…,ajs 正好是 AT的第 j 列，因此 cji 是 BTAT 的第 i 行第 j 列的元素。故
( AB )T = AT BT
6.方阵的行列式 由 n 阶方阵 A 的元素所构成的行列式(各元
素的位置不变)，称为方阵 A 的行列式，记为 | A| 或 det A。 注意：行列式与方阵是两个不同的概念，且它 们的记号也是不同的。
∴ (AＢ)－1=Ｂ－1 A－1
第三节 矩阵的分块
本节来介绍一个在处理高阶矩阵时常用的
方法，即矩阵的分块。将矩阵A用若干条横线 与若干条纵线分成许多个小矩阵，每一个小矩
阵称为矩阵A的子块。以子块为元素的形式上 的矩阵称为分块矩阵。特别在运算中，把这些
小矩阵当做一个数来处理。
a11 a12 a13 a14
A11 A21 ... An1
A*
A12 ...
A22 ...
... ...
An 2 ...
A1n A2n ... Ann
称矩阵A的伴随矩阵，记为A＊ 伴 随 矩 阵 有 如 下 重 要 性 质 ：
AA*A*A(detA)E
例 1设 A123T， B11 21 3， CAB ，
求 Cn
如果n 阶方阵如果满足主对角线上的元素全 为1，其余元素全为零，这样的 n 阶矩阵称为 n 阶单位矩阵。记作En 或 E。
如果n 阶方阵主对角线上的元素全为k，其 余元素全为零，这样的 n 阶矩阵称为 n 阶数量 矩阵。
二、矩阵的运算
1.矩阵的加法: 设有两个同型的 m×n 阶矩阵
A= (aij) 、B= (bij)，则矩阵 A 与 B 的和记为 A+B，并规定
aj1,aj2,…,ajs 正好是 AT的第 j 列，因此 cji 是 BTAT 的第 i 行第 j 列的元素。故
( AB )T = AT BT
6.方阵的行列式 由 n 阶方阵 A 的元素所构成的行列式(各元
素的位置不变)，称为方阵 A 的行列式，记为 | A| 或 det A。 注意：行列式与方阵是两个不同的概念，且它 们的记号也是不同的。
∴ (AＢ)－1=Ｂ－1 A－1
第三节 矩阵的分块
本节来介绍一个在处理高阶矩阵时常用的
方法，即矩阵的分块。将矩阵A用若干条横线 与若干条纵线分成许多个小矩阵，每一个小矩
阵称为矩阵A的子块。以子块为元素的形式上 的矩阵称为分块矩阵。特别在运算中，把这些
小矩阵当做一个数来处理。
a11 a12 a13 a14
A11 A21 ... An1
A*
A12 ...
A22 ...
... ...
An 2 ...
A1n A2n ... Ann
称矩阵A的伴随矩阵，记为A＊ 伴 随 矩 阵 有 如 下 重 要 性 质 ：
AA*A*A(detA)E
例 1设 A123T， B11 21 3， CAB ，
求 Cn
如果n 阶方阵如果满足主对角线上的元素全 为1，其余元素全为零，这样的 n 阶矩阵称为 n 阶单位矩阵。记作En 或 E。
如果n 阶方阵主对角线上的元素全为k，其 余元素全为零，这样的 n 阶矩阵称为 n 阶数量 矩阵。
二、矩阵的运算
1.矩阵的加法: 设有两个同型的 m×n 阶矩阵
A= (aij) 、B= (bij)，则矩阵 A 与 B 的和记为 A+B，并规定
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
7
矩阵向量乘积
y ? Ax A? R m?n , x ? R n
? 串行算法
?实现方法一：i-j 循环 for i=1 to m y(i)=0.0 for j=1 to n y(i)=y(i)+A(i,j)*x(j) end for end for
8
矩阵向量乘积
? 串行算法
?实现方法二：j-i 循环 y=0 % 先赋初值 for j=1 to n for i=1 to m y(i)=y(i)+A(i,j)*x(j) end for end for乘积
? 并行算法一
?矩阵的划分方法：按行划分和按列划分
?按行划分并行算法
将矩阵 A 按行划分成如下的行 块子矩阵
则
将 Ai 存放在结点 Pi 中，每个结点计算 Ai x，最后 调用 MPI_GATHER 或 MPI_GATHERV 即可
10
矩阵向量乘积
? 并行算法二
34
上机作业
? 按行行划分并行计算矩阵乘积，其中
A ? (aij ) ? R , 1n? n
a ij
?
i?
1 j?
1
B ? (bij ) ? R 1n?n , bij ? i ? j ? 1
?编写用第二种方式实现上述矩阵乘积的 Cannon 并行算法
35
主要内容
? 并行算法基础知识 ? 矩阵向量乘积的并行算法 ? 矩阵矩阵乘积的并行算法
16
并行矩阵乘积
C ? A? B A? R m?l , B ? R l?n
? 假定：
m, l, n 均能能 p 整除，其中 p 为进程个数
?基于 A、B 的不同划分，矩阵乘积的并行算法可分为
?行列划分 ?行行划分 ?列列划分 ?列行划分
17
行列划分
?行列划分：A 按行划分、 B 按列划分
?令 C = (Cij)，其中 Cij = AiBj
第六讲 矩阵计算并行算法
1
主要内容
? 并行算法基础知识 ? 矩阵向量乘积的并行算法 ? 矩阵矩阵乘积的并行算法 ? 矩阵的 LU 分解并行算法 ? 下三角线性方程组的并行算法
2
并行算法基础知识
? 一些基本概念
? 加速比
其中 Ts 串行程序运行时间，Tp(q) 为 q 个进程的运行时间
? 并行效率
B ? (bij ) ? R 1n?n , bij ? i ? j ? 1
示例程序：ex4matmul01.f
20
行行划分
?行行划分：A 按行划分、 B 按行划分
21
行行划分
22
列列划分
?列列划分：A 按列划分、 B 按列划分
23
列列划分
24
列行划分
?列行划分：A 按列划分、 B 按行划分
?矩阵的 LU 分解并行算法
? 下三角线性方程组的并行算法
36
线性方程组直接解法
37
线性方程组直接解法
38
矩阵 LU 分解
39
矩阵 LU 分解
40
矩阵 LU 分解
41
矩阵 LU 分解
42
上机作业
?编写LU分解的并行程序，其中
A ? (aij ) ? R , 1n?n aij ? i ? j ? 1
A ? (aij ) ? R 1n?n ,
aij
?
i
?
1 j?
1
x ? [1, 1, K , 1]T ? R 1n ,
示例程序：ex4matvec.f
12
上机作业
? 上机作业：
1、编写按行划分计算矩阵向量乘积的通用并行程序 2、按列划分，编写通用并行程序计算上面的乘积
13
主要内容
? 并行算法基础知识 ? 矩阵向量乘积的并行算法
?将 Ai, Bj 和 Cij ( j = 0, 1, ..., p-1) 存放在第 i 个处理器中 (这样的存储方式使得数据在处理器中不重复 )
?Pi 负责计算 Cij ( j = 0, 1, ..., p-1)
?由于使用 p 个处理器，每次每个处理器只计算一个 Cij, 故计算出整个 C 需要 p 次完成
end for
15
矩阵矩阵乘积
C ? A? B A? R m?l , B ? R l?n
?串行算法二 ：j-k-i 循环
C=0 for j=1 to l
for k=1 to n for i=1 to m C(i,j)=C(i,j)+A(i,k)*B(k,j) end for
end for end for
3
程序性能优化
? 串行程序性能优化 —— 并行程序性能优化的基础
? 调用高性能库。如： BLAS、LAPACK、FFTW ? 选择编译器优化选项： -O2、-O3 ? 合理定义数组维数 ? 注意嵌套循环次数： 数据访问的空间局部性和时间局部性 ?循环展开 例: ex4performance.c ? 数据分块
43
主要内容
? 并行算法基础知识 ? 矩阵向量乘积的并行算法 ? 矩阵矩阵乘积的并行算法 ? 矩阵的 LU 分解并行算法
? 下三角线性方程组的并行算法
44
三角方程并行求解
45
三角方程并行求解
46
三角方程并行求解
47
三角方程并行求解
48
三角方程并行求解
49
三角方程并行求解
50
上机作业
?用算法 3 编写并行程序求解下三角方程组
25
列行划分
26
Cannon 算法
27
Cannon 算法
28
Cannon 算法
29
Cannon 算法示例
?以 3×3 分块为例：9 个进程，进行三轮计算
?A、B 的起始存放位置： A00 A10 A20
A01 A02 A11 A12 A21 A22
B00 B01 B02 B10 B11 B12 B20 B21 B22
?按列划分并行算法
将矩阵 A 按列划分，并对 x 也做相应的划分
其中 xi 的长度与 Ai 的列数相同，则有
将 Ai 和 xi 存放在结点 Pi 中，每个结点计算 Ai xiT， 最后调用 MPI_REDUCE 或 MPI_ALLREDUCE 即可
11
矩阵向量乘积示例
?例：按列划分，用 p 个进程并行计算矩阵向量乘积，其中
? 矩阵矩阵乘积的并行算法
? 矩阵的 LU 分解并行算法 ? 下三角线性方程组的并行算法
14
矩阵矩阵乘积
C ? A? B A? R m?l , B ? R l?n
?串行算法一 ：i-j-k 循环
for i=1 to m for j=1 to l C(i,j)=0 for k=1 to n C(i,j)=C(i,j)+A(i,k)*B(k,j) end for end for
4
程序性能优化
? 并行程序性能优化
? 设计好的并行算法和通信模式 ? 减少通信次数、提高通信粒度 ? 多进程通信时尽量使用高效率的聚合通信算法 ? 负载平衡 ? 减少进程的空闲时间 ? 通信与计算的重叠 ? 通过引入重复计算来减少通信
5
矩阵并行算法
? 一些记号和假定
?假设有 p 个处理器，每个处理器上运行一个进程 ?Pj 表示第 j 个处理器，Pmyid 表示当前的处理器 ?send(x; j) 表示在 Pmyid 中把数据块 x 发送给 Pj 进程 ?recv(x; j) 表示从 Pj 进程接收数据块 x ?i mod p 表示 i 对 p 取模运算
?Cij 的计算是按对角线进行的
18
行列划分
? 并行算法一：行列划分
for i=0 to p-1 j=(i+myid) mod p Cj=A*B src = (myid+1) mod p dest = (myid-1+p) mod p if (i!=p-1) send(B,dest) recv(B,src) end if
程序设计与机器实现是密不可分的，计算结果的好坏与编 程技术有很大的关系，尤其是在并行计算机环境下，开发 高质量的程序对发挥计算机的性能起着至关重要的作用
6
主要内容
? 并行算法基础知识
? 矩阵向量乘积的并行算法
? 矩阵矩阵乘积的并行算法 ? 矩阵的 LU 分解并行算法 ? 下三角线性方程组的并行算法
Ax ? b
其中
A ? (aij ) ? R 1n? n ,
a ij
?
? ? ?
i
?
1 j?
, 1
?? 0,
i? j i? j
b ? [1, 1, K , 1]T ? R n
51
end for
? 本算法中， Cj = Cmyid, j , A = Amyid , B 在处理器中每次循环向前移 动一个处理器，即每次交换一个子矩阵数据块，共交换 p-1 次
19
行列划分程序示例
? 例：按行列划分并行计算矩阵乘积，其中
A ? (aij ) ? R , 1n? n
a ij
?
i?
1 j?1
B10 B11 B12 B20 B21 B22 B00 B01 B02
?第三轮：计算
D (2) A
B(2)
A02 A02 A02 A10 A10 A10 A21 A21 A21
B20 B21 B22 B00 B01 B02 B10 B11 B12
31
Cannon 算法
32
Cannon 算法
33
Cannon 算法示例
?第一轮：计算
D (0) A
B(0)
A00 A11
A22
矩阵向量乘积
y ? Ax A? R m?n , x ? R n
? 串行算法
?实现方法一：i-j 循环 for i=1 to m y(i)=0.0 for j=1 to n y(i)=y(i)+A(i,j)*x(j) end for end for
8
矩阵向量乘积
? 串行算法
?实现方法二：j-i 循环 y=0 % 先赋初值 for j=1 to n for i=1 to m y(i)=y(i)+A(i,j)*x(j) end for end for乘积
? 并行算法一
?矩阵的划分方法：按行划分和按列划分
?按行划分并行算法
将矩阵 A 按行划分成如下的行 块子矩阵
则
将 Ai 存放在结点 Pi 中，每个结点计算 Ai x，最后 调用 MPI_GATHER 或 MPI_GATHERV 即可
10
矩阵向量乘积
? 并行算法二
34
上机作业
? 按行行划分并行计算矩阵乘积，其中
A ? (aij ) ? R , 1n? n
a ij
?
i?
1 j?
1
B ? (bij ) ? R 1n?n , bij ? i ? j ? 1
?编写用第二种方式实现上述矩阵乘积的 Cannon 并行算法
35
主要内容
? 并行算法基础知识 ? 矩阵向量乘积的并行算法 ? 矩阵矩阵乘积的并行算法
16
并行矩阵乘积
C ? A? B A? R m?l , B ? R l?n
? 假定：
m, l, n 均能能 p 整除，其中 p 为进程个数
?基于 A、B 的不同划分，矩阵乘积的并行算法可分为
?行列划分 ?行行划分 ?列列划分 ?列行划分
17
行列划分
?行列划分：A 按行划分、 B 按列划分
?令 C = (Cij)，其中 Cij = AiBj
第六讲 矩阵计算并行算法
1
主要内容
? 并行算法基础知识 ? 矩阵向量乘积的并行算法 ? 矩阵矩阵乘积的并行算法 ? 矩阵的 LU 分解并行算法 ? 下三角线性方程组的并行算法
2
并行算法基础知识
? 一些基本概念
? 加速比
其中 Ts 串行程序运行时间，Tp(q) 为 q 个进程的运行时间
? 并行效率
B ? (bij ) ? R 1n?n , bij ? i ? j ? 1
示例程序：ex4matmul01.f
20
行行划分
?行行划分：A 按行划分、 B 按行划分
21
行行划分
22
列列划分
?列列划分：A 按列划分、 B 按列划分
23
列列划分
24
列行划分
?列行划分：A 按列划分、 B 按行划分
?矩阵的 LU 分解并行算法
? 下三角线性方程组的并行算法
36
线性方程组直接解法
37
线性方程组直接解法
38
矩阵 LU 分解
39
矩阵 LU 分解
40
矩阵 LU 分解
41
矩阵 LU 分解
42
上机作业
?编写LU分解的并行程序，其中
A ? (aij ) ? R , 1n?n aij ? i ? j ? 1
A ? (aij ) ? R 1n?n ,
aij
?
i
?
1 j?
1
x ? [1, 1, K , 1]T ? R 1n ,
示例程序：ex4matvec.f
12
上机作业
? 上机作业：
1、编写按行划分计算矩阵向量乘积的通用并行程序 2、按列划分，编写通用并行程序计算上面的乘积
13
主要内容
? 并行算法基础知识 ? 矩阵向量乘积的并行算法
?将 Ai, Bj 和 Cij ( j = 0, 1, ..., p-1) 存放在第 i 个处理器中 (这样的存储方式使得数据在处理器中不重复 )
?Pi 负责计算 Cij ( j = 0, 1, ..., p-1)
?由于使用 p 个处理器，每次每个处理器只计算一个 Cij, 故计算出整个 C 需要 p 次完成
end for
15
矩阵矩阵乘积
C ? A? B A? R m?l , B ? R l?n
?串行算法二 ：j-k-i 循环
C=0 for j=1 to l
for k=1 to n for i=1 to m C(i,j)=C(i,j)+A(i,k)*B(k,j) end for
end for end for
3
程序性能优化
? 串行程序性能优化 —— 并行程序性能优化的基础
? 调用高性能库。如： BLAS、LAPACK、FFTW ? 选择编译器优化选项： -O2、-O3 ? 合理定义数组维数 ? 注意嵌套循环次数： 数据访问的空间局部性和时间局部性 ?循环展开 例: ex4performance.c ? 数据分块
43
主要内容
? 并行算法基础知识 ? 矩阵向量乘积的并行算法 ? 矩阵矩阵乘积的并行算法 ? 矩阵的 LU 分解并行算法
? 下三角线性方程组的并行算法
44
三角方程并行求解
45
三角方程并行求解
46
三角方程并行求解
47
三角方程并行求解
48
三角方程并行求解
49
三角方程并行求解
50
上机作业
?用算法 3 编写并行程序求解下三角方程组
25
列行划分
26
Cannon 算法
27
Cannon 算法
28
Cannon 算法
29
Cannon 算法示例
?以 3×3 分块为例：9 个进程，进行三轮计算
?A、B 的起始存放位置： A00 A10 A20
A01 A02 A11 A12 A21 A22
B00 B01 B02 B10 B11 B12 B20 B21 B22
?按列划分并行算法
将矩阵 A 按列划分，并对 x 也做相应的划分
其中 xi 的长度与 Ai 的列数相同，则有
将 Ai 和 xi 存放在结点 Pi 中，每个结点计算 Ai xiT， 最后调用 MPI_REDUCE 或 MPI_ALLREDUCE 即可
11
矩阵向量乘积示例
?例：按列划分，用 p 个进程并行计算矩阵向量乘积，其中
? 矩阵矩阵乘积的并行算法
? 矩阵的 LU 分解并行算法 ? 下三角线性方程组的并行算法
14
矩阵矩阵乘积
C ? A? B A? R m?l , B ? R l?n
?串行算法一 ：i-j-k 循环
for i=1 to m for j=1 to l C(i,j)=0 for k=1 to n C(i,j)=C(i,j)+A(i,k)*B(k,j) end for end for
4
程序性能优化
? 并行程序性能优化
? 设计好的并行算法和通信模式 ? 减少通信次数、提高通信粒度 ? 多进程通信时尽量使用高效率的聚合通信算法 ? 负载平衡 ? 减少进程的空闲时间 ? 通信与计算的重叠 ? 通过引入重复计算来减少通信
5
矩阵并行算法
? 一些记号和假定
?假设有 p 个处理器，每个处理器上运行一个进程 ?Pj 表示第 j 个处理器，Pmyid 表示当前的处理器 ?send(x; j) 表示在 Pmyid 中把数据块 x 发送给 Pj 进程 ?recv(x; j) 表示从 Pj 进程接收数据块 x ?i mod p 表示 i 对 p 取模运算
?Cij 的计算是按对角线进行的
18
行列划分
? 并行算法一：行列划分
for i=0 to p-1 j=(i+myid) mod p Cj=A*B src = (myid+1) mod p dest = (myid-1+p) mod p if (i!=p-1) send(B,dest) recv(B,src) end if
程序设计与机器实现是密不可分的，计算结果的好坏与编 程技术有很大的关系，尤其是在并行计算机环境下，开发 高质量的程序对发挥计算机的性能起着至关重要的作用
6
主要内容
? 并行算法基础知识
? 矩阵向量乘积的并行算法
? 矩阵矩阵乘积的并行算法 ? 矩阵的 LU 分解并行算法 ? 下三角线性方程组的并行算法
Ax ? b
其中
A ? (aij ) ? R 1n? n ,
a ij
?
? ? ?
i
?
1 j?
, 1
?? 0,
i? j i? j
b ? [1, 1, K , 1]T ? R n
51
end for
? 本算法中， Cj = Cmyid, j , A = Amyid , B 在处理器中每次循环向前移 动一个处理器，即每次交换一个子矩阵数据块，共交换 p-1 次
19
行列划分程序示例
? 例：按行列划分并行计算矩阵乘积，其中
A ? (aij ) ? R , 1n? n
a ij
?
i?
1 j?1
B10 B11 B12 B20 B21 B22 B00 B01 B02
?第三轮：计算
D (2) A
B(2)
A02 A02 A02 A10 A10 A10 A21 A21 A21
B20 B21 B22 B00 B01 B02 B10 B11 B12
31
Cannon 算法
32
Cannon 算法
33
Cannon 算法示例
?第一轮：计算
D (0) A
B(0)
A00 A11
A22