计算机系统结构

加速比可以表示如下：
Ws + G(n)Wp S = * = * Ws +Wp / n Ws + G(n)Wp / n
* n * s * p
W +W
其中：
在单个处理机上顺序执行的工作负载与问题的规模 或系统的规模无关，即：
Ws = Ws' = W
* s
而G(n)反映的是存储容量增加n倍时并行工作负载增 加的倍数。
增大问题规模的办法使所有处理机保持忙碌状态，在问题扩大到 与可用的计算能力匹配时，程序中的顺序部分就不再是瓶颈了。 当处理器数目n=1024，加速比Sn随α变化的情况如下：
S1024' = n −α(n −1 =1024 −1023 ) α
Sn’
1100
1050
1024
1000
1014 1004
993 983
W +W s p Sn = W +W / n s p
设串行因子α为串行部分所占的比例。即
W s W p α= 或 −α = 1 W +W s p W +W s p
代入即得Amdahl’law：
W +W s p 1 W +W s p ∴Sn = = W s W /n p α + (1−α) / n + W +W s p W +W s p
2.1.3 三种加速比性能模型
1.固定负载加速比性能模型—Amdahl定律
在许多实时应用领域，计算负载的大小常固 定。在并行机中，此负载可分布至多台并行执行， 获得的加速比称为fixed-load speedup。一个问题的 负载可表示如下： W = Ws + Wp 其中，Ws代表问题中不可并行化的串行部分负载， Wp表示可并行化的部分负载。 则n个节点情况下，加速比可以表示如下：
得出曲线如下图：
Sn
1200
1000
1024
800
600
Байду номын сангаас
400
200
91
0.01
48 31 24
0.02 0.03 0.04 0.05 0.06 0.07 0.08 0.09
10
0.1
0 0
α
可以比较不同的α对加速比带来的不同影响：
Sn
10
4
10
3
α =0 α =0.01 α =0.1 α =0.9
2.2 可扩展性分析
2.1 加速比性能模型
2.1.1 一般概念
1.处理机—时间积 处理机数目与处理时间的乘积用以度量 这些处理机运行时的资源利用率。 若一程序在≤P台处理机上运行的时间为 Tp，则此P台处理机在Tp时间间隔内完成的工 作最大数量为Tp * P。 可将处理机实际工作曲线对时间的积分 看成是这些处理机完成的有效工作量。 效率为有效工作量与最大工作量之比。
Workload Ws Ts Ws Ws Wp 1 2 3 4 N Wp Wp Ts Wp Ts Tp 1 Ts Tp 2 Tp 3 Tp Ws Execution Time
4
N
规模扩展的工作负载
执行时间稍有增加
受限于存储器的加速比模型下的负载和执行时间情况
例：
n维矩阵乘法：A * B = C，其中A、B、C都是n*n的方阵。为得 到C的每一个元素需要进行n次乘法、n次加法，所以总的计算 量为：（n+n)*n2 = 2n3。需要的存储量为3n2（两个源矩阵，一 个结果矩阵）。如果n台计算机组成多计算机系统，则存储容 量扩大n倍，那么矩阵的维数（原来为n)也可以增加了，设为N 倍，那么加速比为多少？ 解：存储容量变为：nM = n* 3n2 = 3n3，而N维需要的存储量 为3N2，计算量变为2N3，则有：
∴SFP = 1 ( − 0.5) + 1 0.5 2 = 1.33
Amdahl’law又称为固定规模加速比模型，问 题规模不随处理机变化而变化。固定问题 规模，看用并行技术能达到的最短时间是 多少。 在固定规模加速比模型下，负载和执行时间 随系统中处理机数目n变化的情况如下图：
Workload Ws Ws Ws Ws
讨论： 1. G(n) = 1，即为固定负载的情况； 2. G(n) = n，即存储器增加n倍，负载也增 加n倍，为固定时间的情形； 3. G(n) > n，计算负载的增加情况比存储器 增加快，会有较高的加速比。 比较三种加速比，对于相同的处理机数量，有：
S ≥ S ≥ Sn
* n ' n
在受限于存储器的加速比模型下，负载和执行时间 随系统中处理机数目n变化的情况如下图：
3n3 = 3N 2 ⇔ N = n1.5
W* 大 2N3 2n4.5 = = n1.5 ∴G(n) = 扩 后 = W 来 2n3 2n3 原
∴S* = W + n1.5Wp s W + n Wp / n s
1.5
=
W + n1.5Wp s W + n0.5Wp s
4.并行计算的应用模型
随机器规模的增大，工作负载增长的模式如下图：
2.固定时间加速比性能模型—Gustafsun定律
有许多应用领域强调精度而不时运行时间。 1988年，Gustafsun提出了固定时间加速比模型。当 机器的规模扩大时，解题的规模也随着扩大，从而 得到更加精确的解，而使运行时间保持不变。 比如：有限元方法做结构分析，流体动力学做 天气预报解PDE(偏微分方程组)就需要提高精度。 粗格要求的计算量较少，而细格的计算量多， 得到的精确度也较高。天气预报模拟求解四维PDE， 如果使每个实际方向（X，Y，Z）的格点距离减少 10倍，并以同一幅度增加时间步，那么可以说格点 增加了104倍，因而工作负载也至少增大了10000倍。
高等计算机系统结构
第十一章 十 第十二章 十 第十三章 十 第十四章 十 第十五章 十 第十六章 第十七章 第十八章 DSM 传感器网络 对等计算 海量网络存储器 多核CPU技术 可信计算系统 虚拟化技术 基于集群的海量数据处理
第二章 加速比性能模型与可扩展性分析 2.1 加速比性能分析
2.1.1 一般概念 2.1.2 加速比 2.1.3 三种加速比性能模型
950
900
850
800 0
0.01
0.02
0.03
0.04
0.05
0.06
0.07
0.08
0.09
0.1
α
3.受限于存储器的加速比模型
1993年，由Sun和Ni提出。 大型科学计算和工程设计需要较大的存储空间， 许多应用问题是存储器受限，而不是CPU受限或者 I/O受限。 比如：在分布存储系统中常遇到，总存储容量 随节点数线性增加，许多节点集合起来解一个大题。 基本思想：要在存储空间有限条件下解尽可能 大的问题，这同样需要扩展工作负载，才能提供较 高的加速比、较高的精度和较好的资源利用率。
在固定时间加速比模型下，负载和执行时间随系统 中处理机数目n变化的情况如下图：
Workload Ws Ws Ws Ws Wp 1 Wp 2 Wp Wp Tp Tp Tp Tp Execution Time Ts Ts Ts Ts
3
4
N
1
2
3
4
N
并行负载不断增加
执行时间固定
固定时间加速比模型下的负载和执行时间情况
2.相对加速比 同一并行算法在单节点上运行时间 与在多个相同节点构成的处理机系统上的 运行时间之比。 这种定义侧重于描述算法和并行计 算机本身的可扩展性。
T(1 ) S= T(N)
线性加速比：中间开销小，通信少，弱耦合计算 超线性加速比：当应用需要大内存时可能出现 病态加速比：加速比递减，可能是计算量太小
t1
t2
t
并行性分布图
2.1.2 加速比
1. 绝对加速比 将最好的串行算法与并行算法相比较. 定义一（与具体机器有关）将最好的串行算 法在一台上的运行时间与并行算法在N台运行 的时间相比。 定义二（与具体机器无关）将最好的串行算 法在最快的顺序机上的执行时间与并行算法 在并行机上的运行时间相比。
T S = best T (N)
不管采用多少处理机，可望达到的最好加速比：
1 1 Sn = lim = n→ α + ( −α) / n ∞ 1 α
效率En可以表示为：
Sn 1 1 1 En = = = = n [α + ( −α) / n] × n 1 nα +1−α 1+ (n −1 α )
处理机数目n越大，效率En越低。 Amdahl定律告诉我们：系统中某一部件由于采 用某种更快的执行方式后整个系统性能的提高 与这种执行方式的使用频率或占总执行时间的 比例有关。
模型提出的背景：
固定负载模型有缺陷：因为Amdahl’law中，α 取决于问题及并行编译器的效率，无法描述系统固 有的特性。
加速比的公式：
Ws'+Wp' Ws + nWp α + n(1−α) Sn' = = = = n −α(n −1) Ws'+Wp' / n Ws +Wp α + (1−α)
其中，Wp’=nWp和Ws+Wp=Ws’+Wp’/n作为固定时间 的条件。 Ws’+Wp’/n表示在扩大负载后在增加处理机 台数的情况下的平均负载（执行时间），它应当和负 载没有扩大情况下的平均负载（执行时间）Ws+Wp 相等。即有Ws+Wp=Ws’+Wp’/n。同时，负载的串行 部分并没有改变，即有Ws=Ws’。
工作负载 900 （问题规模）
2.并行度（Degree Of Parallelism—DOP） 并行度（DOP）是在一定时间间隔内执行 一个程序所用的处理机的数目。 3.并行性分布图 执行一个给定的程序时DOP对时间的分布 图。 DOP与对应时间的间隔之积即为处理机要 完成的工作或工作负载。 下图所示为一个并行性分布图。