计算机体系结构PPT教学课件-第三章流水线
合集下载
高级计算机体系结构 3 流水线
7
8
9
Time
30 40 A B
40
40
40 20
C
D
• Pipelining doesn’t help latency of single task, it helps throughput of entire workload • Pipeline rate limited by slowest pipeline stage • Multiple tasks operating simultaneously • Potential speedup = Number pipe stages • Unbalanced lengths of pipe stages reduces speedup • Time to fill pipeline and time to drain it reduce speedup
Supercomputing Lab. Supercomputing Lab.
CA10-L3-5
CA10-L3-5 CA09-L1-5
Pipelined Laundry: Start ASAP
6 PM 7 8 9
Time
10
11
Midnight
30 40
T a s k O r d e r
40
40
40 20
Supercomputing Lab.
CA10-L3-15
Instruction bits
Rest of pipelined datapath
PC + 4
DLX: Decode Cycle
• Design a datapath that reads the IF/ID pipeline register, decodes instruction and reads register file (specified by regA and regB of instruction bits)
计算机系统结构第3章流水线技术
设计控制逻辑以协调不同阶段之间的操作， 确保指令顺序执行。
流水线调度
根据指令的依赖关系和资源可用性，动态调 度指令到不同的流水线阶段。
GPU设计中的流水线技术
线程级并行
通过划分线程块和线程束，实现线程级并行执行。
数据级并行
将数据划分为多个块，每个块在GPU的多个处理单元上并行处理。
指令级并行
通过指令调度和分支预测，实现指令级并行执行。
硬件资源共享
01
硬件资源共享是指流水线中的多个操作共享相同的硬件资源， 如寄存器、缓冲区等。
02
硬件资源共享能够提高资源利用率，减少硬件开销，降低成本。
需要注意的是，硬件资源。
流水线的性能指标
01
吞吐量
流水线每单位时间内完成的操作数 或任务数。
流水线调度
根据子任务的依赖关系和资源需求，动态调 度子任务到不同的计算节点。
THANKS
感谢观看
将执行结果写回寄 存器或内存。
02
流水线的工作原理
数据流驱动
1
数据流驱动是指流水线中的操作按照数据流动的 方向依次执行，每个操作在完成前需要等待前一 个操作的结果。
2
数据流驱动的优点是能够充分利用数据依赖关系， 减少等待时间，提高流水线的吞吐量。
3
需要注意的是，数据流驱动需要精确控制数据流 动的顺序，以避免出现数据相关和冒险问题。
调试和维护困难
由于流水线中各个阶段是并行处 理的，调试和维护可能会比串行 系统更加困难。
05
流水线技术的应用
CPU设计中的流水线技术
指令划分
将指令划分为多个阶段，每个阶段对应一个 功能单元，从而并行执行多个指令。
数据路径设计
流水线调度
根据指令的依赖关系和资源可用性，动态调 度指令到不同的流水线阶段。
GPU设计中的流水线技术
线程级并行
通过划分线程块和线程束，实现线程级并行执行。
数据级并行
将数据划分为多个块，每个块在GPU的多个处理单元上并行处理。
指令级并行
通过指令调度和分支预测，实现指令级并行执行。
硬件资源共享
01
硬件资源共享是指流水线中的多个操作共享相同的硬件资源， 如寄存器、缓冲区等。
02
硬件资源共享能够提高资源利用率，减少硬件开销，降低成本。
需要注意的是，硬件资源。
流水线的性能指标
01
吞吐量
流水线每单位时间内完成的操作数 或任务数。
流水线调度
根据子任务的依赖关系和资源需求，动态调 度子任务到不同的计算节点。
THANKS
感谢观看
将执行结果写回寄 存器或内存。
02
流水线的工作原理
数据流驱动
1
数据流驱动是指流水线中的操作按照数据流动的 方向依次执行，每个操作在完成前需要等待前一 个操作的结果。
2
数据流驱动的优点是能够充分利用数据依赖关系， 减少等待时间，提高流水线的吞吐量。
3
需要注意的是，数据流驱动需要精确控制数据流 动的顺序，以避免出现数据相关和冒险问题。
调试和维护困难
由于流水线中各个阶段是并行处 理的，调试和维护可能会比串行 系统更加困难。
05
流水线技术的应用
CPU设计中的流水线技术
指令划分
将指令划分为多个阶段，每个阶段对应一个 功能单元，从而并行执行多个指令。
数据路径设计
计算机系统结构 第 3 章 流水线技术_标量
2014-3-10
27
非线性流水线
反馈回路
• 流水线的流动顺序： • S1→S2 →S3 →S2 →S3 →S4 →S1 →S2
2014-3-10
28
1 s1 s2 s3 s4 1
2 1
3
4 1
5
6
7 1
8 1
9
1
1 1
• 为了防止两条或两条以上的指令对同一功能段的 争用，非线性流水线需要对输入流水线的指令进 行比较复杂的控制。 • 非线性流水线通常使用预约表来进行分析。
i 2
n
2014-3-10
7
执行时间不等时的一次重叠工作方式
分析 k
执行 k 分析 k+1 执行 k+1 分析 k+2 执行 k+2 分析 k+3 执行 k+3
2014-3-10
8
3. 先行控制方式
• 先行控制方式的基本思想: • 通过设置先行读数栈,先行操作栈,后行写数 栈等,使分析部件和执行部件能够分别连续 不断地分析和执行指令。
1 t s t l
• 若每个流水段的延迟时间不等，则最高工作频率 为：
1
max t Si t l
n i 1
2014-3-10
16
流水技术的特点
• ⑴ 一条流水线通常由若干个有联系的流水段组成。 • 流水线中的段数也称为 “流水深度” 。 • ⑵ 每个流水段有专门的功能部件对指令进行某种 加工。 • ⑶ 各流水段所需时间应尽量相等，以减少流水线 的瓶颈影响。 • ⑷ 流水线工作阶段可分为建立(装入)、满载和排 空三个阶段。 • ⑸在理想情况下，当流水线充满后，每隔Δ t时间 将会有一个结果流出流水线。
计算机系统结构 流水线技术 3.4 MIPS R4000流水线计算机简介
1／14 绩效管理与绩效考核
3.4 MIPS R4000流水线计算机简介
3. 流水线中各段的功能
2／14
绩效管理与绩效考核
4．指令序列在流水线中的重叠执行过程
绩效管理与绩效考核
3.4 MIPS R4000流水线计算机简介
5. 载入延迟为两个时钟周期
4／14
绩效管理与绩效考核
3.4 MIPS R4000流水线计算机简介
3. R4000浮点流水线是一种多功能非线性流水线 4. 双精度浮点操作指令的延迟、启动间隔以及 流水段的使用情况 （表3.9）
13／14
表3.9
浮点指令 延 迟
初始化 间隔 3
4 35 111 1 1
使用的流水段
加、减
乘 除 求平方根 取反 求绝对值
4
8 36 112 2 2
U,S+A,A+R,R+S
第三章 流水线技术
3.4
MIPS R4000流水线计算机简介
3.4.1 MIPS R4000 整型流水线
1. 指令集：MIPS-3 指令集(64位),类似于DLX 2．MIPS R4000 流水线结构 共8个段：较深的流水线有利于提高时钟频率。 超级流水 与DLX流水线相比：把访存操作进一步分段。 取指令：IF，IS 读写数据：DF，DS，TC
2．8个流水段
(表3.8）
11／14
表3.8
流水段 A D E M 功能部件 浮点加法器 浮点除法器 浮点乘法器 浮点乘法器 描 述
尾数加流水段 除法流水段 例外测试段 乘法器第一个流水段
N
R S U
浮点乘法器
浮点加法器 浮点加法器
乘法器第二个流水段
3.4 MIPS R4000流水线计算机简介
3. 流水线中各段的功能
2／14
绩效管理与绩效考核
4．指令序列在流水线中的重叠执行过程
绩效管理与绩效考核
3.4 MIPS R4000流水线计算机简介
5. 载入延迟为两个时钟周期
4／14
绩效管理与绩效考核
3.4 MIPS R4000流水线计算机简介
3. R4000浮点流水线是一种多功能非线性流水线 4. 双精度浮点操作指令的延迟、启动间隔以及 流水段的使用情况 （表3.9）
13／14
表3.9
浮点指令 延 迟
初始化 间隔 3
4 35 111 1 1
使用的流水段
加、减
乘 除 求平方根 取反 求绝对值
4
8 36 112 2 2
U,S+A,A+R,R+S
第三章 流水线技术
3.4
MIPS R4000流水线计算机简介
3.4.1 MIPS R4000 整型流水线
1. 指令集：MIPS-3 指令集(64位),类似于DLX 2．MIPS R4000 流水线结构 共8个段：较深的流水线有利于提高时钟频率。 超级流水 与DLX流水线相比：把访存操作进一步分段。 取指令：IF，IS 读写数据：DF，DS，TC
2．8个流水段
(表3.8）
11／14
表3.8
流水段 A D E M 功能部件 浮点加法器 浮点除法器 浮点乘法器 浮点乘法器 描 述
尾数加流水段 除法流水段 例外测试段 乘法器第一个流水段
N
R S U
浮点乘法器
浮点加法器 浮点加法器
乘法器第二个流水段
《计算机体系结构》课件
ABCD
理解指令集体系结构、处 理器设计、存储系统、输 入输出系统的基本原理和 设计方法。
培养学生对计算机体系结 构领域的兴趣和热情，为 未来的学习和工作打下坚 实的基础。
CHAPTER
02
计算机体系结构概述
计算机体系结构定义
计算机体系结构是指计算机系统的整 体设计和组织结构，包括其硬件和软 件的交互方式。
CHAPTER
06
并行处理与多核处理器
并行处理概述
并行处理
指在同一时刻或同一时间间隔内 完成两个或两个以上工作的能力
。
并行处理的分类
时间并行、空间并行、数据并行和 流水并行。
并行处理的优势
提高计算速度、增强计算能力、提 高资源利用率。
多核处理器
1 2
多核处理器
指在一个处理器上集成多个核心，每个核心可以 独立执行一条指令。
间接寻址
间接寻址是指操作数的有效地址通过寄存器间接给出，计算机先取出 寄存器中的地址，再通过该地址取出操作数进行操作。
CHAPTER
04
存储系统
存储系统概述
存储系统是计算机体系结构中 的重要组成部分，负责存储和 检索数据和指令。
存储系统通常由多个层次的存 储器组成，包括主存储器、外 存储器和高速缓存等。
《计算机体系结构》ppt 课件
CONTENTS
目录
• 引言 • 计算机体系结构概述 • 指令系统 • 存储系统 • 输入输出系统 • 并行处理与多核处理器 • 流水线技术 • 计算机体系结构优化技术
CHAPTER
01
引言
课程简介
计算机体系结构是计算机科学的一门核心课程，主要研究计算机系统的基本组成、组织结构、工作原 理及其设计方法。
计算机体系结构第三章-3(非线性流水线)
非线性流水线的竞争与调度
2、最优调度
为了避免冲突，就要对指令送入流水线的时间进行控制， 这就是流水线的无冲突调度。（4个步骤）
1）根据预约表写出禁止向量
禁止向量F是一个流水线中所有禁止启动距离构成的集合。 为了找出所有的禁止启动距离，必须考察各段的复用情况。
1
S1 …
2
3
4
5
6
7
8
9
√
√
方法：S1在1，9两个时段中使用，从第1时段到第9时段的距 离差值为8Δt（9Δt – 1Δt = 8Δt），显然这是一个禁止启动 距离。
T1
s1 s2 √ √ √
T2
T3
T4
T5
T6
T7
√
s3
s4
√
√
√
(1) 写出禁止向量，初始冲突向量，画出流水线调度的状态转移图。 (2) 求出流水线最优调度策略和最大吞吐率。
(3) 求出按最优调度策略连续输10个任务，流水线的实际吞吐率、 加速比、效率？
3.5 流水线的实现
3.5 流水线的实现
同样，若选择间隔7拍输入第2条指令，则新冲突向量为：
C4 SHR(7) (C0 ) C0 (00000001 ) (10110001 ) (10110001 ) C0
例子中，C1，C2，C3 继续后续指令的冲突向量计算。反复上述步骤，直 到不再产生新的冲突向量为止。
非线性流水线的竞争与调度
1
2 √
3 √
4
5
6
7
8 √
9
S1
S2 S3
√
√
√
S4
S5
计算机体系结构PPT教学课件-第三章流水线
ining: more faster
• Can “launch(开始)” a new computation every 100ns in this structure • Can finish 107 computations per second
3-8
• Can launch a new computation every 20ns in pipelined structure • Can finish 5×107 computations per second
3-12
流水线的描述
• Spatio-temporal(时空的) chart
流水节拍
4＋ n－1
Drain
n-1 n n-1 n n-1 n n-1 n tn tn+3 time
时间，以机器周期为单位
– Relation of pipeline and tasks in sequence
Fill balanced
流水线的洗衣 ----开始工作越快越好
6 PM 7 8 9
Time T a s k O r d e r
10
11 Midnight
30 40 40 40 40 20
A B C D
• Pipelined laundry takes 3.5 hours for 4 loads
3-6
Why pipelining : overlapped(重叠)
3-3
Why Pipelining: Its Nature(流水线的本质)
• Laundry(洗衣店)
A – Ann, Brian, Cathy, Dave each have one load of clothes to wash, dry, and fold B C D
• Can “launch(开始)” a new computation every 100ns in this structure • Can finish 107 computations per second
3-8
• Can launch a new computation every 20ns in pipelined structure • Can finish 5×107 computations per second
3-12
流水线的描述
• Spatio-temporal(时空的) chart
流水节拍
4＋ n－1
Drain
n-1 n n-1 n n-1 n n-1 n tn tn+3 time
时间，以机器周期为单位
– Relation of pipeline and tasks in sequence
Fill balanced
流水线的洗衣 ----开始工作越快越好
6 PM 7 8 9
Time T a s k O r d e r
10
11 Midnight
30 40 40 40 40 20
A B C D
• Pipelined laundry takes 3.5 hours for 4 loads
3-6
Why pipelining : overlapped(重叠)
3-3
Why Pipelining: Its Nature(流水线的本质)
• Laundry(洗衣店)
A – Ann, Brian, Cathy, Dave each have one load of clothes to wash, dry, and fold B C D
经典：计算机系统结构-流水线技术---3.2-DLX的基本流水线
ID
ID/EX.NPC ← IF/ID.NPC; ID/EX.IR ← IF/ID.IR; ID/EX.Imm ← (IR16)16##IR16..31;
(动画演示)
ALU 指令
Load/Store 指令
分支指令
EX/MEM.IR ← ID/EX.IR;
EX
EX/MEM.ALUOutput ← ID/EX.A op ID/EX.B
操作
项目调研与实践
15／66
项目调研与实践
3.2 DLX的基本流水线
（5）写回周期（WB） 不同指令在该周期完成的工作也不一样。
◆ 寄存器―寄存器型 ALU 指令
Regs[IR16 ..20] ← ALUOutput ◆ 寄存器―立即值型 ALU 指令
Regs[IR11 ..15] ← ALUOutput ◆ Load 指令
3.2 DLX的基本流水线
3. 分支指令需要4个时钟周期, 其它指令需要5个时钟周期 假设分支指令占总指令数的12％, 则: CPI＝421／66
3.2 DLX的基本流水线
3.2.2 基本的DLX流水线
1. 一种简单的 DLX 流水线 我们可以把3.2.1中的数据通路流水化：
每个时钟周期启动一条新的指令。 这样，该数据通路中的每一个周期就成
了一个流水段。 2. 简单DLX流水线的流水过程
第一种描述（类似于时空图） 第二种描述（按时间错开的数据通路序列）
22／66
3.2 DLX的基本流水线
23／66
按时间错开的数据通路序列
3.2 DLX的基本流水线
3. 采用流水技术还应解决好以下几个问题：
◆ 消除瓶颈的方法 (举例)
细分瓶颈段 重复设置瓶颈段 (时-空图)
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
C-A Quantitative Approach
计算机体系结构
Chapter 3 PIPELINING Basic and Intermediate Concepts 流水线：基本概念
王奕 Estelle.ywang@gmail. com
A. 流水线基本定义
流水线的洗衣 ----开始工作越快越好
6 PM 7 8 9
Time T a s k O r d e r
10
11 Midnight
30 40 40 40 40 20
A B C D
• Pipelined laundry takes 3.5 hours for 4 loads
3-6
Why pipelining : overlapped(重叠)
连成一条流水线)
• An instruction or operation enters through one end and progresses through the stages and exit through the other end (一条指令从一流水线的一端进入从另一端出来，完成整条指令的操作) • Pipelining is an implementation technique that exploits parallelism among the instructions in a sequential instruction stream (流水线挖掘了指令流中的并行性) 3-10
3-9
What is a pipeline ?
• A pipeline is like an auto assemble line • A pipeline has many stages(流水线有多个阶段—称流水级或流水节拍) • Each stage carries out a different part of instruction or operation (每一个流水线完成指令操作的不同部分) • The stages, which cooperates at a synchronized clock, are connected to form a pipe (各个流水级在同步时钟的控制下
– implementation technique whereby different instructions are overlapped in execution at the same time.（多条指令同时重叠执行） – implementation technique to make fast CPUs
3-7
Why pipelining: more faster
• Can “launch(开始)” a new computation every 100ns in this structure • Can finish 107 computations per second
3-8
• Can launch a new computation every 20ns in pipelined structure • Can finish 5×107 computations per second
• Only deal one task each time. • This task takes “ such a long time”
ns: nanosecond 纳秒即十亿分之一秒
• Latches(锁存器), called pipeline registers break up computation into 5 stages • Deal 5 tasks at the same time.
(提高流水线性能的一些基本方法)
3-2
What is Pipelining ?
• Pipelining(流水线定义):
– “A technique designed into some computers to
increase speed by starting the execution of one instruction before completing the previous one.” ----Modern English-Chinese Dictionary
3-4
顺序执行的洗衣
6 PM 7 8 9
Time
T a s k O r d e r
10
11 Midnight
30 40 20 30 40 20 30 40 20 30 40 20 A B C D
• Sequential laundry takes 6 hours for 4 loads • If they learned pipelining, how long would laundry take? 3-5
Why pipelining : conclusion
• The key implementation technique used to Make fast CPU: decrease CPUtime.(减少CPU时间的关键技术)
• Improving of Throughput ( rather than individual execution time) (提高吞吐量，而不是单条指令的执行时间) • Improving of efficiency for resources (functional unit) (提高了资源的有限利用率)
3-3
Why Pipelining: Its Nature(流水线的本质)
• Laundry(洗衣店)
A – Ann, Brian, Cathy, Dave each have one load of clothes to wash, dry, and fold B C D
– Washer(洗衣机) takes 30 minutes – Dryer(干衣机) takes 40 minutes – “Folder”(叠衣人) takes 20 minutes
•What is pipelining?
(什么是流水线)
•How is the pipelining Implemented?
(流水线是怎么实现的)
•What makes pipelining hard to implement?
(流水线实现的困难是什么)
•Basic methods improving pipelining
计算机体系结构
Chapter 3 PIPELINING Basic and Intermediate Concepts 流水线：基本概念
王奕 Estelle.ywang@gmail. com
A. 流水线基本定义
流水线的洗衣 ----开始工作越快越好
6 PM 7 8 9
Time T a s k O r d e r
10
11 Midnight
30 40 40 40 40 20
A B C D
• Pipelined laundry takes 3.5 hours for 4 loads
3-6
Why pipelining : overlapped(重叠)
连成一条流水线)
• An instruction or operation enters through one end and progresses through the stages and exit through the other end (一条指令从一流水线的一端进入从另一端出来，完成整条指令的操作) • Pipelining is an implementation technique that exploits parallelism among the instructions in a sequential instruction stream (流水线挖掘了指令流中的并行性) 3-10
3-9
What is a pipeline ?
• A pipeline is like an auto assemble line • A pipeline has many stages(流水线有多个阶段—称流水级或流水节拍) • Each stage carries out a different part of instruction or operation (每一个流水线完成指令操作的不同部分) • The stages, which cooperates at a synchronized clock, are connected to form a pipe (各个流水级在同步时钟的控制下
– implementation technique whereby different instructions are overlapped in execution at the same time.（多条指令同时重叠执行） – implementation technique to make fast CPUs
3-7
Why pipelining: more faster
• Can “launch(开始)” a new computation every 100ns in this structure • Can finish 107 computations per second
3-8
• Can launch a new computation every 20ns in pipelined structure • Can finish 5×107 computations per second
• Only deal one task each time. • This task takes “ such a long time”
ns: nanosecond 纳秒即十亿分之一秒
• Latches(锁存器), called pipeline registers break up computation into 5 stages • Deal 5 tasks at the same time.
(提高流水线性能的一些基本方法)
3-2
What is Pipelining ?
• Pipelining(流水线定义):
– “A technique designed into some computers to
increase speed by starting the execution of one instruction before completing the previous one.” ----Modern English-Chinese Dictionary
3-4
顺序执行的洗衣
6 PM 7 8 9
Time
T a s k O r d e r
10
11 Midnight
30 40 20 30 40 20 30 40 20 30 40 20 A B C D
• Sequential laundry takes 6 hours for 4 loads • If they learned pipelining, how long would laundry take? 3-5
Why pipelining : conclusion
• The key implementation technique used to Make fast CPU: decrease CPUtime.(减少CPU时间的关键技术)
• Improving of Throughput ( rather than individual execution time) (提高吞吐量，而不是单条指令的执行时间) • Improving of efficiency for resources (functional unit) (提高了资源的有限利用率)
3-3
Why Pipelining: Its Nature(流水线的本质)
• Laundry(洗衣店)
A – Ann, Brian, Cathy, Dave each have one load of clothes to wash, dry, and fold B C D
– Washer(洗衣机) takes 30 minutes – Dryer(干衣机) takes 40 minutes – “Folder”(叠衣人) takes 20 minutes
•What is pipelining?
(什么是流水线)
•How is the pipelining Implemented?
(流水线是怎么实现的)
•What makes pipelining hard to implement?
(流水线实现的困难是什么)
•Basic methods improving pipelining