计算机系统结构指令级并行 PPT
合集下载
计算机系统结构 指令级并行 4.3 控制相关的动态解决技术
是
预测成功， 后续指令无 延迟执行
问题：解决预测错误或不命中的延迟。 问题：解决预测错误或不命中的延迟。
4.3 控制相关的动态解决技术
采用BTB BTB技术时指令在各种情况下的延迟 3. 采用BTB技术时指令在各种情况下的延迟 指令在BTB中？ 预测结果 实际的动作 是 是 不是 不是 成功 成功 成功 不成功 成功 不成功 延迟周期 0 2 2 0
2／28
4.3 控制相关的动态解决技术
4.3.1 分支预测缓冲
动态分支预测必须解决两个问题： 动态分支预测必须解决两个问题： 两个问题 • 如何记录一个分支操作的历史。 如何记录一个分支操作的历史。 决定预测的走向。 决定预测的走向。 记录分支历史的方法有以下几种： 记录分支历史的方法有以下几种： 仅仅记录最近一次或最近几次的分支历史； （ 1 ） 仅仅记录最近一次或最近几次的分支历史； （2）记录分支成功的目标地址； 记录分支成功的目标地址； （3）记录分支历史和分支目标地址，相当于前 记录分支历史和分支目标地址， 面两种方式的结合； 面两种方式的结合； （4）记录分支目标地址的一条或若干条指令。 记录分支目标地址的一条或若干条指令。
17／28
4.3 控制相关的动态解决技术
BTB命中率 BTB命中率 × 预测错误率 × 2 90% 10% = 90% × 10% × 2 18（时钟周期） = 0.18（时钟周期） 不在BTB BTB中 实际成功，此时的延迟为： （3）不在BTB中，实际成功，此时的延迟为： （1-BTB命中率） × 不在BTB中分支转移成功率 × 2 BTB命中率） 不在BTB中分支转移成功率 命中率 BTB 10% 60% = 10% × 60% × 2 12（时钟周期） = 0.12（时钟周期） 不在BTB BTB中 实际不成功，此时的延迟为0 （4）不在BTB中，实际不成功，此时的延迟为0。
计算机组成原理(本全)课件
计算机组成原理(本 全)课件
目录
CONTENTS
• 计算机系统概述 • 中央处理器(CPU) • 存储器系统 • 输入输出(I/O)系统 • 计算机的体系结构 • 计算机的软件系统
01 计算机系统概述
计算机的发展历程
第一代计算机
电子管计算机，20世纪40年代 中期至50年代末期，主要用于
军事和科学研究领域。
CPU每个时钟周期执行的指令数，是 衡量CPU性能的重要指标。
03 存储器系统
存储器的分类和作用
分类
根据存储器的功能和位置，可以分为内存和外存两大类。内存是计算机内部存储器，用 于存放运算数据和程序代码；外存则是计算机外部存储器，用于长期保存大量数据和程
序。
作用
存储器是计算机的重要组成部分，它负责存储程序运行过程中所需的数据、指令等信息 ，使得CPU能够快速、准确地读取和写入数据，从而完成程序的执行。
软件系统
包括系统软件和应用软件两大类。
操作系统
是计算机的软件系统中最基本、最重要的部分，负责 管理和调度计算机的软硬件资源。
计算机的工作原理
二进制数制
计算机内部采用二进制数制进行运算和存储。
指令和程序
计算机按照程序中预定的指令序列进行自动执 行。
存储程序原理
将程序和数据存储在计算机内部，根据指令从存储器中取出数据和指令进行运 算和传输。
内存的工作原理和组织结构
工作原理
内存由多个存储单元组成，每个单元可以存储一个二进制数 。当CPU需要读取或写入数据时，会通过地址总线发送地址 信号，内存控制器根据地址信号找到对应的存储单元，完成 数据的读取或写入操作。
组织结构
内存的组织结构通常采用线性编址方式，即将内存单元按照 一定顺序排列，每个单元都有一个唯一的地址。内存的容量 大小由地址总线的位数决定，地址总线位数越多，可访问的 内存单元数量就越多。
目录
CONTENTS
• 计算机系统概述 • 中央处理器(CPU) • 存储器系统 • 输入输出(I/O)系统 • 计算机的体系结构 • 计算机的软件系统
01 计算机系统概述
计算机的发展历程
第一代计算机
电子管计算机，20世纪40年代 中期至50年代末期，主要用于
军事和科学研究领域。
CPU每个时钟周期执行的指令数，是 衡量CPU性能的重要指标。
03 存储器系统
存储器的分类和作用
分类
根据存储器的功能和位置，可以分为内存和外存两大类。内存是计算机内部存储器，用 于存放运算数据和程序代码；外存则是计算机外部存储器，用于长期保存大量数据和程
序。
作用
存储器是计算机的重要组成部分，它负责存储程序运行过程中所需的数据、指令等信息 ，使得CPU能够快速、准确地读取和写入数据，从而完成程序的执行。
软件系统
包括系统软件和应用软件两大类。
操作系统
是计算机的软件系统中最基本、最重要的部分，负责 管理和调度计算机的软硬件资源。
计算机的工作原理
二进制数制
计算机内部采用二进制数制进行运算和存储。
指令和程序
计算机按照程序中预定的指令序列进行自动执 行。
存储程序原理
将程序和数据存储在计算机内部，根据指令从存储器中取出数据和指令进行运 算和传输。
内存的工作原理和组织结构
工作原理
内存由多个存储单元组成，每个单元可以存储一个二进制数 。当CPU需要读取或写入数据时，会通过地址总线发送地址 信号，内存控制器根据地址信号找到对应的存储单元，完成 数据的读取或写入操作。
组织结构
内存的组织结构通常采用线性编址方式，即将内存单元按照 一定顺序排列，每个单元都有一个唯一的地址。内存的容量 大小由地址总线的位数决定，地址总线位数越多，可访问的 内存单元数量就越多。
《计算机组成原理》ppt课件
输入输出系统
输入设备
将人类可读的信息转换为计算机 可识别的二进制代码，如键盘、 鼠标等。
I/O控制方式
程序查询方式、中断方式、DMA 方式和通道方式等，用于管理输 入输出操作。
输出设备
将计算机处理后的结果转换为人 类可读的形式，如显示器、打印 机等。
I/O接口
连接输入输出设备与主机，实现 数据缓冲、电平转换和信号匹配 等功能。
括通用寄存器、专用寄存 器等。
指令的执行过程
取指
从内存中读取指令，并将其放入指令寄存器 中。
执行
根据微操作命令序列，控制运算器、寄存器 等部件执行相应的操作。
译码
将指令寄存器中的指令翻译成微操作命令序 列。
写回
将执行结果写回到寄存器或内存中。
CPU的性能指标
主频
CPU的时钟频率，通常以MHz或 GHz表示，主频越高，CPU处理
运算器
执行算术运算和逻辑运算， 处理数据。
寄存器
暂存指令、数据和地址， 提高CPU的运算速度。
存储器
01
主存储器
存放程序和数据的主要区域，直接和CPU交换信息。
02
辅助存储器
长期保存信息，容量大、价格低、速度慢，需通过主存与CPU交换信息。
03
高速缓冲存储器（Cache）
位于CPU和主存之间，存取速度接近CPU，用于缓解主存速度瓶颈问题。
云计算和大数据的融合是未来发展的趋 势，通过云计算平台提供的大数据服务， 可以实现海量数据的存储、处理和分析。 计算机组成原理在云计算和大数据融合 中发挥着重要作用，为构建高效、稳定 的云计算和大数据平台提供了理论支持。
计算机组成原理的发展趋势和挑战
发展趋势
2024年度-并行程序设计导论课件
并行图算法
02
如并行广度优先搜索、并行最短路径算法等，通过并行处理图
数据结构中的节点和边来加速图算法的执行。
并行矩阵运算
03
如矩阵乘法、矩阵转置等，通过并行处理矩阵中的元素来实现
高性能计算。
10
03
并行编程模型与语言
11
共享内存编程模型
原理
多个线程或进程共享同一块内存空间，通过 读写共享变量实现通信和同步。
8
并行算法设计策略
01
任务并行
将问题分解为多个独立任务，并 行执行。
数据并行
02
03
流水线并行
对数据进行分块，并行处理每个 数据块。
将问题分解为一系列阶段，每个 阶段处理一部分数据，并行执行 不同阶段。
9
经典并行算法案例解析
并行排序算法
01
如归并排序、快速排序等，通过并行比较和交换元素实现排序
加速。
生物信息学与基因测序
GPU加速计算在生物信息学和基因测序领域的应用日益增多，能够加 快基因序列比对和分析的速度，促进生物医学研究的发展。
天体物理模拟与宇宙探索
GPU加速计算在天体物理模拟和宇宙探索领域的应用也越来越广泛， 能够加快模拟速度，提高研究效率。
27
07
并行程序性能优化方法与实践
28
性能评价指标与方法
04
云计算
提供基础设施、平台和软件即服务。
22
MapReduce编程模型简介
MapReduce定义
一种编程模型，用于处理和生成大数据集，由 Map和Reduce两个阶段组成。
Reduce阶段
对中间结果中相同键的数据进行聚合操作，生成 最终结果。
计算机系统结构PPT课件
流 水 线 周 期 主时 钟 周期
IF IS RF EX DF DS TC WB
IF IS RF EX DF DS TC WB IF IS RF EX DF DS TC WB IF IS RF EX DF DS TC WB IF IS RF EX DF DS TC WB
当前CPU周期
如果在LOAD指令之后的两条指令中， 任何一条指令要在它的EX流水级使 用这个数据，则指令流水线要暂停一 个时钟周期 采用顺序发射方式
把超标量与超流水线技术结合在一 起，就成为超标量超流水线处理机
5.5.1 指令执行时序 5.5.2 典型处理机结构
5.5.3 超标量超流水线处理机性能
5.5.4 三种指令级并行性处理机性能比较
5.5.1 指令执行时序
超标量超流水线处理机在一个时钟周 期内分时发射指令n次，每次同时发 射指令m条，每个时钟周期总共发射 指令m n条。
5.4 超流水线处理机
两种定义： 一个周期内能够分时发射多条指 令的处理机称为超流水线处理机 指令流水线有8个或更多功能段的 流水线处理机称为超流水线处理机 提高处理机性能的不同方法： 超标量处理机是通过增加硬件资 源为代价来换取处理机性能的 超流水线处理机则通过各硬件部 件充分重叠工作来提高处理机性能
关性允许，IBOX就把两条指令同时发 射给EBOX、ABOX和FBOX三个指令 执行部件中的两个。 指令流水线采用顺序发射乱序完成的控 制方式。在指令Cache中有一个转移 历史表，实现条件转移的动态预测。 在EBOX内还有多条专用数据通路， 可以把运算结果直接送到执行部件。 Alpha 21064处理机共有三条指令流水线 整数操作流水线和访问存储器流水线 分为7个流水段，其中，取指令和分
计算机组成原理(本全PPT)
应用
用作固件存储，如BIOS、固件等。
外存储器
特点
容量大、价格低、速度慢、数据可长期保存。
分类
机械硬盘（HDD）和固态硬盘（SSD）。
外存储器
应用
作为计算机的主要存储设备。
特点
容量大、价格低、速度慢、数据可长期保存。
外存储器
分类
CD、DVD和蓝光光盘等。
应用
用于数据备份和存储。
高速缓存(Cache)
址和控制信号。
总线按照传输信号类型可以分为 数据总线、地址总线和控制总线。
总线按照连接部件可以分为内部 总线和外部总线，内部总线连接 计算机内部各部件，外部总线连
接计算机与外部设备。
主板的结构与功能
主板的结构包括
处理器插座、内存插槽、扩展插槽、硬盘接口、电源接 口等。
主板的功能包括
提供各部件之间的连接，实现数据传输和控制信号传递 ；保障系统的稳定性和可靠性；提供系统扩展能力。
I/O数据传输方式
优点
CPU可以执行其他任务，适用于高速I/O 设备。
VS
缺点
需要设置中断控制器，实现起来较为复杂 。
I/O数据传输方式
优点
CPU不直接参与数据传输，适用于大数据块 传输。
缺点
需要设置DMA控制器，成本较高。
I/O设备控制方式
要点一
优点
简单、易于实现。
要点二
缺点
CPU效率低下，适用于慢速I/O设备。
计算机组成原理(本全ppt)
• 计算机系统概述 • 中央处理器(CPU) • 存储器系统 • 输入输出系统(I/O) • 总线与主板 • 计算机系统性能评价与优化
01
计算机系统概述
计算机的发展历程
用作固件存储，如BIOS、固件等。
外存储器
特点
容量大、价格低、速度慢、数据可长期保存。
分类
机械硬盘（HDD）和固态硬盘（SSD）。
外存储器
应用
作为计算机的主要存储设备。
特点
容量大、价格低、速度慢、数据可长期保存。
外存储器
分类
CD、DVD和蓝光光盘等。
应用
用于数据备份和存储。
高速缓存(Cache)
址和控制信号。
总线按照传输信号类型可以分为 数据总线、地址总线和控制总线。
总线按照连接部件可以分为内部 总线和外部总线，内部总线连接 计算机内部各部件，外部总线连
接计算机与外部设备。
主板的结构与功能
主板的结构包括
处理器插座、内存插槽、扩展插槽、硬盘接口、电源接 口等。
主板的功能包括
提供各部件之间的连接，实现数据传输和控制信号传递 ；保障系统的稳定性和可靠性；提供系统扩展能力。
I/O数据传输方式
优点
CPU可以执行其他任务，适用于高速I/O 设备。
VS
缺点
需要设置中断控制器，实现起来较为复杂 。
I/O数据传输方式
优点
CPU不直接参与数据传输，适用于大数据块 传输。
缺点
需要设置DMA控制器，成本较高。
I/O设备控制方式
要点一
优点
简单、易于实现。
要点二
缺点
CPU效率低下，适用于慢速I/O设备。
计算机组成原理(本全ppt)
• 计算机系统概述 • 中央处理器(CPU) • 存储器系统 • 输入输出系统(I/O) • 总线与主板 • 计算机系统性能评价与优化
01
计算机系统概述
计算机的发展历程
archit44
系统结构
4.3 动态分支预测技术
指令并行
处理器可达到的指令级并行度越高，控制相关 的影响越大 动态解决技术利用硬件对程序运行时分支的行 为进行预测，提前对分支操作做出反应，加快 分支处理的速度。分支预测的效果不仅取决于 其准确性，而且与分支预测时的开销密切相关。 分支转移的最终延迟取决于流水线的结构、预 测的方法和预测错误后恢复所采取的策略 动态分支预测技术要记录分支指令的历史、并 据此决定预测的分支，还要尽快找到分支目标 地址，从而避免控制相关造成流水线停顿
4.4 多指令流出技术
指令并行
将等于1的理想CPI减小，必须实现一个时钟周 期流出（发射issue）多条指令
超标量(Superscalar)处理器：每个时钟周期流出多条 指令（1～8），可以采用编译器进行静态调度顺序执行， 也可以采用硬件动态调度乱序执行 超长指令字(VLIW: Very Long Instruction Word)：通 过编译器调度无关的多条指令（4～16）形成一条长指 令，每个时钟周期流出一条长指令 超级流水线(Super pipelining)：将每个功能部件进一 步流水化，使得一个功能部件在一个时钟周期中可以处 理多条指令（可以简单地理解为很长的流水线）
WAW 冲突 （输出相关引起） 如果在SUB.D写入F10 之 前 ADD.D 执 行 结 束 ， 会出现问题
寄存器换名可以消除WAR和WAW冲突
指令并行
DIV.D F4,F0,F2 SUB.D F10,F4,F6 ADD.D F8,F12,F14
DIV.D F4,F0,F2 SUB.D F10,F4,F6 ADD.D F8,F6,F14
① 根据历史记录（预测位状态）进行分支预测 ② 根据实际分支情况修改预测位
4.3 动态分支预测技术
指令并行
处理器可达到的指令级并行度越高，控制相关 的影响越大 动态解决技术利用硬件对程序运行时分支的行 为进行预测，提前对分支操作做出反应，加快 分支处理的速度。分支预测的效果不仅取决于 其准确性，而且与分支预测时的开销密切相关。 分支转移的最终延迟取决于流水线的结构、预 测的方法和预测错误后恢复所采取的策略 动态分支预测技术要记录分支指令的历史、并 据此决定预测的分支，还要尽快找到分支目标 地址，从而避免控制相关造成流水线停顿
4.4 多指令流出技术
指令并行
将等于1的理想CPI减小，必须实现一个时钟周 期流出（发射issue）多条指令
超标量(Superscalar)处理器：每个时钟周期流出多条 指令（1～8），可以采用编译器进行静态调度顺序执行， 也可以采用硬件动态调度乱序执行 超长指令字(VLIW: Very Long Instruction Word)：通 过编译器调度无关的多条指令（4～16）形成一条长指 令，每个时钟周期流出一条长指令 超级流水线(Super pipelining)：将每个功能部件进一 步流水化，使得一个功能部件在一个时钟周期中可以处 理多条指令（可以简单地理解为很长的流水线）
WAW 冲突 （输出相关引起） 如果在SUB.D写入F10 之 前 ADD.D 执 行 结 束 ， 会出现问题
寄存器换名可以消除WAR和WAW冲突
指令并行
DIV.D F4,F0,F2 SUB.D F10,F4,F6 ADD.D F8,F12,F14
DIV.D F4,F0,F2 SUB.D F10,F4,F6 ADD.D F8,F6,F14
① 根据历史记录（预测位状态）进行分支预测 ② 根据实际分支情况修改预测位
《计算机体系结构》课件
ABCD
理解指令集体系结构、处 理器设计、存储系统、输 入输出系统的基本原理和 设计方法。
培养学生对计算机体系结 构领域的兴趣和热情，为 未来的学习和工作打下坚 实的基础。
CHAPTER
02
计算机体系结构概述
计算机体系结构定义
计算机体系结构是指计算机系统的整 体设计和组织结构，包括其硬件和软 件的交互方式。
CHAPTER
06
并行处理与多核处理器
并行处理概述
并行处理
指在同一时刻或同一时间间隔内 完成两个或两个以上工作的能力
。
并行处理的分类
时间并行、空间并行、数据并行和 流水并行。
并行处理的优势
提高计算速度、增强计算能力、提 高资源利用率。
多核处理器
1 2
多核处理器
指在一个处理器上集成多个核心，每个核心可以 独立执行一条指令。
间接寻址
间接寻址是指操作数的有效地址通过寄存器间接给出，计算机先取出 寄存器中的地址，再通过该地址取出操作数进行操作。
CHAPTER
04
存储系统
存储系统概述
存储系统是计算机体系结构中 的重要组成部分，负责存储和 检索数据和指令。
存储系统通常由多个层次的存 储器组成，包括主存储器、外 存储器和高速缓存等。
《计算机体系结构》ppt 课件
CONTENTS
目录
• 引言 • 计算机体系结构概述 • 指令系统 • 存储系统 • 输入输出系统 • 并行处理与多核处理器 • 流水线技术 • 计算机体系结构优化技术
CHAPTER
01
引言
课程简介
计算机体系结构是计算机科学的一门核心课程，主要研究计算机系统的基本组成、组织结构、工作原 理及其设计方法。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
➢ 通过代码变换，消除相关。 2. 程序顺序：由源程序确定的在完全串行方式下指令的
执行顺序。
必须保持程序顺序
4.1 指令级并行
1. 控制相关并不是一个必须严格保持的关键属性。 2. 对于正确地执行程序来说，必须保持的最关键的两个
属性是：数据流和异常行为。 ➢ 保持异常行为是指：无论怎么改变指令的执行顺 序，都不能改变程序中异常的发生情况。
F6, F8, F14
存在输出相关
Tomasulo算法可以通过使用寄存器重命名来消除。
4.2 指令的动态调度
1. 动态调度的流水线支持多条指令同时处于执行当中。 ➢ 要求：具有多个功能部件、或者流水功能部件、 或者兼而有之。 ➢ 我们假设具有多个功能部件。
(out of order execution)
IS
RO
检测结构冲突 检测数据冲突
4.2 指令的动态调度
1. 在前述5段流水线中，是不会发生WAR冲突和WAW冲突 的。但乱序执行就使得它们可能发生了。
➢ 例如，考虑下面的代码
存在反相关
DIV.D SUB.D ADD.D
F10, F0, F2 F10, F4, F6
4.1 指令级并行
1. 循环级并行：使一个循环中的不同循环体并行执行。 ➢ 开发循环体中存在的并行性
最常见、最基本
➢ 是指令级并行研究的重点之一 ➢ 例如，考虑下述语句：
for （i=1； i<=500； i=i＋1） a[i]=a[i]＋s； 每一次循环都可以与其他的循环重叠并行执行； 在每一次循环的内部，却没有任何的并行性。
第4章 指令级并行
4.1 指令级并行的概念 4.2 指令的动态调度 4.3 动态分支预测技术 4.4 多指令流出技术 4.5 循环展开和指令调度
4.1 指令级并行
4.1.1 指令级并行的概念
➢ 几乎所有的处理机都利用流水线来使指令重叠并 行执行，以达到提高性能的目的。这种指令之间 存在的潜在并行性称为指令级并行。
4.1 指令级并行
1. 最基本的开发循环级并行的技术 ➢ 循环展开（loop unrolling）技术 ➢ 采用向量指令和向量数据表示
2. 相关与流水线冲突 ➢ 相关有三种类型：
数据相关、名相关、控制相关
➢ 流水线冲突是指对于具体的流水线来说，由于相关 的存在，使得指令流中的下一条指令不能在指定的 时钟周期执行。
➢ 数据流：指数据值从其产生者指令到其消费者指 令的实际流动。
分支指令使得数据流具有动态性，因为它使得给定 指令的数据可以有多个来源。
仅仅保持数据相关性是不够的，只有再加上保持控 制顺序，才能够保持程序顺序。
4.1 指令级并行
举例： DADDU
R1，R2，R3
BEQZ R4，L1
DSUBU R1，R5，R6
L1 ：…
OR
R7，R1，R8
➢ 有时，不遵守控制相关既不影响异常行为，也不 改变数据流。
可以大胆地进行指令调度，把失败分支中的指令调 度到分支指令之前。
4.1 指令级并行
举例： DADDU BEQZ DSUBU DADDU
Skipnext：OR
R1，R2，R3 R12，Skipnext R4，R5，R6 R5，R4，R9 R7，R8，R9
CPI流水线 = CPI理想 + 停顿结构冲突 + 停顿数据冲突 + 停顿控制冲突
➢ 理想CPI是衡量流水线最高性能的一个指标。 ➢ IPC：Instructions Per Cycle
（每个时钟周期完成的指令条数）
1. 基本程序块 ➢ 基本程序块：一段除了入口和出口以外不包含其 他分支的线性代码段。 ➢ 程序平均每5～7条指令就会有一个分支。
检测结构冲突 检测数据冲突 一旦一条指令受阻，其后的指令都将停顿。 解决办法： 允许乱序执行
4.2 指令的动态调度
1. 为了允许乱序执行，我们将5段流水线的译码阶段再 分为两个阶段：
➢ 流出（Issue，IS）：指令译码，检查是否存在 结构冲突。 （in-order issue)
➢ 读操作数（Read Operands，RO）：等待数据冲 突消失，然后读操作数。
流水线冲突有三种类型：结构冲突、数据冲突、控制冲突
4.1 指令级并行
➢ 相关是程序固有的一种属性，它反映了程序中指 令之间的相互依赖关系。
➢ 具体的一次相关是否会导致实际冲突的发生以及 该冲突会带来多长的停顿，则是流水线的属性。
1. 可以从两个方面来解决相关问题： ➢ 保持相关，但避免发生冲突。
指令调度
即原来程序中是怎么发生的，改变执行顺序后还是 怎么发生。
弱化为：指令执行顺序的改变不能导致程序中发生 新的异常。
➢ 如果我们能做到保持程序的数据相关和控制相关， 就能保持程序的数据流和异常行为。
4.1 指令级并行
举例说明 DADDU
R2，R3，R4
BEQZ
R2，L1
LW
R1，0（R2）
L1 ：
优点： 能够处理一些在编译时情况不明的相关（比如涉 及到存储器访问的相关），并简化了编译器； 能够使本来是面向某一流水线优化编译的代码在 其他的流水线（动态调度）上也能高效地执行。
以硬件复杂性的显著增加为代价
4.2 指令的动态调度
4.2.1 动态调度的基本思想
到目前为止我们所使用流水线的最大的局限性:
➢ 指令必须按序流出和执行
➢ 考虑下面一段代码：
DIV.D
F4，F0，F2
SUB.D
F10，F4，F6
ADD.D
F12，F6，F14
SUB.D指令与DIV.D指令关于F4相关，导致
流水线停顿。
ADD.D指令与流水线中的任何指令都没有关
系，但也因此受阻。
4.2 指令的动态调度
在前面的基本流水线中：
ID
（ILP：Instruction-Level Parallelism）
➢ 本章研究：如何通过各种可能的技术，获得更多 的指令级并行性。
硬件＋软件技术 必须要硬件技术和软件技术互相配合，才能够最大 限度地挖掘出程序中存在的指令级并行。
4.1 指令级并行
1. 流水线处理机的实际CPI ➢ 理想流水线的CPI加上各类停顿的时钟周期数：
4.2 指令的动态调度
ห้องสมุดไป่ตู้➢ 静态调度
依靠编译器对代码进行静态调度，以减少相关和冲突。 它不是在程序执行的过程中、而是在编译期间进行代码
调度和优化。 通过把相关的指令拉开距离来减少可能产生的停顿。
➢ 动态调度
在程序的执行过程中，依靠专门硬件对代码进行调度， 减少数据相关导致的停顿。
4.2 指令的动态调度
执行顺序。
必须保持程序顺序
4.1 指令级并行
1. 控制相关并不是一个必须严格保持的关键属性。 2. 对于正确地执行程序来说，必须保持的最关键的两个
属性是：数据流和异常行为。 ➢ 保持异常行为是指：无论怎么改变指令的执行顺 序，都不能改变程序中异常的发生情况。
F6, F8, F14
存在输出相关
Tomasulo算法可以通过使用寄存器重命名来消除。
4.2 指令的动态调度
1. 动态调度的流水线支持多条指令同时处于执行当中。 ➢ 要求：具有多个功能部件、或者流水功能部件、 或者兼而有之。 ➢ 我们假设具有多个功能部件。
(out of order execution)
IS
RO
检测结构冲突 检测数据冲突
4.2 指令的动态调度
1. 在前述5段流水线中，是不会发生WAR冲突和WAW冲突 的。但乱序执行就使得它们可能发生了。
➢ 例如，考虑下面的代码
存在反相关
DIV.D SUB.D ADD.D
F10, F0, F2 F10, F4, F6
4.1 指令级并行
1. 循环级并行：使一个循环中的不同循环体并行执行。 ➢ 开发循环体中存在的并行性
最常见、最基本
➢ 是指令级并行研究的重点之一 ➢ 例如，考虑下述语句：
for （i=1； i<=500； i=i＋1） a[i]=a[i]＋s； 每一次循环都可以与其他的循环重叠并行执行； 在每一次循环的内部，却没有任何的并行性。
第4章 指令级并行
4.1 指令级并行的概念 4.2 指令的动态调度 4.3 动态分支预测技术 4.4 多指令流出技术 4.5 循环展开和指令调度
4.1 指令级并行
4.1.1 指令级并行的概念
➢ 几乎所有的处理机都利用流水线来使指令重叠并 行执行，以达到提高性能的目的。这种指令之间 存在的潜在并行性称为指令级并行。
4.1 指令级并行
1. 最基本的开发循环级并行的技术 ➢ 循环展开（loop unrolling）技术 ➢ 采用向量指令和向量数据表示
2. 相关与流水线冲突 ➢ 相关有三种类型：
数据相关、名相关、控制相关
➢ 流水线冲突是指对于具体的流水线来说，由于相关 的存在，使得指令流中的下一条指令不能在指定的 时钟周期执行。
➢ 数据流：指数据值从其产生者指令到其消费者指 令的实际流动。
分支指令使得数据流具有动态性，因为它使得给定 指令的数据可以有多个来源。
仅仅保持数据相关性是不够的，只有再加上保持控 制顺序，才能够保持程序顺序。
4.1 指令级并行
举例： DADDU
R1，R2，R3
BEQZ R4，L1
DSUBU R1，R5，R6
L1 ：…
OR
R7，R1，R8
➢ 有时，不遵守控制相关既不影响异常行为，也不 改变数据流。
可以大胆地进行指令调度，把失败分支中的指令调 度到分支指令之前。
4.1 指令级并行
举例： DADDU BEQZ DSUBU DADDU
Skipnext：OR
R1，R2，R3 R12，Skipnext R4，R5，R6 R5，R4，R9 R7，R8，R9
CPI流水线 = CPI理想 + 停顿结构冲突 + 停顿数据冲突 + 停顿控制冲突
➢ 理想CPI是衡量流水线最高性能的一个指标。 ➢ IPC：Instructions Per Cycle
（每个时钟周期完成的指令条数）
1. 基本程序块 ➢ 基本程序块：一段除了入口和出口以外不包含其 他分支的线性代码段。 ➢ 程序平均每5～7条指令就会有一个分支。
检测结构冲突 检测数据冲突 一旦一条指令受阻，其后的指令都将停顿。 解决办法： 允许乱序执行
4.2 指令的动态调度
1. 为了允许乱序执行，我们将5段流水线的译码阶段再 分为两个阶段：
➢ 流出（Issue，IS）：指令译码，检查是否存在 结构冲突。 （in-order issue)
➢ 读操作数（Read Operands，RO）：等待数据冲 突消失，然后读操作数。
流水线冲突有三种类型：结构冲突、数据冲突、控制冲突
4.1 指令级并行
➢ 相关是程序固有的一种属性，它反映了程序中指 令之间的相互依赖关系。
➢ 具体的一次相关是否会导致实际冲突的发生以及 该冲突会带来多长的停顿，则是流水线的属性。
1. 可以从两个方面来解决相关问题： ➢ 保持相关，但避免发生冲突。
指令调度
即原来程序中是怎么发生的，改变执行顺序后还是 怎么发生。
弱化为：指令执行顺序的改变不能导致程序中发生 新的异常。
➢ 如果我们能做到保持程序的数据相关和控制相关， 就能保持程序的数据流和异常行为。
4.1 指令级并行
举例说明 DADDU
R2，R3，R4
BEQZ
R2，L1
LW
R1，0（R2）
L1 ：
优点： 能够处理一些在编译时情况不明的相关（比如涉 及到存储器访问的相关），并简化了编译器； 能够使本来是面向某一流水线优化编译的代码在 其他的流水线（动态调度）上也能高效地执行。
以硬件复杂性的显著增加为代价
4.2 指令的动态调度
4.2.1 动态调度的基本思想
到目前为止我们所使用流水线的最大的局限性:
➢ 指令必须按序流出和执行
➢ 考虑下面一段代码：
DIV.D
F4，F0，F2
SUB.D
F10，F4，F6
ADD.D
F12，F6，F14
SUB.D指令与DIV.D指令关于F4相关，导致
流水线停顿。
ADD.D指令与流水线中的任何指令都没有关
系，但也因此受阻。
4.2 指令的动态调度
在前面的基本流水线中：
ID
（ILP：Instruction-Level Parallelism）
➢ 本章研究：如何通过各种可能的技术，获得更多 的指令级并行性。
硬件＋软件技术 必须要硬件技术和软件技术互相配合，才能够最大 限度地挖掘出程序中存在的指令级并行。
4.1 指令级并行
1. 流水线处理机的实际CPI ➢ 理想流水线的CPI加上各类停顿的时钟周期数：
4.2 指令的动态调度
ห้องสมุดไป่ตู้➢ 静态调度
依靠编译器对代码进行静态调度，以减少相关和冲突。 它不是在程序执行的过程中、而是在编译期间进行代码
调度和优化。 通过把相关的指令拉开距离来减少可能产生的停顿。
➢ 动态调度
在程序的执行过程中，依靠专门硬件对代码进行调度， 减少数据相关导致的停顿。
4.2 指令的动态调度