高速缓冲存储器.
Cache基础知识介绍
• 两极cache相比较而言，L1 cache的容量小，但数据存取速 度较快，L2 cache的容量大，但数据存取速度较慢。部分 系统中也存在三级cache的结构。
Microprocessor
Fastest
CPU
Level 1 cache
Fast
Level 2 cache
Slow
memory
Cache的作用是什么
• 通过优化代码提高cache命中率
对数组int x[1024][4]进行求和 代码段A for(i=0;i<1024;i++) for(j=0;j<4;j++) sum += x[i][j]
Entry 0 Way 0 x[i][0] x[i][1]
代码段B for(j=0;j<4;j++) for(i=0;i<1024;i++) sum += x[i][j]
• 块:块是cache与主存的传输单位。 • 路（way）: 路是组相联映射方式的cache结构中的基本存 储单位，每一路存储一个块的数据。 • 组（entry）:组是组相联映射方式的cache对块进行管理的 单位。 • 区 （tag） :块的地址对应的主存储器中的区。 • 块内偏移地址（offset）: 用来标示块内一个字节的地址。 • 组相联映射方式下主存储器的地址空间由，区，组和块内 偏移地址组成。
什么是cache
• Cache又叫高速缓冲存储器，位于CPU与内存之间，是一种 特殊的存储器子系统。 • 目前比较常见的是两极cache结构，即cache系统由一级高 速缓存L1 cache和二级高速缓存L2 cache组成，L1 cache通 常又分为数据cache（I-Cache）和指令cache（D-Cache）， 它们分别用来存放数据和执行这些数据的指令。
第4章半导体存储器-4.2高速缓冲存储器Cache
3、存储器管理
虚拟存储器：虚拟存储器是由主存－辅存物理结构和负责信息块 划分以及主存－辅存之间信息调度的存储器管理部件(MMU)的 辅助硬件及操作系统的存储器管理软件所组成的存储系统。 管理方式：页式虚拟存储器、段式虚拟存储器、段页式虚拟 存储器 虚拟地址：能访问虚拟空间的指令地址码称为虚拟地址。 物理地址：实际的主存地址。
地址对准实际上是保证数据的对准。 未对准的数据要在CPU内部经过字节交换，使其在数据线 上对准存储体。 非对准的字要两个总线周期，对相邻的两个字进行两次操 作，在CPU内部经过字节交换，最终完成读写。
№ 13
2、替换策略
先进先出FIFO：选择最早装入快存的页作为被替换 的页； 最近最少使用策略LRU：选择CPU最近最少访问的页 作为被替换的页
AD0 L H L H
读写的字节 两个字节（AD15—AD0） 高字节（AD15—AD8） 低字节 （AD7—AD0） 不读写
如何连接，满足读写一个字节的需要，又能达到读一个字（低 № 10 位字节在偶地址）？
� � � �
1、存储器的奇偶分体 偶地址（从0开始）单元组成偶存储体， 奇地址单元组成奇存储体。 偶体、奇体共同组成16位存储器系统 。 16位读写是从偶体中选中1个单元、 再从地址加1的奇体中选中1个单元同时读写 。
虚地址
…
段式虚拟存储器的映像
3）段页式虚拟存储器
3、段页式虚拟存储器 虚地址
基号
段号
段表 0
页号
页表
页内地址 实地址
段基址表 0 L N-1
段表 段表 长度 基址 ‥ 1 L-1
M
装入 段长 位
页表 下址
实页 装入 号 位
访问 方式
高速缓冲存储器名词解释
高速缓冲存储器名词解释高速缓冲存储器（CacheMemory）是计算机系统中用来加快访问速度的一种临时存储器。
它可以被看作是内存系统中一层虚拟存储器，能够有效地把系统从内存、磁盘等设备中获取的数据以及未来所需要的数据暂存到cache memory中。
简言之，cache memory是一种可用来为CPU加速数据访问速度的存储器，是由CPU直接访问的一种高速存储器。
高速缓冲存储器由三个部分组成：cache级（cache level）、cache 缓存行（cache line）和cache单元（cache cell）。
cache是一组缓存行的集合，是 cache memory最小单元。
cache是由一组相连接的 cache line成。
cache line括一组相同大小的 cache元，每个单元根据它的作用可分为三类：索引（index）、标记（tag）、数据（data）。
cache可以将源数据分成多个子集，并将其中一部分存储到cache memory 中，以便快速访问。
cache据地址映射（address mapping）原理，将一段内存区域缩小，便于数据的快速访问。
当 CPU求某条指令时，它会首先检查 cache 中是否已经缓存了这条指令，如果缓存中有，就可以从 cache 中取出该指令，省去了访问主存的时间，这样就提高了 CPU运算速度。
除此之外，高速缓冲存储器还利用了多级缓存（multi-level cache）技术，把cache memory分为多级，从而提高了 cache memory 命中率。
在这种技术下，如果一级缓存（L1 cache）中没有找到所要访问的数据，则会再到二级缓存（L2 cache）中查找。
如果L2 cache中也没有相应的数据，则会再去其他更高级的缓存中查找，直至主存中的数据被访问到。
多级缓存的出现大大提高了 cache memory性能，大大提升了整个系统的访问效率，从而使CPU能更加高效地运行程序。
高速缓冲存储器
3.7 高速缓冲存储器高速缓冲存储器的功能是提高CPU数据输入/输出的速率，突破所谓的存储器瓶颈问题，即CPU与存储系统间数据传送带宽限制。
高速缓冲存储器能以极高的速率进行数据的访问，但因其价格高昂，所以只在CPU和主存之间添加少量的Cache，利用程序的局部性原理来进行工作。
3.7.1 程序访问的局部性原理程序访问的局部性有两个方面的含义：时间局部性和空间局部性。
时间局部性是指最近的访问项（指令/数据）很可能在不久的将来再次被访问（往往会引起对最近使用区域的集中访问），而空间局部性是指一个进程访问的各项地址彼此很近。
换句话说，就是最近的、未来要用的指令和数据大多局限于正在用的指令和数据，或是存放在与这些指令和数据位置上邻近的单元中。
这样，就可以把目前常用或将要用到的信息预先放在存取速度最快的存储器中，从而使CPU的访问速度大大提高。
依据局部性原理，把主存储器中访问概率高的内容存放在Cache中，当CPU需要读取数据时，首先在Cache中查找是否有所需内容，如果有则直接从Cache中读取；若没有再从主存中读取该数据，然后同时送往Cache和CPU。
如果CPU需要访问的内容大多都能在Cache中找到（称为命中），则可以大大提高系统性能。
3.7.2 Cache的基本工作原理如图3-13所示给出了Cache的基本结构。
Cache和主存都被分成若干个大小相等的块，每块由若干字节组成。
由于Cache的容量远小于主存的容量，所以Cache的块数要远少于主存的块数，它保存的信息只是主存中最活跃的若干块的副本。
用主存地址的块号字段访问Cache标记，并将取出的标记和主存地址的标记字段相比较，若相等，说明访问Cac he有效，称Cache命中，若不相等，说明访问Cache无效，称Cache不命中或失效，而此时需要从主存中将该块取出至Cache中。
当CPU发出读请求时，如果Cache命中，就直接对Cac he进行读操作，与主存无关；如果Cache不命中，则仍需访问主存，并把该块信息一次从主存调入Cache内。
《高速缓冲存储器》PPT课件
2021/3/8
20
不命中时处理方式 等待主存储器 任务切换
2021/3/8
3
来自处理机
主存地址
块号
块内地址
不命中
已 装 不 进
还 命中
可 装 入
主存-Cache 地址映象变换机构
Cache 替换 策略
访主存 装入Cache
块号
块内地址
Cache 地址
访主存 替换Cache
高速缓冲存储器Cache
Cache 单字宽
多字宽
地址变换的硬件容易实现；
地址变换的速度要快；
主存空间利用率要高；
发生块冲突的概率要小
2021/3/8
7
四种方式
全相联映象与变换
直接映象与变换
组相联映像与变换
段相联映象
2021/3/8
8
全相联映象与变换
定义及规则
映象规则：主存中的任意一块都可以映象到 Cache中的任意一块。
如果Cache的块数为Cb，主存的块数为Mb， 映象关系共有：Cb×Mb种。
11
主存地址 相联比较
块号B
块号b 命中
块内地址
块内地址w Cache地址
B
b
主存块号B Cache块号b 有效位 目录表（由相联存储器组成，共Cb个字）
2021/3/8
12
直接映象与变换
定义及规则
映象规则：主存中一块只能映象到Cache的一个特 定的块中。
计算公式： b＝B mod Cb，其中：
比较结果不相等, 有效位为0, 表示Cache中的这一块 是空的
比较结果不相等, 有效位为1, 表示原来在Cache中的 这一块是有用的
高速缓冲存储器cache的原理
高速缓冲存储器cache的原理高速缓冲存储器（Cache）原理简介什么是高速缓冲存储器•高速缓冲存储器（Cache）是计算机体系结构中一种用于提高数据传输速度的存储器层次结构。
•它位于处理器和主存储器之间，作为一个中间层，存储处理器频繁使用的数据，以提供更快的访问速度。
高速缓冲存储器的工作原理1.局部性原理–高速缓冲存储器的设计基于计算机程序的局部性原理。
–局部性原理包括时间局部性和空间局部性两个方面。
–时间局部性指的是在一段时间内，CPU对某些数据的访问很频繁。
–空间局部性指的是当访问某个地址时，很可能在不久的将来还会访问附近的地址。
2.缓存工作原理–高速缓冲存储器通过存储最近使用的数据来加速访问速度。
–缓存采用一种称为缓存行的数据块单位，将主存储器中的数据缓存在缓存中。
–缓存行的大小一般为2^n字节，其中n为缓存行地址的位数。
–当CPU需要从主存储器中读取数据时，首先会检查缓存中是否有对应的缓存行。
–如果有，称为缓存命中；如果没有，称为缓存未命中。
3.缓存命中–当缓存命中时，CPU可以直接从缓存中读取数据，避免了对主存储器的访问，大大提高了访问速度。
–同时，缓存还可以缓存下一条指令，提前加载到缓存中，以等待CPU的执行。
4.缓存未命中–当缓存未命中时，需要从主存储器中读取数据，此时会引起一定的延迟。
–缓存未命中会触发缓存替换算法，将最近最少使用的缓存行替换出去，腾出空间存放新的缓存行。
5.缓存替换算法–常见的缓存替换算法有最近最久未使用（LRU）、先进先出（FIFO）和随机替换等。
–这些算法会根据缓存行的使用频率等因素来进行替换决策。
–替换算法的选择往往取决于不同的应用场景和硬件架构。
高速缓冲存储器的优势与应用•高速缓冲存储器极大地提高了计算机的性能和效率。
•它可以减少CPU对主存储器的访问次数，缩短了数据传输的时间。
•高速缓冲存储器被广泛应用于各种计算机硬件架构中，包括个人电脑、服务器和嵌入式系统等。
高速缓冲存储器
高速缓冲存储器（Cache）
–Cache的写操作
Cache中的块是主存中相应块的副本。如果程序执
行过程中要对某块的某单元进行写操作，有两种方法：
（1）标志交换方式（写回法）：即只向Cache写入，
并用标志注明，直至该块在替换中被排挤出来，才将该
块写回主存，代替未经修改的原本；
12/
高速缓冲存储器（Cache）
（t，T）表示，也称之为工作集合。 根据程序访问局部 化性质，W（t，T）随时间的变化是相当缓慢的。把这 个集合从主存中移至（读出）一个能高速访问的小容量 存储器内，供程序在一段时间内随时访问，大大减少程
序访问主存的次数，从而加速程序的运行。
6/
高速缓冲存储器（Cache）
（2）这个介于主存和CPU之间的高速小容量存储器就称 为Cache。所以，程序访问局部化性质是Cache得以实现 的原理基础，而高速（能与CPU匹配）则是Cache得以
高速缓冲存储器（Cache）
–Cache的读操作
CPU进行读存储器作时，根据其送出的主存地址区分两 种不同情况： （1）一种是需要的信息已在Cache中，那末直接访问 Cache就行了； （2）另一种是所需信息不在Cache中，就要把该单元 所在的块从主存调Cache。后一种情况又有两种实现方 法：一种是将块调入Cache后再读入CPU；另一种读直 达（读直达通路）。在调入新的块时，如果Cache已占 满，这就产生替换，由替换控制部件按已定的替换算法 实现。
如果进程切换发生在用户程序因为系统运行管理程
序、处理I/O中断或时钟中断时，QSW值越小，表明
由管理程序切换至原来的用户程序越块，Cache中
（2）写直达法：即在写入Cache的同时，也写入
高速缓冲存储器
Cache的实现原理是：将CPU最近最可能用到的指令或数据从主存复制到Cache中，当CPU下次再用到 这些信息时，就不必访问慢速的主存，而直接从快速的Cache中得到，从而提高访问速度。
Cache的工作原理
当 CPU 发 出 读 命 令 时 ， Cache 控 制部件先要检查CPU送出的地址，判 断 CPU 要 访 问 的 地 址 单 元 是 否 在 Cache 中 。 若 在 ， 称 为 Cache 命 中 ， CPU 就 可 直 接 从 Cache 中 访 问 ； 若 不 在，则称为Cache未命中（或失效）， 这时就需要从内存中访问，并把与本 次访问相邻近的存储区内容复制到 Cache中，以备下次使用。组内全相联映来自的方法。高速缓冲存储器
1.3 Cache的替换策略
当CPU访问的数据不在Cache中（即Cache未命中）时，就要访问主存，并把数据所在的页调入Cache，以 替换Cache中的页。
从C随ac机he替中换随算机法地选 一页替换。
先进选先择出最（先F调IF入O的）页算法 替换
最近最少使用（LRU） 选择最算近法最少使用 的页替换。
写 贯 穿 法 （ WT ） ： 在 对 Cache 进 行 写 操作的同时，也写入主存。
回 写 法 （ WB ） ： 在 对 Cache 进行写操作时，不写入主存，只是 在Cache中加以标记。只有当Cache 中的数据被再次更改时，才将原更 新的数据写入主存。
微机原理与接口技术
高速缓冲存储器
1.2 Cache的地址映射
被复制到Cache中的数据在内存中的地址与在Cache 中的地址之间的对应关系称为Cache的地址映射。
为了方便管理，将主存和Cache都分成大小相等的 若干页。设主存容量为2n，Cache容量为2m，页的大小 为2p（即页内地址有p位），则主存的页号（即页地址） 共有n－p位，Cache页号共有m－p位。这样，在进行地 址映射时，就是把主存页映射到Cache页上（即页号的 映射）。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
3.7 高速缓冲存储器
高速缓冲存储器的功能是提高CPU数据输入/输出的速率，突破所谓的存储器瓶颈问题，即CPU与存储系统间数据传送带宽限制。
高速缓冲存储器能以极高的速率进行数据的访问，但因其价格高昂，所以只在CPU和主存之间添加少量的Cache，利用程序的局部性原理来进行工作。
3.7.1 程序访问的局部性原理
程序访问的局部性有两个方面的含义：时间局部性和空间局部性。
时间局部性是指最近的访问项（指令/数据）很可能在不久的将来再次被访问（往往会引起对最近使用区域的集中访问），而空间局部性是指一个进程访问的各项地址彼此很近。
换句话说，就是最近的、未来要用的指令和数据大多局限于正在用的指令和数据，或是存放在与这些指令和数据位置上邻近的单元中。
这样，就可以把目前常用或将要用到的信息预先放在存取速度最快的存储器中，从而使CPU的访问速度大大提高。
依据局部性原理，把主存储器中访问概率高的内容存放在Cache中，当CPU需要读取数据时，首先在Cache中查找是否有所需内容，如果有则直接从Cache中读取；若没有再从主存中读取该数据，然后同时送往Cache和CPU。
如果CPU需要访问的内容大多都能在Cache中找到（称为命中），则可以大大提高系统性能。
3.7.2 Cache的基本工作原理
如图3-13所示给出了Cache的基本结构。
Cache和主存都被分成若干个大小相等的块，每块由若干字节组成。
由于Cache的容量远小于主存的容量，所以Cache的块数要远少于主存的块数，它保存的信息只是主存中最活跃的若干块的副本。
用主存地址的块号字段访问Cache标记，并将取出的标记和主存地址的标记字段相比较，若相等，说明访问Cache有效，称Cache命中，若不相等，说明访问Cache无效，称Cache不命中或失效，而此时需要从主存中将该块取出至Cache中。
当CPU发出读请求时，如果Cache命中，就直接对Cache 进行读操作，与主存无关；如果Cache不命中，则仍需访问主存，并把该块信息一次从主存调入Cache内。
若此时Cache已满，则须根据某种替换算法，用这个块替换掉Cache中原来的某块信息。
当CPU发出写请求时，如果Cache命中，有可能会遇到Cache与主存中的内容不一致的问题，处理的方法主要有两种，一是同时写入Cache和主存，称为写直达法；二是将信息暂时只写入Cache，并用标志将该块加以注明，直到该块从Cache中替换出来时才一次写入主存，称为写回法。
如果不命中，就直接把信息写入主存，而与Cache无关。
3.7.3 Cache和主存之间的映像方式
为了把信息放到Cache中，必须应用某种函数把主存地址映像到Cache中定位，称为地址映像（映射）。
而将主存地址变换成Cache地址，称做地址变换，它们之间是密切相关的。
常用的地址映像方式有三种，分别是全相联映像、直接映像和组相联映像。
1．全相联映像
全相联映像是指将内存和Cache按照固定的相同的大小进行分块。
内存的块和Cache的块可以任意对应，即内存的任何一块都可以映像到Cache的任何一块。
在Cache的存储空间被占满的情况下，也允许确实已被占满的Cache存储器中替换出任何一个旧块，具体如图3-14所示。
2．直接映像
直接映像先将Cache分成若干块，每个块的大小相同，并对每个块进行编号。
同时根据Cache容量大小将内存分成若干区（页），每个区的容量都跟Cache的容量相同，然后对内存进行分块，每块的大小跟Cache块的大小相同，同样对区内的块进行编号。
映像时，内存的某个区的块只能保存在与其块号相同的Cache块中。
如图3-15所示，内存各区中的第0块只能映像到Cache的第0块，而不能映像到其他块。
3．组相联映像
组相联映像实际上是直接映像和全相联映像的折中方案。
组相联映像方式先将Cache分成大小相同的若干区（组），对每个区按照直接映像的方式进行分块，并且编号，因此，Cache中有多个编号相同的块。
对内存按照Cache区的大小进行分页，再对每页按照Cache块的大小进行分块，每个内存块可以对应不同Cache区中的相同块号的块。
如图3-16中内存第0页的第0块，可以对应Cache的第0区的第0块，也可以对应第j区的第0块。
在三种方式中，全相联映像方式比较灵活，Cache的块冲突概率最低、空间利用率最高，但是地址变换速度慢，而且成本高，实现起来比较困难；直接映像方式是最简单的地址映像方式，成本低，易实现，地址变换速度快，而且不涉及其他两种映像方式中的替换算法问题。
但这种方式不够灵活，Cache 的块冲突概率最高、空间利用率最低；组相联映像实际上是全
相联映像和直接映像的折中方案，其优点和缺点介于全相联和直接映像方式的优缺点之间。
3.7.4 Cache中主存块的替换算法
当采用全相联映像和组相联映像方式从主存向Cache传送一个新块，而Cache中的可用位置已经占满时，就产生了替换算法的问题。
目前，常用的替换算法主要有以下几种。
1．随机替换算法
随机替换算法的思想最简单，即随机地选择一个Cache 块进行替换，它不考虑Cache块过去、现在及将来的使用情
况。
2．先进先出算法
先进先出（First Input First Output，FIFO）算法的思想是：按调入Cache的先后决定淘汰的顺序，即在需要更
新时，将最先进入Cache的块作为被替换的块。
这种方法不需要随时记录各个块的使用情况，容易实现，而且系统开销小。
其缺点是可能会把一些需要经常使用的程序块（如循环程序）也作为最早进入Cache的块替换掉。
3．近期最少使用算法
最近最少使用（Least Recently Used，LRU）算法是把CPU近期最少使用的块作为被替换的块。
这种替换方法需要随时记录Cache中各块的使用情况，以便确定哪个块是近期最少使用的块。
LRU算法相对合理，但实现起来比较复杂，系统开销较大。
通常需要对每一块设置一个称为计数器的硬件或软件模块，用以记录其被使用的情况。
无论FIFO算法还是LRU算法，都不能确定调出去的块近期将绝不会再被使用。
研究表明，采用这两种算法后可使Cache的命中率达到90%左右，其中LRU算法略优于FIFO算法，这在实际使用中已经是很不错的了。
3.7.5 Cache写策略
CPU对Cache的写入更改了Cache的内容。
可选用写操作策略使Cache内容和主存内容保持一致。
Cache写的策略主要
有以下几种。
1．写回法
当CPU写Cache命中时，只修改Cache的内容，而不立即写入主存。
只有当该块被换出时才写回主存。
这种方法减少了访问主存的次数，但是存在不一致性的隐患。
实现这种方法时，每个Cache块必须配置一个修改位，以反映此块是否被
CPU修改过。
这种方法的优点是操作速度快，缺点是因主存中的字块未随时修改而有可能出错。
2．写全法
也称为写直达法。
当写Cache命中时，Cache与主存同时发生写修改，因而较好地维护了Cache与主存的内容的一致性；当写Cache未命中时，直接向主存进行写入。
Cache中每块无须设置一个修改位及相应的判断逻辑。
缺点是降低了
Cache的功效。
3．写一次法
写一次法是基于写回法并结合了写全法的写策略，写命中与写未命中的处理方法与写回法基本相同，只是第一次写命中时要同时写入主存。
这便于维护系统全部Cache的一致性。
3.7.6 Cache的性能
增加Cache的目的，就是在性能上使主存的平均读出时间尽可能接近Cache的读出时间，因此，Cache的命中率应接近于1。
由于程序访问的局部性，这是可能的。
在一个程序执行期间，设Nc表示Cache完成存取的总次数，Nm表示主存完成存取的总次数，h为命中率，则有：
若tc表示命中时的Cache访问时间，tm表示未命中时的主存访问时间，则Cache/主存系统的平均访问时间ta为：
设r=tm/tc，表示主存慢于Cache的倍率，e表示访问效率，则有：
为提高访问效率，命中率h越接近1越好，r值以5～10为宜，不宜太大。
命中率h与程序的行为、Cache的容量、组织方式、块的大小有关。