[5] Cache一致性
cache一致性问题和解决方法

cache一致性问题和解决方法作者辽宁工程技术大学摘要高速缓冲存储器一致性问题是指高速缓冲存储器中的数据必须与内存中的数据保持同步(一致) 。
多核处理器将一个以上的计算内核集成在一个处理器中,通过多个核心的并行计算技术,增强处理器计算性能。
单片多处理器结构(CMP—ChipMultiprocessor)又是该领域中备受关注的问题。
本文简要论述了CMP的多级Cache存储结构,多级结构引起了Cache一致性问题,一致性协议的选取对CMP系统的性能有重要影响。
使用何种Cache一致性模型以及它的设计方案是本文重点研究的内容。
关键词:CMP;Cache一致性;存储器;协议;替换策略Cache consistency problem and solving methodAbstract Cache consistency refers to the data in the cache memory must be synchronized with the data in memory (the same).Multi·core processor was the integration of multiple computing cores on a single processoL which improved processor computing ability through the parallelcomputing Technology of multi-coreprocessors.Single chip multi-processorarchitecture(CMP-ChipMulfiprocessor)was hot spots in this area.The CMPmulti-level Cache storage structure was briefly discussed in this paper,which led to Cache coherence problem,the selection of consistency protocol had a major impact on the performance of the CMP system.The selection of model of theCache Coherence and methods of its design will have a significant impact ofoverall design and development of CMPKey words:CMP Cache; consistency; memory; protocol; replacement strategy1引言在过去的二十年中,计算机处理器设计工艺和处理器体系结构发展迅速,计算机也能够完成所赋予它的大部分任务。
cache一致性协议实现的基本方法

面已经谈到,随着处理机数目N 的增大、存储器容量的增加,所 需要目录的容量以N2 的数量级增加。在目录本身就很庞大的情 况下,还需要增加一位C/D 位,以指示该复本是否允许写。所以 这种目录结构所需要的空间较为庞大。针对这个问题,提出了 有限目录的方法。 2)有限目录 有限目录的基本思想是要解决全映射目录空间过大的问题。 其采用的手段就是对任意一个数据块在高速缓存中同时存在的 复本的数目加以一定的限制,这是基于处理机使用的局部性, 即多机系统解决问题时,短时间内可能只集中使用其中几台机 器,所以某一个数据块的复本只有部分处理机需要,因此只需 要记录这几台机器,而不需要记录所有处理机,目录所需空间 大大减少:记录处理机号码的所需空间呈Log2N 增长,总的空间 需求为O(N XLog2N)。 3)链式目录 链式目录是采用目录指针链来跟踪共享可写数据的复本;链 表既可以采用单链表,又可以采用双链表。对于共享数据块的 复本数没有限制。所占用的空间和可扩展性与有限目录近似。
(3)Write- inv:远程高速缓存在写命中时在总线上广播一个无 效命令 (4)Read-inv:远程高速缓存在写缺失时在总线上广播一个无 效命令 (5)Read-blk:从另外一个高速缓存中读出一份有效复本。 这两条属于一致性命令 3)写操作可能遇到的几种情况 (1)如果C1 为VALID,写C1 时,则写命中(Write hit) a. 如果内存单元所在的块在高速缓存中,则可以写高速缓存 命中。 b. 如果内存单元所在的块不在高速缓存中,则写缺失,将内 存单元所在块读入高速缓存,再进行写操作发P-Write 修改C1 内 容,修改内存,发Write-Inv 给所有高速缓存,使它们的状态变 为无效。同时使本地的高速缓存中数据块的状态变Reserved。 (2)如果C1 为Reserved,对C1 进行写操作时,则写命中。发PWrite 命令修改C1内容,不修改内存中的复本,C1 状态变为 Dirty (3)如果C1 为Dirty,写C1 时则写命中。发出P-Write 命令修
cache工作原理

cache工作原理一、引言Cache是计算机系统中的一种高速缓存存储器,用于提高系统的访问速度。
它通过存储最常用的数据和指令,以便在需要时能够快速访问。
本文将详细介绍Cache的工作原理,包括Cache的层次结构、替换策略、写回策略以及Cache一致性等。
二、Cache的层次结构Cache通常被组织成多级层次结构,以提供更高的访问速度。
常见的层次结构包括L1 Cache、L2 Cache和L3 Cache。
L1 Cache位于处理器核心内部,是最接近处理器的一级缓存,速度最快但容量较小。
L2 Cache位于处理器核心和主存之间,速度较快且容量较大。
L3 Cache则位于L2 Cache和主存之间,容量更大但速度相对较慢。
三、Cache的工作原理1. 缓存命中当处理器需要访问内存中的数据或者指令时,首先会在Cache中进行查找。
如果所需数据或者指令在Cache中存在,即发生了缓存命中,处理器可以直接从Cache中读取数据或者指令,避免了访问主存的延迟。
2. 缓存不命中如果所需数据或者指令不在Cache中,即发生了缓存不命中,处理器需要从主存中读取数据或者指令。
同时,处理器还会将主存中的一部份数据或者指令加载到Cache中,以便下次访问时能够直接命中。
3. 替换策略当Cache已满且需要加载新的数据或者指令时,就需要进行替换。
常见的替换策略有最近至少使用(LRU)、先进先出(FIFO)和随机替换等。
LRU策略会替换最近至少被访问的数据或者指令,而FIFO策略会替换最早被加载到Cache中的数据或者指令。
4. 写回策略当处理器对Cache中的数据进行修改时,有两种写回策略可供选择:写直达(Write-through)和写回(Write-back)。
写直达策略会立即将修改的数据写入主存,保证数据的一致性,但会增加总线流量和延迟。
写回策略则将修改的数据暂时保存在Cache中,惟独在被替换出Cache或者需要被其他处理器访问时才写回主存。
多核处理器及其Cache一致性机制

由于 指令 级 并 行需 要 的硬 件 资源 最 少 , 处理 器 微体 系结 构 中 , 早 在 最 出现 的并 行技 术就 是指 令级 并行 , 而实 现指 令级 并行 通 常采用 的是 V I ( LW 超 长指令 字 ) 技术 和S pr saa( 标量 ) u e— clr超 技术 。 V uw : 处理 器在 处理 一 个 长指令 字 中赋 予编 译程 序 控制 所有 功能 单元
多 核处 理 器 结 构不 仅 有 性 能潜 力 大 、 成度 高 、 集 并行 度 高 、 结构 简 单
指令 , 以获 得 并 行性 。 2线程 级 并行 .
和设计验证方便等诸多优势 , 而且它还能继承传统单核处理器研究 中的某些 成果, 例如 同时 多线 程 、 低 功 耗等 。 减压 但多 核 处理 器 毕竟 是 一种 新 的结 构给多 核处理器 的未来提出了挑战。
1前 言 .
自从计算机诞生 以来 , 推动处理器高速发展的动力主要来源于两个方
面 : 电子 技术 的 巨大 进 步 和处 理 器体 系 结 构 的演 化和 发 展 , 微 而这 两 个 动力 则促成 了多 核处理 器 技 术 的 出现和 发展 。 多 内 核是 在 一 个 处理 器 中集 成两 个 或 多 个 完整 计 算 引擎 , 内核 。 即 而 多核处 理器 则是 将 多个 功能 完全 的 核心 集成 在 同一个 芯 片上 , 个芯 片作 为 整
的能力 , 使得被编译的程序能够精确地调度在何处执行每个操作、 每个寄存 器存储器读写和每个转移操作 。 S p r saa : u e — clr 由于各个指令之间可能用到不同的数据单元, 所以通过 次发射多个指令来获取指令级的并行。 此技术 , 主要是依靠运行时的复杂 硬件 逻 辑 , 打乱 指令 的执 行 顺序 , 发射 阶段 同时 发射 多个 使 用不 同资 源 的 在
Cache与主存一致性

Cache与主存间数据的一致性计算机存储系统中,高速缓冲存储器系统的引入虽然为计算机系统处理数据的速度带来了显著地提高,但是随之而来的Cache(高速缓存)与主存一致性问题也是日益凸显出来。
存储器中的一致性问题,是伴随着存储器结构的概念而提出的,又一直是困扰着计算机设计者的一个重要问题,也是很多从事计算机体系结构研究的人们所共同面对的一个热门研究课题。
特别是近年来出现的多处理系统,超并行机系统,超大规模计算机系统等采用DSM (Distributed Shared Memory)-分布式共享存储器技术的大型系统中,都采用了多级Cache 的存储器层次结构。
在Cache的数据一致性问题上,就更显突出了。
Cachc的操作与存储器一样具有读/写两种模式,其中读操作主要局限在不命中时更新Cache内容,只影响存储系统工作速度。
写操作不仅工作时间比读操作长,而且更新主存内容,直接影响机器性能。
写操作是直接导致数据一致性问题产生的原因。
在一个系统中,同一个数据的多个拷贝可以同时存在,如果一个拷贝改变了而其它的没变,那么两组不同的数据便与主存的同一地址有关。
Cache必须包含一个更新系统以防止老数据(陈旧数据)被使用,即解决一致性问题。
分析产生数据一致性问题的原因主要有三个:1> 同样一个数据可能既存于Cache中,也存于主存中,这样可能前者己更新,后者未更新,造成数据丢失。
2> 在有DMA系统或多处理器系统中,有多个部件可以访问主存,这时可能其中有些部件是直接访问主存,也可能每个DMA部件和每个处理器配一个Cache,这样主存的一块区域可能对应于多个Cache中的各1个块区,产生主存中的数据被某个总线主控部件更新过,而某个Cache中的内容未更新,造成Cache中数据过时。
3> 当主存中同时有多道程序运行时,Cache中均有相应的数据副本与每道程序相对应;对于共享数据,每道程序都有各自的Cache数据与主存数据相一致。
缓存一致性解决方案

缓存一致性解决方案缓存一致性是保持应用程序的数据一致性的重要前提。
缓存一致性是缓存技术的一个关键,可以显著提高系统的性能,提高系统的效率。
缓存一致性问题往往在大多数分布式系统中发生,因为分布式系统中的数据可能被多个程序、进程或服务并发访问和更新。
如果系统中的多个节点未能正确地同步数据,则不能保证系统中的数据有效性,从而导致系统出现不一致的问题。
针对缓存一致性问题,解决的方法有很多,如引入消息中间件服务来处理,使用数据同步机制(例如基于主从模式的rsync)进行数据同步,使用分布式缓存解决方案,如Redis,Memcached,Hazelcast 等,以及基于强一致性和弱一致性算法等。
首先,基于强一致性和弱一致性算法可以用来解决缓存一致性问题。
强一致性算法采用使用协调者组织参与者执行操作的方式,与参与的其他进程或服务协议协商,以达到一致性,但它的处理速度比较慢;而弱一致性算法则虽然不需要协议协商,但只要数据被更新,就可能导致数据不一致。
其次,多个节点可以使用数据同步机制来保证缓存一致性。
数据同步机制中,一般采用主从模式,当主节点数据更新时,会将数据同步到从节点,从而保证数据在多个节点间一致。
最后,一种解决缓存一致性的方法是使用分布式缓存解决方案,比如Redis,Memcached,Hazelcast等。
这些分布式缓存技术采用了节点群集技术,可以将多个节点组织成一个群集,当系统中一个节点的数据发生变化时,会将变化同步到其他节点,从而保证多个节点之间的数据一致性。
总之,缓存一致性是非常重要的一个问题,针对这个问题,可以采用多种方法来解决,如采用基于强一致性和弱一致性算法,使用数据同步机制、采用分布式缓存解决方案等。
这些方法的应用可以实现在系统中多个节点的数据同步,从而达到保证系统数据的一致性,提高系统的性能和效率。
浅谈并行系统中cache一致性问题和解决方法

浅谈并行系统中cache一致性问题和解决方法班级:0920 姓名:储俊学号:09419022摘要:高速缓冲存储器一致性问题是指高速缓冲存储器中的数据必须与内存中的数据保持同步(一致) 这个问题常发生在CPU内核与另一个设备异步访问内存时。
关键词:cache一致性,监听CACHE协议,基于CACHE目录的协议1.Cache一致性问题的发现本项目的目标板为:处理器采用ARM芯片S3C44B0X,存储器采用2片Flash 和1片SDRAM,在调试的时候输入采用键盘,输出采用显示器,用RS232串口实现通信。
在项目的开发过程中,经软件仿真调试成功的程序,烧入目标板后,程序却发生异常中止。
通过读存储器的内容发现,程序不能正常运行在目标板上,是因为存储器中写入的数据与程序编译生成的数据不一致,总是出现一些错误字节。
经过一段时间的调试发现,只要在程序中禁止Cache的使用,存储器中写入的数据将不再发生错误,程序可以正常运行,但速度明显减慢。
经过分析,认为问题是由于Cache数据与主存数据的不一致性造成的。
Cache数据与主存数据不一致是指:在采用Cache的系统中,同样一个数据可能既存在于Cache中,也存在于主存中,两者数据相同则具有一致性,数据不相同就叫做不一致性。
如果不能保证数据的一致性,那么,后续程序的运行就要出现问题2.分析Cache的一致性问题要解释Cache的一致性问题,首先要了解Cache的工作模式。
Cache的工作模式有两种:写直达模式(write-through)和写回模式(copyback)。
写直达模式是,每当CPU把数据写到Cache中时,Cache控制器会立即把数据写入主存对应位置。
所以,主存随时跟踪Cache的最新版本,从而也就不会有主存将新数据丢失这样的问题。
此方法的优点是简单,缺点是每次Cache内容有更新,就要对主存进行写入操作,这样会造成总线活动频繁。
S3C44B0X 中的Cache就是采用的写直达模式(write-through)。
多核处理器cache一致性技术综述

多核处理器cache一致性技术综述摘要:本文介绍了实现多核处理器cache一致性的基本实现技术,并分析了其存在的问题。
根据存在的问题,介绍了几种最新的解决方案。
关键词:cache 一致性监听协议目录协议性能能耗1 基本实现技术:实现cache一致性的关键在于跟踪所有共享数据块的状态。
目前广泛采用的有以下2种协议,它们分别使用不同的技术跟踪共享数据:1.监听协议( Snooping)处理器在私有的缓存中保存共享数据的复本。
同时处理器对总线进行监听,如果总线上的请求与自己相关,则进行处理,否则忽略总线请求信号。
2.目录式(Directory based)使用目录来存放各节点cache中共享数据的信息,把cache一致性请求只发给存放有相应数据块的节点,从而支持cache的一致性。
下面分别就监听协议和目录协议做简单的介绍:1.1 监听协议监听协议通过总线监听机制实现cache和共享内存之间的数据一致性。
因为其可以通过内存的总线来查询cache的状态。
所以监听协议是目前多核处理器主要采用的一致性技术。
监听协议有两种。
一种称为写无效协议(write invalidate protocol) ,它在处理器写数据块之前通过总线广播使其它该数据的共享复本(主要存储在其它处理器的私有缓存中)变为无效,以保证该处理器能独占访问数据块,实现一致性。
另一种称为写更新(write update) ,它在处理器写入数据块时更新该数据块所有的副本。
因为在基于总线的多核处理器中总线和内存带宽是最紧张的资源,而写无效协议不会给总线和内存带来太大的压力,所以目前处理器实现主要都是应用写无效协议。
读请求:如果处理器在私有缓存中找到数据块,则读取数据块。
如果没有找到数据块,它向总线广播读缺失请求。
其它处理器监听到读缺失请求,则检查对应地址数据块状态:无效状态下,向总线发读缺失,总线向内存请求数据块;共享状态下,直接把数据发送给请求处理器;独占状态下,远端处理器节点把数据回写,状态改为共享,并将数据块发送给请求处理器。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
3. 局部命令(Local commands) (1)P-Read:本地处理机读自己的Cache 副本。 (2)P-Write:本地处理机写自己的Cache 副本。
4. 一致性命令 (1)Read-blk:从另一Cache读一份有效 的副本。 (2)Write-inv:在写命中时在总线上广 播一个无效命令。 (3)Read-inv:在写缺失时在总线上广播 一个无效命令。
下 一 节
Invalid
P-Read(2)
Valid
Dirty
Reserved
(2)P-Read(miss: if no dirty copy exists, memory supplies a valid copy, otherwise, the cache inhibits memory and supplies a copy and updates memory. Both copies become valid).
3. I/O操作(绕过Cache的I/O操作)
P1
x
P2
x
P1
c1 x
P2
c2 x 总线
P1
x’
P2
x
x
存储器 I/O
x’ 存储器
x’ 输入
x 存储器
x 输出
写通过
写回
上图中: 中间图为:当I/O处理机将一个新的数据x’ 写入主存储器时,绕过采用写通过策略的 cache,则C1和共享存储器之间产生了不一 致。 右图为:直接从主存储器输出数据时(绕 过Cache),采用写回策略的高速缓存产生 不一致性。
5. 写更新的问题 由于更新时,所有的副本均需要更新,开 销很大。
第五章 Cache Coherence
5.1 Cache Coherence问题 5.2 监听总线协议
5.2.1 写一次协议
5.3 基于目录的Cache一致性协议 5.4 三种Cache一致性策略
5.2 监听总线协议(Snoopy protocol)
1. 一致性协议的内容 一致性协议包括: (1)Cache可能出现的状态集合 (2)共享主存的状态 (3)为维护一致性而引起的状态转换。
2. 每份Cache中的副本可能出现的四种状态 (1)有效(valid state):与主存储器副 本一致的Cache副本,即该副本未经修改, 所以这个Cache副本不是唯一的副本。 (2)保留(reserved state):这一Cache副 本是第一次修改,并用写通过方法写入主存, 所以这一Cache副本和主存储器副本一致。
x …… 总线 x P1 x P2 …… x P3 Cache 处理机 共享存储器
下图表示P1进行写无效操作后的情形。 写通过:
x’ ……
x’ P1
I P2
……
I P3 I表示无效
写回:
I ……
x’ P1
I P2
……
I P3 I表示无效
下图表示P1进行写更新操作后的情形(写 通过)。
x’ ……
2.写更新(write update) 任一处理器写它的私有Cache时,它都立即 更新所有其它的Cache中的副本。 对Write-through,它也更新主存储器中的副 本。 对Write-back,对存储器中副本的更新延迟 到这个Cache被臵换的时刻。
3. 示意图 下图表示数据块x在共享存储器和三台处理 机的Cache中的副本一致的情形。
Read-inv(4)/Write-inv(5) Invalid P-Read(2) Read-inv(4) Valid
P-Read (hit:always local, no state transition)
P-Write (hit:local,update Read-inv Read-blk memory copy, P-Write(1) (4) (3) broadcast write-inv Read-blk(3) to all cache, Dirty Reserved local copy P-Write becomes (hit:local, not memory P-Write reserved) (hit:local still dirty) update, local copy becomes dirty)
下 一 节
Invalid
Valid
Read-blk (3)
Dirty
Reserved
(3)Read-blk(read from remote processors, the local copy become valid).
下 一 节
Invalid
Valid
Read-blk(3) Dirty Reserved
下 一 节
Read-inv(4)/Write-inv(5) Invalid Valid
Dirty
Reserved
(4)Read-inv(A remote cache reads a block during a write-miss, updates it and invalidates all other copies). (5)Write-inv(A remote cache updates its local copy during a write-hits and invalidates all other copies).
高等计算机体系结构
北京科技大学计算机系 李建江
参考课件:清华大学计算机科学与技术系高性能计算研究所 郑纬民 教授
第五章 Cache Coherence
5.1 Cache Coherence问题
5.1.1 Cache Coherence的提出 5.1.2 多个Cache不一致的原因 5.1.3 两种设计Cache一致性协议策略
Cache Cache …… P P
Cache
P
5.1.2 多个Cache不一致的原因
1.共享可写数据的不一致性(sharing of writable data)
处理机 Cache shared memory P1 P2 P1 P2 P1 P2
x
x
x’
x
x’
x
x
x’
x
更新前
写通过
写回
2.进程迁移的不一致性
(3)重写(dirty state):Cache副本不止 一次被修改过,由于不再采用写通过方法, 所以这个Cache副本是唯一的副本。与存储 器和其它的Cache副本都不一致。主存储器 中的副本也是无效的。 (4)无效(invalid state)与存储器或其它 的Cache副本不一致,或在Cache中找不到。
x’ P1
x’ P2
……
x’ P3 I表示无效
4.写无效的问题 主要开销在两个方面: (1)作废各Cache副本的开销; (2)由作废引起缺失造成的开销,即处理 机需要访问已经作废的数据时将引起Cache的 缺失。
后果: 如果一个处理机经常对某个块连续写,且各 处理处理机间对共享块的竞争较小,这时写无 效策略维护一致性的开销是很小的。如发生严 重竞争,即处理机之间对某个地址的共享数据 竞争,将产生较多的作废,引起更多的作废缺 失。结果是共享数据在各Cache间倒来倒去, 产生颠簸现象,当缓存块比较大时,这种颠簸 现象更为严重。
(3)Read-blk(read from remote processors, the local copy become valid). (4)Read-inv(A remote cache reads a block during a write-miss, updates it and invalidates all other copies). (5)Write-inv(A remote cache updates its local copy during a write-hits and invalidates all other copies).
处理机
Cache shared memory源自P1xP2P1
x
P2
x’
P1
x’
P2
x
x
x’
x
迁移前
写通过
写回
上图中: 右图为:包含共享变量x的进程原来在P1上 运行,并对x进行了修改(但采取写回策略, 所以暂时没有修改Memory),由于某种原因 迁移到P2,修改过的x’仍在P1的Cache中,P2 运行时从Memory中得到x(因为缺失),这个 x其实是“过时”的,所以造成了不一致。 中间图为:P2中运行的进程对x进行了修改, 采取写通过策略,所以把Memory中的x也修改 为x’,由于某种原因该进程迁移到P1,但P1的 Cache中仍为x,所以造成不一致。
(3)Read-blk(read from remote processors, the local copy become valid).
下 一 节
Invalid
Valid
Read-inv (4)
Dirty
Reserved
(4)Read-inv(A remote cache reads a block during a write-miss, updates it and invalidates all other copies).
(用鼠标点击连线来察看详细信息)
下 一 节
Invalid
Valid
P-Write(1)
Dirty
Reserved
(1)P-Write(miss: take a dirty copy from a remote cache, or from memory; send Read-invto invalidate all copies; update local copy into a dirty one).