多处理器Cache一致性分析

多处理器Cache一致性分析[摘要]随着社会不断向前发展，人类对计算速度和计算规模的需求不断提高。

而单处理器计算机系统由于处理器运算性能受限于芯片速度极限和加工工艺极限，不可能无限提高。

于是超大规模并行处理系统应运而生。

但这也引入了一些在单处理器系统中没有出现的问题。

在系统中出现的多机存储信息的一致性问题便是当今国际上研究的热门问题之一。

为了缓和CPU与存储器之间的速度差距，在计算机系统的CPU与主存之间引入了cache。

但在多处理器系统中，由于多个处理器可能对同一数据块进行读写操作，当某个处理器对共享的数据块进行写操作时，其它处理器的cache中该数据块的副本将成为过时的数据。

如果不及时地通知相应的处理器，将导致错误的运行结果。

本文介绍了Cache的作用，Cache一致性问题的原因及解决这个问题的两种协议。

[关键字]Cache、Cache一致性、监听协议、基于目录的协议一、Cache简介和工作原理虽然CPU主频的提升会带动系统性能的改善，但系统性能的提高不仅仅取决于CPU，还与系统架构、指令结构、信息在各个部件之间的传送速度及存储部件的存取速度等因素有关，特别是与CPU/内存之间的存取速度有关。

若CPU工作速度较高，但内存存取速度相对较低，则造成CPU等待，降低处理速度，浪费CPU的能力。

如500MHz的PⅢ，一次指令执行时间为2ns,与其相配的内存（SDRAM）存取时间为10ns，比前者慢5倍，CPU和PC的性能怎么发挥出来？目前最好的方法是在慢速的DRAM和快速CPU之间插入一速度较快、容量较小的SRAM，起到缓冲作用；使CPU既可以以较快速度存取SRAM中的数据，又不使系统成本上升过高，这就是Cache法。

Cache的工作原理是基于程序访问的局部性。

对大量典型程序运行情况的分析结果表明，在一个较短的时间间隔内，由程序产生的地址往往集中在存储器逻辑地址空间的很小范围内。

指令地址的分布本来就是连续的，再加上循环程序段和子程序段要重复执行多次。

因此，对这些地址的访问就自然地具有时间上集中分布的倾向。

数据分布的这种集中倾向不如指令明显，但对数组的存储和访问以及工作单元的选择都可以使存储器地址相对集中。

这种对局部范围的存储器地址频繁访问，而对此范围以外的地址则访问甚少的现象，就称为程序访问的局部性。

根据程序的局部性原理，可以在主存和CPU通用寄存器之间设置一个高速的容量相对较小的存储器，把正在执行的指令地址附近的一部分指令或数据从主存调入这个存储器，供CPU 在一段时间内使用。

这对提高程序的运行速度有很大的作用。

这个介于主存和CPU之间的高速小容量存储器称作高速缓冲存储器(Cache)。

系统正是依据此原理，不断地将与当前指令集相关联的一个不太大的后继指令集从内存读到Cache，然后再与CPU高速传送，从而达到速度匹配。

CPU对存储器进行数据请求时，通常先访问Cache。

由于局部性原理不能保证所请求的数据百分之百地在Cache中，这里便存在一个命中率。

即CPU在任一时刻从Cache中可靠获取数据的几率。

命中率越高，正确获取数据的可靠性就越大。

在CPU与主存之间增加了Cache之后，便存在数据在CPU和Cache及主存之间如何存取的问题。

读写各有2种方式。

写通过(Write Through)：任一从CPU发出的写信号送到Cache的同时，也写入主存，以保证主存的数据能同步地更新。

它的优点是操作简单，但由于主存的慢速，降低了系统的写速度并占用了总线的时间。

写回式(Write-back)：为了克服贯穿式中每次数据写入时都要访问主存，从而导致系统写速度降低并占用总线时间的弊病，尽量减少对主存的访问次数，又有了写回式。

它是这样工作的：数据一般只写到Cache，这样有可能出现Cache中的数据得到更新而主存中的数据不变(数据陈旧)的情况。

但此时可在Cache中设一标志地址及数据陈旧的信息，只有当Cache中的数据被再次更改时，才将原更新的数据写入主存相应的单元中，然后再接受再次更新的数据。

这样保证了Cache和主存中的数据不致产生冲突。

二、多个Cache不一致的原因在多处理机系统中，当一个处理机访问存储器时，首先检查要访问的数据在CACHE中是否已经存在．如果存在，则不需要访问共享存储器．若一个处理机向存储器写数据时，采用“写回”策略，存储器中仍保留过时的内容，这时另外一个处理机从存储器相应单元读到的将是不正确的内容．即使是采用“写透”策略，仍会出现问题．这就是多处理机系统最有名的CACHE一致性问题．例如，图1所示，在处理机Pl没有写操作之前，处理机Pl和P2都将同一存储单元的内容x读入各自的CACHE中了(图1(a))，这时不管是采用写透(图1(b))，还是写回(图1(c))，当处理机Pl完成写操作之后，处理机P2再次使用自己CACHE中的x时一定会导致错误．图1，多处理机CACHE一致性要解决多处理机的Cache一致性问题，首先要研究一致性问题的由来。

出现不一致的原因有3个：共享可写数据引起的不一致、进程迁移引起的不一致和I／O传输引起的不一致．对于进程迁移引起的CACHE不一致，可以通过禁止进程迁移的办法来解决，也可以在进程挂起时，靠硬件的方法将CACHE中该进程改写过的信息块强制写回主存相应位置来解决．对于1／O操作引起的不一致，一种直接的方法是将I／O处理机与各个专用CACHE直接相连，形成了主处理机与I／O处理机共享CACHE的结构，于是只要解决了各CACHE之间，以及CACHE与主存储器之间的数据一致性，就可保证I／O操作的一致性．三、解决多处理机CACHE不一致性问题的策略解决多处理机CACHE不一致性问题主要有两种办法：监听CACHE协议和基于CACHE 目录的协议．3.1监听CACHE协议监听CACHE协议，即各处理机的每次写操作都是公开发布，为所有的处理机知道，那么各处理机就根据监听的信息对自身的数据采取保持一致的措施，采用监听CACHE协议，当某个CACHE中的内容被改写后，可以有两个办法避免出现远程CACHE内容不一致，第一种办法是使所有远程CACHE中相同数据块“作废”，使全部CACHE中该数据块只有一个有效，简称写作废策略。

另一种办法是当改写时，凡存有该数据块的远程CACHE也进行同样的改写，使它们的内容同时“更新”，结果在全部CACHE中可能有多个有效的数据块，简称写更新策略，如果采用写更新方式，每当某个CACHE中的内容被改写后，就必须将改写的内容送到所有的远程CACHE中．在总线方式组织的系统中，将会大大地增加总线的负担．所以一般的应用系统很少使用写更新策略．在采用写作废策略的系统中，为了表示CACHE中每个数据块当前的状态，必须安排一些标志位说明该数据是有效或无效．有时可能需要两个标志位，除说明本地的数据块状态外，还需要表明与系统中对应数据块之间的某种关系．3.2基于CACHE目录的协议基于CACHE目录的协议，就是当某个处理机的写操作无法为其他的处理机知道时，通过修改目录间接地向其他处理机报告，以便其他处理机采取措施．目录协议的思想是非常简单的，即将所有使用某一数据块的处理机登记在册，每次变动前都要查目录，变动后则修改目录．根据目录存储方法的不同可以将基于CACHE目录的协议分为集中式目录协议和分布式目录协议．3.2.1集中式目录协议集中式目录协议是指在主存储器中只用一个目录来标志数据块在各个处理机CACHE中存储的情况．集中式目录协议有几种方案，其中全映射方案就是采用一个集中存储的目录，每个数据块都在目录中建立一个项，目录项中设有与系统处理机个数相同的“存在位”，每个处理机一位．如果该数据块存在于某处理机的CACHE中，相应位就置1，反之就置0，此外，在每一项中还设置了一个重写位，如果该位为l，表示该数据块的内容已经被改写过，此时存在位中只能有一位为l，即改写此数据块的那个处理机拥有该块．与目录表相对应，每个CACHE 中也为每个数据块安排两个控制信息位．一个是有效位(V)，表示该数据的有效或无效，只有当V=l时该数据块才可用的．另外一位称为专用位(P)，如P=l，处理机可以直接向该数据块执行写操作，实际上这时的CACHE是该数据块唯一正确的CACHE拷贝．反之，当P=0时．不允许直接写入．如图2所示，全映射目录协议中各标志位的情况．图2，全映射目录协议3.2.2分布式目录协议分布式目录协议又称为链表式目录协议，该协议将目录分散配置到各CACHE中，用链表将有关的CACHE连接在一起．每个数据块建立一个数据链表，每个链表中只包含拥有该数据块的CACHE．于是，存储器中的每个数据块都只有一个指针，指向使用这个数据块的头结点．头结点再指向下一个拥有此数据块的CACHE，直到最后一个结点．链表可以是单向也可以是双向，单向链表只要一个指针，双向链表则需要前项指针和后项指针两个指针，如图3所示是分布式目录协议所用双向链表示意图。

图3，分布式目录协议所用双向链表四、CACHE一致性问题在多处理机系统中的应用如SUN Enterprise是SUN Microsystem公司的多处理机产品，主要作为服务器使用．总线名称为Gigaplane，峰值带宽为2．67GB／s，允许l6路交叉访问总容量为30GB的存储器．每块CPU板上有两个UhraSpace处理机及2GB的存储器，数据宽度为512字节．机箱中有16个插槽，可以任意地插入CPU板或I／O板，但每种至少应有一块．尽管存储器与处理机在一块板上，但是当处理机访问同一块板上的存储器时，也要通过总线，因此访问时间是均匀的．每块1／O板上有两个独立的SBUS总线(64位，25MHz)．总磁盘容量达10TB．操作系统使用Solaris UNIX．Gigaplane总线长度为18英寸，操作时钟为83．5MHz，数据线256位，地址线4l位，同时可以支持112个总线事物请求，允许每个板提出7个总线操作要求．为了保证CACHE的一致性，SUN Enterprise使用写废策略来维持CACHE的一致性．它采用三位CACHE状态位，用以表示5种状态，组成了一种MEOSI协议．MEOSI所表示的五种状态分别为：无效状态I、专用状态E、共享状态s、修改状态M和共享已修改状态O．如果一个CACHE行在本处理机修改后成为M状态后，被其他处理机读时，将修改为O状态，表示被读过，而且存储器的该行内容已过时．五，结束语设置CACHE的目的就是为了提高存储系统的速度，使之尽可能小地影响CPU的运行速度．在多处看机系统中，保持CACHE内容与主存内容一致性，使多个处理机并行协调完成一个复杂问题的计算，使并行多处理机系统展现出在性能价格比、可靠性、可扩展性的优势．参考文献[1]John D．Carpinelli．Comp uter s tern Organization＆Architecture[M]．北京：人民邮电出版社，2001．[2]李亚民．计算机组成与系统结构[M]．北京．清华大学出版社，2000.[3]傅麒麟徐勇．现代计算机体系结构[M]．北京：北京希望电子工业出版社．2002．[4]徐甲同．高级操作系统[M]．西安：西安电子科技大学出版社．1998．[5]赵庆民，李伟平．多处理机系统分析[J]．微计算机应用，2005．。