处理器容错技术的相关研究

处理器容错技术的相关研究张仕健摘要随着集成电路制造工艺的持续进步，处理器计算的可信性面临着瞬态故障的严重威胁。

本文将处理器的容错技术分为针对存储单元的容错技术和针对流水线逻辑的容错技术，从不同的层次介绍和分析有代表性的最新的研究成果，在此基础上归纳、总结出当前研究重点解决的几个问题并展望了容错技术未来的发展趋势。

关键词瞬态故障、容错、时间冗余、微处理器结构1引言集成电路制造工艺的持续进步使得处理器计算的可信性面临着瞬态故障的严重威胁[1]。

瞬态故障是一种芯片的非物理性损伤，可由粒子辐射、电源和互联噪声、电磁干扰等因素诱发，会对程序执行的正确性产生灾难性的影响。

有研究表明，在纳米工艺条件下，瞬态故障是引起芯片失效的主要原因[2]。

人们对瞬态故障的研究随着科技的发展不断深化。

早在1954年，人们在核试验和空间试验中发现了瞬态故障并对导致故障的辐射源、故障模型展开了研究；1978年，人们发现高密度内存电路在地面使用中受阿尔法（α）粒子辐射或宇宙射线作用会发生瞬态故障。

自此，针对存储单元的容错技术在多个层面展开了大量的研究[3]；随着器件特征尺寸的缩小和工作频率的提高，组合逻辑上发生的瞬态故障将对芯片的失效率产生不可忽视的重大影响[4]，针对流水线逻辑的容错技术逐渐成为研究热点。

本文首先将处理器的容错技术分为针对存储单元的容错技术和针对流水线逻辑的容错技术，然后从不同的层次介绍和分析有代表性的最新的研究成果，在此基础上归纳、总结出当前研究重点解决的几个问题，并给出了容错技术未来的发展趋势。

2处理器容错技术根据容错技术作用对象的不同，可以将处理器容错技术分为两大类：存储单元容错技术和流水线容错技术。

本文所说的存储单元包括片上缓存、TLB1以及寄存器堆，这些电路单元排列规整、集成度高；流水线包括流水线上的组合逻辑和流水线寄存器。

2.1存储单元容错技术在现代微处理器芯片中，存储单元占有绝大部分的面积。

它上面发生的故障会直接影响程序的正确执行。

因此针对存储单元的容错技术一直是研究的重点。

这些研究可分为电路级容错技术和结构层容错技术。

电路级容错技术一般都有存储备份单元和状态反馈电路。

当一个存储单元发生故障时，状态反馈电路从备份的存储单元中提取正确的状态并恢复出现故障的存储单元的状态。

双向互锁存储技术（DICE，Dual Interlocked storage Cell）[5]是这类技术的典型。

每个DICE单元包括两个存储节点和两个保持节点，当某一个节点出现故障，两个保持节点通过反馈电路，自动恢复故障节点的状态。

该技术故障延迟短，一般只有几个纳秒，通过制作成电路库单元，能够降低容错系统的开发、验证成本，主要缺点是芯片面积显1 Translation Look aside Buffer，转换旁视缓冲器，作用是存放虚拟地址到物理地址的转换结果著增大，增加了生产成本。

例如在90纳米工艺下，DICE单元的面积比普通存储单元的面积增加了80%。

在结构层面，基于编码的信息冗余技术被现代微处理器广泛采用[6][7]，常用的ECC2编码能纠正一位错发现两位错，可满足大多场合的应用需求。

但是随着芯片集成单元越来越密集，发生多位错误的可能性在逐渐增加，因此，如何克服多位故障是一个值得深入研究的问题。

IBM提出的Chipkill技术是一种高级的ECC编码，通过内存交织和位分散的方式能够容忍多位故障[8]。

内存洗刷技术周期性地执行ECC检错和纠错逻辑，能有效减少多位故障发生的可能性[9]。

张（Zhang）等人提出的ICR3技术利用空闲的缓存块备份活跃的缓存块，结合Parity编码，可以一定程度上克服多位故障[10]。

另外，常规的编码技术忽视了缓存块的状态差异，对所有的缓存块都统一编码，不能满足一些应用中的面积限制。

林(Lin)等人的研究表明，经常使用的缓存块发生故障的概率是非活动缓存块的5倍[11]。

基于该发现，学术界提出了奇偶校验码缓存技术（Parity Caching）、影子缓存检测技术（Shadow Checking）、多路选择检测技术（Selective Checking）[12]以及拷贝缓存（Replication Cache）[13]等新型的缓存结构。

它们面积开销小、性能损失低，同时又有一定的容错能力，值得深入的研究。

2.2流水线容错技术流水线容错技术在不同的处理器类型，如单核单线程、单核多线程和多核处理器中有不同的实现形式。

2.2.1单核单线程处理器单核单线程处理器有三种方法检测流水线故障：空间冗余技术、时间冗余技术和基于事件的容错技术。

空间冗余技术需要增加处理通路，在多个处理通路上执行相同的指令流，比较通路之间执行状态的一致性来检测或容忍故障。

IBM S390 G5[14]是一个典型的采用该技术的商用处理器，它的处理器核中映射了I单元和E单元，在每个时钟周期都要检测指令在原单元和映射单元之间的执行状态是否一致，如果不一致，就发现了故障，通过R单元恢复处理器状态。

空间冗余技术能够检测到流水线上各阶段发生的故障，但是硬件开销大，适用于一些高端的服务器。

时间冗余技术是在相同的处理通路上多次执行相同的指令流，通过比较指令前后的执行结果来发现故障。

由于它不需要额外的处理通路，硬件开销小，是目前研究的热点。

例如：重复使用超标量数据通路技术[15]是在译码阶段向重排序缓冲（Reorder Buffer, ROB）插入多个指令副本，在指令修改寄存器状态之前比较它们的执行结果是否一致，如果不一致，则采用指令猜测执行时的回绕机制来恢复处理器状态。

该技术能够检测重排序缓冲、功能部件以及部分总线上出现的故障，采用部分SPEC95和SPEC2000测试程序的模拟实验表明，与非容错的微结构相比，它的IPC4下降了2%~45%。

库雷希（Qureshi）等人提出利用缓存失效损失的带宽执行冗余指令[16]，该技术能够检测流水线上各阶段发生的故障，但恢复状态比较困难，适合于访存密集型应用。

我们提出的向分支指令后插入冗余指令的容错的微结构[17]，也能够检测流水线上各阶段发生的故障且容易恢复状态，适用于带有简单预测机制的嵌入式微处理器。

基于事件的容错技术认为，当处理器出现故障时，处理器结构会出现异常行为，如缓存（Cache）失效率上升、分支预测准确率下降，通过侦测这些异常事件并结合检测点技术，就能够检测到部分故障并恢复处理器状态[18][19]。

图1是Restore处理器的结构框图[18]，症状侦测器检测每级流水的异常状态，当发现异常时，马上用检测点恢复处理器状态。

该技术既避免了空间冗余技术巨大的硬件开销，又避免了时间冗余技术明显的性能损失，是一种很有前途的新技术。

目前需要解决的问题是如何设计高效的异常事件2 Error Checking and Correction3 In-Cache Replication ，缓存内复制技术4 Instructions Per Clock Cycle，指令/时钟周期预测机制提高故障覆盖率。

图1.Restore处理器的微结构框图2.2.2单核多线程处理器单核多线程结构是充分挖掘线程间并行性的一种新型的处理器结构，基于单核多线程的容错结构可利用核内已有线程，硬件改动比较小，是一个重要的研究方向。

AR-SMT[20]是最早的基于同时多线程的容错结构。

它的主线程（A-stream）和冗余线程（R-stream）通过一个延迟缓冲耦合，如图2所示。

当主线程提交指令时，其结果在修改程序状态的同时还保存在一个延迟缓冲中。

冗余线程和主线程在一个SMT5处理器中同时调度执行，冗余线程落后主线程的时间不会大于延迟缓存的长度，通过比较冗余线程的执行结果和保存在延迟缓冲中的结果就可以检测到流水线上的故障。

冗余线程提交的状态可作为检查点恢复状态。

模拟实验结果表明，和单线程程序相比， AR-SMT的执行时间增加了10%~30%。

SRT6[21]技术在AR-SMT的基础上采用ALAB7、LVQ8等硬件机制解决了主线程和冗余线程间的内存一致性问题。

SRTR9[22]技术图2.AR-SMT处理器的微结构框图在SRT的基础上要求只有执行结果都通过检测之后才修改处理器状态，解决了检测到故障后的状态恢复问题，但是性能损失进一步增加。

这些技术都利用了主线程的访存行为和分支结果加速执行冗余线程，但是主线程和冗余线程共享硬件资源，不可避免地存在竞争，如何减小资源冲突、降低性能损失，是基于单核多线程的容错结构必须解决的一个重要问题。

2.2.3多核处理器基于多核处理器的容错结构有两种实现形式：并行结构和串行结构。

在并行结构中每个处理器核都工作在同步模式，它们同时执行相同的指令，在每个时钟周期都要比较核的输出是否一致，如果不一致，就认为某个核发生了故障并通过复位、重组等技术恢复处理器状态[23]。

该结构故障检测延时短，但恢复状态延时较长，处理器核会经常执行一些无用指令，资源利用率不高。

在串行结构中，核间通过一些缓冲队列进行耦合，不要求内核严格同步，5 Simultaneous multithreading，同时多线程6 Simultaneous & Redundantly Threaded Processor，同时冗余多线程处理器（等效于同时多线程+故障检测）7 Active Load Address Buffer活动读访存地址缓冲8 Load Value Queue读访存值队列9 Simultaneous & Redundantly Threaded Processor with Recovery，自恢复同时冗余多线程处理器（等效于SRT+故障恢复）冗余线程可以利用主线程的访存结果和分支结果提高性能。

Slipstream[24]、CRT[25]、CRTR[26]都是典型的串行结构。

基于多核的容错结构在一个核上执行主线程，在另一个核上执行冗余线程，既平衡了负载，又减小了一个故障同时影响两个线程的可能，因此比基于单核多线程的容错结构有更高的故障覆盖率，但是核间的大量通信会导致延时和带宽问题。

3容错技术的评估方法故障注入法和故障分析法是两类常用的容错技术的评估方法。

故障注入法是一种按照选定的故障类型在目标计算机系统中人为地产生故障并对系统响应信息收集处理的实验过程。

目标计算机系统可以是系统原型，也可以是系统的一个抽象模型。

如：G.M.Swift等人采用重粒子辐射的方法研究PowerPC750微处理器的容错性[27]；SINJECT系统在HDL10描述的门级、寄存器传输级以及行为级模型上注入故障[28]。

一般而言，直接向硬件原型注入故障准确度高，但评估周期长，不易控制和观测；向硬件的抽象模型注入故障可以方便地控制故障的注入时间和注入地点，能够直接观测故障在模型中的行为，但要仔细平衡抽象层次、模拟速度以及准确度三者之间的关系。