低功耗的可重构数据Cache设计

0引言

近年来，嵌入式系统在便携设备上得到广泛应用。对于大多数以电池作为电源的移动设备，随着嵌入式系统计算性能的不断提高，功耗也逐渐成为设计者考虑的重点。在嵌入式处理器中，存储器已经成为最大的组成部分，也成为最主要的功耗来源。例如StrongARM 中的Cache 和存储器系统占芯片面积的60%，功耗的43%。而且随着嵌入式处理器设计的发展，存储器所占的比重也有不断提高的趋势。因此，对Cache 的优化设计越来越受到研究者的关注。

除了在逻辑设计级有许多技术可以用来节省Cache 功耗外，在体系结构级，也有很多针对Cache 功耗的设计，主要可以分为一下两类：一类是利用不同的程序以及同一程序的不同运行阶段其空间与时间局部性不同的特点，动态的调整Ca-che 的容量和关联度，以适应不同程序、如流媒体应用的需要，降低Cache 的功耗；另一类则利用程序的高频值局部性，对经常出现的数值进行压缩存储，以减少Cache 访问的功耗。程序运行中对数据访问的空间局部性和时间局部性原理是Ca-che 技术产生和发展的前提。目前的低功耗多媒体/嵌入式处理器的研究中，大部分都基于数据的空间和时间局部性对Ca-che 进行改进，如过滤Cache ，标量访问优化等。Cache 分区就

是其中一类经常使用的技术。例如D.H.Albonesi 提出的根据Cache 资源能够配置相联度的Cache 结构，是一种垂直方向上的Cache 分区模式。K.Ghose 和M.B.Kamble 提出了水平方向上的Cache 分区模式：内存分区技术，将数据Cache 的数据分区垂直分为多个子分区subbank ，在相应的TAG 命中时只打开部分子分区读写数据，从而节省不必要的功耗开支。

R.Balasubaramonian 等人提出了一种可重构cache 体系结构[1]

。他们将Cache 分为4个子分区subarray ，每个子分区内部为4路组相联。通过选择激活不同的子分区个数以及子分区内不同的路数，可以重构出一系列不同容量和关联度的L1Ca-che ，未激活部分作为L2，在L1未命中时被激活以进行访问。根据程序运行的状态，可以动态的调整L1的容量和关联度，以取得性能与功耗之间的平衡。

除了数据的空间与时间局部性之外，J.Yang 和R.Gupta 等人对高频值局部性进行了研究[2]。他们发现在存储器访问中，少数高频率出现的数据值占据了分配给程序的很大一部分内存区域，高频率数据值在整个存储空间中的分布也比较均匀。对于同一个程序，在整个运行过程中其高频率数据值集保持着相当的稳定性。另一方面，不同的程序之间高频率数据值集的差异又较大。基于高频值局部性，J.Yang 和R.Gupta 提出一种低功耗的Cache 结构[3,4]，在读写Cache 的过程中，对高

收稿日期：2006-03-26E-mail ：binxiao@https://www.360docs.net/doc/0f2703023.html,

作者简介：肖斌(1982－)，男，山东泰安人，硕士研究生，研究方向为嵌入式系统；方亮，男，硕士研究生；柴亦飞，男，硕士研究生；陈章龙，男，教授；涂时亮，男，教授。

低功耗的可重构数据Cache 设计

肖

斌，方亮，柴亦飞，陈章龙，涂时亮

(复旦大学计算机科学与工程系，上海200433)

摘

要：

在嵌入式处理器中，Cache 功耗所占的比重越来越大。提出了一种可重构的低功耗数据Cache ，能够利用程序运行过程中的空间和时间局部性以及高频数据值局部性来节省功耗。Mibench 和Mediabench 的仿真结果表明，对于多媒体应用为主的测试程序，采用基于高频值的可重构低功耗数据Cache 与普通Cache 相比，平均能量消耗降低34.45%，平均能量延迟乘积降低27.50%。

关键词：

可重构;高速缓存;高频数据值;低功耗设计;嵌入式系统中图法分类号：TP333文献标识码：A 文章编号：

1000-7024(2007)07-1508-03Low power reconfigurable data cache design

XIAO Bin,

FANG Liang,

CHAI Yi-fei,

CHEN Zhang-long,

TU Shi-liang

(Department of Computer Science and Technology,Fudan University,Shanghai 200433,China )

Abstract ：Caches compose larger and larger proportion in the power consumption of embedded processors.A low-power reconfigurable data design based on locality and frequent value locality is investigated.Mibench and Mediabench simulation results indicate that,com-pared with the frequent-value reconfigurable data cache and the normal data cache,the average energy consumption decreases 34.45%,while the average energy delay production improves 27.50%.

Key words ：reconfigurable;cache;frequent value;low power design;embedded system

2007年4月计算机工程与设计

Apr.2007

第28卷第7期Vol.28

No.7

Computer Engineering and Design

频率出现的数据值进行压缩存储，从而

减少Cache访问的功耗。本文提出了一

种基于高频数据值的可重构数据Cache，

将空间与时间局部性和高频数据值局部

性相结合。一方面，可以根据程序特性

动态调整Cache的容量和关联度；另一方

面，基于高频值局部性对数据压缩存储，

进一步降低功耗。

1基于高频数据值的可重构数据

Cache设计

数据的空间和时间局部性是当前内

存系统优化时经常要考虑的特性，但是

当前普遍存在的一个问题是传统内存结

构对数据局部性的优化无法最好的适应

每个应用程序，在执行多个程序时，由于

程序的内存要求和内存系统的实现之间

的不匹配，不可避免的会存在明显的性

能降低和功耗损失现象。如果采用可重构的Cache和相应的

重构算法，能够有效地提高内存系统的性能和功耗表现。而

另一方面，高频值局部性与数据的空间和时间局部性之间相

互独立，因而可以与可重构Cache设计相结合，在可重构Cache

利用高频值局部性对数据进行压缩存储，进一步降低功耗。在

实现中，我们将阶段性的监测Cache的活动(失效率和分支频

率)，通过动态权衡命中延迟和失效延迟的容忍度来调整Cache

结构，在重构算法中我们加入功耗考虑，并且在Cache内部实

现中还考虑了对高频率数据局部性的优化，这些设计对上述

两种数据局部性都进行了处理，能够在对性能影响较小的情

况下取得很好的功耗节省。

1.1系统设计

以32KB的数据Cache为例，Cache被分为4个8KB的

SRAM子分区。我们对基本的Cache结构做了一定的改动：增

加了Cache配置动态选择器(cache configuration dynamic selec-

tor，CCDS)，使之支持动态配置；还增加了高频值查找器(fre-

quent value finder，FVF)和高频值解码器(frequent value decoder，

FVD)，并将Cache内部的数据总线分为低位总线和高位总线

两部分。使之支持高频值的压缩存储。图1给出了整个Cache

的总体设计和功能模块，有两个地址位作为子分区选择位，在

每次访问中只有被选定子分区可以打开，其它子分区都将自

己的字选择线关闭，其预充电、读出放大器以及输出驱动线路

都将不再被激活，从而节省了其它分区的功耗。

每个子分区为4路组相联，每一路都由标示区(TAG ar-

rary)、低位数据区和高位数据区组成。假设采用n个数据的高

频值编码，n为2的幂，那么其中低位数据区存储log2n位高频

值编码或者非高频值数据的低log2n位，以及1位标示是否高

频值的有效位，共log2n+1位；高位数据区存储非高频值数据

的高32-log2n位。低位区和高位区的数据将被分别传送到低

位总线和高位总线上。图1的Subarray0详细给出了子分区

的结构和功能模块。一方面，可以有选择的打开某几路Cache

访问；另一方面，对高频值数据的读写只需访问标示区和低位

数据区，并将低位数据送到低位总线，而不需要访问高位数据

区和高位总线，因此可以节省功耗。

1.2运行机制

基于高频值的可重构Cache的运行过程可以分解为相对

独立的两类活动，一方面基于数据的时间和空间局部性，对

Cache的配置进行动态的重构；一方面基于高频值局部性，对

高频数据进行压缩存储。

1.2.1ache的动态重构

根据CCDS所选择的Cache配置，我们将整个Cache分成

了两级：La/Lb，这种分级方式同传统的L1/L2两级Cache结构

不同，La为由配置所选择的某几个ESubarray中的某几路Ca-

che，Lb是由La和其它数据区构成的(即La属于Lb的一部分)。

当进行读操作时，首先将访问La，当La命中时就直接返回。

只有在La访问失效时，才会将所有数据区打开。La Cache越

大，其命中率会越高，同时复杂度的增加也会带来访问时间的

提高，相应增加每次访问La的功耗，而命中率的提高却也可

能会节省整体的功耗损失；不同的应用程序，比如商业程序与

嵌入式多媒体程序，也会受到La配置变化产生不同影响。

为了获得在功耗和性能上最佳的La配置，我们设计了针

对多媒体应用的CCDS算法，通过历史信息来选择合适的La

配置变化。CCDS中包含了一定周期内Cache的访问信息，如

指令计数器、访存计数器、La失效计数器等。每次Cache访问，

都会更新CCDS的相应计数器。而CCDS会被周期性的激活，

进入重构阶段，判断Cache失效率是否超出预定范围，并据此

调整配置。其重构决策算法如下：

if(l1miss

cache_size--;

if(l1miss>HIGH_BOUND&&cache_size!=MAX_SIZE)

cache_size++;

1.2.2高频值数据的压缩存取

为了利用高频值数据来进行压缩存取，首先需要发现高

频值。这里我们使用FVF在最初的若干条指令的执行过程中

对高频值进行寻找。虽然通过计数和排序得到的高频值最准

图1可重构低功耗Cache的总体设计和功能模块

High-Bit Bus

Data Bus

Way0

Virtual Data Address

Subarray0

CCDS

Module

FV

Decoder

Register

File Low-Bit Bus

Subarray1Subarray2Subarray3

FV Finder

TAG Low-Bit High-Bit

Way1

Way2

Way3

TAG Index offset

确，但是开销大，实现复杂，因此采用数据交换机制来实现近似的排序算法，寻找使用频率最高的前32个高频值。数据被分为两个分区：高频率分区和次高频率分区，每个分区有32项数据，共有64项，每项都包含一个两位的计数器，初始为00。在监测阶段，如果访问数据同CAM 中的第i 项匹配，其计数器将增加1，当计数器饱和(即由11变为00)时，第i 项将同第i-1项交换Counter 和数据；如果没有找到匹配的项，则填入第64项，并将其Counter 置为00。当监测阶段结束时，高频率分区中的32项数据将依照CAM 编码成5位，并将这32项数据复制到FVD 的相应位置。

在找到32项高频值之后，对数据的存取也就依照是否为高频值分为两类：一类为高频值数据，存取时只需要访问低位区，占用5位的编码和1位有效位(置为1)共6位存储空间；另一类为非高频数据，访问时需要访问低位区，存放数据的前5位和1位有效位(置为0)，以及高位区，存放数据的后32位。如图2所示。当进行写操作时，数据首先经过FVF 进行编码，如果为高频值，则将有效位至1，并将5位高频值编码和有效位送入低位总线，写入低位区；如果不是高频值，则将有效位至0，并将数据的低5位和有效位送入低位总线，写入低位区，然后将数据的高27位送入高位总线，写入高位区。当进行读操作时，首先读出低位区数据，送入低位总线，当有效位为1时，将低位区的5位编码送入FVD ，解码出32位高频值送入外部数据总线；当有效位为0时，再打开高位区，读出高位去数据送入高位总线，与低位总线上的低5位合并成32位数据，送入外部数据总线。

2

实验与数据分析

2.1

模拟方法

我们主要采用模拟的方法在性能和功耗上对可重构Ca-che 进行估算。我们使用Sim-Panalyzer 2.0[5]

和ARM 架构的

CPU 进行仿真模拟，并采用存储器模拟工具CACTI [6]

对Cache 子系统的功耗和延迟进行估算。Sim-Panalyzer 是目前常用的CPU 功耗模拟器，它建立在SimpleScalar [7]

的基础上，它对功耗的估算也是基于CACTI 。我们首先对Sim-Panalyzer 的Cache 部分的实现进行了修改，使之能够支持基于高频值的可重构数据Cache 。为了计算功耗，我们采用0.18um 工艺，200MHz 工作频率和1.8V 工作电压的配置进行模拟。我们修改了CAC-TI ，使之能够支持基于高频数据值的可重构数据Cache ，与传统Cache 向比较，对两者的功耗和延迟分别进行估算。我们设置了一个32KB 高频值的可重构数据Cache ，共有4个8KB 子分区，每个子分区为4路组相联，每路2KB ，并设置了8种

配置。对高频值采用5位高频值编码。另外，采用一个32KB 、4路组相联的普通数据Cache 进行对比。

2.2实验结果分析

我们针对嵌入式多媒体应用，选择了Mibench 和Media-

bench 作为测试程序，进行比较测试。高频值命中率与程序特性及寻找的到高频数据值是否合适有关。当高频值命中率降低时，会使延迟增加，功耗增长。对于基于高频值的可重构Cache ，其高频值命中率如图3所示，平均命中率为42.4%。除adpcm encoder 的命中率低于10%之外，其它都在20%以上。

La 的命中率一方面与程序特性有关，另一方面与重构决策算法也有很大关系。当选择的La 大小正好可以容纳经常访问的数据集时，命中率上与传统Cache 相差无几，而功耗则大大降低。当La 不能容纳数据集时，数据就会频繁换出，极大的影响性能和功耗。此时就会引发重构操作。可重构Cache 与普通Cache 命中率比较如图4所示。第一列为可重构Cache 的La 命中率，第二列为整个可重构Cache 的命中率，第三列为普通Cache 的命中率。对于大部分测试程序而言，La 命中率与普通Cache 命中率相差很小，基本上都在1%以内。只有少数几个超过2%，如jpeg encoder 等。

我们采用正规化的延迟来衡量可重构Cache 在性能上的损失。延迟是由两方面的原因引起的，一方面是由于La Cache 失效引起的，另一方面是由于高频值失效引起的。各个程序的正规化延迟如图5所示，平均延迟为0.0995。其中最高的是dijkstra 程序，正规化延迟达到0.22，这主要与其高频值命中率较低，同时La 命中率与普通Cache 命中率相差较大有关。另外，我们采用正规化的能量消耗来衡量可重构Cache 在能耗上的节省。同样，能量消耗的减少也由两方面原因引起：一方面，当命中高频值时，只需要访问低位区，不需要访问高位区；另一方面La 通常只占整个Cache 的一部分，因而每次命中La 时只需要访问一部分Cache 。各个程序正规化的能量消耗

(下转第1707页)

图3高频值命中率

图4可重构Cache 与普通Cache 命中率比较

La Hit Rate

New Hit Rate Original Hit Rate

c r c

d i j k s t r a

f f t

l a m e

m a d

q u i c k s o r t

p a r t i c i a

r i j i n d a e l

r s y n t h

s h a

s u s a n

t i f f 2b w

t i f f 2r g b a t i f f m e d i a n

a d p c m d e c o d e r

a d p c m e n c o d e r

e p i c d e c o d e r

e p i c e n c o d e r

g 721d e c o d e r

g 721e n c o d e r

j p e g d e c o d e r

j p e g e n c o d e r

m p e g 2d e c o d e r

p e g w i t d e c r y p t i o n

s t r i n g s e a r c h

FV Hit Rate

b i t

c o u n t

b l o w f i s h

c r c

d i j k s t r a

f f t

l a m e

m a d

q u i c k s o r t

p a r t i c i a

r i j i n d a e l

r s y n t h

s h a

s u s a n

t i f f 2b w

t i f f 2r g b a

t i f f m e d i a n

a d p c m d e c o d e r

a d p c m e n c o d e r

e p i c d e c o d e r

e p i c e n c o d e r

g 721d e c o d e r

g 721e n c o d e r

j p e g d e c o d e r

j p e g e n c o d e r

m p e g 2d e c o d e r

p e g w i t d e c r y p t i o n

s t r i n g s e a r c h

70

%60%50%40%30%20%10%0%

图2对高频率数据进行优化的Cache 数据区

传统的Cache 数据区

高频率数据优化的Cache 数据区

通常需要一个周期的访问时间

通常需要一个周期的访问时间

通常需要多个周期的访问时间

(对于非高频率数据)高位区

低位区

32Log

n 32-Log

与二维工程图相互转换实验(培养学生的投影能力)；⑤部件的组装和运动仿真实验(培养学生的工程综合素质)。

4结束语

从现代工程设计模式出发，结合工程图学课程的发展趋

势，本文提出面向三维CAD 技术的工程图学教育的新模式，不仅可实现手工绘图向计算机绘图形式上的转变，而且将改变以画法几何为基本核心的传统教学观念，是更深层次的教学改革。这种改革更适应当前工程设计发展变化的需要，有利于培养学生的空间思维能力、图形表达能力和机械工程的素养，可以更好地适应科技、社会发展和知识经济时代人才培养的需要。

参考文献:

[1]

Ronald E Barr,Davor Juricic.The engineering design graphics (EDG )curriculum modernization project —A white paper sum-mary [C ].Austin Texas,USA:Proceedings of the NSF Sympo-sium on Modernization of the Engineering Design Graphics Cur-

riculum,1999.

[2]陈锦昌.工程制图课程由CG 主导式转向三维造型设计改革的思考[J ].工程图学学报,2002,23(5):76-80.

[3]江洪,吉维峰.运用三维绘图软件SolidWorks 改革工程图学教学的实践[J ].工程图学学报,2004,25(1):109-113.

[4]杨光,黄毓瑜,刘静华,等.突出设计和三维的观点改革工程制图图学教学[J ].工程图学学报,2002,23(2):150-156.

[5]陈帜坤,尧燕.现代工程图学教育中的十大问题[C ].北京:机械工业出版社,2004.19-23.

[6]王丹虹.机类本科生计算机造型和绘图技能培养[C ].北京:机械工业出版社,2004.163-165.

[7]王飞.以三维设计为中心的图学课程改革[C ].北京:机械工业出版社,2004.266-270.

[8]李世深.对工程图学教育若干热点问题的冷眼观察[C ].北京:机械工业出版社,2004.53-56.

[9]

戴恒震.当代美国工程图学教育对我国图学教改的启示[C ].北京:机械工业出版社,2004.81-85.

(上接第1510页)

如图5所示，平均为0.3445。我们可以看到，大部分程序的能量消耗减少了30%以上，最高的sha 将能耗减少了61%。但是，有少数几个程序能耗却增加了。这些程序的高频值命中率相对都不高，而且La 命中率与普通Cache 命中率相差较大。

为了评价Cache 的整体性能和功耗，我们采用正规化的能量延迟乘积。如图5所示，平均为0.2750。大部分程序的能量延迟乘积都在0.3以上，还有两个程序超过0.6。但是也有4个程序的能量延迟乘积小于0，意味着高频值的可重构Cache 对这些程序的优化并不成功，这主要是由于这些程序既不适合高频值优化，也不适合可重构优化造成的。

3结束语

本文提出了一种基于高频数据值的可重构数据Cache ，它

一方面对高频数据值进行压缩存取，另一方面动态的调整Ca-che 的大小，适应不同的程序，以降低功耗。这种Cache 能够适应大多数嵌入式多媒体应用，并且不需要修改处理器的整体架构和指令系统。使用Mibench 和Mediabench 测试程序进

行的仿真测试表明，对于多媒体应用为主的嵌入式应用程序，采用高频数据值的可重构数据Cache 与普通Cache 相比，平均能量消耗降低了34.45%，平均延迟增加仅9.95%，平均能量延迟乘积降低27.50%。

参考文献:

[1]

Rajeev Balasubramoniant,David Albonesit,Alper Buyuktosu-noglut,et al.Memory hierarchy reconfiguration for energy and performance in general-purpose processor architectures [C ].California,USA:33rd annual ACM/IEEE international sympo-sium on Microarchitecture,Monterey,2000.245-257.[2]

Jun Yang,Rajiv Gupta.Frequent value locality and its applica-tions [J ].ACM Transactions on Embedded Computing Systems,2002,(1):79-105.[3]

Jun Yang,Rajiv Gupta.Energy efficient frequent value data ca-che design [C ].Istanbul,Turkey:35th Annual IEEE/ACM Inter-national Symposium on Microarchitecture,2002.197-207.[4]

Chuanjun Zhang,Jun Yang,Frank Vahid.Low static-power fre-quent-value data caches [C ].Paris,France:Design,Automation and Test in Europe Conference and Exhibition,2004.210-215.[5]Sim-Panalyzer [EB/OL ].https://www.360docs.net/doc/0f2703023.html,/~panaly-zer/.

[6]CACTI [EB/OL ].https://www.360docs.net/doc/0f2703023.html,/wrl/people/jouppi/CACTI.html.

[7]SimpleScalar [EB/OL ].https://www.360docs.net/doc/0f2703023.html,/.

[8]

Huang M,Renau J,Yoo SM,et al.L1Data cache decomposition for energy efficiency [C ].Huntington Beach,CA,USA:IEEE/ACM International Symposium on Low Power Electronics and Design,2001.10-15.

图5可重构Cache 与普通Cache 性能与功耗比较

Normalized Energy Redunction Normalized Delay

Energy-Delay Product Reduction

b e n

c h m a r k

b i t

c o u n t b l o w f i s h c r c

d i j k s t r a f f t l a m

e m a d p a r t i c i a q u i c k s o r t r i j i n d a e l r s y n t h s h a s u s a n t i

f f 2b w t i f f 2r

g b a t i f f m e d i a n e p i c d e c o d e r e p i c e n c o d e r g 721d e c o d e r g 721e n c o d e r j p e g d e c o d e r j p e g e n c o d e r p e g w i t d e c r y p t i o n

m p e g 2d e c o d e r a d p c m d e c o d e r a d p c m e n c o d e r 0.70.60.50.40.30.20.10-0.1-0.2-0.3