QDMTree支持数据流频繁更新的Cache敏感索引

２５卷第９期２００８年９月

微电子学与计算机

ＭＩＣＲｏＥＬＥ明ＲＯＮＩＣＳ＆ＣＯⅧｍＲＶｄ．２５Ｎｏ．９

Ｓｅｐｔｅｍｂｅｒ２００８

ＱＤＭ—Ｔｒｅｅ：支持数据流频繁更新的Ｃａｃｈｅ敏感索引苏亮，王博，邹鹏，贾焰，杨树强（国防科技大学计算机学院，湖南长沙４１００７３）

摘要：随着硬件和通信技术的飞速发展，数据流技术已广泛应用于金融分析、网络监控及传感器网络等诸多领域，这类应用通常具有高速、海量、连续和实时等特性．因此，在数据流上渐进、实时地更新索引成为一个极具价值和挑战性的问题．为了克服现有支持频繁更新的索引树性能大都深受处理器缓存失效率的影响，提出了一种新颖的基于双Ｍｅｍｏ的量化Ｒ＊索引树一０ＤＭ－Ｔｒｅｅ（ＱｕａｎｔｉｚｅｄＲ＊一ｔｒｅｅｗｉｔｈＤｏｕｂｌｅ

Ｍ嘲），并给出了相应的插入、删

除、更新和范围查询算法，理论分析表明：与已有Ｒ＊树及其变种相比，该索引树能成倍地压缩树结点，具有更强支持频繁更新的静力．关键词：频繁更新；Ｃａｃｈｅ敏感；索引树；数据流中图分类号：什３９３文献标识码：Ａ文章编号：１０００—７１８０（２００８）０９—０１９３—０３

ＱＤＭ－Ｔｒｅｅ：ＣａｃｈｅＣｏｎｓｃｉｏｕｓＩｎｄｅｘｉｎｇ

ｆｏｒＦｒｅｑｕｅｎｔＵｐｄａｔｅｓｏｖｅｒ

Ｄａｔａ

Ｓｔｒｅａｍｓ

ＳＵＬｉａｎｇ，ＷＡＮＧ１３０，ＺＯＵＰｅｎｇ，ＪＩＡＹａｈ，ＹＡＮＧＳｈｕ—ｑｉａｎｇ

（ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ，ＮａｔｉｏｎａｌＵｎｉｖｅｒｓｉｔｙｏｆＤｅｆｅｎｓｅＴｅｃｈｎｏｌｏｇｙ，Ｃｈａｎｇｓｈａ４１００７３，Ｃｈｉｎａ）

Ａｂｓｔｒａｃｔ：Ｅｍｅｒｇｉｎｇｈａｒｄｗａｒｅａｎｄｃｏｍｍｕｎｉｃａｔｉｏｎｔｅｃｈｎｏｌｏｇｉｅｓｅｎａｂｌｅｄａｔａｓｔｒｅａｍｔｅｃｈｎｉｑｕｅｓｗｈｉｃｈｈａｖｅｂｅｅｎａｐｐｌｉｅｄｉｎ

ｗｉｄｅｓｐｒｅａｄｆｉｅｌｄｓｓｕｃｈａｓｆｉｎａｎｃｉａｌａｎａｌｙｓｉｓ，ｎｅｔｗｏｒｋｍｏｎｉｔｏｒｉｎｇ，ａｎｄｓｅｎｓｏｒｎｅｔｗｏｒｋ，ｅｔｃ．Ｔｈｅｓｅａｐｐｌｉｃａｔｉｏｎｓｇｅｎｅｒａｌｌｙｈａｖｅｔｈｅｃｈａｒａｃｔｅｒｉｓｔｉｃｓ：ｈｉｇｈｓｐｅｅｄ，ｍａｓｓｉｖｅｑｕａｎｔｉｔｙ，ｃｏｎｔｉｎｕｏｕｓａｎｄｒｅａｌｔｉｍｅ．Ｓｏ，ｕｐｄａｔｉｎｇｉｎｄｅｘｉｎａｐｒｏｇｒｅｓｓｉｖｅａｎｄｒｅａｌ—ｔｉｍｅｆａｓｈｉｏｎｂｅｃｏｍｅｓａｍｅａｎｉｎｇｆｕｌａｎｄｃｈａｌｌｅｎｇｉｎｇｐｒｏｂｌｅｍｏｎｄａｔａｓｔｒｅａｍｓ．Ｔｏｃｏｎｑｕｅｒｔｈｅｈｉｇｈｃａｃｈｅｍｉｓｓｒａｔｉｏｏｆｅｘｉｓｔｅｄｉｎｄｅｘｔｒｅｅｆｏｒｆｒｅｑｕｅｎｔｕｐｄａｔｅｓ，ｔｈｉｓｐａｐｅｒｐｒｏｖｉｄｅｓｆｌｎｏｖｅｌＱＤＭ－ｔｒｅｅ（ＱｕａｎｔｉｚｅｄＲ＊一ｔｒｅｅｗｉｔｈＤｏｕｂｌｅＭｅｍｏｓ），

ａｎｄｃｏｒｒｅｓｐｏｎｄｉｎｇｉｎｓｅｒｔ，ｄｅｌｅｔｅ，ｕｐｄａｔｅａｎｄｒａｎｇｅｑｕｅｒｙａｌｇｏｒｉｔｈｍｓ．ＴｈｅｏｒｅｔｉｃａｌａｎａｌｙｓｉｓｄｅｎｘｍｓｔｒａｔｅｓｔｈａｔｔｈｅＯＤＭ－

ｔｒｅｅｓｉｇｎｉｆｉｃａｎｔｌｙｏｕｔｐｅｒｆｏｒｍｓｏｔｈｅｒｓｔａｔｅｏｆｔｈｅａｒｔＲ－ｔｒｅｅｖａｒｉａｎｔｓ，ｉｔｃａｎ００ｍｐｒｅｓｓｔｈｅｔｒｅｅｎｏｄｅｓｔｏｓｅｖｅｒａｌｔｉｍｅｓａｎｄ

ｉ／ｌｏｒｅｓｕｉｔａｂｌｅｆｏｒｍａｓｓｉｖｅｆｒｅｑｕｅｎｔ

ｕｐｄａｔｅｓ．

Ｋｅｙｗｏｒｄｓ：ｆｒｅｑｕｅｎｔｕｐｄａｔｅ；ｃａｃｈｅｃｏｎｓｃｉｏｕｓ；ｉｎｄｅｘｔｒｅｅ；ｄａｔａｓｔｒｅａｍ

１引言近年来，随着网络通信和硬件技术的飞速发展，数据流技术在金融、网络、电信和军事等众多领域有着广泛的应用前景，同时给连续实时的数据流监控带来了新的契机，它已成为数据管理与数据挖掘领域的研究热点．例如：网络应用（入侵检测、网络监控）、金融服务（金融监控、点击流分析）、传感器网络（环境监测、交通拥塞控制），以及军事应用（士兵位置监控、车辆运动跟踪）等等．此类应用不问断地产生海量的流数据，通常具有以下特点：（１）数据总量的无限性；（２）数据产生的快速性；（３）数据值的不可预测性；（４）数据分布且具有不断演化性；（５）除非特意保存，数据均只能被处理一次．通常，数据流Ｓ为无界序列ｓ１，ｓ２，…，％，…，其中每个元素可形式化表示为一个三元组：（ｏｉｄ，Ｔ，Ｐ），ｏｉｄ为该数据ＩＤ，Ｔ为该数据产生的时问，Ｐ为多维空间数据值，比如ＧＰＳ监控中，车辆的坐标位置．

收稿日期：２００８—０６—１５基金项目：国家“八六三”计划项目（２００６ＡＡ０１２４５１，２００６ＡＡｌ０２２３７）１９４微电子学与计算机２００８芷

现有的空间索引主要是Ｒ—ｔｒｅｅ及其变种，该类索引树原本是为静态数据设计的，很难适用于频繁更新的数据流应用中．一次更新操作可当作一次删除和一次插入操作的组合．因此，大量的研究主要集中在如何提高索引的删除和插入性能上．随着硬件技术的发展，特别是大容量内存的广泛使用，内存成本持续下降，其价格已低于１５０元／ＧＢ，２ＧＢ甚至更大内存的硬件系统已得到广泛应用，文中针对数据流的频繁更新问题，充分发挥大容量内存的速度优势，提出了一种新颖的索引结构：ＱＤＭ－ｔｒｅｅ．（１）针对现有索引树的Ｃａｃｈｅ失效率高，设计了一种将量化最小边界矩形（ＱｕａｎｔｉｚｅｄＭｉｎｉｍｕｍＢｏｕｎｄｉｎｇＲｅｃｔａｎｇｌｅ，ＱＭＢＲ）和量化最小边界圆（ＱｕａｎｔｉｚｅｄＭｉｎｉｍｕｍＢｏｕｎｄＳｐｈｅｒｅ，Ｑ№Ｓ）相结合的Ｒ＊一ｔｒｅｅ变种：ＱＲ＊一ｔｒｅｅ，它能更好地发挥Ｃａｃｈｅ的性能．（２）为提高索引的更新性能，提出了双Ｍｅｍｏ数据结构（ｉｎｓｅｒｔ／ｄｅｌｅｔｅｍｅｎｌｏｓ），Ｍｅｍｏ为存放于内存中的摘要结构，通常为哈希表，能快速定位数据结点，减少索引遍历的开销，同时，惰性的组删除（１ａｚｙｇｒｏｕｐｄｅｌｅｔｉｏｎ）算法增强了索引删除的性能．（３）为了充分发挥大内存的优势，使用ＲａｍＤｉｓｋ技术，它将一部分内存转换成独立的磁盘分区，从而将访问外存的开销转化为访问内存的开销．（４）理论分析表明，ＱＤＭ—ｔｒｅｅ远高于其他支持频繁更新的Ｒ—ｔｒｅｅ变种．２相关工作根据对索引的操作方向来划分，总体上可分为两类：ｔｏｐ－ｄｏｗｎ和ｂｏｔｔｏｍ—ｕｐ方法．许多Ｒ—ｔｒｅｅ…变种（比如，Ｒ＊一ｔｒｅｅ［２｜，ＣＲ．ｔ－ｅｅ【３Ｊ等等）都是采用ｔｏｐ—ｄｏｗｎ方法，插入和删除操作都是从索引树的根部开始，根据搜索策略找到相应的数据结点，再对其进行插入和删除，该类方法在遍历索引上存在比较高的开销，很难应对频繁的数据更新．因此，研究人员提出了ｂｏｔｔｏｍ－ｕｐ方法，主要包括ＬＵＲ—ｔｒｅｅ【４Ｊ和ＦＵＲ－ｔｒｅｅ【５Ｊ５．该类索引采用一个二级索引结构，比如直接访问表或哈希表，其中保存ｏｉｄ到索引树数据结点的映射，从而数据的访问先查找该表，如果该数据标示ｏｉｄ存在于该表中，则能直接找到该数据保存在索引树中的位置，从而提高了索引的更新性能．另一方面，ｃａｃｈｅ敏感的索引树主要包括ＣＳＢ＋一ｔｒｅｅ和ＣＲ－ｔｒｅｅｔ５Ｊ，前者是对Ｂ－ｔｒｅｅ的改进，后者是对Ｒ．ｔｒｅｅ【１Ｊ的改进．这两类算法通过树结点压缩技术（指针删除、去掉标准Ｒ．ｔｒｅｅ的冗余项或结点数据量化技术等）增加树结点存储数据项的容量，降低树的高度，并将结点大小控制到与ＣＰＵ的Ｌ２ｃａｃｈｅｌｉｎｅ基本一致，从而极大地降低了ｃａｃｈｅ的失

效率，但这两种索引树仍然是ｔｏｐ－ｄｏｗｎ的更新方式，难以适应数据流频繁更新的场景．近年，ＲＵＭ．ｔｒｅｅ【６Ｊ采用基于Ｍｅｍｏ的机制，将对索引的所有操作都记录在该Ｍｅｍｏ中，并对该Ｍｅｍｏ进行定期的垃圾回收，删除过时的操作记录，然而，该索引树仍然是ｔｏｐ－ｄｏｗｎ的更新方式，存在插入／胛Ｊ除时对树的遍历开销．Ｂｉｖｅｉｎｉｓ【７ｊ等人设计了一种ＲＲ．ｔｒｅｅ，该树包括一棵主存Ｒ—ｔｒｅｅ和一棵传统的基于磁盘的Ｒ．ｔｒｅｅ，虽有效地发挥了大内存的优势，但同时对两棵树的维护势必增加算法的复杂性，不利于大规模数据的并发控制．

３ＱＤＭ—ｔｒｅｅ的设计动机为了支持数据流的频繁更新，降低索引树的搜索和遍历的时间开销就成为首要任务，同时，需更多的考虑大容量内存在提高索引性能中的重要地位．通常，一次索引树搜索的时间开销Ｔ—ｈ可近似地

表述为如下公式：Ｔ。ｈ兰Ｔ∞＋Ｔ幽＋丁，ｒＬＢ

Ｗｗ兰咒×赤×￡唧＋，ｚ×，×￡ｃ∞ｈｅ＋

，ｚ×ｔＴＬＢ（１）式中，Ｔ一为索引树的比较时间，Ｔ。。ｃｈｅ为ＣＰＵＬ２ｃａｃｈｅ失效时间，ＴＴＬＳ为快表（ＴｒａｎｓｌａｔｉｏｎＬｏｏｋａｓｉｄｅＢｕｆｆｅｒ）失效的时问．更细化分析可得，，ｚ为一次搜索访问的索引结点数，ｗ为树结点字节数，ｄ为索引数据维度，Ｅ为每维数据所占的存储字节数，￡一为一次数据比较的时间，ｃ为Ｌ２ｃａｃｈｅｌｉｎｅ的字节数，现在流行的ＣＰＵｃａｃｈｅｌｉｎｅ通常为３２～１２８字节．因此，文中的目标就是尽量地减少索引的搜索时间，上述公式包括四个重要的参数：咒，Ｅ，ｔｅｏｍｐ和ｔＴＬＢ．因此，文中有针对性地给出四项技术：（１）量化索引树结点（包括非叶结点和叶结点）和双Ｍｅｍｏ结构降低参数咒；（２）ＱＭＢＳ和ＱＭＢＲ技术相结合

减少Ｅ；（３）无需解压的距离计算方法降低￡一；（４）ＲａｍＤｉｓｋ技术将ｔＴＨ３失效时间转换为内存访问开销．后续章节将逐一阐述四项技术．

４ＱＤＭ—ｔｒｅｅ索引结构及相关算法本节将详细介绍ＱＤＭ—ｔｒｅｅ的索引结构及相应