基于共享存储的MPP数据库连接执行研究

第44卷第6期V o l.44N o. 6计算机工程C om puter Engineering2018年6月June 2018•先进计算与数据处理•文章编号：1000-3428(2018)06-0024-05文献标志码：A中图分类号：TP391基于共享存储的M PP数据库连接执行研究孙庆鑫\雷迎春2，龚奕利1(1.武汉大学计算机学院，武汉430072; 2.北京达沃时代科技股份有限公司，北京100020)摘要：为解决哈希分布表转换为随机分布表后连接效率低的问题，提出一种大规模并行处理数据库中哈希表的 并行连接操作算法。

根据共享存储环境下哈希分布表的数据块分布特性，并结合随机读取的扫描优势，利用数据 多副本分布式存储提高本地读比率，且不损失数据块哈希分布的特性。

T P C-H标准测试结果表明，与传统并行连 接算法相比，该算法能有效提高连接操作效率，连接查询语句最高可降低30%的响应时间。

关键词：连接操作；并行连接；大规模并行处理；大数据；在线分析处理中文引用格式：孙庆鑫，雷迎春，龚奕利.基于共享存储的M P P数据库连接执行研究[J].计算机工程，2018，44(6): 24-28.英文引用格式：SUN Q ingxin,L E I Y ingchun, GONG Yili. Research on MPP database connection execution based on shared storage[ J]. Computer Engineering ,2018 ,44 (6) ：24-28.Research on MPP Database Connection Execution Based on Shared StorageSUN Q ingxin1,L E I Y ingchun2, G O N G Y ili1(1. Computer School,W uhan University,Wuhan 430072,China；2. Beijing Daowoo Time Technology Co. ,Ltd. ,Beijing 100020,China)[A b stra c t] In order to solve the problem of low connection efficiency after the Hash distribution table is converted into a random distribution table, a parallel connection operation algorithm for Hash tables in Massively Parallel Processor (M PP) database is presented. According to the data block distribution characteristics of the hash distribution table in the shared storage environm ent, combining with the scanning advantage of random reading, data multiple copies distributed storage is used to improve the local reading rate without losing the characteristics of data hash distribution. TPC-H standard test results show that compared with the traditional parallel connection algorithm, this algorithm can effectively improve the connection operation efficiency and reduce the response time of the connection query up to 30% .[K ey w ords] connection operation ; parallel connection; Massively Parallel Processing (M PP) ; big data; Online Analytical Processing( OLAP)D O I：10. 19678/j. issn. 1000-3428.0047104〇概述随着信息技术的发展和应用，在互联网浪潮下 产生了海量的数据，发掘海量数据下隐藏的价值成 为当前主要任务，于是对于海量数据的分析越来越 受到各行业的重视。

文献[1-3]阐述了大数据和在 线数据分析引擎的现状。

文献[4-6]讨论了在线数 据分析平台所面临的问题和诸多挑战。

文献[7 -10 ]主要介绍了被大量分析平台使用的Hadoop分布式 文件系统（HDFS)的系统特性以及关系型数据库中 连接操作的实现算法。

上述系统特性和算法可以加 速共享平台下连接操作的执行效率。

传统的大规模 并行处理(MPP)架构分析引擎是将计算资源和存储资源为同一单位进行并行，如文献[11]提到的 GreenplumDB架构，每个计算节点只负责处理存储在 本地的数据，这种架构借助哈希分布有着高吞吐量和 低查询延迟的优点，但是系统扩展性差。

文献[12]提 出的基于共享存储的MI>P数据仓库，是将用户海量 数据以关系型数据库中关系表的格式存储到H D F S 中，通过MI>P架构执行查询语句的在线数据分析平 台，它是一种将传统MI>P架构的计算和存储资源进 行分离的新型结构，即它的计算节点和存储节点可以 分别按需扩展。

在扩展性增强的同时，由于计算节点 读取的数据总不在本地，需要通过高延迟的网络读 取，导致查询处理速度变慢。

文献[12]提出可以通过 将哈希分布的数据表转换为随机分布可以获取大量基金项目：国家自然科学基金青年科学基金（61100020);国家自然科学基金面上项目（61572373)。

作者简介:孙庆鑫（1990—），男，硕士研究生，主研方向为分布式数据库、数据仓库技术；雷迎春,博士;龚奕利，副教授、博士。

收稿日期：2017-05-08 修回日期=2017-06-09 E-mail：qingxinwhu@ qq. com第44卷第6期孙庆鑫，雷迎春，龚奕利：基于共享存储的M P P数据库连接执行研究25的本地数据读取优势，加速查询的执行，但是由于失 去了数据记录分布的特性，导致连接效率较低。

在关 系型数据库中连接2个表有3种连接方式，其中的哈 希连接由于其具有较低的执行代价，并且适合传统流 水线类型的查询执行方式，在查询执行计划中被经常 使用。

文献[13 ]提出Hybrid Hash Join算法，该算法 用于改进普通Hash Join连接的执行效率，算法通过 最大限度地命中缓存，从而提高查询执行速度。

通过 以上分析发现，基于共享存储的M PP分析引擎存在 用户数据表的分布和连接执行方式之间的矛盾，导致 连接效率低下。

本文针对基于共享存储环境下的M PP数据库 分析引擎，提出一个高效的分类并行哈希连接(Classified Parallel Hash Join,CPHJ)操作符操作算 法。

在M PP环境下，一个查询语句的执行需要多个 逻辑查询执行进程同时执行，每个进程处理一个关 系表的部分数据。

CPHJ算法通过执行节点被查询 优化器分配的表数据块的哈希特性进行归类，并为 存在的每一类数据块集合启动相应的连接操作线 程，连接节点设有缓冲区用于保存中间临时结果。

1问题描述基于共享存储的MI>P分析引擎将数据读写操 作分配给分布式文件系统，引擎中的计算节点通过 客户端访问关系表。

在分布式文件系统中，一个关 系表A由数据块< A p A i，…，A… >组成，每个数据 块由存储在不同节点上的3个备份<A m，A n，A i2 > 组成。

M PP查询优化器根据集群计算资源和数据量 大小为每个查询语句分配不同数量的逻辑查询执行 节点（VSeg)。

一个关系表有2种分布方式：随机分 布和哈希分布。

哈希分布的关系表在逻辑上被划分 成了多个子文件，每个子文件的数据块被共享存储 系统分布到集群中。

查询优化器在哈希分布表上做 连接时为每个逻辑查询执行节点分配一个子文件。

随机分布在逻辑上是一个大文件，它的文件数据块 被查询优化器按照一定策略分配给执行节点VSeg，即查询优化器分配关系表文件数据块到逻辑执行进 程上时如果表是哈希分布，则分配单位是子文件，如果表是随机分布，则分配单位是数据块。

如表1所示，查询优化器为一个查询语句分配 了 8个执行节点< VSegl ~ VSeg8 >，A表数据具有 42个数据块，每个块用A i;.(0幻<42,0句•矣2)表 亦，其中，〖表亦块号，J'表亦备份号。

当表A为哈希 分布时，每个执行节点被分配一个完整的子文件，那 么就必须通过网络读取被分配的子文件的所有数据 块，而数据块分布在集群中，所以，扫描表操作具有 较高的读取代价。

因此，在基于共享存储的皿1^系 统中，查询优化器将哈希分布关系表按照随机分布 表对待，根据最大本地读取量原则为每个逻辑执行节点分配本地的数据块。

同时，因为数据块有3个备 份，如果一个逻辑执行节点所在的物理存储节点上 具有连续的数据块（不同数据块在同一物理节点有 备份），则分配连续的数据块。

这样可以减少扫描操 作符多次打开同一文件的系统消耗。

表1 A表数据块分配示例节点数据块1A l,0 + A2,l + A3,2 + A4,l +八5,〇+ A7，i2A6,l + A S,2 + A9,2 + A10,l 4'-^11,2 + -^12,1 + -^13,03A14,0 +A15,2 +A16,0 +A17,：l + A19,24A i s，〇+A20,2 +A21，0 +A22”l5八23,0 +A24,0 +A25,2 +A26，<〕+ A27，i+ A2S，26八29,0 +八3〇,2 +A31，〇+A32，:l + A33，27八34,0 +A35,2 +A36,〇+A39，:l8八37,〇+A3S，2 +A4〇,〇+A41”l + A42,2在查询优化阶段可以获取如表1所示的每个逻 辑执行节点所处理的数据块集合，当关系表体积变 大后每个逻辑执行节点会被分配大量的数据块，由于按照随机分布方式分配数据块，因此没有哈希关 系表数据块的分布特性，且只有一个进程在处理庞 大数据块的连接，这将导致在大量数据情况下执行 进程响应时间过长的性能问题。