数据依赖约束下的任务调度资源选择算法_廖彬

目标的资源选择方法通常需要根据不同任务的 QoS 需求进 行不同的处理， 当任务量巨大时， 任务调度算法本身需要进行 大量的计算， 并且依赖于用户对 QoS 要求的描述， 而在真实 的环境中某些 QoS 指标往往难以精确获得 。 基于以上考虑， 结合实际的分布式存储环境与任务执行的特点， 本文提出一 种数据依 赖 约 束 下 的 最 优 资 源 选 择 算 法 （ Optimal Ｒesource Selection algorithm with DataDependent Constraints，OＲS2DC） 。 算法简化了传统以 QoS 保障为目标的资源选择方法， 在满足 任务数据依赖约束的前提下为任务选择最优的资源 。 同时， 与 Hadoop 中 现 有 离 请 求 者 最 近 和 随 机 选 择 算 法 相 比， OＲS2DC 都能够选择出最优（ 资源函数ቤተ መጻሕፍቲ ባይዱ价值最大） 的资源节 点。
*
Abstract: Like MapＲeduce， tasks under big data environment are always with datadependent constraints． The resource selection strategy in distributed storage system trends to choose the nearest data block to requestor， which ignored the server's resource load state， like CPU， disk I / O and network， etc． On the basis of the distributed storage system's cluster structure， data file division mechanism and data block storage mechanism， this paper defined the clusternode matrix， CPU load matrix， disk I / O load matrix， network load matrix， filedivisionblock matrix， data block storage matrix and data block storage matrix of node status． These matrixes modeled the relationship between task and its data constraints． And the article proposed an optimal resource selection algorithm with datadependent constraints ( OＲS2DC ) ， in which the task scheduling node is responsible for base data maintenance， MapＲedcue tasks and data block read tasks take different selection strategies with different resourceconstraints． The experimental results show that， the proposed algorithm can choose higher quality resources for the task， improve the task completion quality while reducing the NameNode's load burden， which can reduce the probability of the single point of failure． Key words: big data computing; distributed storage system; task scheduling; data model; resource selection
如何更好地管理和利用大数据已经成为普遍关注的话 题， 大数据的规模效应给数据存储 、 管理以及数据分析带来了 ［1 ］ 极大的挑战 。大数据环境下的数据处理需要分布式数据 存储系统提供的数据存储服务， 目前比较著名的分布式存储 ［2 ］ HDFS （ Hadoop 系统有 Google 的 GFS （ Google File System ） ， Lustre、 MooseFs 以及清华大学自主 Distributed File System）［3］ 、 研发的 CarrierFS 等。其中：GFS 管理着 Google 公司百万服务
Journal of Computer Applications 计算机应用，2014，34( 8) : 2260 － 2266 文章编号：1001-9081 （ 2014 ） 08-2260-07
ISSN 1001-9081 CODEN JYIIDU
2014-08-10 http: / / www． joca． cn doi：10． 11772 / j． issn． 1001-9081． 2014． 08． 2260
摘
现有的分布式存储系统任务 要：大数据环境下的计算任务往往具有一定数据依赖性关系 （ 如 MapＲeduce ） ，
资源选择策略选择离请求者最近的数据块响应服务 ， 忽略了对数据块所在服务器 CPU、 磁盘 I / O 与网络等资源负载状 CPU 负载矩阵、 态的考虑。在分析研究系统集群结构 、 文件分块、 数据块存储机制的基础上 ， 定义了集群节点矩阵 、 磁 盘 I / O 负载矩阵、 网络负载矩阵、 文件分块矩阵、 数据块存储矩阵与数据块存储节点状态矩阵 ， 为任务与数据之间的依 ， （ OＲS2DC ） 。 赖性构建了基础数据模型 提出了一种数据依赖约束下的最优资源选择算法 任务调度节点负责维护基 MapＲeduce 任务与数据块读取任务由于依赖资源不同而采取不同的选择策略 。实验结果表明：所提算法能够 础数据， 为任务选择质量更高的资源 ， 提高任务完成质量的同时减轻了 NameNode 负担， 减小了单点故障发生的概率 。 关键词：大数据计算；分布式存储系统；任务调度；数据模型；资源选择 中图分类号： TP311 ； TP274 文献标志码：A
0
引言
层分布式文件系统， 由于能够部署在通用平台上， 并且具有可 扩展性、 低成本、 高效性与可靠性等优点使其在分布式计算领 域得到了广泛运用， 并且已逐渐成为工业与学术届事实上的 ［5 ］ 海量数据并行处理标准 。考虑到 HDFS 的开放性与其广泛 的运用， 本文选取了 HDFS 为研究对象。 大数据环境下的计 ［6 ］ 算任务往往具有一定数据依赖性关系（ 如 MapＲeduce ） ， 传 统的任务调度算法过多地考虑任务的多维服务质量（ Quality of Service，QoS） 需求， 这些算法运用到实际的大数据环境下 QoS 因子需求难以获得等问题的挑战 。 时， 受到算法复杂度、 考虑到现有任务调度资源策略（ 如 MapＲeduce） 选择离请求者 最近的数据块进行响应服务， 忽略了对数据块所在服 务 器
第8 期
廖彬等：数据依赖约束下的任务调度资源选择算法
2261
CPU、 本文提出一种 磁盘 I / O 与网络等资源负载状态的考虑， 新的分布式存储系统下的具有数据依赖关系的任务调度资源 选择算法。本文在分析研究存储系统的集群结构 、 文件分块、 CPU 负载矩阵、 数据块存储机制的基础上对集群节点矩阵 、 磁 盘 I / O 负载矩阵、 网络负载矩阵、 文件分块矩阵、 数据块存储 矩阵与数据块存储节点状态矩阵进行了定义， 为任务的数据 依赖性构建了数据模型 。根据 NameNode 的思想设计了任务 调度节点， 任务调度节点负责维护基础数据的同时为不同种 类的任务（ 如：MapＲeduce 任务、 数据块存储与读取等） 选择最 优的任 务 资 源 依 赖 映 射 方 案 。 新 的 任 务 调 度 算 法 在 优 化 HDFS 集群中资源的使用， 提高任务的完成质量的同时减轻 了 NameNode 负担， 减小了单点故障发生的概率 。
［4 ］ 器上的海量数据， 基于 GFS 的分布式数据库 BigTable 支撑 地图、 社交网络等服务； HDFS 作为 Hadoop 底 着 Goolge 搜索、
收稿日期：2014-02-20 ；修回日期：2014-04-15 。 60863003 ， 61063042 ） ；新疆维吾尔自治区自然科学基金资助项目（ 2011211A011 ） 。 基金项目：国家自然科学基金资助项目（ 61262088 ， 男， 四川内江人， 博士研究生， 主要研究方向：数据库、 云计算、 绿色计算； 于炯（ 1964 － ） ， 男， 北京人， 教授， 博士 作者简介：廖彬（ 1986 － ） ， 生导师， 博士， 主要研究方向：网络安全、 网格与分布式计算； 张陶（ 1988 － ） ， 女， 新疆乌鲁木齐人， 硕士， 主要研究方向：分布式计算、 网格计算； 男， 新疆乌鲁木齐人， 博士研究生， 主要研究方向：分布式计算、 网格计算与推荐系统。 杨兴耀（ 1984 － ） ，
Task scheduling and resource selection algorithm with datadependent constraints
LIAO Bin1 ， YU Jiong2 ， ZHANG Tao3 ， YANG Xingyao2
( 1 ． College of Statistics and Information， Xinjiang University of Finance and Economics， Urumqi Xinjiang 830012 ， China; 2 ． School of Software， Xinjiang University， Urumqi Xinjiang 830008 ， China; 3 ． Medical Engineering College， Xinjiang Medical University， Urumqi Xinjiang 830011 ， China)