一种基于资源估算的大数据系统任务调度策略
一种基于资源预取的Hadoop作业调度算法
一种基于资源预取的Hadoop作业调度算法
万兵;黄梦醒;段茜
【期刊名称】《计算机应用研究》
【年(卷),期】2014(031)006
【摘要】Hadoop原有的作业调度算法在任务级调度阶段均采用简单考虑数据本地性的任务分配策略,并不能保证良好的数据本地性,而相应的改进算法改进目标不一,也不完全适用于所有作业调度场合.针对以上问题,结合数据预取理念提出一种基于资源预取的作业调度算法.通过估算节点上正在运行任务的剩余执行时间,并与传输一个数据块所需时间进行比较,预选出待预取的候选节点;并从当前正在运行作业的未分配任务中选取非本地map任务作为待预取任务;最后,为该任务在候选节点上预取其所需数据.实验结果表明该改进算法有效地提高了作业的数据本地性,并在一定程度上减少了作业执行时间.
【总页数】5页(P1639-1643)
【作者】万兵;黄梦醒;段茜
【作者单位】海南大学信息科学技术学院,海口570228;海南大学信息科学技术学院,海口570228;海南大学信息科学技术学院,海口570228
【正文语种】中文
【中图分类】TP393;TP301.6
【相关文献】
1.一种Hadoop中基于作业类别和截止时间的调度算法 [J], 李曌;滕飞;李天瑞;杨浩
2.一种基于交互式的Hadoop作业调度算法 [J], 吴佳;苏丹;李环媛;袁卫国
3.一种Hadoop中基于改进遗传算法的作业调度算法 [J], 徐肖;胡吉明
4.一种基于Hadoop的作业转移调度算法 [J], 邓传华;范通让;高峰
5.一种基于动态资源采集的Hadoop作业调度算法 [J], 彭志伟;谷建华
因版权原因，仅展示原文概要，查看原文内容请购买。
大数据分析平台的任务调度与资源管理策略研究
大数据分析平台的任务调度与资源管理策略研究大数据分析平台的任务调度和资源管理策略是保证平台高效运行的关键要素。
随着大数据分析的普及和应用场景的增多，如何调度任务并合理分配资源已成为一个重要的挑战。
本文将对大数据分析平台的任务调度和资源管理策略进行研究，旨在提出有效的方案来优化平台的性能和资源利用率。
一、任务调度策略1. 预测性调度预测性调度是指根据历史数据和趋势来预测未来任务的运行需求，并根据预测结果进行任务调度。
通过采用机器学习和统计模型等方法，可以对任务的运行时间、资源需求等进行准确预测。
预测的准确性可以帮助调度器提前进行资源分配和任务调度，从而避免资源的浪费和任务的延迟。
2. 优先级调度优先级调度是根据任务的重要性和紧急程度来安排任务的执行顺序。
在大数据分析平台中，可能存在不同种类的任务，如实时任务和批处理任务。
通过为任务设置不同的优先级，调度器可以根据任务的优先级来决定任务的执行顺序，从而高效利用资源和满足实时处理需求。
3. 动态调度动态调度是根据系统当前的状态和资源利用情况，实时调整任务的执行策略和资源分配。
例如，当系统负载高时，可以将资源重新分配给紧急任务，以保证其及时完成；当系统负载低时，可以提高资源利用率，将任务拆分为更小的子任务并并行执行，以提高整体处理能力。
二、资源管理策略1. 弹性资源分配弹性资源分配是指根据任务的需求，在不同节点上动态分配和释放资源。
通过监控任务的资源使用情况和系统的负载情况，平台可以根据需求自动调整资源的分配，以提高资源利用率和系统的灵活性。
同时，还可以考虑资源的预留机制，为重要任务预留一定的资源，以提高其执行效率。
2. 数据本地化数据本地化是指将任务所需的数据尽量存放在靠近任务执行节点的存储介质上。
这样可以减少数据传输的开销和网络带宽的占用，并提高任务的执行效率。
通过数据本地化策略，可以将任务分配到离数据最近的节点上，从而减少访问延迟和提高数据访问速度。
基于大数据的云计算资源调度策略研究
基于大数据的云计算资源调度策略研究随着现代信息技术的不断发展，云计算已经成为了解决企业数据存储和计算问题的主要方式之一。
在云计算中，资源调度是一个非常重要的问题，它决定了云计算的效率和性能。
近年来，大数据技术的兴起和发展，进一步推动了云计算资源调度的研究和发展。
大数据技术可以帮助我们更好地理解云计算的工作负载特征和变化规律，提高资源调度的预测精度和决策效率。
本文将介绍基于大数据的云计算资源调度策略研究的相关内容。
一、云计算资源调度的研究现状在过去的研究中，云计算资源调度主要关注静态资源管理，即在云环境下分配和管理静态资源的过程。
但对于动态资源管理，也就是如何响应动态工作负载变化的问题，研究相对较少。
随着大数据时代的到来，云计算资源调度的研究逐渐转向了基于大数据的动态调度管理。
这种方法可以通过收集、分析和处理大量的资源利用数据，预测工作负载的变化、优化资源利用和提高云计算的性能。
二、基于大数据的云计算资源调度方法1. 数据采集和分析数据采集是基于大数据的云计算资源调度的基础。
采集的数据源可以来自于虚拟机、物理主机、网络、存储等方面。
这些数据应该包括资源利用率、工作负载特性、客户行为等方面的数据。
数据采集需要一个云计算中心收集、存储、管理和处理数据的平台。
数据分析是基于大数据的云计算资源调度的核心。
数据分析过程中需要使用机器学习、数据挖掘和统计学等方法来发现和掌握工作负载的特点。
然后，根据工作负载特点，开发适合资源调度的算法和模型。
2. 资源调度基于大数据的云计算资源调度方法采用自适应资源分配负载平衡技术，以达到尽量充分利用资源的目的。
调度管理中基于OSI 层次模型和数据流技术提出四级调度模型：第一级负责收集云环境上资源利用的实时数据，第二级根据实时的数据情况对资源调配进行热备；第三级在客户交互时进行预测和优化的工作，即根据工作负载预测的数据进行适时调度，以保证整体系统的高效性和稳定性；第四级对高阶业务流的优化进行管理，把各个业务流按照优先级和权重进行合理调度。
云计算资源调度算法与策略
云计算资源调度算法与策略随着云计算技术的不断发展和应用，云计算资源调度算法与策略成为了研究的热点之一。
本文将针对云计算资源调度算法与策略进行探讨，旨在深入了解该领域的相关内容。
一、云计算资源调度算法的意义及挑战云计算资源调度算法是指在多任务请求下，将云计算资源有效地分配给各个任务的算法。
其意义在于提高资源的利用率、减少任务的执行时间，并保障用户的体验效果。
然而，当前云计算资源调度面临一些挑战，如任务负载不均衡、资源竞争、可扩展性等，因此需要研究出更加优化和科学的调度算法。
二、常见的云计算资源调度算法1. 基于遗传算法的资源调度算法遗传算法是一种通过模拟生物进化的过程来寻找优化解的方法。
在云计算资源调度中，利用遗传算法可以对资源进行优化分配。
该算法通过遗传算法的基本过程，不断迭代、交叉和变异，最终得到最优的资源分配结果。
2. 基于负载均衡的资源调度算法负载均衡是指将任务均匀地分配到各个节点上，使得各个节点的负载相对平衡。
在云计算资源调度中，采用负载均衡的调度算法可以避免某些节点负载过高而导致的资源浪费和任务延迟问题。
3. 基于优先级的资源调度算法优先级调度算法是一种根据任务的优先级来进行资源分配的方法。
在云计算资源调度中，将任务分为不同的优先级，通过优先级调度算法可以更加合理地分配资源，提高任务的响应速度和效率。
三、云计算资源调度策略除了调度算法，还有一些调度策略可以用来进一步优化云计算资源的调度效果。
1. 预测与预分配策略预测与预分配策略是指在任务到达前对任务进行预测，并提前分配相应的资源。
通过对任务的预测，可以更加准确地分配资源，避免资源的浪费和重复分配。
2. 自适应调度策略自适应调度策略是指根据系统和任务的实时状态进行资源的调度。
通过监测系统和任务的实时状态，及时调整资源的分配情况，以适应不断变化的任务负载和系统需求。
3. 节能调度策略节能调度策略是指在资源调度过程中考虑节能的因素。
通过合理地配置资源，避免不必要的资源浪费，从而实现能源的节约和环境的保护。
高效的云计算资源管理与任务调度算法
高效的云计算资源管理与任务调度算法一、引言随着云计算的迅猛发展，越来越多的企业和个人将自己的应用和数据迁移到云平台上进行处理和存储。
云计算的核心在于对资源的高效利用和任务的合理调度，本文将讨论高效的云计算资源管理与任务调度算法，以提升云平台的整体性能和用户体验。
二、云计算资源管理云计算资源管理是指对云平台上的各种资源进行有效的规划、分配和管理，包括计算资源（CPU、内存等）、存储资源和网络资源等。
高效的资源管理可以使云计算平台实现更好的性能和利用率。
1.资源调度策略资源调度策略是指云平台对任务进行分配的方式和算法。
一般来说，资源调度策略应该以尽可能提高整体性能和用户满意度为目标。
常见的资源调度策略包括随机调度、最短作业优先、时间片轮转等。
针对不同的场景和需求，可以选择不同的策略来进行资源调度。
2.负载均衡负载均衡是指将任务合理分配到不同的计算节点上，以实现整体负载均衡，避免某些节点过载而影响整体性能。
负载均衡算法有很多种，如轮询、最少连接、最短响应时间等。
在实际应用中，可以根据情况选择适合的负载均衡算法，从而提高资源利用率和系统的稳定性。
三、任务调度算法任务调度算法是指云平台对任务的调度顺序和方式进行决策的算法。
合理的任务调度算法可以最大化系统的整体性能和资源利用率，提高用户体验。
1.静态任务调度算法静态任务调度算法是在任务提交前就确定任务的执行顺序和资源分配等信息。
静态任务调度算法通常根据任务的优先级、计算需求和资源可用情况进行调度决策。
常见的静态任务调度算法包括先来先服务、短作业优先、最佳适应等。
2.动态任务调度算法动态任务调度算法是指在任务执行过程中，根据实时情况对任务进行调度。
动态任务调度算法可以根据任务的执行进度、资源利用情况和系统状况等信息进行决策。
常见的动态任务调度算法有最短剩余时间优先、最短完成时间优先、最小松弛度优先等。
四、高效的云计算资源管理与任务调度算法实例为了更好地理解高效的云计算资源管理与任务调度算法，这里我们以实际案例来说明。
Hadoop中的任务调度与资源调度策略解析
Hadoop中的任务调度与资源调度策略解析Hadoop作为一个开源的分布式计算框架，被广泛应用于大数据处理领域。
在Hadoop中，任务调度和资源调度是其核心功能之一，它们的合理性和高效性直接影响到整个集群的性能和吞吐量。
本文将对Hadoop中的任务调度与资源调度策略进行解析。
一、任务调度任务调度是指根据任务的优先级和资源需求，合理地将任务分配给可用的计算节点。
Hadoop采用了一种基于FIFO（First In First Out）的任务调度算法，即先进先出。
这种算法简单且易于实现，但在面对大规模任务和复杂的任务依赖关系时，可能会导致任务的等待时间过长，从而影响整个集群的性能。
为了解决这个问题，Hadoop引入了容量调度器（Capacity Scheduler）。
容量调度器可以将集群划分为多个队列，并为每个队列分配一定的资源。
这样，不同队列中的任务可以并行执行，提高了集群的利用率和吞吐量。
同时，容量调度器还支持优先级调度和资源抢占，可以根据任务的优先级和资源需求，灵活地进行任务调度。
二、资源调度资源调度是指根据集群的资源情况，合理地分配和管理资源，以满足任务的需求。
在Hadoop中，资源调度主要由YARN（Yet Another Resource Negotiator）来完成。
YARN采用了一种分层的资源管理模型，将集群的资源划分为多个容器（Container），每个容器包含一定的CPU和内存资源。
YARN中的资源调度器（Resource Scheduler）负责根据任务的资源需求和集群的资源情况，动态地为任务分配合适的容器。
资源调度器采用了一种基于容器的资源分配策略，即将任务分配给一个或多个容器，并将容器分配给可用的计算节点。
这种策略可以保证任务的隔离性和资源的有效利用，提高了集群的性能和稳定性。
除了基本的资源调度功能，YARN还支持多种资源调度策略。
例如，公平调度器（Fair Scheduler）可以根据任务的优先级和资源需求，公平地分配资源；容器隔离器（Container Isolator）可以为每个容器提供独立的运行环境，保证任务的安全性和稳定性。
基于资源感知的大数据处理任务调度方法
2019年第24期信息与电脑China Computer & Communication数据库技术基于资源感知的大数据处理任务调度方法李玮瑶（平顶山学院 计算机学院，河南 平顶山 467000）摘 要：随着大数据的广泛应用，大数据用户的数量也在大幅度增长，大规模的大数据处理任务调度问题也日益凸显。
在保证负载平衡的前提下，把不同使用者、不同粒度和不同完成质量要求的大数据处理任务调度请求通过集群节点计算分配出去，是学术界研究的难点。
为此，笔者首先分析大数据处理任务的特点，然后就当前任务调度方法的问题提出区分数据有效价值、动态任务插槽的基于资源感知的大数据处理任务调度方法，希望为任务调度研究提供参考。
关键词：资源感知；调度方法；数据有效价值；优先级中图分类号：TP399 文献标识码：A 文章编号：1003-9767（2019）24-106-02Resource-aware Large Data Processing Task Scheduling MethodLi Weiyao(College of Computer, Pingdingshan University, Pingdingshan Henan 467000, China)Abstract: With the widespread application of big data, the number of users is also growing at a large rate, and large-scalebig data processing task scheduling problems have begun to appear. The difficulty in academic research is to allocate large-dataprocessing task scheduling requests with different granularity and different quality requirements for different users through clusternode calculation under the premise of ensuring load balancing. Therefore, the author first analyzes the characteristics of big data processing tasks, and proposes the resource-aware large data processing task scheduling method for distinguishing the effective value of data and the scheduling method of dynamic task slots for the current task scheduling method, hoping to provide reference for task scheduling research.Key words: pesource awareness; scheduling method; effective value of data; priority0 引言随着互联网、物联网等信息技术的发展，数据在不断增长，大数据已经融到人们的日常生活工作中，传统的数据处理任务调度方法已难以满足人们的需求。
分布式计算与大数据处理中的任务调度策略
分布式计算与大数据处理中的任务调度策略在当前信息时代，数据量不断增长，对于分布式计算和大数据处理的需求也越来越迫切。
为了高效地利用计算资源和实现任务的优化调度，任务调度策略成为了一个重要的问题。
本文将讨论分布式计算与大数据处理中的任务调度策略，并介绍几种常见的策略。
任务调度策略是指将任务分配给可用资源的过程。
在分布式计算和大数据处理中，通常有多个任务需要被调度到多个主机或计算节点上进行处理。
任务调度的目标是最大化系统的利用率，降低任务的等待时间，提高任务的执行效率。
一种常见的任务调度策略是基于队列的调度策略。
这种策略将任务按照先进先出的方式排列成队列，然后根据任务的优先级依次从队列中选择任务进行调度。
这种策略简单直观，能够保证任务的公平性，但是无法考虑任务和资源之间的匹配度，容易导致资源的浪费。
另一种常见的任务调度策略是基于负载均衡的调度策略。
这种策略根据每个计算节点的负载情况分配任务，使得每个节点的负载尽量均衡。
负载均衡策略可以根据任务的类型、大小、资源需求等因素进行动态调整，以提高系统整体的性能和资源利用率。
例如，可以使用轮询或者最短作业优先的方式选择计算节点，或者根据节点的可用资源和负载情况动态调整任务的分配。
此外，还有一种任务调度策略是基于数据局部性的调度策略。
在大数据处理中，数据的分布不均匀往往是制约任务执行效率的一个关键因素。
基于数据局部性的调度策略会将任务调度到存储有相关数据的节点上，以减少数据的传输和访问时间。
例如，可以使用数据预取的方式将数据提前加载到任务所在的节点上，以提高任务的执行效率。
除了上述策略，还有一些其他的任务调度策略，如基于模型的调度策略、基于优先级的调度策略等。
这些策略通常需要根据具体的应用场景和系统需求进行选择和优化。
在实际应用中，任务调度策略的选择和优化需要考虑多个因素。
首先，需要考虑任务的类型和特性，不同类型的任务可能需要不同的调度策略。
其次，需要考虑计算节点的特性和负载情况，以及网络传输的带宽和延迟等因素。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• 44
•
大数据系统一般都具有存储数据量大、结构复杂、运行的任务繁多，以及任务处理的数据量大、任务间的依赖关系复杂等特点。
仅就一个具体的大数据系统而
言，在一定时期内，其系统资源都已确定，因此，只有合理地对系统中的任务进行调度，让任务协调地执行，才能使得系统有限的资源充分发挥作用，实现大数据系统的真正价值。
本文从工程实践的角度，阐述了一种大数据系统中基于资源估算的任务调度策略，实现对任务资源的估算，准确、高效地完成任务规划调度。
引言：大数据系统在计算和存储等方面的能力都很强大，但就某个具体的大数据系统而言，在一定时期内，其时间资源和存储资源都已确定。
如何合理地调度系统中的任务，让任务协调地执行，以高效利用系统的有限资源，是大数据系统待解决的问题。
完整的任务调度过程至少要包括任务资源估算及任务执行规划两部分，虽然分布式系统中的某些方法（Yi Pan,Ding Hui,Ramamurthy Byrav,Budget-Minimized Resource Al-location and Task Scheduling in Dis-tributed Grid/Clouds,2013-IEEE会议论文,10.1109/ICCCN.2013.6614111）和一些生产调度理论（徐俊刚,戴国忠,王宏
的大数据系统任咪安.生产调度理论和方法研究综述:计算机研究与发展,2004）可供参考，但因大数据系统数据量的庞大和任务繁杂，目前尚无有效的方法实现资源估算，实际工程中，一般都放弃对任务资源估算；在任务执行规划方面，通常采用基于控制流的原理来实现，该方法在任务规模较小的情况下具有一定的可操作性，但是随着任务数量的增加，任务依赖关系变得复杂，不仅效率下降而且实现难度非常大。
本文提供实际工程中的一种基于资源估算的大数据系统任务调度策略，供大数据系统开发人员参
考。
1 基于资源估算的大数据系统任务调度策略
通常情况下，大数据系统的存储策略为尽可能随机地均匀分布于集群的各个节点。
对任务规划与调度则主要基于两个方面：运行该任务所需要的时间成本和存储成本；在系统环境不变的情况下，时间成本和存储成本主要取决于任务处理的数据量、计算逻辑和算法时间复杂度。
对
于一个既定任务，处理逻辑和算法复杂度都是确定的，因此，该任务的时间成本与存储成本与任务处理的数据量呈正比。
本文所述的大数据系统任务调度策略包含了两个关键环节：对所接收的任务进行资源估算，并将任务加入任务列表；对当前的系统空闲资源进行估算，并依据任务列表中的任务所需的资源总量与当前的系统空闲资源的大小关系，对任务列表中的任务进行调度。
1.1 接收的任务所需资源估算
这里所说的任务是指一个或多个数据处理任务。
解析所接收任务的任务描述文件，获取任务的数据源信息，当确定该数据源包含的数据块总量达到系统预设的数据块阈值（可依据系统资源进行设定）时，则从数据源包含的数据块中选取N（N为正整数）个数据块作为估算任务的数据源，运行估算任务并记录估算任务消耗的资源，依据估算任务消耗的资源估算所接收任务所需的资源。
具体方法如下：
（1）N个数据块的选取：对数据源包含的数据块进行排序（可随机排序或依据预设的规则排序），选取一个数据块作为第一数据块，然后每隔[
]个数据块选取一个数据
块，直到选取N个数据块为止。
这里，M为数据源包含的数据块个数，[
]为值不超过的最大正整数。
N的大小可以依据
需要进行设定，在实际工程中可优选N的值为[]，即用等
间隔的每隔[
]个数据块选取一个数据块的抽样方式，有
效降低资源估算的系统误差。
这里，可以大数定律计算抽样误差率：
其中：为可靠性系数，即置信度，当置信度为
95％时，该可靠性系数值为1.96，置信度越高需要的样本量越多；为方差，体现抽样个体值和整体均值之间的偏离程度，抽样数值分布越分散方差越大，需要的采样量越多；N 为样本量，样本越多误差越小。
（2）运行估算任务并记录估算任务消耗的资源：对选取的N个数据块分别执行接收的任务，采集并记录N个数据块从任务提交到任务完成期间的CPU消耗、存储消耗等运行信息。
这里，所说的CPU消耗，即是运行任务所占用的时间资源，存储消耗也即运行任务所占用的存储资源。
（3）依据估算任务消耗的资源估算接收的任务所需资源：依据估算任务消耗的资源确定选取的N个数据块中每个数据块所需的资源均值，并依据每个数据块所需的资源均值及数据源对应的数据块总量，确定处理任务所需的总资源，并将该任务加入任务列表。
• 45
•
1.2 任务调度策略
之后，对当前的系统空闲资源进行估算，并依据任务列表中的任务所需的资源总量与当前的系统空闲资源的大小关系，对任务列表中的任务进行调度。
当前的系统空闲资源可通过查询系统获得，其具体方法不作赘述。
任务调度的策略如下：
（1）若确定任务列表中的任务所需的资源总量不大于当前的系统空闲资源，则启动任务列表中所有任务。
（2）若确定任务列表中的任务所需的资源总量大于当前的系统空闲资源，则依据任务列表中任务的优先级，并依据任务的优先级依次启动资源占用申请成功的任务。
具体方法是：依次对任务列表中的任务进行资源占用申请。
如果当前的系统空闲资源满足当前任务需求时，预分配给该任务所需的资源量，并从当前的系统空闲资源中减去该任务所需的资源量，同时确定当前任务资源占用申请成功，直至任务列表中的全部任务资源占用申请成功。
（3）对优先级相同的任务，优先启动资源占用较少的任务，如此，可以避免大任务阻塞小任务，提高任务调度效率。
需要指出的是：任务的优先级可依据工程的实际需要进行设定；此外，在确定当前的系统空闲资源不满足当前任务需求时，每间隔一定时间可再次判断系统空闲资源是否满足需求，时间间隔亦可依据工程的实际需要进行设定。
（4）上述步骤反复运行直至任务列表中所有任务全部启动，并收集任务的运行结果，将任务的运行结果以文件方式输出。
上述1.1和1.2所阐述的资源估算和任务调度策略的流程示意图如下：
图1 基于资源估算的任务调度方法流程示意图
2 一个工程开发实例
这里将简要阐述一种大数据系统中基于资源估算的任务调度子系统的工程开发实例。
该子系统由处理模块、调度模块和反馈模块组成，其所涉及的大数据系统的应用场景则是互联网用户行为海量数据的挖掘。
（1）处理模块
此模块实现1.1所述的功能，即对接收的任务进行资源估算，并将
任务加入任务列表。
它对选取的N个数据块分别执行接收的任务，采集并记录N个数据块从任务提交到任务完成期间的CPU消耗、存储消耗等运行信息。
从而计算出N个数据块中每个数据块所需的资源均值，依据每个数据块所需的资源均值及数据源对应的数据块总量，估算出接收的任务所需的资源总量。
（2）调度模块
此模块实现1.2所述的任务调度策略，即：依据任务列表中的任务所需的资源总量与当前的系统空闲资源的大小关系对任务列表中的任务进行调度。
当任务列表中的任务所需的资源总量不大于当前的系统空闲资源时，启动任务列表中所有任务；否则，依据任务列表中任务的优先级依次启动任务列表中的任务，并对优先级相同的任务，优先启动资源占用较少的任务。
（3）反馈模块
此模块在任务调度完成之后，对运行结果进行记录，并以文件方式反馈结果。
上述各模块均可由服务器中的中央处理器(CPU)或数字信号处理器(DSP)、或现场可编程门阵列(FPGA)实现。
这里，可将此大数据系统中基于资源估算的任务调度子
系统组成结构示意如下：
图2 任务调度子系统组成结构示意图
3 结论
任务调度在大数据系统中承担了很重要的承上启下的角色，贯穿了整个数据的生产、交付过程，本文的重点未当前大数据系统任务调度的框架理论进行深入讨论，而是侧重于工
程实践，介绍了一种简单且易行的基于资源估算的大数据系统的任务调度策略，同时从工程实践的角度，也介绍了一个高可
用、高效率、灵活性的大数据任务调度子系统的结构，希望可以给相关开发人员提供有益的参考。
作者简介：曾东（1973—），男，四川遂宁人，硕士研究生，咪咕音乐有限公司高级工程师，研究方向为项目管理、大数据挖掘等。