分布式环境下多任务调度问题的分析与求解

　2007年5月系统工程理论与实践第5期　文章编号:100026788(2007)0520119207

分布式环境下多任务调度问题的分析与求解

何　琨,赵　勇,陈　阳

(华中科技大学控制科学与工程系系统工程研究所,武汉430074)

摘要:　将约束条件归纳为任务约束、链路约束和资源约束,在允许任务复制的情况下,建立了问题的约

束与目标的完整数学模型;提出了一种基于任务复制的模拟人类社会中关系演化过程的簇调度算法

IRE A,包括前沿调度、动态分簇和分离图三个子算法.IRE A采用全新的优先级规则,定义了关系数、依赖

度、归并度等表示簇的优先级.通过对两个经典算例的计算,发现IRE A能求出比算例所在文献算法所得

解更优的解;对M JD算例,还得到了一个不同于原文献所给理论最优格局的一个新的最优格局.

关键词:　调度算法;任务复制;有向无回路图;动态分簇;分离图

中图分类号:　TP301 文献标志码:　A

Analysis and S olutions for Multitasks Scheduling

in Distributed Environments

HE K un,ZHAO Y ong,CHE N Y ang

(Institute of Systems Engineering,Department of C ontrol Science and Engineering,Huazhong University of Science and T echnology,Wuhan 430074,China)

Abstract:　This paper addresses the problem of static scheduling multitasks with precedence constraints represented

as directed acyclic graphs for execution on distributed hom ogeneous environments.The problem is strong NP2com plete,

and efficient alg orithms for it will have both highly theoretical value and highly practical value.The constraints are

summed up to task constraints,link constraints and res ource constraints.An integrated mathematical m odel with

constraints and objective is set up.And a new heuristic approach named the Interpers onal Relationships Ev olution

Alg orithm(IRE A)that is based on task duplication is proposed.IRE A resembles the ev olution of the interpers onal

relationships within the human s ociety,and includes three com ponents:cutting edge alg orithm,dynamic group

alg orithm and detach graph alg orithm.The priority rules used are new.Relationship number,dependent degree and

merge degree are defined for cluster’s priority.I t is found that IRE A could get better s olutions for tw o classic

benchmarks than the alg orithms which gave the benchmarks.Besides,IRE A gets a different optimal s olution com pared

with the theory optimal one for the M JD benchmark.

K ey w ords:　scheduling alg orithm;task duplication;directed acyclic graph;dymanic clustering;detach graph

1　引言

分布式环境下的任务调度问题是调度理论中的经典问题,包括资源匹配(matchmaking)和任务调度(scheduling)两部分,资源匹配解决在哪里执行任务,即匹配应用需求和可用资源;任务调度解决何时执行任务,即给出应用占用资源的起止时间[1].分布式环境下的任务调度,研究内容分为调度相互独立的任务和调度相互依赖的任务两类,对相互独立的任务一般采用动态调度,对相互依赖的任务一般采用静态调度.为充分利用分布式环境的并行处理与协作能力,往往根据数据依赖关系和计算要求,将应用分解为相互依赖的多个任务,采用有向无回路图(Directed Acyclic G raph,DAG)进行描述.

分布式环境下相互依赖多任务的调度问题是强NP完全的,其近似算法的求解非常困难[2].目前的求

收稿日期:2005205209

资助项目:国家自然科学基金(70471077,60673057);高等学校博士学科点专项基金(20020487046)

作者简介:何琨,女,博士,研究方向为分布式计算、决策分析、复杂系统建模与优化;赵勇,男,博士,教授,博士生导师,研究方向为决策分析、复杂系统建模与优化;陈阳,男,博士,讲师,研究方向为决策分析、复杂系统建模与优化.

解方法有基于表的算法[3]、基于簇的算法[4,5]、基于复制的算法[4,6]、遗传算法[7]、模拟退火算法[8]等.基于簇的调度方法,主要有关键路径分析、优先级列表调度和图分解技术[4].同样的调度机制,基于任务复制的(T ask Duplication Based,T DB)算法调度结果一般要优于任务不被复制的算法,T DB算法的理论基础是采用以空间换时间的策略,通过冗余地分配任务到多个资源以减少通信开销,从而减少总的调度长度.

对分布式同构环境下的多任务调度问题,本文提出了一个基于任务复制的模拟人类社会中人际关系网演化过程的簇调度算法,包括前沿调度、动态分簇和分离图三个子算法.通过对文献[4]和文献[5]中两个算例的计算,均得到了比原文献算法所得解更优的解,且对M JD算例得到了一个不同于原文献所给理论最优格局的新的最优格局.

2　问题描述

已知一组有优先关系约束的任务和一组充分多的同构资源(例如一组同构的处理机),求一种调度方案,满足以下约束:

1)任务约束:每个任务需要分配到一个资源上执行,任务的执行时间给定且在所有的资源上相同;任务是原子的,其执行过程不可中断.

2)链路约束:有优先关系约束的两个任务,只有前一任务完成且生成的数据传输到后一任务所在资源,后一任务才能开始;传输时间仅与两任务间的传输量有关,若两个任务在同一资源上执行则传输延迟为0,否则为一给定的值.

3)资源约束:分配到同一资源上的任务,其执行时间不能重叠.

要求给出一种调度,即给出:

1)资源匹配:每个任务选择的资源;

2)任务调度:每个资源上任务的调度顺序和加工时间;

使得该任务集的调度目标最优.调度目标一般为使应用的服务质量(Q os)最优,如处理时间、内存占用、通信带宽、截止期、优先级、安全性、费用等最优.本文的目标值为求所有任务总的运行时间(makespan)最短,即使任务集的最早开工时间与最晚完工时间之间的差尽可能的小.

这是一个分布式环境下同构资源的多任务调度问题,如分布式内存机器中的多任务调度.问题可形式化地描述为:记加权有向无回路图G(V,E,μ,λ),顶点集V={1,2,…,n}表示包含的任务集(不失一般性,设1和n是“开始”哑元和“结束”哑元任务,加工时间为0);边集E={e

ij

:i,j∈V;i→j}表示任务间的

优先关系,E

ij表示任务j必须等待i完成,且计算结果传输给j,j才能开始,称i为j

的前驱,j为i的后继;μ={μ

i

:i∈V}表示相应任务的执行时间;λ={λij:(i,j)∈E}表示有优先关系的两任务i、j不在同一资源上执行时的传输延迟.记R={1,2,…,m}(m≥n)为同构的资源集,即资源是无差异的,且数量充分多.

设f

1

:V→R为一个多值映射,要求Πi∈V,一定存在一至多个r∈R与之对应;任务n恰有一个r∈R与之对应.设f2:(E,R)→R为一个单值映射,要求Π(i,j)∈E,Πr′∈f1(j),恰有一个r∈f1(i)与之对

应.f

1反映了任务到资源的分配关系,f2反映了任务分配到资源后,任务间的优先约束边的分配.令st i(r)

表示任务i在资源r上的开工时间,ct

i

(r)表示任务i在资源r上的完工时间.则要求给出f1、f2、资源上任

务的执行顺序和st

i (r)、ct

i

(r)的值,在满足以下条件的前提下,使得总的完工时间尽可能的小:

min ct n(r),　r=f1(n),

s.t.1)st i(r)≥0,ct i(r)-st i(r)=μi,i∈V,r∈f1(i),

2)st j(r′)-st i(r)≥u i+δrr′?λij,r=f2(i,j,r′),δrr′=0,r=r′1,r≠r′

,

3)st j(r)-st i(r)≥u i∨st i(r)-st j(r)≥u j,i,j∈V,r∈f1(i),r∈f1(j).

这个问题是强NP完全的[5].对该问题,文献[4]给出了一种基于簇的且允许任务复制的算法(简记M JD算法),并给出了一个算例,如图1所示.该算例的最优解为26,采用M JD算法可以解得27,如图2所021系统工程理论与实践2007年5月

示

.

图1　M JD 算例

　图2　M JD 调度结果

　3　关系演化算法

基于对人类社会中人际关系组成的网络的理解与观察,本节提出一种基于贪心分簇的启发式算法———关系演化算法(Interpers onal Relationships Ev olution Alg orithm ,简记IRE A ).IRE A 是一种模拟人类社会的关系演化过程的拟人算法(mimetic alg orithms ),包括前沿调度、动态分簇和分离图三个子算法.

设有一群人V ={1,2,…,n }按集团组成一个关系网,每个集团有一至多个人,初始时每个人组成一个集团;然后采用动态分簇算法进行发展,拥有关系最多的集团优先发展其关系网,不断合并与其有关系的且对其依赖程度高的其他集团.对一个集团A ,考虑与其有关系的集团B 对A 的依赖程度,B 与A 的密切程度越大,对A 的依赖程度越高;反之,B 与其他集团的密切程度越大,对A 的依赖程度越低.分离图算法是在动态分簇的基础上对当前关系网进行处理:当和平合并不再起效的情况下,采用较激烈的变革手段,对当前关系网进行改造,对每个较有实力的集团,拆离其他集团中的个体,使该个体同时存在于两个集团中,使之得以发展.关系网络最终发展成为少量的几个有实力的大集团.

假设资源数充分多看上去有些不切实际,但随着合并和复制过程,使用的资源数在不断下降.最终得到一个使用少量资源且makespan 较小的调度.

311　相关定义

对一个DAG 实例,给出以下定义.

定义1(簇C r ).为分配到同一资源r 上执行的任务集.簇内任务之间的通信延迟为0,跨簇任务之间的通信延迟为边的权λij .簇C r 的执行时间μ(r )指C r 包含任务的执行时间之和.

定义2(任务复制).若同一任务被冗余地分配到多个资源,称为任务的复制.

定义3(入度I r ).从其他簇进入簇C r 中任务的边的个数.

定义4(出度O r ).从簇C r 中任务出发到其他簇的边的个数.

定义5(关系数RN r ).其他簇与簇C r 中任务直接关联的边的个数.RN r =I r +O r .

定义6(依赖度D r ′r ).簇C r ′

对簇C r 的依赖程度,其值为两个簇间直接关联边的权之和减去簇C r ′与其它簇间直接关联边的权之和.

簇C r ′与簇C r 之间的直接关联边越多,通信所需时间越长,对C r 的依赖程度越高;反之,簇C r ′与其他簇之间的直接关联边越多,通信时间越长,对C r 的依赖程度越低.当簇C r ′对其他簇的依赖之和高于对簇C r 的依赖时D r ′r 为负值.

D r ′r =

∑j ∈C r ′,i ∈C r ,e ji ∈E λji +∑j ∈C r ′,i ∈C r ,e ij ∈E λij -∑i ∈C r ′,m |C r ∨C r ′,e mi ∈E λmi -∑i ∈C r ′,m |C r ∨C r ′,e im ∈E λim .

定义7(归并簇C r ′与C r ).将簇C r ′与簇C r 合为一个新的簇C ′r .

121第5期分布式环境下多任务调度问题的分析与求解

定义8(归并度M (r )).指簇C r 所归并的任务个数.

312　前沿调度算法和初始解前沿调度算法用于任务的资源已经匹配,任务的执行时间和任务间通信延迟确定的情况下的调度,称此问题为P 1.以下给出问题P 1上的一些定义.

定义9(格局).某些任务的开始时间已经被指定,其余任务的开始时间尚未被指定,这称为一个格局.定义10(就绪任务).当算法演化到某一格局,若一个任务的所有前驱任务的开工时间与完工时间已经指定,而该任务的开工时间尚未指定,称其为当前格局下的就绪任务.

定义11(关键路径).路径长度是指该路径上所有任务结点的计算时间与任务间通讯延迟的总和,关键路径即路径长度最长的路径.

定义12(静态级).任务的静态级(static level )是指由该任务至结束任务的关键路径的长度.

前沿调度算法采用的是前沿沉底的思想,即每次调度总是选择其前驱均已完成的就绪任务中可能开始时间最早的某个任务在该时间进行调度.最早开始时间相同时,取静态级最高的任务进行调度.生成调度的过程可以用格局演化的方式来说明:①从初始格局出发.在初始格局下,所有任务的开工时间都没有指定;②从旧格局向新格局演化时,先选择一个就绪任务,然后指定这个任务的开始时间.这样一步一步地指定完所有任务的开始时间,最后产生一个调度,从而演化到终止格局.③在终止格局下,所有任务的开始时间都被指定了.

定理1　对问题P 1的任意一种解B ,总可以找到一种前沿沉底法的解B ′不比B 差(摆法B ′的终止格局的makespan 不比B 的大).

证明　解B 满足链路约束,即一个任务的前驱必在该任务之前调度,而前沿沉底法每次调度的是就绪任务,即其前驱已经被调度完毕的任务,显然,B 的排列是前沿沉底法可以接受的排列.

以这个排列来用前沿沉底法,可得到不比B 差的解B ′.

下面用数学归纳法证明此排列得到的解B ′中的每个任务都不比解B 差(每个任务i 的开始时间st ′i 不比在解B 中的st i 大,即st ′i ≤

st i ):设共有n 个任务,按照B 解的排列依次为g (1),g (2),g (3),…,g (n ),用前沿沉底法按此排列进行调度.对第1个任务g (1),它在DAG 图中没有前驱任务,前沿沉底法放入g (1)时,开始时间为0,因此第一个任务g (1)的开始时间不比它在解B 中的开始时间大,即st ′g (1)≤

st g (1).设i ≤k 时,第i 个任务的开始时间不比在解B 中的大,即st ′g (i )≤

st g (i ),则i =k +1时,按前沿沉底法加入第i 个任务,即任务g (k +1)时,该任务的位置有三种情况:

①开始时间为0:显然任务g (k +1)的开始时间不比在解B 中的大,即st ′g (k +1)≤

st g (k +1);②紧跟其前驱的某个任务g (y )(y ≤k )后调度:由于对任意一种解,任务g (k +1)都要在任务g (y )之后,因此st g (k +1)≥st g (y )+μg (y )+λy ,k +1,而解B ′中st ′g (k +1)=st ′g (y )+μg (y )+λy ,k +1,又由假设知st ′g (y )≤st g (y ),所以st ′g (k +1)≤

st g (k +1);③紧跟某一已调度的任务g (z )(z ≤k )在同一处理机上调度:即有st ′g (k +1)=st ′g (z )+μg (z ).由排列的规则知道解B 中任务g (k +1)的开始时间比任务g (z )大,又因为任务g (k +1)和任务g (z )要在同一个处理机上调度,由资源执行的串行化,不能出现交叉重叠,所以st g (k +1)≥st g (z )+μg (z ).又由假设知st ′g (z )≤st g (z ),所以st ′g (k +1)≤

st g (k +1);综上所述,对各种可能的情况均有st ′g (k +1)≤

st g (k +1),i =k +1时命题成立.因此前沿沉底法的解B ′中每个任务i 的开始时间st ′i 不比在解B 中的开始时间st i 大(st ′i ≤

st i ).因此原命题成立.证毕.

算法1　C UTTI NG E DGE SCHE DU LE (G ):

11初始格局:所有任务的开始时间未指定;

21循环,从旧格局向新格局演化{

31从当前格局下的就绪任务集中,按<最早合法开始时间,静态级,编号>的优先规则选择一个任务221系统工程理论与实践2007年5月

i ,最早合法开始时间小的优先选择,最早合法开始时间一样时静态级高的优先选择,静态级一样时编号小的优先选择;

41指定被选择任务i 的开始时间为其最早合法开始时间,完成时间为ct i =st i +μi ;

51这样一步一步地指定完所有任务的开始时间和完成时间,从而生成一个调度;

6

1}

71在终止格局下,所有任务的开始时间和完成时间均被指定了.

前沿调度算法是一个按任务的释放时间非降序调度的前沿沉底贪心算法,定理1说明该算法有可能得到问题P 1的最优解.

初始时,采取最大化并行的策略,将每个任务分配到不同的资源上,然后用前沿调度算法生成初始解.M JD 算例的初始解的makespan 为52,即图1中关键路径T 2→T 4→T 7→T 9的长度.

313　动态分簇算法

从初始解出发,利用动态分簇算法动态地寻找拥有关系最多的点,并尝试合并关系网中与之较密切的点,合并到同一个簇的任务间边的权置为0.

算法2　DY NAMIC C LUSTERI NG (G ):

11依次按簇的关系数、权降序排列簇的优先级,构造簇列表cList ;

21循环,while (cList 不空){

31从cList 中移出第一个簇C r ;

41循环,对C r 中的每个任务i ,考虑其每个前驱和后继j {

51若含j 的簇C r ′,不是簇C r ,且依赖度D r ’r >0{

61若合并簇C r ′到C r ,用前沿调度得到的新的makespan 不大于原来的,

71则合并簇C r ′到C r ,跳出循环,返回1.

81}

91}

101}

111return G .

图3　M JD 算例的动态分簇结果

图3为采用动态分簇算法对M JD 算例的执行结果,每个簇对应图中的一个

结点.

314　分离图算法

当动态分簇达到一个局部最优解后,再利用允许任务复制的分离图算法,

对当前网络图进行改造.

算法3　DET ACH G RAPH (G )

11初始化:k =0;<(G )为空;

21依次按簇的归并度降序和权升序排列簇的优先级,构造簇列表cList ;

31循环,直到G 中没有点和边,或剩余的边已被标识{

41从cList 中移出第一个簇C r ;

51将C r 移入图G k ,并将C r 中的任务按拓朴逆序加入任务列表tList ;

61循环,while (tList 不空){

71从tList 中移出第一个任务i ;

81若有从G 到i 的边j →i ,且以下操作不会导致前沿调度的maekspan 增加,则{

91若j 有到G k 外的其他点的边,则

101若j 在G k 中无对应点j ′,则复制点j 得到j ′,在G k 中加入点j ′;

111将边j →i 删除,在G k 中加入边j ′→i ,并对所有到j 的边k →j ,复制边k →j ′.点j ′加入tList ;121否则

321第5期分布式环境下多任务调度问题的分析与求解

131将点j 和边j →i 移入G k .

141点j 加入tList.

151}161若有从其它{G r

:r ≠k }到G k 的边,则标记此边.

171}

181G k 加入分离图集<(G ),k =k +1;

191}

201return 分离图集<(G ).

其中参数G 包含动态分簇后的簇信息.图4左图为采用算法DET ACH G RAPH 对M JD 算例的第一个簇T 4+T 7+T 9进行操作后得到的分离图G 1;图4右为分离T 4+T 7+T 9后的图G .图5左为对M JD 算例的第二个簇T 3+T 8进行操作后得到的分离图G 2;图5右为分离T 3+T 8后的图G ,易知该图也是T 5+T 10的分离图G 3

.

图4　T 4+T 7+T 9的分离图和分离后的G

　图5　T 3+T 8的分离图和分离后的G

　如此得到若干分离图,每个分离图作为一个簇,分离图间由跨簇的边相连.图6为对<(G )进行前沿调度的结果

,其中st i 表示任务i 的开始时间,使用了三个资源R 1

、R 2、R 3.

图6　对<(G )的前沿调度结果

　图7　文献3给出的理论最优调度

　4　实验结果与讨论

本文提出了一种基于关系演化的多任务调度算法IRE A.对M JD 算例,采用IRE A 能求出最优解,优于M JD 调度得到的结果,且使用的处理机个数少于M JD 调度使用的处理机个数.而且该格局不同于文献[3]给出的理论最优格局(图7).

用IRE A 算法求解另一个经典算例EZ [5](图8左).该算例的最优解为815[5],采用经典簇调度算法EZ

(Edge Z eroing )算法[5]求出的makespan 为10,IRE A 算法求出的makespan 为9,如图8右所示,使用了两个资源(处理机).

4

21系统工程理论与实践2007年5月

图8　EZ 算例和IRE A 调度结果

表1　算法的优度比较算例

算法调度结果处理机个数M JD

(图1)EZ (图8左)最优化263EZ 316M JD

275IRE A

263最优化

8.53EZ

102M JD

12.54IRE A 92 用EZ 算法求解M JD 算例,用M JD 算法求解EZ 算例,求解的结果均不如原算例所在文献的算法计算的结果.三个算法的优度比较如表1所示,可见IRE A 在求解这两个算例时要优于M JD 算法和EZ 算法.参考文献:

[1]　Jarek N ,Jennifer M S ,Jan W ,et al.G rid Res ource Management 2S tate of the Art and Future T rends [M].N orwell ,M A ,US A :

K luwer Academic Publishers ,2004.

[2]　何琨,赵勇.网格环境下资源调度问题的统一建模与分析[J ].华中科技大学学报(自然科学版),2006,34(3):35-

38.

He K,Zhao Y.M odeling and analyzing res ource schedules in grid environments [J ].Journal of Huazhong University of Science and T echnology (Nature Science Edition ),2006,34(3):35-38.

[3]　Alhusaini A H ,Prasanna V K,Raghavendra C S.Unified res ource scheduling framew ork for heterogeneous com puting environments

[C]ΠΠProc HCW ’99,8th Heterogeneous C om puting W orkshop.San Juan ,Puerto Rico :IEEE C om puter S ociety Press ,1999.156-165.

[4]　Palis M A ,Liou J C ,Wei D S L.T ask clustering and scheduling for distributed mem ory parallel architectures [J ].IEEE T rans on

Parallel and Distributed Systems ,1996,7(1):46-55.

[5]　Sarkar V.Partitioning and Scheduling Parallel Programs for Multiprocess ors [M].Cambridge ,M A ,US A :MIT Press ,1989.

[6]　Park C I ,Choe T Y.An optimal scheduling alg orithm based on task duplication[C]ΠΠProceedings of 8th International C on ference on

Parallel and Distributed Systems (ICPADS ).K y ong Ju City ,K orea :IEEE C om puter S ociety Press ,2001.9-14.

[7]　Wang L ,S iegel H J ,R oyehowdhury V P ,et al.T ask matching and scheduling in heterogeneous com puting environments using a

genetic 2alg orithm 2based approach [J ].Journal of Parallel and Distributed C om puting ,1997,47(1):8-22.

[8]　Shroff P ,Wats on D W ,Flann N S ,et al.G enetic simulated annealing for scheduling data 2dependent tasks in heterogeneous

environment [C]ΠΠ5th Heterogeneous C om puting W orkshop (HCW ’96).Sheraton Waikiki ,H onolulu ,Hawaii :IEEE C om puter S ociety Press ,1996.98-117.

5

21第5期分布式环境下多任务调度问题的分析与求解