一种用于实时集群的多任务负载均衡算法

负载均衡是并行处理中的一个重要问题，其解决的好坏直接影响整个系统的性能[1]。负载均衡的核心就是任务调度，将多个任务请求比较均衡地分布到不同的处理节点进行并行处理，使各个有效节点的利用率最大，从而提高系统的吞吐能力，保证整个系统的高效性。本文立足于任务级应用问题，针对实时集群系统的多任务并行处理，在轮转式任务调度法和任务最少优先法的基础上，采用负载当量更准确地刻画各个节点的负载状况，提出了一种改进的多任务负载均衡算法——负载当量轮转法，进行任务级的负载调度与分配。实验证明该算法不仅提高了任务调度分配的均衡性，而且有利于保证任务处理的实时性。实时集群的多任务并行处理

1 集群计算机技术能很好地实现多任务的并行处理[2]。整

个集群多任务的并行处理是在集群任务负载均衡策略的控制

下，将各个任务请求分配到不同的计算节点上进行处理。实

时集群采用的是全局集中式负载均衡策略，计算节点间的实

时任务调度分配是由控制节点来进行，控制节点只负责实时任务的调度分配；由多个计算节点共同完成整个多任务的实

时处理，属于任务级的并行处理。

实时系统是工作在时间约束下的系统，不但要保证计算结果的逻辑正确性，而且实时任务要在规定的时间内完成计算[3]。实时集群多任务并行处理的核心是实现多任务请求的实时调度和失效计算节点任务的实时性迁移，保证各计算节点的任务负载均衡，以达到任务处理的实时性要求和系统的高可用性。因此，在系统资源一定的前提下，实时任务调度的负载均衡策略是提高整个实时集群系统的关键问题。

多任务负载均衡的模型与策略

2 集群系统多任务负载均衡算法的研究一直是集群计算机

的研究热点，用于任务请求调度的负载均衡算法有很多种，

各种任务调度算法都有优劣[4]。轮转式任务调度是最简单的任务分配方法，循环地将各个应用任务分配到各个计算节

点，既可避免计算节点任务的分配失衡，又可减少系统的反应时间。但它没有考虑计算节点计算能力的差异和不同应用任务对计算节点负载的影响，只是按照任务数量简单地来衡量计算节点的负载。最少任务优先分配法是任务负载均衡最直观的分配方法，将应用任务请求分配到当前应用任务数量最少的节点机上，但应用任务最少并不等于节点的负载最轻，并且也没有考虑到节点机的计算能力的差异。为了能够客观准确地刻画各个计算节点的负载状况，引入负载当量的概念，提出负载当量轮转法的负载均衡策略，

并采用以动态任务分配表为核心的任务负载调度分配方式。任务是资源分配的基本单位。针对实时集群系统，采用任务的执行时间来描述各个任务请求的计算工作量，定义任务权值表征各个任务在计算节点中负载的大小，任务权值w 可用于对任务请求进行分类。对于异构集群计算机系统，各个节点的计算处理能力不尽相同，我们用节点资源权值来cs ∑==K

i i i cs w m lw 1/)(衡量。定义计算节点的负载当量表示共 ,K

i

w

i m 有类任务，表示相应的任务权值，表示任务权值

K 相等的任务数，表示节点的资源权值。负载当量将任务权

cs 值、任务数量和节点资源权值相结合，较单纯的任务数量而

言能更准确地刻画各个计算节点的负载大小。

一种用于实时集群的多任务负载均衡算法

向建军，白欣，左继章

空军工程大学工程学院电子工程系，西安(

710038)

摘要： 多任务负载均衡是集群并行处理中的一个重要问题。该文在分析轮转式调度算法和任务最少优先法的优缺点基础上，引入负载当量来更准确地描述集群节点的负载状况，提出了一种有效的负载均衡算法——负载当量轮转法，并采用以动态任务分配表为核心的多任务负载分配方式。最后，通过测试验证了该算法明显优于前两种算法。关键词：实时集群；负载均衡；负载当量轮转法；任务分配表

A Multipletask Load Balancing

Algorithm Used in Real-time Cluster System

，，XIANG Jianjun BAI Xin ZUO Jizhang

(Electronic Engineering Department of Air Force Engineering University,Xi'an 710038)

【】Abstract Multi-task load balancing is an important problem in the parallel processing of cluster. After analyzing the merits and demerits of round-robin algorithm and least tasks first algorithm, this paper introduces LW(load weigh) to describe the load state of cluster node more accurately. ——Furthermore, it presents an effective load balancing algorithm LWRR and adopts the method of dynamic task distributing table to realize the algorithm. At last, the test results show the algorithm is prior to the front two algorithms.

【】Key words ；；； Real-time cluster Load balancing Load weigh round robin(LWRR)Task distributing table

第卷　第期2912№Vol.29 12计　算　机　工　程Computer Engineering

年月

20037 July 2003

?基金项目论文?

中图分类号： TP301.6

文章编号：———10003428(2003)12 003603

文献标识码：A

——

36

定义个计算节点的负载当量向量为：N },...,,{2

1N

lw

lw

lw LW

=。

由负载当量向量可得最重载和最轻载计算节点的负载当量分别为：

)max(max LW lw =)min(min LW lw =、。

个计算节点平均负载当量为：N ∑==N

i i ave

N lw lw

1

/)(。

定义负载当量差为：min

max lw lw lw diff

?=。

负载当量阈值为：

%10×=ave thres lw lw 。

负载当量阈值大小要对任务请求状况与集群节点间通信开销进行比较，应折中考虑。

针对轮转任务调度法和最少任务优先调度法的优缺点，在轮转任务调度法中融入最少任务优先法。当各个有效计算节点的负载当量差别不大时，顺序地将各个任务请求分配给各个有效计算节点；当负载当量差别较大，将任务请求分配给当前负载当量最小的有效计算节点。在实时任务负载均衡算法中引入负载阈值，结合任务负载最小优先分配原则，可以平滑突发性实时任务，改善了单纯轮转式任务调度算法的负载均衡能力。既保证了整个系统的负载均衡性，又提高了系统的实时性。

多任务负载均衡的算法描述

3 在实时集群的多任务负载均衡模型中有两种任务进程：

一种是负责实时任务的调度和分配，由控制节点完成；另一种是实时任务的计算处理，由各个计算节点完成。

控制节点运行多任务负载均衡调度进程，在每个时统周期收集各个计算节点的信息，根据各个计算节点的负载状况，将当前接收到的应用任务按照负载当量轮转法的策略，以动态任务分配表的方式分配给各个计算节点。动态任务分配表采用动态链表的数据结构，每个链表节点有效数据结构如表。

1动态任务分配表的维护和更新是控制节点的调度核心，控制节点在下列时刻要更新任务分配表：有新的任务请(1)求；有计算进程失效；有计算节点失效。并且控制节(2)(3)点在动态任务分配表更新时采用单向广播的方式，不查询各个计算节点的状况，这样有利于降低系统资源的开销。

移动任务负载有时会导致计算节点接收大量的数据。在实时集群系统中应该尽量减少任务负载的移动次数。在负载当量轮转法负载均衡模型中，任务是资源分配的基本单位，我们规定只在计算进程或计算节点失效时才进行任务迁移：当计算进程失效时，任务只在计算节点内部进行迁移；(1) 当计算节点失效时，任务迁移到其它有效计算节点。任(2)务迁移将失效节点或失效进程的处理任务视为新的任务请求，通过更新动态任务分配表将任务迁移给其他有效计算节点或有效进程。

计算节点中两个镜像的计算进程常驻内存。各个计算节点的任务处理不进行同步等待，计算进程在本节点有任务分配表和任务原始数据的情况下就进行本节点任务数据的处理

计算。此外，计算节点的定时中断服务进程定时单向发送自

身的信息软、硬件和负载状态给控制节点。()

控制节点多任务负载均衡算法：);(;For

:1step 控制节点收集本时统内有效计算节点数、有效计算节 点号和有效计算进程号。

:2step 计算本时统内各个有效计算节点的负载当量、负载当 量差、平均负载当量和负载当量阈值。

:3step )(i task 阻塞接收计算任务请求，根据计算任务类型，赋予相应的任务类型权值。:4step 判断并分配任务请求： )(thres diff lw lw if >

then 将计算任务请求分配到负载当量最小的计算节点，填充相应的动态任务分配表。

esle then 将计算任务请求轮转地分配到各个有效节点，填充相应的动态任务分配表。

:5step 1step 广播动态任务分配表给各个计算节点，转向。for

End 计算进程的算法：

)

;(;For :1step 阻塞接收数据包。

:2step if 接收到动态任务分配表

()

then 将动态任务分配表写入任务分配表共享内存，

并且设置分配表有效标志。

if else 接收到任务原始数据

()

then 将任务原始数据写入数据共享内存，并且设置

任务数据有效标志。

if end

:3step if 分配表标志有效任务数据标志有效

(&&)读取任务分配表共享内存和读取任务数据共享内存。 (1)()_process task 本计算节点任务数据按照任务分配表进 (2)

/*行计算*/

:4step 定时向控制节点的控制进程发送本机信息资源权值、 (负载状况、软硬件状况等。

)for End

实验结果

4 我们采用的实时集群计算机分为个控制节点和个计算24300NF 节点，为同构集群系统。集群节点为浪潮服务Rtlinux 器，操作系统为，集群计算机节点通过千兆光纤以太网络互联。

N lw lw lw N

i ave i /})({21∑=?=σi

lw 定义负载均方差，ave lw 表示节点的负载大小，表示平均负载大小，表示节i N 点总数。在实验中，使用负载相对均方差ave comp lw lw lw /σ=来衡量各集群节点机的负载状况。实 时集群的控制节点运行多实时任务负载均衡进程，计算节点

运行两个计算进程。用不同计算量的高浮点运算程序段模拟

——

37表动态任务分配表

1 表头

任务类型权值任务处理精度任务处理节点号任务处理进程号任务处理结果去向指向下一节点

不同任务类型权值的实时任务请求。

负载阈值选取对节点负载的影响

(1)在负载当量轮转算法中，负载阈值参数的选取可以决定负载平衡算法的性能。在实验中，提交相同的任务请求，而通过估算系统并行通信开销选取不同的负载阈值，计算各节点的负载相对均方差，统计测试结果如图。可见，在负载1阈值取平均负载的时候，负载相对均方差较小。

10%

图不同负载阈值的测试

1 同构集群系统下不同均衡算法的性能测试

(2)负载相对均方差不仅与任务负载均衡策略有很大的关系，也与多应用任务请求集自身有关。给集群系统提交两种分布的任务请求：任务差异小；任务差异大。在采用不1)2)同的任务负载均衡分配算法下，提交相同的任务请求，计算各集群节点的负载相对均方差，统计测试结果如图。图中2为轮转法，为任务最小优先法，为负载当量轮转法。A B C 由图可知，负载当量轮转法的负载均衡能力优于轮转法和2任务最少优先法。

异构集群系统下不同调度算法的性能测试

(3)在负载当量中引入节点资源权值因子，而在同构系统cs 中不能体现节点资源权值的作用各节点的资源权值均相(cs 等。为此，在节点信息中附加一项节点资源权值，个节点)4的资源权值分别取、、、资源权值越高代表节点的计

1234(算能力越强，模拟异构集群系统。控制节点根据节点信息)

中附加的节点资源权值进行任务调度和分配。同测试一2样，我们采用不同的任务负载均衡分配算法对集群系统各节点的负载相对均方差进行统计测试，结果如图。可知，在3异构集群系统下，由于负载当量中的节点资源权值体现了节点不同的计算能力，更体现了负载当量轮转法的负载均衡能力明显优越于其他两种算法。

图同构集群不同算法的测试图异构集群不同算法的测试

2 3 结束语

5 针对应用请求的任务级进行负载分配和均衡，本文在轮转法和任务最少优先法的基础上，提出了负载当量轮转法。首次采用负载当量刻画节点的负载状况，负载当量引入了任务权值和节点资源权值，较单纯的任务数量而言能更准确地刻画节点的负载状况，适用于多机多任务实时系统的粗粒度任务调度和网络计算的任务分配。负载当量阈值的确定是本算法的关键，如何更准确地根据集群系统并行通信开销和任务请求状况来确定负载当量阈值是本文进一步的工作。

参考文献

陈国良并行计算——结构、算法、编程北京高等教育出版社1 ..:,1999郑纬民石威高性能集群计算北京电子工业出版社2 ,

..:,2001毛羽刚金士尧并行与分布硬实时系统的调度计算机科学3 ,...1999 (9):51-54徐万鸿宋佳兴基于节点机计算能力的网络计算体系计算机工程4 ,..与应用,2001,38(16):54-57

上接第页(16)

由上可知，定义作业流的控制流就如同编写一个结构化程序，简单明了。下面给出了一个作业流的结构化构造方法的应用示例。

使用作业流的结构化定义方法，可以将非结构化的作业流改造为结构化的作业流。例如可以将图中的网状的作3 (a)业流转化为图所示的结构化作业流。

3 (b)显然，图的表达方法要比图的表达方式清晰得3(b)3(a)多，作业的执行过程一目了然。这样的结构化作业流易于构造，容易查错。这也证明了结构化作业流法的优势所在。

结束语

2 结构化构造方法的引入，极大地简化了作业流的定义形

式。它简单、易用、灵活，有一个用以构造作业流的基本作业流的完备集，通过这个基集可以构造任何需要的作业流。基本并性组概念的提出使得并行作业的处理简明扼要，大大地方便了处理。

参考文献

胡正国蔡经球程序设计方法学西安西北工业大学出版社1 ,..:,1990汤小春基于集群技术的作业管理系统的研究与实现博士论文西2 .[].安西北工业大学:,2001-10

范玉顺工作流管理技术基础北京清华大学出版社3 ..:,2001

4 http://www.sw.nec.co.jp/middle/SystemScope/Products/gaiyou.html# top

——

38

相对均方

差

相对均方

差负载阈值(%)

☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆