Linux集群系统分析

２００６年９月第１１卷第５期

西安邮电学院学报Ｓｅｐ．２００６ＪＯＵＲＮＡＬＯＦＸＩ’ＡＮＵＮＩＶＥＲＳＩＴＹＯＦＰ嘟ＡＮＤＴＥＬＥ（Ｙ３ＭＭＵＮＩＣＡＴＩＯＮＳＶ０１．１１Ｎｏ．５

Ｌｉｎｕｘ集群系统分析

崔小燕

（西安邮电学院信息与控制系，陕西西安７１０１２１）

摘要：主要论述了集群系统的体系结构，从分布式作业调度的角度进行负载平衡特别是网络负载平衡的分析，研究在集群环境下负栽均衡的实现手段、均衡算法。

关键词：集群系统；负载均衡；高可用性；并行计算

中图分类号：ＴＰ３１６文献标识码：Ａ文章编号：１００７—３２６４｛２００６）０５—０１０３—０４

引言

自从世界上第一台电子计算机ＥＮＩＡＣ在一Ｍａｕｃｈｌｙ和Ｅｃｋｅｒｔ的主持下，于１９４５年在美国宾夕法尼亚大学的莫尔电子工程学院诞生起，人类对计算机计算速度的追求就一直没有停止过。但是，更快，更强的处理器终究会受到物理极限的限制。而另一种提高计算机速度的可能途径就是集群系统。

近年来，随着高性能微处理器、高速网络、高性能分布计算的标准工具三种技术的飞速发展以及各种计算机部件的商品化，集群系统成为价格合理的并行计算工具。在需要提供高度可靠的服务以及强大的计算能力的环境下，以廉价而又容易获取的硬件和免费或常用软件构成的集群系统发挥着越来越明显的优势。最常用群集是负载均衡群集和高可用性群集。

１负载均衡（ＬｏａｄＢａｌａｎｃｅ）集群

负载均衡集群为企业需求提供了更实用的系统。该系统使负载可以在计算机群集中尽可能平均地分摊处理。该负载可能是需要均衡的应用程序处理负载或网络流量负载。这样的系统非常适合于运行同一组应用程序的大量用户。每个节点都可以处理一部分负载，并且可以在节点之间动态分配负载，以实现平衡。对于网络流量也是如此。通常，网络服务器应用程序接受了太多入网流量，以致无法迅速处理，这就需要将流量发送给在其它节点上运行的网络服务器应用。还可以根据每个节点上不同的可用资源或网络的特殊环境来进行优化。

典型的负载均衡集群模型如图１所示。

图１负载均衡模型

针对不同的网络服务需求和服务器配置，有以下六种负载调度算法：

（１）轮叫（ＲｏｕｎｄＲｏｂｉｎ）

调度器通过“轮叫”调度算法将外部请求按顺序轮流分配到集群中的真实服务器上，他把所有的服务器放在相等的地位上，而不会实际的去考虑各台服务器的差异，如响应时间、实际的连接数和系统负载。例如您有ＡＢＣ三台服务器，那么调度器分发数据包的顺序是……ＡＢＣＡＢＣＡＢＣ……，Ｒｏｕｎｄ一

收稿日期：２００５—１１—２８

作者简介：崔小燕（１９７８一）女，陕西西安人，西安邮电学院信息与控制系助理工程师。

万方数据

万方数据

第５期崔小燕：Ｌｉｎｕｘ集群系统分析?１０５?

于用户是?致的。

集群系统高可用性，主要包括集群管理器和节点的高可用性。

计算机系统的可靠性用平均无故障时问（ＭＴ－ＴＦ）来度量，即计算机系统平均能够正常运行多长时间，才发生一次故障。系统的可靠性越高，平均无故障时间越长。可维护性用平均维修时间（ＭＴＴＲ）来度量，即系统发生故障后维修和重新恢复正常运行平均花费的时间。系统的可维护性越好，平均维修时间越短。计算机系统的可用性定义为：ＭＴＴＦ／（ＭＴＴＦ＋Ｍ丌Ｒ）＊１００％。由此可见，计算机系统的可用性定义为系统保持正常运行时间的百分比。

通过硬件冗余或软件的方法都可以从很大程度上提高系统的可用性。硬件冗余主要是通过在系统中维护多个冗余部件如硬盘、网线等来保证工作部件失效时可以继续使用冗余部件来提供服务；而软件的方法是通过软件对集群中的多台机器的运行状态进行监测，在某台机器失效时启动备用机器接管失效机器的工作来继续提供服务。

一般来说，需要保证集群管理器的高可用性和节点的高可用性。Ｅｄｄｉｅ、ＬｉｎｕｘＶｉｒｔｕａｌＳｅｒｖｅｒ、Ｔｕｒ—ｂｏｌｉｎｕｘ、Ｐｉｒａｎｈａ和Ｕｈｒａｒｎｏｎｋｅｙ都采用了类似于图２的高可用性解决方案。

图２离可用性模型

２．１集群管理器的高可用性

为了屏蔽集群管理器的失效，需要为它建立一个备份机。主管理器和备份管理器上都运行着ｈｅａｒｔｂｅａｔ程序，通过传送诸如“我活着”这样的信息来监测对方的运行状况。当备份机不能在一定的时间内收到这样的信息时，它就激活ｆａｋｅ程序，让备份管理器接管主管理器继续提供服务；当备份管理器又从主管理器收到“我活着”这样的信息时，它就使ｆａｋｅ程序无效，从而释放ＩＰ地址，这样主管理器就开始再次进行集群管理的工作了。

２．２节点的高可用性

节点的高可用性可以通过不断监视节点的状态以及节点上的应用程序的运行状态来实现，当发现节点已经失效时，可以重新配置系统并且将工作负载交给那些运行正常的节点来完成。如图２所示，系统通过在集群管理器上运行ｍｏｎｉｔｏｒ精灵程序来监视集群中的实际服务器上的服务程序的运行状况。例如使用ｐｉｎｇ．ｍｏｎｉｔｏｒ以一定的时间间隔来监视实际服务器是否还在正常运转；使用ｈｔｔｐ．ｍｏｎｉ．ｔｏｒ来监测ｈｔｔｐ服务，使用ｆｔｐ．ｍｏｎｉｔｏｒ来监测ｆｔｐ服务等等。如果发现某个实际服务器出了故障，或者是其上的服务已失败，则在集群管理器中删除有关这个实际服务器的所有规则。反之，如果不久以后发现系统已经重新能够提供服务，则增加相应的所有规则。通过这种方法，集群管理器可以自动屏蔽服务器和其上运行的服务程序的失效，并且当实际服务器正常运转时能将它们重新加入到集群系统中。

３关键技术

（１）调度器的负载均衡问题

ＩＰ负载均衡技术：当用户请求到达时，调度器根据各节点机器的负载情况和事先设定好的调度算法，从节点机器队列中选取一个服务器，并将此请求转发到选出的服务器，并记录当前操作，这个请求的其他报文到达，也会被转发到当前服务器。

内容请求分发技术：各服务器可以提供不同的服务，当用户请求到达时，调度器可以根据请求内容选择相应的服务器。

（２）集群内部节点问通信延时问题

节点之问采用专用的或者通用的互联网通信协议进行连接。避免了共享内存出现的资源竞争，有利于提高节点利用率。通用的互联网络协议有：快速以太网、千兆以太网、Ｍｙｒｉｎｅｔ等。专用的协议有ＴＣＰ／ＩＰ协议的精简协议，如ＡｃｔｉｖｅＭｅｓｓａｇｅ、ＦａｓｔＭｅｓｓａｇｅ、ＶＩＡ（ＶｉｒｔｕａｌＩｎｔｅｒｆａｃｅＡｒｃｈｉｔｅｃｔｕｒｅ）等。一般对不同的情况采用不同的专用网络协议减少通信延时。

（３）并行任务的粒度划分问题

为了最大限度发挥集群并行计算的优势，我们往往把减少系统通信延时作为任务划分的依据，即

将一些任务划分到一个节点上串行执行，使得通信万方数据

万方数据