分布式系统简介

第一章分布式系统概述

计算机系统正在经历着一场革命。从1945年现代计算机时代开始到1985年前后，计算机是庞大而又昂贵的。即使是微型机，通常也每台价值数万美元。因此，大多数机构只有少数的几台计算机，同时，由于缺乏一种把它们连接起来的方法，所以这些计算机只能相互独立地运行。

但是，从20世纪80年代中期开始，技术上的两大进步开始改变这种状况。首先是功能更强的微处理机的开发，开始出现了8位的机型，随后不久16位，32位，甚至64位的CPU 也开始普及。其中许多机器具有较大主机（即，大型机）的计算能力，但价格却只是它的几分之一。

在过去的半个世纪里计算机技术取得了惊人的进步，这在其它工业中是前所未有的。从每台机器价格高达1000万美元，每秒执行一条指令，发展到目前售价1000美元而每秒执行1000万条指令，其性能价格比提高了1011倍。如果在同一时期内汽车工业也能以这样的速度发展，那么现在一部劳斯莱斯牌汽车（Rolls Royce）将会只需要花10美元就可买到，而每加仑汽油就能行驶10亿英里（不幸的是，那时可能会有一本200页的手册告诉你该如何打开车门）。

第二个进步是高速计算机网络的出现。局域网LAN使得同一建筑内的数十甚至上百台计算机连接起来，使少量的信息能够在大约1毫秒左右的时间里在计算机间传送。更大量的数据则以（107～108 ）比特/秒（bit/s）或更大的速率传送。广域网WAN使得全球范围内的数百万台计算机连接起来，传输速率从64Kbps(每秒千位比特)到用于一些先进的实验型网络中的每秒千兆比特（gigabits）。

这些技术的结果使得把由大量CPU组成的计算系统通过高速网络连接在一起不仅成为可能，而且变得十分容易。相对于以前包括单个CPU、存储器、外设和一些终端在内的集中式系统（又叫单处理机系统single processor system），它们通常被称为分布式系统(distributed systems)。

现在仅存在一个比较棘手的问题，那就是软件。分布式系统需要与集中式系统完全不同的软件。特别是系统所需要的操作系统只是刚刚出现。虽然分布式系统已经向前迈出了最初的几步，但仍有很长的一段路要走。对于分布式操作系统，我们对它的一些基本思想的介绍到这里已经足够了。接下来，本书将致力于研究分布式操作系统的概念、实现和几个实例。

1.1什么是分布式系统？

分布式系统有很多不同的定义，但其中没有一个是令人满意或者能够被所有人接受的。介绍分布式系统，对它的特点的下列大致的描述足够了：

“一个分布式系统是一些独立的计算机的集合，但是对这个系统的用户来说，系统就象一台计算机一样。”

这个定义有两个方面的含义：第一，从硬件角度来讲，各个计算机都是自治的；第二，从软件角度来讲，用户将整个系统看作是一台计算机。这两者都是必需的，缺一不可。在简要介绍有关硬件、软件的一些背景材料之后，我们将再回到这两点上来进行讨论。

由于给出分布式系统的一些实例可能要比进一步的深入研究定义更有帮助，下面就给出一些分布式系统的例子。第一个例子，设想一个大学或公司部门内的工作站网络。除了每个用户的个人工作站外，机房中可能还有一个共享的处理机池(pool of processor)，这些处理机并没有分配给特定的用户，而是在需要的时候进行动态分配。这样的系统可能会有一个单一的文件系统，其中所有的文件可以从所有的计算机上以相同的方式并且使用相同的路径名存取。另外，当一个用户输入一条命令时，系统能够找到一个最好的地方执行该命令。这可能

是在用户自己的工作站上，可能是在别人空闲的工作站上，也可能在机房里一个未分配的处理机上。如果这个从系统整体上看以及运行起来看都像一个典型的单处理机分时系统，那么就可以称它为一个分布式系统。

第二个例子，考虑一个到处是机器人的工厂。每个机器人都有一台功能强大的计算机用于处理视觉、进行计划、通信以及其它任务。当装配线上的某个机器人发现一个它要安装的零件有缺陷时，它就要求该零件供应部门的另一个机器人给它送一个替代品。如果所有的机器人都如同连接于同一中心计算机上的外设一样工作，而且系统的程序也是以这种方式进行编制的话，那么它也是一种分布式系统。

最后一个例子是一个在世界各地有数百个分支机构的大银行。每个分支机构有一台主计算机存储当地帐目和处理本地事务。此外，每台计算机还能与其他分支机构的计算机及总部的计算机对话。如果交易不管顾客和帐目在哪里都能够进行，而且用户也不会感到当前这个系统与被替代的老的集中式主机有何不同，那么这个系统也被认为是一个分布式系统。

1.2 目标

我们已经能够建立一个分布式系统，但这并不意味着建立一个分布式系统一定是一个好主意。就像以目前的技术水平，我们可以在一台计算机中装入四个软盘驱动器，而问题在于这样做并没有什么意义一样。本节中，我们将讨论典型分布式系统的动机和目的，分析它与传统的集中式系统相比较所具有的优点和缺点。

1.2.1 分布式系统与集中式系统相比较而言的优点

系统倾向于分布式发展潮流的真正驱动力是经济。25年前，计算机权威和评论家Herb Grosch指出CPU的计算能力与它的价格的平方成正比，后来成为Grosch定理。也就是说如果你付出两倍的价钱，就能获得四倍的性能。这一论断与当时的大型机技术非常吻合，因而使得许多机构都尽其所能购买最大的单个大型机。

随着微处理机技术的发展，Grosch定理不再适用了。现在人们只需花几百美元就能买到一个CPU芯片，这个芯片每秒钟执行的指令比80年代最大的大型机的处理机每秒钟所执行的指令还多。如果你愿意付出两倍的价钱，将得到同样的CPU，但它却以更高的时钟速率运行。因此，最节约成本的办法通常是在一个系统中使用集中在一起的大量的廉价CPU。所以，倾向于分布式系统的主要原因是它可以潜在地得到比单个的大型集中式系统好得多的性能价格比。实际上，分布式系统是通过较低廉的价格来实现相似的性能的。

与这一观点稍有不同的是，我们发现微处理机的集合不仅能产生比单个大型主机更好的性能价格比，而且还能产生单个大型主机无论如何都不能达到的绝对性能。例如，按目前的技术，我们能够用10,000个现代CPU芯片组成一个系统，每个CPU芯片以50 MIPS（每秒百万指令）的速率运行，那么整个系统的性能就是500,000 MIPS。而如果单个处理机（即CPU）要达到这一性能，就必需在2×10-12秒（2 微微秒，0.002纳秒）的时间内执行一条指令，然而没有一个现存的计算机能接近这个速度，从理论上和工程上考虑都认为能达到这一要求的计算机都是不可能存在的。理论上，爱因斯坦的相对论指出光的传播速度最快，它能在2 微微秒内传播0.6毫米。实际上，一个包含于边长为0.6 毫米大小的立方体内的具有上面所说的计算速度的计算机产生大量的热量就能将它自己立即熔掉。所以，无论是要以低价格获得普通的性能还是要以较高的价格获得极高的性能，分布式系统都能够满足。

另一方面，一些作者对分布式系统和并行系统进行了区分。他们认为分布式系统是设计用来允许众多用户一起工作的，而并行系统的唯一目标就是以最快的速度完成一个任务，就像我们的速度为500,000 MIPS的计算机那样。我们认为，上述的区别是难以成立的，因为实际上这两个设计领域是统一的。我们更愿意在最广泛的意义上使用“分布式系统”一词来表示任何一个有多个互连的CPU协同工作的系统。

建立分布式系统的另一原因在于一些应用本身是分布式的。一个超级市场连锁店可能有许多分店，每个商店都需要采购当地生产的商品（可能来自本地的农场）、进行本地销售，或者要对本地的哪些蔬菜因时间太长或已经腐烂而必须扔掉作出决定。因此，每个商店的本地计算机能明了存货清单是有意义的，而不是集中于公司总部。毕竟，大多数查询和更新都是在本地进行的。然而，连锁超级市场的高层管理者也会不时地想要了解他们目前还有多少甘蓝。实现这一目标的一种途径就是将整个系统建设成对于应用程序来说就像一台计算机一样，但是在实现上它是分布的，像我们前面所描述的一个商店有一台机器。这就是一个商业分布式系统。

另一种固有的分布式系统是通常被称为计算机支持下的协同工作系统（CSCW，Computer Supported Cooperative Work）。在这个系统中，一组相互之间在物理上距离较远的人员可以一起进行工作，例如，写出同一份报告。就计算机工业的长期发展趋势来说，人们可以很容易的想像出一个全新领域——计算机支持的协同游戏（CSCG：Computer Supported Cooperative Games）。在这个游戏中，不在同一地方的游戏者可以实时的玩游戏。你可以想像，在一个多维迷宫中玩电子捉迷藏，甚至是一起玩一场电子空战，每个人操纵自己的本地飞行模拟器去试着击落别的游戏者，每个游戏者的屏幕上都显示出其飞机外的情况，包括其它飞入它的视野的飞机。

同集中式系统相比较，分布式系统的另一个潜在的优势在于它的高可靠性。通过把工作负载分散到众多的机器上，单个芯片故障最多只会使一台机器停机，而其它机器不会受任何影响。理想条件下，某一时刻如果有5%的计算机出现故障，系统将仍能继续工作，只不过损失5%的性能。对于关键性的应用，如核反应堆或飞机的控制系统，采用分布式系统来实现主要是考虑到它可以获得高可靠性。

最后，渐增式的增长方式也是分布式系统优于集中式系统的一个潜在的重要的原因。通常，一个公司会买一台大型主机来完成所有的工作。而当公司繁荣扩充、工作量就会增大，当其增大到某一程度时，这个主机就不能再胜任了。仅有的解决办法是要么用更大型的机器（如果有的话）代替现有的大型主机，要么再增加一台大型主机。这两种作法都会引起公司运转混乱。相比较之下，如果采用分布式系统，仅给系统增加一些处理机就可能解决这个问题，而且这也允许系统在需求增长的时候逐渐进行扩充。图1-1中总结了以上这些优点。

图1-1. 分布式系统相对于集中式系统的优点

从长远的角度来看，主要的驱动力将是大量个人计算机的存在和人们共同工作与信息共享的需要，这种信息共享必需是以一种方便的形式进行的，而不受地理或人员、数据，机器的物理分布的影响。

1.2.2 分布式系统与独立PC机相比较的优点

既然使用微处理机是一种节省开支的办法，那么为什么不给每个人一台个人计算机，让他们各自独立地工作呢？一则，许多用户需要共享数据。例如，机票预订处的工作人员需要

访问存储航班以及现有座位信息的主数据库。假如给每个工作人员都备份整个数据库，那么在实际中这是无法工作的，因为没有人知道其他工作人员已经卖出了哪些座位。共享的数据是上例和许多其它应用的基础，所以计算机间必须互连。而计算机互连就产生了分布式系统。

共享并不只是仅仅涉及数据。昂贵的外设，例如彩色激光打印机，照相排版机以及大型存储设备（如自动光盘点唱机）都是共享资源。

把一组孤立的计算机连成一个分布式系统的第三个原因是它可以增强人与人之间的沟通，电子邮件比信件、电话和传真有更多的诱人之处。它比信件快的多，不像电话需要两人同时都在，也不像传真，它所产生的文件可在计算机中进行编辑、重排和存储，也可以由文本处理程序来处理。

最后，分布式系统可能比给每个用户一个独立的计算机更灵活。尽管一种可能的模式是给每个人一台个人计算机并把它们通过LAN联在一起，但这种方式并不是唯一的。另外还存在一种模式是将个人计算机和共享计算机混合连接在一起（这些机器的型号可能并不完全相同），使工作能够在最合适的计算机上完成，而并不总是在自己的计算机上完成。这种方式可以使工作负荷能更有效地在计算机系统中进行分配。系统中某些计算机的失效也可以通过使其工作在其它计算机上进行而得到补偿。图1-2总结了以上所介绍的各点。

图1-2. 分布式系统相对于孤立的(个人)计算机的优点

1.2.3 分布式系统的缺点

尽管分布式系统有许多优点，但也有缺点。本节就将指出其中的一些缺点。我们前面已经提到了最棘手的问题：软件。就目前的最新技术发展水平，我们在设计、实现及使用分布式系统上都没有太多的经验。什么样的操作系统、程序设计语言和应用适合这一系统呢？用户对分布式系统中分布式处理又应该了解多少呢？系统应当做多少而用户又应当做多少呢？专家们的观点不一（这并不是因为专家们与众不同，而是因为对于分布式系统他们也很少涉及）。随着更多的研究的进行，这些问题将会逐渐减少。但是目前我们不应该低估这个问题。

第二个潜在的问题是通信网络。由于它会损失信息，所以就需要专门的软件进行恢复。同时，网络还会产生过载。当网络负载趋于饱和时，必须对它进行改造替换或加入另外一个网络扩容。在这两种情况下，一个或多个建筑中的某些部分必须花费很高的费用进行重新布线，或者更换网络接口板（例如用光纤）。一旦系统依赖于网络，那么网络的信息丢失或饱和将会抵消我们通过建立分布式系统所获得的大部分优势。

最后，上面我们作为优点来描述的数据易于共享性也是具有两面性的。如果人们能够很方便地存取整个系统中的数据，那么他们同样也能很方便地存取与他们无关的数据。换句话说，我们经常要考虑系统的安全性问题。通常，对必须绝对保密的数据，使用一个专用的、不与其它任何机器相连的孤立的个人计算机进行存储的方法更可取。而且这个计算机被保存在一个上锁的十分安全的房间中，与这台计算相配套的所有软盘都存放在这个房间中的一个保险箱中。分布式系统的缺点如图1-3所示。

图1-3. 分布式系统的缺点

尽管存在这些潜在的问题，许多人还是认为分布式系统的优点多于缺点，并且普遍认为分布式系统在未来几年中会越来越重要。实际上，在几年之内许多机构会将他们的大多数计算机连接到大型分布式系统中，为用户提供更好、更廉价和更方便的服务。而在十年之后，中型或大型商业或其它机构中可能将不再存在一台孤立的计算机了。

1.3 硬件概念

尽管所有的分布式系统都包含多个CPU，但仍有一些不同的硬件组织方法，特别体现在这些CPU的互联方式及通信方式上。本节将简要介绍分布式系统的硬件，特别是要了解一下多台计算机是如何联结在一起的。下一节将探讨与分布式系统有关的软件问题。

过去几年中人们已经提出过许多多CPU计算机系统的分类方案，但却没有一种方案真正流行或者被广泛采用。在这些方案中最经常被引用的是Flynn的分类方案，虽然它还相当不成熟。Flynn提出两个他认为十分重要的特征：指令流的数量和数据流的数量。

第一类是具有单指令流、单数据流的计算机，它被称为SISD（Single Instruction stream，Single Data stream）。所有传统的单处理机（即，那些只有一个CPU的）计算机，从个人计算机到大型主机，都属于这一类。

第二类是SIMD（Single Instruction stream，Multiple Data stream），它有一个指令流和多个数据流。这种类型是指有一个能取一条指令的指令单元的处理机阵列结构。在这个结构中，指令单元取出一条指令后，操纵许多数据单元并行的执行这条指令，而且每个数据单元都有它自己的数据。这种类型的计算机在用多组数据重复进行同样的计算时是非常有用的，例如，把有64个独立向量的所有元素累加起来。一些超级计算机就属于SIMD型。

第三类为MISD（Multiple Instruction stream，Single Data stream）。此类型计算机有多条指令流，一条数据流。我们已知的计算机中没有属于这一类的。最后一类是MIMD（Multiple Instruction stream，Multiple Data stream），它在本质上是一组独立的计算机，每个计算机有自己的程序计数器、程序和数据。所有的分布式系统都是MIMD型。所以这种分类系统对于我们来说不是非常有用的。

虽然Flynn的分类到此为止，但我们还要更深入的进行分类。在图1-4中，我们把所有的MIMD计算机群分成两类：那些具有共享存储器的通常称为多处理机（multiprocessor）或多处理器；而不具有共享存储器的则称为多计算机(multicomputer)。它们之间的本质区别在于：在多处理机中，所有的CPU共享统一的虚拟地址空间。例如，如果任何一个CPU将数值44写入地址1000中，随后任何其它的CPU将会从它的地址1000中读出数值44，所有的机器共享同一个存储器。

相反，在多计算机中，每个计算机有它自己私有的存储器。如果一个CPU将数值44写入它的地址1000中，而当另一个CPU读地址1000中的数据时，将会得到该地址中以前写入的值。写入数值44根本没有影响到它自己的存储器。由网络连接的个人计算机的集合就是一个多计算机系统的普通实例。

这两种类型又可以分别根据互连网络的体系结构进一步进行细分。在图1-4中，我们把

这两种分类描述为总线型(bus)和交换型(switched)。所谓总线型是指只通过单个网络、底板、总线、电缆或其它介质将所有计算机联结起来。有线电视采用的就是与此十分类似的方案，即电缆公司在街道下面布线，所有的用户都通过分接头将他们的电视与这条总线连结起来。

MIMD

sequent 超级计算机LAN工作站超立方体

Encor RP3 Transputer

图1-4 并行及分布式计算机系统分类法

交换型系统并不象有线电视那样有一个网络主干，而是在机器和机器之间有独立的线路，在实际使用中还有许多不同的连线方式。信息沿着线路传送，在每一步都需要进行明确的路由选择以将信息通过某个输出线路发送出去。世界范围的公共电话系统就是采用这种方式组织的。

另一种分类方法是，在一些系统中的机器是紧耦合型(tightly coupled)的，而在另一些系统中它们是松耦合型(loosely coupled)的。在紧耦合的系统中，一台计算机向另一台计算机发送信息的时延很短、数据传输速率高；也就是说它每秒中所能够传送的比特数大，而在松耦合的系统中则正好相反：机器间信息传送延迟大，数据传输速率也低。例如，同一个印刷电路板上由蚀刻在板上的电路连接的两个CPU芯片很可能是紧耦合的。然而，由2400 比特/秒(bit/sec) 的调制解调器通过电话系统连接到一起的两台计算机必定是松耦合的。

紧耦合的系统多用于并行系统（共同处理一个问题），而松耦合系统多用于分布式系统（处理一些不相关的问题）。然而情况并不总是这样，如一个著名的反例就是：全世界的数百台计算机一起工作，试图对一个巨大的数字（大约100位）进行分解因子，每台计算机被安排只计算某个指定范围中的除数。他们都在空闲的时间做这件事，完成后用电子邮件报告结果。

总的来说，多处理机的耦合程度要比多计算机高，因为它们能以存储速率交换数据，但一些基于光纤的多计算机也能以存储速率交换数据。尽管紧耦合和松耦合的概念很模糊，但它们是很有用的概念，就象说“杰克胖，吉尔瘦”表明了有关他们腰身的信息一样，即使你可对胖和瘦的概念进行大量的讨论，。

在下面四节中，我们将更详细介绍图1-4中所示的四个类别，即总线型多处理机、交换型多处理机、总线型多计算机、交换型多计算机。尽管这些问题与我们所关心的主题分布式操作系统没有直接关系，但它们却能够有助于我们更好的阐明主题，正如我们将会看到的，不同类别的计算机系统应采用不同的操作系统。

1.3.1 基于总线的多处理机

基于总线的多处理机是由若干个CPU组成的，它们都连接到一个公共的总线上，并且共享一个存储器模块。只要有一个CPU和存储器卡插在高速底板或母板上就可以实现一个简单的结构配置。典型的总线有32根或64根地址线，32根或64根数据线，还有约32根或更多的控制线，它们都是并行操作的。为了要读取存储器中的一个字（coherent），CPU首先将它想要读取的字的地址放到总线的地址线上，然后给控制线发送一个适当的信号表明它想要进行读操作。存储器进行响应把该地址的内容送到数据线上以使CPU可以对它进行读取。写操作也以相似的方式进行。

由于存储器只有一个，当CPU A给存储器写入一个字，一微秒后CPU B在读出该字的内容时会得到A刚写入的那个值。具有这种特性的存储器被称为是相关的（coherent）。相关性在分布式操作系统中以不同的方式发挥重要的作用，这一点我们将在后面进行详细讨论。

这种实现方案的问题在于，只要有仅仅4到5个CPU时，总线就会经常过载，引起性能也会急剧下降。解决的办法是在CPU和总线之间增加一个高速缓冲存储器（cache memory），如图1-5所示。缓冲存储器保留着最近刚存取过的字。所有的内存访问请求都要经过它。如果请求的字在缓冲存储器中，缓冲存储器就会直接响应CPU，而不产生总线请求。如果缓冲存储器足够大的话，那么成功的可能性，称为命中率，将是很高的。而且每个CPU的总线通信量也会急剧下降，系统中也就能够容纳更多的CPU。通常，缓冲存储器的大小从64K到1M，命中率经常可以达到90%或更高。

Bus

图1-5 基于总线的多处理机

然而，缓冲存储器的引入也带来了一个严重的问题。假定有两个CPU ，A和B，它们把同一个字分别读入自己的缓冲存储器内。在A改写这个字后，当B再读该字时，从它的缓冲存储器中得到的是原来的旧值，而不是A刚写入的值。这时，存储器就是不相关的，使得系统难以进行编程。

许多研究者已经研究了这个问题，也找到了许多解决办法。下面我们就简要地介绍其中的一个。这个方法是把缓冲存储器设计成无论何时在对其写入一个字时，该字就能同时写入存储器中。这种缓冲存储器，并不令人惊讶，叫做通写缓冲存储器（Write-Through Cache）。在此设计中，缓冲存储器读命中不会引起任何总线负载，但是缓冲器读失败和所有的写命中和写失败都会引起总线负载。

另外，所有的缓冲存储器都不断监听总线。当一个缓冲存储器发现它所存储的某个地址的字在存储器中正被进行写操作时，它要么从它的存储器中去掉那个字，要么把该存储器字更改为新值。这样的缓冲存储器称为监听缓冲存储器（snoopy cache），因为它总是在对总线进行“监听”（窃听）。一个包含监听通写缓冲存储器的设计是相关的，并且对于编程人员来说也是不可见的。几乎所有基于总线的多处理机都使用这种或者与之十分类似的体系结构。使用这种结构就能够把32个或64个CPU放在一条总线上。关于基于总线多处理机的更详细的内容请参见Lilja(1993)。

1.3.2 交换型多处理机

要建立一个拥有64个以上处理机的多处理机系统就需要采用一种不同的方法把这些

CPU 和存储器连接起来。一种可能性就是把存储器分成许多存储模块，用十字交叉开关把它们与CPU 相连。如图1-6（a ）所示。在图中我们可以看出，每个CPU 和每个存储器模块都有一个外部接口同这个交换开关相连。在每个交叉点上都有一个微小的能够用硬件打开或关闭的电子交叉点开关。当CPU 想要访问一个特定的存储器模块时，连接它们的交叉点就暂时闭合，允许访问。许多CPU 能够同时访问存储器是十字交叉开关的优点，尽管如果两个CPU 想要同时访问同一个存储器模块，其中的一个必须等待另外一个访问结束之后才能够进行。

图 1-6 (a)交叉开关 (b) omega 网络(C : 表示CPU, M : 表示Memory)

交叉开关的不足之处在于当有n 个CPU 和n 个存储器模块时，需要n 2个交叉开关。如果n 值很大的话，那么这个数字就会非常大。为了避免这种情况的发生，人们已经找出了替代的交换网络，它只需要较少的开关。图1-6（b ）中的omega 网络就是替代这种网络的一个实例。在这个网络中包括4个（2×2）交换开关，每个交换开关都有两个输入和两个输出，而且任何一个输入都可以和任何一个输出相连接。如果我们仔细研究上图就会发现，只要正确的设置开关，任何一个CPU 都可以访问所有的存储器。而这些交换开关的设定工作可以在纳秒级或更少的时间内完成。

在通常的情况下，如果有n 个CPU 和n 个存储器模块，omega 网络就要log 2n 个交换开关级，每级包括n/2个交换开关，总共(nlog 2n)/2个交换开关。虽然当n 值很大时，它要比n 2 好(远小于n 2 )，但实际数量仍然相当大。

另外还有一个问题就是时延。例如，当n=1024时，从CPU 到存储器有10个交换开关级，而还有另外的10个交换开关级用于返回所请求的字。假定CPU 是现代的RISC 芯片，其速度是100MIPS ，也就是执行一条指令的时间是10纳秒。如果一个存储器请求及返回结果必须在10纳秒内通过所有的20个交换开关级（10个用于传送出请求而另外10个用于传送返回结果），那么交换开关的交换时间必须为500微微秒（0.5纳秒）。根据前面的计算，整个多处理机系统需要5120个500微微秒级的交换开关，这是十分昂贵的。

有人曾经尝试通过采用分层系统减少成本。每个CPU 都同一些存储器相连接。每个CPU 可以快速地访问它自己的本地存储器，但是访问其它CPU 的存储器就会慢许多。这种设计产生了称为NUMA （非一致存储访问 NonUniform Memory Access ）的机器。尽管NUMA 机器比基于omega 网络的机器有更好的平均访问时间，但是它也有新的复杂的问题，为了使大部分访问集中在本地的存储器中，程序和数据的放置位置就十分关键了。

总之，基于总线的多处理机，即使有监听缓冲存储器，由于受总线容量的限制，CPU 最多约64个。要超过这个数目就需要采用交换网络，例如十字交叉开关、omega 交换网络或一些其它的类似结构。大型的十字交叉开关价格十分昂贵，而大型的omega 网络也是既贵又慢。

(a )(b )

交叉点开关

2*2 开关

NUMA 机器需要为好的软件布局提供复杂的算法。我们的结论十分清楚，建立一个大的、紧耦合的、共享存储器的多处理机（系统）是可能的，但却是困难而且价格昂贵的。

1.3.3 基于总线的多计算机

另一方面，建立一个多计算机系统（即，非共享存储器）是容易的。每个CPU 都与它自身的存储器直接相连。唯一遗留的问题是CPU 间应如何通信。很明显，这里也需要一些互连方案，但是由于它只用于CPU 和CPU 之间的通信，通信量要比当互连网络用于CPU 和存储器之间的通信量低几个数量级。

在图1-7中，我们看到一个基于总线的多计算机。它的拓扑结构虽然看起来与基于总线的多处理机很相似，但是因为其上的通信量很少，所以并不需要高速的背板总线。事实上，它可能是更低速的LAN （相比于300 Mbps 和需要背板总线支持的速率而言，它典型的速率只有10-100Mbps ）。因此，图1-7更通常的是一个LAN 上工作站的集合，而不是插入高速总线的CPU 卡的集合（尽管后一种结构一定是一种可能的设计）。

图 1-7 局域网上由多台工作站组成的多计算机系统

1.3.4 交换型多计算机

最后一个类别是交换型多计算机。虽然人们已经提出并建立了各种互连网络，但是它们都有一个特性，就是每个CPU 都直接的而且排它的访问自己的私有存储器。图1-8给出了两个流行的拓扑结构：网格和超立方体。网格结构很容易理解，它被布置在印刷电路板上。它们最适用于解决固有特性为两维的问题，例如图像理论或视觉（即，机器人的眼睛或分析照片）。

图1-8 （a ）网格 （b ）超立方体

超立方体(hypercube)是一种n 维立方体。图1-8（b ）中的超立方体是四维的。它可被想像成两个普通的立方体，每个立方体有8个顶点和12条边。每个顶点都代表一个CPU ，每条边代表两个CPU 间的连接。两个立方体中相应的顶点是相连的。

要把超立方体扩展为五维，就要在图形中再加另外两个互连的立方体，连接两部分中相应的边，其它的情况也可以此类推。对于一个n 维的超立方体，每个CPU 都有n 个连接与其

工作站

工作站工作站网

络

(a)(b)

它CPU相连。因此，布线的复杂性按CPU数量的对数增加。因为只有最相邻的CPU是互连的，许多信息在到达终点前必须进行n次跳跃。然而，最长的可能路径也是以CPU数量的对数增加的，而不像网格中按CPU数量的平方根增加。有1024个CPU的超立方体在几年前就已经在商业上应用了，而具有16,384个CPU的超立方体也即将可以进行商业应用。

1.4软件概念

虽然硬件是十分重要的，但是软件更为重要。系统呈现给用户的印象以及用户如何看待系统大都取决于系统的操作系统软件，而不是硬件。本节将介绍上面讨论过的多处理机和多计算机中使用的各类操作系统，同时也将讨论哪种软件与哪种硬件相匹配。

操作系统不像硬件一样可以进行清晰，明确的归类。就其本质而言，软件是模糊的和无定型的。但是，在多CPU系统中区分两种不同的操作系统总还或多或少是可能的，它们就是松耦合系统和紧耦合系统。正如我们将要看到的，松耦合和紧耦合的软件与相应的松耦合和紧耦合硬件大致相似。

松耦合的软件允许分布式系统的机器和用户基本上各自独立，但是也在必要的情况下进行一定程度的相互作用。假设有这样一组个人计算机，每个机器都有它自己的CPU、存储器、硬盘和操作系统，但是它们通过LAN共享一些资源，例如激光打印机、数据库等。因为每一台计算机都能够明显地同其它计算机区别开来，每一台也都有自己的任务，所以，这个系统是松耦合的。如果网络因某种原因而崩溃，各个单个的计算机虽然会失去一些功能（例如，打印文件的能力），但是它们在很大程度上仍能继续工作。

为了说明在这个领域内下定义是多么的困难，现在让我们考虑一个与上面相同的系统，只是没有网络。要打印一个文件，用户把该文件写在一张软盘上，把软盘放到有打印机的机器上读入，然后再打印出来。这还是一个分布式系统吗？它仅仅是耦合度更低吗？这很难断定。从基本的观点来看，通过LAN进行通信和通过使用软盘进行通信在理论上没有本质的区别。最多人们会说，用软盘通信的延迟更大，数据传输速率更低而已。

在另一个极端的例子中，我们可能会发现一个专门用于并行运行一个下棋程序的多处理机。每个CPU都被指定一个棋局进行推演，它分析盘面和所有可能从中产生的盘面。当推演完毕后，CPU汇报其结果，同时又被指定一个新的盘面进行推演。这个系统的软件，包括它的应用程序以及支持它的操作系统，与前面给出的例子相比很明显是紧耦合的。

现在我们已经讨论过四种分布式硬件和两种分布式软件。从理论上来说，硬件和软件应该有八种结合方式，而事实上只有四种是值得区分出来的，因为对于用户来说，互连技术是不可见的。对大多数应用来说，一个多处理机系统无论是使用有监听缓冲存储器的总线还是使用omega网络，都看成是无区别的一个多处理机系统。下面几节将了解一些最常用的软、硬件组合。

1.4.1 网络操作系统

让我们先从松耦合硬件上的松耦合软件开始，因为这可能是许多机构中最常用的组合。最典型的例子是通过LAN连接的工作站网络。在这种模式中，每个用户都有自己专用的工作站。虽然这个工作站可以有，也可以没有硬盘，但是它一定有自己的操作系统。所有的命令通常在本地运行，即就在工作站上运行。

然而，有时用户也很可能通过使用如下的一个命令登录到另一个远程工作站上，如：rlogin machine

这个命令的作用是把用户自己的工作站变为登录到远程机器上的一个远程终端。键盘输入的命令被送到远程机器上，而那个远程机器上的输出也会显示在用户的屏幕上。要连接不同的远程机器，首先需要退出当前的系统，然后再用rlogin命令连接到需要的机器上。在任一时刻只能使用一台远程机器，而且机器的选择也是完全由人工操作完成的。

工作站网络也经常有一个远程拷贝命令将文件从一台机器拷贝到另一台机器上。例如，类似于下面的一条命令：

rcp machine1 : file1 machine2 : file2

就能把文件file1从机器machine1拷贝到机器machine2上，并且给它取名为file2。在这里，文件的移动是清楚明确的，而且要求用户完全清楚所有文件的位置在哪里和所有的命令在哪里执行。

尽管这种通信方式非常原始，而且已经有系统设计者在寻找更简便的形式进行通信和信息共享，但有这样一种方法总比没有强。一种方法就是提供一种共享的、所有工作站都可存取的全局文件系统。文件系统由一个或多个称为文件服务器（File Server ）的机器支持。文件服务器接受运行在称为客户的其它机器（非文件服务器）上的用户程序的读写文件的请求。文件服务器检测、执行每个收到的请求，然后返回应答。如图1-9所示。Problem

图 1-9 在网络操作系统环境下的两个客户和一个服务器

文件服务器经常使用的是一些分层的文件系统，每个系统都有根目录，它包含子目录和文件。工作站可以引入或装入这些文件系统，这就将存放在服务器上的文件系统增加到它们本地的文件系统中。例如，在图1-10中，有两个文件服务器，一个服务器中有一个目录叫games ，另一个服务器中有一个目录叫work 。这些目录每个都包含一些文件。图中的两个客户都装入了这两个服务器，但是它们却是在它们各自文件系统的不同地方进行装载的。客户1将它们装在它的根目录上，这样就能够分别访问/games 和/work 目录。客户2同客户1一样，把games 装在它的根目录上，但是由于它把邮件和新闻的读取认作为一种游戏，于是它创建了目录/games/work 并把服务器上的work 装在那里。因此，它访问news 就是通过路径 /games/work/news 而不是/work/news 。

客户将服务器安装在它目录层的哪一个位置并不重要，重要的是我们应该注意到不同的客户可能会以不同的方式看待文件系统。这样，文件名取决于它的存取位置以及计算机如何建立它的文件系统。因为每个工作站都相对独立于其它工作站工作，所以不能保证它们都能为自己的程序提供相同的目录层次结构。

用于这种环境的操作系统必须管理独立的工作站和文件服务器，同时还要负责它们之间的通信。所有的计算机可能都运行同一种操作系统，但这并不是必需的。如果客户和服务器运行的是不同的操作系统，那么，它们至少需要在它们所可能进行交换的所有信息的格式和含义上取得一致。在类似情况下（即每台机器都高度自主，很少有系统范围的请求），人们通常称之为网络操作系统。

局域网

文件服务器响应

图1-10 不同的客户可以在不同的地方安装服务器

1.4.2 真正的分布式系统

网络操作系统是运行在松耦合硬件上的松耦合的软件。除了共享文件系统外，对用户显而易见的是这个系统包含有许多计算机。每台计算机都运行它自己的操作系统，而且按它的所有者的要求工作。除了客户/服务器通信必须遵守协议之外，计算机之间基本上没有什么合作。

这种系统的下一步革命是在同样的松耦合硬件（例如多计算机）上的紧耦合软件。这样一个系统的目标是使用户产生一个错觉：整个计算机网络是一个分时系统，而不是一个互不相同的机器的集合。一些人称这种性质为单系统映象（single-system image ），而另一些人的看法则稍有不同。他们认为，分布式系统是在网络计算机的集合上运行，但行为却像一个虚拟的单处理机（virtual uniprocessor ）。不管人们如何对它进行描述，根本思想是：用户不必意识到系统中有多个CPU 存在。虽然目前还没有一个系统能完全满足这一要求，但是已经有一些系统开始初露倪端。本书的后面将对这些系统进行讨论。

分布式系统的特点是什么？首先必须有一个单一的、全局的进程间的通信机制，从而使任何进程都可以和其它进程进行通信。在不同的计算机上不应有不同的机制，本地通信和远程通信也不应有不同的机制。还必须有一个全局的保护方案。把存取控制表、UNIX 保护位以及通信能力简单混合并不能产生单系统的映象。

进程管理也必须处处相同。进程如何建立、撤消、启动、停止都不能因机器不同而不同。简而言之，网络操作系统的核心思想：即任何机器只要在进行客户-服务器通信时遵守标准协议，它就可做它想要做的任何事。这是不够的，因此，不仅要有唯一的一整套在所有的计算机上都可以使用的系统调用，而且这些系统调用的设计必须符合分布式环境的要求。

在任何地方，文件系统也必须看起来是相同的。如果在一些地方文件名被限制为11个字符，而在另一些地方不做限定是不可行的。同时，每个文件应该是在所有地方都是可见的，当然，这必须遵守保护和安全性约束的限制。

在系统的所有地方都使用相同的系统调用接口，作为它的必然结果，在系统的所有

CPU

客户 1客户1

服务器1

ga m es

服务器2work 客户2客户2(a)(b)

(c)

上运行相同的内核也就是很正常的事了。这样做使得全局活动的协调更加容易。例如，当一

个进程启动时，所有的内核必须协作以寻找最好的位置来执行它。此外，还需要一个全局的

文件系统。

然而，每个内核都能对它所拥有的资源有很大控制权。例如，因为没有共享存储器，所

以允许每个内核管理它拥有的存储器。又例如，如果使用交换或分页技术，则每个CPU上的

内核就是决定如何进行交换和分页的合理地点。没有理由去集中这种权限。类似的，如果多

个进程在某个CPU上运行，那么就在其上进行调度是合理的。

我们已经掌握了有关设计和实现分布式操作系统的相当多的知识。在这里我们先不对这

些问题进行讨论，而是先要结束我们对硬、软件不同组合的概略了解，然后在1.5节中再回

到这些问题上来讨论。

1.4.3多处理机分时系统

我们要讨论的最后一个组合是运行在紧耦合硬件上的紧耦合的软件。虽然在这个分类中存在着各种专用计算机（例如专用数据库计算机），但是最常见的通用型例子是象UNIX分时系统一样运行的多处理机系统，只是它有多个CPU而不是一个CPU。对于外部世界而言，一个具有32个CPU，每个CPU运算速度为30 MIPS的多处理机非常像一个速度为960 MIPS的CPU （这就是上面所描述的单系统映象）。除非使用多处理机可以使系统实现更容易以外，整个设计都是可以集中的。

这类系统的关键特点是存在一个唯一的运行队列：一张系统内所有逻辑上开锁的并就绪的进程列表。运行队列是一个保存在共享存储器中的数据结构。举个例子，参照图1-11所示的系统，它有3个CPU和5个就绪的进程。5个进程都放在共享存储器中，其中的3个正在运行：进程A在CPU 1上，进程B在CPU 2上，进程C在CPU 3上。另外两个进程D和E在存储器中等待运行。

存储器

Bu s

图1-11 具有一个运行队列的多处理机系统

现在假设B进程因等待I/O或分配给它的时间片到而阻塞。一种方法是CPU 2必须挂起B 再调度另一个进程运行；这时CPU 2通常将开始执行操作系统代码（存储于共享存储器中）。当已经保存了B进程的所有寄存器后，它将进入一个临界区，运行调度程序调度其它进程，使其投入运行。调度程序作为一个临界区域运行是必要的。这样能够防止两个CPU选择同一进程运行。通过使用管程、信号量或其它用于单处理机系统的标准结构就可以获得必要的互斥。

一旦CPU 2获得运行队列的独占访问，它就能移去第一个条目D，退出临界区，然后开始执行D。开始时执行操作会十分缓慢，因为CPU 2的缓冲存储器中充满了进程B在共享存储

器中的那部分字。但经过一段时间后，这些数据都将被清除，缓冲存储器中将充满D的代码和数据，因而执行的速度也将会加快。

因为每个CPU都没有私有的存储器，而且所有的程序都存储在全局共享存储器中，所以不论在哪一台CPU上执行进程都无关紧要。一般来说，如果一个运行时间较长的进程在完成之前被调度了多次，它在每个CPU上运行的时间大致相等。当进程需要在一个CPU上运行时，在CPU的选择上唯一有影响的因素就是要选择目前缓冲存储器中正保存着这个进程的部分数据的CPU，因这可以稍微提高一下性能。换句话说，如果所有的CPU都是空闲的，正在等待I/O，一个进程也已经准备好，那么，优先将进程安排在它刚使用过的CPU上是较好的，这需要假定从那时起没有别的进程使用过该CPU（Vaswani 和Zahorjan，1991）。

一方面，在多处理机上的一个进程如果阻塞以进行I/O操作，那么操作系统就可以选择挂起它或让它忙等待。如果I/O操作的完成时间小于进程切换时间，那么最好选择忙等待。一些系统让进程继续占有处理机几毫秒，目的是希望I/O操作将会在这段时间之内完成，但是如果这段时间用完之后它还没有完成，系统就开始进行进程切换（Karlin et al，1991）。如果大多数临界区很短的话，这个方法可以避免许多昂贵的进程切换。

多处理机系统与网络或分布式系统明显不同的一个领域是文件系统的结构。操作系统通常包含了具有一个统一的块缓冲存储器的传统文件系统。当任何一个进程执行系统调用时，在操作系统中产生一个陷阱来执行这个调用，当临界区被执行或存取中央表时，它用信号量、管程或其他一些等效的机制来实现锁住其它CPU防止它们干扰。通过这种方法，当执行WRITE系统调用时，中心块缓冲存储器被锁定，向其中写入新的数据，然后开锁。正如在一个单处理机系统上一样，任何后来的READ调用将看到新的数据。总之，这种文件系统很难与单处理机文件系统进行区分。事实上，在一些多处理机系统中，一个CPU专用于运行操作系统；其它一些CPU则运行用户程序。然而，由于运行操作系统计算机经常是系统的瓶颈，所以这种情况是并不合适。这一点已由Boykin和Langerman（1990）作过详细讨论。

应该清楚的是，用多处理机实现虚拟单处理机外部特征的方法不能应用于没有共享存储器的多计算机。只有当所有的CPU都可以非常低的延迟访问缓存时，集中的运行队列和程序块缓存才有效。尽管这些数据结构能够在计算机网络上模拟，但是这种方法所造成的通信开销使得这种方法付出的代价异常昂贵。

图1-12列出了我们在上面已经讨论过的3种系统之间的一些不同之处。

图1-12 N个CPU的三种不同组织方式的比较

1.5 设计中的问题

在前面的几节中,我们已经从软件和硬件的观点分析了分布式系统以及一些相关的主题。

本节将简单介绍在建立分布式操作系统时所必须处理的几个关键的设计问题。本书后几章将进行详细介绍。

1.5.1 透明性(Transparency)

最重要的一个问题可能是如何实现单系统映象。换句话说，系统设计者如何使每个用户误以为一些机器的集合只是一个老式的分时系统？能达到这个目标的系统通常就被称为是透明的（transparent）。

透明度可分为两个级别：最容易做到的就是对用户隐藏系统的分布性。例如，当一个UNIX 用户键入make命令来重新编辑一个目录中的大量文件时，他并不需要知道所有编辑是在不同计算机上并行处理的，也不需要知道它使用了大量的文件服务器。对用户而言，唯一不寻常的是系统的性能部分损失了。就终端的命令发布和结果显示而言，可以将分布式系统建成像一个单处理机系统一样。

在系统的低层中实现系统对程序也透明是可能的，但是比较困难。换句话说，系统调用接口的设计成使多处理机的存在对程序员来说是不可见的。然而，要想欺骗程序员要比欺骗终端用户难得多。

透明度的确切意义是什么呢？它是许多听起来合理而实际上比其表面要微妙得多的含糊概念之一。举一例子，我们可以设想由一些运行标准操作系统的工作站所构成的分布式系统。通常，系统服务（例如，读文件）是通过发出一个陷入内核中的系统调用来获得的。在这样的系统中，远程文件应该用同样的方法进行存取。所以一个通过与远程服务器建立明确的网络连接然后向它发消息的方法来访问远程文件的系统是不透明的，因为访问远程服务与访问本地服务是不同的。程序员能知道其中使用了多台机器，但这是不允许的。

透明的概念适用于分布式系统的多个方面，如图1-13所示。位置透明（Location Transparency）是指在一个真正的分布式系统中，用户不知道硬、软件资源如CPU、打印机、文件和数据库的位置。资源的名字不应暗含有资源的位置信息。所以像machine1: prog.c或/macchine1/prog.c之类的名字是不能接受的。

图1-13 在一个分布式系统中的不同的透明性

迁移透明（Migration Transparency）是指资源无须更名就可自由的从一地迁向另一地。在图1-10所示的例子中，我们可以看到服务器目录能够在客户目录分层结构中的任何地方装入。因为路径/work/news并未指出服务器位置，所以系统是位置透明的。然而，现在假定正在运行服务器的人想把阅读网络新闻放在“games”目录下，而不是在“work”目录下，相应地，把“news”从服务器2移到服务器1。接下来，当用户1启动并用原来的习惯方法登录服务器，他将会发现/work/news不存在了，取而代之的是另一个路径/games/news。因而一个文件或目录从一个服务器迁到另一个服务器，它的名字被强制性的更改了的事实说明远程登录系统不是迁移透明的。

如果分布式系统是复制透明(Replication Transparency)的，操作系统可以随意地为文件和其它资源进行附加拷贝而无须用户知道。很明显，在前一个例子中，自动拷贝备份是不可能的，

因为文件名与位置是紧密联系的。为了了解复制透明是如何实现的，我们可以考虑一个逻辑上由n 台服务器连成环形的集合。每台服务器都有一个完整的目录树结构，但它只存储全部文件的一个子集。为阅读一个文件，用户发送一个包含全路径名的消息给任一服务器。那个服务器检查它自己是否有这个文件。如果有，它就返回所要求的数据。如果没有，它就把这个要求传给该环形网中的下一个服务器，如此重复。在这个系统中，服务器能够自行决定备份任一服务器或所有服务器中的任意文件，而无须用户知道。由于这种方案允许系统对常用文件进行备份而无须用户知晓，所以该方案是复制透明的。

分布式系统通常有多个独立的用户。当两个或多个的用户试图在同一时间访问相同的资源时，系统应该怎么办呢？例如，如果两个用户试图同时更新相同文件将会发生什么情况呢？如果系统是并发透明(Concurrency transparency)的，任一用户不会发现其它用户的存在。获得这种透明类型的机制是：一旦某个用户开始使用一个资源时，系统就自动锁定此资源，直到该用户使用完后再解锁。而在这种方式下，所有资源只能串行使用，而决不是并发使用的。

最后将介绍最难理解的并行透明（parallelism Transparency ）。从理论上说，一个分布式系统在用户面前的表现就像一个传统的单处理机分时系统。那么如果一个程序员知道他的分布式系统有1000个CPU ，而他想用其中的相当大一部分CPU 去运行一个并行地推演多个棋局的下棋程序时，我们又应该怎么办呢？理论上的答案是：通过对编译程序、运行期系统和操作系统的综合，应该能够设计出如何利用这种潜在的并行优势而不为程序员所察觉的方法。不幸的是，目前的技术发展水平与此相距甚远。如果程序员真的想用多个CPU 解决单个问题将必须明确的进行编程，至少是在可以预见的将来仍然会是如此。并行透明被分布式系统设计者视为神圣的追求目标。当并行透明工作完成的时候，整个工作也就完成了，从而也就是开始新领域工作的时候了。

尽管如此，有时用户并不想完全透明。例如，当一个用户要打印一个文档时，他通常喜欢输出到本地的打印机上，而不是1000 公里以外的某个打印机上，即使远处的那台打印机更快、更方便、是彩色的、带香味的、目前处于空闲状态的。

1.5.2 灵活性

设计中的第二个关键问题是灵活性。由于我们刚开始学习如何建立分布式系统，所以提高对系统的灵活性的重视程度是很重要的。在设计过程中将会产生许多错误，也会引起大量的设计回溯。现在看来合理的设计思想也许以后将被证明是错误的。避免问题的最好方法是在设计过程中始终保持有很大的选择余地。

灵活性和透明性，就象父母关系和苹果饼：谁又能够反对它们的好处呢？很难想象谁会支持一个不灵活的系统。然而，事情并不是想像的那么简单。关于分布式系统结构的学术观点主要有两种，一种观点认为，每台机器都运行一个传统的内核，内核自身提供了大多数的服务；另一种观点认为是内核应尽可能少地提供服务，大量的操作系统服务可从用户级服务器上获得。这两种模型分别称为单内核（Monolithic kernel ）和微内核（Microkernel ），如图1-14所示。

图1-14 （a ）单内核 （b ）微内核

(a)(b)括文件、

目录和过程

管理网络

单内核基本上是目前的集中式操作系统，增加了网络功能和远程服务集合。大部分系统调用都通过陷阱到达内核，在内核中完成所需要的工作，然后内核再将所要求的结果返回给用户进程。使用这种方法，大部分机器都拥有自己的磁盘，也能够管理自己本地文件系统。许多扩展或模仿UNIX系统的分布式系统都采用这种方法，因为UNIX系统本身有一个巨大的内核。

如果单内核现在是占统治地位的，那么微内核就是很有前途的挑战者。大多数出于应付急需而设计的分布式系统采用了此种方法。微内核具有更好的灵活性，因为它几乎不做什么，只提供四种最小的服务：

1. 进程间通信机制；

2. 某些内存管理功能；

3. 少量的低层进程管理和调度；

4. 低层输入/输出服务。

具体说，微内核与单内核不同，它不提供对文件系统、目录系统、整个进程管理，或许多系统调用的处理。微内核中提供的服务包括那些因为在其它地方提供它们很困难，或因为代价昂贵的服务。主要目的是为了让它保持小。

许多其他的操作系统服务都作为用户级服务器来实现，如找一个名字、读文件或获得其它服务，用户都是发送消息给适当的服务器，由这个服务器完成相应的工作并返回结果。这种方法的优点是高度的模块化，对于每一个服务（服务器能理解的消息的集合）都有一个定义好的接口，每一个服务程序对所有客户来说都是可以访问的，且和位置无关的。另外，该系统易于实现、安装和调试新的服务程序，因为增加或改变一个服务程序不需要象有一个单内核那样停止系统和启动一个新的内核。正是因为它所具有的添加、删除和修改服务的功能使得微内核具有很高的灵活性。此外，用户如不满意一个通用的服务程序，也可以写它自己的服务程序来替代它。

这种优势的一个最简单的例子是，一个分布式系统可以有多个文件服务器。一个支持MS—DOS文件服务，另一个支持UNIX文件服务。用户程序可以自己选择使用两者中的任何一个或两个都使用。而在单内核系统中，文件系统被嵌入内核，用户别无选择，只能使用它。

单内核系统唯一潜在的优点是性能。使用内核陷阱并且在其上执行工作要比给远程服务器发消息更快。然而，这两种分布式系统的一个详细比较，一种用单内核（Sprite），另一种用微内核（Amoeba），说明在实际中这种优势并不存在（Douglis et al，1991）。由于其它因素占据了主要地位，而且因为发送消息和获得返回结果需要的时间很少（典型的情况下为大约1毫秒）而经常忽略。因此，微内核系统将逐渐主宰分布式系统设计，单内核将最终消失或融入微内核中。也许Silberrschatz和Galvin所著的关于操作系统的书（1994）的未来版本的封面将会以蜂鸟和雨燕为特色而代替剑龙和三角恐龙。

1.5.3 可靠性

建立分布式系统的最初目的之一就是使系统比单处理机系统更可靠。基本思想是，如果一台机器坏了，其它机器能够接替它进行工作。换句话说，理论上，系统可靠性是所有部件可靠性的“布尔或”。例如，有4台文件服务器，每台在任一时刻能使用的概率为0.95，所有4台同时坏掉的可能性是0.054=0.000006，所以至少有一台能用的可能性是0.999994，大大好于任意一个单独的服务器。

这只是理论上的结果，关键是在实践中要有效，现在的分布式系统依靠一些专用服务器的正常工作。因此，这些系统的可用性更有可能是这些部件的“布尔与”而不是“布尔或”。

在一个被大量引用的论断中，Lealie Lamport曾经将分布式系统定义为“一种由于我所不知道的某台机器的崩溃而使我不能进行任何工作的系统。”当然这种说法是不能完全信以为真的，因为系统中仍然有可改善的地方。

对可靠性的不同方面的区分是十分重要的。正如我们刚才所讨论的，可用性主要是指系统可用时间的比例。Lamport的系统显然在这方面做得不好。可以通过不要求大量关键部件同时起作用的设计来提高可用性。提高可用性的另一种方法是冗余，即给关键的硬件和软件提供备份，以便其中之一毁坏时可以用备用的部件来进行替换。

一个高度可靠的系统必须有高可用性，但仅仅如此并不够。存储在和进入系统的数据不能丢失或以任何方式混淆。如果文件冗余地存放在多个服务器上，那么所有备份都必须保持一致。一般来说，保存的备份越多，可用性越好，但不一致的可能性却越大，特别是在频繁进行修改的情况下更是如此。所有的分布式系统设计者在任何时候都必须兼顾这两点。

整体可靠性的另一方面是安全性。必须保护文件和其它资源不被非法用户使用。尽管在单处理机系统中存在相同的问题，但在分布式系统中这个问题更为严重。在单处理机系统中，用户通过口令进行登录，同时被确认。此后，系统知道该用户是谁，也能够检查他的每一个访问是否合法。在分布式系统中，当一条消息到达服务器向其发出请求时，服务器没有一个简单的方法来判断该指令是哪个用户发出的。在消息中没有名字或标识域可以被相信，因为发送者可能在撒谎。在这里至少要进行相当多的考虑。

与可靠性有关的另一个方面是容错。假设一个服务器出了故障，然后很快再启动，那么会发生什么情况呢？服务器崩溃会造成用户系统的死机吗？如果服务器存有正在进行的活动的重要信息的表格，恢复它将是非常困难的。

总的来说，分布式系统能设计成可以屏蔽错误，也就是对用户隐藏错误。如果一个文件服务或其它服务实际上是由一组紧密协同工作的服务器构成，它应该能够采用这样一种结构，即用户不会注意到损失了一个或两个服务器，而只是感到一些性能上的降低。当然，技巧就在于如何安排这种合作，以便在系统正常运行时，不会给系统增加很大的开销。

1.5.4 性能

总是隐藏在系统内部的一个问题就是性能问题。如果你建立了一个透明、灵活和可靠的分布式系统，但是它的运行速度却像糖蜜的流动一样慢，那么它是不会给你赢来任何奖赏的。特别是：如果在分布式系统中运行一个具体的应用，它的速度不应该比在一个单处理机中运行同一应用慢。不幸的是，要做到这一点，说来容易，做起来却困难的得多。

我们可以使用不同的性能标准进行衡量。其中之一是响应时间，还有吞吐量（每小时完成的工作量）、系统的利用率和网络容量消耗程度。此外，任何基准程序的测试结果通常取决于该基准程序自身的性质，一个涉及大量独立的高度受限于CPU计算的基准程序所给出的结果可能和以某种模式扫描一个大文件的基准程序所给出的结果有很大的不同。

性能问题是和分布式系统（单处理机系统所缺少的）中所必须的通信通常是很慢这一事实分不开的。通过LAN发送一个消息并得到应答大概要1毫秒，大部分时间用在两端不可避免的协议处理上，而不是用在线路中传送数据位。因此为了改善性能，通常不得不尽量减少消息的数量。这种策略的困难在于获得性能的最佳方法是让许多活动在不同处理机中并行进行，而这样做就需要传送许多消息。（另一个解决方法是在一台机器上完成全部工作，但这在分布式系统中是很不合适的。）

一种可能的解决办法是密切注意所有计算的粒度大小（grain size）。启动一个远程的小的计算，例如两个整数相加，几乎是不值得的，因为通信所增加的额外开销抵消了所节省下来的CPU周期。而另一方面，为远程启动一个长时间的受计算量限制的作业而带来的麻烦或许是值得的。通常，涉及许多小计算的作业，特别是相互作用程度非常高的作业，会因分布式

系统相对较慢的通信而产生麻烦。上述的这种作业被称为具有细粒度并行性（fine-grained parallelism），另一方面，涉及大计算量、低相互作用和小数据量的作业，粗粒度并行性（coarse-grained parallelism）可能会更合适些。

容错也要付出代价。通常的做法是通过使一些服务器密切合作来处理同一个请求以获得高可靠性。例如，当一个请求进入一台服务器中时，它就立即发送该消息的一个拷贝给它的一个同伴，以便在完成工作前如果系统崩溃，那个同伴能够接管工作。当然，当它执行完请求后，必须发送消息给那个同伴告诉它工作已经完成。因此，我们至少需要发送两次额外消息，一般情况下，这会需要额外的时间和网络容量代价，而且不会产生真正切实的效益。1.5.5 可伸缩性

目前大多数分布式系统设计为有几百个CPU同时工作，将来系统中的CPU的数量可能会大好几个数量级。很不幸，对于能使有200台机器的系统正常工作的方案对有200,000,000台机器的系统却不一定适用。考虑下面的例子。法国PTT（邮政、电话和电报管理机构，Post, Telephone and Telegraph asministration）正在法国的每个家庭和商业机构中设置终端。这种称作小型电传（minitel）的终端允许用户在线访问包括法国所有的电话号码的数据库，所以省去了打印和销售价格昂贵的电话薄的需要，同时也极大减少了对电话号码查询服务操作员的需要。估计该系统在几年内就能收回成本。如果这一系统在法国运行，其它国家也会不可避免的采用类似的系统。

一旦所有的终端都已安装，把它们用于电子邮件（特别是和打印机相连）的可能性也就显而易见了。由于全世界的每个国家都在邮政服务上有损失了很大的利润，而且电话服务也巨大的利润，所以用电子邮件来代替信件是有巨大诱惑力的。

接下来将讨论对各种数据库和服务的交互式访问，简单列举几个例子：从电子银行到飞机、火车、旅馆、剧院和饭馆的预订系统。不久以后，我们将会有一个数千万用户的分布式系统。问题在于我们现有的方法能够扩大适用于这样大的规模吗？

尽管对于这个巨大的分布式系统了解的不多，但有一个指导原则是清楚的，即避免集中的部件、表和算法（如图1-15所示）。5千万用户拥有同一台邮件服务器不是一个好主意。即使有足够高的CPU速度和足够大的存储容量，进出邮件服务器的网络通信容量必然会成为一个问题。并且，系统也不会容忍出现错误。一次停电能使整个系统瘫痪。最后，大多数邮件是本地的，如果在马赛的用户要发送信息给相距两个街区的另一个用户，却要通过一个在巴黎的机器传送，这种作法是不可行的。

图1-15 在超大型分布式系统中设计者应该尽力避免的潜在瓶颈问题

集中式表和集中式部件一样不好。一个人怎样才能保存5千万人的电话号码和地址呢？假定每条数据记录是50个字符。一个2．5G的磁盘就能够提供足够的存储空间。但在这里，同样单个数据库将无疑会轻易地让所有与它相连的通讯线的容量达到饱和。而且它还很容易出故障（一小粒灰尘就能造成磁头失效和整个目录服务的崩溃）。另外，在这里，传送远程处理请求将浪费宝贵的网络容量。

最后，集中算法也不是一个好主意。在一个大型的分布式系统中，大量的消息必须在许

多线路上进行路由选择。从理论角度上讲，最优的方法是收集全部所有机器和通讯线上负载的信息，再运行一个图论算法计算出所有的最优路线，然后再将这一消息立即传播到整个系统以便改进路由。

问题在于，由于上面所讨论过的原因，收集和传送所有的输入、输出信息也不是一个好主意。事实上，我们必须避免这种方法：从所有地点收集信息，把这些信息送到单个机器上去处理，然后发布结果的算法。只有分布式算法可以使用。这些算法与集中式算法区别的特点如下：

1. 没有一台机器上存放着关于系统状态的全部信息；

2. 机器只是基于本地信息做出决定；

3. 一个机器出故障不会破坏算法；

4. 不一定存在全局时钟。

到目前为止，前面的三点与我们的讨论是一致的。而最后一点也许不那么显而易见，但它却很重要。任何以“在12:00:00点整所有机器都要记录它们输出队列的大小”开始的算法注定会失败，因为要让所有的时钟完全同步是不可能的。算法应考虑到缺少准确的时钟同步的情况。系统越庞大，同步的不确定性也就越大。在单LAN中，付出大量的努力可能会使所有的时间同步到几毫秒以内，但是要在全国范围的系统中做到同步却是不太可能的。我们将在第三章讨论分布式时钟同步。

1.6 小结

分布式系统由许多独立的CPU组成，它们在一起工作使得整个系统看上去像一台计算机。它们有许多潜在的优点，主要包括好的性能/价格比、同分布式应用的匹配能力强、潜在的高可靠性和负载增加时的渐增性。但是，它们也有一些缺点。例如，软件较复杂，潜在的通信瓶颈和脆弱的安全性。然而，人们普遍地对建立和安装这种系统有极大的兴趣。

现代计算机系统通常有许多CPU，它们可以被组织成多处理机（有共享内存）或多计算机（没有共享内存）。这两种类型都可以是基于总线或基于交换的。前者趋近于紧耦合，后者则趋近于松耦合。

多CPU系统的软件可以大致分为三类。网络操作系统允许用户在独立的工作站上通过一个共享的文件系统进行通信，否则就让每个用户只能操作自己的工作站。分布式操作系统将整个软、硬件的集合变成一个单一的集成系统，它很象传统的分时系统。共享存储器的多处理机也提供了一个单系统映象，但是因为它是通过把所有事情集中处理而建立的，所以实际上只是一个单系统。共享存储器的多处理机实际上并不是分布式系统。

分布式系统必须仔细设计，因为会有许多让人不注意的陷阱。关键问题是透明性——对用户，甚至应用程序隐藏所有的分布特性。另一个问题是灵活性。因为现在该领域的研究还只是处于初期，设计必须考虑到使将来易于改变。在这一方面，微内核优于单内核。其它的重要问题还有可靠性、性能和可伸缩性。

习题

1.自从第一台商业大型机在二十世纪五十年代出现以来，计算机的性能/价格比大约提高了

将近11个数量级。本书中给出若这种情况发生在汽车制造业会产生什么类似的结果。请给出另一例子说明这种巨大进步的意义。

2.请列出分布式系统相对于集中式系统的两个优点和两个缺点。

3.请说明多处理机与多计算机有什么区别？

4.术语松耦合系统（loosely-coupled system）和紧耦合系统(tightly-coupled system) 经常用于