分布式系统通信技术研究

研究生课程设计（小组报告一）

题目：分布式系统通信技术研究院系：******************* 专业：******************* 小组成员：*******************

*******************

*******************

*******************

******************* 课程：分布式与云计算

分布式系统通信技术研究

一、概述

分布式系统是由一些相互独立的处理部件集合在一起，并且对于使用的用户而言是透明的、单一的相关系统，分布式系统可以管理和利用每个处理部件中相互分散却又有联系的资源，使其共同为解决某个具体问题而相互协作。分布式系统产生的最初的目的是将互联网上计算机的闲置处理能力充分的利用起来作为一个系统进行分布式计算，它最主要是用在高性能计算领域。近年来物联网、云计算、对等计算模式(peer-to-peer,p2p)、网格计算、无线传感网络等概念均为分布式系统技术的商业应用，因此构建分布式系统是有效实现这些应用的基本要求。

进程间通信是所有分布式系统的核心功能。一个分布式系统，可以同时有成千个进程分布在网络上的不同的站点机上，它们通过网络提供的消息通信机制交换信息，实现高层应用的互操作。网络上的不同站点机可以拥有不同的操作系统。分布式应用系统的发展给分布式系统的进程间通信提出一个又一个需解决的技术问题。

本报告主要介绍了分布式系统的通信的模型和通信技术。

二、分布式系统的通信体系结构

分布式系统的核心是通信网络，它完全是一种网状结构，因此称为通信体系结构。按照计算机网原理，通信体系结构包括两个方面，一是处理机互连结构，即系统的物理组织；二是两进程间的通信协议，即系统的虚拟组织。

1.系统的物理组织

按照计算机网的方法，互连结构涉及四个方面:报文、通路、交换和构形，如图2-1所示。合理选择每个方面的具体内容，组合起来，即可得出系统的物理组织。例如，系统可以是报文传输、直通通路、报文交换、环形结构(如DLCN)，也可以是报文传输、广播通路、报文分组交换、树形总线结构(如Ethernet)等。

图2-1 处理机互连结构

传输的信息称为报文，即一串比特码，在传输时，不再区分命令、地址、数据或状态，也不分指令流和数据流。

传输报文的道路称为通路或线路，报文从一点传输到另一点的通路，称为直通通路；

从一点可同时发送到多个接收点的，称为广播通路。通路由通信介质构成，常用的有双扭线、带状电缆、同轴电缆、光导纤维、无线电、微波、通信卫星、红外等，可按要求的频宽选用。

为了共享传输介质，在互连结构中设置有交换元件，按其工作原理可分为线路交换方式和存储转发方式两大类。线路交换是在通路上设置开关，只.当选通时才在通信实体之间提供一条通路。由于信息流的不均匀性，如果在通路中设置存储元件进行缓冲，

可望提高通路的利用率，这就是存储转发方式。其中，以报文为单位传送的，称为报文交换；将报文分为多个报文分组并行传送的，称为报文分组交换。线路交换比较简单，多处理机系统中用得很多，如时分总线、纵横开关。报文分组交换效率较高，是计算机网中的一种主要交换方式，在多处理机系统中也开始使用，如用在数据流计算机中。

基本的构形有星形、树形、环形和网形，将它们组合起来，可得出更为复杂的结构。

在多处理机系统中，共享主存可看成是星形，总线可认为是断开的环形。由于环形网简单，经济，易于分布控制，看来可用在分布式系统中；为了提高性能，还可考虑采用多环结构。

2.系统的虚拟组织

通信网络的根本任务是，利用各层协议，建立虚拟通路，实现报文通信。各层协议应具备下列功能：

（1）建立、维持和断开物理链路(给出接口说明)；

（2）在一链路上传输二进制码(给出链路地址，划分帧和块，进行差错控制等)；

（3）在一网络的两处理机间传输报文(确定报文格式、进行路径选择和流量控制等)；

（4）在两处理机中进程间传输文件或数据；

（5）进程间进行会话(进程调度，并行执行等)；

（6）编排传输格式(定义虚拟终端，压缩数据等)；

（7）应用(采用用户语言，执行应用程序)。

如按上述功能分层，便可得出分布式系统的功能结构。它具有七个独立的功能层构成的层次结构，只能下层(顺序号小的)为上层服务和上层访问下层；而同层间由协议建立虚拟通路进行通信。本层上传送的报文(由正文和报头报尾组成)，为上一层的报文加上本层的报头和报尾组成。

与普通计算机体系结构相比，分布式系统的体系结构(即功能结构)更具一般性和普遍性，它既包括了松散祸合的计算机网，也纳入了紧密祸合的多处理机系统；它既包括有硬件，也有软件，包含了系统的各个组成部分，突出了其相互间的连结和通信。分布式系统体系结构的前4层为传输服务，提供通信设施和建立连结；第5~6层也可合并为一层，即系统层；全部应用和大部分管理活动(计算机操作系统管理活动)均在第7层。

三、进程间通信的模式和方式

目前，主要有三种分布式系统的进程间通信的模式：远程过程调用，远程方法调用，面向消息的通信。

远程过程调用使一个进程可以调用异地、不同地址空间的进程的过程。它使用通信双方互认的格式传递过程标识、过程参数、响应结果；在通信双方分别设立存根，保存过程参数和运行结果。这样，通信双方可以根据本地的格式构造过程参数和运行结果，在本地的地址空间执行计算。

远程方法调用，在基于对象的分布式系统中，使一个进程的对象可以访问异地、不同地址空间的进程的对象，包括调用远程对象的方法。远程对象在网络中具有唯一的标识。通信双方要对远程对象的方法界面达成一致。调用方依据方法的界面生成远程对象的代理。代理和远程对象具有相同的方法。调用方在本地调用代理的方法，将远程对象的标识、调用的方法、参数、结果类型传递给被调用方。被调用方设有存根，根据远程对象的标识获得本地的对象，对本地的对象执行计算。

面向消息的通信使通信双方不必都处在执行状态，请求和响应仍然可以正确地被发送和被接收。它要求：设立通信服务器，在通信服务器之间传递信息；通信双方连到通信服务器，将要传递的信息交给通信服务器。通过在通信服务器上保存信息，面向消息

的通信可以实现持久通信的功能。

目前，主要有四种进程间通信的方式：

持久通信。持久通信可以保证消息成功到达接收方。

非持久通信。非持久通信不能保证消息成功到达接收方。当消息接收方处于不执行状态或发生故障时，消息被丢弃。

同步通信。发送方发出消息后就等待，直到接收方返回确认信息，才继续执行。

异步通信。发送方发出消息后仍继续执行。

分布式系统采用什么样的通信方式，取决于系统对通信的要求。例如，电子邮件系统是持久异步通信系统，RPC 和RMI 是非持久同步通信系统。

四、RPC执行过程

1、RPC 基本思想

以一个 C 语言的例子来看 RPC 的具体过程。这个例子中 C 程序调用一个求和函数，而这个求和函数位于另一台计算机上。可以设想，经过适当的处理，RPC 通信中间件可以承担起远程过程调用的通信，使得求和函数的执行就像发生在本地一样。如图 4-1 所示。

RPC 也是一个客户服务器模型的通信。至于消息传递是建立在什么底层协议上，并不是我们所关心的内容。

图 4-1RPC 基本思想

2、 RPC 的基本操作

在本地过程采用高级语言的编程时，过程的调用使用了一个栈数据结构，调用程序将本地的所有参数和返回值进栈后，将控制权移交给被调用过程，被调用过程也是将自己的变量在栈上进行分配，在返回时将这些变量出栈后，将结果拷贝到调用过程的变量中。

调用过程在结束调用后，栈结构恢复到调用前的状态。以一个加法函数为例，当 sum 是一个本地过程时，程序的栈结构的变化如图 4-2 所示。

图 4-2 本地过程调用栈的结构变化

在过程调用时，参数 a 和 b 的值分别拷贝到 sum 的局部变量 p1 和 p2 上。Sum 函数是在参数的副本上工作的，并不改变参数的值。这就是所谓的参数按值调用。当 a 或b 是指针或引用型变量时，a 和 b 的值实际代表的是参数值的地址，被调用函数不能改变地址值，但是能够改变地址所指向的数据。这种方式称为按引用调用。

RPC 的实现目标是使得远程调用就好像是过程处理发生在本地一样。在 RPC 模型中服务器和客户机端都有一个存根程序，通过存根程序客户机将需要调用的方法名称和参数远程发送至服务器的存根程序，由服务器上的存根程序将参数和方法名传递给服务器进程。RPC 的工作原理大致如图 2-4 所示，所有的过程调用都在本地发生，客户与服务器的存根程序负责消息传递。这两个存根程序构成了 RPC 方法的通信中间件。

图 4-3 RPC 的原理图示

由图 4-3 看出，在分布式系统中，用户通过使用远程过程调用的方式可以像调用本地方法那样远程的调用服务器上的方法，通过存根程序对用户隐藏了分布式系统的底层通信细节。

3、RPC 体系结构

本文采用的 RPC 体系结构如图 4-4 所示：

图 4-4 RPC 体系结构

在 RPC 模型中有客户机进程和服务器进程分别分布在不同的计算机上，并且在客户机和服务器进程所在的计算机上都有存根程序，这个存根程序是服务器进程和客户机进程的代理。通过这个代理调用 Reader 和 Writer 函数实现远程过程调用也即远程引用层。

在远程引用层底层使用的是网络中的 TCP/IP 协议，通过 TCP/IP 协议以及输入/输出流将引用层的服务名称和具体参数通过网络传递到目的主机。

五、常见的消息通信模式

当今除了少数媒体和大型软件系统运行在单机上以外，绝大多数都使用了计算机网络。使用分布式系统的原因和好处很多，诸如实现资源共享、提高系统可靠性、降低商业成本等等。实现应用的分布式的一个重要先决条件就是：分布式系统中的子系统必须相互协作，需要一种相互通信的手段。然而，问题在于有太多的通信机制可供选择。以UNIX 为例，可能要用到TCP/IP、套接字、TLI（传输层接口，Transport Layer Interface ）或RPC （远程过程调用，Remote ProcedureCall）等等。本节介绍几种常见的通信模式和消息模型。

1.转发器－接收器模式（Forwarder－Receiver）

该模式由转发器、接收器和对等体（Peer）三种组件构成。图5-1给出了该模式的静态关系。

图5-1 Forwarder－Receiver模式关系图

对等体组件负责应用任务，它使用转发器向远程对等体发送消息，使用接收器接收其它对等体传送来的消息。如图3-1所示。转发器组件跨越进程边界发送消息。它提供了一个通用接口，该接口是一个特殊IPC机制的抽象，并且包括列集(marshal)消息功能和传送消息的功能。接收器负责接收消息。它提供了一个通用接口，该接口是一个特殊IPC 机制的抽象，它包括接收消息的功能和散集（unmarshal）消息的功能。

Forwarder - Receiver 模式为对等交互模型的软件系统提供了透明的进程间通信，它引入转发器和接收器将对等体从底层通信机制中分离处理。

2.客户机-分配器-服务器模式(Client - Dispatcher - Server)

该模式由客户机、分配器和服务器三部分组成，其静态关系如图5-2所示。

图5-2 Client - Dispatcher – Server模式关系图

客户机的任务是去执行特殊领域的任务。为了执行处理任务，客户机访问由服务器提供的操作。在发送请求给服务器之前，客户机向分配器请求信道，利用这个信道与服务器通信。

服务器为客户机提供一组操作。它既可以注册自身，也可以通过其名字和地址向分

配器进行注册。一个服务器组件可以与客户机位于同一主机，也可以位于网络中某个节点上。

分配器提供在客户机与服务器间建立通信信道的功能。分配器将服务器组件的名字映射为其物理地址，利用现有的通信机制建立与服务器的通信链路并将通信句柄返回给客户机。为了提供名字服务，分配器实现了用来注册和定位服务器的功能。

Client-Dispatcher-Server 模式通过在客户机与服务器间引入一个中间层一一分配器组件，并借助分配器提供的名字服务来实现位置透明性，从而隐藏了客户机与服务器间建立通信连接的细节。

3.出版者一订阅者模式(Publisher-Subscriber)

在该模式中，关键对象是出版者(有时也被称为目标，subject)和订阅者(有时也被成为观察者，observer)，它们的关系如图4所示。

订阅者的状态依赖于出版者的状态，一旦出版者的状态发生改变，所有的订阅者都得到通知。为此，出版者为订阅者提供注册和注销功能，订阅者自行订阅或取消订阅。

出版者在通知订阅者时，可以采用push 或pull 模式。在push 模式中，当出版者通知订阅者时，自接发送更改的数据，订阅者无权选择是否和何时取回数据，只能被动接收；在pull 模式中，出版者仅仅发送最少量的信息给订阅者，由订阅者决定是否和何时取回数据。Publisher - Subscriber 模式提供了一种合作组件状态同步化的机制。

图5-3 Publisher-Subscriber模式关系图

4.消息中间件(MOM，Message - oriented Middleware)

在异步分布式系统中，可以采用消息中间件来发送和接收消息。图5给出了消息中间件一般的消息模式。

图5-4 消息中间件

对于消息发送者，它只需要将消息发送给消息中间件而无需阻塞等待。剩下的上作完全交给消息中间件，消息中间件负责将消息转发给消息接受者。对于支持可靠传输(guaranteed delivery)的消息中间件，更能保证在消息接受者暂时不可达的情况下不会丢失消息。典型的消息中间件有IBM 的MQSeries，Mircrosoft 的MSMQ，它们均能实现可靠传输、容错处理、负载平衡等功能。

六、中间件的管道和平台

中间件包含了客户端与服务器端通信的所有分布式软件，分为两类：管道和平台，如图6-1 所示。

图6-1 管道和平台

管道实现组件间和应用间的通信。

平台中嵌入管道，并采用事务、负载均衡、命名服务、复制等技术，为应用系统跨越多种操作系统进行通信提供统一的环境。

常用的管道技术

常用的管道技术包括：

对话（Conversations）。它支持客户与服务组件之间的非持久实时对话，例如TCP/IP 的套接字（Socket）。

请求-响应（Request-response）。它支持客户端和服务器端之间的非持久同步交互，例如远程过程调用（RPC）、对象请求代理（ORB）。

消息队列（Queues）。它类似电子邮件，实现应用到应用之间的持久异步通信，例如应用在面向消息的中间件（MOM）中的管道技术。

发布-订阅（Publish-and-Subscribe）。它支持非耦合的、异步的消息传递，例如应用在CORBA 的事件服务中的发布-订阅技术。

广播和组播（Broadcasts and Multicast）。它支持一个进程同时把消息发送给多个进程，例如IP 的组播技术。

中间件基于管道实现组件间的通信

目前的、3 种主要的中间件解决方案基于管道实现组件的通信。

1、CORBA

CORBA 是由OMG 组织提出并倡导的。OMG 希望通过CORBA 实现运行在异地的、不同的操作系统上的对象的互操作，进而实现不同提供商的组件的互操作。CORBA 的核心是设计对象请求代理（ORB）、制定IIOP（英特网ORB 协议）协议以实现组件之间的互操作，如图6-2 所示。

图6-2 基于ORB 和IIOP 实现CORBA 的组件的互操作

2、.NET

.NET 是Microsoft 公司的中间件解决方案。它基于RPC 和DCOM 协议实现运行在

异地的、Windows 操作系统上的组件对象模型（COM）的互操作，如图6-3 所示。

图6-3 基于RPC 和DCOM 协议实现COM 的互操作

3、J2EE

J2EE是由Sun公司提起的中间件解决方案。EJB是J2EE应用框架中的一种基于分布式事务处理的企业级应用程序的组件。J2EE基于JA V A远程方法调用（JA V A RMI）实现EJB 组件之间的互操作，如图6-4 所示。JA V A RMI是对JA V A对象模型的扩展。

图6-4 基于JA V ARMI 实现EJB 的互操作

七、应用实例

文献[1]研究是基于双端口RAM和UDP数据报来实现分布式控制系统中的高速数据通信。目的是探索一种高性能，低CPU占用、高速、可靠的数据交换机制。

为了实现协调控制，通常的分布式控制系统一般通过RS232、RS422/485、I2C、以太网，和其他手段进行交换节点之间的信息。几乎所有的这些模式有明显的缺点，他们总是需要一个本地控制器，通常它们进行信息交换或交换大量的数据速度不高，这使得数据传输效率低下。

而关于访问双端口存储器的TCP / IP协议的分布式系统通信是一个实时通信机制。这种模式的关键在于每个节点配备有一定数量的双端口存储器，它可以通过本地节点控制器访问，并且还可以被其他的网络节点模块CPU根据TCP / IP协议直接读取和写入。

该过程具体的顺序是：

1）当节点要进行数据通信，发送方的CPU将特定数据写入到双端口RAM的发送缓冲区，并一个提供一个发送信号到通讯模块；

2）控制逻辑的数据转换成一个或多个固定长度的UDP数据报，然后通过网络链接发送UDP数据报；

3）接收器的控制逻辑接收的UDP数据报，在将数据存储到在双端口RAM的特定区域

之前，逻辑必须找出地址，另外逻辑也可以根据UDP数据报内的命令处理其他事件；

4）接收器的CPU不参与数据传输。为了满足实时的需要，逻辑可以根据接收到的数据发送一个中断请求到本地CPU。

这种机制可以实现高速分布式控制的节点之间的通信制度。它可以覆盖较大的面积，并具有更高效传输和简单的工作控制。本地CPU的资源占用很少。通过采用光纤，我们也可以使系统具有更高抗干扰能力和更小的尺寸，显然，该系统的扩展非常方便。

系统模块结构

除了一个本地CPU，本地存储器和本地的主要部件外设之外，每个节点都具有类似的结构，每个节点都配备有网络通信设备和控制逻辑。如图1，控制逻辑是由传统的以太网模块、UDP数据包处理模块、内存读写模块、中断处理模块和双端口RAM组成。

图1系统模块结构

传统的以太网模块控制网络通信，以通过网络实现基本的发送和接收；UDP数据报的处理模块负责组织和发送UDP数据报和接收数据报；RAM读写模块负责双口RAM读和写；当接收到一个特定的命令，中断处理模块发送一个中断请求，该模块还监测双口RAM的一个特殊区域，在这里的数据如果遇到中断的情况，它会发送一个的中断请求给本地CPU的信号。

分布式系统的拓扑

图2分布式系统的拓扑结构

图2示出了分布式系统的典型网络拓扑，可以看出，该系统是非常灵活和易于扩展的，该系统可扩展到一个树。

该技术的优点

这种模式的分布式系统具有明显的优点，该双端口RAM读写时间可以达到18ns，网络传输和数据报准备是由硬件处理的，这大大提高了通信效率。

1）该分布式系统利用网络的连接模式，并根据TCP / IP协议，具有非常好的可扩展性，可以在典型的树形结构增加节点，并且节点数目的限制较少。

2）基于网络的传输速率是10M/s~1000M/s，比一般的串口通信速率较高，而且这种模式下降低在CPU响应时间和全双工网络的通信提高了通信效率。

3）高效的数据通信占用较低的CPU资源，发送方的CPU只需要准备数据

和发出指令，接收器的CPU几乎不需要做什么。

4）对于高可靠性要求的系统中，接收器甚至可以将数据发送回给发送方核实数据，以确保传输的正确性。只要内部的逻辑采用相同的方法，通过多种验证代码也可以检查传输的可靠性，这种方法弥补了UDP的不可靠性。

5）UDP方式传输需要不设立连接，是少量分布式控制系统的通信的理想方式，它提供了一个快捷高效的服务。在发生传输错误时，发送者可以简单地重新发送数据报，或接收器可以直接从发送方的双口RAM中“读”数据。

6）用中断的机制，突发情况可以得到及时响应，以满足实时性的需求。

八、总结

分布式系统应用十分广泛，进程间通信是所有分布式系统的核心功能，并且面临巨大的挑战。一个分布式系统，可以同时有成千个进程分布在网络上的不同的站点机上，它们通过网络提供的消息通信机制交换信息，实现高层应用的互操作。网络上的不同站点机可以拥有不同的操作系统。目前，主要采用中间件模式使高层应用独立于局部的操作系统。中间件基于管道功能，为应用跨越多种操作系统进行通信提供统一的环境。

九、参考文献

[1] Haibo Z, Ping S, Feng Y, et al. A Distributed Control System communication mode Based on UDP Datagram and dual-port memory[C].Information Technology and Applications, 2009. IFITA'09. International Forum on. IEEE, 2009, 1: 629-632.