基于OpenStack的计算云的研究与实现

摘要

基于OpenStack的计算云的研究与实现

作者简介：高贵升，男，1982年10月出生，师从成都理工大学罗省贤教授，2012年7月毕业于成都理工大学计算机应用技术专业，获得工学硕士学位。

摘要

随着计算科学和商业计算的发展，使得软件模型和架构越来越快地发生变化，同时促进网格计算、并行计算、分布式计算迅速发展成为云计算。云计算主要包括基础设施即服务（IaaS），平台即服务（PaaS），软件即服务（SaaS），并通过这些技术将计算资源统一管理和调度。作为一种新的计算模型，云计算凭借其低成本、高效率得到了快速发展，也促进了近几年开源云计算架构的不断发展和完善。

OpenStack是一个开放源的云计算项目和工具集，并且提供了关于基础设施即服务（IaaS）的解决方案。OpenStack不仅可以快速部署全虚拟化环境，而且可以通过此环境来建立多个互联的虚拟服务器，并能够使用户快速部署应用在虚拟机上。此外，另一个由Apache提供的基于平台即服务（PaaS）的开源分布式计算的架构Hadoop在百度、亚马逊、Facebook等国内外大型网站已经成功应用。Hadoop的核心设计是MapReduce和HDFS。MapReduce的设计是将任务分解成若干子任务分别交给节点处理，最后汇总返回主节点。HDFS的设计是作为分布式文件系统，为Hadoop的分布式存储来提供底层支持。

利用OpenStack来构建一个基于基础设施即服务（IaaS）的云计算体系结构，并在此基础上搭建Hadoop环境，按照这个结构实现基础设施即服务（IaaS）和平台即服务（PaaS）的协同工作，并以web界面展示的方式，为用户进入计算云平台提供了便捷的操作方式。该体系结构的核心思想是利用OpenStack来搭建任意多个私有云，每个私有云都是一个服务节点，并且每个服务节点都有多个资源节点，不同私有云以及私有云中的资源相互独立。通过OpenStack来完成对服务节点和资源节点的配置和部署，同时在每个资源节点部署Hadoop。用户可以在申请资源的时候提交作业，云计算平台会根据资源的情况随机分配到不同的节点，完成计算后将作业结果返回。

计算云体系结构由三层结构组成：基础设施层、中间件层和云门户层。础设施层是利用虚拟化技术Xen等虚拟化工具和OpenStack搭建而成。中间件层和门户层都是建立在基础设施层之上，基其中最主要的是中间件层，它封装了通信模块、文件传输模块、远程对象模块。通信模块完成云服务节点和资源节点的创建和部署，进而实现计算资源的分配和存储等功能，并采用WebService的方式发

成都理工大学硕士学位论文

布，为上层和将来的二次开发提供了统一的接口。文件传输模块采用FTP技术来实现服务器和客户端实时交互及信息反馈。远程对象模块用来完成应用层的发布，更清晰快捷地将结果以多种形式来展示。

在研究与设计云计算平台同时，充分考虑用户体验，通过设计良好的交互界面为用户提供基础设施即服务（IaaS），云用户使用Web界面的可以提交作业和申请资源，管理者则可以对资源进行有效的管理和部署。

关键词：云计算OpenStack IaaS PaaS 中间件

Abstract

Research and implementation of cloud computer system based

on OpenStack

Introduction of the author:GaoGguisheng, male, was born in December, 1982, whose tutor was Professor Luo Shengxian. He graduated from ChengDu University of applied computer technology major and was granted the Master Degree in July, 2012.

Abstract

With the development of computing scientific and commercial computing software model and architecture increasingly rapid change, while promoting grid computing, parallel computing, distributed computing has rapidly developed into cloud computing. Cloud computing, including Infrastructure as a Service (IaaS), Platform as a Service (PaaS), and Software as a Service (SaaS), provide unified management and scheduling through these technologies. As a new computing model, cloud computing has been rapidly development by virtue of its low cost, high efficiency, but also to promote the continuous development and improvement of open source cloud computing infrastructure in recent years.

OpenStack is an open source cloud computing projects and tool set, and Infrastructure as a Service (IaaS) solution.The OpenStack not only can quickly deploy virtualization environment, and through this environment to create multiple interconnected virtual server, and enables users to quickly deploy applications on a virtual machine.In addition, Hadoop as a service (PaaS) open-source distributed computing architecture which provided by the Apache-based platform has been successfully applied in Baidu, Amazon, Facebook, and other large sites at home and abroad.The core design of Hadoop are MapReduce and HDFS.MapReduce is designed to decompose the task into several sub-tasks to the node processing respectively, and the results to return to the main node in last.HDFS which named the Hadoop Distributed File System, is to provide underlying support for distributed storage.

The focus of this study is using OpenStack to build a cloud computing architecture which is based on Infrastructure as a Service(IaaS) , and on which we will build a Hadoop environment, according to this structure to achieve the integration of the Infrastructure as a Service(IaaS) and Platform as a Service(PaaS), and provide user interface of cloud computing with providing user a web page.The core idea of this architecture is to use OpenStack to build any number of private clouds, each of the private cloud is a service node and each node has multiple resource nodes, and different private cloud and the resources of private cloud are independent with each other.According to OpenStack to complete the configuration and deployment of the

成都理工大学硕士学位论文

service nodes and resource nodes,and at the same time to deploy Hadoop in each resource https://www.360docs.net/doc/d116449556.html,er can submit their own task when they apply the resources, cloud computing platform can assigned to different nodes randomly based on the resources and will return the task results after completing the calculation.

The architecture of this thesis is divided into three layers: the infrastructure layer, the middleware layer and the portal layer of cloud.The infrastructure layer is made of virtualization technology Xen virtualization tools and the OpenStack structures . Middleware layer and portal layer is built on the infrastructure layer. Foremost among which is the middleware layer, which encapsulates the communication module, file transfer module, the remote object https://www.360docs.net/doc/d116449556.html,munication module complete the creation and deployment of cloud service nodes and resource nodes, achieving the allocation of computing resources and storage, it uses WebService provides a unified interface for the upper and future secondary development.The file transfer module using FTP technology achieve real-time interaction and feedback of the server and client.Remote object module to complete the release of the application layer, and demonstrate the result more clearly and quickly in various forms.

When the thesis study and design the cloud computing platform, it considers the tastes of user and provides user with the Infrastructure as a Service (IaaS) function through the Web.Cloud user can submit tasks through the Web page and application resources,while managers can devote their effort to resources for effective management and deployment.

Key words: Cloud Computing, OpenStack IaaS PaaS , Cloud Middleware

目录

目录

第1章前言 (1)

1.1 选题依据 (1)

1.1.1 国外研究现状 (1)

1.1.2 国内研究现状 (2)

1.2 研究内容 (3)

第2章云计算技术 (4)

2.1 云计算特点 (4)

2.2 云计算类型 (5)

2.2.1 基础设施即服务（IaaS） (5)

2.2.2 平台即服务（PaaS） (6)

2.2.3 软件即服务（SaaS） (6)

2.3 云计算体系结构 (7)

2.4 云计算与并行计算、网格计算 (8)

2.5 云计算开源架构简介 (9)

2.6 WebService技术 (10)

2.6.1 WebService运行机制 (10)

2.6.2 SOAP简单对象访问协议 (10)

第3章OpenStack开源云计算系统 (12)

3.1 OpenStack综述 (12)

3.2 OpenStack特点及原理 (12)

3.2.1 OpenStack特点 (12)

3.2.2 OpenStack原理 (12)

3.3 OpenStack概念架构 (13)

3.4 OpenStack组件 (14)

3.4.1 OpenStack Nova组件 (14)

3.4.2 OpenStack Image组件 (15)

3.5 Hadoop开源架构 (15)

3.6 Xen虚拟化技术 (16)

3.7 OpenStack云计算环境搭建 (16)

3.7.1 OpenStack云服务节点搭建 (16)

3.7.2 OpenStack云虚拟机创建 (17)

成都理工大学硕士学位论文

3.7.3 OpenStack云服务通信配置 (18)

3.8 Hadoop云环境搭建 (18)

3.9 本章小结 (18)

第4章基于OpenStack的计算云平台框架设计 (19)

4.1 OpenStack计算云平台拓扑结构 (19)

4.2 计算云平台结构 (20)

4.3 计算云平台工作原理 (21)

4.4 OpenStack计算云平台优势 (23)

第5章云中间件的设计与实现 (24)

5.1 中间件功能概述 (24)

5.1.1 服务节点创建与部署 (24)

5.1.2 资源管理与配置 (24)

5.1.3 资源监测 (24)

5.1.4 作业提交与管理 (25)

5.1.5 作业定时管理 (25)

5.1.6 用户管理 (26)

5.1.7 存储管理 (26)

5.2 云中间件设计 (26)

5.2.1 中间件功能模块设计 (26)

5.2.2 资源部署与管理设计 (27)

5.2.3 资源监测设计 (28)

5.2.4 作业执行与管理设计 (28)

5.2.5 用户管理设计 (29)

5.3 云中间件的实现方法 (29)

5.3.1 远程通信的实现方法 (29)

5.3.2 资源查看与管理实现 (31)

5.3.3 资源监测实现 (33)

5.3.4 作业执行与管理的实现 (33)

5.3.5 远程接口调用的实现 (35)

第6章云门户的设计与实现 (37)

6.1 云门户功能设计 (37)

6.2 云门户的数据库设计 (38)

6.3 云门户实现方法 (39)

目录

6.3.1 云门户的实现方法 (39)

6.3.2 客户端接口配置及调用 (41)

6.3.3 资源管理的实现 (41)

6.4 云门户功能的实现 (42)

6.4.1 作业提交的实现 (42)

6.4.2 作业与资源管理的实现 (42)

6.5 云门户的运行实例 (43)

6.5.1 作业提交与资源申请 (43)

6.5.2 作业执行与资源查看 (45)

6.5.3 服务端资源管理 (47)

6.5.4 资源管理 (47)

6.5.5 作业管理 (48)

6.6 本章小结 (49)

结论 (50)

致谢 (52)

参考文献 (53)

攻读学位期间取得学术成果 (56)

第1章前言

第1章前言

1.1 选题依据

云计算是近几年发展较快的计算模式。它是以传统计算机为基础，并结合网络技术共同发展的产物，包括网格计算（Grid Computing ）、分布式计算（DistributedComputing）、并行计算（Parallel Computing）、效用计算（Utility Computing）、虚拟化（Virtualization）、负载均衡（Load Balance）以及网络存储（Network Storage Technologies）。云计算思想的原理是使用计算资源池对外提供服务[1,2]。该计算资源池通过网络将计算资源链接并进行协同一致的管理与调度。这种可以提供资源服务的资源池被称为―云‖[3]。对使用者而言―云‖中的资源是透明的，使用者对这些资源能够自由获取，根据需要来申请和付费，并且也可以对其自由扩展[4,5,6]。

云计算这种商业模型的出现正逐渐取代传统的计算模型，变得与我们生活日益紧密相关，我们身边的资源在不经意间就可能是云计算的一种资源，我们也可能是云环境中的用户，正是这种变革使得云计算在诞生之日就将服务对象定位为普通用户、个人，也可以是企业或组织。随着云计算在全球范围如火如荼地发展，在不远的将来云计算模式必将带来新的科技革新[7,8,9]。

1.1.1 国外研究现状

云计算首先起源于国外，凭借其强大的用户群和计算模式，短短几年内就在商业上带来了重大变革，引起全球各大IT公司的青睐，它被视为下一次科技革命。

互联网企业的先锋Google搜索引擎，在2006年率先退出Google App Engine服务作为进军云计算领域的雏形，用户只需通过浏览器连接到Google 就可以进行相应的存储和计算，而且它允许第三方在其应用中运行大型并行程序。Google云计算技术由三个方面组成：GFS，MapReduce和Bigtable[10,11]。

2007年11月，蓝色巨人IBM在上海推出了―蓝云（Blue Cloud）‖计划，并且IBM正与各机构、组织积极合作，在2008年正式推出能随着某一应用工作负载的变化动态地提供和分配资源的―蓝云‖处理器产品[12,13]。

以Window著称于世的微软，在2008年通过Window Live提供云计算服务，实现一般的设备存储转移到任何时间都可以存储的模式。而微软推出Window Azure云计算平台是微软进军云计算领域的又一大举措，这一举措使得企业的网络应用程序可以在其数据中心上运行。

世界上最大的在线零售商亚马逊推出的弹性云（EC2），建立在大规模的集群计算平台上，使得用户可以通过网络去操作云计算平台上的各个实例，

成都理工大学硕士学位论文

并且实现了按需付费。

在服务器虚拟化领域遥遥领先的Vmware也早早进军云计算领域，推出了Vmware云计算解决方案VMware vCloud[14]。

Joyent是全球唯一一家拥有完整软件栈的公司，其堆栈可以运行大型的公有云，而且可以为任何要搭建云计算环境的公司提供云数据中心软件。作为云计算软件和服务提供公司，Joyent致力于云计算解决方案，并为戴尔和ChinaCache提供其云软件等服务[15]。

此外美国政府也着重加强了有关云计算方面的工作，美国国防信息部(DISA)也在其数据中心开始搭建云计算环境，而且美国宇航局(NASA)下的一个研究中心艾姆斯也推出一款叫做―星云‖(Nebula)的云环境[16]。

同样日本政府也正着手一个大规模的云计算环境，由通信监管局和内务部协作旨在搭建一个大规模云计算基础设施的计划已经开始实施，这一系统被称为―Kasumigaseki Clound‖，计划在2015年完成。它将为政府的所有信息系统提供底层支持，帮助政府将所有IT系统过渡到云计算，既可以提高效率也可以降低成本[17]。

1.1.2 国内研究现状

随着最近几年云计算技术快速发展，国内云计算平台的研究和建设已经从先前的个别院校、城市、机构、企业向全国大多数型城市和企业、机构发展。

2008年清华大学作为国内首家参与Google在中国推出―云计算‖的高校，合作开办了―大规模数据处理‖的课程；同年初IBM在无锡市政府的合作下共同搭建了该市软件园第一个云计算中心；7月份瑞星也着手云计算并实施―云安全‖计划[18 ,19]。

2010年，上海发布《云计算产业行动方案》，着力打造―亚太云计算中心‖，同时―上海市云计算创新基地‖也在杨浦区落户。2011年3月，上海举办中国云计算服务大会，宣布了杨浦科技创业中心和微软合作的―阳光云‖正式启动[20]。

北京中关村云计算技术与产业联盟在2010年初正式成立，其成员包括企业、科研单位、研究院等。其主要任务是全面推广和发展云计算技术、参与和推动新的云计算行业标准的制定、构建公共技术服务平台提升行业水平等。2010年7月，北京中关村云计算技术与产业联盟启动了―祥云工程‖计划，旨在实现云计算技术的新突破[21]。

成都市发布《―十二五‖规划纲要》，目标是在2015年把成都建设为全球最大的云服务和终端产品基地；山西―绿云‖产业园区作为中部地区首家最大的―云计算中心‖进入规划实施，该绿云中心可提供数十万机架和百万台服务器；广州市《2011-2015行动计划》提出要在2015年建成5个以上国际水平的云计算服务平台，将突破150亿元云计算产业规模，并带动相关产业链产值达600亿元；宁

第1章前言

夏―凌云计划‖投资140亿发展产业化集群，发展目标分别是在2013年、2015年和2020年三阶段部署服务器达到10万台、30万台、100万台[22]。

此外中国移动、中国电信、中国联通三大运营商也积极跻身云计算，百度、瑞星、江民、浪潮、趋势、华为、阿里、金山等公司也都进军云计算，着手云安全领域的研究。

1.2 研究内容

本文的研究目标是设计与实现一个基于云计算开源框架OpenStack的分布式计算云平台，该平台和Hadoop协同应用完成任务的分解处理和资源的管理，并且设计良好的用户接口和门户平台，方便扩展和维护。具体的研究内容如下：（1）深入研究云计算框架的设计及实现方法。根据研究的结果设计一个IaaS 和PaaS相协同的架构，利用该体系不仅可以自动创建和部署虚拟机，还可以实现对提交作业的自动化处理机制。

（2）研究OpenStack开源框架的组织结构和功能，并研究OpenStack工具集的调用方法，以及利用OpenStack工具实现云计算资源部署、配置等功能，实现框架的部分底层功能。

（3）研究Hadoop工作原理和MapReduce、HDFS编程模型并使用其完成任务的分解处理。

（4）研究OpenStack云计算架构的三层结构：基于OpenStack的基础设施架构、中间件层、门户层。整体设计采用流行的J2EE技术和web展示形式，并提供可扩展接口。

（5）深入研究FTP、远程通信机制、Shell及OpenStack组件的整合运用，实现计算云平台的中间件。基于中间件使得基础设施层和门户层更加透明，易于扩展和维护。

成都理工大学硕士学位论文

第2章云计算技术

云计算是一种全新的领先的信息技术，它是互联网高速发展、资源利用需求备受关注的时刻诞生的一种新型的商业计算模式。云计算作为下一代企业的数据中心，不仅可以连接在一起共享基础设备，而且可不受地域限制很方便地访问―云‖中的资源。云计算作为一种平台，实现了资源的多样性、虚拟化、可扩展性以及按需分配等[6]。

云计算不仅继承了软件即服务的思想，而且实现了软件共享、定制方便、服务快捷稳定等特点，使得软硬件共享，迈出了技术和理念上的一大步。它可以针对不同用户的需求，动态透明地提供各种资源，实现按需付费，而且能进行大规模的并行计算和数据处理[3]。

2.1 云计算特点

从云计算的发展看，云计算的特点可以概括为以下几点[3,23]：

（1）超大计算和存储

用户不受时间和地域限制，随时随地采用任何设备接入云平台就可以获得相应的云服务，而且云平台可以是由成千上万的服务器组成的集群。

（2）虚拟化技术

虚拟化作为云计算技术的一个重要优点是使得用户对云资源的使用变得透明，用户只需通过自己本地计算机操作，来使用―云‖提供的计算资源、网络资源等，与使用个人计算机一样无需关心云资源的位置。

（3）自助服务

―云‖中的资源对于用户来说是灵活定制，用户可以根据自己的需求来选择相应的服务或者应用资源等，用户无需关心具体的安装、部署细节，只需要提交自己的申请，其它的工作就由云来完成，而且用户可以轻松的管理自己定制的服务。

（4）扩展性

―云‖其实也是由许多的服务器等资源组合而成的，所以新的资源或者服务器可以自由加入―云‖中，实现―云‖的动态扩容。

（5）安全性

―云‖的数据安全来源于它广阔的服务器支持，用户的数据存储在服务端，也运行在服务端，但是服务都分布在许多不同的节点服务器上，用户不必担心服务的停止或失败，因为用户的数据已经分布在不同的服务节点上，由不同的服务处理。

（6）性价比

顾名思义高性价比就是指―云‖中的这些资源不是昂贵的顶级服务器，而可以

第2章云计算技术

是我们最廉价的PC机组成，而且由于其数量大，所以它的计算能力可以超过我们的想象。

（7）通用性

源于―云‖资源的广阔，它可以根据不同的用户需求构造不同的应用，但同是在一片―云‖中完成。

2.2 云计算类型

根据服务类型，可以将云计算分以下类型：基础设施服务层IaaS、平台服务层PaaS、软件服务层SaaS。如图2-1所示。

SaaS软件即服务层

在线应用、定制服务等

PaaS平台即服务层

中间件设施

IaaS基础设施层

服务器机器，网络、设备等

图2-1 云计算的服务类型

2.2.1 基础设施即服务（IaaS）

基础设施即服务IaaS(Infrastructure as a service)是把基础设备这些设施作为一种底层资源来为上层提供服务。IaaS的设施有很多，常见的PC、网络、处理、存储、带宽等等都可以是它的基础资源。这些基础资源其实对用户来说是透明的，也就是说当它们被提供的时候是经过虚拟化后的计算资源，这些资源只作为服务提供给云用户的使用者，使用者则不用关心这些资源的来源或者实现细节。此外这些资源对外都会被封装为统一的逻辑接口，从而屏蔽了底层硬件的差异。因此虚拟化过程对IaaS显得尤为重要，而具体实现中底层的资源并非只是单层构架，而往往被虚拟为若干层。目前底层资源被抽象为虚拟数据中心、服务机群、虚拟机群等。

此外，面对如此大规模的集群资源，当然负载均衡问题也是备受关注。如何很好地协调、配置和使用这么多的资源是许多厂商和研究领域迫在眉睫的一个问题，如果整合得当，必将有利于提高效率、降低成本，达到节能高效，否则就会形成资源浪费。

目前全球许多大厂商都投身于云计算领域，而IaaS相对较成熟的产品也比

成都理工大学硕士学位论文

较多，著名的有Rackspace和NASA联手推出的云计算平台OpenStack和另一款源于美国加利福尼亚大学一个研究项目而商业化的Eucalyptus，以及亚马逊的EC2。

2.2.2 平台即服务（PaaS）

平台即服务PaaS（Platform as a Service）是把软件研发的平台当做服务，事实上就是SaaS的一种模式的一个应用。这种商业模式只是把服务器作为平台来提供服务。它与传统的软件开发不同之处在于，不需要用户考虑软件开发需要的软、硬件环境，而直接使用云计算所提供的服务器和环境这个平台，这样既节省了用户开发的资源环境，又免去用户开发的测试周期。这种商业模式的诞生对于软件业来说是一个质的飞跃。

PaaS不仅对开发者提供了便利，对运营商来说，也可以根据需求定制自己的产品和服务。任何使用此平台的客户都可以在该平台上开发自己的SaaS应用，成为一个SaaS的提供商。这样既能够丰富平台应用，又能够满足不同用户的需求。以此闻名商界的EC就是亚马逊的杰作，亚马逊用自己构筑的平台来出租，让使用者可以自由选择它提供的操作系统和中间件软件，EC的成功运营使得亚马逊将这项服务迅速推向全球。同样商业搜索引擎的霸主Google，也迅速在世界上各个角落构筑起自己的数据中心，来部署自己的计算群，从而使得Google App Engine的问世，它的诞生使得用户直接使用它的开发环境在上面编写自己的应用，还可以直接使用Google 提供的开发包和发布平台，将自己的应用直接发布在该平台。

2.2.3 软件即服务（SaaS）

软件即服务SaaS（Software as a service）是使用互联网来提供软件服务的应用模式。事实上SaaS作为一种应用层商业模型，它承载了底层PaaS、IaaS的服务，为使用者提供软、硬件平台和所有部署、维护工作，使用者只需根据需要来租赁，使用者无需再付额外费用，因为使用者的费用中已经是所使用服务的―全包价‖。

SaaS的诞生是IT界的一个重大商机，这种模式代表了软件发展的趋势，其优点不言而喻。首先，降低了传统软件的授权费用，并且服务商提供的应用都有统一的部署，用户无需担心服务器或者网络设备安全以及后期维护升级等费用。再者，用户只需浏览器经过验证就可以轻松获取自己定制的服务。此外，用户也可以发布自己的应用，出租或出售服务给其他的使用者。

近年来的SaaS在国内外已经有了迅速的发展，典型的有阿里、风云在线、八百客、Google、SalesForce等。

第2章云计算技术

2.3 云计算体系结构

云计算其实是使用了SOA即Service-Oriented Architecture架构的思想，它把软硬件作为一种资源服务提供给终端用户使用。服务开发用户则可以利用云计算平台提供的公共接口来获取相应的硬件和软件资源来进行服务的开发，而终端用户则可根据自身的需求定制和使用服务。云计算平台架构如图2-2所示。

图2-2 云计算平台架构图

云计算平台提供的只是一种基础资源。其用户涉及提供平台者、提供基础服务者、使用服务者。以上用户群之间的耦合度较低，不同角色的用户只需关注本层的内容，使得平台整体更加灵活。

图2-2显示虚拟化层实际上是完成对底层的抽象，它将底层资源进行封装作为基础设施来提供服务，而位于该层的底层资源可以实现动态的、灵活的扩展，无需担心资源的瓶颈问题。对于需求者来说，只需要通过自己的需求来申请相应的资源，而对于服务提供者来说就根据用户需求来分配资源，如果资源池没有足够的资源满足用户，就需要动态地创建资源来满足用户，如果有足够的资源就会自动分配给用户。而且用户申请到的资源可以通过浏览器进行查询，用户也可以对自己拥有的资源进行管理。

从云计算的架构图和服务体系可以清楚地得到云计算在技术层次的结构图。如图2-3所示。

云计算的技术层次结构分为四层。其中服务接口层做为顶层封装了下层提供

成都理工大学硕士学位论文

的服务并通过WebService接口来对外提供。服务管理中间件层类似一个管理系统，隐藏了来自下层操作系统、网络等的异构性，通过提供统一的标准化接口和协议来管理资源。既包含对用户身份、许可、安全的管理，也包括对资源监控和故障等管理。虚拟化层则是通过虚拟化技术实现对下层服务的虚拟，本身并不提供资源。底层的物理资源层则提供最基础的硬件设备和网络设备等，但这些可以是廉价的个人计算机，也可以是服务器。

服务接口（服务注册、访问等）

服务管理中间件（资源管理、用户管理等）

资源虚拟化（网络资源池、数据库资源池等）

物理资源（服务器、存储设备等）

图2-3 云计算技术层次图

2.4 云计算与并行计算、网格计算

并行计算的思想是将任务分解为若干任务块，然后分发到多台处理机上同时处理，而这些任务块直接有一定的相互联系，而每个任务块的运算结果正确与否都影响到其他任务的正确执行。并行计算对准确性和同步性要求较高，正是并行计算的这种思想，为云计算奠定了最初发展形态，云计算技术融合了并行计算，并没有取代并行计算，并行计算仍作为一个独立的计算力量占领着市场[24]。

网格技术也是近几年兴起的的互联网核心技术。网格技术的定义是：―在动态、多机构参与的虚拟组织中协同共享资源和求解问题‖ [25]。网格是在SOA 和网络基础上遵循一定的协议，把分布在不同地理位置的资源链接在一起实现资源共享，从而大幅提高资源的利用率，从而为用户提供超级计算能力。网格技术也是一种较为成熟的技术，Globus Toolkit、UNICORE、gLite等都是目前较为成熟的网格中间件产品。类似云计算的三层结构模型，网格计算在类型上也被划分为用于计算的计算网格、信息处理的信息网格、知识网格。

第2章云计算技术

网格计算的口号是―使用IT资源就像使用水电一样简单‖，其目标是通过共享高性能计算能力和数据资源实现资源共享和协同工作，资源的整合采用异构机制，节点都是高性能计算机，并且是紧耦合为主，用于实验室、科学计算，采用国际统一的标准OGSA/WSRF[26,27]。而云计算的初衷‖是让用户透明的使用资源‖，其形成则是提供一个通用的计算平台和各类资源等服务，这些资源类型采用同构机制，节点都是普通的PC或者服务器，以虚拟化为主来提供，而且系统之间的耦合度较低，主要用于商业运算，并且是按需收费。发展至今，云计算还没有统一的国际标准[15,28]。

云计算联盟OCC还没有给云计算以准确的定义，而云计算却在商业界短短两三年内得到广泛应用。并行计算、网格计算都是云计算商业化发展的必经阶段，也是云计算发展史上必不可少的重要技术，正是有了并行计算的思想和网格计算的规模化发展，才促进了云计算的迅猛发展。

2.5 云计算开源架构简介

当前云计算技术在商业领域的迅速崛起，使得国内外许多大公司相继投身云计算的热潮，随之出现的有Microsoft的Azure、IBM的―蓝云‖、亚马逊的弹性云等。同时随着商潮的迭起也涌现出许多开源的云计算平台和架构，这些产品多数适用于科学研究或者为中小企业、机构等应用研究，而这些开源的平台不仅是免费的，也促进了云计算在研究领域生根。目前出现较为流行的云计算平台如下：（1）OpenStack：OpenStack是Apache授权许可，由美国国家航空航天局和Rackspace合作研发的云端计算软件，是一款完全开放源代码的项目和自由软件。非常适合科学领域的学习和研究。其中有三个重要的组成部分：Nova计算组件、Swift面向对象的数据存储组件、Glance镜像组件。OpenStack的最大优点是灵活度高，用户可以根据自己的需要来建立基础设施，轻松地扩展和构建自己的集群规模[29,30]。

（2）Hadoop：Hadoop是Apache模仿Google三大云计算技术GFS（分布式文件系统）、MapReduce（并行编程模型）和BigTable（大表）的开源实现，Hadoop的组件有HDFS、MapReduce、HBase。Hadoop是Apache的一个经典的分布式计算架构，而且容易部署和配置，并且采用Java开发语言，提供了规范可靠的接口，是目前非常流行的一款架构[31,32]。

（3）Eucalyptus：Eucalyptus源于美国加利福尼亚大学计算机科学学院的一个研究项目，后来逐步商业化。Eucalyptus虽然是开源的但并非完全开源。它是对亚马逊EC2的一个开源实现，使用计算集群或者工作站来实现弹性与实用相结合的云计算。它有几个高级特性：实现了兼容EC2和S3接口，支持在Xen 和KVM上运行，但在VM上支持性不是很好，附带了云管理工具。它非常容易

成都理工大学硕士学位论文

在大多数Linux?环境下的安装和部署，因而近几年备受研究领域的青睐，但是源于它的不完全开源使得它有被OpenStack取代的趋势[31]。

（4）Cloud Foundry：Cloud Foundry是Vmware发布的一款新的开源的PaaS架构。Cloud Foundry作为一款PaaS架构不仅拥有PaaS的优点，而且有自己独特的优点，它支持多种开发框架，有Spring for Java、Ruby on Rails，同时也提供了对MySQL、Redis和MongoDB数据库的支持。

（5）Abiquo：Abiquo这套云计算架构的设计可以方便地使用户构建公有云、私有云和混合云。其三款产品abiCloud、abiNtense和abiData既可以共同使用，也可以独立使用。

2.6 WebService技术

Web服务现在在许多IT领域都得到了广泛使用，是一种较为成熟的技术，Web服务较以前的CORBA、RMI、DCOM等技术更具实用性，它不仅可以穿越防火墙，实现自由连通，而且与平台无关。目前IT领域的各个厂商都已经推出了一些应用框架，并且Web服务的一些协议和标准也在一些组织和机构的推动下诞生。Web服务常见的协议有SOAP、WSDL、UDDI、XML等。Web服务就像使用自己本地的API一样可以自由调用，在网络应用上看，实际上是被封装和模块化的一个分支，它展示给客户的就是一个远程API。

Web服务有许多优点：良好的封装性、简单易用性、跨平台性，以及实现了B2B集成，使得它在实际运用中更加方便灵活。

2.6.1 WebService运行机制

WebService是基于WSDL描述语言发布的一组标准协议。WDSL是采用XML语法描述Web服务的语言。WSDL描述语言可以使用户自由定位并调用任何API提供的函数。WSDL所提供的服务描述语言，相当于一个自动集成这些服务的平台。

使用WebService需要三个方面协调运行，具体有提供服务者、申请服务者和注册服务者。提供服务者负责部署好环境后，就可以在web服务端发布自己的服务，供使用者调用。申请服务者只需要在客户端定制或申请自己需要的服务，通过UDDI服务注册系统注册和验证后就可以调用。实际使用中WebService往往不是单一的远程服务模式，而是多级服务的调用，一个Web服务在为用户提供服务的同时也可能在调用其他服务端提供的服务，而具体如何识别和调用这些服务就需要使用精确的对象描述语言WSDL。

2.6.2 SOAP简单对象访问协议

SOAP采用B/S的设计方法，以XML的形式实现分散环境中的信息交换，