课程设计大报告

课程设计大报告

课程设计大报告

云存储关键技术

班级： 021151

学号： 02115036

学生：王亦玮

指导老师：朱虎明

时间： 2014年9月

从狭义上来说，云存储是指通过虚拟化、分布式技术、集群应用、网格技术、负载均衡等技术，将网络中大量的存储设备通过软件集合起来高效协同工作，共同对外提供低成本、高扩展性的数据存储服务。

从广义上来讲，云存储可以理解为按需提供的虚拟存储资源，如同云计算的Paas、Iaas服务一样，可称为数据存储即服务（Data Storage As a Service，DaaS），即基于指定的服务水平请求，通过网络提供适当的虚拟存储和相关数据服务。

1.3 定义3

云存储不是指某一个具体的设备，而是指一个由许许多多个存储设备和服务器所构成的集合体。使用者使用云存储，并不是使用某一个存储设备，而是使用整个云存储系统带来的一种数据访问服务。云存储的核心是应用软件与存储设备相结合，通过应用软件来实现存储设备向存储服务的转变。

1.4 定义4

云存储就是将储存资源放到网络上供人存取的一种新兴方案。使用者可以在任何时

间、任何地方，透过任何可连网的装置方便地存取数据。

综合以上定义，云存储系统应具有以下通用特征：

★高可扩展性：云存储系统可支持海量数据处理，资源可以实现按需扩展；

★低成本：云存储系统应具备高性价比的特点，低成本体现在两方面，更低的建设成本和更低的运维成本；

★无接入限制：相比传统存储，云存储强调对用户存储的灵活支持，服务域内存储资源可以随处接入，随时访问；

★易管理：少量管理员可以处理上千节点和PB 级存储，更高效的支撑大量上层应用对存储资源的快速部署需求。

2 云存储架构

云存储是由一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网和客户端程序等组成的复杂系统。以存储设备为核心，通过应用软件来对外提供数据存储和业务访问服务。云存储的架构如下图所示：

★存储层：存储设备数量庞大且分布在不同地域，彼此通过广域网、互联网或光纤通道网络连接在一起。在存储设备之上是一个统一存储设备管理系统，实现存储设备的逻辑虚拟化管理、多链路冗余管理，以及硬件设备的状态监控和故障维护。

★基础管理层：通过集群、分布式文件系统和网格计算等技术，实现云存储设备之间的协同工作，使多个的存储设备可以对外提供同一种服务，并提供更大更强更好的数据访问性能。数据加密技术保证云存储中的数据不会被未授权

的用户访问，数据备份和容灾技术可以保证云存储中的数据不会丢失，保证云存储自身的安全和稳定。

★应用接口层：不同的云存储运营商根据业务类型，开发不同的服务接口，提供不同的服务。例如视频监控、视频点播应用平台、网络硬盘，远程数据备份应用等。

★访问层：授权用户可以通过标准的公用应用接口来登录云存储系统，享受云存储服务。

3 云存储中的关键技术

3.1 云存储中的存储虚拟化

通过存储虚拟化方法，把不同厂商、不同型号、不同通信技术、不同类型的存储设备互联起来，将系统中各种异构的存储设备映射为一个统一的存储资源池。存储虚拟化技术能够对存储资源进行统一分配管理，又可以屏蔽存储实体间的物理位置以及异构特性，实现了资源对用户的透明性，降低了构建、管理和维护资源的成本，从而提升云存储系统的资源利用率。

3.1.1 主要存储虚拟化技术

存储虚拟化技术虽然不同设备与厂商之间略有区别，但从总体来说，可概括为基于主机

虚拟化、基于存储设备虚拟化和基于存储网络虚拟化三种技术。

★基于主机的虚拟化存储的实现，其核心技术是通过增加一个运行在操作系统下的逻辑卷管理软件将磁盘上的物理块号映射成逻辑卷号，并以此实现把多个物理磁盘阵列映射成一个统一的虚拟的逻辑存储空间（逻辑块）实现存储虚拟化的控制和管理。从技术实施层面看，基于主机的虚拟化存储不需要额外的硬件支持，便于部署，只通过软件即可实现对不同存储资源的存储管理。但是，虚拟化控制软件也导致了此项技术的主要缺点：首先，软件的部署和应用影响了主机性能；其次，各种与存储相关的应用通过同一个主机，存在越权访问的数据安全隐患；最后，通过软件控制不同厂家的存储设备存在额外的资源开销，进而降低系统的可操作性与灵活性。★基于存储设备虚拟化技术依赖于提供相关功能的存储设备的阵列控制器模块，常见于高端存储设备，其主要应用针对异构的SAN存储构架。此类技术的主要优点是不占主机资源，技术成熟度高，容易实施；缺点是核心存储设备必须具有此类功能，且消耗存储控制器的资源，同时由于

异构厂家磁盘阵列设备的控制功能被主控设备的存储控制器接管导致其高级存储功能将不能使用。

★基于存储网络虚拟化的技术的核心是在存储区域网中增加虚拟化引擎实现存储资源的集中管理，其具体实施一般是通过具有虚拟化支持能力的路由器或交换机实现。在此基础上，存储网络虚拟化又可以分为带内虚拟化与带外虚拟化两类，二者主要的区别在于：带内虚拟化使用同一数据通道传送存储数据和控制信号，而带外虚拟化使用不同的通道传送数据和命令信息。基于存储网络的存储虚拟化技术架构合理，不占用主机和设备资源；但是其存储阵列中设备的兼容性需要严格验证，与基于设备的虚拟化技术一样，由于网络中存储设备的控制功能被虚拟化引擎所接管，导致存储设备自带的高级存储功能将不能使用。

3.1.2 存储虚拟化技术对比

用表格的方式对三种存储虚拟化技术的技术优点与缺点、适应场景等进行了分析对比，结果如下：

3.2 云存储中的分布式存储技术

分布式存储是通过网络使用服务商提供的各个存储设备上的存储空间，并将这些分散的存储资源构成一个虚拟的存储设备，数据分散的存储在各个存储设备上。目前比较流行的分布式存储技术为：分布式块存储、分布式文件系统存储、分布式对象存储和分布式表存储。

3.2.1 分布式块存储

块存储就是服务器直接通过读写存储空间中的一个或一段地址来存取数据。由于采用

直接读写磁盘空间来访问数据，相对于其他数据读取方式，块存储的读取效率最高，一些大型数据库应用只能运行在块存储设备上。分布式块存储系统目前以标准的Intel/Linux 硬件组件作为基本存储单元，组件之间通过千兆以太网采用任意点对点拓扑技术相互连接，共同工作，构成大型网格存储，网格内采用分布式算法管理存储资源。此类技术比较典型的代表是IBM XIV 存储系统，其核心数据组件为基于Intel 内核的磁盘系统，卷数据分布到所有磁盘上，从而具有良好的并行处理能力；放弃RAID技术，采用冗余数据块方式进行数据保护，统一采用SATA盘，从而降低了存储成本。

3.2.2 分布式文件系统存储

文件存储系统可提供通用的文件访问接口，如POSIX、NFS、CIFS、FTP等，实现文件与目录操作、文件访问、文件访问控制等功能。目前的分布式文件系统存储的实现有软硬件一体和软硬件分离两种方式。主要通过NAS虚拟化，或者基于X86硬件集群和分布式文件系统集成在一起，以实现海量非结构化数据处理能力。

软硬件一体方式的实现基于X86硬件，利

用专有的、定制设计的硬件组件，与分布式文件系统集成在一起，以实现目标设计的性能和可靠性目标；产品代表Isilon，IBM SONAS GPFS。

软硬件分离方式的实现基于开源分布式文件系统对外提供弹性存储资源，软硬件分离方式，可采用标准PC服务器硬件；典型开源分布式文件系统有GFS、HDFS。

3.2.3 分布式对象存储

对象存储是为海量数据提供Key-Value 这种通过键值查找数据文件的存储模式；对象存储引入对象元数据来描述对象特征，对象元数据具有丰富的语义；引入容器概念作为存储对象的集合。对象存储系统底层基于分布式存储系统来实现数据的存取，其存储方式对外部应用透明。这样的存储系统架构具有高可扩展性，支持数据的并发读写，一般不支持数据的随机写操作。最典型的应用实例就是亚马逊的S3（Amazon Simple Storage Service）。对象存储技术相对成熟，对底层硬件要求不高，存储系统可靠性和容错通过软件实现，同时其访问接口简单，适合处理海量、小数据的非结构化数据，如：邮箱、网盘、相册、音频视频存储等

3.2.4 分布式表存储

表结构存储是一种结构化数据存储，如传统数据库相比，它提供的表空间访问功能受限，但更强调系统的可扩展性。提供表存储的云存储系统的特征就是同时提供高并发的数据访问性能和可伸缩的存储和计算架构。

提供表存储的云存储系统有两类接口访问方式。一类是标准的xDBC、SQL数据库接口，一类是Map-reduce的数据仓库应用处理接口。前者目前以开源技术为主，尚未有成熟的商业软件，后者已有商业软件和成功的商业应用案例。

3.2.5 分布式存储总结

如今分布式存储系统已经得到了快速的发展，其技术已经较为成熟。先进的分布式存储系统必须具备下面几个特性：高性能、高可靠性、高可扩展性、透明性以及自治性。

★高性能：对于分布式系统中的每一个用户都要尽量减小网络的延迟和因网络拥塞、网络断开、节点退出等问题造成的影响；

★高可靠性：高可靠性是大多数系统设计时重点考虑的问题。分布式环境通常都有高可靠性需求，用户将文件保存到分布式存储系统的基本要

求是数据可靠；

★高可扩展性：分布式存储系统需要能够适应节点规模和数据规模的扩大；

★透明性：需要让用户在访问网络中其他节点中的数据时能感到像是访问自己本机的数据一样；★自治性：分布式存储系统需要拥有一定的自我维护和恢复功能。

3.3 云存储中的数据备份

3.3.1 副本数据布局

一种被广泛采用的副本布局方式是通过集中式的存储目录来定位数据对象的存储位置。这种方法可以利用存储目录中存放的存储节点信息，将数据对象的多个副本放置在不同机架上，这样可大大提高系统的数据可靠性。谷歌文件系统(Google File System，GFS)、Hadoop 分布式文件系统( Hadoop Distributed File System，HDFS)等著名的分布式文件系统都采用了这种数据布局方式，然而，基于集中式存储目录的数据放置方式存在以下两个缺陷:

1.随着存储目录的增长，查找数据对象所需的开销也会越来越大;

2.为提高数据对象的定位速度，一般情况下都会将存储目录存放在服务器内存中，对于PB 级的云存储系统来说，文件的数量可能达到上亿级，这导致存储目录将会占用上百GB的内存。因此，当数据对象数量达到上亿级别时，基于集中式存储目录的数据放置方法在存储开销和数据定位的时间开销上都是难以接受的，此外，还会大大限制系统的扩展性。

另一种副本布局方法是基于哈希算法的副本布局方法，它完全摒弃了记录数据对象映射信息的做法。基于哈希算法的副本布局方法需要满足以下要求:

1.均衡性：根据节点权重为存储节点分配数据对象。

2.动态自适应性：当系统中的节点数量发生变化时，需迁移的数据量应该尽量少。

3.低性能开销。

4.高效性：确定副本位置所需的时间开销尽可能小，理想情况下为 O( 1) 。

3.3.2传统的备份策略

典型的用户备份流程是这样的：每天都要在凌晨进行一次增量备份，然后每周末凌晨进行

全备份。采用这种方法，一旦出现了数据灾难，用户可以恢复到某天（注意是以天为单位的）的数据，因此在最坏的情况下，可能丢失整整一天的数据。

那么，能不能缩小备份时间单位呢？比如，可不可以每半天进行一次增量备份呢？答案是非常困难。因为每次进行备份的数据量都很大的情况下，备份时间窗口很大，需要繁忙的业务系统停机很长时间才能做到。

因此，为了确保数据的更高安全性，用户必须对在线系统实行在线实时复制，尽可能多地采用快照等磁盘管理技术维持数据的高可用性，这样势必需要增加很大一部分投资。

3.3.3 连续数据保护

连续数据保护（CDP）是一种连续捕获和保存数据变化，并将变化后的数据独立于初始数据进行保存的方法，而且该方法可以实现过去任意一个时间点的数据恢复。CDP系统可能基于块、文件或应用，并且为数量无限的可变恢复点提供精细的可恢复对象。

因此，所有的CDP解决方案都应当具备以下几个基本的特性：数据的改变受到连续的捕获和

跟踪；所有的数据改变都存储在一个与主存储地点不同的独立地点中；恢复点目标是任意的，而且不需要在实际恢复之前事先定义。

所以，CDP可以提供更快的数据检索、更强的数据保护和更高的业务连续性能力，而与传统的备份解决方案相比，CDP的总体成本和复杂性都要低。

尽管一些厂商推出了CDP产品，然而从它们的功能上分析，还做不到真正连续的数据保护，比如有的产品备份时间间隔为一小时，那么在这一小时内仍然存在数据丢失的风险，因此，严格地讲，它们还不是完全意义上的CDP产品，目前我们只能称之为类似CDP产品。

3.4 云存储中的数据缩减技术

为应对数据存储的急剧膨胀，企业需要不断购置大量的存储设备来满足不断增长的存储需求。权威调查机构的研究发现，企业购买了大量的存储设备，但是利用率往往不足５０％，存储投资回报率水平较低。数据量的急剧增长为存储技术提出了新的问题和要求，怎样低成本高效快速地解决无限增长的信息的存储和计算问题摆在科学家的面前。通过云存储技术不仅解决了

存储中的高安全性、可靠性、可扩展、易管理等存储的基本要求，同时也利用云存储中的数据缩减技术，满足海量信息爆炸式增长趋势，一定程度上节约企业存储成本，提高效率。

3.4.1 自动精简配置

自动精简配置是一种存储管理的特性，核心原理是“欺骗”操作系统，让操作系统认为存储设备中有很大的存储空间，而实际的物理存储空间则没有那么大。传统配置技术为了避免重新配置可能造成的业务中断，常常会过度配置容量。在这种情况下，一旦存储分配给某个应用，就不可能重新分配给另一个应用，由此就造成了已分配的容量没有得到充分利用，导致了资源的极大浪费。而精简配置技术带给用户的益处是大大提高了存储资源的利用率，提高了配置管理效率，实现高自动化的数据存储。

自动精简配置技术是利用虚拟化方法减少物理存储空间的分配，最大限度提升存储空间利用率。这种技术节约的存储成本可能会非常巨大，并且使存储的利用率超９０％。通过“欺骗”操作系统，造成的好像存储空间有足够大，而实际物理存储空间并没有那么大。自动精简配

置技术的应用会减少已分配但未使用的存储容量的浪费，在分配存储空间时，需要多少存储空间系统则按需分配。自动精简配置技术优化了存储空间的利用率，扩展了存储管理功能，虽然实际分配的物理容量小，但可以为操作系统提供超大容量的虚拟存储空间。随着数据存储的信息量越来越多，实际存储空间也可以及时扩展，无需用户手动处理。利用自动精简配置技术，用户不需要了解存储空间分配的细节，这种技术就能帮助用户在不降低性能的情况下，大幅度提高存储空间利用效率；需求变化时，无需更改存储容量设置通过虚拟化技术集成存储，减少超量配置，降低总功耗。

自动精简配置这项技术最初由3Par公司开发，目前支持自动精简配置的厂商正在快速增加。这项技术已经成为选择存储系统的关键标准之一。但是并不是所有的自动精简配置的实施都是相同的。随着自动精简配置的存储越来越多，物理存储的耗尽成为自动精简配置环境中经常出现的风险。因此，告警、通知和存储分析成为必要的功能，并且对比传统环境，其在自动精简配置的环境中扮演了更主要的角色。

3.4.2 自动存储分层

自动存储分层（AST）技术主要用来帮助数据中心最大程度地降低成本和复杂性。在过去，进行数据移动主要依靠手工操作，由管理员来判断这个卷的数据访问压力或大或小，迁移的时候也只能一个整卷一起迁移。自动存储分层技术的特点则是其分层的自动化和智能化。传统配置方式与自动存储分层方式比较是一个整卷一起迁移。新技术的特点则是其分层的自动化和智能化。自动存储分层是存储上减少数据的另外一种机制。一个磁盘阵列能够把活动数据保留在快速、昂贵的存储上，把不活跃的数据迁移到廉价的低速层上，以限制存储的花费总量。自动存储分层的重要性随着固态存储在当前磁盘阵列中的采用而提升，并随着云存储的来临而补充内部部署的存储。自动存储分层使用户数据保留在合适的存储层级，因此减少了存储需求的总量并实质上减少了成本，提升了性能。数据从一层迁移到另一层的粒度越精细，可以使用的昂贵存储的效率就越高。子卷级的分层意味着数据是按照块来分配而不是整个卷，而字节级的分层比文件级的分层更好。如何控制数据在层间移动的内部工