中科分布式存储系统技术白皮书V2.0

LINGHANG TECHNOLOGIES CO.,LTD

中科分布式存储系统技术白皮书

北京领航科技

2014年04

目录

1、产品介绍 (3)

1.1 云时代的政府/企业烦恼 (3)

1.2 产品服务与定位 (3)

2、中科分布式存储应用场景 (4)

2.1 目标用户 (4)

2.2 产品模式 (4)

2.2.1高性能应用的底层存储 (4)

2.2.2企业级海量数据存储平台 (5)

2.2.3容灾备份平台 (5)

2.3 使用场景 (5)

2.3.1企业级数据存储 (5)

2.3.2私有云计算 (6)

2.3.3海量数据存储 (6)

2.3.4大数据分析 (7)

2.3.5 容灾备份 (7)

3、中科分布式存储核心理念 (8)

4、中科分布式存储功能服务 (9)

4.1 存储系统功能介绍 (9)

4.2 WEB监控管理端功能介绍 (11)

5、系统技术架构 (12)

5.1 系统总体架构 (12)

5.2 系统架构性特点 (12)

5.3 技术指标要求 (14)

5.4 系统软硬件环境 (15)

1、产品介绍

1.1云时代的政府/企业烦恼

?政府、企事业单位每天产生的大量视频、语音、图片、文档等资料，存在

哪里？

?政府、企事业单位各个部门、各个子系统之间强烈的数据共享需求如何满

足？

?大数据如何高效处理以达到统一存取、实时互动、价值传播、长期沉淀？

?您是否为单位电子邮箱充斥大量冗余数据还要不断扩容而烦恼？

?政府、企事业单位的私有云平台为什么操作和数据存取这么慢？

?政府、企事业单位的存储平台数据量已接近临界值需要扩容，但上面有重

要业务在运行，如何能在线扩展存储空间？

?公司的每一个子公司都有重要客户数据，要是所在的任何一个城市发生大

规模灾难（比如地震）数据怎么办？

?政府、企事业单位有一些历史数据平时比较少用到,但又不能丢掉，占用

了大量的高速存储资源，能否移到更廉价的存储设备上去？

1.2产品服务与定位

大数据时代已经来临！

面对数据资源的爆炸性增长，政府、企事业单位每天产生的海量视频、语音、图片、文档和重要客户数据等资料如何有效存取？政府多个部门之间、公司和子公司之间、公司各个部门之间强烈的数据共享需求如何满足？如果

城市出现了灾难数据如何恢复？这些都很难用传统的数据存储方式加以实现。

针对，北京领航科技推出了基于分布式架构的中科分布式存储。中科分布式存储平台软件通过对分布式的多个存储服务器进行存储资源整合、统一管理和灾备，沉淀快速增长的宝贵数据资源。

2、中科分布式存储应用场景

2.1目标用户

中科分布式存储可以为如下类型的需求提供分布式存储服务：

?政府、企事业单位私有云计算的底层存储；

?政府、企事业单位的海量存储（各种文件类型，支持PB级存储）；

?政府部门之间、企业与企业之间的数据共享

?政府、企事业单位的数据容灾备份

2.2产品模式

2.2.1高性能应用的底层存储

政府级和企业级应用的云计算平台或者数据库平台等高性能应用对底层存储的性能要求很高，尤其是高并发高IOPS的要求是很多存储系统不能满足的，中科分布式存储在这方面做了一系列特性开发和性能优化，能够充分利用混合存储中SSD的高性能特性以及分布式平台的特点，满足云计算和数据库对底层存储的性能要求。

2.2.2企业级海量数据存储平台

政府、企事业单位每天会产生非常多的数据，同时这些数据的类型各不相同，不同类型的数据大小不一样，对底层存储的IO要求也不同，数据安全性的要求和存储的高效利用的要求也不一样。中科分布式存储针对各种不同类型的数据、数据对安全性的要求以及对存储的要求分别做了不同层级的优化以适应企业数据对存储系统的安全性、高效性、容错性、可扩展性的需求。

2.2.3容灾备份平台

政府、企事业单位对存储中安全性的要求是最高的，其中有一个重要的需求就是能够针对重要数据实现容灾备份，以防止地震、海啸等城市级全局灾难的时候数据仍然在异地有相对安全的备份，这对统计业务、银行业务以及有多个子公司的大型公司特别重要。中科分布式存储能够实现一站式服务把企业的海量存储和备份容灾平台联合起来，通过两地三中心的方式进行跨城市跨平台容灾，实现数据的绝对安全可靠性。

2.3使用场景

2.3.1企业级数据存储

政府、企事业单位用户对数据的安全可靠性、大数据量对存储的利用率等方面的要求非常高，这些并不是普通的分布式存储能够满足的，同时政府、企事业单位多个子部门或者子公司之间必然有各种数据共享和数据权限管理的需求，中科分布式存储系统针对这些使用场景进行了产品设计和性能优化，以满足客户的需求。

2.3.2私有云计算

云计算以及云数据库对底层存储的性能要求尤其是I/O并发性（I/OPS）的要求很高，为了满足政府、企事业单位私有云平台对存储的高性能要求，中科分布式存储针对这种企业级应用场景采用类似于Server San的架构，把计算和存储融合在同一个平台，并且数据对本地存储感知，从而实现私有云平台的存储高效性。

2.3.3海量数据存储

大数据时代促使互联网内容的提供方式出现了转变，带动着视频应用、网络游戏、图片等互联网衍生业务迅速发展；智慧城市给居民日常生活带来巨大便利，同时每天会产生的大量视频、指数等各类海量数据；……。面对海量信息内容（视频、照片、图片、杂志、音乐、数据等）的爆炸性增长，政府、企事业单位在存储成本和技术方面面临巨大挑战：

?海量存储空间（PB级）

?文件数量几何级增长

?对访问速度要求高

中科分布式存储将和客户一起面对这一系列的挑战，使用中科分布式存储产品可以：

?前期数据量小，无需一次性投入购买大容量存储设备，随业务增长可对分

布式存储空间动态扩容

?不需要对存储进行24小时监控和管理，没有扩容、更换损坏存储设备等运

维成本

存储可靠性高，可根据用户需求选择不同程度的可靠性保障

2.3.4大数据分析

很多政府、企事业单位有了大数据或者依赖于自己的业务平台产生大数据之后希望基于这些大数据进行大数据分析，目前开源的和企业级大数据分析平台非常多，比如Hadoop平台，但如何能够把大数据分析平台和底层存储连接起来，如何让大数据分析的框架（Map-Reduce框架）能够高效运行，这是底层存储需要解决。中科分布式存储能够无缝衔接大数据平台，并且根据大数据分析平台对存储的要求进行高效IO和数据处理。

2.3.5容灾备份

当前，数据安全性正遭受着前所未有的威胁，自然灾害、系统故障、用户误操作和病毒感染都有可能导致数据的破坏和丢失。因此，政府、企事业单位数据不仅要有足够的容量空间去存储，还需要实现数据的安全备份和远程容灾。不仅要保证本地数据的安全性，还要保证当本地发生重大的灾难时，可通过远程容灾平台进行快速恢复。

通过高性能、大容量分布式存储系统和远程数据灾备功能，中科分布式存储服务可以为客户提供远程数据备份和容灾服务，可以将本地的重要数据自动无缝统一备份在中科分布式存储平台之上，而且数据的灾备对于客户本身的业务来说是透明的，没有任何额外的软件管理成本。

3、中科分布式存储核心理念

中科分布式存储是针对企业级应用和需求而专业设计的，存储的核心理念是数据安全，IO高效，在线可扩展，运维低成本。

数据安全

数据安全性是企业级应用最关系的，中科分布式存储采用了各种层级的数据安全特性，使得数据从业务端到存储端的端到端IO路径中达到足够的安全可靠性，并且利用分布式平台的特性数据分片存储，达到足够的数据安全性。

IO高效

中科分布式存储系统可以利用不同底层存储的特点把不同类型的数据分层防止在不同的存储介质上，同时客户端的计算和存储的融合能够使业务数据尽快利用好本地的高效存储（SSD），使得整个IO路径达到最优和最高效。

在线可扩展

中科分布式存储系统可以在不影响在线业务的情况下扩展到数千台的集群规模，而且随着集群规模的增长，系统整体性能表现为线性增长。

运维低成本

中科分布式存储系统的自动容错和自动负载均衡机制可以使其方便的布建在普通的PC存储上，线性扩展能力也是的增减机器和存储非常方便，可以实现自动运维。

4、中科分布式存储功能服务

4.1存储系统功能介绍

●丰富的接口支持，异构系统上可跨平台文件共享

中科分布式存储系统完全POSIX接口兼容，支持NFS，CIFS，SAMBA等协议，实现跨平台文件共享，支持的操作系统包括Windows，Linux，Unix，VMWare ESX，ESXi，XEN,Hyper-V,KVM等。通过跨平台的数据共享，不仅避免了信息孤岛，还提高了空间的利用率。

●支持自动分级存储技术

中科分布式存储系统支持分级存储技术，对数据进行分门别类，分级的存储管理。分级存储技术对集群中的存储资源划分成不同的存储池，数据在存储的时候根据用户预先设置好的策略存放到不同的存储池中，譬如，性能要求高的数据可以存放到SSD/SAS组成的存储池中，性能要求不高的可以存放到SATA盘组成的存储池中。此外，整个系统会定期扫描元数据，将匹配策略的数据自动从一个存储池中迁移到另外一个存储池中。自动分级存储技术可以通过不同的存储设备来服务不同需求的应用业务，提高整个存储系统的可用性，并且定期将数据备份到慢速廉价设备上，便于用户归档存放。

●支持融合存储技术

中科分布式存储系统通过融合存储架构提供高性能，低延迟的I/O数据存储模型，适用于云计算，大数据处理（HADOOP）等对I/O性能要求高的场景。融合存储架构通过将计算节点（客户端）上的存储资源组成一个分布式存储系统，整个集群系统无需购买单独的存储节点。中科分布式存储系统可根据用户需要配置高性能SSD设备，采用Log-based cache技术加快文件读写性能。

●支持数据异地备份与恢复技术

中科分布式存储系统通过两地三中心技术实现用户数据的高可靠需求，两地三中心整体灾难恢复解决方案通过同城灾备+异地灾备的方式实现，用户可以根据需要只配置同城灾备或者异地灾备。不同数据中心间的数据传输可以采用同步，

异步或者镜像的方式进行，可以根据用户的需求以及网络带宽定制。

●支持可高效利用存储的纠删码技术

中科分布式存储系统对于需要节省存储空间的用户，可以采用erasure code （纠删码）的方式去存储数据。中科分布式存储系统采用reed-solomon编码方式将数据写到存储设备上，相对传统三个副本的存储方式，可以节省大约1.5倍的存储空间，并且可以容忍多块磁盘故障。

●目录QUOTA功能

中科分布式存储系统不仅支持类似ext4文件系统类似的user quota和group quota功能，还支持文件夹的quota，可以设置文件夹的大小和创建文件的个数，方便应用程序限定数据存储空间以及元数据空间。

●智能管理，降低管理维护成本

中科分布式存储系统提供集中式的管理和监控界面，能够统一的配置、管理和监控整个集群，整个系统自动实现负载均衡和故障切换，无需人工干涉。整个分布式存储系统的智能管理控制平台拥有集中管理和监控多用户账号，集群系统，节点状态，网络，存储磁盘状态，定制化快照服务等功能。该组件方便用户通过

智能管理界面去增删改查文件系统，查看集群节点状态，管理集群里的存储磁盘和数据迁移，定期进行数据备份保护和快照恢复，实现智能化软件平台一站式管理。

4.2WEB监控管理端功能介绍

中科分布式存储系统的管理监控端实现了管理监控和运维一体化功能，通过管理平台可以实时的监控整个存储集群系统的健康状态以及做一些定期的数据备份和快照工作：

（1）整个集群中所有节点的状态信息

（2）整个存储系统在各个节点的运行状态

（3）整个存储系统中所有磁盘的健康状态

（4）整个存储系统磁盘利用百分比，以提示系统管理员扩容

（5）在线创建文件系统，并且可以自定义设置副本个数

（6）在线创建快照以恢复数据

（7）设置定期任务创建数据快照

5、系统技术架构

5.1系统总体架构

系统采用分布式文件技术，节点服务器底层能够实现数据节点的动态扩展，以应对数据规模的不断增加。

整个系统分为数据存储、元数据存储和客户端三部分，这三部分都做到了无单点故障容错性，以实现最高级别和最灵活的容灾和恢复。

数据应用层为用户提供多终端支持，不管是通过Windows或linux客户端，不管通过NFS，CIFS，SAMBA协议，不同平台的用户都可以轻松便捷地享受数据资源存储、共享服务。

5.2系统架构性特点

中科分布式存储支持多服务器集群方式部署，通过负载均衡，实现高效的集群存储，确保数据的多倍冗余存储，提升数据安全性和可靠性。

超高读写性能，TB/s级别访问带宽

在集群存储环境中，元数据节点承担着所有的读写访问，访问压力非常大，往往成为系统的性能瓶颈，而中科分布式存储系统的元数据服务节点数随着客户端节点的加入而动态扩展，客户端缓存该节点需要访问文件的元数据，大幅降低客户端通过网络对元数据的访问而导致的性能开销，并且中科分布式存储系统通过分布式锁机制来控制多个节点对元数据和数据的修改，真正的达到数据和元数据读写高度并发性。此外，中科分布式存储系统单个文件被分片并存储到多个存储引擎上，由多个存储引擎并发提供读写能力，并且能利用副本的本地亲和性实现高效的读写。

中科分布式存储系统对单个文件的读写聚合带宽高达GB/s级别,单个文件系统的总吞吐量高达TB/s级别。

以下是一组客户实例（KVM虚拟化应用,三台服务器各配置一块ssd和一块sata 盘组成融合存储），我们在虚拟机内部使用4K Direct IO模式，虚拟机内部通过ext4文件系统进行DIO，虚拟机的镜像和数据IO直接通过中科分布式存储实现本地读和三副本写，我们得到了一系列性能数据图：

●多维度扩展架构，在线平滑扩容

中科分布式存储系统具备强大的扩展能力，无论是单个节点存储量还是集群规模，都支持从小规模到大规模的平滑扩展，无缝升级。结合传统阵列的scale-up （纵向）扩展特性和集群系统的scale-out（横向）扩展特性，对于单个存储引擎，存储容量根据用户需求动态调整，可以高达数百TB，单个集群的存储节点数规模可以从1个节点到8192个节点。

●丰富的数据保护功能

中科分布式存储提供了强大的数据复制功能，用来保证数据的高可用性。用户可以将存放元数据和实际数据的存储池划分成不同的Failure Domain。当节点对存储系统进行写数据时，会把数据同步并发写入存储池中的每个Failure Domain的磁盘中，使得数据在Failure Domain中保存多份，并保持数据一致。

中科分布式存储系统也提供了可读的snapshot（快照）功能，可以对整个文件系统，或者文件系统中的文件夹，文件在某一个特定时刻的数据进行快照，从而很容易的恢复该时间点的数据，可以防止数据被意外删除时的丢失等。并且，快照文件相对于真实数据来说所占用的磁盘空间较小。

中科分布式存储同时提供了可写的snapshot功能，方便云计算中的虚拟机定制镜像模板，或者通过模板启动虚拟机等。

5.3技术指标要求

5.4系统软硬件环境