中科分布式存储系统技术白皮书V2.0

LINGHANG TECHNOLOGIES CO.,LTD中科分布式存储系统技术白皮书北京领航科技2014年04目录1、产品介绍 (3)1.1 云时代的政府/企业烦恼 (3)1.2 产品服务与定位 (3)2、中科分布式存储应用场景 (4)2.1 目标用户 (4)2.2 产品模式 (4)2.2.1高性能应用的底层存储 (4)2.2.2企业级海量数据存储平台 (5)2.2.3容灾备份平台 (5)2.3 使用场景 (5)2.3.1企业级数据存储 (5)2.3.2私有云计算 (6)2.3.3海量数据存储 (6)2.3.4大数据分析 (7)2.3.5 容灾备份 (7)3、中科分布式存储核心理念 (8)4、中科分布式存储功能服务 (9)4.1 存储系统功能介绍 (9)4.2 WEB监控管理端功能介绍 (11)5、系统技术架构 (12)5.1 系统总体架构 (12)5.2 系统架构性特点 (12)5.3 技术指标要求 (14)5.4 系统软硬件环境 (15)1、产品介绍1.1云时代的政府/企业烦恼✧政府、企事业单位每天产生的大量视频、语音、图片、文档等资料，存在哪里？✧政府、企事业单位各个部门、各个子系统之间强烈的数据共享需求如何满足？✧大数据如何高效处理以达到统一存取、实时互动、价值传播、长期沉淀？✧您是否为单位电子邮箱充斥大量冗余数据还要不断扩容而烦恼？✧政府、企事业单位的私有云平台为什么操作和数据存取这么慢？✧政府、企事业单位的存储平台数据量已接近临界值需要扩容，但上面有重要业务在运行，如何能在线扩展存储空间？✧公司的每一个子公司都有重要客户数据，要是所在的任何一个城市发生大规模灾难（比如地震）数据怎么办？✧政府、企事业单位有一些历史数据平时比较少用到,但又不能丢掉，占用了大量的高速存储资源，能否移到更廉价的存储设备上去？1.2产品服务与定位大数据时代已经来临！面对数据资源的爆炸性增长，政府、企事业单位每天产生的海量视频、语音、图片、文档和重要客户数据等资料如何有效存取？政府多个部门之间、公司和子公司之间、公司各个部门之间强烈的数据共享需求如何满足？如果城市出现了灾难数据如何恢复？这些都很难用传统的数据存储方式加以实现。

针对，北京领航科技推出了基于分布式架构的中科分布式存储。

中科分布式存储平台软件通过对分布式的多个存储服务器进行存储资源整合、统一管理和灾备，沉淀快速增长的宝贵数据资源。

2、中科分布式存储应用场景2.1目标用户中科分布式存储可以为如下类型的需求提供分布式存储服务：✧政府、企事业单位私有云计算的底层存储；✧政府、企事业单位的海量存储（各种文件类型，支持PB级存储）；✧政府部门之间、企业与企业之间的数据共享✧政府、企事业单位的数据容灾备份2.2产品模式2.2.1高性能应用的底层存储政府级和企业级应用的云计算平台或者数据库平台等高性能应用对底层存储的性能要求很高，尤其是高并发高IOPS的要求是很多存储系统不能满足的，中科分布式存储在这方面做了一系列特性开发和性能优化，能够充分利用混合存储中SSD的高性能特性以及分布式平台的特点，满足云计算和数据库对底层存储的性能要求。

2.2.2企业级海量数据存储平台政府、企事业单位每天会产生非常多的数据，同时这些数据的类型各不相同，不同类型的数据大小不一样，对底层存储的IO要求也不同，数据安全性的要求和存储的高效利用的要求也不一样。

中科分布式存储针对各种不同类型的数据、数据对安全性的要求以及对存储的要求分别做了不同层级的优化以适应企业数据对存储系统的安全性、高效性、容错性、可扩展性的需求。

2.2.3容灾备份平台政府、企事业单位对存储中安全性的要求是最高的，其中有一个重要的需求就是能够针对重要数据实现容灾备份，以防止地震、海啸等城市级全局灾难的时候数据仍然在异地有相对安全的备份，这对统计业务、银行业务以及有多个子公司的大型公司特别重要。

中科分布式存储能够实现一站式服务把企业的海量存储和备份容灾平台联合起来，通过两地三中心的方式进行跨城市跨平台容灾，实现数据的绝对安全可靠性。

2.3使用场景2.3.1企业级数据存储政府、企事业单位用户对数据的安全可靠性、大数据量对存储的利用率等方面的要求非常高，这些并不是普通的分布式存储能够满足的，同时政府、企事业单位多个子部门或者子公司之间必然有各种数据共享和数据权限管理的需求，中科分布式存储系统针对这些使用场景进行了产品设计和性能优化，以满足客户的需求。

2.3.2私有云计算云计算以及云数据库对底层存储的性能要求尤其是I/O并发性（I/OPS）的要求很高，为了满足政府、企事业单位私有云平台对存储的高性能要求，中科分布式存储针对这种企业级应用场景采用类似于Server San的架构，把计算和存储融合在同一个平台，并且数据对本地存储感知，从而实现私有云平台的存储高效性。

2.3.3海量数据存储大数据时代促使互联网内容的提供方式出现了转变，带动着视频应用、网络游戏、图片等互联网衍生业务迅速发展；智慧城市给居民日常生活带来巨大便利，同时每天会产生的大量视频、指数等各类海量数据；……。

面对海量信息内容（视频、照片、图片、杂志、音乐、数据等）的爆炸性增长，政府、企事业单位在存储成本和技术方面面临巨大挑战：✧海量存储空间（PB级）✧文件数量几何级增长✧对访问速度要求高中科分布式存储将和客户一起面对这一系列的挑战，使用中科分布式存储产品可以：✧前期数据量小，无需一次性投入购买大容量存储设备，随业务增长可对分布式存储空间动态扩容✧不需要对存储进行24小时监控和管理，没有扩容、更换损坏存储设备等运维成本存储可靠性高，可根据用户需求选择不同程度的可靠性保障2.3.4大数据分析很多政府、企事业单位有了大数据或者依赖于自己的业务平台产生大数据之后希望基于这些大数据进行大数据分析，目前开源的和企业级大数据分析平台非常多，比如Hadoop平台，但如何能够把大数据分析平台和底层存储连接起来，如何让大数据分析的框架（Map-Reduce框架）能够高效运行，这是底层存储需要解决。

中科分布式存储能够无缝衔接大数据平台，并且根据大数据分析平台对存储的要求进行高效IO和数据处理。

2.3.5容灾备份当前，数据安全性正遭受着前所未有的威胁，自然灾害、系统故障、用户误操作和病毒感染都有可能导致数据的破坏和丢失。

因此，政府、企事业单位数据不仅要有足够的容量空间去存储，还需要实现数据的安全备份和远程容灾。

不仅要保证本地数据的安全性，还要保证当本地发生重大的灾难时，可通过远程容灾平台进行快速恢复。

通过高性能、大容量分布式存储系统和远程数据灾备功能，中科分布式存储服务可以为客户提供远程数据备份和容灾服务，可以将本地的重要数据自动无缝统一备份在中科分布式存储平台之上，而且数据的灾备对于客户本身的业务来说是透明的，没有任何额外的软件管理成本。

3、中科分布式存储核心理念中科分布式存储是针对企业级应用和需求而专业设计的，存储的核心理念是数据安全，IO高效，在线可扩展，运维低成本。

数据安全数据安全性是企业级应用最关系的，中科分布式存储采用了各种层级的数据安全特性，使得数据从业务端到存储端的端到端IO路径中达到足够的安全可靠性，并且利用分布式平台的特性数据分片存储，达到足够的数据安全性。

IO高效中科分布式存储系统可以利用不同底层存储的特点把不同类型的数据分层防止在不同的存储介质上，同时客户端的计算和存储的融合能够使业务数据尽快利用好本地的高效存储（SSD），使得整个IO路径达到最优和最高效。

在线可扩展中科分布式存储系统可以在不影响在线业务的情况下扩展到数千台的集群规模，而且随着集群规模的增长，系统整体性能表现为线性增长。

运维低成本中科分布式存储系统的自动容错和自动负载均衡机制可以使其方便的布建在普通的PC存储上，线性扩展能力也是的增减机器和存储非常方便，可以实现自动运维。

4、中科分布式存储功能服务4.1存储系统功能介绍●丰富的接口支持，异构系统上可跨平台文件共享中科分布式存储系统完全POSIX接口兼容，支持NFS，CIFS，SAMBA等协议，实现跨平台文件共享，支持的操作系统包括Windows，Linux，Unix，VMWare ESX，ESXi，XEN,Hyper-V,KVM等。

通过跨平台的数据共享，不仅避免了信息孤岛，还提高了空间的利用率。

●支持自动分级存储技术中科分布式存储系统支持分级存储技术，对数据进行分门别类，分级的存储管理。

分级存储技术对集群中的存储资源划分成不同的存储池，数据在存储的时候根据用户预先设置好的策略存放到不同的存储池中，譬如，性能要求高的数据可以存放到SSD/SAS组成的存储池中，性能要求不高的可以存放到SATA盘组成的存储池中。

此外，整个系统会定期扫描元数据，将匹配策略的数据自动从一个存储池中迁移到另外一个存储池中。

自动分级存储技术可以通过不同的存储设备来服务不同需求的应用业务，提高整个存储系统的可用性，并且定期将数据备份到慢速廉价设备上，便于用户归档存放。

●支持融合存储技术中科分布式存储系统通过融合存储架构提供高性能，低延迟的I/O数据存储模型，适用于云计算，大数据处理（HADOOP）等对I/O性能要求高的场景。

融合存储架构通过将计算节点（客户端）上的存储资源组成一个分布式存储系统，整个集群系统无需购买单独的存储节点。

中科分布式存储系统可根据用户需要配置高性能SSD设备，采用Log-based cache技术加快文件读写性能。

●支持数据异地备份与恢复技术中科分布式存储系统通过两地三中心技术实现用户数据的高可靠需求，两地三中心整体灾难恢复解决方案通过同城灾备+异地灾备的方式实现，用户可以根据需要只配置同城灾备或者异地灾备。

不同数据中心间的数据传输可以采用同步，异步或者镜像的方式进行，可以根据用户的需求以及网络带宽定制。

●支持可高效利用存储的纠删码技术中科分布式存储系统对于需要节省存储空间的用户，可以采用erasure code （纠删码）的方式去存储数据。

中科分布式存储系统采用reed-solomon编码方式将数据写到存储设备上，相对传统三个副本的存储方式，可以节省大约1.5倍的存储空间，并且可以容忍多块磁盘故障。

●目录QUOTA功能中科分布式存储系统不仅支持类似ext4文件系统类似的user quota和group quota功能，还支持文件夹的quota，可以设置文件夹的大小和创建文件的个数，方便应用程序限定数据存储空间以及元数据空间。

●智能管理，降低管理维护成本中科分布式存储系统提供集中式的管理和监控界面，能够统一的配置、管理和监控整个集群，整个系统自动实现负载均衡和故障切换，无需人工干涉。

整个分布式存储系统的智能管理控制平台拥有集中管理和监控多用户账号，集群系统，节点状态，网络，存储磁盘状态，定制化快照服务等功能。