北京金钻芯科技中科院存储技术解决方案

北京金钻芯科技中科院存储技术解决

方案

1

中科院存储技术解决方案

中科院某中心存储系统需求

1、集中存储

为了满足应用系统对于存储的需求，并考虑到性能、扩展性、可靠性等因素。中科院某中心计划建设存储区域网络（SAN），来统一为应用系统提供存储服务。这样即能够有效的提高整套系统的存储利用率，简化管理和维护的工作量，而且有利于实现数据的集中备份；同时利用SAN－存储局域网的融合性和可扩展性，实现“服务器群－SAN网络－存储池”新一代IT架构，保护用户投资，降低用户的总拥有成本（TCO，Total Cost of Ownership）。

中科院某中心的服务器的操作系统包括

AIX\Solaris\Linux\Windows等主流的操作系统，SAN需要能够支持这些异构的环境。而且在整合的时候要充分考虑到成本的因素，如交换机、主机适配器（HBA）等。

2、简化管理

存储设备在一个企业中的异构化现象十分普遍，为保证存储空间的可管理性和减少SAN结构的复杂性，方案应采用先进、简便的SAN技术和相应的管理软件，保证大数据量简便管理并能够充分发挥系统性能。

3、存储容量的需求

综合考虑到各类存储需求后，中科院某中心预计第一期整体需要存储空间为30TB。其中重要的在线数据为10TB，需要提供网络硬盘功能实现存储资源的20TB。在在线数据中，有4TB的重要的数据库信息需要系统提供高等级的数据保护。

4、存储容量扩展

随着业务的发展，数据库和各种应用系统也需要越来越多的存储空间。这就要求存储系统能够方便的扩充存储空间。

5、完善数据管理

中科院某中心承担着繁重的科研工作，为了保障科研工作的顺利进行，有必要完善数据管理工作，实现更好的数据存储和保护。

6、系统实施规划

在系统实施规划上，中科院某中心能够按照存储设备的规划，分步实施整个系统。

存储架构设计方案

在IP-SAN的方案设计中，共分为四个部分，分别是集中存储、持续数据保护、数据备份以及应用服务器系统保护。

集中存储将要搭建IP SAN的存储架构，提供10TB的可用容量。其中4TB重要的业务数据存储在宏杉科技的MS3000产品中，使用NAS系统，提供网络硬盘的共享空间6TB，用于数据中心人员日常数据的存储。

持续数据保护用于核心业务数据的保护手段，提供最快10秒钟的系统恢复速度（RTO），最少10分钟的数据损失量（RPO）。保障业务系统的连续进行。

采用备份软件建设统一的备份环境，完成分散的多台服务器数据备份。备份介质能够选择虚拟磁带库或者磁盘阵列。

应用服务器系统保护能够实现对应用服务器数据和系统的“克隆”，一旦出现数据损坏、系统崩溃的情况，能够快速地进行恢复，保证系统的正常运行。

在集中存储中，以MS3000为核心存储系统，支持采用多块网卡的高可靠性设计，完全能够满足数据库服务器等关键业务对于存储区域网络的性能和可靠性的要求。

所有需要连接MS3000的服务器，如数据库服务器，只要安装千兆网卡，并安装软件的iSCSI Initiator，就能够经过以太网获得存储设备，从而不需要购置价格昂贵的HBA卡。主流的操作系统AIX\Solaris\Linux\Windows都支持这种千兆网卡加软件的iSCSI Initiator的实现方式。对于那些对于CPU负荷比较重的服务器，也能够安装经过的HBA卡的方式连接到系统，将部分存储运算交给HBA卡完成，从而减轻主机CPU的负荷。

中科院某中心将会采购多种服务器邮件等应用，MS3000能够利用多种集群软件实现双机热备。例如IBM集群软件HACMP，ROSE等，保证Oracle数据库等系统的高可用性。MS3000还能够经过多路径软件为应用主机提供多链路负载均衡和故障切换功能。为了实现多链路冗余，数据库服务器需要在原有2块网口的基础上，增加新的网卡，或者增加iSCSI的HBA卡。

日后如果需要扩展应用服务器的存储，能够随时安装操作系统所对应的iSCSI Initiator，配合以太网卡连接到存储系

统。MS3000经过划分不同的卷，以保证各个应用系统互不干扰.为了保护存储设备上的各种文件资料的安全，并提供高可靠的数据保护，不采用传统的数据备份手段（磁带），而是采用持续数据保护（CDP）。把MS3000上的文件数据按照一定的策略以异步的方式复制到近线存储设备上。近线存储由一台MS3100组成，MS3100配备10块磁盘，采用RAID5机制，能够实现6TB的可用容量。考虑到近线存储设备除了要为主存储提供1：1的空间储备以外，还需要15%的额外空间用于时间点的保护（详见第6章CDP 数据保护）。

另外，为了保护应用服务器的正常运行，还在应用服务器上部署如DISKSAFE类的软件，能够应用服务器的操作系统和业务数据备份到后台的MS3100上；在应用服务器出现故障的情况下，能够快速恢复或者远程启动（需要相关硬件支持），从而实现系统级的备份和保护

宏杉科技存储简介

MacroSAN MS3000是宏杉科技推出的新一代中端存储产品，其融入了大量先进的设计理念和架构技术，面向中、小型数据中心提供安全可靠的、资源弹性部署的存储平台。

在硬件架构上，MS3000采用了包括大容量缓存扩展、PCI-E 2.0、SAS 2.0、SSD等在内的先进技术，构建高性能的存储平台。在资源管理上，MS3000采用基于Cell的虚拟化技术，经过

创新的ICMT管理机制，实现资源的弹性部署。在可靠性上，

MS3000除了采用双控全冗余模块化设计、提供丰富的数据保护特性外，还经过创新的CRAID技术和IDDC磁盘诊断安全机制，将磁盘故障导致的宕机时间和机率减少80%。另外，MS3000基于开放式数据存储平台（ODSP），能够经过接口开放、规格功能定制、行业特性开发移植等方式，将存储系统真正与用户业务系统无缝融合。

产品特点

（一）高性能体系架构

在架构设计上，MS3000采用了大量业界先进的技术，包括大容量缓存扩展、PCI-E 2.0、SAS 2.0、SSD等，构建

高性能的存储平台。

（1）高带宽总线技术

PCI-E 2.0技术：在每个控制器的内部，MS3000采用了16个PCI-E 2.0通道。单个PCI-E2.0通道的带宽为5.0Gb/s，16个PCI-E2.0通道的总带宽达到80Gbps。MS3000采用多条PCI-E 2.0总线连接前端主机通道、后端磁盘通道及缓存镜像通道，保障整个系统端到端的性能匹配。

SAS 2.0技术：SAS技术近几年在带宽、稳定性、兼容性、效率等方面都超越了FC技术，已经成为存储阵列的主流架构。而SAS 2.0技术的成熟商用，使得SAS的领先优势更为明显。在SAS 2.0标准中，单个SAS通道的带宽达到6Gbps，四路宽端口的带宽达到24Gbps。MS3000采用SAS 2.0技术构建后端磁盘架构，每个控制器采用2个四路SAS宽端口，总带宽达到96Gbps。

（2）大容量智能缓存管理

缓存调度是存储阵列的核心机制，也是影响存储控制器性能的最主要因素之一。由于技术上的限制，传统存储阵列的缓存容量小，扩展困难，而且调优管理非常复杂。在云计算环境下，存储的并发I/O访问量快速增长，数据存取热点变动频繁，对存储

缓存的容量要求也急剧增长。与此同时，大容量缓存对于存储的缓存管理也提出了更高的要求。

MS3000在支持最大32GB容量缓存的同时，采用业界领先的智能缓存管理机制，大大提升了缓存的效率。

容量按需配置：缓存大小是决定存储阵列档次的重要标准，经过增加缓存能够显著的提升存储性能。在缓存大小上，MS3000支持8-32GB的灵活配置，用户可根据实际的应用需求来选择。相对于采用更高的产品型号来增加性能的传统方式，这种经过扩展缓存来提高性能的方式，具有更高的性价比。

全局智能调度：MS3000采用智能缓存调度机制，对全局性缓存进行管理。不但单个控制器内的读、写缓存可根据实际情况动态调整,而且两个控制器的缓存也无需对称分配，以充分发挥控制器的性能。在具体调度策略上，读、写缓存被划分为预留、共享、突发三大区块，以满足LUN的实时变化的性能需求。在这种机制下，LUN在大压力下获得大缓存空间，在小压力下获得小缓存空间，既保证单个LUN不存在性能瓶颈，也使得整个系统的缓存使用非常高效。

数据安全可靠：在缓存数据的安全性上，不但采用了缓存镜像机制，而且具备掉电保护功能。在外部电源故障的情况下，写缓存里的数据能够被下刷保存到存储阵列的前四块磁盘（保留磁盘）里。当供电恢复后，能够从保留磁盘中将数据恢复回来。

（3）高性能SAS/SSD磁盘

SAS磁盘技术：SAS磁盘是磁盘领域的一次技术变革。SAS磁盘在继承SCSI磁盘稳定、可靠性等优点的基础上，还具备大量新的特性，比如6.0Gb接口速率、双冗余接口、全双工模式、兼容SATA磁盘等。由于这些优势，SAS磁盘已经成为了主流的磁盘技术，而且将服务器、存储阵列两个不同领域的磁盘进行了统一。如今的SAS磁盘不但同时支持15000/10000/7200转三种速率，而且还支持2.5/3.5二种尺寸，给用户带来了更多的选择。

高性能SSD磁盘：SSD磁盘的高性能已经获得了业界的一致认可，MS3000将这一领先的磁盘技术融入高性能体系架构之中，大幅提升磁盘的IO响应能力。另外，经过自动分层存储和自动数据迁移机制，能够将数据热点与SSD磁盘进行完美的融合，使存储阵列只需要配置少量的SSD磁盘，却能获得整体性能的大幅提升。

（二）基于Cell的智能资源管理

Cell，形象称之为“细胞”，指带“活性”的数据单元，是MS3000进行存储资源管理的基本单位。MS3000采用Cell机制从数据块底层改变了传统的卷（LUN）管理机制，并在此基础上构建了完全的存储虚拟化架构，实现了资源的精细化管理和弹性调度。

传统意义的存储逻辑资源管理是以卷（LUN）为基本的操作单元。LUN、RAID、磁盘三者是串行关系，一旦LUN分配之后，LUN所在的空间就被牢牢固化到具体的RAID类型和磁盘之上，不但性能、容量难以扩展，而且配置改动困难。任何一次资源配置的改动都是“伤筋动骨”，最严重的情况是整个应用需要重做。

ICMT（Intelligent Cell Management Technology，基于Cell的智能资源管理技术）是宏杉科技的一项创新技术。采用ICMT技术后，LUN所对应的不再是一整块的RAID空间，而是由多个Cell组成的一个逻辑空间。LUN不关心Cell采用的是何种的RAID方式，也无需知道Cell所在的实际位置。MS3000以Cell为核心来进行逻辑资源的管理，彻底破除LUN与RAID、Disk之间的捆绑关系，在存储阵列内部形成完全的虚拟化架构。

容量弹性配置：初始空间分配时，系统自动在Cell池中获取存储空间，无需管理员指定。此后，再经过自动精简配置技术实现空间的自动增长。比如：应用系统需要1TB的逻辑空间，存储阵列初始只为其分配500GB的物理空间，当应用的实际容量接近或达到500GB时，会按照预设策略为应用系统分配新的物理空间，比如再分配200GB，使得实际的物理空间达到700GB。经过ICMT和自动精简配置技术，应用系统只需向存储阵列提出空间需求，而不关心资源的空间限制和物理位置，由存储系统自动进行容量的弹性配置和管理。

自动分层存储：采用ICMT技术后，LUN与RAID、磁盘之间没有绑定关系。经过基于Cell的数据拷贝和迁移，能够依据数据的访问频度，实现数据在不同的磁盘介质上的自由流动，从而实现自动的分层/分级存储。比如对于热点的数据，将其放置在SSD 磁盘上；对于非热点的在线数据，将其放置在高速SAS盘上；对于归档/备份数据，将其放置在低速SAS盘上，并将其休眠。经过ICMT和自动分层存储策略，彻底解决动态数据热点的性能问题。

（三）创新的CRAID技术

传统的RAID机制是以磁盘为基本的操作单元，当磁盘内出现少量坏块后，整块磁盘会被作为问题磁盘“踢”出RAID组，然后在热备盘上对整块磁盘的数据进行重建。随着磁盘容量的急剧增大，这种粗颗粒度的RAID机制遇到了巨大的挑战，不但数据重建过程漫长，而且会消耗大量的系统资源。例如，1块2TB的SATA磁盘的RAID5重建时间，在无流量压力的情况下需要20个小时，在有流量压力下需要数天甚至超过一个星期的时间。

CRAID（基于Cell的RAID技术）是宏杉科技在RAID机制上的一项创新技术。在CRAID环境中，建立传统的RAID组之后，系统会再将RAID空间划分成一个个的小数据块，称之为Cell，然后以Cell为单元进行资源的管理。比如当磁盘内出现部分数据坏块时，其影响的只是坏数据块所在的Cell，系统只会针对这个Cell进行数据重建，而磁盘的其它数据部分不会受到影响。

CRAID经过Cell来实现对磁盘的精细化管理，不但提高了对硬盘故障的容忍度，而且将数据重建的效率提高了数倍，具体包括：同一RAID组允许多块磁盘出现介质故障：在RAID组内，只要同一Cell内的两个数据块不同时出现故障，RAID组允许多块磁盘发生介质损坏，而数据不会丢失；

只重建数据Cell：如果磁盘出现严重故障（比如物理故障）需要数据重建时，CRAID只对已有数据的Cell进行重建，空闲Cell不重建。

局部重建：如果磁盘发生暂时性故障（比如被拔出后快速插回），CRAID只重建数据发生变化的Cell，不对整个硬盘进行重建。

快速重建：如果硬盘发生不完全损坏(存在部分介质错误)，CRAID只对发生介质错误的Cell进行校验重建，其它数据经过拷贝的方式重建。

（四）完善的磁盘安全策略

传统意义的存储安全，主要关注系统冗余性、数据保护二个方面，对磁盘安全的关注度不高。可是，据统计，存储系统的硬件故障90%以上都是由磁盘故障引发的。能够说，磁盘的安全才是存储安全的根本。

在磁盘安全方面，MS3000建立了一整套完善的机制，经过主动式磁盘诊断中心（IDDC），在磁盘检测、故障修复、故障处理

三个环节实现了对磁盘故障的主动预防、快速修复和减少误判，以达到将硬盘故障导致的宕机时间减少80%的目标。

主动式磁盘检测：传统的磁盘故障处理是一种事后模式，即在发生故障后进行修复。MS3000的磁盘诊断机制是一种故障前的主动检测。在系统正常运行过程中，磁盘检测模块会周期性的检测数据盘的RAID校验信息和对空白盘、热备盘进行全盘扫描，从而能够比应用系统更早感知到磁盘故障，并提前启动对应的修复措施。

快速故障修复：在检测到磁盘故障后，MS3000支持多种数据修复策略。对于磁盘的假性故障，能够经过自动的磁盘上/下电等操作进行修复；对于磁盘的少量坏块，能够采用磁盘的Remap和RAID/CRAID机制进行坏块替换；对于磁盘的大量坏块，能够经过CRAID技术进行快速重建。

磁盘故障确诊：磁盘的故障误判，在存储系统中是一种常见的现象。为了减少对磁盘故障的误判，对于发生初次检测发生故障的磁盘，会在磁盘检测中心再次进行磁盘检测和修复，将磁盘故障的误判减到最低。

（五）双控全冗余高可靠设计

在硬件架构上，MS3000采用双控全冗余模块化设计，不但实现了数据通道的端到端冗余，而且主要模块均支持即插即用和快速更换。

双冗余架构：数据从服务器写入磁盘，会经过主机通道、控制器、缓存、磁盘通道、磁盘柜、磁盘等组件。在这整个数据的通道上，MS3000采用了完全冗余的架构，保障系统的可靠性。MS3000采用双控制器设计，当单个控制器发生故障时，能够自动实现业务切换；MS3000采用缓存镜像机制，写缓存被一式两份保存，而且能在掉电后，将缓存数据下刷到保留磁盘；MS3000支持ALUA多路径机制，能够实现主机路径的故障切换；MS3000的双SAS链路设计，为每个SAS磁盘柜提供两个冗余的外接端口，当其中一条链路发生故障时，自动进行路径切换；MS3000采用双接口SAS磁盘，提供两条数据通路，实现磁盘链路的冗余互备。

双活控制器：MS3000的双控制器不但仅支持故障冗余，而且支持负载均衡。MS3000的双控制器平时都处于活动状态，承载独立的业务，当某个控制器的性能出现瓶颈时，控制器之间能够自动进行调整，将部分业务迁移到另一个控制器上，从而实现自动的负载均衡。

模块化设计：MS3000控制器的机箱、控制器、电源、风扇、电池、主机接口卡等主要组件采用模块化设计，支持单独组件的热插拔和在线更换。当个别组件发生故障时，能够实现快速的故障隔离和组件更换，避免对整个系统造成大的影响。

多类型主机接口卡：MS3000每个控制器配置2/4个主机接口卡插槽，可根据需要灵活选择1Gb/s iSCSI、8Gb/s FC、10Gb/s

iSCSI、10Gb/s FCoE四种类型的接口卡。经过主机接口卡的灵活选择，可轻松搭建IP SAN、FC SAN、混合SAN等存储环境。

实施规划

以上建议方案能够按照中科院某中心的规划分步实施的：

1、建立集中存储系统

此阶段重在实现存储架构的搭建，而不在于将所需的存储容量一次扩展到位。例如，能够首先实现部分服务器的接入，实现2TB的存储空间，采用1台MS3100提供6TB的存储空间，满足科研人员的数据存储需求。然后经过系统一段时间的运行，了解掌握SAN存储架构的运行特点和操控方法。按照业务的发展，随时能够扩展存储容量，增加接入的服务器台数，最终建立完整的分散应用，集中存储的体系架构。为应对数据量的爆炸式增长做好准备。

2、建立连续数据保护系统

随着存储架构的完善，由于硬件故障导致数据丢失的概率已经降低到能够接受的程度。MS3000的可靠性高达99.999%。这时，逻辑错误、人为的误删除、病毒等“软灾难”就成为数据安全的最大威胁。为了有效的应对“软灾难”为数据安全带来的不利影响，必须着眼于数据多版本保存、系统的快速恢复的角度来建设数据保护系统。此时，传统的磁带备份在系统恢复时间上、

备份间隔上就不能很好的满足系统的需求，必须采用先进的技术，建立基于备份+容灾的持续数据保护

3、建立对应用服务器的保护

同样，为了保护系统的安全，对于那些应用服务器，提供一种经济，简便的数据系统保护办法。