海量存储系统设计

合集下载

基于SD卡的BMS海量历史数据存储系统设计

基于SD卡的BMS海量历史数据存储系统设计
吴建 建 ,齐铂 金 ,李巧平
( . 京 航 空 航 天 大学 机 械 工 程及 自动 化 学 院 ,北 京 1 0 9 ; 1北 0 11 2 常 州轨 道 车 辆 牵 引传 动 工程 技 术 研 究 中心 江 苏 常 州 2 3 1 ) . 1 0 1
摘 要 :动 力 电 池 是 电 动 汽 车 的核 心部 件 之 一 。 为 了 获取 动 力 电 池 随 车 工 作 时 的 状 态数 据 , 而 为优 化 控 制 参 数提 供 从
s se h sg o e l i a a i t a d h g ei bl y y t m a o d ra — me c p b l y n i h r l i t . t i a i Ke r s at r n g me t y tm ;S a d;F 3 y wo d :b t y ma a e n s e s e Dc r AT 2;h e ac ia r e d l i r r hc l i rmo e d v
容的F 3 AT 2文件 格 式 存 储 实验 表 明 . 系统 实 时性 好 , 靠性 高 该 可 关 键 词 :电 池 管理 系统 ;S D卡 ;F 3 AT 2;数 据 存 储 中 图分 类 号 :T 2 P3 文 献 标 识 码 :A 文 章 编 号 :1 7 6 3 ( 0l ) 1 0 4 — 4 6 4— 2 6 2 10 — 1 5 0
C ia:2 h n z o i a rp linEn ie rR&D e tr h n z o 0 ,C i 1 hn .C a g h uRal rP o uso gn e c c ne ,C a gh u21 1 3 1 hr ) u
A bsr c :P t a t owe te so fke nsi l crca ehc e I r rt b an t e o — i t t aa o we mte nd rbatr i neo ypa n e e ti lv il . n o de o o t i h n st sausd t fpo rt t r a y e y p o i e ee e fro tmii g t o r lpa a tr r vde ar fr nc o p i zn hec nto r me es,t spae e ine G— a ct hi trd sg d a 2 c pa i BM S o st t tr g y t m y n—iedaa so a e s se wih SD mo y c r tc mm u i ae t t me r a d.I o n c td wih SD ad n hih s e d S nd us d hir r hia iv rm o e fSD a d. l c r i g p e PIa e e a c c ldr e d lo c r Ti e

海量数据的高效存储与处理方法总结

海量数据的高效存储与处理方法总结

海量数据的高效存储与处理方法总结随着科技的快速发展和互联网的普及,我们生活中产生的数据量呈现出爆炸性增长的趋势。

这些海量数据对于企业、科研机构以及个人来说,都是一种宝贵的财富。

然而,如何高效地存储和处理这些海量数据成为了亟待解决的难题。

本文将总结一些海量数据的高效存储与处理方法,希望能为读者提供有价值的参考和指导。

一、高效存储方法1. 分布式文件系统(DFS)分布式文件系统是针对海量数据存储问题提出的一种解决方案。

它将海量数据切分成多个小文件,并存储在不同的物理设备上。

通过这种方式,可以充分利用多台机器的存储能力,提高整体的存储效率。

分布式文件系统具有高可用性、高可靠性和高性能的特点,常用的分布式文件系统包括Hadoop Distributed File System (HDFS)和Google File System(GFS)等。

2. NoSQL数据库NoSQL数据库是非关系型数据库的一种,相对传统的关系型数据库具有更好的可扩展性和高性能。

它们适用于存储和处理海量数据,能够实现数据的快速读写和高并发访问。

常见的NoSQL数据库包括MongoDB、Cassandra和Redis等,它们采用键值对、文档存储或列族存储等方式,提供了灵活的数据模型和丰富的查询功能。

3. 数据压缩技术海量数据的存储离不开对数据进行压缩的技术支持。

数据压缩可以减少存储空间的占用,提高存储效率。

目前,常用的数据压缩算法包括Lempel-Ziv-Welch(LZW)算法、Gzip和Snappy等。

这些算法具有压缩率高、压缩速度快的优点,可以实现对海量数据的高效存储。

二、高效处理方法1. 并行计算并行计算是一种常用的处理海量数据的方法。

它通过将任务分解成多个子任务,并分配给不同的处理器或计算节点进行并行计算,从而加快数据处理的速度。

常见的并行计算框架包括MapReduce、Spark和MPI等。

它们能够将数据分布式地处理在各个计算节点上,充分利用计算资源,提高数据处理的效率。

海量并发下高可用库存中心的设计与实现

海量并发下高可用库存中心的设计与实现

海量并发下高可用库存中心的设计与实现在海量并发下实现高可用的库存中心的设计至关重要,这可以确保系统能够稳定地处理大量的库存操作请求,并保证数据的准确性和一致性。

下面是一个可能的设计与实现方案:一、基础架构设计:1.库存中心采用分布式架构,包括多个库存节点,每个节点负责一部分库存数据的管理和处理。

2.使用主从复制的方式保证库存数据的可靠性和高可用性,每个节点都可以接收读操作请求,而写操作只能由主节点处理。

3.引入负载均衡的机制,将请求均匀地分发到各个库存节点,提高系统的吞吐量和并发处理能力。

二、一致性设计:1.引入分布式事务处理机制,确保库存操作的一致性。

通过如分布式锁、分布式事务协调器等技术来实现。

2.库存中心记录每次操作的流水日志,并定期对所有库存节点的数据进行校验和同步,以保证数据的准确性和一致性。

三、高可用性设计:1.使用可插拔式组件,将库存中心与外部系统解耦,以避免单点故障的问题。

2.设置监控系统和告警机制,及时发现和修复系统的故障,提高系统的可用性。

3.使用集群和冗余机制,确保系统在节点故障时仍能正常运行,同时要有自动重启和故障转移的机制。

四、性能优化设计:1.使用内存缓存技术,将热点数据保存在内存中,提高读写操作的性能。

2.利用异步处理和批处理机制,将一些耗时的操作异步化,并以批量方式执行,提高系统的吞吐量和并发能力。

3.优化数据库设计和索引,减少库存查询和更新的耗时,提高数据库的读写性能。

五、故障恢复设计:1.定期备份库存数据,以便在系统故障时能够及时恢复。

2.设计有效的灾难恢复机制,确保在灾难性事件发生时,能够快速将系统恢复到正常运行状态。

六、安全性设计:1.引入身份认证和权限控制机制,保护库存中心免受未经授权的访问和操作。

2.使用加密技术,保护库存数据在传输和存储过程中的安全性。

3.建立日志系统,记录所有的操作记录,以便进行安全审计和追踪。

总结:以上是一个可能的海量并发下高可用库存中心设计与实现的方案。

基于海量地理信息的网络存储系统设计与实现

基于海量地理信息的网络存储系统设计与实现
安全 。
2 网络存储 的特点
网络存储 就 是 通 过 网 络 存 储 设 备 , 用 户 提 供 网络 为
3 2 设 计 目标 .
①跨平 台的数据共享 ; ②高可靠性 ; ③高性能 ; 可 ④
扩 展性 ; 管 理便捷 。 ⑤
信息系统的信息存取和共享服务。其 主要 特征体 现在: 超大存储容量, 大数据传输率以及高系统可用性。
地 理信息 系统 的发 展对 数 据存 储 和数 据 管理 提 出 _ r 更 高 的要 求 , 为满 足 日益 增 长的 网络应 用 和用 户需 求 , 需 要解决 如下 问题 :

1 地 理 信 息 的数 据 特 点
1 1 空间数据 的特点 .
地 理信息 系统 中的 空间数据 通 常具有 以下特 点 : 1 空间信息与属性信息的集成 ) 空 间数据 具有 数据 量 大 、 构复 杂 等特 点 , 仅 有 大 结 不 量 的 空间 数据 , 即描 述地 理 要素 空 间分 布位 置 的数据 , 还 有地理 要素 的属 性 数据 ( 与一 般 数 据 库 中 的数 据 性 质 相
和服 务器 的专 用 光 纤 通 道 网络 , 将 服 务 器 和存 储 连 接 它 在 一个安 全 、 活 、 扩 展 的 体 系 结 构 中, 够 提 供 这 些 灵 可 能
3 空间数据通过 网络共 享来提供 给各个 工作站使 ) 用, 考虑 到 为各 个服 务 器 和工作 站 提供 独立 的空 间使 用 ,
De i n a d I p e e t to f Ne wo k S o a e S se sg n m l m n a i n o t r t r g y t m b s d o a sv o r p i n o m a i n a e n M s i e Ge g a h c I f r t o

海纳百川——人人网海量存储系统Nuclear开发手记

海纳百川——人人网海量存储系统Nuclear开发手记
缺 点 : 没 有 复 杂 的查 询 过 滤 器 ; 所 有 的 联合 查 询 须在 代 码 实现 ;没 有 外 键 的结 构 ; 没 有 触发 器 和 视 图 。 Nu la 系 统 的 一 大 特 点 是 , 我 ce r 们 改 进 了 普 通 的 K yV le e . au 系统 在 存 储 模 式 上 的 固定 形 态 , 设 计 为 上 层 的 存 储协议 和底层 的存 储引擎 完全分 离 , 以便 在 不 同 的 应 用 场 景 选 择 更 合 适 的
唯 一 的 : 不 要 把 鸡 蛋 都 放 在 一 个 篮 子 里 。 但 如 果 一 份 数 据 在 多 个 节 点 上 有 备 份 的 话 , 那 这 份 数 据 的 一 致 性 也 是

理论 上我 们可 以做 到N个节点中只要有

和 方 便 分 布 到 集 群 ,最 后 形 成 了 可 靠
巨 大 , 同 时 对 稳 定 性 要 求 非 常 高 ,如 果 出 现 宕 机 , 将 影 响 到 大 量 的业 务 线 。 于是 ,我 们 开 始 了 对 此类 系统 的探 索 。
R一读数据的最小节点数 ;
W 一写 成 功 的最 小 分 区数 。 这 三 个 数 是 用 来 灵 活 调 整
切 都 是 摸 着 石 头 过 河 , 我 们 设 计 了 好
几 期 的 雏 形 , 又 因 为 业 务 模 型 的 需 要
两 种 方 案 的 比较 选 择
任 意 一 个 分 布 式 的 存 储 系 统 , 都 会 遇 到 一 个 棘 手 的 问题 ,那 就 是 当 一
性 ,因为在可供复制的N 个节点里 ,只
D n mo y a 系统的可用性与复制数据一致
性的。 举 例 来 说 , 如 果 R 1 话 , 表 示 = 的

海量图片的存储方案

海量图片的存储方案

海量图片的存储方案介绍在当今数字化时代,海量图片数据的存储成为了一个非常重要的问题。

无论是个人用户还是企业机构,在处理海量图片数据时都需要一个高效且可靠的存储方案。

本文将介绍几种常见的海量图片的存储方案,并对其进行比较和评估。

单机存储方案单机存储是最简单的存储方案之一。

它基于一台单独的计算机,通过硬盘进行数据存储。

单机存储方案的优点是成本低,易于维护和操作。

然而,由于硬盘容量有限,单机存储方案无法满足海量图片数据的存储需求。

分布式存储方案为了解决单机存储方案的容量限制问题,分布式存储方案应运而生。

它将图片数据分散存储在多台计算机上,通过网络进行协同工作。

分布式存储方案的优点是可以通过增加机器数量来扩展存储容量,能够处理大规模的海量图片数据。

然而,分布式存储方案也存在着一些挑战,例如数据冗余、数据一致性和网络通信性能等问题。

基于Hadoop的存储方案Hadoop是一个开源的分布式存储和计算框架,被广泛用于处理大规模数据。

在海量图片存储方案中,Hadoop可以作为底层存储系统。

Hadoop分布式文件系统(HDFS)提供了高容量、高可靠性和高性能的存储。

可以使用Hadoop的MapReduce功能进行数据处理和分析。

基于Ceph的存储方案Ceph是一个可扩展的分布式存储系统,可用于构建高性能和高可靠性的存储解决方案。

Ceph采用对象存储模型,将图片数据存储为对象,并在多个节点之间进行复制和分布。

Ceph具有自动数据修复、故障转移和均衡负载等功能,可以有效地处理海量图片数据。

云存储方案随着云计算技术的发展,云存储方案越来越受欢迎。

云存储将图片数据存储在云服务提供商的服务器上,用户可以通过网络访问和管理数据。

云存储的优点包括可扩展性、弹性和高可用性。

用户可以根据自己的需求灵活地调整存储容量,并获得高可靠性的数据存储和备份。

基于Amazon S3的存储方案Amazon Simple Storage Service(S3)是一种高度可扩展的云对象存储服务,适用于存储和检索海量图片数据。

海量数据存储方案

海量数据存储方案
第2篇
海量数据存储方案
一、引言
在信息技术迅猛发展的当下,组织面临的海量数据存储与管理挑战日益严峻。为确保数据的高效存储、安全可靠及合规性,本方案提出了一套细致、专业的海量数据存储方案,旨在支持组织在数据海洋中稳健航行。
二、需求分析
1.存储容量
综合组织业务发展预测,未来三年内数据存储需求将急剧增长至PB级别。
(4)权限管理:实施严格的权限控制,确保数据仅被授权人员访问。
3.数据备份
采用多副本备份策略,将数据备份至不同地理位置的存储节点,提高数据容错性。
4.性能优化
(1)负载均衡:通过负载均衡技术,合理分配存储节点资源,提高数据访问效率。
(2)缓存机制:引入缓存技术,提高热点数据的访问速度。
(3)数据压缩:对存储的数据进行压缩,减少存储空间占用。
(1)备份频率
根据数据重要性和更新频率,设定不同的备份策略和频率。
(2)备份验证
定期进行备份恢复演练,验证备份数据的完整性和可用性。
4.性能优化措施
(1)缓存机制
引入分布式缓存系统,提高热数据的访问速度。
(2)负载均衡
(3)数据压缩
采用数据压缩技术,降低存储空间需求,提高传输效率。
5.管理与维护
提供图形化用户界面,实现数据的可视化管理,简化操作流程。
三、方案设计
1.存储架构设计
采用基于云计算的分布式存储架构,实现数据的弹性扩展和高效访问。
(1)存储节点
部署多个存储节点,形成分布式集群,提高数据存储的冗余性和可靠性。
(2)数据分区
对数据进行合理分区,优化查询效率,降低单节点负载。
2.数据安全策略
(1)物理安全
部署在符合国家标准的Tier 3以上级别数据中心,确保物理环境安全。

海量图片存储方案

海量图片存储方案

海量图片存储方案随着互联网技术的不断发展,图片作为一种重要的信息载体,已经成为人们生活和工作中不可或缺的一部分。

然而,如何高效地存储和管理海量的图片数据成为了一个迫切的问题。

本文将介绍一种可行的海量图片存储方案,以满足大规模图片数据的存储需求。

一、需求分析在提出具体的存储方案之前,我们首先需要对海量图片的存储需求进行分析。

海量图片的存储需求通常具有以下几个特点:1. 存储容量大:海量图片数据通常以TB或PB为单位进行计量,存储容量要求较高。

2. 访问频率低:大部分图片数据在上传之后,其访问频率会显著降低,但是需要保证数据的长期存储和可访问性。

3. 数据安全性:图片数据可能涉及用户隐私、商业机密等重要信息,因此在存储过程中需要确保数据的安全性和隐私保护。

4. 存储效率高:存储海量图片数据时,需要考虑数据的快速存储和高效检索,以满足用户对图片数据的快速访问需求。

二、存储方案基于以上需求分析,我们可以采用以下存储方案来应对海量图片的存储挑战:1. 分布式存储系统:采用分布式存储系统可以提高存储容量和数据并发性能。

通过搭建分布式存储系统,可以将海量图片数据分散存储在多个节点上,形成一个统一的存储集群。

这样既可以提高数据的可靠性和可用性,又可以根据实际需求扩展存储容量。

2. 冷热数据分离:对于访问频率低的图片数据,可以将其归类为冷数据,并采用低成本的存储介质进行存储,如磁带库或冷存储设备。

而对于访问频率高的图片数据,则可以归类为热数据,并采用高性能的存储介质进行存储,如分布式文件系统或高速硬盘阵列。

3. 数据压缩与去重:针对海量图片数据的存储容量问题,可以采用数据压缩和去重技术来减少存储空间的占用。

通过对图片数据进行压缩和去重,可以有效降低存储成本,并提升存储系统的性能。

4. 数据备份与容灾:为了保证海量图片数据的安全性和可靠性,需要进行数据备份和容灾策略的规划。

通过建立数据备份和容灾机制,可以避免数据丢失和不可恢复的风险,确保数据的完整性和可持续性。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

第十二章海量存储系统设计以传统的方式存储和管理日益增长的数据,意味着你需要不断地增加磁盘,投入更多的人力与物力,导致成本上升。

以优秀的分级存储软件和自动磁带库系统,即可以轻松实现海量数据存储。

12.1 海量数据存储系统架构方案考虑到海量存储系统是IT 构架的核心模块,这里存储网络架构采用双Fabric 网络结构,这种结构一方面带来了高可用性,另一方面提供了更多的数据通信带宽。

下面是海量存储系统的双Fabric 网络结构图:图12-1 双光纤通道结构其中网络核心采用director 级别的核心光纤通道交换机1 台(端口数>=128),通过在其内部划分虚拟SAN 分别构成两个独立的fabric;为保证高可靠性和提高系统的运行速度,存储工程师在各服务器群的每台主机上都通过两个HBA 连接到不同的Fabric 网络中,而且存储设备(磁盘阵列和磁带库)也是同时接入两个fabric,这样构成了一个无单点故障的网络系统。

双Fabric 存储网络设计要点和优势:∙主机和存储设备的冗余连接,整体提高系统的可靠性∙主机和存储设备的双路连接,工作在Active-Active 模式,整体提高系统的性能∙双网络结构设计,提高网络的可靠性,避免由于意外系统故障造成网络中断∙双网络结构设计,核心-边缘体系架构,方便未来网络的扩充∙交换机具有很强的向下兼容性,即可兼容1G 的交换机,又可兼容1G 的存储设备,如磁带库等设备都可直接连接到交换机中,提高设备的利用率∙可做LAN-Free 备份,减少备份对网络带宽的占用,整体提高数据备份和恢复的速度∙有利于系统的在线维护和扩展,而不影响系统的正常运行∙采用硬件实现的网络安全性管理,保证数据的安全性与外部存储网络的互联方案外部存储网络的接入是为了更好的提供基于数据复制(异步或同步)的容灾服务。

本着为客户各部门不同容灾需求服务的原则,这里存储工程师设计了采用三种形式的存储网络外部互联方案,即:FCIP 接入方案DWDM 接入方案SDH 接入方案在100Km 以内的连接上这三种接入方案的特点如下:表12-1 外部网络存储通道比较无论是内网还是外网及互联网存储网络,这里在外部接入采用同样的技术和拓扑结构,只是由于内网的数据量较少,采用端口数少的SAN 路由器,SAN 路由器的数量也应当适当减少。

具体拓扑结构如下图所示:图12-2 SAN 及扩展IP 网络连接注:为了清晰明了的原则,这里将服务器和局域网的连接省略。

如图12-2,FCIP 接入方案将SAN 路由器接入核心交换机,从链路冗余的角度出发,SAN 路由器分别接到不同fabric 中,同时SAN 路由器会接到局域网的千兆交换机上;这样就可以通过SAN 路由器的FCIP 功能将FC 协议转换为IP 协议,通过IP 网络与远端的某部门计算中心的SAN 路由器互联,在通过该路由器的协议转换将FC 协议传输到该部门的SAN 网络中,从而将容灾中心和该部门的存储网络互联,使得两个存储网络中的设备可以实现基于FC 的高速数据通信。

如图,DWDM 接入方案将SAN 路由器接入核心交换机,从链路冗余的角度出发,SAN 路由器分别接到不同fabric 中,同时SAN 路由器会接到DWDM 设备上;这样就可以通过DWDM 设备的波分复用功能将多条FC 通信,通过裸光纤传输到远端的某部门计算中心的DWDM 设备,通过它的解复用功能,再通过SAN 路由器将容灾中心和该部门的存储网络互联起来,使得两个存储网络中的设备可以实现基于FC 的高速数据通信。

如图,SDH 接入方案与DWDM 方案类似,将SAN 路由器接入核心交换机,从链路冗余的角度出发,SAN 路由器分别接到不同fabric 中,同时SAN 路由器会接到SDH 设备上;这样就可以利用FC over SDH 技术,通过SDH 网络将数据传输到远端的某部门计算中心的SDH 设备,进而再通过SAN 路由器将容灾中心和该部门的存储网络互联起来,使得两个存储网络中的设备可以实现基于FC 的高速数据通信。

这里之所以采用SAN 路由器,主要是在不同的fabric 间提供路由服务功能。

路由服务功能正是可以将不同的Fabric 网络逻辑地连接在一起,在不同的Fabric 网络上共享存储资源,这一功能可以充分利用分离Fabric 的种种好处,提供误隔离和方便管理的能力。

路由服务可以隔离SCN 和RSCN 等功能。

如在一个Fabric 中产生的RSCN,可以通过路由服务隔离,不会传到另外一个网络中,可以避免由于RSCN 造成的Fabric Reconfiguration;另外,也可以隔离由于设备原因,造成主机之间的相互影响,提高系统的运行效率。

对于远程连接网络,这一点尤其重要。

方案中将不同应用的数据备份到容灾中心的磁带库之中,而又不影响两个系统的相对独立,所以采用SAN 路由器将不同的Fabric 网络互连。

连接到SAN 路由器的Fabric 被称为边缘Fabric,由于SAN 路由器可以有效隔离不同Fabric 网络之间的相互干扰,这就允许用户建立更大规模的SAN 网络,确保系统具有更为强大的扩展能力。

通过路由服务,每个边缘Fabric 都保留自己独立的Fabric 服务:名称服务器、分区数据库、路由表、域ID 空间,等等。

这就是说,假如一个Fabric 有一个域ID 1 交换机,另一个Fabric 也有一个域ID 1 交换机,但没有该多协议路由器,这些Fabric 就不会合并,除非这些冲突得到解决。

在生产环境中,解决这些冲突是一个非常耗时和危险的过程。

有了多协议路由器,这些冲突就成了无关的问题。

在SAN 路由器平台上,其他Fabric 通过路由功能与路由器相连接。

这可以防止WAN链路上的故障转化为影响整个容灾中心SAN 或某部门计算中心SAN 的事故。

这个优点很重要,因为一般的远距离连接链路(裸光纤/DWDM/SDH/IP)的都有一定的不稳定性。

一条不稳定的远程连接链路可能会干扰数据中心的SAN 应用,但是路由器可以将这些干扰与数据中心的Fabric 隔离开。

12.1.1 磁盘阵列存储设施海量存储的核心对象是数据,因此数据的存储设备是海量存储系统的核心设备。

如前所述,采用SAN 网络,可以将海量存储系统存储的数据实现集中存储,实现集中存储的存储设备形成存储池。

本处描述海量存储系统基于磁盘的存储实现。

根据对该海量存储系统的需的分析,以及根据“按需扩展”的原则,这里初步设定海量存储系统的存储池容量50T。

该容量可以基本满足未来一段时间内的需要,随着容灾业务的发展,更多的容量可以通过扩展更多的存储磁盘阵列来实现。

根据海量存储系统服务用户数量众多,数据访问IO 频繁的特点,选择的磁盘阵列应该具有如下特点:1.应该选择性能较好的光纤磁盘阵列,保证良好的读写性能和可靠性。

2.磁盘容量应该尽可能的大。

考虑到主流磁盘阵列的容量、经济型、以及磁盘阵列的集中管理的便利性,尽可能采用大容量配置的磁盘阵列机柜。

目前建议采用磁盘阵列的最大容量大约为30T 的产品。

3.磁盘阵列应该附带有强大的磁盘管理软件,实现磁盘阵列的分区、访问控制、容量扩展等功能。

4.存储设备支持广泛的服务器平台。

光纤磁盘阵列应该支持目前所有流行的主流UNIX 和NT/2000、Linux 操作系统和服务器,并且应该允许尽可能夺得服务器同时连接到光纤磁盘阵列上。

5.海量的扩展能力。

可以仅仅通过增加磁盘,就达实现容量的扩展。

应该支持不同容量的磁盘混合共存在同一盘阵内,为用户今后容量的扩展打下基础。

在实际应用时,应该留出富裕的盘柜位置,以便在同一盘柜中较方便地实现扩展6.具备强大的数据复制功能。

光纤磁盘阵列应该支持快速磁盘拷贝、远程容灾等先进功能,为将来功能的进一步扩展打下基础。

7.磁盘阵列支持支持多种RAID 处理,和保留Hot Spare 硬盘的功能。

关于磁盘存储池的设计实现,以下是一些考虑:1.为了实现海量存储系统内网应用容灾的安全性,海量存储系统内网的数据存储设备将和其他数据存储设备分开。

根据内网数据的大小,可以选择容量小一些的磁盘阵列,或者减少磁盘阵列柜的数量,但存储设施的架构基本相同。

2.为了便于管理,建议先期采用同一厂家和型号的产品。

3.建议先不考虑对存储池做虚拟存储管理。

因为虚拟存储会影响数据存储的性能,其优势在于管理众多异构的存储盘柜。

可以在将来容量快速增长之后,考虑虚拟存储管理技术的应用。

4.为了便于充分使用,每个磁盘阵列需要分成不同的卷。

为了实现不同数据的安全,可以将不同的卷加入到不同的SAN 网络的“分区”中,实现数据卷的逻辑隔离。

5.考虑到中心需要管理的数据卷较多,可能需要对用户卷信息进行管理,如果磁盘阵列附带软件没有设这一功能,可以通过磁盘阵列管理软件提供的API 进行开发。

以上磁盘存储池的设计,没有考虑为特殊用户提供的磁盘阵列数据镜像(该方案在后面的章节描述)服务存储能力。

该阵列中的数据,主要是通过远程备份、数据文件复制、数据库复制等服务软件,为用户保存的数据。

有些部门已经具备某些某种型号的磁盘阵列,如果实现磁盘阵列级的数据复制和容灾,往往需要海量存储系统提供同构的磁盘阵列。

在这种情况下,本海量存储系统可能需要根据具体方案提供相对应的磁盘阵列。

对这种海量存储系统需求,事先采购大量的磁盘阵列是不经济的,也是没有必要的。

因此,对这种需求,应该在海量存储系统的场地和网络设施基础上,设计专门的方案,来实施实现。

在本方案设计中,仅仅作为一种扩展考虑,不作为当前实施实现的一部分,也不纳入预算。

根据对用户数据量的分析估算,建议海量存储系统一期购置的存储设施为:1.内网磁盘阵列。

容量为10T,包括机柜,机头,磁盘以及相应高级功能和管理软件。

2.外网磁盘阵列。

容量为30T,包括机柜,机头,磁盘以及相应高级功能和管理软件。

3.存储管理服务器,中端的PC 服务器即可。

图12 -3 海量存储系统扩展12.1.2 磁带存储设施数据备份是海量存储系统的核心业务,因此数据备份最终存储设备是海量存储系统的核心设备之一。

如前所述,采用SAN 网络,可以将海量存储系统存储的数据实现集中存储,实现集中存储的存储设备形成综合存储池。

本处描述海量存储系统基于磁带的存储实现。

根据对海量存储系统需求的分析,以及根据“按需扩展”的原则,海量存储系统的磁带库存储容量按照100 个单位,每个单位600GB 备份量,备份周期为1 周,2 周轮换磁带,至少需要200GB 磁带600 盘,考虑到冗余和其他因素,初步设计海量存储系统的磁带库存储容量为1000 盘。

该容量可以基本满足未来一段时间内备份的需要,随着容灾业务的发展,更多的容量可以通过增加扩展柜和磁带槽位,或采用更多的磁带库来实现。

相关文档
最新文档