选材-分布式存储系统介绍

合集下载

ONEStor分布式存储系统介绍

ONEStor分布式存储系统介绍

ONEStor分布式存储系统介绍关于ONEStor分布式存储系统介绍,小编已在金信润天Get到了部分资料,整理出以下内容:技术特点H3C ONEStor存储系统采用分布式设计,可以运行在通用x86服务器上,在部署该软件时,会把所有服务器的本地硬盘组织成一个虚拟存储资源池,对上层应用提供块存储功能。

H3C ONEStor分布式存储软件系统具有如下特点:领先的分布式架构H3C ONEStor存储软件的采用全分布式的架构:分布式管理集群,分布式哈希数据分布算法,分布式无状态客户端、分布式Cache等,这种架构为存储系统的可靠性、可用性、自动运维、高性能等方面提供了有力保证。

其系统架构组成如下图所示:上图中,ONEStor逻辑上可分为三部分:OSD、Monitor、Client。

在实际部署中,这些逻辑组件可灵活部署,也就是说既可以部署在相同的物理服务器上,也可以根据性能和可靠性等方面的考虑,部署在不同的硬件设备上。

下面对每一部分作一简要说明。

OSD:Object-based Storage DeviceOSD由系统部分和守护进程(OSD deamon)两部分组成。

OSD系统部分可看作安装了操作系统和文件系统的计算机,其硬件部分包括处理器、内存、硬盘以及网卡等。

守护进程即运行在内存中的程序。

在实际应用中,通常将每块硬盘(SSD或HDD)对应一个OSD,并将其视为OSD的硬盘部分,其余处理器、内存、网卡等在多个OSD之间进行复用。

ONEStor存储集群中的用户都保存在这些OSD中。

OSD deamon负责完成OSD的所有逻辑功能,包括与monitor 和其他OSD(事实上是其他OSD的deamon)通信以维护更新系统状态,与其他OSD共同完成数据的存储和维护,与client通信完成各种数据对象操作等等。

Monitor:Monitor是集群监控节点。

Monitor持有cluster map信息。

所谓Cluster Map,粗略的说就是关于集群本身的逻辑状态和存储策略的数据表示。

分布式存储——精选推荐

分布式存储——精选推荐

分布式存储⽬录分布式系统理论基础什么是分布式系统,这个概念我们很难⽤⼀个精准的描述⽅式来概括出,所有的意义来。

但⼤体上来讲,我们可以从两个层⾯来描述⼀个分布式系统的特性。

第⼀,分布式系统⼀定是,他有很多种组1、系统的各组件分布于⽹络上多个计算机2、各组件彼此之间仅仅通过消息传递来通信并协调⾏动分布式系统存在的意义:那⼀般⽽⾔,我们要使⽤分布式系统的主要原因在于,第⼀,我们系统扩展可以有两种模型。

所谓向上和向外对不对,⽽经验表明,向上扩展的这种模型,他的性价⽐越来越低。

第⼆,单机1、向上扩展的性价⽐越来越低;2、单机扩展存在性能上升临界点:3、出于稳定性及可⽤性考虑,单机会存在多⽅⾯的问题CPU,内存,IO要想理解分布式系统所能够带给我们的意义,分布式系统的⽬的,主要是扩展了单机处理能⼒的弱势,或者说瓶颈。

我们计算机主要包含五⼤部件,根据所谓的冯诺依曼架构所构成的系统,多CPU,多线程编程假设刚开始使⽤的是LAMP或者LNMP。

最简单的时候就是这么⼀种架构。

⽽且还有可能是构建在单机上。

所以我们的⽹站刚开始的时候有可能只有⼀台主机。

⼀个主机内部有⼀个所谓的ap LAMP,LNMP应⽤从资源占⽤的⾓度分两类:CPU Bound(CPU密集型应⽤)IO Bound(IO密集型应⽤)session sticky(会话粘滞,基于IP地址的session粘滞)ip basedcookie based(基于cookie的session分发)session replication(会话复制,不是⽤⼤规模集群中,所以使⽤第3种。

)session server(session集中存储)引出缓存:1、页⾯缓存varnish, squid2、数据緩存key-value(memcached)主库写操作压⼒:数据库拆分垂直拆分:把数据库中不同的业务的数据拆分到不同的数据库服务器中⽔平拆分,把⼀个单独的表中的数据拆分到多个不同的数据库服务器上NoSQL:⾮关系数据⽂档数据库列式数据库... ...SFS:⾮结构化数据TFS,MogileFS:适⽤于存储海量⼩⽂件。

数据管理与储存的分布式存储系统

数据管理与储存的分布式存储系统

数据管理与储存的分布式存储系统在当今信息技术高速发展的时代,数据管理与储存成为各行各业不可忽视的重要环节。

传统的集中式存储方式已经无法满足大规模数据存储和处理的需求,分布式存储系统因其高扩展性、高可用性等特点得到了广泛应用。

本文将探讨数据管理与储存的分布式存储系统,包括其基本原理、优势、应用场景以及相关挑战。

一、分布式存储系统的基本原理分布式存储系统采用将数据分散存储在多个节点上的方式,形成一个分布式的存储网络,其基本原理包括数据的划分和复制、数据的一致性和访问控制。

1. 数据的划分和复制在分布式存储系统中,数据被划分为多个块或对象,并通过散列算法分布到不同的存储节点上,以实现负载均衡和高并发访问。

同时,为了提高数据的可用性和容错性,通常将数据进行多份复制,存储在多个节点上。

2. 数据的一致性分布式存储系统中的数据一致性是指在写入和读取数据时,多个节点之间数据的一致性保证。

分布式系统通过一致性协议和副本机制来确保数据的一致性。

常见的一致性协议有Paxos和Raft等。

3. 访问控制由于数据存储在分布式环境中,访问控制变得更加复杂。

分布式存储系统通过访问控制策略来保证数据的安全性和隐私性,如访问控制列表(ACL)和访问令牌等。

二、分布式存储系统的优势相比于传统的集中式存储系统,分布式存储系统具有以下几个优势。

1. 高扩展性分布式存储系统可以通过增加存储节点和扩展存储容量来应对不断增长的数据量,实现无限扩展。

2. 高可用性由于数据被复制存储在多个节点上,当某个节点故障时,系统可以通过其他节点上的副本提供数据的访问和服务,提高系统的可用性和容错性。

3. 高性能分布式存储系统具备高并发读写能力,可以通过增加存储节点和负载均衡等手段来提高系统的吞吐量和响应速度。

4. 节约成本相比于单一的高性能存储设备,分布式存储系统采用普通的低成本硬件组建,降低了存储系统的建设和维护成本。

三、分布式存储系统的应用场景分布式存储系统在众多领域都有着广泛的应用。

云计算——分布式存储

云计算——分布式存储

THANKS
感谢观看
云计算——分布式存储
汇报人: 2023-12-14
目录
• 分布式存储概述 • 分布式存储技术原理 • 分布式存储系统架构 • 分布式存储应用场景 • 分布式存储性能优化策略 • 分布式存储安全问题及解决方案
01
分布式存储概述
定义与特点
定义
分布式存储是一种数据存储技术,它通过将数据分散到多个独立的节点上,以 实现数据的分布式存储和访问。
云计算平台建设
01
02
03
云存储服务
分布式存储作为云计算平 台的核心组件,提供高效 、可扩展的存储服务。
云服务集成
与其他云服务(如计算、 网络、安全等)紧密集成 ,形成完整的云计算解决 方案。
自动化运维与管理
通过自动化工具实现分布 式存储系统的运维和管理 ,提高效率。
物联网数据存储与处理
实时数据采集
现状
目前,分布式存储技术已经成为了云计算领域的重要组成部 分,各大云服务提供商都提供了基于分布式存储的云存储服 务。同时,随着技术的不断发展,分布式存储的性能和稳定 性也在不断提高。
优势与挑战
优势
分布式存储具有高性能、高可用性、安全性、容错性和可维护性等优势,它可以 提供更加高效、灵活和可靠的数据存储服务,同时还可以提供更加灵活的扩展能 力,以满足不断增长的数据存储需求。
支持物联网设备实时采集 数据,并存储在分布式存 储系统中。
数据处理与分析
对物联网数据进行处理和 分析,提取有价值的信息 。
智能决策与控制
基于物联网数据分析结果 ,实现智能决策和控制, 提高生产效率。
05
分布式存储性能优化策略
数据压缩与解压缩技术

分布式存储系统详解

分布式存储系统详解
第2页
传统SAN架构
FC/IP
孤立的存储资源:存储通过 专用网络连接到有限数量的 服务器。
存储设备通过添加硬盘框 增加容量,控制器性能成 为瓶颈。
第3页
分布式Server SAN架构
虚拟化/操作系统 InfiniBand /10GE Network
InfiniBand /10GE Network
Server 3
Disk3 P9 P10 P11 P12
P2’ P6’ P14’ P18’
Disk4 P13 P14’ P15 P16’ P7’ P11’ P19’ P23’
Disk5 P17 P18’ P19 P20’ P3’ P12’ P15’ P24’
Disk6 P21 P22 P23 P24 P4’ P8’ P16’ P20’
第10页
FusionStorage部署方式
融合部署
指的是将VBS和OSD部署在同一台服务器中。 虚拟化应用推荐采用融合部署的方式部署。
分离部署
指的是将VBS和OSD分别部署在不同的服务器中。 高性能数据库应用则推荐采用分离部署的方式。
第11页
基础概念 (1/2)
资源池:FusionStorage中一组硬盘构成的存储池。
第二层为SSD cache,SSD cache采用热点读机制,系统会统计每个读取的数据,并统计热点访问因 子,当达到阈值时,系统会自动缓存数据到SSD中,同时会将长时间未被访问的数据移出SSD。
FusionStorage预读机制,统计读数据的相关性,读取某块数据时自动将相关性高的块读出并缓存
到SSD中。
数据可靠是第一位的, FusionStorage建议3副本配 置部署。
如果两副本故障,仍可保障 数据不丢失。

大规模分布式存储系统概念及分类

大规模分布式存储系统概念及分类

大规模分布式存储系统概念及分类一、大规模分布式存储系统概念大规模分布式存储系统,是指将大量存储设备通过网络连接起来,形成一个统一的存储资源池,实现对海量数据的存储、管理和访问。

这种系统具有高可用性、高扩展性、高性能和低成本等特点,广泛应用于云计算、大数据、互联网等领域。

大规模分布式存储系统的主要特点如下:1. 数据规模大:系统可存储的数据量达到PB级别甚至更高。

2. 高并发访问:系统支持大量用户同时访问,满足高并发需求。

3. 高可用性:通过冗余存储、故障转移等技术,确保数据安全可靠。

4. 易扩展:系统可根据业务需求,动态添加或减少存储设备,实现无缝扩展。

5. 低成本:采用通用硬件,降低存储成本。

二、大规模分布式存储系统分类1. 块存储系统(1)分布式文件系统:如HDFS、Ceph等,适用于大数据存储和处理。

(2)分布式块存储:如Sheepdog、Lustre等,适用于高性能计算场景。

2. 文件存储系统文件存储系统以文件为单位进行存储,支持丰富的文件操作接口。

常见的文件存储系统有:(1)网络附加存储(NAS):如NFS、SMB等,适用于文件共享和备份。

(2)分布式文件存储:如FastDFS、MooseFS等,适用于大规模文件存储。

3. 对象存储系统对象存储系统以对象为单位进行存储,具有高可用性和可扩展性。

常见的对象存储系统有:(1)Amazon S3:适用于云存储场景。

(2)OpenStack Swift:适用于私有云和混合云场景。

4. 键值存储系统键值存储系统以键值对为单位进行存储,具有简单的数据模型和高速访问性能。

常见的键值存储系统有:(1)Redis:适用于高速缓存和消息队列场景。

(2)Memcached:适用于分布式缓存场景。

5. 列存储系统列存储系统以列为单位进行存储,适用于大数据分析和查询。

常见的列存储系统有:(1)HBase:基于Hadoop的分布式列存储数据库。

(2)Cassandra:适用于大规模分布式系统的高可用性存储。

分布式存储系统及解决方案介绍

分布式存储系统及解决方案介绍分布式存储系统是指通过将数据分布在多个存储节点上实现数据存储和访问的系统。

它通过数据的冗余备份和分布,提高了系统的可靠性和可扩展性,并能通过并行读写提升系统的性能。

下面将介绍几种常见的分布式存储系统及其解决方案。

1. Hadoop分布式文件系统(HDFS)HDFS是Apache Hadoop项目的核心组件之一,它使用大规模计算集群存储和处理大规模数据集。

HDFS采用了冗余备份机制,将数据分布在多个存储节点上,以提供高可靠性和容错性。

同时,HDFS采用了多副本机制,将数据复制到不同的节点上,以提供高可用性和读取性能。

解决方案:-均衡数据负载:HDFS通过将数据分布在多个节点上,实现均衡的数据负载,提高整个系统的读写性能。

-自动故障检测与恢复:HDFS具有自动检测节点故障并重新复制数据的功能,从而提高数据的可靠性。

-大规模并行处理:HDFS支持将数据划分成多个数据块,并行处理多个数据块,提升系统的处理能力。

2. GlusterFSGlusterFS是一个开源的分布式文件系统,它允许将多个存储节点组合成一个存储池,并提供统一的文件系统接口。

GlusterFS采用分布式哈希表作为元数据管理机制,将数据分布在多个节点上,并提供冗余备份和数据恢复机制。

解决方案:- 弹性伸缩:GlusterFS支持动态添加和移除存储节点,以适应不断变化的存储需求,提供弹性伸缩的能力。

- 均衡负载:GlusterFS使用分布式哈希表进行数据分布,实现均衡的数据负载,提高系统的读写性能。

- 数据冗余和恢复:GlusterFS提供冗余备份和故障恢复机制,以保证数据的可靠性和可用性。

3. CephCeph是一个分布式存储系统,它将数据划分成多个对象,并将对象存储在多个存储节点上。

Ceph通过分布式哈希算法将对象映射到存储节点上,实现均衡的数据负载。

解决方案:- 弹性伸缩:Ceph支持动态添加和移除存储节点,以适应存储需求的变化,并能自动平衡数据分布,提供弹性伸缩的能力。

分布式存储技术及应用介绍

分布式存储技术及应用介绍分布式存储技术是指将数据分散存储在多个节点(服务器)上的一种存储方式。

它能够提供高可靠性、高扩展性和高并发性,因此在大规模数据存储和多用户访问的场景下被广泛应用。

下面将介绍几种常见的分布式存储技术及其应用。

1.分布式文件系统分布式文件系统是一种能够在多台独立的计算机上存储和访问文件的系统。

它将文件分割成多个块,并将这些块分散存储在多个节点上。

用户可以通过统一的文件路径来访问分布式文件系统中的文件,而不需要关心文件所存储的具体位置。

分布式文件系统常用的开源实现包括HDFS (Hadoop Distributed File System)和Ceph。

应用:分布式文件系统广泛应用于大数据领域,可以用于存储海量的数据文件,同时支持高并发访问。

例如,HDFS被广泛应用于Hadoop生态系统中,用于存储和处理大规模的数据集。

2.分布式对象存储分布式对象存储是一种将对象以键值对的形式存储在多个节点上的存储方式。

每个对象都有一个唯一的标识符,并且可以通过该标识符进行读写操作。

分布式对象存储系统通常提供高可靠性和高可用性,可以通过数据冗余和自动容错机制来保证数据的安全性和可靠性。

常见的分布式对象存储系统有OpenStack Swift和Amazon S3应用:分布式对象存储常用于存储海量的非结构化数据,例如图片、视频、日志等。

它可以提供高并发的访问能力,并且支持自动扩展存储容量。

例如,Amazon S3被广泛应用于云存储服务中,提供了安全、可靠的存储和访问服务。

3.分布式块存储分布式块存储是一种将数据以块的形式存储在多个节点上的存储方式。

每个块都有一个唯一的标识符,并且可以通过该标识符进行读写操作。

分布式块存储系统通常提供高性能和高容量的存储能力,可以通过数据冗余和数据分片技术来提高数据的可靠性和可用性。

常见的分布式块存储系统有Ceph和GlusterFS。

应用:分布式块存储常用于虚拟化环境中,提供虚拟机镜像的存储和访问。

分布式存储技术原理

分布式存储技术原理
分布式存储是一种将数据分散存储在多个地理位置的存储系统中,以提高数据的可靠性、可用性和性能的技术。

其基本原理包括以下几个方面:
1. 数据分区:将大规模数据分成多个较小的数据块,并将这些数据块分散存储在多个存储节点上。

这样可以提高数据的读写性能和存储效率。

2. 冗余存储:为了保证数据的可靠性,分布式存储通常采用多副本策略,即将数据的多个副本存储在不同的存储节点上。

当某个存储节点出现故障时,可以通过其他副本恢复数据。

3. 数据一致性:为了保证多个副本之间的数据一致性,分布式存储通常采用分布式协议,如 PAXOS、RAFT 等,来保证各个副本之间的数据同步。

4. 负载均衡:通过将数据分布在多个存储节点上,可以实现负载均衡,避免单个存储节点负载过重。

5. 容错机制:分布式存储系统通常采用容错机制,如数据备份、数据恢复、节点容错等,来保证系统的可靠性和可用性。

6. 可扩展性:分布式存储系统可以通过增加存储节点来提高存储容量和性能,具有良好的可扩展性。

总之,分布式存储技术通过将数据分散存储在多个存储节点上,提高了数据的可靠性、可用性和性能,同时具有良好的可扩展性和容错机制,是云计算、大数据等领域的重要支撑技术。

分布式存储对象存储概述

分布式存储对象存储概述对象存储是一种存储数据的方式,将数据作为对象进行存储,每个对象都有唯一的标识符,可以通过标识符来访问和获取对象。

与传统的文件系统或块存储相比,对象存储具有更高的可伸缩性和可靠性。

对象存储的基本原则是将数据划分为固定大小的块,然后将这些块分散存储在不同的节点上。

每个块都有一个全局唯一的标识符,用于标识和访问这些数据块。

对象存储提供了高度并行和并发的读写操作,可以在多个节点上同时进行数据的存储和访问,从而提高存储系统的性能和可扩展性。

对象存储通常由三个主要组件构成:1.存储节点:存储实际的数据块,并负责维护和管理这些数据块。

每个存储节点都有自己的存储设备和存储介质,可以根据需要进行扩展和添加。

2.元数据存储:存储对象的元数据信息,包括对象的标识符、大小、创建时间等。

元数据存储可以是一个数据库或者一个分布式的键值存储系统,用于快速查询和检索对象的信息。

对象存储有以下几个特点:1.弹性可伸缩:对象存储可以根据需要动态扩展和收缩存储能力,可以方便地处理数据的增长和变化。

2.高可靠性:对象存储使用冗余存储技术,数据块会被复制到不同的节点上,即使一些节点发生故障,也能保证数据的完整性和可访问性。

3.高性能:对象存储能够提供高并发和高吞吐量的访问性能,可以处理大规模的数据访问请求。

4.全局唯一标识符:每个对象都有唯一的标识符,可以通过标识符来精确访问和管理对象,而不需要关心物理位置。

对象存储在云计算、大数据分析、备份与恢复等领域有广泛应用。

由于对象存储能够提供高可靠性和高性能的存储服务,它成为了云计算中的重要组成部分。

许多云存储提供商如亚马逊S3、谷歌云存储和微软Azure Blob存储等都基于对象存储提供了强大的云存储服务。

总而言之,分布式存储的目标是通过将数据分散存储在多个节点上来提高存储系统的可伸缩性和可靠性,对象存储则是分布式存储的一种重要实现方式。

对象存储通过将数据划分为对象并分散存储在多个节点上,提供了高度并行和并发的读写操作,具有弹性可伸缩、高可靠性、高性能和全局唯一标识符等特点,广泛应用于云计算和大数据领域。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

存储网络
GE/10GE组网
物理服务器网卡要求配置网口聚合(Bond)。 GE组网时,硬件至少为4*1Gb组网,其中至少3*1Gb用于存储平面。 10GE组网时,硬件至少为2*10Gb组网,其中至少2*6Gb用于存储平面。
IB高速组网
FusionStorage内部通信支持低时延、高带宽的Infiniband网络,存储交换 无瓶颈。
FusionStorage支持大块直通,按缺省配置大于256KB的块直接落盘不写Cache,这个 配置可以修改。
OSD
Step 1
Cache
READ
Memory
HDD
READ HDD
WRITE SSD
drain
HDD
FusionStorage Cache读机制
FusionStorage的读缓存采用分层机制,第一层为内存cache,内存cache采用LRU机制缓存数据。
分布式Server SAN架构
虚拟化/操作系统 InfiniBand /10GE Network
InfiniBand /10GE Network
共享式存储资源池 计算、存储融合部署
容量和性能线性增长
华为Server SAN产品FusionStorage
分布式块存储软件
将通用X86服务器的本地HDD、SSD等介质通过分布式技术组织成大规模存储资源池。
FSA(FusionStorage Agent):代理进程,部署在各节点上,实现各节点与FSM通信。FSA包含 MDC、VBS和OSD三种不同的进程。根据系统不同配置要求,分别在不同的节点上启用不同的进 程组合来完成特定的功能。
FusionStorage逻辑架构 (2/2)
MDC(MetaData Controller):元数据控制,实现对分布式集群的状态控制, 以及控制数据分布式规则、数据重建规则等。 MDC默认部署在3个节点的 ZK(Zookeeper)盘上,形成MDC集群。
Disk3 P9 P10 P11 P12
P2’ P6’ P14’ P18’
Disk4 P13 P14’ P15 P16’ P7’ P11’ P19’ P23’
Disk5 P17 P18’ P19 P20’ P3’ P12’ P15’ P24’
Disk6 P21 P22 P23 P24 P4’ P8’ P16’ P20’
数据副本: FusionStorage采用数据多副本备份机制来保证数 据的可靠性,即同一份数据可以复制保存为2~3个副本。
Server 1
Disk1
P1 P2’ P3
PP44’
P5’ P9’ P17’ P21’
Server 2
Disk2
P5 P6’
P7
P8’
P1’ P10’ P13’ P22’
Server 3
MDC VBS
OSD OSD
服务器2 FusionStorage Agent
MDC VBS
OSD OSD
服务器3 FusionStorage Agent
MDC VBS
OSD OSD
服务器4 FusionStorage Agent
VBS
OSD OSD
服务器5 FusionStorage Agent
VBS
FusionStorage中的每个硬盘都保存了多个DHT分区(Partition),这些分区的副本按 照策略分散在系统中的其他节点。当FusionStorage检测到硬盘或者节点硬件发生故 障时,自动在后台启动数据修复。
由于分区的副本被分散到多个不同的存储节点上,数据修复时,将会在不同的节点 上同时启动数据重建,每个节点上只需重建一小部分数据,多个节点并行工作,有 效避免单个节点重建大量数据所产生的性能瓶颈,对上层业务的影响做到最小化。
认识Server SAN
概念
由多个独立服务器自带的存储组成一个存储资源池,同时融合 了计算和存储资源。
特征
专有设备变通用设备 计算与存储线性扩展 简单管理、低TCO
传统SAN架构
FC/IP
孤立的存储资源:存储通过 专用网络连接到有限数量的 服务器。
存储设备通过添加硬盘框 增加容量,控制器性能成 为瓶颈。
时间
相比传统方式分配物理存储资源,精简配置可显著提高存储空间利用率。 FusionStorage天然支持自动精简配置,和传统SAN相比不会带来性能下降。
FusionStorage快照功能
FusionStorage快照机制,将用户卷数据在某个时间点的状态保存下来,可用作导出数据、恢复数据之用。 FusionStorage快照数据在存储时采用ROW(Redirect-On-Write)机制,快照不会引起原卷性能下降。 无限次快照:快照元数据分布式存储,水平扩展,无集中式瓶颈,理论上可支持无限次快照。 卷恢复速度快:无需数据搬迁,从快照恢复卷1S内完成(传统SAN在几小时级别)。
FusionStorage Cache写机制
OSD在收到VBS发送的写IO操作时,会将写IO缓存在SSD cache后完成本节点写操作。
OSD会周期将缓存在SSD cache中的写IO数据批量写入到硬盘,写Cache有一个水位值, 未到刷盘周期超过设定水位值也会将Cache中数据写入到硬盘中。
服务器6
FusionStorage Agent
OSD OSD
管理&计算&存储节点 管理&计算&存储节点 管理&计算&存储节点 计算&存储节点
计算节点
存储节点
FSM(FusionStorage Manager):FusionStorage管理模块,提供告警、监控、日志、配置等操作 维护功能。一般情况下FSM主备节点部署。
7.2TB
>
Cache资源池 9.6TB
存储 SRV1
存储 SRV2
存储
>
存储
SRV3
SRV1
存储 SRV2
存储 SRV3
存储 SRV4
Cache共享,水平任意扩展
FusionStorage集群内各服务器节点的缓存和带宽都均匀分布到各个服务器节点上,不存在独立存 储系统中大量磁盘共享计算设备和存储设备之间有限带宽的问题。
云资源池


公有云 私有云 VDI 开发测试



数据库及关键应用
财务报表 ERP 市场营销 CRM




FusionStorage
OpenStack
SCSI/iSCSI
HANA
查询检索
数据分析
高速网络 IB /GE/10GE
分布式Cache
x86服务器

DHT环 x86服务器
分布式Cache
强一致性算法
FusionStorage支持将服务器部分内存用作读缓存,NVDIMM和SSD用作写缓存,数据缓存均匀分 布到各个节点上,所有服务器的缓存总容量远大于采用外置独立存储的方案。即使采用大容量 低成本的SATA硬盘,FusionStorage仍然可以发挥很高的IO性能,整体性能提升1~3倍。
FusionStorage支持SSD用作数据缓存,除具备通常的写缓存外,增加热点数据统计和缓存功能, 加上其大容量的优势,进一步提升了系统性能。
数据分片存储
硬件故障
故障自动检测
多节点并行恢复
自动重建数据副本
FusionStorage部署方式
融合部署
指的是将VBS和OSD部署在同一台服务器中。 虚拟化应用推荐采用融合部署的方式部署。
分离部署
指的是将VBS和OSD分别部署在不同的服务器中。 高性能数据库应用则推荐采用分离部署的方式。
基础概念 (1/2)
资源池:FusionStorage中一组硬盘构成的存储池。
iSCSI模式。
VM
VM
SCSI VBS
CVM iSCSI-Target
VBS
OSD
VM
VM
OSD UVP/KVM
硬件介质
VMWARE-ESXi
VMFS iSCSI-Initiator
硬件介质
FusionStorage精简配置功能
2TB
2TBLeabharlann 2TB传统配置300GB
600GB
900GB
自动精简配置
本章节介绍华为分布式存储产品FusionStorage,该产品也是 华为的软件定义存储产品,广泛应用于华为虚拟化及云计算 解决方案中。
学完本课程后,您将能够:
区分传统存储和分布式存储的区别 描述Fusionstorage基础原理和特性 安装和使用FusionStorage
1. FusionStorage方案介绍 2. FusionStorage架构原理 3. FusionStorage部署配置
到SSD中。
Step 1
OSD
Step 2 Step 3 Step 4
Cache
READ
Memory
HDD
READ
cache
WRITE SSD
HDD
HDD
FusionStorage 分布式Cache
FusionStorage:分布式Cache资源池
主机
主机
主机
主机
APP1
APP2
APP1
APP2
Cache资源池
VBS(Virtual Block System):虚拟块存储管理组件,负责卷元数据的管理, 提供分布式集群接入点服务,使计算资源能够通过VBS访问分布式存储资源。 每个节点上默认部署一个VBS进程,形成VBS集群。节点上也可以通过部署 多个VBS来提升IO性能。
相关文档
最新文档