FusionStorage分布式存储解决方案介绍
FusionStorage Block运维故障处理指南
FusionStorage Block故障
操作维护故障
第6页
目录
1. FusionStorage Block故障简介 2. FusionStorage Block告警机制介绍 3. FusionStorage Block日志机制介绍 4. FusionStorage Block故障处理流程 5. FusionStorage Block典型故障案例分析 6. FusionStorage Block备份与恢复方法 7. FusionStorage Block应急预案介绍 8. FusionStorage BlocAgent安装 日志
/var/log/dsware/manager
FusionStorageManager管 /var/log/dsware/manager/backup
理数据产生的日志
NTP服务产生的日志
/var/log/dsware/manager/times和 /var/log/
install.log.0 FusionStorage log-MDC.*
Agent log-OSD.*
log-VBS.*
zookeeper.log.*
安装agent的日志 MDC运行时的日志 OSD运行时的日志 VBS运行时的日志 ZK运行时的日志
/var/log/dsware /var/log/dsware /var/log/dsware /var/log/dsware /var/log/dsware
times_20130304.log /var/log/ntp
ha.log.2013-03-05_12-00-00.gz /scriptlog/*.log
描述
所在目录
FusionStorage manager运 /var/log/dsware/manager
分布式存储解决方案
分布式存储解决方案目录一、内容概览 (2)1. 背景介绍 (3)2. 目标与意义 (3)二、分布式存储技术概述 (5)1. 分布式存储定义 (6)2. 分布式存储技术分类 (7)3. 分布式存储原理及特点 (8)三、分布式存储解决方案架构 (9)1. 整体架构设计 (10)1.1 硬件层 (12)1.2 软件层 (13)1.3 网络层 (14)2. 关键组件介绍 (15)2.1 数据节点 (16)2.2 控制节点 (18)2.3 存储节点 (19)2.4 其他辅助组件 (20)四、分布式存储解决方案核心技术 (22)1. 数据分片技术 (23)1.1 数据分片原理 (25)1.2 数据分片策略 (26)1.3 数据分片实例分析 (28)2. 数据复制与容错技术 (29)2.1 数据复制原理及策略 (31)2.2 容错机制与实现方法 (32)2.3 错误恢复过程 (34)3. 数据一致性技术 (35)3.1 数据一致性概念及重要性 (36)3.2 数据一致性协议与算法 (37)3.3 数据一致性维护与保障措施 (38)4. 负载均衡与性能优化技术 (39)4.1 负载均衡原理及策略 (41)4.2 性能优化方法与手段 (43)4.3 实例分析与展示 (43)五、分布式存储解决方案应用场景及案例分析 (44)1. 场景应用分类 (46)2. 具体案例分析报告展示 (47)一、内容概览分布式存储解决方案是一种旨在解决大规模数据存储和管理挑战的技术架构，它通过将数据分散存储在多个独立的节点上，提高数据的可用性、扩展性和容错能力。
本文档将全面介绍分布式存储系统的核心原理、架构设计、应用场景以及优势与挑战。
我们将从分布式存储的基本概念出发，阐述其相较于集中式存储的优势，如数据分布的均匀性、高可用性和可扩展性。
深入探讨分布式存储系统的关键组件，包括元数据管理、数据分布策略、负载均衡和容错机制等，并分析这些组件如何协同工作以保障数据的可靠存储和高效访问。
FusionStorage部署规划
大规模存储资源池场景： 至少12台服务器，至少3个
10GE交换机（板）
10GE交换机（板）
汇聚
40GE堆叠
汇聚
机柜，机柜级安全
1
1
1
Eth-Trunk
1
10GE交换机（板） 4x10GE10GE交换机（板）
接入
40GE堆叠
接入
Bond Bond 2x10GE 2x10GE
10GE
10GE
计算服务器
本节重点介绍FusionStorage的部署方式，组网设计，约束条 件直至容量及性能计算等内容。此部分内容和工作实践强相 关，需要基于实践完整掌握
学完本课程后，您将能够:
描述华为FusionStorage产品部署方式 掌握FusionStorage计算存储节点配置规格要求 掌握并描述FusionStorage配置规划约束 掌握FusionStorage有效容量及性能估算等
与VMware融合部署方案
计算网络(10GE/IB/RoCE)
融合Server1
融合Server2
融合Server3
OSD和VBS模块部署在Controller VM中，服务器 PCIE SSD或者SCSI Controller下的硬盘或者SSD盘 pass through到Controller VM中的OSD进行介质 管理， VBS通过iSCSI接口给ESXi提供块存储服务
FusionStorage硬件部署形态
FusionStorage在通用x86服务器上部署分布式存储软件，把所有服务器的本 地硬盘组织成一个虚拟存储资源池，提供块存储接口
典型硬件1：机架式服务器
典型硬件2：刀片式服务器
华为FusionStorage技术白皮书
华为FusionStorage技术白皮书1 执行摘要/Executive Summary本文从存储技术的发展趋势为切入点，结合用户需求，从高性能、高可靠、高扩展、易管理、兼容性等方面详细介绍了华为公司FusionStorage产品的功能及特点，旨在突出FusionStorage 产品独有的亮点、应用场景以及为客户带来的价值。
2 简介/Introduction虚拟化与云计算技术正在引领IT技术的发展方向，越来越多的企业采用虚拟化与云计算技术来构建新一代IT系统，以提升IT系统的资源利用率，并在保证服务级别水平的前提下降低成本；同时帮助业务更加具有敏捷性，加速新业务的上线时间。
然而，虚拟化与云计算技术的广泛应用也给后端的存储系统提出更加严峻的挑战。
如：需要存储系统能够承载更多的业务、更高的性能与可靠性、更好的扩展性、保证关键业务服务级别水平并降低成本等。
华为分布式存储软件FusionStorage采用创新的分布式软件架构，以高性能、高可靠、高扩展为其设计理念，充分满足企业未来业务需求，帮助其IT系统转型以更快更好地应对日益激烈的竞争环境，实现与客户的共同成长。
3 解决方案/Solution随着企业面临的竞争环境越来越激烈、新业务上线时间要求越来越短，其IT系统需要从传统的成本中心转变为提升企业竞争力的利器，帮助企业提升竞争力并实现商业成功。
作为存放企业数据资产的存储系统，不但要满足业务所需要的高性能、高可靠等基本诉求，更要满足未来业务的发展、提升业务的敏捷性，帮助业务更快更好地适应竞争环境的需要。
从IT业界发展来看，以下技术趋势正在影响存储行业的发展：l 虚拟化技术的广泛应用虚拟机技术给服务器带来更高的利用率、给业务带来更便捷的部署，降低了TCO，因而在众多行业得到了广泛的应用。
与此同时，虚拟机应用给存储带来以下挑战：第一，相比传统的物理服务器方式，单个存储系统承载了更多的业务，存储系统需要更强劲的性能来支撑；第二，采用共享存储方式部署虚拟机，单个卷上可能承载几十或上百的虚拟机，导致卷IO呈现更多的随机特征，这对传统的Cache技术提出挑战；第三，单个卷承载多个虚拟机业务，要求存储系统具备协调虚拟机访问竞争，保证对QoS要求高的虚拟机获取到资源实现性能目标；第四，单个卷上承载较多的虚拟机，需要卷具有很高的IO性能，这对传统受限于固定硬盘的RAID技术提出挑战；第五，虚拟机的广泛使用，需要更加高效的技术来提高虚拟机的部署效率，加快新业务的上线时间。
超融合存储关键技术及应用
超融合存储关键技术及应用超融合存储（Hyper-Converged Infrastructure，HCI）是一种集计算、存储和网络等多个功能于一体的存储系统架构。
它通过软件定义的方式将这些功能整合在一起，形成一个整体解决方案。
超融合存储的核心目标是提供高效、灵活、可扩展和易管理的存储。
1. 软件定义存储：超融合存储使用软件定义的方式将存储功能从硬件中分离出来。
这样可以实现存储的虚拟化，提高存储资源的利用率，并且更容易实现存储的统一管理。
2. 分布式存储：超融合存储系统采用分布式存储技术，将数据分散存储在多个物理节点上。
这样可以提高存储系统的性能和可靠性。
分布式存储也可以实现数据的动态迁移和负载均衡，进一步提高存储系统的性能。
3. 数据压缩和去重：超融合存储系统可以对存储的数据进行压缩和去重。
这样可以减少存储的空间占用，并且提高存储系统的性能。
数据压缩和去重还可以减少数据的传输量，提高数据的传输速度。
4. 虚拟化和容器化：超融合存储系统支持虚拟化和容器化技术。
这样可以在同一台物理机上运行多个虚拟机或容器，并且共享存储资源。
虚拟化和容器化技术可以提高存储系统的利用率和灵活性，降低存储系统的成本。
超融合存储的应用主要有以下几个方面：1. 虚拟化环境：超融合存储系统可以提供高效的存储资源，支持虚拟机的高密度部署。
虚拟化环境下的存储需求通常非常高，超融合存储系统可以满足这些需求。
2. 数据备份和恢复：超融合存储系统可以实现数据的备份和恢复。
由于数据存储在多个物理节点上，即使有一个节点发生故障，数据仍然可以从其他节点恢复。
这样可以提高数据的可靠性和可用性。
3. 大数据分析：超融合存储系统可以提供高速的存储和处理能力，适用于大数据分析场景。
大数据分析通常需要大量的存储空间和计算能力，超融合存储系统可以满足这些需求。
4. 边缘计算：超融合存储系统可以部署在边缘计算节点上，提供本地的存储和计算能力。
这样可以减少数据的传输量和延迟，提高边缘计算系统的性能和可靠性。
FusionStorage部署规划
48x10GE
48x10GE
GE Eth-trunk
堆叠
24x10GE
24x10GE
24x10GE
24xGE + 2x10GE LSW
2x10GE
2x10GE
Mgmt
2x10GE
2x10GE
Mgmt
2x10GE
2x10GE
Mgmt
融合Server3
VM
VM
融合部署：即将应用或虚拟机与存储同 时部署在同一台服务器上
VBS OSD
UVP/KVM
VBS和OSD安装在Hypervisor上
如果是华为UVP，则部署在Domain0里 面 如果是KVM，则部署在KVM宿主机OS 上面
第4页
硬件介质
版权所有© 2015 华为技术有限公司
GE组网时，硬件至少为4*1Gb组网，其中至少3*1Gb用于存储平面 10GE组网时，硬件至少为2*10Gb组网，其中至少2*6Gb用于存储平面 使用机柜级安全时，机柜间至少为4*10Gb带宽，每服务器为2*10Gb带宽，其中存储平面6*Gb及以上带宽
版权所有© 2015 华为技术有限公司
第11页
FusionStorage以太网组网之融合部署
through到Domain0中的OSD进行介质管理
VM
VM
Computing&Storage Server
Domain0
OSDs VBS
User VMs
VBS
OSD
UVP/KVM
Passthrough P C I E S S D
超融合存储关键技术及应用
超融合存储关键技术及应用超融合存储（Hyperconverged Storage）是一种集存储、计算、网络等功能于一体的数据存储技术。
它能够满足企业日益增长的存储需求，提高数据管理效率，并降低成本。
超融合存储技术在当今企业信息化建设中扮演着越来越重要的角色。
本文将重点介绍超融合存储的关键技术及应用，帮助读者更好地了解这一新兴的存储技术。
1. 软件定义存储（Software-Defined Storage，SDS）软件定义存储是超融合存储的基础技术之一。
它将存储系统的控制平面和数据平面分离，通过软件来实现存储管理和数据处理。
这种架构能够提高存储系统的灵活性和可扩展性，使其更适合于大规模数据存储和处理。
超融合存储利用软件定义存储技术，实现了存储资源的集中管理和动态分配，满足了企业对于高性能、高可靠性的存储需求。
2. 虚拟化技术超融合存储还采用了虚拟化技术，通过将存储资源虚拟化，提高了存储资源的利用率和灵活性。
虚拟化技术将物理存储资源抽象成逻辑存储资源，使多种存储设备能够集中管理和利用，减少了硬件设备的依赖性，提高了系统的可靠性和可用性。
3. 压缩与去重技术为了降低数据存储的成本，超融合存储还应用了压缩与去重技术。
这些技术能够降低存储数据的冗余性，减小存储空间的占用，并且能够提高存储系统的性能。
通过压缩与去重技术，超融合存储能够提供更高效的存储服务，满足企业对于大规模数据存储和处理的需求。
二、超融合存储的应用1. 企业数据中心超融合存储技术在企业数据中心中有着广泛的应用。
随着企业数据规模的不断增长，传统的存储系统已经无法满足企业对于高性能、可扩展性、可靠性的存储需求。
而超融合存储技术能够提供一体化的存储解决方案，满足企业对于数据存储和处理的各种需求。
在虚拟化环境中，超融合存储技术能够提供高效的存储资源管理和分配。
虚拟化环境中的存储资源需要能够满足不同虚拟机的不同需求，并且能够提供高性能、高可靠性的存储服务。
分布式存储系统详解
传统SAN架构
FC/IP
孤立的存储资源：存储通过 专用网络连接到有限数量的 服务器。
存储设备通过添加硬盘框 增加容量，控制器性能成 为瓶颈。
第3页
分布式Server SAN架构
虚拟化/操作系统 InfiniBand /10GE Network
InfiniBand /10GE Network
Server 3
Disk3 P9 P10 P11 P12
P2’ P6’ P14’ P18’
Disk4 P13 P14’ P15 P16’ P7’ P11’ P19’ P23’
Disk5 P17 P18’ P19 P20’ P3’ P12’ P15’ P24’
Disk6 P21 P22 P23 P24 P4’ P8’ P16’ P20’
第10页
FusionStorage部署方式
融合部署
指的是将VBS和OSD部署在同一台服务器中。 虚拟化应用推荐采用融合部署的方式部署。
分离部署
指的是将VBS和OSD分别部署在不同的服务器中。 高性能数据库应用则推荐采用分离部署的方式。
第11页
基础概念 (1/2)
资源池：FusionStorage中一组硬盘构成的存储池。
第二层为SSD cache，SSD cache采用热点读机制，系统会统计每个读取的数据，并统计热点访问因 子，当达到阈值时，系统会自动缓存数据到SSD中，同时会将长时间未被访问的数据移出SSD。
FusionStorage预读机制，统计读数据的相关性，读取某块数据时自动将相关性高的块读出并缓存
到SSD中。
数据可靠是第一位的， FusionStorage建议3副本配 置部署。
如果两副本故障，仍可保障 数据不丢失。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Content
1 2 3
存储领域的技术现状与发展趋势
FusionStorage分布式存储系统 FusionStorage 核心价值
4
FusionStorage应用案例
1
业界趋势：分布式、软件定义与大规模池化
传统数据中心
App 1 IBM App 2 IBM App X X86
RDS
Map Reduce
SimpleDB
AutoScaling
ELB
SAN
SQS
Cloud watch
S3
Cloud Front
AMAZON S3, Dynamo, EBS
EC2 Instances
EBS
VPC
Snapshots
亚马逊物理基础设施
LAMP
Load Balancer Web Server (PHP)
® ®
网络接口 Cache
凡是满足上述硬件要求的X86服务器，都满足了作为FusionStorage存储节点的基本要 求。 但是还是经过FusionStorage认证，经过认证后就可以作为正式商用硬件形态。
9
FusionStorage关键规格和特性
软件特性：
• 块存储功能， SCSI、iSCSI接口； • RAID10， 3份拷贝,…； • 存储快照； • 存储瘦分配； • 存储链接克隆； • 存储SSD Cache和存储自动分级； • 数据备份
...
FusionStorage分布式存储资源池
SSD HDD SSD HDD SSD HDD
典型硬件2： 刀片式服务器 典型硬件1：机架式服务器
8
通用X86服务器硬件要求
组件 物理形态 处理器 内存 存储 规格 机架服务器或刀片服务器，X86架构 Intel Xeon E5-2600/4600 系列处理器，Intel Xeon E7-4800/8800 系列处理器 按照每TB硬盘1GB内存，推荐》64G内存 1、存储节点至少部署3个，配置RAID卡，支持RAID0/1，每台存储节点至少预留2块本地硬盘用于安装OS 2、如果管理节点与存储节点器合部，分布式资源池至少15个2.5/3.5 英寸SAS/SATA/SSD硬盘，其中：至少 12个硬盘用于资源池数据盘，至少3个硬盘用于部署ZK盘 如果管理节点与存储节点器分离部署，分布式资源池至少12个2.5/3.5 英寸SAS/SATA/SSD硬盘，其中：至 少12个硬盘用于资源池数据盘，ZK盘采用分区的方式部署，与本地OS盘共用 每存储服务器用于FusionStorage存储平面带宽不低于4Gb，例如4×1Gb或者2×10Gb 至少有一个SSD卡或SSD盘作为写cache
ቤተ መጻሕፍቲ ባይዱ
部分关键规格：
指标名称 指标值
单个资源池最大存储节点数 单个资源池最大硬盘数 最大单卷容量 每TB数据恢复时间 数据冗余模式 单个资源池最大逻辑卷数量 单卷链接克隆比例
256 12~96块硬盘（2份拷贝） 12~2000块硬盘(3份拷贝) 256TB 30分钟 2副本、3副本 65000个 256
10
FusionStorage支持的介质、网络和Cache类型
类别 存储介质 规格说明 SATA：使用在大容量场景 NL-SAS：使用在大容量场景 SAS：使用在性能相对较高的场景 SSD卡：使用在高性能场景 SSD盘：使用在高性能场景
EMC ScaleIO
/storage/scalei o/index.htm
4
HP VSA
/us/en/products/d ata-storage/storevirtual-vsa.html
分布式存储的市场和需求
现在
/wiki/v/The_Rise_of_Server_SAN
…
软件定义云数据中心
App Y X86
业务驱动 的云基础 设施
计算
负载
App1
存储 网络 App2 App4
FC
IP
App3 业务驱动的基础设施 基于SLA控制平面 存储池
VMVMVM PMPM
计算池
高端 存储
高端 存储
中低端 中低端 存储 存储
VMVMVM PMPM
X86 / ARM 硬件池 融合IP网络 (物理+虚拟）
FaceBook MySQL, MemeCached
+ Services
MySQL Memcached Service (Slow, persistent) (fast simple) (fast complicated)
Google GFS, Map Reduce, Big Query
3
传统厂商：已经开发出分布式软件定义存储的产品
5
Content
1 2 3
存储领域的技术现状与发展趋势 FusionStorage分布式存储系统 FusionStorage 核心价值
4
FusionStorage应用案例
6
FusionStorage分布式存储解决方案总体架构图
应 用 层
虚 拟 化 层
HANA
支持多种虚拟化平台 (FusionSphere/VMware)
Google Infrastruc ture
Google BigQuery Load Balancing across App Engine Instances Auto Scaling Google Cloud Static content Storage serving and caching MapReduce Dos protection Pipeline Monitoring and Management
数据库物理部署
FusionStorage分布式存储资源池
7
FusionStorage分布式存储硬件形态
Server1 VM VM Server2 VM VM ServerN VM VM
FusionStorage在通用x86服务器上
部署分布式存储软件，把所有服务器 的本地硬盘组织成一个虚拟存储资源 池，提供块存储接口
大规模扩展、资源大范围共享、业务敏捷、自动化和SLA的保障都不再绑定和依赖于硬件
2
互联网巨擘：均采用分布式存储的大规模池化技术
Payment: FPS/ Devpay
Google Cloud Data store Memcache APP Task Queues APP Scheduted Tasks APP Google Compute Engine API