华为OceanStor 9000技术主打胶片 201606

合集下载

华为服务器主打胶片_图文

华为服务器主打胶片_图文
华为服务器主打胶片_图文.pptx
1 客户挑战和发展趋势 2 华为服务器解决方案 3 创新增加客户价值 4 市场进展和全球案例
转型呼唤IT重构
完善开放平台
匹配云、大数据等新技术
降低TCO
传统IOE架构TCO高企
简化架构
提升管理和维护效率
应用加速
采用闪存技术、分布式架构
“云计算、大数据、移动、社 交等新技术和应用需要开放、 分布式,可灵活扩展的架构”
ES3500P/ES3600P V3
刀片 服务器
机架 服务器
FusionServer
NVMe SSD卡
E9000
4P
2 x 2P
12U 8/16/32节点
CH242 V3
CH140 V3
CH226 V3
2P
CH222 V3
CH220 V3
CH121 V3
高密度 服务器
X6800
4U 4/8节点
8U 8P
Latency
SATA HDD >100ms
SAS HDD >10ms
SATA SSD >100µs
SATA HDD SAS HDD
SATA SSD
PCIe SSD
PCIe SSD >10µs
DRAM >10ns
Memory
SRAM ns
CPU <50MB <32GB传统小机的 OPEX居高不下,去IOE是企业 IT重构的必经之路”
“计算、存储、网络融合的架 构能实现快速部署和一体化管 理,提高IT维护人员效率”
“I/O成为瓶颈, 闪存技术和分 布式架构是消除I/O瓶颈的有效 手段”
从封闭到开放架构

华为 OceanStor VTL6900 产品主打胶片

华为 OceanStor VTL6900 产品主打胶片

深圳气象局高性能计算中心目前面临的问题是,即时业务 系统和历史业务办公系统复杂,当前备份系统可靠性、容量等 无法满足数据备份需求。同时必须遵从相关的法律法规,其数
IP Network
据安全必须符合国家安全等级保护标准二级的规定要求。
FC交换机
备份服务器
客户价值
分局2
‾ ‾
VTL3500
备份策略自动运行,无需人工手动干预 秒级恢复气象系统大文件数据
便捷的NAS备份
‾ 兼容现有NDMP V2/V3/V4协议 ‾ 减少备份服务器系统开销 ‾ 组网灵活,无需改变原有网络环境
Backup Server
Data Flow
NAS存储系统
NFS/CIFS/FTP/HTTP
VTL6900 HW EMC IBM Other
10
便捷管理

提供GUI和CLI管理方式
VTL6900
深圳DR中心 香港工行VTL备份容灾系统
VSE/ESA系统 客户资料 Data Mart数据集Web 服务器 IP Network 管理终端 FC交换机 备份服务器
客户价值

800MB/s+的备份恢复性能,满足备份窗口需求
‾ 备份重删比>20:1,对备份存储需求降低90% ‾ 备份数据依据策略自动复制到深圳,人工参与度降低90% ‾ 重删后复制,降低了传输数据量。无需对带宽进行再投资
集群
12
VTL备份归档一体化方案
场景需求

数据中心
大量历史数据需要长期保存 (保存:6个月+)
IP IP IP IP IP
LAN
‾ 物理磁带库备份性能低下 ‾ 备份管理维护繁琐
IP

开源Ceph与华为OceanStor9000对比

开源Ceph与华为OceanStor9000对比
不支持
克隆
支持
不支持
复制
支持
不支持
Glance镜像管理
支持,与OpenStcak集成提供镜像管理服务。不来自持文件系统架构
非对称,有独立的MDS集群,使用动态子树,当前只有单MDS的版本是稳定的
全对称架构,节点同时提供MDS服务和数据存储服务,使用动态子树
私有客户端
主要方式,仅支持linux客户端,支持用户态和内核态
开源Ceph与华为OceanStor 9000的对比
Ceph
OceanStor 9000
服务类型
分布式块、文件、对象融合存储
分布式文件、对象融合存储
数据冗余
副本为主,支持EC
只支持EC
网络
GE、10GE
GE、10GE、IB
块服务
COW快照
支持,占用空间少
不支持
Cache和分级
支持SSD Cache和分级
少量场景使用,支持Linux和MAC私有客户端,内核态
协议
POSIX、HDFS、NFS、CIFS,NFS和CIFS通过外置网关实现
POSIX、NFS、CIFS、HDFS、FTP
配额
支持,依赖于客户端,有较多限制
支持,与客户端无关,更完善
增值
快照(未达生产环境要求)、负载均衡、动态扩容缩容、自动容量均衡
快照、负载均衡、动态扩容缩容、自动容量均衡、分级、远程复制、WORM、NDMP
对象
协议
S3、Swift、RADOS Lib
S3、Swift
多租户
Pool级别的租户隔离,支持并不完善
支持
多Region
支持
不支持
重删
不支持
支持,对象级重删

华为OceanStor9000技术主打胶片(ppt 54页)

华为OceanStor9000技术主打胶片(ppt 54页)

Huawei Confidential
11
OceanStor 9000关键能力-简单
传统NAS存储 安装• (1管1步理)不同扩文展件(9系步统) <10管0理T(B7步)
上架及连线 配置HBA 规划RAID,热备盘 配置RAID,热备盘 规划LUN 配置LUN 格式化卷 安装文件系统 网络配置 数据共享 调整各FS数据量
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
1
OceanStor 9000大数据存储系统主打胶片
融合扩展 简单高效
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
2
目录
1 知易行难,大数据的挑战 2 打破陈规,华为应对之道 3 真知灼见,行业深度剖析 4 行以见效,华为应用实践
5
知易行难,大数据的挑战二
性能
成本
数据按照热、温、冷分级管理,带 来数据割裂,自动化程度低,数据 迁移代价高,时效性差,管理复杂
大数据处理中需要高性能系统 的支撑,而性能的提升往往带 来成本的压力
传统技术面临大数据生命周期管理的挑战
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
上架及连线 点击扩容按钮
创建目录 数据共享
简单
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
12
夯实的基础架构
控制器
硬盘框
• Scale-up架构 • 专用硬件 • 后端SAS专用网络
HUAWEI TECHNOLOGIES CO., LTD.

华为OceanStorVTL6900产品主打胶片

华为OceanStorVTL6900产品主打胶片

Backup serverFra bibliotekVTL6900
Inline/post processing重删
单节点
集群 12
‾ 小规模数据集中备份 (20-50TB,性能:2.34TB/hr) ‾ 一体化设备,成本低廉,快速部署
‾ 中型规模数据集中备份(50-500TB,性能:9TB/hr) ‾ 单节点+阵列,高性价比,管理维护简便
备份性能
31TB/hr
2.34TB/hr
9TB/hr
一体机方案
单节点方案
集群方案
经济:先进的全局重复数据删除
经济灵活的重复数据删除
‾ 20:1综合重删比,节省磁盘空间 ‾ 支持Inline/post processing 重删方式,灵活选择 ‾ 内容感知,提升重删效率
高效的全局重复数据删除
‾ 支持重删后IP复制,链路带宽节省90%以上 ‾ 跨站点全局重删,降低TCO,提升容灾效率 ‾ 多站点VTL间统一集中管理,降低运营成本
重删后IP复制
数据中心/容灾中心
站点1
站点2
7
灵活:广泛的兼容性
兼容主流备份软件
Backup Software
虚拟主流磁带库/磁带机
Physical Tape Library
支持异构主机平台
Operation System00
Auto Tape Caching
VTL6900
PTL
8
Hosted Backup
VTL6900
5
VTL Engine
Shared Storage
VTL6900
高效:卓越的备份性能
31TB/Hr的最大备份性能
‾ 有效缩短备份窗口 ‾ 显著改善RTO/RPO ‾ 降低对生产系统的影响,保证业务连续性

华为OceanStor 9000软件架构与功能特性

华为OceanStor 9000软件架构与功能特性



当平均文件大小大于128KB且小于等于2048KB时,建议设置为128KB。
当平均文件大小大于2048KB且小于等于4096KB时,建议设置为256KB。 当平均文件大小大于4096KB时,建议设置为512KB。


Copyright © 2015 Huawei Technologies Co., Ltd. All rights reserved.
4U, 3.5, 36 Drives HD editing, News production, high-end HPC
4U, 3.5, 72 Drives Near-line Media Asset, Video surveillance
Copyright © 2015 Huawei Technologies Co., Ltd. All rights reserved.
Page 3
目录
1. OceanStor 9000产品的软件架构
2. OceanStor 9000功能特性简介
3. License策略
Copyright © 2015 Huawei Technologies Co., Ltd. All rights reserved.
Page 4
系统架构
媒体与娱乐 视频监控
从Node A缓存中读取数据
中获数据并返回(如果不在全局缓存中
storage
Node A
storage
Node B
storage
Node C
,则直接从各个节点上读取该分条数据 的所有条带数据后构造出分条数据后再 返回)。
Copyright © 2015 Huawei Technologies Co., Ltd. All rights reserved.

华为海洋星9000扩展NAS产品说明书

华为海洋星9000扩展NAS产品说明书
The OceanStor 9000 is ideal for Big Data service scenarios, such as film and TV, satellite mapping, gene sequencing, energy exploration, and scientific research, education, and provider services. With advanced processing features and data lifecycle management, the OceanStor 9000 helps customers build industry's most efficient Big Data storage capabilities.
Multiple interface support
NFS, CIFS, NDMP, FTP, HDFS, Amazon S3/OpenStack Swift, and other interfaces to allow the system to support diversified applications and achieve data management throughout the entire lifecycle.
Fully symmetrical distributed architecture featuring impressive parallel read-write capabilities
High-performance read/write access
Exclusive InfoTurbo acceleration technology achieves up to 2.5 GB/s in bandwidth over a single client.

OceanStor 9000 大数据存储系统

OceanStor 9000 大数据存储系统

数据源
数据导入
中间数据
数据分析
分析结果
数据保存
数据应用
存储系统
分析系统
归档系统
如何构建高效的大数据存储架构是CIO面临的共同挑战
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
5
目录
1 知易行难,大数据的挑战 2 打破陈规,华为应对之道 3 行以见效,华为应用实践
10TB 员工a
10TB 员工b
10TB 员工c
10TB 员工d
容量配额 软配额 用户配额 用户组配额
文件数配额 硬配额 目录配额
匹配复杂的“组织架构”,空间灵 活分配
多种配额策略,存储空间精打细算
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
3
基因分析机构CIO的IT挑战
人/动物/植物
基因序列
基因测序
基因对比
分析结果
基因保存
基因数据应用
数据存储
测序系统(30台高速测序仪)导入数据需要 24GB/s以上的存储吞吐能力,是传统存储的 12倍。
需要高吞吐、高并发的 存储系统
数据分析
分析一个人体样本基因,传统HPC集群需要 346小时,大规模Hadoop集群仅需24小时, 不同的分析平台,效率相差14倍。
系统容量 业界第一
华为
40PB
VS 业界最高
20PB
(EMC isilon)
2倍
扩展能力 业界第一
40PB 华为
容量 288个
VS 业界最高
144个
(EMC isilon)
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
存储
存储
存储
存储
存储
容量扩展和信息孤岛的问 题带来管理池化的需求
并行运算、云计算带来 的性能扩展问题
扩容、维护工程的复杂 性带来的管理问题
烟囱式 vs. 横向扩展
▪ Huawei Confidential ▪ 5
海量数据全生命周期管理的挑战
性能
数据按照热、温、冷分级管理,带 来数据割裂,自动化程度低,数据 迁移代价高,时效性差,管理复杂
EMC Isilon
带宽
OceanStor 9000
单位OPS
EMC Isilon
NetApp
Avere
Huawei
/sfs2008/results/sfs2008.html
OPS 每秒可响应的并发请求数
▪ Huawei Confidential ▪ 13
InfoEqualizer(负载均衡) InfoLocker(WORM) InfoScanner(防病毒)
数据处理层

多租户
Https传输加密

系 统
InfoMigrator(数据迁移)
分布式存储资源池
硬件节点层
▪ Huawei Confidential ▪ 10
P系列节点
C系列节点
灵活开放的接口协议,适配多业务场景
多种访问接口

NFS
CIFS
FTP
S3
传统接口:NFS、CIFS、FTP、S3/Swift HDFS: 无缝对接Hadoop,高效率存储+高效率分析

Swift HTTP HDFS
RESTful API

开放的架构
通用硬件 广泛的接口定义,几乎适用所有半结构化,非结构化 数据处理
灵活扩展
•支持3~288个节点灵活扩展,单一文件系统 高达100PB
开放融合
OceanStor 9000 •配置All-IP架构,标准X86,支持多协议和 多数据类型
▪ Huawei Confidential ▪ 9
OceanStor 9000存储系统架构
网盘 资源池 媒体娱乐 视频监控 HPC 备份、归档软件
成本
数据处理中需要高性能系统的 支撑,而性能的提升往往带来 成本的压力
▪ Huawei Confidential ▪ 6
多种数据类型统一存储的挑战
对象
文件 对象
or 文件
文件接口 对象接口
统一存储资源池
对于不同数据类型的数据的处理需要采用分离式系统, 购置多套设备,分散管理 基于NAS协议封装的对象存储,受限于文件系统,性能 受影响
▪ Huawei Confidential ▪ 11
软硬件及组网介绍
管理终端
多种节点类型组合,性能、容量与成本完美平衡
管理交换
P25/P36/P12/C36/C72节点 机
每TB成本
高性能存储节点
P25
P12 P36 C36 C72
P系列
NAS 接口
10GE交换机、
大容量归档节点 C系列
业界最高的存储性能
线性增长,可预测,可获得
带宽
500 400 300 200 100 0
性能领先友商3倍+
5,500,000
OPS
5,030,264
400GB/s
4,500,000 3,500,000
200GB/s
2,500,000 1,500,000 500,000
1,512,784 1,112,705 1,592,334
▪ Huawei Confidential ▪ 7
目录
▪ Huawei Confidential ▪ 8
OceanStor 9000 Scale-out NAS存储系统
卓越性能
• 400GB/s吞吐能力,InfoTurbo加速单客 户端带宽到2.5GB/s
业界最大的扩展能力
数据来源 IDC
875 亿部
• 2.8 ZB = 875亿部 32GB的平板电脑。
• 2020年,将达到40ZB!
海量数据增长蕴含着新的机遇和巨大挑战
▪ Huawei Confidential ▪ 3
海量数据的爆炸式增长
每分钟290万封邮件 视频网站每天上传百TB数据
2018年10月31日星期三
HUAWEI TECHNOLOGIES CO., LTD.
目录
▪ Huawei Confidential ▪ 2
数字时代的变革
1960s 大型机
1980s 个人电脑
1990s 互联网
2000s 移动互联网
2010s 大数据
2.8 ZB
• 2012年全球数据总量达到2.8ZB;
结构化数据 20% 80%
年增长率 60% 40% 20% 0%
32%
63%
终端用户每天产生数十TB日志数据
80% 非结构化数据
结构化数据 非结构化数据
海量数据增长:集中储存/集中计 算已经无法处理巨大的数据量
数据种类和来源多样化,需要及时 有效分析
数据价值密度低,需要对大量的不相 关信息进行复杂深度分析,深挖价值
与Hadoop生 态系统对接
精准营销
商业推广
应用层
对象存储
Swift/S3 Https
文件存储
FTP NFS CIFS
备份、归档
NDMP HDFS
HDFS
数据分析
对象存储服务
重删 InfoTier(动态分级) InfoStamper(快照)
InfoRevive(视频图像修复)
NAS存储服务
InfoAllocator(配额) InfoReplicator(远程复制) InfoTurbo(性能加速)
Volume
Variety
Velocity
Value
▪ Huawei Confidential ▪ 4
传统技术面临海量数据扩展的困境
业务1
业务2 服务器 网络
业务3
… 服务器
云化IT系统
服务器 网络 存储 服务器 网络 存储
服务器 网络
服务器 网络 …
服务器 网络
网络
对象 接口
应用服务器
IB交换机
OceanS存储可以在一套系统配置 同一节点NAS接口、S3接口和Swift接口三选一 对象存储和NAS存储增值特性各自独立
吞吐能力

▪ Huawei Confidential ▪ 12
相关文档
最新文档