ParaStor云存储系统介绍
923845-服务器-中科曙光ParaStor200并行存储系统介绍

信息技术的发展带来数据的爆炸性增长,PB 规模的数据越来越常见,这些数据80%以上是视频、音频、图片等非结构化数据,如何有效地管理海量非结构化数据已成为IT 管理者所必须重视的问题。
传统的SAN 和NAS 存储架构已经无法满足海量非结构化数据处理的密集型I/O 及海量并发访问的需求。
ParaStor200并行存储系统汇集了曙光公司多年以来在并行计算和海量数据处理方面的丰富经验,从架构上彻底消除了传统存储系统的瓶颈,能够满足高带宽和高并发的海量文件存取的需求,为用户带来前所未有的存储性能体验。
产品概述ParaStor200并行存储系统采用了代表存储技术、网络通信技术以及数据管理技术发展方向的并行体系架构,是一款面向海量非结构化数据处理、拥有自主知识产权的高端存储系统。
它可以提供TB/s 级的高速带宽和EB 级的海量存储空间,能够满足飞机汽车船舶设计、生物基因研究、材料科学研究、天气预报、地震监测、环境监测分析、能源勘探、电子商务、网络游戏、社交与视频分享网站建设、动漫渲染、视频编辑处理等领域中对于存储容量和I/O 性能要求极高的应用,可广泛应用于政府、教育、科研、制造、企业、医疗、石油、广电、互联网等行业。
ParaStor200并行存储系统先进的架构使其具备超强的横向扩展能力,只需要简单地增加数据控制器,即可获得更大的存储容量和更多的数据通道,从而获得更高的系统聚合带宽和I/O 性能。
随着数据控制器的增加,所有物理资源(CPU 、缓存、网络带宽和磁盘读写带宽)自动实现负载均衡,满足成千上万个客户端的数据并发存取需求。
此外,ParaStor200高可用、全冗余的架构设计也使其具有及时的系统预警、准确的故障定位和优越的容错恢复能力,可以保障业务系统7×24小时的持续可用,实现海量存储系统最高级别的可靠性。
曙光并行存储系统ParaStor200特点:● EB 级单一命名空间●支持高并发I/O ● TByte/s 级聚合带宽 ● 性能随容量的增加呈线性增长● 全冗余架构,无单点故障● 自动化故障恢复产品特性EB级单一命名空间全局单一命名空间可以为用户构建EB级容量的虚拟存储池,所有客户端可以在同一个命名空间下共享访问所有的数据。
ParaStor云存储系统介绍v1

集群NAS
Scale-up双控到Scale-out多控集群 块存储基础上,构建NAS存储、对象存储 逐步集成重删、复制、容灾等高级功能 EMC VNX、华为5000、宏杉MS5000
从实际情况来看,集群NAS支持 块协议,其实性能很差,市场并 不认可
软件定义(SDS)
5
EMC/VMWare
Nutanix和Vmvare引领市场,EMC 集群NAS Isilon正在和Vmvare融合 NetApp面对市场冲击, 推出OnTap Edge软件 华为Fusion系列、华三UIS2.0系列,华为集群NAS 9000在和Fusion融合 联想与Nutanix建立战略合作关系,共同开发融合基础设备产品
超融合、软件定义存储打开国内市场尚需一定时间 国内市场全闪存有所增长 集群NAS市场蓬勃发展,保持较高的增长率
$18.00 $16.00 $14.00 $12.00 $10.00
$8.00 $6.00 $4.00 $2.00 $0.00
Scale-Out NAS Back-Up
Appliances All-Flash Hyper-converged
ParaStor双节点存储系统
14
双节点 对称
硬件规格
软件特性
双节点对称架构 2U12、4U36盘位 冗余架构、无单点故障 2U12包含8块数据盘 4U36包含24块数据盘 不支持节点扩容
内嵌ParaStor组件及软件 POSIX/NFS/CIFS/FTP接口 RESTful接口 双副本(推荐)、2+2:1 权限管理、配额、WORM
划分多个分组,缩小磁盘故障域
M:每个磁盘分组中允许故障的磁盘数
分区内包含50个磁盘 分为4个磁盘分组,G1=G2=13,G3=G4=12 冗余度:3个磁盘(M=3)
曙光ParaStor300S并行分布式云存储系统产品技术白皮书V1.6

信息技术的发展带来数据的爆炸性增长,毋庸置疑,我们已经全面跨入大数据时代,PB 规模的非结构化数据越来越常见,如何有效地管理这些数据,并进一步发掘数据价值,已成为IT 管理者所必须重视的问题。
同时大数据4V 特性也对存储系统的大容量、高性能、易扩展、易用性等提出了更高要求。
传统的SAN 和NAS 存储架构已经难以满足海量数据的密集型I/O 并发访问需求。
ParaStor300S 并行分布式云存储系统,是在曙光公司近10年来海量数据存储与处理的基础之上,针对大数据时代的特点,全新设计并全面优化的高端存储系统。
产品定位 集群文件/对象统一存储 基于曙光完全自主研发的并行分布式软件ParaStor 构建的集群存储系统,对外统一提供多种存储协议: 提供文件存储服务,包括Linux POSIX 、NFS 、SMB 、FTP 等,满足Windows 、Linux 、Unix 等异构平台的不同访问需求; 提供对象存储服务,兼容Amazon S3接口,满足云生态的应用需求。
特别地,同一集群可以同时提供文件/对象接口,访问方式更为灵活。
Scale-Out 横向扩展的并行架构 基于服务器构建的并行分布式存储系统,对外提供单一的命名空间。
支持3~4096节点的弹性无缝扩展,单一存储空间容量可扩展至EB 级。
具备超强的横向扩展能力,只需简单地增加存储节点,即可获得更大的存储容量和更多的数据通道,从而获得更高的系统聚合带宽和I/O 性能。
面向海量非结构化数据存储场景 ParaStor300S 并行分布式云存储系统适用于存在数据共享需求的多种应用领域,如高性能计算、生物信息、气象预报、环境监测分析、地震监测、能源勘探、卫星遥感、视频监控、媒资管理、视频编辑处理等,可以广泛应用于政府、教育、科研、医疗、石油、广电、企业等行业。
ParaStor300S 并行分布式云存储系统新一代自主研发的海量非结构化数据存储 EB 级共享空间⚫ 3~4096节点⚫ 单一命名空间⚫ 按需分配,在线扩容多种访问协议 ⚫ Linux POSIX⚫ NFS/CIFS/FTP⚫ S3多款硬件平台⚫ 2U12、4U24、4U36⚫ SATA/SAS/SSD 混插智能存储策略⚫ SSD 读缓存加速⚫ 细粒度配额管理多重数据保护⚫ 2~4副本⚫ N+M:b 纠删码⚫ 快照⚫ 全冗余设计,无单点故障简易运维管理⚫ 多套集群统一管理⚫ 资源、状态实时监控⚫ 邮件、短信、SNMP 告警系统架构 ParaStor300S 并行分布式云存储系统(下文简称为ParaStor300S )的整体逻辑架构如图 1所示:NFS CIFS FTP 硬件节点层数据处理层应用协议层存储节点池Node Node …...Node Node Node …...Node 存储节点池Node Node …...Node Node Node …...NodePOSIX S3UNIX/LINUX Windows 图 1 系统架构ParaStor300S 基于服务器构建,多个节点构成硬件资源池;数据处理层将硬件资源池统一管理,对外提供单一的命名空间;通过POSIX 、集群NAS (NFS 、CIFS 、FTP )、S3等协议供上层应用访问。
曙光云计算解决方案

资源调度策略
静态资源调度策略:包括负载均衡和节能环保。
在虚拟机创建的过程中会用到静态资源调度策略。
动态资源调度策略。
在虚拟机运行的过程中会用到动态资源调度策略。
业务需求 资源池
• 场景一:创建虚拟机。
创建虚机时,系统会根据用户指定的静态 资源调度策略选择符合要求的Hypervisor。
云服务门户
运营服务组件 服务目录管理 服务质量管理 服务流程管理 项目资产管理
Cl企o业u用d户v管i理ew COC
云运营中心 业务支撑组件 运维监控 记账计费
配置管理 容量管理 部署管理
基础设Ia施aS即服C务loudvi软e件w即服C务SSPaa云S 服务门平台户即服务PaaS
云基础架构平台组件
监控Hypervisor上运行的虚拟 机,若VM负载超出阈值,系统 动态地为其分配资源(vCPU、 内存)以满足其计算要求。
系统全局资源调度
系统实时监控物理资源分区中 Hypervisor及虚拟机的运行时 负载,当Hypervisor或虚拟机 负载超过阈值时,根据策略动 态迁移虚拟机。
COC的组织管理(多租户管理)
• 场景二:启动虚拟机。
启动虚拟机时,资源调度策略会帮助用户 选择合适的Hypervisor。
• 场景三:虚拟机运行中。
当某个物理资源分区开启动态资源调度后, 系统会根据当前配置的动态调度策略(激 进、保守、普通)定时迁移虚拟机,即将 负载高的Hypervisor中的虚拟机迁移至负载 低的Hypervisor中,从而实现系统资源的动 态平衡
云计算中心的统一运维
整体视图(系统整体视图,资源层次监控,) 安全监控(业务无关性,Hypervisor层,数据隔离) 多种视图(资源视图,业务视图,性对比分析)
中科曙光ParaStor200-G10并行存储系统用户手册V1.0

·您可以使用腕带,该腕带利用接地线与接地的工作区或计算机机箱相连。腕带必须能够灵活伸缩,而且接地线的电阻至少为1兆欧姆10%。要达到接地目的,佩戴时请将腕带紧贴皮肤。
·在立式工作区内,请使用脚跟带.脚趾带或靴带。当您站在导电地板或耗散静电的地板垫上时,请在双脚上系上带子。
·不要将电源线放在容易踩到的地方,也不要使其受到旁边物体的挤压。要特别注意插头.电源插座以及电源线与服务器的连接处。
插图
表
1
在本章中,您将可以了解到曙光公司ParaStor云存储系统的产品特点、技术特性及性能指标。
产品概述
ParaStor200云存储系统是一款通用存储平台,提供非结构化海量数据的存储功能,以集群文件系统和集群NAS方式向用户提供服务。
如您不正确地或未按本手册的指示和要求安装.使用或保管本产品,或让非曙光公司授权的技术人员修理.变更本产品,曙光公司将不对由此导致的损害承担任何责任。
本手册中所提供照片.图形.图表和插图,仅用于解释和说明目的,可能与实际产品有些差别,另外,产品实际规格和配置可能会根据需要不时变更,因此与本手册内容有所不同。请以实际产品为准。
商标和版权
“SUGON”及图标是曙光信息产业股份有限公司的商标或注册商标。
“中科曙光”及图标是曙光信息产业股份有限公司的商标或注册商标,文中“曙光信息产业股份有限公司”简称“曙光公司”。
“AMD”,“Opteron”及图标是Advanced Micro Devices公司的注册商标。
“Microsoft”.“Windows”.“Windows Server”及“Windows Server System”是微软公司的商标或注册商标。
云存储设备简介

云存储设备简介云存储设备是一种用于存储和管理数据的技术设备,它可以通过互联网连接到远程服务器,从而让用户可以随时随地访问他们存储的数据。
云存储设备通常由硬盘服务器、网络设备和云存储管理软件组成。
云存储设备的优势之一是灵活性,用户可以根据需要随时扩展存储容量,而无需购买新的硬件设备。
另外,云存储设备还能够实现数据备份和数据共享功能,方便用户管理和保护数据。
除了个人用户,许多企业也使用云存储设备来存储和管理大量的数据。
云存储设备可以提供高可靠性和安全性的存储解决方案,同时还支持数据的自动备份和恢复功能,保障企业数据的安全。
总的来说,云存储设备是一种方便、灵活、高效的数据存储和管理解决方案,适用于个人用户和企业用户,为用户提供了更加便捷的数据存储和管理体验。
云存储设备在信息技术领域扮演着日益重要的角色。
它为用户提供了无缝的数据访问和管理体验,无论是个人用户还是企业用户,都可以通过云存储设备方便地存储、备份和共享数据。
一方面,对于个人用户而言,云存储设备提供了一个安全、高效的方式来存储和管理个人数据。
用户可以将照片、视频、文档等文件上传到云存储设备中,从而避免了因本地设备损坏或丢失而面临数据丢失的风险。
此外,云存储设备还支持多设备同步,用户可以在多台设备上访问到相同的数据,为用户提供了更加便捷的数据存储和访问方式。
另一方面,对于企业用户而言,云存储设备可以作为一种高效的数据备份和存储解决方案。
企业通常有大量的数据需要进行存储和备份,传统的本地存储设备往往难以满足企业对于高可靠性、高可用性和数据安全的需求。
而云存储设备提供了可扩展、高可靠性和安全性的存储解决方案,可以满足企业对于大规模数据存储和备份的需求。
除了存储和备份功能,云存储设备还支持数据共享和协作功能。
用户可以通过云存储设备方便地与他人共享文件或者协作编辑文档,提高了工作效率和协作能力。
尤其是在现在的远程工作环境下,云存储设备为用户提供了一个便捷的方式来进行远程文件共享和协作。
了解云存储软件的特点和使用方法

了解云存储软件的特点和使用方法第一章:云存储软件的特点1.1 简介随着互联网的发展和存储技术的进步,传统的本地存储方式已经无法满足人们日益增长的数据存储需求。
云存储软件以其高效、安全和可伸缩的特点,成为了现代信息时代数据存储的主要方式之一。
1.2 弹性扩展性云存储软件具有很强的扩展性,可以根据存储需求的增长自动扩展存储容量。
无论是个人用户还是企业用户,在云存储软件上都可以轻松扩展存储空间,满足日益增长的数据存储需求。
1.3 数据备份与恢复云存储软件提供了可靠的数据备份和恢复功能,保护用户数据的安全性。
用户可以将重要数据备份到云存储上,即使本地设备发生故障或丢失,也可以通过云存储软件快速恢复数据。
1.4 安全性云存储软件通过数据加密和访问控制等安全机制,确保用户数据的机密性和完整性。
同时,数据在传输和存储过程中采用多重保护,防止数据泄露和被非法篡改。
第二章:云存储软件的使用方法2.1 注册与登录首先,用户需要在云存储软件的官方网站或应用商店下载并安装该软件。
然后,用户需要注册一个新的账户,并使用邮箱或手机号进行验证。
完成注册后,用户可以使用注册的账户登录云存储软件。
2.2 上传与下载登录云存储软件后,用户可以通过界面上的上传按钮将本地文件上传到云存储中。
用户可以选择上传单个文件,也可以选择上传整个文件夹。
上传完成后,用户可以通过搜索或浏览云存储中的文件,并选择下载到本地设备。
2.3 文件管理云存储软件通常提供了直观的文件管理界面,用户可以通过该界面对云存储中的文件进行管理。
用户可以创建、删除、移动和重命名文件夹,还可以对文件进行分类、排序和标签管理等操作,以便更有效地管理和查找文件。
2.4 数据分享云存储软件还提供了数据分享功能,用户可以通过生成分享链接或邀请其他用户加入共享文件夹的方式,与他人共享自己的文件。
用户可以自定义分享的权限,例如只读或可编辑,以满足不同的共享需求。
2.5 数据同步云存储软件通常支持多平台数据同步功能,用户可以在不同设备上安装并登录同一云存储账户,在各设备间同步文件和数据。
ParaStor云存储系统介绍

联想LeoStor(LoogStore)
IBM SONAS(GPFS) DDN 蓝鲸BWFS 云创科技
分布式
SAN共享式 SAN共享式 SAN共享式 分布式
非对称性
对称性 非对称性 非对称性 非对称性
Panasas ActiveStor
Gluster Moosefs 昆腾StorNext SNFS
分布式
分布式文件系统产品分类
前端数据访问层 串行访问:串行地从一个节点读写数据 并行访问:并行地从多个节点同时读取数据 对称性:集群内所有节点均能处理元数据和数据 协作管理层 非对称性:元数据节点、数据节点相互独立
后端存储访问层
共享式:集群中的每个节点都能访问到相同的底层存储介质 分布式:每个节点只能访问到连接至本地的存储介质,并独占该介质的
存储市场预测($B,2014-2018)
25% 15% 9% 3% 4% 20% 11% 11% 16%
49% 2014年 $1.90 $1.10 $0.60 $0.30
26%
12% 2018年 $3.90 $1.60 $1.70 $2.50
集群NAS市场蓬勃发展
全球市场Scale-out NAS稳步增长
2. 并发IO支持能力高,高聚合IO带宽
影响
2. 所有客户端都必须在 SAN 环境中, 特别是在 FC-SAN 环境中,客户端 数量受限
架构区别-全对称式vs.非对称式
全对称式 非对称式
优势
1. 所有节点功能对等,元数据服务、数据服务
能力同等扩展 2. 容量要求较小时,节点配置数量较少,成本 更有优势
访问;访问其他节点数据需要通过网络传输
集群文件系统架构中,关注和讨论的主要焦点在于对称性/非对称性、共享式/分布式的区别
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
两种形态将长期共存,面向不同市场
传统厂商纷纷推出混合存储、全闪存阵列,如EMC XtreamIO、NetApp(EF、AFF 系列)、华为(18000、Dorado系列)、HP(3PAR 20000)、宏杉(MS7000AF) 新型全闪存厂商:Nimble Storage、ViolinMemory、Purestorage
1 3
超融合
计算、存储、网络等 一体化
技术 趋势
2
4
闪存化
混合存储(HFA)
全闪存阵列(统一架构
NAS基础上,增加对象、块接口
逐步增加快照、远程复制、重删等 NetApp FAS、 EMC Isilon、IBM GPFS、 高端盘阵的NAS功能其性能、扩 展性、包括可用性都远差于集群 NAS 华为9000等
曙光ParaStor300云存储系统介绍
技术创新,变革未来
目录
2
1 2
存储市场发展趋势 ParaStor300产品规格
ParaStor300产品功能
3
4 5
重点市场分析
竞争力分析
技术发展趋势
统一架构
Scale-Out横向扩展
文件、块、对象 高级功能丰富
3
软件定义
软件和硬件松耦合 专用平台向X86移植
49%
从全球市场来看,超融合存储、全闪存阵列、集群
$0.00
NAS将成为主流存储产品 超融合、软件定义存储打开国内市场尚需一定时间 国内市场全闪存有所增长 集群NAS市场蓬勃发展,保持较高的增长率
Scale-Out NAS Back-Up Appliances All-Flash Hyper-converged Converged Infrastructure Traditonal Arrays
4
集群NAS
中高端存储阵列
从实际情况来看,集群NAS支持 Scale-up双控到Scale-out多控集群 块协议,其实性能很差,市场并 不认可
块存储基础上,构建NAS存储、对象存储
逐步集成重删、复制、容灾等高级功能 EMC VNX、华为5000、宏杉MS5000
软件定义(SDS)
EMC/VMWare
• Isilon SD版本, 2016年初进入市
5
NetApp
• FAS系列、E系列 正在往虚机中移植,
IBM
• XIV系列实现纯软 件版本
华为
• Fusion Storage作 为独立的软件定义
场
• ScaleIO作为独立 存储产品推广
屏蔽硬件差
产品推广
从本质上看,曙光ParaStor也是一款软件定义的存储产品
Server HD HD D HD D D SSD SSD SSD
Server
HD HD D HD D D
SSD SSD SSD
国外发展很快,国内刚起步,市场容量约5亿(软硬件),增长迅速
Nutanix和Vmvare引领市场,EMC 集群NAS Isilon正在和Vmvare融合 NetApp面对市场冲击, 推出OnTap Edge软件 华为Fusion系列、华三UIS2.0系列,华为集群NAS 9000在和Fusion融合 联想与Nutanix建立战略合作关系,共同开发融合基础设备产品
$18.00
8
$16.00
$14.00 $12.00 $10.00 $8.00 $6.00 $4.00 $2.00
存储市场预测($B,2014-2018)
25% 15% 9% 3% 4% 20% 11% 11% 16% 26% 12% 2014年 $1.90 $1.10 $0.60 $0.30 $2.40 $6.10 2018年 $3.90 $1.60 $1.70 $2.50 $4.00 $1.80
ParaStor 300
-
QoS 远程复制(同步) 数据归档 自动功耗控制 小文件聚合 P200已有高级功能的完善
体系架构
Windows UNIX/LINUX
11 客户端
MAC
并发读写
并发读写
并发读写
元数据读写
数据控制器
数据控制器
……
数据控制器
索引控制器 索引控制器 索引控制器 索引控制器
管 理 控 制 器 管理网
超融合需要很好的服务支撑
闪存化
混合存储
现有架构,加入闪存加速、分 层存储 绝大部分应用领域性能足够, 目前中高端阵列、vSAN等采用 的方案
7
全闪存阵列
机械磁盘复杂故障的处理技术和经验 不再适用,需重新开发存储协议栈 不同介质存在颠覆性差异( SSD、 NVMe、3D-Xpoint ) 目前客户集中在金融证券、电信领域
存储架构市场发展趋势
传统SAN、NAS磁盘阵列业绩下降严重(-26.4%) 新型的Server SAN架构的超融合存储(68%)、全 闪存阵列(31%)增长最快 全球市场Scale-out NAS(19.9%)稳步增长 中国市场Scale-out集群架构存储市场份额已达 45.8%
管 理 控 制 器
数据迁移
数据迁移
数据控制器
数据控制器
……
数据控制器
数据归档
产品形态
12
ParaStor云存储系统
通用产品形态,索引控制器支持2~128个,数据控制器支持3~4096个 数据控制器硬件规格支持2U24、4U24、4U36、5U86盘位等4种 索引控制器高可靠双活架构;数据冗余支持多副本、纠删码两种方式
国内的技术发展普遍落后于国外,软件定义现阶段对国内的影响有限
从我们测试情况来看,软件定义的产品成熟可用的偏少
超融合
X86服务器+高速网络+SSD
6
虚 虚 虚 机 机 机
统一存储软件
虚 虚 虚 机 机 机
统一存储软件
虚 虚 虚 机 机 机
统一存储软件
Server HD HD D HD D D SSD SSD SSD
目录
9
1 2
存储市场发展趋势 ParaStor300产品规格
ParaStor300产品功能
3
4 5
重点市场分析
竞争力分析
ParaStor300产品概述
ParaStor200的平滑升级 硬件平台切换,新增高级功能
10
硬件升级
-
新增功能
-
-
Romley V2平台切换至Grantley V3平台 节点的默认内存容量增加 OStor节点增加2U24(I620G20)、5U86(S650-G20)盘 位两种机型