内存数据库技术白皮书
内存数据库技术白皮书前言随着移动互联网的飞速发展,信息系统的互动性日益增强、用户规模不断攀升,催生出一大批高并发、低时延的新兴应用,这些应用需求对传统系统的性能提出了新的挑战,基于磁盘存储的数据库管理系统由于磁盘读写的速度限制,已经很难满足这类新应用的扩展性和时延要求。
主要依靠内存来存储数据的数据库管理系统,也称为内存数据库,成为了解决高并发、低时延数据管理需求的技术路线。
近年来,随着动态随机存储器(DRAM)容量的上升和单位价格的下降,使大量数据在内存中的存储和处理成为可能,Redis、Memcached 等内存数据库管理软件逐渐成熟,应用范围越来越广。
未来几年,随着非易失性存储器件(NVM)逐步投入商用,新硬件将会给内存数据库带来更大的发展机遇。
本白皮书阐述了内存数据库的概念,梳理了内存数据库的发展历史和核心属性,分析了在电商、直播和电信行业的典型应用场景,并对主流的内存数据库进行了介绍和对比。
白皮书还从技术和管理两个角度提出了产品选型和硬件选型建议,并总结了内存数据库的发展趋势。
本白皮书的编写得到了 Redis 中国用户组的大力支持,在此表示感谢!目录版权声明 (I)前言............................................................. I II 图表目录.. (V)一、什么是内存数据库 (1)(一)内存数据库概述 (1)(二)内存技术的成熟与突破 (1)(三)内存数据库的发展历程 (4)(四)内存数据库的优势与挑战 (7)二、内存数据库的分类及应用场景 (9)(一)内存数据库的分类 (9)(二)内存数据库的使用场景 (10)三、内存数据库的选型建议 (14)(一)内存数据库产品现状 (14)(二)内存数据库选型建议 (15)(三)硬件选型建议 (17)四、内存数据库技术演进趋势 (18)(一)内存数据库和传统数据库混合使用将成为主要模式 (18)(二)软硬件深度整合为内存数据库开辟新的技术方向 (18)(三)协议创新将进一步提升分布式内存数据库的一致性能力 (21)(四)与容器技术结合为内存数据库提供更强的弹性扩展能力 (22)五、总结与展望 (24)参考文献 (25)附件:缩略语 (26)图表目录表 1 1990 年代涌现的商用内存数据库 (6)表 2 10 款典型内存数据库对比 (14)图 1 1970 年代至今的内存价格和容量走势 (2)图 2 存储的金字塔模型 (3)图 3 内存数据库的发展历程 (4)图 4 用户信息使用的数据结构 (11)图 5 内存数据库选型建议 (15)一、什么是内存数据库(一)内存数据库概述内存数据库又称主存数据库(IMDB/MMDB, In-memory/main memory database),是一种主要依靠内存来存储数据的数据库管理系统①。
在数据库技术中,有一类内存优化技术,是在传统的磁盘数据库中,增加内存缓冲池,也就是常说的共享内存技术,其主要目的是最小化磁盘访问。
而内存数据库技术,几乎把整个数据库放进了内存中,相较于传统数据库使用的磁盘读写机制,内存具备更极致的读写速度②,性能会比传统的磁盘数据库有数量级的提升。
因此内存数据库通常被用于对性能要求较高的场景中。
(二)内存技术的成熟与突破1.内存技术的成熟内存器件的容量密度在快速上升。
最早期的内存和今天常见的内存条不同,是直接焊接在主板上的内存芯片,容量普遍在64KB 以下;1982 年之后,随着80286 芯片的推出,开始出现30 线(pin)256KB 的SIMM 内存条,被认为是内存领域的开山鼻祖;在80 年代末,386 和486 时代的PC 向16 位发展,出现了72 线的SIMM 内存,单条容量可达512KB-2MB;90 年代初,EDO DRAM 开始盛行,单条容量①维基百科:https:///wiki/In-memory_database②DDR3-1333 内存的读写速度约为1GB/s,传统磁盘的读写速度约为150MB/s在4MB-16MB;在1995 年,计算机系统进入图形界面时代,内存技术也发生了重要变革,支持64 位的SDRAM 成为一代经典,在性能上有极大提升,容量也达到了64MB;随后的十几年,内存容量开始稳定地遵循摩尔定律翻倍,持续到2019 年,DDR3 内存的容量已经可以达到16GB。
内存器件的单位价格也在逐年快速下降。
从1970 年代至今,内存每兆字节的价格下降了近9 个数量级,根据2019 年最新的统计数据,平均花费3-5 美元就可以购买到1GB 的内存。
图 1 1970 年代至今的内存价格和容量走势数据来源:https:///memoryprice.htm,中国信通院整理内存容量的持续上涨以及价格的下降,使大量数据在内存中进行存储和操作成为可能。
2.内存技术的瓶颈与突破过去几十年,计算机系统的存储体系结构被设计成如图2 的金字塔形模型。
这样的存储结构利用局部性原理尽量将热数据存储在靠近CPU 的地方。
在传统模式中,内存数据库的所有数据都保存在DRAM介质中。
虽然DRAM 的价格已经大幅下降,但在海量数据存储的需求下,内存的成本依然是很大的问题;另外由于DRAM 属于易失性介质,掉电后所有数据都会丢失,需要额外考虑数据持久化的方案,会极大的限制内存数据库的性能和使用场景。
图 2 存储的金字塔模型针对DRAM 现存的一些硬件瓶颈,业界已经研发出了持久型内存(PM, Persistent Memory),学术名为存储级内存(SCM, Storage Class Memory),和DRAM 一样,都是安装在机器主板的内存槽接口中。
参考图2,DDR DRAM 及以上的易失性存储CPU 可以通过load/store 指令直接访问,而NAND SSD 及以下的非易失性存储CPU 无法直接访问,需要先加载到易失性存储中,可以看出DRAM 与SSD 之间存在巨大的性能鸿沟,在访问时延上出现了跳变。
而持久型内存位于DRAM 与SSD 之间,以load/store 指令的方式访问并支持数据的持久化,也填补了DRAM 与SSD 在时延上存在的鸿沟。
相比DRAM,持久型内存在性能上处于劣势,但容量和价格均占据优势;相比NAND SSD,持久型内存在性能上处于优势,但容量和价值处于劣势。
持久型内存在2019 年第一季度已有新产品发布,但尚未大规模商用,随着非易失性存储的规模化使用,克服了硬件上的制约,会使内存数据库的产品能力和应用范围得到大幅度的提升。
(三)内存数据库的发展历程内存数据库的发展主要经历了雏形期、理论成熟期、市场成长期及高速发展期四个阶段:图 3 内存数据库的发展历程1.雏形期(1970 年代)在这个时期中,出现了内存数据库的雏形。
1969 年IBM 公司研制了世界上最早的数据库管理系统——基于层次模型的数据库管理系统IMS,并作为商品化软件投入市场。
在设计IMS 时,IBM 考虑到基于内存的数据管理方法,在1976 年推出了IMS/VS Fast Path[2]。
Fast Path 提出了数据分层存储的设计理念,将最活跃的数据放在内存中。
2.理论成熟期(1980 年代)1984 年,D J DeWitt 等人发表了《Implementation Techniques for Main Memory Database Systems》一文。
第一次提出了Main MemoryDatabase(主存/内存数据库)的概念。
并提出使用非易失内存或预提交和组提交技术作为内存数据库的提交处理方案,使用指针实现内存数据库的存取访问。
1985-1990 间,各大高校和科研机构涌现出了众多内存数据库产品。
IBM 推出了IBM 370 上运行的OBE 内存数据库;威斯康星大学提出了按区双向锁定模式解决内存数据库中的并发控制问题,并设计出MM-DBMS 内存数据库;贝尔实验室推出了DALI 内存数据库模型;Southern Methodist 大学设计出MARS 内存数据库模型;普林斯顿大学设计出TPK 和System M 内存数据库。
3.市场成长期(1990 年代)随着互联网的发展,越来越多的网络应用系统需要能够支持大用户量并发访问、高响应速度的数据库系统,内存数据库市场趋向成熟。
半导体技术快速发展,使得半导体内存可以大规模生产,动态随机存取存储器(DRAM)的容量越来越大,价格也越来越低,无疑为计算机内存的不断扩大提供了硬件基础,使得内存数据库的技术可行性逐步成熟。
20世纪90 年代,世界各地更多商业化的内存数据库产品开始涌现,并在各行业落地应用。
1994 年美国OSE 公司推出了第一个商业化的内存数据库产品Polyhedra;随后德国SoftwareAG 推出了Tamino Database;日本UBIT 会社开发出XDB;韩国Altibase 公司相继推出Altibase;奥地利的QuiLogic 公司推出了SQL-IMDB;美国McObject 推出eXtremeDB。
加拿大Empress 公司推出EmpressDB。
表 1 1990 年代涌现的商用内存数据库4.高速发展期(2010 年至今)21世纪初,随着Web2.0 技术的兴起,互联网进入了一个全新的高速发展期,海量数据的产生使得关系型数据库的存储和快速访问能力面临巨大挑战,越来越多基于非结构化数据模型的应用日趋广泛,这些应用对传统关系型数据库的一些特性并不关注,加上成本更低的开源软件的迅速发展,传统关系型数据库的地位开始受到多方的挑战。
2003 年由LiveJournal 的Brad Fitzpatrick 开发完成Memcached 软件,Memcached 是一个开源的,支持高性能,高并发的分布式内存缓存系统,由C 语言编写,第一个版本仅2000 多行代码。
但Memcached 软件不具备持久化功能,数据类型比较少,应用场景比较有限。
2010 年之后,移动互联网进入全面发展期,社交、电商、移动支付、直播、短视频等一大批移动端应用开始涌现,这些应用对系统的高并发、低时延能力提出了极高的要求,也带动了内存数据库的新一轮发展。
2009 年antirez 发布了Redis 第一个版本,Redis 是一个开源的使用ANSI C 语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value 数据库,并提供多种语言的API。
从2010 年3 月15 日起,Redis 的开发工作由VMware 主持。
从2013 年5 月开始,Redis 的开发由Pivotal 赞助,至2015 年6 月,开始由Redis Labs 赞助。
华为OceanStor T系列 技术白皮书
资料编码OceanStor T 系列技术白皮书文档版本V3.1 发布日期201307目录1执行摘要/Executive Summary (4)2简介/Introduction (5)3解决方案/Solution (6)4推广/Experience (21)5结论/Conclution (27)6缩略语表/Acronyms and Abbreviations (28)第3 页, 共28 页1 执行摘要/Executive Summary本文从存储技术的发展趋势为切入点,结合用户需求,从融合统一、高性能、高可靠、高扩展及绿色节能等方面详细介绍了华为公司OceanStor T 系列统一存储产品的功能及亮点,旨在突出T 系列产品独有的功能点以及为客户带来的价值。
2 简介/Introduction随着IT 技术的发展,IT 系统的数据量也随之日益增大,而异构多样的网络、割裂林立的部门和庞大冗杂的业务系统,造成了IT 总体架构的复杂性,设备管理和维护也面临着巨大的挑战。
权威机构调查表明,当前IT 运维日益复杂,IT 预算中运维成本占到了IT 总投资的72%,而仅有28%的投资用于基础架构的投资。
复杂的网络环境,单台存储系统遭遇的性能瓶颈,成本与性能需求的平衡以及客户对于混合型存储的强烈需求等等问题被抛出,如何解决这些问题成为IT 业界关注的重中之重。
华为技术有限公司全力打造的OceanStor T系列存储产品正是以统一存储为主打,高性能、高可靠、可扩展以及绿色节能为其设计理念,充分满足用户需求,保护用户投资,最大化提升用户价值。
3解决方案/Solution随着信息产业的发展,存储逐渐从计算机中独立出来,成为IT 产业中的一个大类。
在计算技术迅速发展的今天,技术的进步必然引起相关产业的发展,存储也不例外。
技术发展首先会产生新概念、新标准,这些都会直接影响相关产业的发展趋向,据业内专家分析,存储行业正在朝以下几方面发展:统一存储成为趋势随着信息化进程的加快,数据急速增长,非结构化数据的增长速度更是远超预期。
存储技术白皮书
存储技术白皮书目录第1章网络存储主要技术 (8)1.1概述 (8)1.2 DAS:直接附加存储 (8)1.3 SAN:存储区域网络 (9)1.3.1什么是SAN? (10)1.3.2 SAN的误区 (10)1.3.3 SAN的组成 (10)1.3.4 FC SAN的问题 (11)1.3.5 IP SAN (12)1.4 NAS:网络附加存储 (14)1.5 SAN和NAS (15)第2章主要协议和相关技术 (16)2.1 SCSI (16)2.2 FC(光纤通道) (17)2.3 iSCSI (19)2.4 iSCSI与光纤通道的比较 (20)第3章文件系统相关知识 (22)3.1什么是文件系统 (22)3.2主流文件系统和特点 (23)3.3 NFS和CIFS网络文件系统工作原理和特点 (27)3.4存储系统与文件系统的关系 (28)第4章RAID技术 (29)4.1 RAID概述 (29)4.2 RAID级别 (29)4.2.1 RAID0 (30)4.2.2 RAID1 (31)4.2.3 RAID2 (32)4.2.4 RAID3 (32)4.2.5 RAID4 (33)4.2.6 RAID5 (33)4.2.7 RAID6 (34)4.2.8 RAID10 (35)4.2.9 RAID01 (36)4.2.10 JBOD (37)4.3不同RAID级别对比 (38)第5章主机系统高可用技术 (41)5.1概述 (41)5.1.1双机热备份方式 (43)5.1.2双机互备份方式 (49)5.1.3群集并发存取方式 (51)5.2工作模式 (53)5.2.1双机热备份方式 (53)5.2.2双机互备方式 (54)5.2.3群集并发存取方式 (54)5.3适用场合 (54)5.4对存储系统的要求 (55)第6章数据一致性 (58)6.1数据一致性概述 (58)6.2 Cache引起的数据一致性问题 (58)6.3时间不同步引起的数据一致性问题 (60)6.4文件共享中的数据一致性问题 (60)第7章数据复制与容灾 (61)7.1灾难恢复/业务连续性 (61)7.2数据备份系统 (65)7.2.1数据备份 (66)7.2.2数据复制 (68)7.3数据一致性 (71)7.4总结 (73)第8章备份技术 (73)8.1什么是备份 (73)8.2备份与拷贝、归档的区别 (74)8.3常规备份的实现方式 (74)8.4 LAN Free和Serverless备份 (76)8.5主流备份软件和介质 (77)8.6备份技术新趋势 (83)9.1 HBA卡介绍 (86)9.1.1 FC HBA相关知识: (86)9.1.2主要HBA卡厂商 (87)9.1.3 iSCSI HBA相关知识: (87)9.1.4 iSCSI HBA和TOE网卡主要厂商 (88)9.2 FC连接设备介绍 (88)9.2.1 FC HUB相关知识: (88)9.2.2 FC Switch相关知识: (89)9.2.3 FC Director相关知识: (89)9.2.4 iSCSI-FC存储路由器 (89)9.2.5 FC Switch和FC Director主要厂商 (90)第10章信息生命周期 (90)10.1什么是信息生命周期 (90)10.2信息生命周期的实现 (91)10.3实现ILM的技术保障和面临的挑战 (92)10.4信息生命周期管理现状 (92)10.5法规遵从与信息生命周期管理 (93)10.6与信息生命周期相关的存储技术 (93)10.6.1固定内容管理: (93)10.6.2 WORM: (94)10.7怎样看待信息生命周期管理 (94)11.1 SMI-S (95)11.2 CDP(持续数据保护) (96)11.3虚拟存储 (96)11.4网格计算 (97)11.5高性能计算 (97)11.6负载均衡 (98)第12章常见主机及操作系统 (99)12.1主机架构及操作系统概述 (99)12.1.1主机架构 (99)12.1.2操作系统 (99)12.1.3操作系统比较 (100)12.2常见主机厂商及常见产品介绍 (100)12.2.1 IBM: (100)12.2.2 SUN: (101)12.2.3 Fujitsu: (102)12.2.4 HP: (103)12.3操作系统应用特点 (105)第13章常见数据库及应用系统 (105)13.1数据库厂商介绍 (105)13.1.1 Oracle (106)13.1.2 DB2 (111)13.1.3 Sybase (114)13.1.4 MS SQL Server (116)第1章网络存储主要技术1.1 概述存储系统是整个IT系统的基石,是IT技术赖以存在和发挥效能的基础平台。
NF8480M5 产品技术白皮书(浙江 attractive 高性能服务器系列)说明书
NF8480M5产品技术白皮书文档版本3.2发布日期2020-6-30版权所有© 浪潮集团有限公司2020。
保留一切权利。
未经事先书面同意,本文档的任何部分不得复制或以任何形式或任何方式修改、外传注:您购买的产品、服务或特性等应受浪潮集团商业合同和条款的约束。
本文档中描述的全部或部分产品、服务或特性可能不在您的购买或使用范围之内。
除非合同另有约定,浪潮集团对本文档内容不做任何明示或默示的声明或保证。
由于产品版本升级或其他原因,本文档内容会不定期进行更新。
除非另有约定,本文档仅作为使用指导,本文档中的所有陈述、信息和建议不构成任何明示或暗示的担保。
Inspur和“浪潮”是浪潮集团的注册商标。
Windows是微软公司的注册商标。
Intel、X eon是Intel公司的注册商标。
其他商标分别属于其相应的注册公司。
技术服务电话:4008600011地址:中国济南市浪潮路1036号浪潮电子信息产业股份有限公司邮编:250101目录目录............................................................................................................................................................... i i1 产品概述 (4)2 产品特点 (5)3 逻辑架构 (7)4 产品介绍 (8)4.1 前面板 (8)4.1.1 24×3.5"/2.5"前面板正视图 (8)4.1.2 OLED液晶诊断屏 (8)4.1.3 硬盘托架指示灯 (9)4.2 内部俯视图 (10)4.3 后面板 (11)4.4 主板布局 (12)4.5 Riser卡 (13)4.6 硬盘背板 (14)5 系统规格 (16)6 兼容性列表 (20)6.1 处理器 (20)6.2 内存 (22)6.3 存储 (24)6.3.1 SATA/SAS 硬盘型号 (24)6.3.2 SSD硬盘型号 (25)6.3.3 U.2 NVME SSD硬盘 (25)6.3.4 PCI-E NVME SSD (26)6.3.5 M.2硬盘 (26)6.4 RAID/SAS 卡 (26)6.5 网卡 (27)6.6 FC HBA 卡 (29)6.7 HCA 卡 (29)6.8 GPU (29)6.9 电源 (30)6.10 操作系统 (31)7 配置注意选项 (32)8 系统管理 (33)9 认证 (35)10 支持与服务 (36)11 新技术点描述 (37)11.1 Intel 可扩展架构 (37)11.2 Intel VROC 技术 (37)11.3 QAT 技术 (37)11.4 Memory Mirroring (37)11.5 Memory Rank Sparing (37)11.6 功耗感知技术 (38)12 相关文档 (39)13 商标 (40)1 产品概述浪潮英信服务器NF8480M5是浪潮针对政府、通信、金融、能源及各类大型企业的业务应用需求,基于全新一代英特尔®至强® 可扩展计算平台设计的一款高端四路机架服务器。
精一科技F1S2116N存储产品技术白皮书2016版
F1S 2116N存储产品技术白皮书存储事业部目录1.概述 (3)2.产品特征 (3)**. 硬件架构 (3)**. 存储容量 (4)**. 产品性能 (4)**. 协议支持 (5)**. 可靠性 (5)**. 管理易用性 (5)**. 领航存储管理系统 (5)3.竞争优势 64.产品规格表 (7)5.典型应用场景 (8)**. 小型后期制作系统 (8)**. 小型媒体资产管理系统 (10)**. 小型播出控制系统121.概述F1S 2116N存储系统产品,是北京精一强远科技有限公司研发制造的一款入门级NAS存储产品。
该产品以多媒体资料存储为主要功能,并为使用者提供大容量、高性能、低成本、多功能、易使用的存储共享解决方案。
F1S 2116N 系列产品可以广泛用于视频监控、VOD点播、非线性编辑、医疗影像、多媒体教学、电子政务等应用场景。
2.产品特征F1S 2116N系列存储体采用高性能硬件平台,其采用Intel公司最新的Haswell处理器,其集成了22nm制程的原生四核心CPU,运算能力超强。
同时,F1S 2116N的硬件平台还引入了SAS 2.0、以及硬件RAID处理器等多项先进技术,不惜成本地提升硬件平台的性能。
此外,F1S 2116N还采用了全冗余设计,全力保障整机的可靠性。
为了全面提升产品价值,F1S 2116N内嵌了自主研发设计的领航存储管理系统,提供了无与伦比的软件增值功能。
2.1.硬件架构3U 机架式机箱;●INTEL XEON 四核64bit 处理器;●标配8GB DDRIII-1600 ECC内存,最大32GB;●专业硬件RAID校验芯片,支持0, 1, 5, 6, 10, 50, and 60;●16个SAS /SATA 6.0Gb/s硬盘位,可扩展JBOD;●标配4个RJ-45千兆以太网主机端口,最大可扩展到8个;也可扩展到4个1Gb/s主机接口加2个10Gb/s主机接口;●1+1热插拔冗余电源(800W)。
使用VMware vCenter CapacityIQ 管理容量_技术白皮书
使用VMware® vCenter™CapacityIQ管理容量技术白皮书目录容量管理概述. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 CapacityIQ 信息收集 (3)CapacityIQ 性能衡量指标 (4)CapacityIQ 方法 (4)总容量 (5)不可用容量 (5)可用容量 (5)已使用容量 (5)剩余容量 (6)虚拟机总容量 (8)部署的虚拟机容量 (8)剩余的虚拟机容量 (8)计算虚拟机平均容量的示例 (9)CapacityIQ 趋势分析和预测 (12)数据解析和汇总 (14)数据聚合与保留 (17)每周聚合 (17)每月聚合 (17)每季度和每年聚合 (18)容量效率 (19)关闭的虚拟机 (19)闲置虚拟机 (21)容量过大的虚拟机 (22)容量不足的虚拟机 (25)总结 (29)容量管理概述容量管理是一项完善的企业数据中心管理实践。
有效的容量管理旨在实现两个目标:• 高效性:有效地使用现有容量,并最大限度地减少计算资源的浪费• 可用性:保留足够的可用容量,以满足任何资源需求高峰的需要这两个容量管理目标常常相互冲突。
如调整资源容量大小来提高效率,通常会降低容量可用性。
而部署额外的容量缓冲区往往又会降低容量的效率。
因此,容量管理的实质是进行权衡,它更像是一门艺术而不是科学。
虚拟环境中的容量管理更具挑战性,其原因有两个。
首先,虚拟环境中的物理资源通常在多个虚拟机之间共享。
其次,VMware® vSphere™ 4(以下简称“vSphere”)有自己的高级功能,如 VMware Distributed Resource Scheduler (DRS) 和内存优化功能,这些功能可以持续和动态地管理资源分配。
海量试验数据存储技术白皮书
技术白皮书海量试验数据存储模型(Mass Test Data Storage-MTDS)[ 友信软件研发中心 2006年 5 月 ]1. 海量试验数据存储(MTDS)简介(Breif Introduction) ................. 错误!未定义书签。
[关于本章] 本章综述XXXX的概况。
主要介绍XXXX是什么,它实现的目标、它能解决的问题、和它的技术特点,同时还概要介绍了相似软件系统的发展历史目标(Mission) ......................................................................... 错误!未定义书签。
MTDS可以被应用于实现如下目标:解决问题(Requirement Analysis)........................................... 错误!未定义书签。
[ XXXX的推出,主要针对如下现状和问题......。
具体问题的分析] 特点(Distinguishing features) ............................................ 错误!未定义书签。
[ 技术方面的、应用方面的、成本方面的。
等各个方面的显著特点。
] 历史(History) .......................................................................... 错误!未定义书签。
[ 业界相关技术及应用历史。
]2. XXXX总体结构及组成(XXXX Architecture ).............................. 错误!未定义书签。
[关于本章] 本章着重介绍XXXX的体系结构,和主要的组成部分。
同时可以简述基于XXXX的应用系统的部署方法。
2.1 XXXX体系架构说明........................................................... 错误!未定义书签。
信核存储虚拟化技术白皮书v1.5
异构存储资源统一管理存储虚拟化技术白皮书2015/12存储虚拟化技术白皮书2内容概要本文档分三部分。
第一部分扼要分析了目前存储管理所面临的问题。
第二部分介绍了存储虚拟化技术、不同实现层面及实施原理。
第三部分阐述了信核数据的存储虚拟化技术及工作原理,并对其特点进行分析。
预期读者文档编写对象为IT系统维护人员、存储技术工程师、系统工程师、系统架构师以及其他希望了解存储虚拟化原理的专业技术人员。
文档描述涉及某些名词和概念未作充分解释,假定读者已经获知以下基本概念。
一般性技术概念:磁盘阵列、高可用集群。
存储行业技术概念:块级存储、存储区域网络、逻辑卷与物理磁盘。
目录1现有存储管理面临的问题 (1)2存储虚拟化技术 (1)2.1基于块的存储虚拟化技术 (1)2.2基于存储网络的存储虚拟化技术 (4)2.3存储虚拟化的实施——带内虚拟化 (5)2.4OSNSolution存储虚拟化组件 (6)3OSNSolution技术特点与优势 (9)3.1概述 (9)3.2存储介质管理 (10)3.3存储协议支持 (10)3.4规格参数 (10)3.5技术优势 (11)4缩略语清单 (13)1现有存储管理面临的问题需要存储虚拟化的客户,一般面临以下挑战:●拥有不同厂商多套存储,但总体利用率不到30%;●有多家厂商存储需要管理,维护复杂,成本高昂;●存储老旧或性能不足,需要在线迁移数据至新存储;●有多套不同厂商存储需要进行高可用或容灾建设;如果在存储规划、运维中遇到以上问题,存储虚拟化是可考虑的一种解决方案。
2存储虚拟化技术存储虚拟化技术一般用来为单台或多台存储设备提供更好的功能特性,如实现异构存储整合,提供更好的资源利用率;或实现异构存储高可用、容灾等多种数据保护功能。
在阐述存储虚拟化的技术原理之前,我们首先要明确虚拟化可以在不同的IO层级实现。
当前主要有磁盘层级和文件层级两种存储虚拟化技术。
本文中所阐述的信核数据“存储虚拟化”技术是磁盘层级的虚拟化,即基于块级别的虚拟化。
浪潮 InCIoud Sphere 4.5旗舰版技术白皮书说明书
InCloud Sphere 4.5 旗舰版技术白皮书V1.0浪潮(北京)电子信息产品有限公司2017 年 1 月InCloud Sphere 4.5 旗舰版技术白皮书 V1.0目录1第一章摘要 (5)2第二章InCloud Sphere 产品概述 (6)2.1InCloud Sphere 介绍 (6)2.2InCloud Sphere 架构 (8)3第三章InCloud Sphere 技术原理 (9)3.1InCloud Sphere 系统设计 (9)3.2InCloud Sphere 核心技术 (11)3.2.1CPU 虚拟化 (13)3.2.2内存虚拟化 (15)3.2.3I/O 设备虚拟化 (17)4第四章InCloud Sphere 功能原理 (19)4.1 计算 (19)4.1.1CPU 管理 (19)4.1.2内存管理 (19)4.1.3GPU 管理 (20)4.2 存储 (23)4.2.1 存储I/O (23)4.2.2 快照 (24)4.2.3存储多路径 (25)4.2.4存储读缓存技术 (26)4.3 网络 (26)4.3.1网络虚拟化架构 (26)4.3.2网卡绑定 (29)4.3.3QOS (33)4.4高可用 (33)4.4.1vMotion (33)4.4.2Storage vMotion (36)4.4.3 HA (38)4.5负载均衡 (41)4.6 监控 (44)4.6.1性能收集 (45)4.6.2配置性能图表 (46)4.6.3自动化告警机制 (46)4.7vApp (48)4.8 灾备 (49)4.8.1DR 结构 (49)4.8.2DR 工作原理 (50)4.8.3DR 故障转移 (50)4.8.4备份机制 (51)4.9 容器 (52)4.9.1Docker 介绍 (52)4.9.2InCloud Sphere 旗舰版和Docker (52)4.9.3InCloud Sphere 提供Docker 支持优势 (54)5第五章InCloud Sphere 自动化能力 (56)5.1自动化安装 (56)5.1.1自动化部署架构 (56)5.1.2自动化部署条件 (56)5.1.3自动化部署过程 (57)5.1.4应答文件 (57)5.2自动化更新 (57)5.2.1iCenter 自动检查可用更新 (57)5.2.2Hotfix 自动更新 (58)5.2.3InCloud Sphere Tools 自动更新 (59)5.2.4池滚动升级 (59)6第六章InCloud Sphere 开放性和安全性 (61)6.1XAPI (61)6.1.1XAPI 介绍 (61)6.1.2XAPI 功能 (62)6.1.3XAPI 架构 (62)6.2Introspect API (63)6.2.1Introspect API 介绍 (63)6.2.2虚拟机内存保护 (63)6.2.3预防攻击技术 (63)6.2.4虚拟机无代理保护 (64)6.2.5Direct Inspect API 防病毒架构 (64)6.2.6Direct Inspect API 防病毒的优势 (65)6.3PlugIn (65)6.3.1PlugIn 介绍 (65)6.3.2PlugIn 优势 (66)6.3.3部分PlugIn 插件列表 (66)6.4安全架构 (66)6.5SSR (67)6.5.1SSR 介绍 (67)6.5.2SSR 实现原理 (68)6.5.3SSR 技术架构 (69)6.5.4SSR 主要功能 (70)6.6与OpenStack 集成 (70)6.6.1OpenStack 介绍 (70)6.6.2InCloud Sphere 旗舰版的优势 (70)6.6.3与OpenStack 集成架构图 (71)7第七章总结 (73)8第八章缩略语 (74)1第一章摘要浪潮,着力推动中国“行业云”,致力于成为中国领先的云计算解决方案供应商,业已形成涵盖IaaS、PaaS、SaaS 三个层面的整体解决方案服务能力。
华为OceanStor 18000系列技术白皮书
华为OceanStor 18000系列高端存储系统可靠性技术白皮书文档版本01 发布日期 2014-3-18华为技术有限公司版权所有© 华为技术有限公司2014。
保留一切权利。
非经本公司书面许可,任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部,并不得以任何形式传播。
商标声明和其他华为商标均为华为技术有限公司的商标。
本文档提及的其他所有商标或注册商标,由各自的所有人拥有。
注意您购买的产品、服务或特性等应受华为公司商业合同和条款的约束,本文档中描述的全部或部分产品、服务或特性可能不在您的购买或使用范围之内。
除非合同另有约定,华为公司对本文档内容不做任何明示或默示的声明或保证。
由于产品版本升级或其他原因,本文档内容会不定期进行更新。
除非另有约定,本文档仅作为使用指导,本文档中的所有陈述、信息和建议不构成任何明示或暗示的担保。
华为技术有限公司地址:深圳市龙岗区坂田华为总部办公楼邮编:518129网址:客户服务邮箱:support@客户服务电话:4008302118目录1 概述 (1)1.1 OceanStor18000系列高端存储系统产品概述 (1)1.2 OceanStor 18000系列高端存储系统可靠性概述 (2)2 系统可靠性设计 (3)2.1 架构可靠性设计 (3)2.2 基本可靠性设计 (4)2.3 模块级可靠性设计 (5)2.4 多重硬盘故障容错设计 (5)2.5 端到端的数据完整性保证设计 (6)2.6 创新的数据保护设计 (7)2.7 智能的QoS设计 (8)2.8 完善的数据备份和容灾方案 (9)3 精益的制造加工 (12)3.1 单板-整机制造全流程质量保证 (12)3.2 硬盘生产质量保证 (13)3.3 高端存储整柜制造及交付 (14)4 完善的运维流程 (15)4.1 在线维护 (15)4.2 高效及时的Cloud Service服务 (16)4.3 原厂维保服务 (16)5 缩略语表/Acronyms and Abbreviations (17)修订记录/Change History1 概述1.1 OceanStor18000系列高端存储系统产品概述OceanStor 18000系列高端存储系统是华为技术有限公司(以下简称华为)根据存储产品应用现状和存储技术未来发展趋势,针对企业大中型数据中心,推出的新一代(虚拟化、混合云、精简IT和低碳等)存储系统,聚焦于大中型企业核心业务(企业级数据中心、虚拟数据中心以及云数据中心等),能够满足大中型数据中心对海量数据存储、高速数据存取、高可用性、高利用率、绿色环保和易于使用等需求。
宝德云存储技术白皮书1.宝德分布式存储系统架构
宝德云存储技术白皮书1.宝德分布式存储系统架构宝德分布式存储系统是基于开源的Ceph存储系统进行整合和优化并做二次开发,宝德分布式文件系统是一个Linux PB 级文件系统。
宝德分布式存储系统在一个统一的系统中同时提供了对象、块、和文件存储功能。
它可靠性高、管理简单,并且是开源软件。
分布式存储系统的强大可以改变贵公司的IT 基础架构和海量数据管理能力。
分布式存储系统可提供极大的伸缩性——支持数千客户端访问EB级数据。
分布式存储系统的节点可以充分利用硬件资源和智能OSD守护进程,而一个分布式存储系统存储集群容纳了大量节点,它们相互通讯、复制数据、动态地重分布数据;分布式存储系统监视器也能组成集群来监控整个分布式存储系统存储集群内的分布式存储系统节点,确保它们运行正常。
✧一个对象存储:分布式存储系统的对象存储为RADOS,是分布式存储系统FS 文件系统、RADOS 网关、和分布式存储系统块设备的存储部件。
✧多个存储接口:在同一个分布式存储系统对象存储集群中,,您可以使用分布式存储系统文件存储、分布式存储系统对象存储、或者分布式存储系统块存储接口,你也可以同时使用这三个接口,无需为三种不同接口分别建设存储集群!✧使用普通硬件:您可以用普通硬件部署分布式存储系统,而不需要购买昂贵的专用存储或网络硬件。
分布式存储系统的底层是RADOS(Reliable, Autonomic, Distributed Object Store,即可靠的、自动化的、分布式的对象存储)。
RADOS由两个组件组成:✧OSD:Object Storage Device,提供存储资源;✧Monitor:维护整个分布式存储系统集群的全局状态。
存储集群的客户端和各个OSD 守护进程使用CRUSH 算法高效地计算数据位置,而不是查询某个表。
分布式存储系统基于RADOS提供了一个可无限伸缩的对象存储系统,它的高级功能包括:基于librados 的对象存储系统原生接口、和多种服务接口,它们有:✧SAN/块设备:RBD 服务提供了大小可调、支持快照和克隆的块设备。
