主流超融合厂商技术优劣对比

主流超融合厂商技术对比
超融合基础架构（HCI）是继服务器虚拟化技术之后的一次重大IT技术革新，其特点是通过分布式存储技术将各个计算节点（Hypervisor）的存储资源整合为一个统一的存储资源池，给虚拟化平台提供存储服务，实现计算、存储、网络、虚拟化的统一管理和资源的横向扩展，保障用户业务的高可用。

在超融合基础架构中，虚拟化是基础，而分布式存储则是超融合的技术核心。

从架构而言，HCI的分布式存储通常有两种方式来支持虚拟化，一种是以Nutanix NGFS为代表的采用控制虚拟机方式支持Hypervisor，如图一；另一种是直接在Hypervisor中集成分布式存储功能，如VSAN。

业界除了VSAN外，其它HCI全部采用控制虚拟机方案支持VMware虚拟化，而对于KVM虚拟化，各厂家采用在物理主机中实现分布式存储功能。

图一
主流的超融合厂商有Nutanix（NGFS），VMware（VSAN），以及国内新兴代表力量如华为（FusionCube），H3C（OneStor），SMARTX（ZBS），深信服（aSAN）,和道熵（Titlis）。

其中Nutanix的NGFS和SMARTX 的ZBS 脱胎于Google的GFS分布式文件系统；华为的FusionCube和H3C的OneStor是基于Ceph的定制化开发；而深信服的aSAN则是基于GlusterFS；VSAN在很大程度上和Ceph架构类似；而道熵的Titlis分布式存储在接口层兼容了标准Ceph接口，底层采用了磁盘阵列中常见的存储虚拟化技术。

根据对超融合产品的重要程度，我们选择了几方面的技术功能进行了相关考察：
1、抗xx错误
2副本或3副本机制可以保证在硬盘损坏甚至节点宕机的恶劣环境下，仍然保持高可用。

但是面对“静默错误”的情况，分布式块存储的副本机制则无能为力，腾讯云在不久前的“静默错误”风波证明了这一点，后果也是相当严重，用户的所有数据全部丢失，无法修复。

静默错误译自英文：
Silent Data Corruption。

磁盘在使用过程中，除了会发生硬件错误、固件BUG或者软件BUG、供电问题、介质损坏等可以正常补货和告警的常规故障之外，还会发生一些无法预警的错误，用户直到使用的时候才发现数据是错误的、损坏的，这就是静默错误。

简而言之，就是用户在使用的时候发现写入数据和读取出来的不一致。

“静默错误”的概率不低。

硬盘的误码率是“静默错误”产生的原因之一，根据官方数据，企业级硬盘每120Tb就会有一位静默错误的概率；另一方面，磁盘次记录磨损、磁盘幻象写、磁盘指向错误、DMA校验错误等等，都有可能引发静默错误，主板老化、内存条松动、连接线和卡的松动等都会导致读出的数据不是当初写入的数据。

在线数据完整性校验技术被认为是唯一能够有效应对静默错误的关键技术。

在线数据完整性校验技术确保每个数据块都有相对应的数据校验码，数据在读出时，必须与校验码匹配后才交付前端应用，否则，启动数据自修复机制。

目前，在所有的超融合厂商中，只有Nutanix的NDFS和道熵的Titlis支持在线数据完整性校验和数据自修复技术。

VSAN只在全闪存环境中具备在线数据完整性校验功能。

2、应对大延迟问题
分布式存储常产生大延迟现象，随着节点数增多，数据量增大而频次提升。

此现象的根源在于分布式存储共有的数据在磁盘间随机分布的特征造成的：
小数据块随机落盘在不同节点磁盘上，由概率论可知，这就造成了每块磁盘上的工作流呈现“正态分布”，尽管多数磁盘的工作负载呈平均状态，而正态分布的“尾部效应”可知，有极少部分磁盘的工作负载远远超过平均值，成为系统中的“热点磁盘”而构成性能瓶颈，而带来大延迟问题。

市场上的分布式存储技术（除道熵Titlis外）有一个共同点，就是均采用2副本或3副本的方式实现数据在不同节点的磁盘上随机均匀分布，从而实现高可用和磁盘故障保护。

在应对大延迟问题方面，道熵Titlis采用存储虚拟化技术
将节点内存储资源池化管理，不仅实现节点内RAID保护，同时实现了节点内负载自动均衡功能，有效避免由“热点磁盘”导致的大延迟问题。

3、Flash加速
Flash缓存加速技术是分布式存储提升IOPS性能的重要手段。

基于Ceph或GlusterFS的超融合厂商在该项技术面临挑战，因为原生的Ceph并没有一个成熟的Flash缓存技术手段，需要各个厂家自行研发解决方案。

目前大都在Flashcache、bcache、lvmcache基础上进行二次开发，总体而言，其稳定性和性能差强人意。

VSAN 采用基于LRU策略的Cache策略，其SSD和HDD的配比关系最大1:1，最小1:7。

Nutanix采用基于LRU的Flash 分层策略，其SSD容量至少为虚拟机占用容量的10%。

道熵的Titlis，则采用自适应的LRU和LFU 缓存替换策略，能够在保持较高命中率的前提下自动适应业务工作流的变化，且无需要求较高的SSD与HDD配比关系。

4、其他特征
Nutanix NDFS为了优化读写速度，尽可能会将虚拟机的数据保存于其所在的物理主机中；并支持LZ4数据压缩以及数据去重。

VSAN的突出亮点在于它是唯一在Hypervisor层面支持VMware虚拟化的超融合。

华为的FusionCube与H3C的OneStor具有Ceph的享誉的稳定性，而其在性能上的表现更多依赖于硬件能力。

SMARTX的技术路线与Nutanix NDFS非常相似。

深信服的aSAN是唯一支持2节点的超融合，但伴随着脑裂的风险；其超融合最大的特点在于体现了深信服特长的安全虚拟化。

道熵的Titlis在优化写性能方面采用了随机写转化为顺序写技术，支持保护LZ4和GZIP1-9等数据压缩，提供Site-to-Site远程复制和内置的数据备份功能。

图二、超融合技术对比：
总结：
Nutanix，VSAN和华为在品牌中占据优势；以性能和架构先进性而论，道熵的Titlis处于明显优势；在安全虚拟化方面深信服占据领先地位；而对已经使用VMware虚拟化的用户而言，VSAN是一个合情合理的选择。

对用户来说最重要的一点，超融合承载用户业务关键数据，数据安全至关重要，按抵御静默错误的能力而言，Nutanix和道熵Titlis是最让人放心的选择。