超融合技术的发展和应用场景

超融合技术的发展和应用场景

1、超融合架构的基本概念

超融合基础架构（简称“HCI”），是指在同一套单元设备（x86服务器）中不仅仅具备计算、网络、存储和服务器虚拟化等资源和技术，而且还包括缓存加速、重复数据删除、在线数据压缩、备份软件、快照技术等元素，而多节点可以通过网络聚合起来，实现模块化的无缝横向扩展（scale-out），形成统一的资源池。

超融合基础架构中的H指的是“Hyper”即虚拟化，对应虚拟化计算架构，比如VMware的EXSI、KVM和Hyper-V等。融合“Converged”指的是将计算和存储部署在同一个节点上，相当于多个组件部署在一个系统中，同时提供计算和存储能力。

如下图所示，超融合架构中最根本的变化是存储，由原先的集中共享式存储（SAN/NAS）变为软件定义存储。利用软件定义的方式将互连的x86服务器的本地硬盘（SSD和HDD）形成存储资源池，组建分布式存储架构，在此基础上实现了企业级的数据服务（如：弹性副本、快照、容灾等）供上层虚拟化平台使用。

其实，超融合架构要达到的目的之一，就是现实软件与硬件的解耦。使用通用的服务器实现，传统架构下使用专用硬件才能达到的功能。

2、超融合架构的发展起源

HCI起初是受到Google、Facebook等大型互联网公司通过软件定义技术构建大规模数据中心的启发，采用计算存储融合架构用于虚拟化环境，为企业客户提供一种基于X86硬件平台的计算存储融合产品或解决方案，为企业实现可扩展的IT基础架构。可以为数据中心带来最优的效率、灵活性、规模、成本和数据保护。

以GOOGLE的技术架构为例：

Google的核心技术架构为GFS分布式文件系统、BigTable分布式数据存储系统和Mapreduce计算框架。Gfs 分布式文件系统可以使用廉价的磁盘，存储海量的数据，并提供快速的查询与高安全性，并能自动扩展海量数据规模的限制。GFS分布式文件系统性能随着客户端的数量几乎线性增加，是一个低成本，高收益的解决方案。采用类似Google基于x86服务器的分布式架构的解决方案，可有效降低投资成本，非常具有借鉴意义。3、超融合架构是未来数据中心的发展趋势

数据中心发展到现在主要经历了4个阶段，基于传统IT架构的数据中心，虚拟化数据中心，云数据中心和基于超融合架构的云数据中心。

3.1、基于传统IT架构的数据中心

传统数据中心所采用的基础架构，是一个包含孤立存储、X86或小型机服务器、网络、高可用软件和管理软件的复杂系统架构，需要很多集成商和不同硬件厂商提供技术服务团队。包括需要不的存储、技术和网络团队负责采购、扩充和对设备的支持，维护生产系统，和不同的厂商打交道。这种传统IT架构需要庞大的专业技术服务团队来支撑，不仅成本高，维护复杂，而且容易让企业对厂商形成过度依赖。再加上多厂商合作存在兼容性和管理上的问题，使数据中心缺乏灵活性，部署周期也往往长达几个月，严重制约了企业数据中心的发展。这种架构适应了当时的数据大集中趋势，直到现在仍然还被很多企业采用，它是数据中心进入初始发展阶段的标志。

传统IT硬件厂商在这一阶段得到了飞速的发展。因为集中的部署方式必然会带来对硬件产品的性能、可靠性及扩展性需求的增加，促进了高端设备的销售。特别是存储设备厂商，由于数据大集中的需要，集中式的SAN/NAS 存储得到了快速的发展。

所谓传统存储，是相对于现在兴起的分布式存储而言，传统存储是集中式的，由控制器（处理器、内存、系统、软件）、IO控制卡、IO总线、磁盘阵列组成，按照能力特性又分为低端、中端和高端。其主要的差别还是在控制器的能力的不同，目前大部分企业采用的SAN存储或网络存储。由于存储的硬盘技术在很长一段时间内没有技术和工艺的突破，传统存储厂商只能在其他的特性寻找突破，包括：双控制器、多控制器、镜像、双活、自动分层、重删、快照、精简配置和数据复制等。

由于传统数据中心的架构制约，这种存储孤岛式的数据中心弊端也随之产生，目前正受到严重的挑战：

无法满足对云计算、大数据等新兴业务的需要，缺乏灵活性

容易形成数据孤岛，资源利用率很低，运维和管理成本高

系统结构复杂、设备部署周期长，采购成本高、性价比低

随着企业应用的增加，传统存储无法适应快速增长的性能和容量需求

3.2、基于虚拟化技术的数据中心

服务器虚拟化技术的出现代表数据中心进入了虚拟化的时代。以VMware为代表的软件厂商带领数据中心由物理硬件数据中心向虚拟化数据中心转变。

虚拟花技术就是将物理服务器、操作系统、及其应用程序打为一个可移动的虚拟机(VM)。在一个物理服务器上运行多个虚拟机，这些虚拟机共享底层硬件，从应用的角度看就象是一个物理服务器，有自己的操作系统，cpu、内存和存储等虚拟资源。虚拟机是可移动的，可以提高服务器的利用率；同虚拟机支持操作系统的和数据的备份、实施更加灵活。

虚拟化技术提高了服务器的资源利用率，并通过VMware的Vmotion/HA/FT等高可靠性技术极大的提高数据中心的业务系统的连续性。服务器虚拟化技术的大规模应用直接导致了业务应用由传统IBM/HP等小型机服务器平台迁移至X86服务器、VMware虚拟化软件和集中SAN存储平台。虚拟化技术所带来的好处是显而易见的，大部分企业由传统IT架构逐步转向基于虚拟化技术的数据中心架构。

服务器虚拟化的应用对数据中心带来的好处主要有：

1、传统IT架构数据中心的硬件的成本非常高，利用虚拟化技术，可以减少硬件的需求的数量，从而降低硬件采购成本。除了节省成本，虚拟机技术和还能使数据中心更加易维护、用电少，随着时间的推移，虚拟化带来的成本降低是非常明显的。

2、应用部署的灵活性得到了极大的改善，随着虚拟化技术的发展，重新部署应用可以通过虚拟机的快照技术在几分钟之内就能够完成。同时，应用的备份和迁移同样也变得简单、方便。

随着企业业务的不断发展，越来越多的业务需要互联网化，基于虚拟化技术的数据中心也不能完全适应业务发展带来的变化。因为基于虚拟化技术的数据中心仅仅解决了服务器资源利用率和高可用性的问题，但是计算与存储分离，只能通过专用的SAN/NAS的存储访问方式。VMware服务器虚拟化的Vmotion/HA等高可用特性极度依赖于集中存储，如果没有集中存储设备，这些特性都无法实现。所以基于虚拟化的数据中心又带来了新的存储问题：

1、集中存储通常采用纵向扩展方式，性能和容配置无法扩展，存储设备之间的数据迁移非常困难，这也会导致性能孤岛和数据孤岛的出现。

2、VMware虚拟化软件+集中存储的架构非常依赖于存储，存储设备故障将导致整个虚拟机资源的停机。

3、VMware的存储性能完全取决于后端集中存储的能力。而单一存储的性能是有限的。

4、虚拟化存储并不能解决数据中心的存储性能和架构复杂性的问题。虚拟化存储只是可以整合存储资源，提高存储设备的资源利用率。其实存储虚拟化是一个网关类设备，只是在SAN存储网络上加了一个存储管理层，这并不能降低整个IT架构的复杂性。在大规模部署的时候反而会带来新的问题。

5、基于虚拟化技术的数据中心只是提高了架构的灵活性，成本并没有降低。基础设施投入比和传统IT架构基本一致，虽然采用X86服务器可以降低计算成本，但是同时也需要购买VMware的许可证和高端集中存储设备，成本并没有显著降低。同时，为了保证虚拟化系统的可靠性，存储系统往往需要购买2台做镜像。

3.3、云计算数据中心

云计算数据中心不仅仅是技术，而是一种服务模式的创新。云计算之所以能够为用户带来更高的效率、灵活性和可扩展性，是基于对整个IT数据中心架构的变革，其技术和应用涉及硬件系统、软件系统、应用系统、运维管理、服务模式等各个方面。云计算的服务模式有SPI（即SaaS、PaaS和IaaS）这三个层次。

IaaS（基础架构即服务）作为云计算的三大部分之一，将基础架构进行云化，从而更好的为应用系统的上线、部署和运维提供支撑，提升效率，降低TCO。同时，由于IaaS包含各种类型的硬件和软件系统，因此在向云迁移过程中也面临前所未有的复杂性和挑战。

云计算架构在虚拟化的技术架构上丰富了虚拟化层，并通过云管理平台系统实现对虚拟化资源的自动调度、分配和计费等自助按需服务内容。

虚拟化层：大多数云计算架构都广泛采用虚拟化技术，包括计算虚拟化、存储虚拟化、网络虚拟化等。通过虚拟化层，屏蔽了硬件层自身的差异和复杂度，向上呈现为标准化、可灵活扩展和收缩、弹性的虚拟化资源池；虚拟化层对资源池进行调配、组合，根据应用系统的需要自动生成、扩展所需的硬件资源，将更多的应用系统通过流程化、自动化部署和管理，提升IT效率。

相对于虚拟化架构，云计算架构通过虚拟化整合与自动化，应用系统共享基础架构资源池，实现高利用率、高可用性、低成本、低能耗，并且通过云平台层的自动化管理，实现快速部署、易于扩展、智能管理，帮助用户构建IaaS（基础架构即服务）云业务模式。

云计算架构资源池使得计算、存储、网络以及对应虚拟化单个产品和技术本身不再是核心，重要的是这些资源的整合，形成一个有机的、可灵活调度和扩展的资源池，面向云应用实现自动化的部署、监控、管理和运维。云计算架构资源的整合，对计算、存储、网络虚拟化提出了新的挑战，并带动了一系列网络、虚拟化技术的变革。传统IT架构和虚拟化架构模式下，服务器、网络和存储是基于物理设备连接的，因此，针对服务器、存储的访问控制、QoS带宽、流量监控等策略基于物理端口进行部署，管理界面清晰，并且设备及对应的策略是静

态、固定的。云计算架构模式下，服务器、网络、存储、安全采用了虚拟化技术，资源池使得设备及对应的策略是动态变化的。

为了应对这种变化，实现云计算的发展，进行异构硬件系统的融合是必须解决的问题。一般的云计算技术只能在专用的硬件设备上实现资源的虚拟化和管理，并没有彻底实现硬件资源与虚拟化管理软件之间的解耦。这使得存储虚拟化这类技术并不适用于大规模的虚拟数据中心环境。比如，企业如果想将传统的IT基础架构改造为虚拟化的云计算数据中心，在技术上和经济性上都是不可行的。

主要存在以下几个问题：

云计算技术为更容易的管理应用而生，它利用虚拟化技术解决了CPU、内存资源闲置的问题。但随着虚拟化的大规模应用，虚拟机越来越多，虚拟机在传统存储上运行却越来越慢了。“慢”造成“体验差”，“体验差”成为了限制虚拟化应用的最大的瓶颈。这里面的最重要原因自然是，存储的I/O性能不够，大量的虚拟机和容器同时运行，I/O的混合，使得随机读写急剧增加，传统存储的结构无法承受大量的随机I/O。

3.4、基于超融合架构的云数据中心

基于超融合架构的云数据中心是指大量采用软件定义的技术，将计算、存储、网络与专用硬件实现解耦，实现IT基础架构的真正融合，为云计算数据中心的实施与部署扫清最后一个障碍。

软件定义的概念围绕让数据中心的三个重要基础设施，即服务器、网络和存储变得更为灵活，更自动化，并且更少依赖基础物理硬件。以亚马逊、阿里、百度和腾讯等互联网公司为代表的云计算服务商都是基于标准化的X86服务器，通过软件定义技术心向客户提供计算、网络和存储服务。在存储服务上，这些互联网服务商使用大量标准的x86服务器组成集群，没有集中或共享的SAN/NAS存储设备，把分布在每个节点上的服务器本地存储，用软件定义存储的方式聚合为可共享的逻辑存储池，这是大规模互联网基础设施的典型特征。超融合架

构存储是以软件定义技术替代了传统IT基础系统中的SAN，核心内容是构筑于标准X86服务器硬件上的软件定义存储和服务器虚拟化。超融合架构被广泛认为是互联网技术影响传统IT企业领域的体现。

软件定义技术是构建大规模云计算服务的基础，为数据中心带来最优的效率、灵活性、规模、成本和可靠性。可以说，这是实现“超融合架构云数据中心”所必须的技术之一。

因此，采用超融合架构提供云计算服务已经是一个明显的趋势。其特点是通过软件帮助用户将服务器、网络、虚拟化等整合为一个易于管理的集成系统，并通过自动化运维减少手动操作，提高安全性和降低人为错误，从而降低实施和运维风险，并降低运营成本。

IT数据中心的发展趋势

实现基于超融合架构的云数据中心几个必要条件：

超融合架构是基于标准通用的硬件平台，通过软件定义实现计算、存储、网络融合，实现以虚拟化为中心的软件定义数据中心的技术架构。这里面有几个必要条件：通用硬件平台、软件定义、虚拟化，其中软件定义的分布式存储是核心。

(1)完全软件定义。独立于硬件，采用商业通用标准硬件平台(如X86)，完全采用软件实现计算、存储、网络等功能。

(2)完全虚拟化。以虚拟化计算为中心，计算、存储、网络均由虚拟化引擎统一管理和调度，软件定义存储由虚拟机控制器CVM进行管理。

(3)完全分布式。横向扩展的分布式系统，计算、存储、网络按需进行动态扩展，系统不存在任意单点故障，采用分布式存储。

4、超融合架构的具体应用场景

4.1、提升云计算中心的存储性能

超融合架构存储系统采用的软件定义技术，首要解决的问题就是传统集中存储的性能问题，传统架构的存储设备已无法满足云计算架构对存储性能和灵活性的需求，超融合架构存储是分布式的，可以彻底摆脱传统IT架构对存储系统的性能约束。

传统IT架构提升存储性能的解决方案：

1)、在存储系统中增加SSD硬盘做Cache，利用自动分层技术，加速I/O。这在一定的规模下可能有效，但是存储设备的SSD Cache通常比例较小，不足5%的容量比的情况下，满足不了用户对热数据的缓存需求。超过5%成本又会很高，而且无法随需扩展，所有的数据仍然要从集中的存储控制器流出。

2)、使用服务器内置SSD硬盘做Cache，将数据直接写入到SSD上，加速I/O。这种类似的解决方案，通常缺乏高可靠性软件的支撑，服务器端的Cache如果用做写Cache，存在单点失效的问题，需要在多个服务器的Cache设备上做副本来提供可靠性，当本地SSD Cache满，需要被写回传统存储的时候，仍然被传统存储的“控制器”限制整体性能。

这两种方案都是受限于传统存储的结构，超融合存储则不一样，通过完全去掉传统存储，利用分布式文件系统来提供按线性增长的性能和容量，在这个基础上，再通过SSDCache进行加速，甚至可以全部使用SSD来构建整个分布式存储系统。

4.2、业务快速部署，降低成本，提升ROI

超融合基础架构首先给用户带来的价值是加快业务部署。传统的项目要经过一个非常长的项目设计、规划，然后到整个采购，之后要去进行集成、部署、测试等相关工作。而超融合架构一般都预集成封装虚拟化平台、云平台管理软件、SDN网络和分布式存储，集成整个存储、计算和网络以及应用软件让整个IT架构的搭建简化了很多，整个项目的IT部署周期可以缩减50%的时间，而且还可以降低很多人工出错风险。

超融合架构大部分都是基于X86硬件设备，可以显著降低IT采购成本。另外，由于X86采用统一的硬件架构，运维成本也会降低。

对于企业而言，投资回报率(ROI)是企业需要思考的另外一项重要问题。以超融合架构为例，从安装、测试、部署和运维，能够缩短IT周期大约50%的时间，减少实施的费用。另外通过超融合架构去做多种应用平台的部署，能够大大提高整个资源的利用率，对于整个企业而言都是很重要的成本节约。

4.3、大数据分析平台

目前大部分企业都在考虑部署大数据分析平台，对于存储的空间扩充和数据管理将是非常大的挑战。超融合架构具备横向扩展的特性，针对海量数据存储应用，可以实现大规模通用集群存储。超融合架构存储系统通过网络技术将大量基本X86存储单元整合起来协同工作，对外提供统一数据存储服务。另外，超融合架构设备厂商还会针对大数据环境进行了性能优化，并采用了副本、集群等大量容错技术，各项技术性能指标完全可以达到主流中高端存储阵列水平，替代传统集中式的存储设备。

4.4、支撑虚拟桌面、私有云等虚拟化计算应用

超融合架构可以将计算、存储和网络资源整合到一起，提供软硬一体的解决方案。

在虚拟化应用方面，包括存储、备份、复制、负载均衡在内所有策略的制定，都会围绕支持虚拟机进行。例如数据保护策略，传统SAN常使用第三方工具来定义，而超融合架构就将其集成在虚拟机层。不同数据中心之间或不同应用间（备份、复制等）进行负载迁移，管理员只要在虚拟机层操作就好了，无需亲自下到数据中心或底层存储去操作。

在虚拟桌面（VDI）应用方面，由于各种应用部署在单一的共享资源池里，可以不需要担心存储系统I/O影响虚拟机性能。此外，超融合架构的大容量分布式存储环境为系统灵活掌控随机和顺序负载提供可能。而且采用SSD 加速的分布式存储集群可以保障足够的IOPS应对VDI启动和登入风暴等严峻的负载挑战。

4.5、支撑高性能应用

说到高性能应用，数据库类应用对系统资源的占用一般是最高的。在传统的架构中，针对ORACLE 这类应用都会采用物理机设备。但是一般的X86物理机单台性能最高也就8颗CPU，在业务高峰期无法满足高性能需求，在业务低峰期又会造成资源浪费。而且这类系统对集中式存储的依赖性也很高，因为ORACLE数据往往要求强一致性。为了在超融合架构下使用这类应用，一般会在超融合架构存储中增加分布式锁机制等的功能，在软件定义存储系统的最底层位置，维护多数据副本间的强一致性，结合随机写日志化和数据智能分层等先进的数据读写过程，不仅可以提供给ORACLE高负载的数据库应用性能，还让数据库应用兼具了超融合架构的横向数据扩展能力。

5、超融合架构常见产品

超融合系统看起来跟一个x86服务器机架没什么区别，配有存储和计算，通过网络互联。但它又是个完全不同的东西。与普通服务器的最大的区别，是“高扩展性”。我们知道，单机要扩展只能加CPU、内存、硬盘，但超融合系统有统一的管理软件，可通过虚拟化平台、分布式存储管理等“软件定义”方式来平滑在线地增加节点，扩展系统性能和容量。

以前需要一大堆不同的软件来管理存储阵列、虚拟化和服务器硬件等，在超融合系统中用一个统一的管理界面就可以了。

超融合架构特别适合希望“即插即用”的用户，一旦接通电源，安装好用户自己的应用软件，可以立马投入使用。

超级超融合架构产品：

Nutanix：采用封装4个x86模块的定制机箱；

Simplivity：采用Cisco或Dell的定制服务器，支持VMware；

VMware 的EVO：RAIL：提供纯软件部署，硬件由认证的合作伙伴提供，只支持VMware vSphere；

华为FusionCube：采用自家定制的x86刀片服务器，一体化产品。

青云QingCloud一体机：预集成了虚拟化平台、云平台管理软件、SDN网络和分布式存储。SmartxZBS(https://www.360docs.net/doc/578929033.html,/hyper-converged/)

SMARTX：主要是软件，配置管理一套系统，支持水平扩展，支持商用x86服务器。

Zetta(中科云)：中科融合存储系统是一款自主研发、针对海量数据及高并发I/O应用而设计，集硬件平台、先进的分布式存储系统和智能管理功能于一体的存储产品。