超融合技术在内蒙古广电网络新BOSS域系统建设中的应用

作者简介：安彪内蒙古广播电视网络集团有限公司工程师王来锁内蒙古广播电视网络集团有限公司工程师超融合技术在内蒙古广电网络新BOSS 域系统建设中的应用安彪1王来锁21.2.内蒙古广播电视网络集团有限公司内蒙古呼和浩特市010051【摘要】超融合是继服务器虚拟化技术之后的一次重大IT 技术革新，其特点是通过分布式存储技术将各个计算节点的存储资源整合为一个统一的存储资源池，给虚拟化平台提供存储服务，实现计算、存储、网络、虚拟化的统一管理和资源的横向扩展，保障用户业务的高可用。

本文主要介绍如何采用超融合技术建设一个基于云化架构，实现分布式部署，弹性扩展，同时具备融合全业务运营能力的新BOSS 系统。

【关键词】BOSS 系统虚拟化超融合【中图分类号】TP393.1【文献标识码】A【文章编号】2096-0751（2019）07-0011-061BOSS 系统简介BOSS （业务运营支撑系统）是企业信息化系统的重要组成部分，支撑广电网络业务的运营和用户的管理，并为所有周边系统提供基础数据和能力支撑，是企业运营管理思想和战略的集中体现。

内蒙古广播电视网络集团有限公司（以下简称“内蒙古广电网络”）原有BOSS 系统已不能很好的支撑各类新业务，严重影响企业的转型、发展。

同时，BOSS 系统存在底层架构和数据模型老化、功能落后、硬件平台性能不足、不可扩展等问题，无法满足新形势下全业务融合运营、客户分级服务、网格化管理、大数据分析及精准营销等转型的支撑要求。

目前，BOSS 系统的架构技术和运维模式为每新增一个业务系统都需要完成一次软、硬件部署，对企业的整个运营来说是一件非常繁琐和复--49杂的事情。

另一方面，每个业务系统都单独分配服务器创建平台，造成严重的硬件资源浪费，同时旧设备无法匹配软件升级的要求，不仅资源利用率低，且运营成本增加。

目前，内蒙古广电网络正在规划建设新BOSS 域支撑系统。

为了让新平台具备弹性扩展、资源按需使用、业务敏捷上线的能力，包括以后数据业务向云化发展的趋势能够平滑的演进，决定对现有技术平台架构进行创新性改造，更好的支撑未来业务发展，并简化业务平台的管理运维工作。

2建设目标在新BOSS域系统建设上，以提升服务支撑为目的，充分借鉴电信、广电行业成熟和先进的业务运营经验及IT技术发展趋势，结合公司战略要求，按照高起点、循序渐进、适度超前的建设思路，打造一个结构完整、功能完善、操作便捷、模型成熟、扩展性强、配置程度高要求的新BOSS 支撑系统，满足企业未来5～10年的业务发展需要。

经过多次论证，BOSS域系统构建基于云技术的全新技术架构体系平台，选择采用超融合技术作为新BOSS全业务承载及运营的基础架构设计，主要原因如下：（1）具有高部署性。

通过融合技术能够快速创建多台虚拟机，实现新业务快速上线、快速推广、快速迭代功能，缩短了新业务系统部署上线流程。

（2）具有高利用性。

利用虚拟化技术，将超融合平台硬件设备资源利用率发挥到最大。

解决了广电网络在业务发展过程中，存储空间等资源不足和业务无法快速灵活部署等难题。

（3）具有高管理与维护性。

超融合技术架构可通过云管理平台实现集群统一管理和硬件资源的整合与调用，将所有的资源管理和分配，经统一的WEB界面操作，通过鼠标的拖拽连线即可进行拓扑搭建。

同时，为管理员提供一键故障定位功能，整个平台简单易用，后期维护变得更方便。

（4）具有很高的可扩展性。

超融合技术提供高IOPS、易弹性扩展的存储资源，在不影响现有业务运行下实现在线硬件扩容，对于未来业务的扩容，也只需添加超融合物理机，整个架构可实现弹性扩展。

在大幅度提升性能和业务吞吐量的基础上，最大化的节约建设和运营成本。

（5）具有高安全性。

超融合架构属于当前行业内成熟、先进的技术产品，可提供极高的可靠性和数据备份保护机制，确保任意硬件出现故障时，能实现数据的快速重建，确保系统安全运行，业务不中断，数据不丢失。

3方案设计3.1规模介绍本次新BOSS域系统建设，采用20台x86服务器（共40C授权）+超融合HCI软件+4台万兆交换机。

每台服务器配置了2颗24核2.3GHz主频CPU、256G内存、2块600G SAS硬盘、1块1.6T NVME SSD。

其中，10台服务器配置10块960GB 读写混合型SSD硬盘用于应用层业务承载，剩余10台配置10块1.2T SAS硬盘用于数据库业务承载。

四台万兆交换机两两采用堆叠技术，避免存储网络的单点故障，对业务系统的影响。

业务系统主要承载客户核心BOSS业务，包--50括：运行业务系统核心组件BBS、EDA报表数据库、关系型数据库，还包括PORTAL认证系统、OSS、网格应用、渠道应用、网厅、TV厅、客服等业务系统。

使用超融合架构组件ACMP+ASV+ASAN+AN-ET。

超融合架构是利用计算服务器虚拟化ASV、存储虚拟化ASAN、网络虚拟化ANET等组件，将计算、存储、网络等虚拟资源融合到一台标准x86服务器中，形成标准架构单元。

多套单元设备可以通过网络聚合起来，实现模块化的无缝横向扩展，形成统一的资源池。

ACMP即云管理平台，以云主机的形式部署在集群上，是超融合架构中的一个管理组件，通过云管理平台可管理每个集群的物理资源，根据业务应用的使用情况为每个虚拟机进行CPU、内存、磁盘、网络资源进行分配，还可实现监测虚拟机运行状态、快速部署虚拟机业务、备份恢复等功能。

ASV是超融合架构解决方案中的计算虚拟化组件，也是整个超融合架构中的核心组件，每台x86硬件服务器经过ASV组件最终呈现多台标准的虚拟机。

ASAN是分布式存储系统，利用虚拟化技术“池化”集群存储卷内通用x86服务器中的本地硬盘，实现服务器存储资源的统一整合、管理及调度，最终向上层提供NFS/iSCSI存储接口，供虚拟机根据自身的存储需求自由分配使用资源池中的存储空间。

ANET是超融合架构解决方案中的网络虚拟化组件，通过Overlay的方式来构建大二层和实现业务系统之间的隔离，通过NFV实现网络中的所需各类网络功能资源按需分配和灵活调度，从而实现超融合架构中的网络虚拟化。

采用超融合架构数据中心建设可以异构和纳管现有的Vmware虚拟化平台，实现管理平台的统一管理。

3.2设计介绍总体物理架构设计，如图1所示。

图1总体物理架构设计总体网络拓扑，如图2所示。

图2总体网络拓扑如图1所示，通过20台高端x86硬件服务器部署了超融合架构，以虚拟化技术为核心，利用ASV、ASAN、ANET等组件，以自定义的方式实现计算、存储、网络、安全等资源的整合及按需使用，据各个业务以及安全等级要求的不同，划分不同的物理设备组建集群，承载不同的业务。

按照企业目前的业务系统的特点及安全等级不--51同，本次部署一共创建四个服务器集群，见表1。

在每个集群按需创建多个虚拟机，分别将BOSS等相关核心业务系统部署在各个虚拟机上，目前在云主机上已完成70余台虚拟机核心业务部署。

3.3功能设计3.3.1可视化配置配置虚拟主机（快速部署）：在新建和部署虚拟机时，可以使用克隆技术或者导入虚拟机模板，实现快速部署功能，提升业务部署的效率。

配置虚拟主机间虚拟网络：通过鼠标的拖拽连线搭建网络拓扑，实现“所画即所得”。

配置主机CPU、内存、磁盘空间：可实现在线划分主机资源给虚拟机，当某个虚拟机出现CPU、内存或磁盘不足时，可在运行中完成资源划分，实现横向平滑扩展容量和性能。

管理自动备份：可以针对每个虚拟机可视化配置备份策略，第一次备份为完整备份，在备份保留时间周期内其他备份为增量备份，在虚拟机开机或者关机状态下均可备份。

3.3.2可视化监控可实现虚拟机监控、物理机监控、CPU、内存、磁盘空间、虚拟机性能监控、网络拓扑监控、异常告警自动通知（短信）。

如图3所示。

图3可视化监控示意3.4可靠性设计3.4.1虚拟机HA超融合架构平台通过多主机组建为集群，采用分层次设计，将计算平台（CPU和内存）、存储硬件设备6台x86服务器6台x86服务器4台x86服务器4台x86服务器集群名称BSS云应用集群BSS云数据库集群PT云应用集群PT云数据库集群已部署虚拟机数量30个7个22个14个已部署应用营业厅前台应用、客服、增值业务web应用、实时报表应用、后台独立进程应用、接口应用和FTP接口等。

BSS核心数据库、BSS只读数据库、EDA数据库等。

三厅一卡、渠道应用、网格应用及支付平台等。

门户数据库、REDIS数据库、渠道管理数据库、网格数据库等。

表1四个服务器集群--52平台（虚拟存储或外置存储）以及网络平台（物理出口、VXLAN 数据通信口）三者之间相互解耦。

使用集群“故障迁移”功能，通过配置一定的检测条件，当探测到主机发生故障且持续一定时间时，触发虚拟机HA 功能使其从其他主机上恢复运行，从而避免单点故障。

3.4.2DRX 动态资源扩展在虚拟机运行时，如果应用访问请求急增导致虚拟机CPU 或内存资源使用率持续过高时，可以手动或自动为虚拟机添加CPU 或内存资源，保证虚拟机的持续稳定运行。

3.4.3动态资源调度DRS 动态资源调度，能够持续监控当前集群中各主机节点的CPU、内存的使用情况和虚拟机的主机分布情况，并自动生成虚拟机在线主机迁移调整计划，动态调整虚拟机的运行位置，使集群的计算资源达到均衡使用的效果。

DRS 技术采用的是“虚拟机在线主机迁移”的方式，只调整虚拟机的主机运行位置，不会改变存储运行位置，迁移过程也不会对虚拟机上的业务造成影响。

3.4.4统一管理设计超融合架构的云管平台可以同时兼容Vmware虚拟化平台，并支持对主流的x86硬件资源实现统一集中管理，通过云管理平台为用户屏蔽异构虚拟化平台差异。

在多虚拟化平台环境下，能为用户提供相同的云主机资源服务，并实现对异构虚拟化平台的统一管理。

3.4.5监控中心设计监控中心的设计，如图4所示。

为了全方位监控业务提前预警，减少业务中断次数与时间，并支持大屏展示，让整个数据业务可视化，更好地支撑关键业务上云，规划在云管理平台部署监控中心。

监控中心主要功能为：（1）主动探测业务的运行状况。

对云管平台上部署的核心业务进行主动探测，当业务出现访问慢或不可用时，通过短信、邮件等方式进行告警。

（2）深入分析应用性能。

对Oracle、SQL Server、Web logic 应用进行可用性、响应时间告警，并提供内部数据可视化及代码级别深入分析，快速定位应用性能瓶颈。

（3）全方位监控虚拟机：监控虚拟机CPU、内存、磁盘、网络流量、进程状态等指标，指标图4监控中心设计示意--53数据可保留一年，可以进行TOPN性能分析和趋势分析。

3.4.6冗余性设计虚拟存储作为虚拟机的存储位置，使用SSD 盘作为缓存盘用以提升存储的IO效率。