云计算管理平台技术方案

云计算管理平台技术方案

目录

一、背景介绍 (4)

二、云计算管理平台整体架构 (4)

2.1物理层总体设计 (6)

2.1.1云平台的互联网出口介绍 (8)

2.1.2业务应用区 (8)

2.1.3管理和服务区 (9)

2.1.4云数据库区 (10)

2.1.5备份存储区 (10)

2.1.6核心交换区 (12)

2.1.7云安全访问控制区 (13)

2.1.8物理设备选型原则 (14)

2.2资源抽象和控制层 (15)

2.2.1计算资源池设计 (15)

2.2.2存储资源池构建 (21)

2.2.3网络资源池构建 (24)

2.2.4虚拟化管理平台 (27)

2.3云服务层 (31)

2.3.1 IaaS服务 (31)

2.3.2多租户组织架构 (33)

2.3.3虚拟数据中心 (33)

2.3.4云服务使用流程 (39)

2.3.5云服务的申请与审批 (40)

2.3.6云服务交付 (42)

2.3.7云安全服务交付 (54)

2.3.8云负载均衡服务交付 (55)

2.3.9云数据库服务交付 (57)

2.4云运维层 (62)

2.4.1云运维平台整体架构 (62)

2.4.2云平台分级管理 (64)

2.4.3设备管理 (65)

2.4.4资源管理 (81)

2.4.5资源编排 (93)

2.4.6资源监控 (99)

2.4.7用户管理 (106)

2.4.8流程管理 (109)

2.4.9日志管理 (113)

2.4.10报表管理 (113)

2.4.11计费策略管理 (117)

2.5云安全层 (118)

2.5.1云安全需求及边界划分 (118)

2.5.2云边界安全防护需求 (119)

2.5.3云内部安全防护需求 (119)

2.5.4云安全体系架构 (120)

2.6云备份方案 (123)

2.6.1备份架构设计 (123)

2.6.2存储备份 (124)

2.6.3云数据备份 (127)

2.6.4云主机备份 (132)

2.6.5云数据库备份 (136)

2.6.6备份策略 (142)

一、背景介绍

云计算是计算机科学和互联网技术进一步融合发展的产物，也是引领未来信息产业创新的关键战略性技术和手段。云计算在教育领域应用前景广阔，未来将在促进教育公平、降低教育成本、变革教学活动方式、提高管理效率和助推终身教育等五个方面对教育产生深远影响。

云计算本质是将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和各种软件服务。微软把云计算定义在云+端、软件+服务上；谷歌(Googe)认为，云计算就是以公开的标准和服务为基础，以互联网为中心，提供安全、快速、便捷的数据存储和网络计算服务；IBM则认为云计算是一个虚拟化的计算机资源池，一种新的IT资源提供模式。虽然他们对云计算的定义不同，但认识较一致的地方是：云计算即“按需服务”，将数据存储和计算能力作为可以通过互联网来获取的“服务”向客户提供。

二、云计算管理平台整体架构

云计算管理平台整体架构图如下图所示：

图1.云管理平台整体架构图

整体分为六大部分：

1、物理层

物理层包括运行云管理平台运行所需的云数据中心机房运行环境，以及计算、存储、网络、安全等设备。云中心机房的部署按照分区设计，主要分为数据库区、业务应用区、存储区、系统管理区、网络出口区和安全缓冲区等区域。

2、资源抽象与控制层

资源抽象与控制层通过虚拟化技术，负责对底层硬件资源进行抽象，对底层硬件故障进行屏蔽，统一调度计算、存储、网络、安全资源池。其核心是虚拟化内核，该内核提供主机CPU、内存、IO的虚拟化，通过共享文件系统保证云主机的迁移、HA集群和动态资源调度。同时通过分布式交换机实现多租户的虚拟化层的网络隔离。在存储资源池的构建上，采用分布式存储技术，实现对服务硬盘的虚拟化整合，并通过多副本（3-5份）技术保证存储数据的高可靠。

3、云服务层

云服务层提供IaaS层云服务：

IaaS服务：包括云主机、云存储（云数据盘、对象存储）、云数据库服务、云防火墙、云负载均衡和云网络（租户子网/IP/域名等）。IaaS层服务向PaaS层、SaaS层提供开放API接口调用。

云服务通过自助服务门户，向租户提供自助的线上全流程自动化交付。用户可以在自助服务门户上进行服务的申请，完成审批后相应的云资源将会交付给用户远程控制使用。

4、云安全防护

云安全防护为物理层、资源抽象与控制层、云服务层提供全方位的安全防护，包括防DDoS攻击、漏洞扫描、主机防御、网站防御、租户隔离、认证与审计、数据安全等模块。

5、云运维层

此模块为云平台运维管理员提供设备管理、配置管理、镜像管理、备份管理、日志管理、监控与报表等，满足云平台的日常运营维护需求。

6、云服务管理

此模块主要面向云管理员，对云平台提供给租户的云服务进行配置与管理，包括服务目录的发布，组织架构的定义，租户管理、云业务流程定制设计以及资源的配额与计费策略定义等。

2.1物理层总体设计

基础设施层拓扑如下：

图云计算数据中心拓扑图

物理资源层应包括运行云平台所需的机房运行环境，以及计算、存储和网络等设备。主要分为业务应用区、云数据库区、备份存储区、管理和服务区、核心交换区和云安全访问控制区。物理组网示意图，如下图所示：

图表物理组网示意图实际组网拓扑如下图所示：

图表实际组网拓扑

2.1.1云平台的互联网出口介绍

2.1.2业务应用区

主要用于部署承载业务应用的物理服务器，通过提供大内存性物理服务器，配置为2

路INTEL XeonE5-2620 CPU（6核，主频2.0GHz），内存96GB，硬盘2*300G SAS+6*900G SAS，2G高速缓存，作为计算单元，同时，利用服务器本地硬盘，结合H3C vStor零存储解决方案来满足业务应用的存储需求，物理组网示意图如下图所示：

图表业务应用区

如图所示组网，单台物理服务器分别连接四个不同的网络：

1、业务网络：服务器网卡上联H3C S5820v2接入交换机，提供业务数据访问网络；

2、管理网络：服务器网卡上联H3C S5120HI接入交换机，通过系统管理区相应管理软件实现虚拟化平台管理、网络管理、H3C CSM管理等；

3、存储网络：通过连接H3C S6300万兆电口接入交换机，实现不同区域不同物理主机之间存储网络的互通；

4、服务器带外管理网络：通过服务器带外管理iLO口上联H3C S5120HI交换机，形成跨交换机带外管理网络集群，方便运维人员以服务器集群为单位对硬件进行统一管理配置。

2.1.3管理和服务区

部署云管理平台、网络管理平台、虚拟化管理平台等管理服务器，硬件同样采用大内存性2路物理服务器，通过对云管理平台、网络管理平台、虚拟化管理平台等软件的部署，实现对底层资源的合理管控，保障业务运行的可靠性、可用性，合理的分配资源，通过自动化的运维管理，提升客户IT人员的运维管理效率，物理组网如下图所示：

图表物理组网图

从业务管理可靠性来分析，系统管理区各管理平台部署分为两大类，硬件支撑系统和虚拟支撑系统。

硬件支撑系统主要是考虑到业务管理平台的重要性和可靠性，故直接采用物理服务器作为支撑平台，包括：

1、H3C CVM双机集群：通过CVM主机实现对虚机的管理运维，采用双机热备的形式，保证CVM管理平台的可靠性

2、H3C CSM双机集群：通过CSM主机实现对大云平台的管理运维，采用双机热备的形式，保证CSM管理平台的可靠性

虚机支撑系统是指在虚拟化环境下，直接将管理平台部署在虚机上，建立统一的云服务管理集群，通过虚拟化软件来保证各管理平台的可靠性，在这个集群内主要运行以下几个系统：

数据库管理：主要内容包括数据库的建立、调整、重构、安全控制、完整性控制和对用户提供技术支持。

H3C云管理平台：实现网络拓扑、故障、性能、配置、安全等管理功能。

OpenStack计算管理节点：对下层虚拟化计算资源进行管理调度。

对象存储管理：静态数据的存储、检索、预览，数据的持久性和可扩展性管理。

2.1.4云数据库区

部署承载数据库服务的物理服务器，对于部分高性能数据库可直接部署在物理主机上，通过配置4路INTEL Xeon E5-4620 CPU（核数8核，主频2.2GHz），64G内存，2*300GB

硬盘的高性能物理服务器，来满足客户对于数据库系统的承载需求。对于性能要求不高的数据库服务，以虚拟机方式部署交付。数据库服务区通过部署高性能的FC存储，来满足客户关键业务的数据存储以及对数据，物理组网如下图所示：

图表云数据库区

2.1.5备份存储区

通过部署高性能存储设备以及专业的备份管理软件，实现对云主机&云存储区以及云数据库区的数据的备份，保障业务数据的高可靠性，物理组网如下图所示：

图表备份存储区组网拓扑

采用1台物理服务器作为备份管理服务器，利用H3C FlexStorage P5730存储作为数据备份介质。

H3C FlexStorage P5730存储是一款横向扩展存储平台，专为满足虚拟化环境不断变化的需求而设计。它提供了完美的解决方案：可满足高可用性、数据移动性、灾难恢复、可管理性及升级等方面的需求。

借助本身的企业级存储软件功能和领先的虚拟化软件集成，FlexStorage可为各个阶段的虚拟化增长提供支持。直观、普遍的管理方式简化了存储管理。此外，FlexStorage还支持数据跨不同层、位置以及在物理和虚拟存储之间移动，为用户的虚拟化环境提供了完美的应用。

H3C FlexStorage P5730是一款专门为客户设计的机架式IP存储产品，通过全面的企业特性组合帮助物理和虚拟环境降低SAN成本，

?通过建立存储集群和网络RAID，通过网络RAID可在存储系统内的RAID磁盘组出现故障、整个存储系统出现故障或者出现网络或电源等方面的外部故障时提供保

护

?可扩展的性能，无中断式升级

?集中的管理控制台

?快照、远程拷贝可降低灾难恢复的成本

2.1.6核心交换区

通过物理网络设备N:1虚拟化技术，简化生成树协议的部署，实现云数据中心内的大二层网络互通，为云主机的自动化迁移与调度提供环境支撑。同时在核心层旁挂LB，对各分区进行安全访问控制,物理组网如下图所示，

图表核心交换区

核心交换区的主要功能是完成各服务器功能分区、广域网、互联网之间数据流量的高速交换，是广域/局域纵向流量与服务功能分区间横向流量的交汇点。核心交换区必须具备高速转发的能力，同时还需要有很强的扩展能力，以便应对未来业务的快速增长。

如图所示，核心区由H3C S12510-X组成。使用链路聚合技术合并多个10GE端口，提供两交换机之间的连通性。核心区交换机连接到所有其他区的边缘设备，既可以是一对HA方式的交换机，也可以是一对HA方式的防火墙。有两类连接到核心，一类是来自交换机（比如业务系统服务器区）的连接，另一类是用防火墙连接（互联网接入区）。每个区边缘交换机都上行连接到Core-SW1和Core-SW2。每个区交换机将使用单独的VLAN，VLAN跨越两个交换机，上行连接到核心。成对且以高可用性方式部署的防火墙将有一个VLAN，这个VLAN 跨越两个核心交换机上行连接，并每个都连接到一个核心。每个上行连接VLAN都在两个交换机中配置。

同时，在核心接入交换机旁挂LB负载均衡设备，支持全面的四至七层负载均衡和链路负载均衡功能，支持IPv6 基础特性及IPv6的负载均衡，并配合云数据中心实现虚拟化环境下针对关键业务的动态资源扩展，动态应对突发业务访问量所带来的资源瓶颈，提高业务运维的效率。

2.1.7云安全访问控制区

此区域是逻辑区域，用于部署与互联网公有云、广域网接入区进行数据交互的安全隔离设备，确保数据访问安全，包括设置网络隔离、防DDoS攻击设备、防火墙、IPS、端口安全检测等。保证物理网络安全性的同时，通过虚拟化技术，实现在虚拟化环境下数据访问的安全控制，物理组网如下图所示：

图表云安全访问控制区

此区域实现的功能：

1、DDOS流量清洗：对进入云数据中心的数据流量进行实时监控，及时发现包括DOS攻击在内的异常流量。在不影响正常业务的前提下，清洗掉异常流量。有效满足用户对云数据中心运作连续性的要求。同时通过时间通告、分析报表等服务内容提升用户网络流量的可见性和安全状况的清晰性。

2、访问控制：利用防火墙实现云数据中心的整体安全防护；同时为每个申请安全服务的租户提供独立的vFW服务，实现租户业务的隔离需求。

3、入侵防御：通过SecBlade IPS插卡，可为数据中心内部提供了更坚固的安全保护机制。通过IPS的深度检测功能可以有效保护内部服务器避免受到病毒、蠕虫、程序漏洞等来自应用层的安全威胁。

2.1.8物理设备选型原则

根据实际业务需求和上述配置原则，物理设备选型遵循以下要求：

物理服务器的选型：

1)常规大内存型应用，主要用于承载业务系统的云主机服务，采用2路CPU服务器，

CPU核数≥6核，配置E5-2620及以上的CPU；内存≥96G；

2)高计算型应用，主要用于数据库服务等，采用4路CPU服务器，CPU核数≥8核，

配置E5-4620及以上的CPU；内存≥64G；

数据库区FC存储选型：

1)存储设备支持：FC光纤通道存储设备

2)支持数据分层存储，可以在SSD、15K、10K、7.2K硬盘之间动态迁移数据；

3)单台阵列要求配置≥2个SAN存储节点或控制器；

4)实际配置前端口≥4个；后端口速率≥6Gb SAS接口；配置10k rpm 900 SAS硬盘，

容量≥60TB

备份IP存储选型：

1)配置≥90T总容量；存储阵列支持无限个Lun，每卷支持无限个快照；

2)本次配置≥4个控制器，所配磁盘阵列可在线扩展至≥32个控制器，不会导致业

务中断；

3)支持跨存储设备的RAID0/1/5/6/10；

分布式存储选型：

1)支持2-5个数据副本，存储最大容量可扩展至1PB以上；

2)支持最大256个节点，支持存储节点容错，任意一个存储节点发生故障，都不会

导致数据丢失；

3)扩容新增存储节点时，原有数据自动重新分布，按负载均衡原则分布到新增存储

空间中。

4)配置≥400T 容量

网络设备选型：

1)核心交换机：交换容量≥17.5Tbps，包转发率≥5000Mpps；采用主控引擎、交换

引擎、接口单元硬件槽位分离的全分布式架构；支持1:N、N:1、纵向虚拟化；支

持云中心大二层互联技术。

2)服务器千兆接入交换机，交换容量≥300Gbps，转发性能≥160Mpps。

3)服务器万兆接入交换机，交换容量≥1200Gbps，转发性能≥700Mpps；支持802.1Qbg

标准协议；支持全万兆线速转发，40GE上连。

4)负载均衡，支持全面的四至七层负载均衡和链路负载均衡功能，支持IPv6 基础特

性及IPv6的负载均衡。

5)防火墙，采用核心交换机相同的架构，支持N:1安全集群来统一配置管理；支持

虚拟防火墙功能，支持IPv6基础特性。

6)入侵防御，通过国际权威安全组织（通用漏洞披露组织）兼容性认证，支持深入

七层的分析检测技术，并能主动防御。

2.2资源抽象和控制层

2.2.1计算资源池设计

服务器是云计算平台的核心，其承担着云计算平台的“计算”功能。对于云计算平台上的服务器，通常都是将相同或者相似类型的服务器组合在一起，作为资源分配的母体，即所谓的服务器资源池。在这个服务器资源池上，再通过安装虚拟化软件，使得其计算资源能以一种云主机的方式被不同的应用和不同用户使用。在x86系列的服务器上，其主要是以

H3Cloud云主机的形式存在。后续的方案描述中，都以云主机进行描述，如下为H3C虚拟化软件的构成。

?CVK：Cloud Virtualization Kernel，虚拟化内核平台

运行在基础设施层和上层操作系统之间的“元”操作系统，用于协调上层操作系统对底层硬件资源的访问，减轻软件对硬件设备以及驱动的依赖性，同时对虚拟化运行环境中的硬件兼容性、高可靠性、高可用性、可扩展性、性能优化等问题进行加固处理。

?CVM：Cloud Virtualization Manager，虚拟化管理系统

主要实现对数据中心内的计算、网络和存储等硬件资源的软件虚拟化，形成虚拟资源池，对上层应用提供自动化服务。其业务范围包括：虚拟计算、虚拟网络、虚拟存储、高可靠性（HA）、动态资源调度（DRS）、云主机容灾与备份、云主机模板管理、集群文件系统、虚拟交换机策略等。

采用H3C的CAS虚拟化平台对多台服务器虚拟化后，连接到共享存储，构建成计算资源池，通过网络按需为用户提供计算资源服务。同一个资源池内的云主机可在资源池内的物理服务器上动态漂移，实现资源的动态调配。

CAS产品逻辑架构图如下所示：

图表 CAS产品逻辑架构

计算资源池的构建可以采用以下四个步骤完成：计算资源池分类设计、主机池设计、集群设计、云主机设计四个部分完成。

1）计算资源池分类设计

在搭建服务器资源池之前，首先应该确定资源池的数量和种类，并对服务器进行归类。归类的标准通常是根据服务器的CPU类型、型号、配置、物理位置和用途来决定。对云计算平台而言，属于同一个资源池的服务器，通常就会将其视为一组可互相替代的资源。所以，一般都是将相同处理器、相近型号系列并且配置与物理位置接近的服务器——比如相近型号、物理距离不远的机架式服务器。在做资源池规划的时候，也需要考虑其规模和功用。如果单个资源池的规模越大，可以给云计算平台提供更大的灵活性和容错性：更多的应用可以部署在上面，并且单个物理服务器的宕机对整个资源池的影响会更小些。但是同时，太大的规模也会给出口网络吞吐带来更大的压力，各个不同应用之间的干扰也会更大。

初期的资源池规划应该涵盖所有可能被纳管到云计算平台的所有服务器资源，包括那些为搭建云计算平台新购置的服务器、用户内部那些目前闲置着的服务器以及那些现有的并正在运行着业务应用的服务器。在云计算平台搭建的初期，那些目前正在为业务系统服务的服

务器并不会直接被纳入云计算平台的管辖。但是随着云计算平台的上线和业务系统的逐渐迁移，这些服务器也将逐渐地被并入云计算平台的资源池中。

针对用户的需要，我们按照用途将云计算资源池划分为云主机&云存储区资源池、管理和服务区资源池，以便云计算平台项目实施过程以及平台上线以后运维过程中使用。

在云计算平台搭建完毕以后，服务器资源池可以如下图所示：

图表云计算资源池

H3C CVM虚拟化管理平台体系将云计算资源池的物理服务器资源以树形结构进行组织管理，云资源中的被管理对象之间的关系可以用下图描述：

图表云资源对象关系

2）主机池设计

完成在云计算软件体系架构中，主机池是一系列主机和集群的集合体，主机可纳入群集中，也可单独存在。没有加入集群的主机全部在主机池中进行管理。

3）集群设计

集群目的是使用户可以像管理单个实体一样轻松地管理多个主机和云主机，从而降低管理的复杂度，同时，通过定时对集群内的主机和云主机状态进行监测，如果一台服务器主机出现故障，运行于这台主机上的所有云主机都可以在集群中的其它主机上重新启动，保证了数据中心业务的连续性。

4）云主机设计

每台云主机都是一个完整的系统，它具有CPU、内存、网络设备、存储设备和 BIOS，

因此操作系统和应用程序在云主机中的运行方式与它们在物理服务器上的运行方式没有任

何区别。与物理服务器相比，云主机具有如下优势：

?在标准的 x86 物理服务器上运行。

?可访问物理服务器的所有资源（如 CPU、内存、磁盘、网络设备和外围设备），任何应用程序都可以在云主机中运行。

?默认情况，云主机之间完全隔离，从而实现安全的数据处理、网络连接和数据存储。

?可与其它云主机共存于同一台物理服务器，从而达到充分利用硬件资源的目的。

?云主机镜像文件与应用程序都可以封装于文件之中，通过简单的文件复制便可实现云主机的部署、备份以及还原。

?具有可移动的灵巧特点，可以便捷地将整个云主机系统（包括虚拟硬件、操作系统和配置好的应用程序）在不同的物理服务器之间进行迁移，甚至还可以在云主

机正在运行的情况下进行迁移。

?可将分布式资源管理与高可用性结合到一起，从而为应用程序提供比静态物理基础架构更高的服务优先级别。

?可作为即插即用的虚拟工具（包含整套虚拟硬件、操作系统和配置好的应用程序）进行构建和分发，从而实现快速部署。

在计算资源池中，一般物理服务器与云主机的整合比平均不超过1:8、单台物理服务器上所有云主机vCPU之和不超过物理机总内核的1.5倍、单台物理服务器上所有云主机内存之和不超过物理内存的120%。

在构建完计算资源池后，软件本身还需要保证整个计算资源池及应用的易用性和可靠性，H3CCAS虚拟化软件通过以下技术实现可用性和可靠性的要求：

5）云主机模板设计

云主机模板包括云主机的vCPU、内存等参数，主机根据主要应用系统负载量的不同提

供不同的规格。

在采用云计算来向用户交付服务时，用户通过云门户自助申请的IT服务资源就是业务应用模板，因此需要提前设计好相应的IT服务模板向云门户发布，当用户申请该服务时，云平台根据模板进行资源编排，快速生成云主机相关资源交付给用户使用。

6）高可用性设计

高可用性包括两个方面：

1.云主机之间的隔离：每个云主机之间可以做到隔离保护，其中一个云主机发生故障不会影响同一个物理机上的其他云主机；

2.物理机发生故障不会影响应用：故障物理机上运行的云主机可被自动迁移接管，即云主机可以在同一集群内的多台服务器之间进行迁移，从而实现多台物理服务器的之间的相互热备，实现当其中一个物理服务器发生故障时，自动将其上面的云主机切换到其他的服务器，应用在物理机宕机情况下保证零停机。

H3C CAS虚拟化平台 HA功能会监控该集群下所有的主机和物理主机内运行的虚拟主机。当物理主机发生故障，出现宕机时，HA功能组件会立即响应并在集群内另一台主机上重启该物理主机内运行的云主机。当某一发生故障时，HA功能也会自动的将该云主机重新启动来恢复中断的业务。

7）动态资源调度

动态资源调度功能可以持续不断地监控计算资源池的各物理主机的利用率，并能够根据用户业务的实际需要，智能地在计算资源池各物理主机间给虚拟机分配所需的计算资源。通过自动的动态分配和平衡计算资源，动态资源调整特性能够：整合服务器，降低IT成本，增强灵活性；减少停机时间，保持业务的持续性和稳定性；减少需要运行服务器的数量，提高能源的利用率。

动态资源调度功能组件可以自动并持续地平衡计算资源池中的容量，可以动态的将云主机迁移到有更多可用计算资源的主机上，以满足虚拟机对计算资源的需求。即便大量运行SQL Server的虚拟机，只要开启了动态资源调整功能，就不必再对CPU和内存的瓶颈进行一一监测。全自动化的资源分配和负载平衡功能，也可以显著地提升数据中心内计算资源的利用效率，降低数据中心的成本与运营费用。

如上图所示，动态资源调整功能通过心跳机制，定时监测集群内主机的CPU利用率，并根据用户自定义的规则来判断是否需要为该主机在集群内寻找有更多可用资源的主机，以将该主机上的云主机迁移到另外一台具有更多合适资源的服务器上。

8）动态资源扩展特性

计算虚拟化简化了部署业务服务器的流程和具体工作，极大的缩短了新业务服务器的部署周期，使得通过快速增减业务服务器来应对业务访问量的突发性变化成为可能。因此，部署了云业务环境的用户开始考虑采用动态部署方式来应对业务访问的突发性需求。但采用动态资源部署方式的一个不能忽略的前提是：IT管理人员能够对业务访问量的突发性变化具备很强的敏感性，并且能够迅速采取应对措施。但当前的IT基础架构中，业务负载监控平台、虚拟服务器管理平台和业务分发的系统之间往往是割裂的，没有整合形成统一方案。IT 管理人员在感知到业务访问变化时，只能通过手工进行虚拟服务器的增减和在业务分发系统的相应配置。这无疑缺乏灵活性且效率低下。

针对这些需求，H3C CAS虚拟化平台可以实现面向应用的云动态资源扩展解决方案DRX，如下图所示。H3C 虚拟化管理系统能够监测到业务所在云主机性能不足，并将云主机进行快速复制，配合负载均衡设备对外提供服务，当访问高峰过后，虚拟化管理系统能够动态的收缩，删除过剩的云主机，从而实现计算资源随需而动。