网络安全系统融合平台技术方案

TopHC网络安全系统融合平台技术方案TopHC系统架构

计算/存储/网络/安全融合

TopHC深度融合云计算IAAS层的4大核心组件，为用户提供统一的管理界面。

线性扩展

TopHC集群提供线性扩展的能力，初始时期最小节点可以是单台物理服务器，后期可以灵活的根据业务需求添加新的物理服务器以提升计算能力、扩容存储空间，而且随着服务器的增多，整套系统的聚合带宽也会线性、无缝的增加，完全可以满足业务不断发展所产生的容量和性能需求。

调度及策略

TopHC提供给用户的都是虚拟的资源，虚拟资源具体由那些物理资源承载，需要通过计算当前集群的资源使用情况和各个资源的状态，以达到资源使用的均衡和避免潜在的故障风险。

分布式资源调度系统DRS是根据集群内部的实时监控系统获取的物理状态，结合均衡分布策略、人工设置的策略(如标签)和电源策略，对物理资源进行过滤及筛选，得出最合适的物理承载。在集群运行状态，DRS系统会根据实时监控系统上报的状态，会对资源进行二次调度。

仲裁机制

集群节点间想要知道其他节点的状态，同时要防止脑裂情况下的误判，这时候就必须

要依赖仲裁机制来对状态做出一个正确的判断。仲裁实际上是一个多数对少数的投票，关键在于选取哪些节点作为witness。

仲裁采用了类似vSANwitness仲裁机制的方法，利用集群节点来充当witness，根据多数有效投票来仲裁目标的状态，可有效避免脑裂和孤岛。

当集群节点需要知道其他某一节点的状态时，会将仲裁请求发往集群中的所有n个同类节点，汇总投票结果来得出仲裁结论。

TopHC存储架构

分布式存储架构

分布式存储在超融合系统中扮演十分重要的角色，为了更好适应超融合系统，提供更加可靠的产品和服务，天融信自主研发了一套分布式存储系统，而非采用开源系统。这套分布式存储系统为TopHC量身定制：

块接口

分布式存储系统以两种方式提供块接口：

●标准块设备

●iSCSI/iSERtarget

如下图，虚拟存储设备可以提供标准块设备接口，容器、虚拟机、应用程序可以将卷当成本地磁盘使用。也可以提供iSCSI/iSERtarget，容器、虚拟机、应用程序可以通过标准iSCSI和iSER访问虚拟块设备。

●标准块设备

支持标准SCSI协议，对于上层应用卷与本地磁盘在绝大多数场景下无任何区别，可直接对卷进行读写，亦可对卷格式化文件系统，挂载后，进行读写。

●iSCSI/iSERTarget

支持标准iSCSI协议，可通过iSCSIinitiator在远端发现并使用微控制器生成的iSCSItarget。

支持CHAP身份验证以保证客户端的访问是可信与安全的。CHAP全称是PPP询问握手认证协议（ChallengeHandshakeAuthenticationProtocol）。该协议可通过三次握手周期性的校验对端的身份，可在初始链路建立时以及链路建立之后重复进行。通过递增改变的标识符和可变的询问值，可防止来自端点的重放攻击，限制暴露于单个攻击的时间。

iSER(iSCSIExtensionsforRDMA)是iSCSI使用RDMA的扩展协议，该协议允许网络数据直接与主机内存之间进行数据传输，而不需要数据拷贝和CPU介入。

RDMA(RemoteDirectMemoryAccess)远程直接数据存取，是应用程序内存与网络适配器

直接传输数据的零拷贝(zero-copy)技术。

文件接口

分布式存储系统提供标准的NFS、SMB文件共享协议，满足标准NAS文件共享资源存储需求。

文件共享协议：

●NFS(NetworkFileSystem)：UNIX系统使用最广泛的一种文件共享的客户/服务器协议●CIFS(CommonInternetFileSystem)：支持客户端通过TCP/IP协议对处于远程计算机

上的文件和服务发起请求

对象接口

提供标准的RestfulAPI通过HTTP协议访问存储资源，方便用户上传和下载文件对象。自动精简配置

分布式存储系统实现了自动精简配置功能，为应用提供比实际物理存储更多的虚拟存储资源。采用自动精简配置技术的数据卷分配给用户的是一个逻辑的虚拟容量，而不是一个固定的物理空间，只有当用户向该逻辑资源真正写数据时，才按照预先设定好的策略从物理空间分配实际容量。自动精简配置实现了将逻辑空间和物理空间分离的虚拟化容量分配技术，它不仅解决了单个应用的初始空间分配和扩容的难题，还大大提高了整个存储系统的资源利用率。利用已有的文件系统特性，系统无需使用专门的元数据来记录卷的精简分配情况，和传统SAN相比，不会带来性能下降。

如果采用传统的磁盘分配方法，需要用户对当前和未来业务发展规模进行正确的预判，提前做好空间资源的规划。但这并不是一件容易的事情，在实际中，由于对应用系统规模的估计不准确，往往会造成容量分配的浪费，比如为一个应用系统预分配了1TB的空间，但该应用却只需要100GB的容量，这就造成了900GB的容量浪费，而且这900GB容量被分配了之后，很难再被别的应用系统使用。即使是最优秀的系统管理员，也不可能恰如其分的为应用分配好存储资源，而没有一点的浪费。

缓存

分布式存储系统采用多级cache机制提升存储IO性能，读、写cache机制采用不同流程，读cache采用内存和SSD两级cache机制，写cache要保证数据不丢失，所以只使用SSD一级cache。默认情况下，SSD缓存的70%为读缓存，用于存储频繁读取的磁盘块，从而最大限度减少对速度缓慢的磁盘的访问。缓存的30%为写缓存，用于执行写入操作，每个IO会先写入缓存层，再批量写入低速磁盘层。

Writecache机制

后端存储在收到应用端发送的写IO操作时，会将写IO缓存在SSDcache后完成本节点写操作。同时，周期性的将缓存在SSDcache中的写IO数据批量写入到硬盘，写cache 有一个水位值，未到刷盘周期超过设定水位值也会将cache中数据写入到硬盘中。

系统支持大块直通，按缺省配置大于256KB的块直接落盘不写cache，这个配置可以修改。

写操作做了专门优化，通过将随机的小I/O写请求合并成一个大I/O写请求，然后顺序写到SSDcache中，从而大大提升了I/O吞吐量。SSDcache中的写IO数据刷到磁盘时，

会合并顺序IO，从而再次最大限度提高磁盘性能。

Readcache机制

分布式存储系统的读缓存采用分层机制，第一层为内存cache，内存cache采用改进的LRU机制缓存数据，具有LRU的优点，同时能避免当发生全盘数据备份、全盘查找等此类扫描式操作时，缓存空间会被迅速挤占耗尽，原本存放在缓存中的热数据则被交换出缓存的缺点。第二层为SSDcache，SSDcache采用热点读机制，系统会统计每个读取的数据，并统计热点访问因子，当达到阈值时，系统会自动缓存数据到SSD中，同时会将长时间未被访问的数据移出SSD。同时TopHC支持预读机制，统计读数据的相关性，读取某块数据时自动将相关性高的块读出并缓存到SSD中。

后端存储在收到应用端发送的读IO操作时，会进行如下步骤处理：

步骤1：从内存“读cache”中查找是否存在所需IO数据，如果存在，则直接返回，同时更新LRU队列，否则执行Step2；

步骤2：从SSD的“写cache”中查找是否存在所需IO数据，如果存在，则直接返回，同时增加该IO数据的热点访问因子；如果热点访问因子达到阈值，则会被缓存在SSD 的“读cache”中。如果不存在，执行Step3；

步骤3：从SSD的“读cache”中查找是否存在所需IO数据，如果存在，则直接返回，同时增加该IO数据的热点访问因子，否则执行Step4；

步骤4：从硬盘中查找到所需IO数据并返回，同时增加该IO数据的热点访问因子，如果热点访问因子达到阈值，则会被缓存在SSD的“读cache”中。

克隆

TopHC的分布式存储系统提供了克隆功能，所有克隆卷继承了原始卷的所有功能：克隆卷也可以像原始卷一样再次被快照和克隆。

TopHC提供克隆机制，克隆支持链接克隆和完全克隆。克隆是基于卷快照，一个卷快照可以创建出多个克隆卷，克隆卷也可以继续克隆出下一层次的克隆卷。克隆卷刚创建出来时的数据内容与卷快照中的数据内容一致，后续对于克隆卷的修改不会影响到原始卷的快照和其他克隆卷。克隆时支持链接克隆，克隆卷和原始卷使用部分相同的底层数据，大大加快了克隆的速度和提升存储空间利用率。但如果克隆次数过多，由于克隆卷和原始卷使用的是相同的底层数据，这样就会造成数据分布不均衡和IO访问局部过热。所以当克隆数过大时，策略子系统会使用完全克隆，把数据拷贝到其他节点，从而实现数据均衡。

TopHC网络架构

网络虚拟化

计算虚拟化催动了网络虚拟化的发展。在传统数据中心，一个服务器运行一个操作系统，而网络的交换、路由以及访问控制，流控等等都交给了物理环境中的交换机、路由器等设备。在计算虚拟化之后，一个服务器上面运行了多个虚拟机，每个虚拟机有自己独立的CPU、内存、网卡等资源，在同一个服务器上的不同虚拟机不仅要维持原有的通信，又要共享物理网卡设备，这使具有计算虚拟化能力的数据中心的网络交换路由、网络安全等等面临到了难题，所以诞生了网络虚拟化。

体系架构

2006年，以斯坦福大学教授教授NikeMckewn为首的团队提出了OpenFlow的概念，并基于OpenFlow技术实现网络的可编程能力，让网络像软件一样灵活编程，SDN技术由此诞生。

在传统网络中，网络控制能力是分布式进行的，好比传统路由器，既负责了数据包的寻址，而且还需要根据寻址找到的最佳路径把数据包转发出去，每台路由器拿到数据包都要重新进行路由计算过程，并且只关心自己的选路，这种弊端就是缺乏在计算寻址方面的统一性；在SDN网络中，实现了网络的转发分离、集中控制、开放接口三个特性，网元的控制平面在控制器上，负责协议计算，产生流表，而网络设备仅仅承担转发平面，

网元设备通过控制器集中管理和下发流表，这样就不需要对设备进行逐一操作，在SDN 网络中最高的追求就是为了实现网元设备拿到数据包之后，能像人体的条件反射一样处理数据报文。

TopHC软件定义网络架构中的三层模型：

在TopHC超融合中，有两个重要的概念：控制器和Chassis

SDN网络关键的地方是在网络架构中增加了一个SDN控制器，把原来网络中的控制平面集中到一个SDN控制器上，由这个集中的控制器来实现网络集中控制。SDN控制器处于SDN网络中的控制层面（ControlLayer），它极大简化网络架构以及可以快速进行业务创新，其本质就是利用了SDN控制器的网络软件化过程来提升网络可编程能力。

Chassis可以理解为Hypervisor或者网关，在TopHC超融合当中默认指的是承载虚拟机的物理节点（hyervisor），每个物理节点都会被自动生成一个集成网桥，并且通过passive方式连接至SDN控制器，接受控制器的管控。

TopHC软件定义网络的三个层面功能：

●应用层面（APPLayer）：主要体现实际使用的意愿，它与控制器北向接口之间传输

OVSDB协议。它负责对接控制器的北向接口，整合各个逻辑资源为用户提供简洁方便习惯的使用方式。

●控制层面（ControlLayer）：Network模块的核心，负责整个网络内部交换和路由等

流表的生成，并负责处理网络状态变化事件。控制平面虽然是集中式的，但是借助于

TopHC计算中的HA（高可用）功能，可实现控制器高可用，避免控制器故障导致集群网络不可用。SDN控制器提供了两种接口：北向接口（NorthBoundInterface）和南向接口（SouthBoundInterface）。

●基础层面（InfrastructureLayer）：主要有服务器上的网络资源

（openvswitch/bridge/datapath）组建而成，服务器通过Passive方式连接至控制器，接受控制器的下发的流表，按照流表进行转发数据报文。这一层负责执行用户数据的转发，转发的流表项都由控制器生成。

在基础设施层面，TopHC超融合支持虚拟机连接至两种网络模式：local网络和internal网络

●Local网络：又称桥接网络，是指本地物理网卡和虚拟网卡通过虚拟机交换机进行桥

接，物理网卡和虚拟网卡在拓扑上处于同等地位，那么物理网卡和虚拟网卡就相当于同一个网段，虚拟交换机就相当于一台现实网络中的交换机。

●Intenal网络：又称租户网络，实际上是桥接至br-int网桥上，采用了

GenericNetworkVirtualizationEncapsulation（下称Geneve）隧道封装协议，实现了一个分布式网桥。每个租户所具有的网络是独立的，br-int与br0通过patch接口连接，可让租户网络接通外部网络。

大二层网络

传统二层网络也就是OSI七层网络模型中的数据链路层，交换机就是其中一种二层设备。而大二层网络指的是在TopHC超融合上，所有的虚拟机都处于一个大的二层网络上；它也可以被理解为是将TopHC集群中所有服务器上网桥（br-int）串联在一起，中间通过Geneve协议进行封装，形成了一种overlay网络，而要实现overlay有两种手段：

●映射：主要是在转发时替换报文语义。

●封装：主要是把需要的报文语义加入到数据包中。接收端处理的时候，需要一层层进

行解封。

在云计算浪潮中，角逐在前沿的隧道协议有vxlan/GRE/Geneve/STT等。但是在TopHC 超融合当中，我们默认选择了Geneve作为隧道封装协议。Geneve的出发点是解决封装时候加入的metadata信息问题（比如ID应占多少位），它尽可能去适应各种虚拟化场景，跟大部分封装协议一样，要实现geneve一般需要有两类设备：隧道终端（tunnelendpoints）和传输设备（transitdevices）。前者是TopHC超融合当中的服务器，后者是网络中支持

IP转发的设备。

TopHC超融合大二层网络架构图如下：

由上图可见，TopHC超融合中的虚拟子网也是二层网络，但是子网中虚拟机之间的通信依赖于物理环境中的三层功能。根本原理就是将私网的包封装起来，最终打上隧道的IP地址传输。

由此可见，虚拟机可以迁移到整个集群中任意位置，二层无需网关和路由，因而资源调用更加灵活；如果不在一个大二层中，那么虚拟机迁移到另外一个服务器上。则需我们人为的指定网关，添加路由策略，然而这还只是针对一台虚拟机的迁移，要满足所有的虚拟机的动态迁移，再去指定网关，路由等这样就不现实了。

灵活按需网络规划

TopHC管理员可以对集群进行网络规划。从管理员层面，可以规划集群底层网络架构，可分为管理网络，存储网络，计算网络，集群初始化的时候，提供导向式网络配置。而从用户层面出发，租户可灵活使用虚拟网元，包括虚拟交换机、路由器以及安全资源池的安全设备。

用户可以灵活的使用超融合网络资源，虚拟机可以连接至local网络，直接与本地网络通信，也可以连接至internal网络，建立自己的内部网络，并且可灵活规划。

多租户网络隔离

TopHC超融合Tunnel封装使用了三种数据：

Logicaldatapathidentifier：datapath是OVS里面的概念，报文需要送到datapath 进行处理，一个datapath对应一个TopHC租户内部网络里面的逻辑交换机或者逻辑路由器。它是全局唯一的，存在TopHC-nvm控制器的南向库（Datapath_Binding表）

中。

●Logicalinputportidentifier：进入logicaldatapath的端口标识符，它在每个

datapath里面是唯一的，它的ID值存在控制器的南向库（Port_Binding表）中。

●Logicaloutputportidentifier：出logicaldatapath的端口标识符，作用类似

logicalinputportidentifier。它占用了16-bit，范围0-32767和logicalinputportidentifier含义一样，范围32768-65535给组播组使用。

在TopHC超融合当中，每个逻辑的交换机，路由器都是对应一个datapath，由控制器所创建和管理，所以每个逻辑设备的logicaldatapathidentifier是唯一的，下发至服务器上所有逻辑设备都是独立存在的，互不干扰。当然，两个不断网段的子网可以通过路由器进行连通，所有过程都由控制器产生流量下发至服务器，以达到交换路由的功能。

从使用角度出发，TopHC会为每个租户创建一个ID值，单个租户内部的所有虚拟网络设备都会携带该ID，携带不同的ID所处的namespace不同，确保了不同的租户内部的网络起到了隔离作用。TopHC超融合实现了不同层次的网络租户隔离性：租户之间的网络三层隔离，联通虚拟路由器（下称VR）做路由也不行，实在要连通需要走物理网络。一个租户内部的不同网段（虚拟交换机）之间是二层隔离的，需要通过VR做三层路由。细粒度QoS控制

实现网络的QoS功能一般分为两种机制，有下图所示：Policy和Shaping。

Policy作用于控制接口上接受流量入口的速率，是一种简单的QoS功能。通过简单的丢包机制实现接口速率的限制。Shaping跟Policy相反，一般作用于接口上的出口流量策略，通过实现多个QoS队列，不同队列里面处理不同策略，从而达到QoS的效果。

在TopHC超融合当中，允许设置虚拟机网卡接受和发送的QoS功能。接受QoS功能实际上采用policy实现，在ovs中采用ingress_policing_rate和ingress_policing_burst两个字段完成ingress入口限速功能，两个字段分别代表接口最大收包速率（单位kbps）和最大突发流量大小（单位kb）；发送QoS功能则采用shaping，使用了队列queue，可以缓存和调度数据包发送顺序。

虚拟网络设备

分布式交换机

分布式交换机是指在集群中所有在线主机之间充当单一交换机。从主机层面上，分布式交换机可以对多台主机的虚拟交换机(br-int)进行统一配置和管理；而从虚拟机层面上，分布式交换机使得虚拟机在不同主机上迁移时，网络设置保持一致。

分布式交换机通过分布在各个物理服务器上，提供给虚拟机二层网络通信，隔离以及QoS作用。分布式交换机基本的特征：

●每个分布式交换机覆盖整个集群中N个或者多个物理机；

●每个分布式交换机具有N个虚拟交换端口，每个虚拟交换端口具有各自的属性（速率，

ACL规则等等）；

●系统管理员可根据实际情况使用UpLink端口；每个分布式交换机可配置一个UpLink

端口或者一个UpLink端口聚合组，用于虚拟机（VM）对外通信。UpLink端口聚合组可以包含多个物理端口，默认使用active-backup策略；

每个虚拟机可以具有多个虚拟网络接口vNIC，并且可以连接到不同的分布式交换机上；

分布式路由器

分布式路由器是指在每个服务器上都存在着逻辑路由器的实例，在TopHC超融合当中，可由控制器创建出路由器，生成流表进行下发，流表会下发至每个逻辑路由器可能存在物理节点上去。

如下图所示：

同一个物理节点不同网段的路由：当VM1向VM2发送一个ICMP报文的时候，数据报文达到br-int之后，会根据flow-table进行匹配，一步步修改数据报文，最后数据报文会在本地直接发送到VM2，不用经过任何中心节点或者路由节点。

不同物理节点上不同网段的路由：当VM1向VM3发送一个ICMP报文的时候，数据报文进入routerdatapath之前的过程与同一个节点上不同网段之间的路由是一样的。只是在router之后，正常情况下数据报文的TTL会被减一，并把数据报文送出本物理节点，经过隧道网络达到VM3所在的物理机。

物理网关

Internal网络所有的内部流量需要经过一个物理网关（又称物理出口）才能访问外网。实际上就是为路由器添加一个访问物理网络的接口，TopHC超融合会为一个需要访问

外网的路由器添加多个chassis，达到高可用的效果。

如图所示：默认情况下，会根据集群的是实际情况，选择三个chassis作为路由器的gateway_chassis，各个gateway_chassis的优先级不同，优先级越高的会优先作为出口，并且gateway_chassis存在BFD检测信息，所有可能向该网关发送数据包的chassis都将启用到所有配置的网关chassis的通道上的BFD。当前网关的主chassis是目前最高优先级的网关chassis，当前是根据BFD状态判断为主chassis。

当chassis3作为主chassis的时候，如果虚拟机不在chassis3物理节点上，那么虚拟机的流量会自动被重定向（redir）至chassis3物理节点，但是在TopHC超融合当中，会尽量避免流量重定向的过程。Network模块会尽可能设置虚拟机所在物理节点的chassis优先级比较高，从而缩短网络IO的路径，提升网络性能。

安全组

安全组与网络ACL功能是云产品中最常见安全访问控制功能。安全组作用于虚拟机层面，可控制于某台特定虚拟机流量的出入；而ACL作用于子网层面，通常作为防火墙控制数据流。

安全组通过安全组规则来对出入流量进行控制。

默认安全组包含默认规则，对入方向流量拒绝，出方向流量放行。云主机与安全组规则的关联关系为N：N，安全组规则是允许设置自定义规则，和可选规则。对虚拟机的入流和出流进行限制。

安全组规则具有如下特性：

按照数据包的流向分为两种类型：

入方向（Ingress）：代表数据包从外部进入云主机；

●出方向（Egress）：代表数据包从云主机往外部发出。

安全组规则则通过协议支持一下类型：

ALLTCP：表示覆盖所有TCP协议，此时不能指定端口。

ALLUDP：表示覆盖所有UDP协议，此时不能指定端口。

TCP：表示支持1-65535端口。

UDP：表示支持1-65535端口。

HTTP：表示TCP80端口服务，此时不能设置端口。

DNS：表示UDP53号端口，此时不能设置端口。

安全组规则支持数据来源显示，目前可支持设置地址集和CIDR：

●CIRD：仅允许指定的CIDR才可通过；

●地址集：进允许指定的地址集内的地址才可通过。

网络服务

端口映射服务：提供将指定公有网络的IP地址端口流量转发到云主机IP对应协议的端口。

四层负载均衡服务：将公网地址的访问流量分发到一组后端的云主机上。

分布式DHCP服务：

传统的云平台依赖中央的一个DHCP服务器，这会导致机器批量启动时候的ARP广播风暴，当DHCP服务器无法响应并发海量请求的情况下，会导致大量机器启动后无法获取IP地址。

TopHC超融合在每个计算节点上运行一个分布式DHCP服务，防止虚拟机的DHCP请求发送到外部真实DHCP服务器上，通过本地DHCP服务来处理云主机的IP地址请求。

NAT(网络地址转换)服务：

TopHC超融合NAT服务有两种表现形式：

●为云主机提供SNAT服务，直接可以访问外部互联网。单个租户可允许所有网段共享

一个IP地址。

●可以设置FloatingIP（DNAT），使用云路由器可通过公有网络访问云主机的私有网络。TopHC运维管理

TopHC运维管理工作通过统一WEB界面进行操作，这样增加了运维管理工作的便利性。自动化部署

TopHC拥有一套完整的自动化部署流程，极大程度简化实施，提高效率。

详细操作参考《一本通手册》。

步骤1：登录访问界面

步骤2：扫描主机

步骤3：初始化环境

步骤4：添加主机，完成。

统一运维管理

TopHC的管理系统实现整个系统的统一管理，包括资源管理，监控、告警、日志管理，权限管理，硬件管理，租户管理。

监控

TopHC支持完备的系统实时监控体系，方便管理了解集群运行状态，简化运维，故障快速恢复。

TopHC应用场景

服务器虚拟化

服务器虚拟化将单台物理服务器抽象成数台或者数十台服务器，可以部署不同类型的操作系统，部署不同业务应用，虚拟机之间互相隔离，业务互相影响可控。解决数据中心资源使用率低的问题，更好地利用计算机能力、控制能源费用、以及提供数据中心敏捷性和灵活性。当业务方新增需求时，通常只需要创建满足需求的虚拟服务器，避免了硬件采购，部署上线的漫长流程。

TopHC直接提供完整的虚拟化基础设施，无需部署其他应用。并且在服务器虚拟化的基础上，使用内置的分布式存储系统，使得虚拟服务器的可靠性超过了物理服务器的可靠性。当物理服务器发生宕机，虚拟服务器能在几秒钟内迁移到其他物理服务器继续服务。

桌面虚拟化

桌面虚拟化是将计算机的终端系统通过虚拟化的方式提供，以达到桌面使用的安全性和灵活性。可以通过任何设备，在任何地点，任何时间通过网络访问属于个人的桌面系统。随着企业对桌面系统的安全管控、集中运维要求的提高，桌面虚拟化已经成为企业内部重要的应用之一。