浪潮EVO RAIL方案白皮书

浪潮云海数据中心一体机产品方案白皮书

浪潮信息云产品部

20141118

目录

1项目概述 (3)

1.1项目背景 (3)

1.2需求分析 (6)

2方案设计 (12)

2.1方案体系架构 (12)

2.2方案描述 (12)

2.3方案配置 (70)

3浪潮云数据中心整体解决方案主要优势 (72)

4客户收益 (72)

5EVO RAIL产品介绍 (73)

2

1项目概述

1.1项目背景

经过十几年的建设，中国各个行业已经具有完备的信息化基础，客户需要云平台实现数据向服务的转化。但是当前信息化，还是内部服务为主，只是解决办公效率的问题，而对社会、对大众提供的信息服务几乎是空白，在国家数据大集中、电子政务升级等政策下，各个行业机构迫切需要转化职能，对外输出服务，以不断提升服务能力。同时，云建设具有成熟的技术和应用基础，经过三金工程、十二金工程、数据大集中等几个建设周期，税务、工商、能源等行业用户积淀下来大量异构的、相对封闭的海量数据，云计算可以将这些业务数据的巨大潜在价值释放出来。

而且，从技术上看，行业应用的特点非常符合云计算的服务模式和技术模式。云计算就是将原本分散的资源聚集起来，再以服务的形式提供给受众。行业是松散的联盟，而且行业内部不同的成员之间往往在资源和信息方面是严重不对称的。如何促进资源，特别是信息（数据）在行业内部聚集和共享，是行业应用的最终要解决的问题。因此，采用云计算，不仅可以实现行业内数据共享，也可以帮助行业数据拥有者将数据转换为服务，提升业务价值。

一提到云计算大家可能想到了虚拟化，认为云计算就是虚拟化技术。其实不然，云计算既不是一个技术，也不是一款软件，云计算其实是一种服务的模式（理念）。企业所考虑的不仅是云计算怎样去改变IT的服务和交互模式，解决用户的问题，而且也需要衡量云计算在商业方面的价值云计算发展的背景。管理员只

3

4

需审批订单即可，云计算会打理好其余的全部工作。这个流程可将企业给客户提供资源的时间从几个月缩短至几分钟。云计算还提供用户界面，同时允许用户和IT 管理员在整个服务生命周期中轻松管理调配好的资源。而这种商业模式的转变，恰恰映衬了中国的国情。

云计算由一系列可以动态升级和被虚拟化的资源组成，这些资源被所有云计算的用户共享并且可以方便地通过网络访问，用户无需掌握云计算的技术，只需要按照个人或者团体的需要租赁云计算的资源。云计算（Cloud Computing ）是分布式计算（Distributed Computing ）、并行计算（Parallel Computing ）、效用计算（Utility Computing ）、网络存储（Network Storage Technologies ）、虚拟化（Virtualization ）、负载均衡（Load Balance ）等传统计算机和网络技术发展融合的产物，是继

19世纪80年代大型计算机到客户端-服务器的大转变之后的又一种巨变。云计算的出现并非偶然，早在上世纪60年代，麦卡锡就提

出了把计算能力作为一种像水和电一样的公用事业提供给用户的理念，这成为云计算思想的起源。在20世纪80年代网格计算、90年代公用计算，21世纪初虚拟化技术、SOA、SaaS应用的支撑下，云计算作为一种新兴的资源使用和交付模式逐渐为学界和产业界所认知。

继个人计算机变革、互联网变革之后，云计算被看作第三次IT浪潮，是中国战略性新兴产业的重要组成部分。它将带来生活、生产方式和商业模式的根本性改变，云计算将成为当前全社会关注的热点。

下面我们看看几个主流的云计算的定义：

私有云：部署在一个封闭和特定环境（网络封闭或者服务范围封闭）中的一个云计算系统。该系统的系统边界明确，仅对指定范围内的人员提供服务。该系统以外的人员和系统无法使用该云，比如非服务区或者非指定内部网络的人不能使用私有云上的云服务。

公有云：部署在一个开放环境中，为所有具备网络接入能力的人和系统提供服务。用户通过互联网访问和使用公有云服务，但是不拥有云也不管理云。

混合云：以私有云为基础，能够在业务负载超越私有云自身能力或其他指定的情况下，把部分业务负载透明的分流到其他云上进行处理，使得私有云和部分其他云的资源整合在一起形成一个系统。

社区云：利用多个提供商提供的软硬件基础设施、网络以及软件服务等，通过一定的协议进行资源共享和协同形成云计算系统。

5

行业云：是由国内著名的云计算整体解决方案和产品供应商浪潮提出的。行业云就是由行业内或某个区域内起主导作用或者掌握关键资源的组织建立和维护，以公开或者半公开的方式，向行业内部或相关组织和公众提供有偿或无偿服务的云平台。行业云是目前最适合中国国情的云计算模式。

行业云与公有云的主要区别在于数据来源及服务提供者的的核心竞争力。公有云是可为公众所使用的云平台，一般为一个专门出售云服务的机构所拥有，例如google、baidu，其特点是数据来源是公开途径，通过独有的应用为利用公开数据为客户提供服务，其算法、业务系统是其核心竞争力；而行业云的数据主要来源于行业内部的核心组织，也有一部分会来自行业内部的其他成员，绝大部分是私有数据，数据是其核心竞争力，因此，数据不可能提供给第三方却又同时具有对外服务的需求。如未来质检行业需要对外提供各类商品的信息查询，但是数据又不可能交给第三方处理，所以质监系统会建立一个质检行业云，整合整个系统的信息，来对外提供该类服务，类似的行业还有交通、环保、卫星等。

1.2需求分析

（云数据中心建设存在的问题，方案设计复杂，软硬件分开采购，部署上线时间长，管理运维复杂，数据安全难以保障）

6

1.2.1传统数据中心中面临的挑战

传统数据中心正在消耗大量的能源、空间和成本，而且消耗量日益膨胀。在一篇研究报告中称，2006年全球数据中心能源消耗比2000年增长了一倍，到2012年，数据中心能源消耗将再次翻番。对于企业传统数据中心而言，解决数据中心的高能耗、高成本、低效率危机已经成为一项严峻挑战。

传统数据中心面临的挑战之一：运营成本

尽管很多企业的信息中心（数据中心）的领导不考虑或不用承担数据中心运营带来的成本，但主管企业信息化的副总或CIO已经开始意识到这个问题。服务器随着应用不断地在增加，机房不断地在扩大，空调制冷也不断地在加大。因而带来的直接影响是用电量的增加和管理人员的增多，数据中心的运营成本直线上升。

国内不少企业的数据中心电力成本为每年几百万元，有的超过了千万元，更有超大规模的数据中心超过了亿元。由于供电能力的制约和限制，不仅很多地区已无法新建数据中心，甚至原有的数据中心也面临拉闸限电的危险，因此增容、发展等问题也就无从谈起。这将对数据中心的高可用性和经济性等多方面造成直接影响。

一些企业的数据中心已经陷入成本危机：一方面，能源成本高昂，并且没有足够的电力和冷却能力，无法满足新一代高密度服务器和存储设备的需要；另一方面，IT基础设施的容量增长受到场地、空间的严重制约。

7

传统数据中心面临的挑战之二：能源消耗

目前，国内大部分数据中心的PUE（数据中心消耗的所有能源与IT负载使用的能源之比）值偏高，在2.5-3左右，而国外高水平的绿色数据中心PUE值往往在2以下。

国内传统数据中心在物理环境方面往往存在：整体布局不合理，制冷系统不能按实际设备的需要进行分配，导致总体能源浪费高且存在局部过热的问题，笔者曾经在夏天去河北某集团企业的机房，温度达到摄氏38度；另外，机房空调设计、布局不合理；电源线缆布放过细，存在重大的安全隐患；由于没有配备保障电源，机房的设备安全运行无法保证。

在IT设备方面，IDC的统计数据显示，在亚太地区，数据中心服务器电力消耗以每年23%的速度递增，与每年16%的世界平均增长水平相比，亚太区数据中心的电力消耗增长速度远超出了世界平均水平。Gartner的调研则显示：“过去五年来，IT设备的能源需求增长已超过五倍。”

传统数据中心面临的挑战之三：使用效率

去很多企业数据中心调研了解到，大部分数据中心中的服务器和网络设备的利用率仅在24%~30%之间，有的CPU利用率、硬盘利用率都在在10%一下。如何最大限度地发挥现有系统的资源以及优化系统架构，是传统数据中心向绿色

数据中心转变过程中首先要考虑的问题。

8

传统数据中心面临的挑战之四：社会责任

数据中心的能耗约占全球二氧化碳排放量的2%,每年IT设备要向大气层排放大约3500万吨的废气，相当于整个航空工业的二氧化碳排放量。数据中心日益增长的能耗及二氧化碳排放量已成为企业无法逃避的社会责任。美国环保署所发布的报告指出：环境保护议题已迫使企业的IT部门必须寻求绿色数据中心的建立。

1.2.2云计算发展中出现的问题

数据隐私问题：如何保证存放在云服务提供商的数据隐私不被非法利用，不仅需要技术的改进，也需要法律的进一步完善。

数据安全性：有些数据是企业的商业机密数据，安全性关系到企业的生存和发展。云计算数据的安全性问题如果解决不了,会影响云计算在企业中的应用。

用户的使用习惯：如何改变用户的使用习惯，使用户适应网络化的软硬件应用是长期而且艰巨的挑战。

网络传输问题：云计算服务依赖网络，网速低且不稳定，使云应用的性能不高。云计算的普及依赖网络技术的发展。

9

缺乏统一的技术标准：云计算的美好前景让传统IT厂商纷纷向云计算方向转型。但是由于缺乏统一的技术标准，尤其是接口标准，各厂商在开发各自产品和服务的过程中各自为政，这为将来不同服务之间的互连互通带来严峻挑战。

隐私：云技术要求大量用户参与，也不可避免的出现了隐私问题。用户参与即要收集某些用户数据，从而引发了用户数据安全的担心。很多用户担心自己的隐私会被云技术收集。正因如此，在加入云计划时很多厂商都承诺尽量避免收集到用户隐私，即使收集到也不会泄露或使用。但不少人还是怀疑厂商的承诺，他们的怀疑也不是没有道理的。不少知名厂商都被指责有可能泄露用户隐私，并且泄露事件也确实时有发生。

事实上，国家在大力提倡建设云计算中心的同时，对云技术与互联网的安全性也高度重视。

发改委等7部联合发布《关于下一代互联网“十二五”发展建设的意见》中强调：互联网是与国民经济和社会发展高度相关的重大信息基础，加强网络与信息安全保障工作，全面提升下一代互联网安全性和可信性。

加强域名服务器、数字证书服务器、关键应用服务器等网络核心基础设施的部署及管理；加强网络地址及域名系统的规划和管理；推进安全等级保护、个人信息保护、风险评估、灾难备份及恢复等工作，在网络规划、建设、运营、管理、维护、废弃等环节切实落实各项安全要求；加快发展信息安全产业，培育龙头骨干企业，加大人才培养和引进力度，提高信息安全技术保障和支撑能力。

10

据国外媒体报道，美国高技术市场研究公司Forrester三季度对美国企业开发人员对云计算的认识进行了一番调查。新近出台的报告显示，亚马逊和微软在云计算处于领先地位，不过很多用户仍然分不清“平台即服务”（PaaS）和“基础设施即服务”（IaaS）。

11

12

2 方案设计

2.1 方案体系架构

本次云数据中心解决方案采用浪潮EVO RAIL 数据中心一体机作为解决方案的主体，具体方案的体系架构及网络拓扑图如下：

浪潮云数据中心解决方案系统架构图

2.2 方案描述

2.2.1 硬件重构与软件定义数据中心

硬件重构与软件定义，如同互联网企业和传统企业市场，涵盖范围不同但又相互交叉。双方都至少有一个共同诉求，即解决规模不断扩张，业务快速变化的挑战，同时还要有效控制成本。硬件重构与软件定义的应对之道，都是先

IT 资源池化，然后自动化，以提高利用率和灵活性（弹性），满足规模和变化的要求，…

万兆网络

千兆网络

同时降低CAPEX（Capital Expenditure，资本性支出）和OPEX（Operating Expense，运营成本）。硬件重构关乎大规模数据中心的效率问题，而推动重构的关键在于所有权。

根据IDC 在2013 年的预测，到2020 年，将会有约300 亿个设备连到互联网，数据以每两年翻一番的速度增长，平均每人将拥有5.2TB 数据。这样10 亿人就能有5.2ZB 的数据，与IDC 更早预测的“数字宇宙到2020 年将达到40ZB”基本吻合——随着岁月的推移，这个数字估计还要调高，因为2010 年的预测是35.2ZB……

云计算、大数据、移动、社交，当今四大热门技术之中，云计算起着承载和支撑作用，要解决（但不限于）基础设施层面的问题，这对数据中心的架构提出了巨大的挑战。如果说，互联网上10 亿用户的规模，带来的是从量变到质变的影响；那么，在数据中心领域，10 万台服务器也足以产生恐怖的规模效应。

随着数据中心的不断扩增，传统硬件设备无论从空间还是能耗上将造成极大的消耗，这时就需要对硬件进行重构，从硬件层面尽量减少对空间及能源的消耗。

软件定义数据中心（SDDC）包括软件定义存储、软件定义计算、软件定义网络三部分SDDC 并不干预硬件的重构，但可以从硬件重构中获益。在软件定义数据中心中，将实现对硬件的资源池化，包括对计算资源、存储资源以及网络资源。

与硬件重构相比，SDDC 的手段也是抽象、池化和自动化，主要是抽象的方法不同——硬件虚拟化和软件虚拟化——所以池化的效果亦有区别。但目的

13

很一致：提高效率，便于扩展，易于管控。SDDC 的目标，包括：

●应用和服务随时投入生产

●自动和动态地资源分配

●硬件无关及富有弹性的可扩展性

●IT 掌控的混合基础架构

此方案基于硬件重构与软件定义的基础上重新诠释了新一代数据中心的构建思路，下面从软件定义计算与软件定义存储两方面着重阐释。

2.2.2软件定义计算

对于SDC 软件定义计算来说，是将数据中心的计算机——各种服务器抽象为具有通用可编程能力的Data Plane 数据平面和Control Plane 控制平面并解除耦合。由于“软件定义”就意味着通过软件来实现相关功能，而软件就意味着计算，因此，“软件定义”的核心和基础就是软件定义计算，其它组件都依赖于此。

目前实现软件定义计算最成熟的技术就是虚拟化技术。

虚拟化技术的诞生已经有将近30年的历史。它曾经用于一些大规模的、预算充足的单位，而如今已经应用于计算机的方方面面，包括硬件、软件、通信等等方面。在许多情况下，这项技术是免费的、开源的，或者是包含在一些收费的产品中，例如操作系统或存储硬件中。

14

在应用软件和硬件之间加入了一层抽象的层。

能够降低IT设施的成本和复杂度。

提供相互独立的计算资源，从而增加稳定性和安全性。

提高服务层次以及服务质量（QoS）。

能够使IT流程与单位目标相一致。

尽可能减少IT设施中的冗余，最大化IT设施的利用率。

当今最常见的虚拟化形式都聚焦于服务器硬件平台的虚拟化，而这项技术的实现及其实现目标其实对数据中心中关键而昂贵的组件也很有意义，例如存储和网络基础设施。

虚拟化技术能够允许在一台计算机上同时运行多个操作系统实例。每个操作系统实例都共享了同一物理硬件上的一定量的资源，就像下图所展示的那样。一个称作虚拟机监视器（Virtual Machine Monitor,VMM）的软件控制着底层CPU、内存、存储和网络资源的使用和许可。

图1.虚拟化示意图

15

基于服务器虚拟化技术实现的软件定义计算，使数据中心的计算资源重新合理的分配，实现了计算资源的高效利用，智能调度。

2.2.2.1虚拟机计算性能

2.2.2.1.1CPU虚拟化

EVO RAIL通过CPU虚拟化技术解决了如何在一个操作系统实例中运行多个应用的难题。实现这一任务的困难之处在于每一个应用都与操作系统之间有着密切的依赖关系。一个应用通常只能运行于特定版本的操作系统和中间件之上。这就是Windows用户常常提到的“DLL地狱”。因此，大多数用户只能在一个Windows操作系统实例上运行一种应用，操作系统实例独占一台物理服务器。这种状况会导致物理服务器的CPU资源被极大地浪费。能够使多个操作系统实例同时运行在一台物理服务器之上，是EVO RAIL所提供的CPU虚拟化技术的价值所在。通过整合服务器充分利用CPU资源，可以给用户带来极大的收益。

服务器整合的益处能够得以实现的前提是工作负载并不需要知晓它们正在共享CPU，虚拟化层必须具备这种能力。这是CPU虚拟化与其它虚拟化形式所不同的地方。

具体实现方式是为每个虚拟机提供一个或者多个虚拟CPU（vCPU）。多个vCPU分时复用物理CPU。VMM必须为多个vCPU合理分配时间片并维护所有vCPU的状态，当一个虚拟机vCPU的时间片用完需要切换时，要保存当前vCPU 的状态，将被调度的vCPU的状态载入物理CPU。

16

VMkernel在调度vCPU的时候采用“插槽-核心-线程”的拓扑逻辑。“插槽”指处理器单个封装件，该封装件可以具有一个或多个处理器内核且每个内核具有一个或多个逻辑处理器。

当vCPU需要运行时，VMkernel 会将一个vCPU映射到处理器调度一个执行线程的能力，它对应于一个CPU 核心或一个超线程（如果CPU 支持超线程）。超线程或多核CPU 提供两个或多个调度vCPU运行的硬件基础。

可以将虚拟机配置为最多具有64个vCPU。主机上许可的CPU 数量、客户机操作系统支持的CPU 数量和虚拟机硬件版本决定着您可以添加的vCPU 数量。

与vCPU和管理vCPU相关技术和概念如下：

处理器管理：

从客户操作系统vCPU发往ESXi VMkernel的指令被VMM拦截。在固定时间间隔内，VMKernel动态地在服务器和不同处理器（或多核处理器的内核）中分配VM工作负载。因此，VM指令根据每个处理器的工作负载从一个处理器（或内核）转移到另一个处理器。

多内核和虚拟化

多核处理器为执行虚拟机多任务的主机提供了很多优势。

Intel 和AMD 均已开发了将两个或两个以上处理器内核组合到单个集成电路（通常称为封装件或插槽）的处理器。

17

例如，双核处理器通过允许同时执行两个虚拟CPU，可以提供几乎是单核处理器两倍的性能。同一处理器中的内核通常配备由所有内核使用的最低级别的共享缓存，这有可能会减少访问较慢主内存的必要性。如果运行在逻辑处理器上的虚拟机正运行争用相同内存总线资源且占用大量内存的工作负载，则将物理处理器连接到主内存的共享内存总线可能会限制其逻辑处理器的性能。

研究显示使用多核心可以导致可观的耗电下降，并提供良好的性能。虚拟化是最好地利用多内核提供的高性能的技术之一，因为ESXi能够像管理物理处理器一样地管理核心。

对称多处理器

EVO RAIL 虚拟对称多处理技术(Virtual SMP) 可以使单个虚拟机同时使用多个物理处理器，并能够在处理器之间均衡负载。必须具有虚拟SMP，才能打开多处理器虚拟机电源。一些关键业务，比如数据库类应用（Microsoft SQL、Oracle、IBM DB2、SAP）和商业、科研应用，在开发的的时候就考虑了并行执行任务的需求，具有多个物理处理器的服务器就能利用SMP并从中获益。

超线程

超线程是在一个物理处理器或者内核上创建两个逻辑内核实例，从而在核心中并行执行任务，提高效率。在EVO RAIL虚拟机的处理器分配中，一个超线程可以对应一个vCPU。

CPU虚拟化类型

18

从架构上看，传统的X86平台并不是为支持多操作系统并行而设计的。因此CPU厂商如AMD和Intel都需要重新设计CPU，增加虚拟化特性，以解决上述问题。当前x86 虚拟化平台的主要厂商如EVO RAIL等，也已经开始充分利用芯片厂商在处理器架构中构建的硬件辅助功能，以提高系统运行效率，降低Hypervisor带来的系统开销。

在传统的x86运行环境下，操作系统使用保护环提供保护级别以完成不同任务代码的执行。这些环以等级排列，从最有特权的（Ring 0）到最少特权的（Ring 3）。在未虚拟化的服务器上，操作系统拥有在Ring 0运行设备I/O等核心指令的权利，同时应用运行在Ring 3。在虚拟化系统上，Hypervisor和虚拟机监控器（VMM）需要运行在Ring0，因此虚拟机子操作系统必须运行在Ring1。但由于多数操作系统的设备I/O等核心指令必须运行Ring 0，那么VMM 工具通过捕获特许指令和模拟Ring 0到子虚拟机，让子操作系统以为它运行在Ring 0。这样就产生了延时和开销。

因此，Intel和AMD等芯片厂商在CPU内引入了一个新的、具有超级特权和受保护的Ring-1位置来运行虚拟机监控器(VMM)，因此VMM能运行在新的叫做Ring -1的环里，这允许GuestOS天生运行在Ring 0里。这种CPU架构上的虚拟化支持扩展提升了性能。VMM不再让GuestOS以为自己运行在Ring 0里，因为GuestOS已经能在此操作，并且不会与VMM冲突——VMM 已经移动到新的Ring 1级别。选择支持这些虚拟化优化扩展的CPU，这可以更好地降低系统开销、提升虚拟化效率。

19

基于以上设计，Intel和AMD分别推出了VT-x和AMD-v这两种主要的X86处理器架构的虚拟化硬件辅助功能。

CPU负载均衡

CPU调度器可以让多个虚拟机复用逻辑处理器（逻辑处理器的单位是一个CPU 核心或一个超线程），提供給虚拟机类此于传统对称多处理器（SMP）的执行能力，并使他们之间相互独立。例如，配有2个VCPU的虚拟机可以让虚拟处理器运行在属于相同内核的逻辑处理器上，或运行在不同物理内核的逻辑处理器上。VMkernel智能地管理处理器时间来保障工作负载在处理器内核间的迁移。每隔2-40毫秒，VMkernel检查把vCPU从一个逻辑处理器迁移到另一个

来保障负载均衡。如果存在超线程，VMkernel

尽量把相同虚拟机的vCPU负载

分散到不同内核的线程上来实现性能的优化。

图：CPU负载平衡

20