观云网-《中国云服务质量评测与排名报告(云主机第一期)》-final

云质量评测系列报告

2014/09

为企业选购云产品提供决策参考

推动中国云服务产业理性繁荣

使命:

知云、用云，管云，为云服务使用者提供最佳建议

目标:

成为云服务使用者首选的信息

平台和可信顾问

Table of Contents 目录1、评测背景与意义2、评测结果2.1 1C2G型2.2 2C4G型2.3 4C8G型3、评测方法3.1评测目标3.2评测管理机制3.3被测云产品选择3.4评测指标（KPI）3.5评测工具3.7评测时间3.8评测部署实施3.9质量排名算法4、观云网顾问委员会

1、评测背景与意义

云计算是未来信息技术服务供给的趋势，不可逆转，将和水、电、燃气、网络一样成为社会公用基础设施。云计算，特别是公用云（Public Cloud，传统翻译为公有云）的服务质量，将影响到国家经济发展与社会服务的速度、规模、效率和可持续性，具有十分重大的意义！

公用云市场发展迅猛。根据Gartner的统计，2013年全球云服务市场规模为333亿美元，增长率达到29.7%；据Forrester测算到2020年中国云计算市场总体将超过350亿人民币；据工信部电信研究院统计，2013年国内公用云服务市场整体规模约已达47.6亿元人民币！

越来越多的中小企业开始转向云服务，而不是企业自身

搭建数据中心机房、建设信息化设施和系统；特别是新

创建企业，据调查超过80%完全采用公用云服务。随着

云计算技术和信息安全体系的成熟，企业对公用云服务

从观望和不信任，逐步转向如何更好的利用公用云推动

业务增长上来。但面临的难题是：如何选择适合企业需

求的、性价比高的云服务？

如何选择高质量的云服务，有非常大的难度，原因在于：

云服务商提供的产品数量众多

据CSDN 2013年的统计，中国国内宣称提供公用云服

务（IaaS、PaaS和SaaS）的公司超过500家，提供数

千种不同的服务，从中挑选几种适合企业需求的服务

需要大量的调研分析，需要花费大量的人力、物力和

财力；

云服务依赖虚拟化技术，难以判断质量

云计算实现的技术基础之一就是资

源虚拟化，虚拟化技术带来的一个问

题就是无法确认何种型号的物理设

备，具备什么水平的质量，多个组件

组合集成后总体的处理能力等。举例

来说，对于云主机，CPU的配置和性

能就很难判断。一般来说一颗多核物

理CPU，通过虚拟化技术，可以提供

几颗到几十颗vCPU（虚拟CPU），也即是数十台云主机。由于不同厂商，甚至同一云服务商不同采购批次和建设时间，采用的物理CPU型号不同，虚拟比例不同，所以，不通过专业的评测，就无法判断一台云主机的处理能力。如同一台家用车，不同的型号、配置，能够运载的人数、货物重量、速度、油耗、安全性等差异非常大。

厂商促销公关手段强大，过度包装

数百家云服务商为了争夺市场、扩大影响力，不惜血本，大打价格战，展开各种宣传攻势。这种漫天的宣传覆盖了质量为王的本质，难以让企业关键决策人理性的、以质量或性价比为依据的选购决策。

企业数量众多，需求差异大

我国有1500万家中小企业，再加上各级政府机关和非企业机构，数量庞大，自身需求差别很大，如何依照自身计算与应用需求，选择合适的IaaS、PaaS 和SaaS产品，是亟待解决的难题。

为了帮助广大企业更好的选用高质量的云服务产品，为了推动云服务商提升质量水平和管理水平，为了推动中国云计算产业长期理性繁荣，观云网依托来自国内外知名高校和研究机构的专家顾问指导，结合自身产业实践和对企业云化的需求，开展云服务产品的质量评测，并为云产业相关参与者免费提供评测数据作为参考。

评测过程中我们使用了以下第三

方软件、工具和方法：

SPEC 旗下测评软件

FIO

IPERF/NETPERF PING/TCPPING SYSBENCH

其他观云网开发的工具

本次评测选取了8家各种类型的云主机服务提供商，包括 Amazon AWS IBM Softlayer 阿里云 腾讯云

中国电信天翼云 青云 360云 华为云等

选择最常用的3种配置： 1vCPU 2G 内存 2vCPU 4G 内存 4vCPU 8G 内存

通过Benchmark 软件进行匿名的自动化测试，对所有云主机通用基础处理能力的相关质量指标进行量化评比。

本次测试围绕云主机的通用处理能力评测了以下指标： ①vCPU 运算处理能力（整数运算和浮点数运算） ②内存处理能力（数据的读、写速度） ③硬盘处理能力（随机数据读写速度）

④网络传输能力（流出与流入流量的TCP 吞吐量） ⑤在线可用性（主机可远程访问时间的比例）

本报告为针对云主机产品的通用处理能力进行的评测，后续还将陆续推出针对不同产品、不同质量指标、不同业务场景、不同使用需求的评测，欢迎大家持续关注。

2、评测结果

注：

1.本次评测时间跨度为2014年7月-8月

2.本次测试全部采用软件进行自动化量化评测，采用Benchmark方法测量云主机单项指标极限水平

3.测试软件包运行平台为Linux Ubuntu LTS 12.04，个别服务商由于无法提供该版本模板Image，采用了1

4.0

4.对每个指标进行归一化处理，防止不同指标数据加权处理出现混乱

注（续）：

5.性能总得分=CPU得分（占比50%）+内存得分（占比12.5%）+磁盘存储（占比12.5%）+网络得分（占比

25%）。该权重比例是根据通用应用需求设计的；不同的应用场景可能对不同指标分配的权重不同，读者可参考单项指标得分，按照自己的需求改变权重，计算性能总得分。各分项指标见分项数据表

6.质量总得分=性能总得分*在线可用性

7.价格从云服务厂商网站公开信息获取，以月单价为基准，不考虑其临时的价格促销优惠；价格信息在测试

期间可能有变动，以云主机开通时的价格为准

8.性价比指数=质量总得分/月价格，100分归一化后得分

9.AWS该产品内存仅1.75G，没有对齐2G配置。此外，由于AWS采用了资源抑制技术，所有质量指标均去

除了抑制之前采集的数据

10.更多信息见https://www.360docs.net/doc/944865689.html,云质量评测频道

附1：云主机的详细配置信息

附2：云主机的质量指标分析 注： 1. – 4. 同上

5.vCPU 测试运算处理能力，包括整数运算和浮点数运算

6.内存测试数据的读、写速度

7.磁盘存储测试随机数据读写速度

8.对云主机安装运行OS 的磁盘进行的测试，非另外连接的数据存储设备 9.网络性能=流出流量TCP 吞吐率*70%+流入流量TCP 吞吐率*30%

云主机质量数据点评：

- 青云在CPU 、内存和磁盘存储3方面都有良好的表现，特别是磁盘存储 - 各被测试云主机实例CPU 、内存差异不大，数据波动较小 - 磁盘存储速度可能受到存储可靠性设计影响，高可靠性设计（如RAID ）可能

降低速度

- AWS

网络单位吞吐量最大

- 网络数据波动很大，尤其是国外云主机实例，但国外实例网

络吞吐量较大

注：

1.本次评测时间跨度为2014年7月-8月

2.本次测试全部采用软件进行自动化量化评测，采用Benchmark方法测量云主机单项指标极限水平

3.测试软件包运行平台为Linux Ubuntu LTS 12.04，个别服务商由于无法提供该版本模板Image，采用了1

4.0

4.对每个指标进行归一化处理，防止不同指标数据加权处理出现混乱

注（续）：

5.性能总得分=CPU得分（占比50%）+内存得分（占比12.5%）+磁盘存储（占比12.5%）+网络得分（占比

25%）。该权重比例是根据通用应用需求设计的；不同的应用场景可能对不同指标分配的权重不同，读者可参考单项指标得分，按照自己的需求改变权重，计算性能总得分。各分项指标见分项数据表

6.质量总得分=性能总得分*在线可用性

7.价格从云服务厂商网站公开信息获取的，以月单价为基准，不考虑其临时的价格促销优惠；价格信息在测

试期间可能有变动，以云主机开通时的价格为准

8.性价比指数=质量总得分/月价格，100分归一化后得分

9.AWS该产品内存仅3.5G，没有对齐4G配置。此外，由于AWS采用了资源抑制技术，所有质量指标均去

除了抑制之前采集的数据

10.更多信息见https://www.360docs.net/doc/944865689.html,云质量评测频道

附2：云主机的详细配置信息

附2：云主机的质量指标分析 注： 1. – 4. 同上

5.vCPU 测试运算处理能力，包括整数运算和浮点数运算

6.内存测试数据的读、写速度

7.磁盘存储测试随机数据读写速度

8.对云主机安装运行OS 的磁盘进行的测试，非另外连接的数据存储设备 9.网络性能=流出流量TCP 吞吐率*70%+流入流量TCP 吞吐率*30%

云主机质量数据点评：

- 中国电信天翼云CPU 速度最快

- 青云在内存、磁盘存储方面有良好的表现，但是价格显著高 - 各被测试云主机实例CPU 、内存差异不大，数据波动较小 - 磁盘存储速度可能受到存储可靠性设计影响，高可靠性设计（如

RAID ）可能降低速度 - AWS 网络单位吞吐量最大

- 网络数据波动很大，尤其是国外云主机实例，但国外实例网络吞吐

量较大

注：

1.本次评测时间跨度为2014年7月-8月

2.本次测试全部采用软件进行自动化量化评测，采用Benchmark方法测量云主机单项指标极限水平

3.测试软件包运行平台为Linux Ubuntu LTS 12.04，个别服务商由于无法提供该版本模板Image，采用了1

4.0

4.对每个单指标进行归一化处理，防止不同指标数据加权处理出现混乱

注（续）：

5.性能总得分=CPU得分（占比50%）+内存得分（占比12.5%）+磁盘存储（占比12.5%）+网络得分（占比

25%）。该权重比例是根据通用应用需求设计的；不同的应用场景可能对不同指标分配的权重不同，读者可参考单项指标得分，按照自己的需求改变权重，计算性能总得分。各分项指标见分项数据表

6.质量总得分=性能总得分*在线可用性

7.价格从云服务厂商网站公开信息获取，以月单价为基准，不考虑其临时的价格促销优惠；价格信息在测

试期间可能有变动，以云主机开通时的价格为准

8.性价比指数=质量总得分/月价格，100分归一化后得分

9.IBM该产品为1C4核的裸机，非虚拟机，网络每月累计流量配额20TB，换算为8M带宽每秒

10.AWS该产品内存仅7G，没有对齐8G配置。此外，由于AWS采用了资源抑制技术，所有质量指标均去

除了抑制之前采集的数据

11.更多信息见https://www.360docs.net/doc/944865689.html,云质量评测频道

附2：云主机的详细配置信息

附2：云主机的质量指标分析 注：

1. – 4. 同上 5.vCPU 测试运算处理能力，包括整数运算和浮点数运算 6.内存测试数据的读、写速度 7.磁盘存储测试随机数据读写速度 8.对云主机安装运行OS 的磁盘进行的测试，非另外连接的数据存储设备 9.网络性能=流出流量TCP 吞吐率*70%+流入流量TCP 吞吐率*30% 10. -11.同上。

云主机质量数据点评： - IBM Softlayer 质量排名第一，CPU 速度最快、内存速度最快（是最慢的10多倍）、、网络吞吐量最大，价格显著高

- 青云的磁盘存储速度是其他大部分云主机实例的10多倍 - 磁盘存储速度可能受到存储可靠性设计影

响，高可靠性设计（如RAID ）可能降低速度 - 网络数据波动很大，尤其是国外云主机实例的网络性能，但国外实例网络吞吐量较大

3、评测方法

评测目标：

全面调查典型云服务产品的质量水平，推进产业链参与者建立云质量理念； 为广大计划使用公用云服务的企业、机构和个人提供中立、客观、权威的云

质量数据参考；

推动云服务商提升云服务质量，避免单纯价格战，关注质量和增值服务；

评测管理机制：

全程受控：评测从计划、实施到结果汇总都受到相关

学者的指导与监督；评测全过程每个步骤均在小范围验证和评审后才进行下个环节；

防止利益冲突：方案设计、脚本编写、评测实施和结

果整理均由无潜在利益冲突的人员完成，并彼此监督验证；

测试要素一致：所有被测试云服务产品都尽力对齐配

置，在同样测试环境、采用同样工具、由同一人员完成；

匿名评测：为客观公正，所有被评测产品都是匿名购

买，没有和云服务商任何人员进行任何有关评测的沟通；

软件自动化评测提供量化数据：为客观公正，所有评

测均为客观指标，均由评测软件自动测试，结果关键原始数据使用MD5技术进行防篡改处理，没有加入任何人为主观评价信息；

软件自动 量化评测

被测云产品选择：

云产品选择：

基本要求：云产品可以通过网络远程申请开通和管理，计费至少以月计

价（按季度或者年度计费的不满足我们对云服务的定义）；

本期选择云主机产品：第一期评测仅针对使用最广泛的云主机（Virtual

Machine ），后续会扩大到云存储、CDN 、弹性计算，以及PaaS 、SaaS ； 选取3种典型配置：考虑到广大中小企业对云主机的普遍需求和可对比

性，选择最常用的3种配置：1vCPU 2G 内存、2vCPU 4G 内存、4vCPU 8G 内存；部分无法严格对齐配置的产品，对未对齐配置部分质量测量结果做了对齐处理或说明。具体说明见评测结果部分描述；

评测抽样局限性：评测结果最多仅代表被测试产品实例样本的质量情况，可

能不能代表该厂商同型号的所有实例；

部分被选中厂商和产品由于在测试中因故无法取得全部测试数据，因此无法

提供公开数据和排名；

云服务商选择：

在中国市场有一定知名度，云主机服务对中国大陆用户开放使用；

有一定代表性，如外资企业、民营企业、国有企业；互联网企业、电信企业、

设备制造企业；目标市场针对各个行业和应用类型等；

云服务商名单不代表该厂商具备某种市场份额或者质量保证；

评测指标（KPI）：

指标来源：被评测的所有KPI都从研究团队提供的云

质量框架和KPI库获得，这些是观云网云质量研究中心基于全球公开发表的研究论文、业界公认方法与标准、自身研究成果等综合而成；

本期测试指标：本期测试针对云主机服务展开，本次测试围绕云主机的通用基础处理能力，包括：

①vCPU运算处理能力（整数运算和浮点数运算）

②内存处理能力（数据的读、写速度）

③硬盘处理能力（随机数据读写速度）

④网络传输能力（流出与流入流量的TCP吞吐量）

⑤在线可用性（主机可远程访问时间的比例）

纳入价格因素：本次测试将相应产品的公开价格也纳入比较。该价格从云服务厂商网站公开信息获取，以月单价为基准，不考虑其临时的价格促销优惠；价格信息在测试期间可能有变动，以云主机开通时的价格为准；

未来将对云主机的其他质量性能指标进行持续评测；

评测工具：

软件自动化评测：所有指标的评测都是基于测试软件（Benchmark）实现的，没有人为主观打分评价信息。

Benchmark是通过特定算法执行处理高强度任务来逼近系统极限能力，从而测量出系统最佳质量数据的业界常用方法；

以公认测评软件为核心：本次评测使用的测试软件包是由多个国际行业公认的测评工具、方法或协议，结

合观云网云质量研究中心开发的部分程序与脚本等选取云主机典型3种配置

1vCPU 2G内存 2vCPU 4G内存 4vCPU 8G内存

组成的；

测试尽可能全面：例如针对vCPU的极限测试，测试包包括34种专业用途的测试项目，如程序编译、文件压缩、基因测序、量子计算、XML处理、力学计算、天气预报、语音识别等，能够全面反映CPU的运算能力，而且运算任务满负荷运行需要几天时间才能完成；

已尽力优化评测配置参数：所有工具在评测时都针对每个云主机产品公开披露、或者通过程序访问接口API获得的信息进行了尽力优化，以保证能够到测试到被测试产品的最佳质量水平；

评测结果综合多个方法或工具：每个测试指标结果都是多个测试方法或者软件形成的综合值，而不会产生由于某种特定的测试方法或者软件实现导致的显著偏差；

测试任务隔离实施：每个指标都由单独测试软件评测，测试计划保证了其他相关组件的性能不会对被测试组件的性能表现产生显著影响。例如：对vCPU 运算能力的测试，虽然测试时会不可避免的需要内存和硬盘的配合，但是测试软件的配置和算法等将对内存和硬盘的要求降低到最低，即使后者性能降低一个数量级都可能无法产生实际影响；

考虑用户体验要素：测试数据是以中国大陆普通用户访问被测云主机的视角进行测试的，测试可能由于非云服务商的原因导致测试数据有偏差（例如：由于中国大陆网络性能测试点使用的运营商网络质量变化，导致国外云主机访问的网络速度和可用性测量受到影响，但这肯定是任何中国大陆用户必然遇到的情形和使用体验）。观云网认为从用户视角体现了在中国大陆使用这些产品的最终体验；

评测时间：

起止时间：本次评测时间跨度为2014年7月-8月；

每个被测试产品的同一个质量指标测试起止时间不能做到严格一致，主要原

因是不同产品对同一个质量指标的处理能力差异较大，无法在同样时间完成相应测试计划（例如对vCPU的评测，单次测试，不同的云主机可能需要运行1天到数天不等；多次测试时时间更无法对齐）；

评测部署实施：

测试运行平台：测试软件包运行平台为Linux Ubuntu LTS 12.04，个别服务商由于无法提供该版本模板Image，采用了14.0；

评测软件部署：对vCPU、内存、硬盘的质量测试程序包部署在被测试云主机上；

远程测试部署：网络传输能力和在线可用性通过远程部署测试程序进行。分别选择华北（北京）、华东等多个典型地点，每个地点都提供BGP或者多线接入能力（即每个地点同时接入电信、移动、联通的光纤，只要不是3家运营商的网络全部中断的极端情况，对外连接就不会中断，保证不会因为网络中断造成误判），每个地点购买的带宽显著高于被测试云主机的采购带宽；

进一步的，在线可用性指标的测试结果取多地测试的结果的最佳值；

评测覆盖各个时段：对于不同时间质量表现可能不同的指标，如网络传输能力评测，进行了全天候各个时间段的测试，并与其他指标的测试隔离，互相不影响；

异常数据重新测试：对于测试过程中出现的畸高、畸低的数据，均专门进行了重新测试、确认，保证测试误差降低到最小；

评测数据管理：所有测试的原始数据文件和运行记录均留档；关键运行环境信息截图留档；