923819-服务器-Parastor200测试报告

某有线公司Parastor200测试报告

2013年04月

1应用模型

应用系统为海量非结构化数据存储平台，其中存储的数据为视频等非结构化数据，系统并行实时写入海量非结构化数据，通过转码软件对视频文件进行转码处理之后，生成新的视频文件实时写入到存储。通过对业务需求分析可以发现，所选海量并行存储、数据及IO有以下特征：

1.数据容量：每天产生的数据量分成两部分：1.收录，估算每天产生6~8TB的数据量.

2.

外购片源数量不定，一次2-6T，一次时间间隔在一周左右.

2.数据类型：非结构化数据，如视频文件.

3.文件大小：文件大小看应用，收录一般都在3G以上，分发可能会涉及到小文件，xml、

jpg等在1MB以下.

4.读写行为特征：视频文件时一次顺序写入，多次读，不会重复修改，对视频文件的修改

时重新生成新文件，新生成的文件也是一次写入，多次读.

5.性能需求：一般写入速度稳定，收录是信源的码流，修改文件主要看操作终端的转码执

行能力，读的要求是越快越好.

6.客户端类型：主要为windows。

7.客户端数据一致性：客户端无一致性的要求

8.可靠性要求：比较高，强烈要求数据双副本

2测试内容

测试主要分三部分，第一部分测试主要以业务为导向，测试并行存储系统的可靠性。包括元数据控制器的高可靠测试、数据控制器的高可靠测试、磁盘损坏测试、数据重建测试等等。第二部分为海量并行存储系统的基准测试，即benchmark测试。包括单流带宽测试、

单业务服务器（客户端）带宽测试、多业务服务器（客户端）并发聚合带宽测试。测试工具主要采用业界公认的文件系统测试工具IOZONE。第三部分为应用测试，即搭建业务平台，真实环境进行测试。

3系统测试环境

测试环境主要有：业务服务器（客户端），海量并行存储，交换机等组成。

结构

3.1网络拓扑

网络拓扑结构

图1海量视频存储转码平台存储测试拓扑结构

服务端和客户端均采用万兆环境，配置双口千兆网卡和双口万兆网卡。千兆网卡用于连接管理网络，万兆网卡用于数据网络。

3.2硬件配置

本次测试的曙光ParaStor 200并行存储系统由2个元数据节点、4个数据节点组成，管理节点与元数据节点共架部署。客户端选用4台曙光PC 服务器。

具体配置如下表所示：

表1海量视频存储转码平台测试环境存储硬件配置

3.3IP

地址配置

ParaStor 200并行文件系统各节点网络配置如下表所示：

表2海量视频存储转码平台测试环境IP列表

3.4测试软件环境

表3系统测试软件环境

4测试及结果

本次测试主要包括海量存储系统高可用性测试、性能测试、应用模拟测试、稳定性测试、兼容性测试、测试流程将按照这几部分依次进行。

4.1面向应用测试

本次测试系统的数据硬盘为2TB企业级SATA硬盘，硬盘总数：4*24=96块。测试采用的副本数量为双副本。

4.1.1存储高可用性测试

主要测试存储系统在某些故障情况下的可用性。

4.1.2磁盘故障

故障常工作。

表4海量存储系统高可用磁盘故障测试结果4.1.3服务器故障

表5海量存储系统高可用服务器故障测试结果4.1.4通信故障

作。

客户端数据网络

故障客户端数据网络中断后，存储系统仍能正常工

作。

PASS

故障切换时间客户端数据网络中断后，存储系统仍能正常工

作。

PASS

表6海量存储系统高可用服务器故障测试结果

4.2海量存储系统IO性能测试

4.2.1存储带宽测试

主要通过业界公认的存储benchmark测试软件IOZONE来测试海量存储系统IO性能。

海量存储系统文件系统主要配置参数：

STRIPE_SIZE=64KB,STRIPE_WIDTH=4,REPS_NR=2,OBJECT_SIZE=64MB。

1)单客户端单流测试

测试方法，即在单个业务服务器上进行一个64GB的单流数据读写测试。

IOzone参数如下：./iozone-R-s64g-t1-r1M-i0-i1-+n

测试结果如表7，单位：MB/sec。

客户端fsname Initial write Initial read

Windows Dx10412.4296.7

表7单客户端单流测试结果

结果简评：数据写的过程首先要经过客户端的内存，然后由客户端操作系统并发的往后端存储刷数据。单流读比单流写要小很多，主要是受限于磁盘。数据写入后端存储，最终是落到盘上。客户端要读数据需要顺序的从数据盘上读出数据然后经过网络再读到客户端的内存。如果要提高单流读的性能，可采用数据对象条带化的方式使多个磁盘并行的读数据。一般情况下，如果对单流读性能要求不是特别苛刻，在超大型存储中不使用条带聚合性能反而更好。因为大型系统读的线程会非常多，使用条带反而会增加一些开销，不如通过更多读线程的方式提高聚合的读带宽。以下两组测试可以进一步看到，随着线程的增加读性能有非常好的加速比。

2)单客户端测试多流

测试方法，即在单个业务服务器上，测试8个64GB的数据流的读写性能。

IOzone参数：./iozone-R-s64g-t8-r1M-i0-i1-+n

测试结果如表8，单位：MB/sec。

客户端fsname Initial write Initial read Windows Dx10676.3392.8

表8单客户端多流测试结果

结果简评：

在单客户端的环境下增加线程数，可较显著提高读写带宽。

3)多客户端多流

测试方法，即使用2个业务服务器，每个业务服务器起8个64GB的数据流读写操作。IOzone 参数：./iozone-R-s64g-t16-r1M-i0-i1-+n-+m client_list

测试结果如表9所示，单位：MB/sec。

客户端fsname Initial write Initial read Windows Dx10843.5630.8

表9多客户端多流测试结果

4)多客户端多流

测试方法，即使用4个业务服务器，每个业务服务器起6个64GB的数据流读写操作。IOzone 参数：./iozone-R-s64g-t24-r1M-i0-i1-+n-+m client_list

测试结果如表9所示，单位：MB/sec。

客户端fsname Initial write Initial read Windows Dx101546.31032.1

表10多客户端多流测试结果

结果简评：

在多客户端的环境下增加客户端的数量，可较显著提高读写带宽。充分体现系统性能的可扩展性较强.

4.2.2存储稳定性测试

存储的稳定测试结果如表11

表11多客户端多流测试结果

4.2.3存储兼容性测试

存储的兼容性测试结果如表12

表12多客户端多流测试结果

5总结

本次测试主要测试了IOzone带宽测试，视频文件并行写入测试，高可用测试，应用测试，稳定性测试，兼容性等测试。从测试结果看，预计将能够较好的符合未来视频文件的并

行收录以及转码存储。

6测试人员

甲方：乙方：曙光信息产业股份有限公司甲方测试人员：乙方测试人员：龚超

甲方测试代表签字：乙方测试代表签字：

日期：日期：2013.4.8

7附录

本附录主要讲述前面测试中的详细测试步骤，部分步骤可能会有微小调整，所有测试以实际测试为主。

7.1元数据服务器故障

7.1.1oPara01断电

1.批量创建大量小文件。

2.拔掉元数据控制器电源，观察文件创建过程是否受阻，创建结果是否正确。

7.1.2oPara02断电

1.批量创建大量小文件。

2.拔掉元数据控制器电源，观察文件创建过程是否受阻，创建结果是否正确。

7.2数据服务器故障

7.2.1oStor01断电

1.拔掉数据控制器电源

2.创建一个大文件，观察文件创建过程是否受阻，创建结果是否正确。

7.2.2oStor02断电

1.拔掉数据控制器电源

2.创建一个大文件，观察文件创建过程是否受阻，创建结果是否正确。

7.3通信故障

7.3.1索引控制器网络故障

1.批量创建大量小文件。

2.拔掉元数据控制器一路网线，观察文件创建过程是否受阻，创建结果是否正确。

7.3.2数据控制器网络故障

1.拔掉数据控制器一路网线

2.创建一个大文件，观察文件创建过程是否受阻，创建结果是否正确。

7.3.3客户端网络故障

1.拔掉数据控制器一路网线

2.创建一个大文件，观察文件创建过程是否受阻，创建结果是否正确。

7.4磁盘故障及数据重建

1.创建一个文件，查看文件在后端存储的分布。

2.拔掉数据块所在的一块磁盘，然后观察文件是否被重新分布到其他磁盘上了。最后再验

证文件完整无错误。