基于三级存储阵列缓存高速数据包及性能分析
HP-3PAR存储日常管理手册
HP-3PAR存储日常管理手册————————————————————————————————作者：————————————————————————————————日期：2a d m i n技术支持服务热线800-810-3860/400-810-3860V e r s i o n1.0目录一，3PAR存储介绍 (3)1.3PAR InSpire架构 (3)2.3PAR InForm软件 (4)3.3PAR主要构件 (7)4.3PAR组件编号系统 (9)5.3PAR LED状态指示灯 (10)二，日常配置 (11)1.添加主机Host (11)2.创建CPG (12)3.创建VV虚拟磁盘 (13)4.分配VV虚拟磁盘 (15)三，日常维护 (17)1.存储开机步骤 (17)2.存储关机步骤 (17)3.存储日志Insplore收集 (17)4.管理机SP日志SPLOR收集 (19)5.特定信息CLI命令行收集 (21)四，HP支持服务模式 (22)1.主动式响应--SP Call-Home (22)2.被动式响应—HP服务热线 (22)3.被动式响应—邮寄存储日志 (23)May.2012Version 1.0admin一，3PAR存储介绍3PAR 系列存储平台具有超高的灵活性和高效性，突破了公共基础设施中传统存储阵列的局限性。
作为精简配置、绿色存储以及存储虚拟化技术的先行者，3PAR能帮助用户降低能耗、实履行环保义务，还可削减最高达50%的存储总拥有成本1.3PAR InSpire架构紧密集群化、多客户端的3PAR InSpire 构架设计，消除了传统整体式和模块化阵列价格高昂和扩展十分复杂的弊端。
用户可以一开始只购买较小的系统，之后，随着业务量的增加再进行扩展，即经济且连续地添加新的应用和工作负载，所有这些都将在一个单一、自动化的分层阵列中进行。
内置Thin Built In™的 Gen3 /Gen4 ASIC内置Thin Built In™的3PAR Gen3 ASIC 提供一种高效、基于硬件的零检测机制。
多源异构遥感大数据的高性能存储技术研究
多源异构遥感大数据的高性能存储技术研究杨景玉;张珩;李宝文;吴磊;高德成【摘要】为了提高多源异构海量遥感数据处理流程中存储系统的性能,研究了自适应内存缓存机制在遥感数据存储中的应用.首先使用Alluxio建立统一的虚拟文件系统,并研究了基于空间关系及历史数据访问推理的缓存机制.其次引入了基于内存运算的Presto作为遥感数据元信息的存储组件,为海量的遥感数据元信息及高级语义信息提供实时的读写支持.实验结果表明,相对于使用传统存储方式的流程,使用自适应内存缓存遥感数据存储系统的流程处理耗时减少18％以上,该存储系统对提高遥感数据处理效率贡献显著.【期刊名称】《兰州交通大学学报》【年(卷),期】2019(038)001【总页数】7页(P50-56)【关键词】遥感数据存储;缓存机制;条件随机场;并行数据库【作者】杨景玉;张珩;李宝文;吴磊;高德成【作者单位】兰州交通大学电子与信息工程学院,甘肃兰州 730070;甘肃省人工智能与图形图像处理工程研究中心,甘肃兰州 730070;兰州铁路局计划统计处,甘肃兰州 730000;兰州铁路局计划统计处,甘肃兰州 730000;兰州交通大学电子与信息工程学院,甘肃兰州 730070;甘肃省计量研究院,甘肃兰州 730070【正文语种】中文【中图分类】TP334.5随着我国遥感技术的发展以及高分系列卫星的正式投入使用，可接收数据的卫星数量稳定上升，每个卫星搭载的载荷也更加丰富，同时单景数据的规模也达到了GB 级别，总体来看，接收到的数据呈现出多源异构及海量的特点.很多学者研究了海量遥感数据的处理与信息提取，使用这些丰富的数据为国民生产生活提供了大量有用的信息，另一方面也挑战着传统的遥感数据存储管理方式，因为传统的遥感数据存储方式面临着存储成本高、系统的性能在负载较大时无法及时有效得到提升等问题.虽然HDFS[1]以及Alluxio[2]等都经过多年发展已比较成熟，但是缺乏与遥感应用的结合.李德仁等[3]对遥感大数据的表达、检索及理解等自动分析与数据挖掘等方面进行了论述，朱建章等[4]对遥感大数据从GPU硬件加速、集群、网络等方面论述了遥感大数据处理系统，并从分布式集群化存储技术、面向遥感大数据的机器学习等角度说明了遥感大数据发展的趋势.目前遥感大数据存储的研究主要分为如下几种情况：1) 用分布式存储如HDFS的方式来替换传统的磁盘阵列等集中存放方式，以提高系统的容错性以及扩容能力等，如张扬等[5]设计的基于Hadoop的遥感影像业务管理系统，根据数据热度采用三级存储模式，可以提高HDFS在遥感影像存储中的读写速度.聂沛等[6]提出的一种面向遥感影像的分布式存储方法，底层存储使用HDFS.景维鹏等[7]利用HBase存储遥感数据，利用网格ID和Hilbert 曲线来进行遥感数据的索引.刘云峰等[8]设计了Hadoop框架下海量影像数据库管理系统，主要利用影像无缝集成及镶嵌数据集技术来提高遥感影像在HDFS中存储的效率.2) 主要研究海量遥感数据的存储组织方式以提高在实际应用中遥感影像的存取效率.聂沛等[6]提出的面向遥感影像的分布式存储方法，设计了一种用于分布式环境的影像存储模型，数据具有更好的聚合性并设计了可配置的数据分块策略.张立福等[9]设计了多维遥感数据时空谱一体化存储结构，针对遥感数据不用应用场景下的数据组织提出了5种不同的数据结构以提高数据存取的效率.李国庆等[10]将遥感数据基础设施按服务能力分成6类，其中高性能的存储是重要的服务能力之一.3) 有学者研究了存储系统中内存缓存的应用，但没有针对遥感数据的特性进行专门的优化.文献[11-12]研究了Alluxio的存储系统应用优化以及远程分布式环境下的存储优化，系统分析了通用文件存储系统中缓存对存储系统性能的影响并进行了评价.Yildiz等[13]及Yang等[14]在实际应用中引入缓存有效地提高了系统的运行效率，让应用达到了实时或者接近实时的处理速度.上述研究从数据的组织到数据的存储及分布式并行处理等方面都对遥感大数据技术做了研究，但缺乏基于海量多源异构遥感影像高级语义的检索实时性技术的研究，同时对遥感影像存储系统的研究缺乏分布式缓存技术，导致在分布式处理时储存系统成为瓶颈.在遥感大数据系统的设计与应用中，存储系统的效率对整个应用系统的运行效率有非常重要的影响.特别是在分布式的遥感数据处理工作流中，由于后一流程的输入是前向流程的结果，因此导致频繁的存储系统访问，增加了流程运行的时间，加大了存储系统的负荷，图1是流程示例，其中CA、BG及DX是处理模块的代码.图1 遥感数据处理部分流程示例Fig.1 Example of RS data processing flow本文引入了Alluxio作为建立虚拟统一文件系统结构以及进行分布式内存缓存加速的工具，对遥感影像数据进行跨结点的分布式自适应缓存，可以避免数据频繁被写入及读出消耗额外时间及资源的情况.另外，很多在空间上相邻的遥感图像在处理时会有很大概率需要一起被处理，因此对多源异构的遥感数据建立基于元信息及高级语义的多维索引结构，并在存储系统中记录数据的访问历史，根据这些既有信息自适应地缓存需要的数据，能有效提高缓存系统的命中率.1 系统的组成结构通过建立统一文件系统UFS，存储底层可自动适配并整合使用已有的磁盘阵列，同时建立了基于HDFS 的分布式文件系统.系统的结构如图2所示.图2 基于内存缓存的遥感存储系统结构图Fig.2 Structure chart of memory-based RS data storage system由于单位内存价格的持续降低，基于将内存作为硬盘使用理念而设计的Alluxio虚拟存储系统逐步受到业界欢迎，可以将各种不同的存储系统统一为同一个文件系统，对上层应用如Spark等提供存储服务，同时根据文件系统的访问情况使用分布式的内存缓存.使用UFS建立虚拟的统一文件系统，可以保证既有的数据存储系统能无缝升级到新的存储系统，也可以使用新建立的分布式存储系统的数据源，并在自适应内存缓存系统的帮助下，提升数据读写的速度.HDFS是一种分布式文件系统，其显著特性就是要在普通的硬件上建立一套可靠稳定同时具有很好扩展性的文件系统.HDFS具有高度容错的机制，保证部署在廉价机器上的文件系统数据的可靠性，特别是自HDFS3解决了单点依赖问题以及数据的冗余度过高而存储利用率不高的问题后，HDFS成为很多企业建立大数据存储平台的首选.HDFS以流的方式读取文件系统数据，集群数据吞吐量很高，适合存储大规模的遥感数据集上的应用，但在数据汇总或者跨结点传输时，由于廉价硬件以及网络速度的限制，速度一般较传统的磁盘阵列低，因此需要引入合理的缓存机制来提高性能.Presto[15]是由Facebook开发然后开源的一种完全基于内存以及分布式并行计算SQL交互式查询引擎，Presto是一种MPP(massively parallel processing,MPP)架构，多个节点组成集群然后以管道的方式执行查询计划.它通过扩展式Connector组件支持任意数据源，数据规模从GB到PB级别都可支持，运行速度比Hive快4～5倍以上.Presto适合PB级海量交互式SQL复杂数据分析.在海量遥感数据的存储系统中，将遥感数据的元信息以及其他高级语义信息存入Presto，在使用时可以用SQL语句的方式来进行复杂的查询，降低了遥感数据检索的难度，系统的使用方式更加友好.2 遥感数据的读写过程分析本遥感影像存储系统的使用方式中，既支持使用传统方式如NFS及FUSE等与存储系统进行数据交换，也支持使用HDFS及Alluxio的API进行，无论使用何种方式，由于数据都在自适应缓存存储管理系统的统一命名空间内，因此都可以获得相比传统存储方式更高的综合性能.数据的组织方式可以为传统的文件夹的组织方式，也支持数据时间-空间-光谱4个维度一体化组织管理的spatial-temporal-spectral(SPATS)[9]数据结构，以增加在特定应用场景下的缓存命中率.2.1 数据的写入遥感影像数据在写入时，可以根据需要，对于不同级别的数据，使用不同的缓存方式，以根据需要提高数据的写入速度或者是数据的可靠性.对于关键的元数据以及重要的生产结果，必须尽最大可能保证数据不丢失，对于中间数据等的写入，尽可能提高数据的写入速度，在结点失效的情况下，自动启用Failover机制，能保证较高的数据写入的成功率.数据写入时的缓存方式主要分为如下几种方式：1) CACHE_THROUGH模式.遥感影像数据被同步地写入到缓存系统以及底层存储系统，这样能保证数据不会丢失.2) MUST_CACHE模式.遥感影像数据仅仅被写入到缓存系统，但不会被写入到底层存储系统，在系统失效或者重置后数据丢失，这种情形下数据的写入速度只比内存的写入速度稍慢，具有很高的性能，可以作为临时文件的写入方式.3) THROUGH模式.遥感影像数据同步地写入到底层存储系统，但是在写入时不会被缓存.这种情形适合于归档影像的写入，因为归档影像在吸入后暂时不会用到.4) ASYNC_THROUGH模式.数据被同步地写入到缓存系统，上层应用认为数据写入成功，数据被写入内存后由缓存系统异步地将数据写入到底层存储系统实现持久化.这种配置可以作为日常的配置，适应性较高，但如果底层存储系统压力较大，可以针对临时文件只启用MUST_CACHE模式.数据在写入之前，对应的基本元信息如坐标系、经纬度等信息可自动提取完成，但其他一些关于遥感影像的描述如数据来源等可能缺失，需要人工的方式在入库时或者入库完成后人工录入.对于影像的高级语义特征比如NDVI、主要地物类型等，在影像入库时根据系统的负载情况进行在线提取或者入库完成后离线提取并存入元信息数据库.图3是数据入库的流程，数据在缓存时缓存到代理所在的结点.2.2 数据的读取由于基于内存运算的分布式类数据库系统Presto的应用以及在数据写入时及写入后产生了丰富的遥感影像的描述信息，既可以使用传统的基于坐标范围及数据源类型等的查询方式，也可以使用高级语义信息如植被指数等进行查询，这样可以从海量遥感影像中更方便地给用户提供更有针对性的数据，影像检索完成后，进入文件读取阶段.图3 遥感影像写入流程框图Fig.3 Diagram of the RS data writing process由于缓存系统的存在，在读取遥感影像数据时，客户端不用关心数据具体存放位置，只需要从虚拟统一文件系统中按照传统方式读取即可，读取时可能发生如下几种情形：1) 数据已经在本结点的缓存中，那么读取速度相当于内存的读取速度.2) 数据在其他结点的缓存中，则直接从其他结点的缓存中读取，读取速度受限于网络的最大速度.3) 数据不在缓存中，则从底层文件系统中读取数据，并根据条件随机场进行推理，决定是否对该数据进行缓存，并进一步决定是否需要异步预先读取其他关联数据以提高后续缓存系统的命中率.在进行具体的遥感影像文件读取时，也可能出现文件的一部分数据已经被缓存而另一部分需要从底层存储读取的情况.总体来说，自适应遥感影像缓存系统对读取性能的提升较为明显，数据的读取流程如图4所示.3 条件随机场缓存策略条件随机场CRF(conditional random field)是一种概率图模型(probabilistic graphical models,PGM),CRF是判别式的，直接在可获知的观测基础上最优化数据标签的后验概率分布[16].本文在进行缓存遥感影像时使用了结合空间邻域信息的条件随机场框架，采用模糊C均值聚类方法(fuzzy C means,FCM)来构造CRF的一阶势[17]，从而达到避免海量异构遥感数据之间的独立假设条件,减少了无效的预读取缓存.将多源数据的光谱信息以及时序信息等用作条件随机场二阶势[18]，能更好地用异构多源的元数据即时缓存用户要用到的影像数据.条件随机场的吉布斯能量函数模型为(1)其中：φi(yi;xi)表示一元势，利用的是数据之间的空间信息；φij(yi,yj;X)表示二元势，同一及相邻区域所有数据的光谱以及其他高级语义信息被引入.整体流程框图如图5所示，推理结果0表示无须缓存，1表示应该缓存.图4 遥感影像读取流程框图Fig.4 Diagram of the RS data reading process图5 基于CRF的缓存策略Fig.5 Caching policy based on CRF条件随机场中求解最大化后验概率(maximum a posteriori,mAP)等同于Gibbs能量函数最小化，如式(2)所示.(2)如果入库的数据源种类繁多且定义的高级语义复杂时，求解困难，可采用循环信念传播算法(loopy belief propagation,LBP)去推理最优配置.4 实验分析对本文提出的使用自适应内存缓存的遥感数据存储系统进行测试，应用多源异构的数据集进行网络环境下的存取实验，同时进行实验对比：首先对本文提出的存储系统的性能进行测试；其次测试了将影像文件直接存放在HDFS，元数据存放于MySQL中的存储系统读写性能；最后测试了使用传统磁盘阵列的遥感影像存储系统的性能.4.1 实验环境与实验数据实验的硬件环境如表1所列.表1 实验的硬件环境Tab.1 Hardware list for experiment硬件数量参数服务器4DELL PowerEdge R730,16核心,32G内存,1TB 7.2K SATA硬盘交换机1华为S170024GR磁盘阵列1HP MSA2040实验所需的软件环境如表2所列.表2 实验的软件环境Tab.2 Software list for experiment软件版本CentOS7.1HDFS2.7.4PRESTO0.208ALLUXIO1.6.1实验数据包含Landsat系列以及高分系列的数据，如表3所列.表3 实验所用到的数据Tab.3 Data used in experiment数据类型数量Landsat32.3 GByteLandsat710.2 GByte高分120.6 GByte高分240.5 GByte 4.2 实验结果与分析实验采用基准文件系统性能指标以及在实际遥感数据处理流程中的时间进行对比.基准文件测试系统使用IOZone，挂载模式为FUSE，本文的存储系统写入模式为ASYNC_THROUGH.从基准文件系统的测试可以看到，缓存系统在小文件写入时由于缓存系统的存在，写入速度相对HDFS有较大提高，但在读取时由于额外的缓存层的引入，有时性能反而较HDFS稍差，但如果考虑实际应用中的多用户多任务情况，综合吞吐率较HDFS高，测试结果如图6所示.对于大块遥感影像文件的写入，在写入时由于异步缓存，本文系统性能较高，但读取时由于数据尚未缓存，所以第一次读取需要从底层存储进行，但由于缓存预读策略的原因，性能较HDFS高，但不及磁盘阵列高.如果系统中并发运行的生产任务多，数据之间的关联性大，则综合吞吐率较磁盘阵列高，在实际生成流程的测试中也得到了证明，因此基准文件测试具有参考意义，但不能说明基于自适应缓存的遥感影像存储系统比传统的磁盘阵列存储方式吞吐率低.图6 基于自适应内存缓冲的遥感影像存储系统基准测试Fig.6 Test results of RS data storage system based on adaptive caching mechanism当本文提出的遥感影像存储系统应用于实际的生产流程中时，流程前后步骤间数据的关联关系越大，缓存时命中率更高，本存储系统对整个处理流程的加速则更加明显，具有更显著的实际意义，如图7所示，流程1有5个步骤，流程2有7个步骤，流程3有9个步骤.同时本存储系统采用分布式冗余的方式，因此数据存储的安全性有保障，在实际应用中未发生因结点失效或者网络故障导致的数据丢失或者不一致的情况.在实际遥感数据生产流程中，为了降低处理模块之间的耦合性，每个模块都编制有对应的输入输出XML配置文件及脚本，前一模块处理完成后必须将结果写入文件系统，然后调度系统开始执行下一模块，下一模块再从文件系统读入上一流程的结果.此过程中，由于遥感数据较大，磁盘阵列的缓存不能满足此种场景下的要求，因此导致遥感数据处理流程在中间数据写入读出时耗费大量时间.HDFS虽然可以配置一定的热数据缓存，但是无法根据需要灵活配置，同时由于组建HDFS的硬件性能不高，因此单任务吞吐量较低.本文提出的基于自适应缓存的遥感数据存储系统能合理使用各结点的内存对中间数据进行缓存，不会影响处理模块的内存使用需求，对整个生产流程的加速较为明显.图7 不同存储系统在实际生产流程中的耗时对比Fig.7 Time consuming comparison of different storage systems in RS data processing flow5 结论本文主要的贡献在于将分布式自适应缓存策略引入到遥感影像的存储中，通过使用虚拟的统一文件系统，既兼容了传统的磁盘阵列，保留了已有的数据，又对基于HDFS的遥感数据存储系统进行了显著地加速，实际遥感数据生产流程中，相对于使用磁盘阵列的生产流程，使用本文提出的存储系统的流程消耗时间减少了18%到35%.实验结果表明本文提出的使用自适应缓存策略的遥感数据存储系统在实际遥感数据生产中是有效的，同时元数据存储使用Presto的选择是合理的.本存储系统具有建设成本低廉、可靠性较高及性能较好的特点；同时本存储系统也存在一些不足，如果需要的数据之间关联性不强且系统未记录用户使用的历史数据，则系统的效率相对于传统的磁盘阵列较低，同时在分布式缓存时，系统数据传输依赖于网络的速度，因此引入InfiniBand网络预计能较大幅度提高系统的整体性能.【相关文献】[1] COFFING T,NOLANDER J.Hadoop architecture and SQL[M].Phoenix AZ:Coffing Publishing,2016.[2] LI H.Alluxio:a virtual distributed file system[D].Berkeley:UC Berkeley,2018.[3] 李德仁,张良培,夏桂松.遥感大数据自动分析与数据挖掘[J].测绘学报,2014,43(12):1211-1216.[4] 朱建章,石强,陈凤娥,等.遥感大数据研究现状与发展趋势[J].中国图象图形学报,2016,21(11):1425-1439.[5] 张扬,谢彬,王敬平,等.基于Hadoop的遥感影像业务管理系统设计[J].计算机系统应用,2018,27(11):64-70.[6] 聂沛,陈广胜,景维鹏.一种面向遥感影像的分布式存储方法[J].测绘工程,2018,27(11):40-45.[7] 景维鹏,田冬雪.基于HBase的遥感数据分布式存储与查询方法研究[J].计算机工程与科学,2018,40(6):992-998.[8] 刘云峰,李发红,曹广强.Hadoop框架下海量影像数据库管理系统的研究与实现[J].测绘通报,2016(12):74-76,89.[9] 张立福,陈浩,孙雪剑,等.多维遥感数据时空谱一体化存储结构设计[J].遥感学报,2017,21(1):62-73.[10] 李国庆,黄震春.遥感大数据的基础设施:集成、管理与按需服务[J].计算机研究与发展,2017,54(2):267-283.[11] 温东新,董文菁,曹瑞,等.基于Alluxio的异步存储优化[J].东南大学学报(自然科学版),2018,48(2):248-252.[12] 董文菁,温东新,张展.基于Alluxio远程场景下缓存策略的优化[J].计算机应用研究,2018,35(10):3025-3028.[13] YILDIZ O,ZHOU A C,IBRAHIM S.Improving the effectiveness of Burst Buffers for big data processing in HPC systems with eley[J].Future Generation ComputerSystems,2018,86(9):308-318.[14] YANG C T,CHEN C J,TSAN Y T,et al.An implementation of real-time air quality and influenza-like illness data storage and processing platform[J].Computers in Human Behavior,2018,92(8):880-889.[15] Facebook.Presto[EB /OL].[2015-12-1].https://prestodb.io/.[16] ZHANG G,JIA X.Simplified conditional random fields with class boundary constraint for spectral-spatial based remote sensing image classification[J].IEEE Geoscience and Remote Sensing Letters,2012,9(5):856-860.[17] LEI T,JIA X,ZHANG Y,et al.Significantly fast and robust fuzzy c-means clustering algorithm based on morphological reconstruction and membership filtering[J].IEEE Transactions on Fuzzy Systems,2018,26(5):3027-3041.[18] WANG G,WANG Y,JIAO L.Adaptive spatial neighborhood analysis and Rayleigh-Gauss distribution fitting for change detection in multi-temporal remote sensingimages[J].Journal of Remote Sensing,2009,13(4):631-646.。
xp24000
HP StorageWorks XP24000磁盘阵列是一款大型企业级存储系统，专门针对不允许出现任何停机或数据丢失的企业而设计。
XP24000具有完全硬件冗余特性，采用热插拔组件，支持无中断的在线升级，可最大限度地降低业务停机造成的风险，帮助企业打造一个可“防弹”的存储平台。
它将数据复制、紧密集成的集群解决方案和灾难恢复(DR)支持集于一身，具备多站点容灾功能，可确保业务连续、稳定的运行。
此外，XP24000还支持广泛的软件产品组合，从而降低了数据管理的成本和复杂性。
通过自动精简配置，企业还可以降低存储成本。
现在，IT 主管可从单一存储池中分配所需的逻辑容量，并可按需购买物理容量。
作为一个虚拟化平台，XP24000具有诸多重要功能，例如，异构数据迁移、阵列再利用及存储分层。
借助阵列分区功能，XP24000能使宝贵的存储资源得到更加合理的应用。
分区功能可将阵列资源分配给相应的应用和管理器，进而提高存储整合的成功机率。
每一个分区都可以根据需要进行单独配置和动态变更。
您可以将运行有不同操作系统的主机连接到同一个XP24000上，这样便可缩短您管理异构环境所需的时间，并简化备份和灾难恢复解决方案的实施过程。
HP StorageWorks XP24000磁盘阵列产品说明HP StorageWorks XP24000磁盘阵列是一个性能卓越的存储解决方案，专为需要连续数据可用性的企业而设计。
该磁盘阵列可以根据需要灵活分配容量，将多种磁盘阵列虚拟化，还可以划分存储资源进行分区或与多个主机相连。
XP24000可帮助IT 经理们对其数据中心进行整合并提高运营效率。
XP24000及其一流的软件可确保持续的数据可用性和可靠的数据保护，能够最大限度地降低业务风险。
它还提供了高效的管理解决方案，可帮助您降低成本，提升业务成效。
信赖XP24000的表现，无论何时何地，它都能为您的员工提供其所需的业务信息。
主要特性及优势•精良的“防弹”设计、避免意外故障的发生－如果企业需要保持连续的运营状态，那么数据丢失或停机就成了最大的风险。
硬件技术需求
名称参数数量存储系统★1、产品要求：FC-SAS存储系统，3U高/16盘位机架式，控制器存储系统架构（非X86架构），热插拔模块化设计；★2、主机接口数：4个8GbFC接口（8GbFC主机接口并非通过转换模块实现）；1个3GbSASx4磁盘扩展接口；★3、磁盘阵列控制器数：三1个，控制器采用PowerPC64位RISC处理器；★4、高速缓存：控制器缓存标配1GB,可以升级到4GB;★5、缓存掉电保护：支持72小时后备锂电池、Flash数据备份双重保护；★6、支持SATA和SAS硬盘，配置容量：8X300GB15KSAS硬盘；硬盘最大扩展三112块;2组双冗余530W可热插拨电源；★7、支持多种RAID存储方式，包括0,1,1E,3,5,6,10,30,50,60模式，专用的ASIC芯片和RAID6校验芯片，提供更高的RAID处理速率；8、可管理性：具有全中文存储管理软件,软件可内置于存储系统内部,可通过一台计算机集中管理及监控多个阵列,远程方式配置、监控、维护存储系统；同时具备RS232/Telnet/WebGUI/CLI的多种管理方式。
9、跨平台支持：支持IBMAIX,HP-UX,WindowsNT,Windows2000,SunSolaris,UNIX等业界主流机型和操作系统平台；★10、功能参数：LUN数量支持三1024,配置三100个免费存储分区，自动介质巡检，支持LUN在线扩容，预先数据迁移、RAID级别在线迁移；★11、高级功能：标配快照、本地卷复制/镜像、自动精简配置、路径冗余功能★12、安装、保修服务：原厂商至少提供三年现场免费安装调试及备品、备件、保修服务,提供专用800\400报修电话；★13、其他：提供原设备生产厂商出具的针对本项目的售后服务承诺函和授权书原件。
投标时提供相应认证证书复印件及产品资料彩页1备份系统★1、虚拟磁带库系统，2U机架式，含6块1TB企业级SATAII磁盘；冗余电源；采用IntelXeon 多核处理器；★2、标配2个千兆iSCSI接口，支持4GbFC端口；★3、缓存容量标配4GB;支持RAID0/1/5/6/10/50/60等多种RAID级别；标配5TB（非压缩容量）可用数据备份容量；★4、支持磁带按需扩容、磁带压缩、CallHome、LUN屏蔽功能；支持对备份数据的压缩存储功能（compress），该数据压缩由VTL系统直接实现，非备份软件和备份服务器实现；支持对备份数据流实现自动动态性能调优,无须人工干预；★5、标配可虚拟8个磁带库，16个磁带驱动器，128个虚拟磁带；6、支持CommVault、VeritasBackupExec、VeritasNetBackup、LegatoNetworker、CAArcServe、CABrightStor、IBMTSM、BakBoneNetvault、HPOpenviewDP等备份软件；7、提供统一的全中文管理、Web的设备监控界面；提供中文图形化的远程VTL管理软件，便于用户远程管理虚拟磁带库；提供命令行（CLI）管理接口，方便高级用户的管理、调整，能支持自动的故障报警。
存储基础知识RAID及磁盘技术.共50页课件
RAID由几块硬盘（物理卷）组成 RAID可以多个硬盘按照指定容量创建一个或多个逻辑卷，便通过LUN（Logic Unit Number）来标识。一个逻辑卷对于主机来说就是一块硬盘（物理卷）
物理卷
物理卷
逻辑卷
逻辑卷
多个物理卷上创建1个逻辑卷
多个物理卷上创建2个逻辑卷
LUN1
LUN2
LUN3
RAID 0 条带存储(Striping)
Internal/External connectivity to disks or arrays
Server A File System A
Server B File System B
Client 1
Client 2
Client 3
Local Area Network
SAN、iSCSI、NAS的特点
CPU运算速度飞速提高，数据读写速度不应该成为计算机系统处理的瓶颈
RAID基本概念 ——条带
分条
条带
硬盘0
硬盘2
硬盘1
硬盘3
大数据块写入RAID时会被分成多个数据块并行写入多块硬盘，这些大小一致的数据块就称为条带。同时数据读取时会并行从多块硬盘读取条带数据，最后完整输出。 条带无疑会大幅度提升整体读写效率。
RAID性能比较
RAID级*
RAID-0
RAID-1
RAID-5
RAID-10
RAID-50
RAID-6
别名
条带
镜象
分布奇偶位条带
镜象阵列条带
分布奇偶阵列条带
分布奇偶条带
容错性
没有
有
有
有
有
有
冗余类型
没有
华为s5500t存储
精简软件：当前配置磁盘空间“自动精简配置”软件许可（软件许可不限制磁盘容量）——只有在向逻辑盘写入数据时才真正占用物理磁盘空间，逻辑盘逻辑定义的容量无需占用等量的物理磁盘空间，逻辑盘中已定义但未占用（未写入数据）的容量空间可在统一磁盘资源池中供共享使用和分配。
SSL VPN用户数：永久免费用户316个，最大需支持10000个以上:
网络适应性
接入模式：支持透明、路由、混合三种工作模式
多链路负载均衡：:支持基于源、基于源和目的、基于会话等多种负载均衡模式
支持对服务器的负载均衡：支持支持链路ping、应用端口等方式探测服务器状态
ARP欺骗防护:支持免费ARP广播，ARP客户端认证（基于PKI技术）防止ARP攻击和ARP病毒
服务器外观机架式：服务器高度4U
支持扩展选项：支持向上扩展至8颗
处理器类型：X86series-LGA1567-1860MHz-0.9V-64bit-95000mW-Westmere Xeon E7-4807-6Core
处理器主频：1.86GHz
处理器高速：缓存三级高速缓存18MB
处理器配置：数目4个
自动迁移、分层：当前配置数据“自动分层迁移”软件许可（软件许可不限制磁盘容量）——软件可自动监控和发现磁盘系统内热点数据，自动迁移热点数据至SSD固态盘中，包括热点发生变化后的自动回迁，从而自动优化提升磁盘系统I/O性能。
快照复制：当前配置配置“快照复制”软件许可（软件许可不限制磁盘容量）——实现逻辑盘的“瞬时”复制，必须同时提供快照（指针）和克隆（物理卷复制）两种功能，可利用快照目标卷用于数据备份和数据恢复。快照复制软件可实现每个快照源卷具备256个时间点的快照目标。
l3缓存 作用 -回复
l3缓存作用-回复L3缓存，全称是第三级缓存（Level 3 Cache），是计算机硬件中的高速缓存之一。
L3缓存通常位于CPU和主内存之间，用于提高处理器的数据读取效率和整体性能。
本文将详细探讨L3缓存的作用、原理以及它对计算机系统的影响。
首先，我们来了解一下缓存的基本概念。
在计算机体系结构中，处理器访问内存的速度要远远慢于其执行指令的速度。
为了缓解这种速度差异带来的瓶颈，计算机体系结构引入了高速缓存。
缓存是一种快速访问的存储设备，用于保存最近访问的指令和数据，以加快处理器的读写操作。
常见的计算机系统中，缓存分为多个级别，从L1、L2到L3。
L3缓存通常是最大的一个层次，也是离处理器最远的。
它的设计目标是增加整体性能，降低内存访问的延迟，并提高处理器的数据局部性。
现代处理器通常会将存储在L3缓存中的数据分片存储在多个物理核心上，以便实现并行读取和写入，进一步提高处理能力。
L3缓存的作用有以下几个方面：1. 数据存储和访问加速：L3缓存能够保存最近访问的数据，当处理器需要读取或写入这些数据时，可以直接从L3缓存中获取，而无需等待慢速主内存的访问。
这样可以大大提高处理器的数据访问速度和整体性能。
2. 减少内存访问的延迟：由于L3缓存离处理器相对较远，其内部的访问速度相对较慢。
但相比于主内存的访问速度，L3缓存仍然非常快速。
通过在L3缓存中存储频繁使用的数据和指令，处理器可以更快地获取到这些数据，从而减少内存访问的延迟。
3. 提高数据局部性：处理器在执行指令时，往往会连续访问相邻的内存地址。
这就是数据的局部性原理，包括时间局部性和空间局部性。
L3缓存的存在，使得处理器能够更好地利用数据的局部性，连续读取和写入相关的数据，从而提高整体的性能。
4. 改善多核处理器的处理能力：在现代计算机系统中，多核处理器已经成为主流。
L3缓存可以被多个物理核心共享，从而实现不同核心之间的数据共享和通信。
这使得处理器能够更好地利用多核心的优势，提高处理能力和并发性能。
FCSAN与IPSAN全面比较
.旧时王谢堂前燕，飞入寻常百姓家——FC SAN与IP SAN全面比较华为技术有限公司目录1. FC与IP的驴象之争 (3)2. FC与IP之技术原理 (4)3. FC与IP之华山论剑 (8)4. IP SAN之前路漫漫 (10)5. FC与IP之误区澄清 (13)1.FC与IP的驴象之争计算资源、网络资源、存储资源是业界公认的信息系统三大件。
计算以CPU/服务器为承载主体，是不同业务按需实现的基础，计算技术的发展直接引发了第一次信息化浪潮的出现。
网络的普及一度引发了“网络就是计算机”的争论，网络将一个个信息孤岛连成一体，实现了众多业务的远程实现，进而产生了信息技术的第二次浪潮。
存储其实一直伴随着信息技术的发展，以前一直处于从属地位，我们耳熟能详的U盘、硬盘、光盘实质上都是存储，不过一般意义上的存储指的主要还是独立的外部存储阵列和存储区域网。
直到SAN的出现，海量数据和关键数据的高可靠性存储、高性能读写才得到了根本的改观。
随着近年来一些灾难事件的陆续发生，越来越多的用户逐渐认识到“数据是应用的核心和根本”、“数据安全无小事”。
存储阵列RAID保护、系统备份、数据容灾成为信息系统建设的热点。
存储网络也作为面向数据的“第二网络”引发了信息化的第三次浪潮。
随着存储应用的日益广泛，规模效应日益凸显，存储产品的价格也逐渐降低，FC SAN存储从阳春白雪的贵族逐渐飞入“寻常百姓家”，反过来也进一步促进性整个行业的发展。
FC SAN与IP SAN这两个时下存储市场的冤家，从N年前就开始了驴象之争。
FC SAN凭借其先天的江湖统治地位，一直占据着存储领域的至高点，效率、性能、安全性成就了FC SAN在客户心目中数据安全保护神的美名。
IP SAN 携10G超带宽的优势欲与FC试比高！同时，IP SAN较低的成本、较好的网络适应能力也为其赢得市场的一席之地争取了更多话语权。
二者孰优孰劣一直争论不断，也让很多用户在项目决策中一时难以取舍。
北京理工大学科技成果——高速大容量固态数据记录仪
北京理工大学科技成果——高速大容量固态数据记录仪
成果简介
高速大容量固态数据记录仪是以6UcPCI高密度NAND lash存储板为数据记录载体，基于串行Rapid IO高速互联技术构建的模块化、可扩展的实时数据存储系统。
该系统可提供稳定可靠的高速数据记录与回放功能，记录速度可达1200MB/s，记录容量可扩展，最高可达6TB。
系统具有独立的可方便拆卸的存储体，对外接口可替换。
应用范围
可以广泛应用于机载、舰载、车载等恶劣工作环境下海量数据的高速可靠存储。
技术特点
存储规模可扩展，提供1.5TB-6TB存储容量。
持续记录/回放带宽达1200MB/s，转存带宽大于200MBps。
对外高速接口：4通道2.5Gbps光纤接口、4通道1GspsADC接口板、6通道400MspsADC接口板。
远程控制接口：2通道千兆以太网接口、1个RS422接口。
项目来源自行开发
技术领域电子信息。
如何优化服务器存储性能RAID配置和缓存策略
如何优化服务器存储性能RAID配置和缓存策略如何优化服务器存储性能：RAID配置和缓存策略在当今信息技术高速发展的背景下，服务器的存储性能优化显得尤为重要。
在服务器的存储性能优化中，RAID配置和缓存策略是两个关键要素。
本文将详细讨论如何优化服务器存储性能，包括RAID配置和缓存策略的选择和优化。
一、RAID配置优化RAID，即独立磁盘冗余阵列，是一种通过将多个磁盘驱动器组合起来以提供更高数据传输效率和数据冗余的技术。
以下是一些优化RAID配置的建议：1. 了解不同RAID级别的特点和适用场景：RAID 0、RAID 1、RAID 5、RAID 6等，不同的RAID级别在性能、容错能力和可用空间等方面有所不同。
根据实际需求选择最适合的RAID级别。
2. 均衡磁盘负载：将数据分散存储在多个硬盘上，可以提高数据的读写性能。
尽量避免将所有数据存储在同一块硬盘上，分散磁盘负载能够更好地利用存储设备的性能。
3. 选择高速磁盘驱动器：使用高速的固态硬盘（SSD）或者高转速的机械硬盘（HDD）可以显著提升RAID性能。
选择更快的硬盘驱动器能够加快数据的读写速度。
4. 合理管理RAID阵列的容量：不要将所有容量都用于数据存储，合理保留一部分容量供RAID控制器使用。
这可以提升系统的整体性能，确保RAID控制器能够更高效地运行。
二、缓存策略优化缓存是用于临时存储数据的高速存储器，可以提高数据读取和写入的效率。
以下是一些优化缓存策略的建议：1. 合理分配缓存空间：根据不同的应用程序需求，合理分配缓存空间，确保常用数据被缓存，从而提高读取性能。
不同的应用程序可能对缓存空间的需求有所不同，需要根据具体情况进行调整。
2. 使用读写缓存：通过使用读写缓存（read and write caching），可以将频繁访问的数据存储在缓存中，减少对主存储器的访问。
这可以显著提高读写操作的性能。
3. 考虑闪存缓存：闪存缓存是一种高速缓存技术，使用闪存作为缓存介质，可以提供更高的读写速度和更低的延迟时间。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
随机访问周期又称为随机访问时间 , 是指从一次读 / 写操作到下一次读 / 写操作所必须等待的时间 .读 / 写操作本身所占用的时
间极少 ,与随机访问周期相比可近似为 0.
王鹏 等:基于三级存储阵列缓存高速数据包及性能分析
2183
2
三级存储阵列
三级存储阵列的逻辑结构如图 1 所示,包括输入、中间和输出 3 级.为了匹配端口速率,在该结构的输入级
1
数据包存储器特点
骨干网络设备中使用的数据包存储器一般具有如下特点: (1) 高带宽 . 当线路速率提高时 , 用于缓存这些高速数据包存储器的速率也必须相应提高 ,也就是说 ,其速率
位宽积(存储器带宽)必须高于线路带宽.目前的 DRAM 的随机访问周期∗∗最低为 30ns,而 SRAM 约为 3ns,很难 满足 160Gbit/s 或者更高线路速率的要求. (2) 大 容 量 . 有 资 料 [11] 显 示 , 如 果 要 保 证 路 由 器 的 性 能 ( 低 时 延 和 丢 包 率 ), 其 内 部 存 储 容 量 应 不 小 于 RTT×Rbit(其中 RTT(round trip time)是环回时间,R 为线路速率).目前的 Internet 中 RTT 的典型值约为 200ms ~300ms, 对于 160Gbit/s 的线路卡 , 则需要大约 40Gbit 的缓存空间 . 目前商用 DRAM 最大可以做到 1Gbit/ 片,SRAM 可达到 16Mbit/片.由此可见,对于实现大容量缓存,DRAM 是首选的存储器类型. (3) 使用支持多个 FIFO(先入先出)队列结构.目前的高速路由器和交换机中普遍采用虚拟输出排队(VOQ) 优先级等 技术[12],即要求在每个输入线路卡中为每路输出独立保持数据包 FIFO 队列.而如果采用基于业务流、 排队规则 [13], 则要求同时维持的队列数会更多 . 有资料显示 , 在 OC192 链路速率下 , 存储器中队列数可以达到 256K 或更多. (4) 访问的随机性 . 存储器中数据包的输出是由外部调度器执行调度算法来控制的 [12], 这个过程对于存储 器本身无法预知 .同时 , 网络设备通常要求从调度器发出调度命令到被调度的数据包输出必须在给定的时延范 围内完成. 由以上特点可以看出 , 数据包存储与一般数据存储有一定的区别 ( 尤其是 (3) 和 (4)), 所以一般的提高存储器 带宽的方法不再适用于网络数据包存储.
(解放军信息工程大学 电子工程系,河南 郑州
Buffering High-Speed Packets with Tri-Stage Memory Array and Its Performance Analysis
WANG Peng1,2+,
1 2
YI Peng2,
JIN De-Peng1,
ZENG Lie-Guang1
和输出级使用特殊的存储阵列结构来完成高速数据的串行写入和读出,对中间级则采用若干 DRAM 单元块并 行来完成大容量存储和速率适配 . 输入级和输出级的阵列结构与中间级的并行数据交换由输入调度器和输出 调度器执行存储管理更新算法分别控制.图 1 中的中间级同时保持着 Q 个逻辑数据包 FIFO 队列.
2182
Journal of Software
软件学报
2005,16(12)
在网络高速发展的今天 , 如何实现高速、大容量数据包缓存已经成为高性能网络设备设计的瓶颈 [1,2].比如 速率为 160Gbit/s 的路由器线卡,如果使用 64bit 位宽的存储器实现接收缓存,要求随机访问时间必须小于 0.4ns. 而对于一个具有 N 个这样接口的共享存储结构路由器,则需要存储器的随机访问时间降到 0.4/N ns 以下,这样 高的访问速度是目前商用存储器短期内无法实现的 . 另外从长远来看 , 目前存储器的带宽依照摩尔定律 ∗每 18 个月增长 1 倍,而骨干网带宽每 6 个月翻一番,因此存储带宽的瓶颈效应将会越来越严重[2,3]. 提高存储器访问速度的方法很多 ,比如在大型计算机中普遍采用预取 [4] 、交织 [5] 以及哈希表 [6] 等技术完成 对存储器的高速访问 .但是 , 由于网络设备的特殊性以及网络数据流的突发性 ,这些方法很难直接用于数据包缓 存.一般的并行方法[7−9]也很难解决多队列调度和在给定时延范围内的存取.Stanford 大学的 Sundar Iyer 等人利 用 DRAM 的大容量和 SRAM 高速的特点,提出混合结构(SRAM 与 DRAM)联合工作模式[2,9,10],在一定程度上缓 解了目前数据包存储器的容量和访问速度问题,但是其致命缺陷在于该结构受限于 SRAM 的访问速度.即如果 线路速率超过 SRAM 所能提供的带宽,这种 SRAM 与 DRAM 混合结构就会因 SRAM 的速度不够而彻底失去 作用. 本文提出一种新型三级存储阵列结构 ,可应用于目前已知的各种存储形式的网络设备中 .该结构基于目前 常用的 DRAM 存储器,从理论上解决了任意高速数据包的缓存问题,克服了存储器带宽的瓶颈.为了配合这种存 储结构 ,使用最关键队列优先算法[2,9,10]完成对三级存储阵列的管理更新 .该算法可以保证对数据包无延时调度 , 并在本文中被证明能够使所需的三级存储阵列规模达到最小 .另外 ,为使该结构易于硬件实现 ,文中给出了相应 的可实现方案,简化了三级存储阵列的实现复杂度,使其具有较高的工程应用价值.
∗
摩尔定律由 Gordon Moore 于 1995 年提出 ,它原本用来描述集成电路规模 (晶体管数 )的增长速度为每两年翻一番 ,后来 Gordon
Moore 本人发现 (统计了 1975 年 ~1996 年的数据 ),这个倍增周期为每 18 个月更为准确 .其后 ,人们同时发现在工业工程、经济等诸多 领域 ,摩尔定律也广泛有效 .本文引用摩尔定律来表示目前存储器速度容量的发展情况 ,类似的引用可在文献 [2,9,10]中查到 .
+ Corresponding author: Phn: +86-10-62781409, E-mail: wang-p01@,
Received 2003-12-26; Accepted 2005-01-04 Wang P, Yi P, Jin DP, Zeng LG. Buffering high-speed packets with tri-stage memory array and its performance analysis. Journal of Software, 2005,16(12):2181−2189. DOI: 10.1360/jos162181 Abstract: High-Performance routers and switches need large throughput packet buffers to hold packets. However,
the technique of commercially available memories is limited and can hardly fulfill this high throughput packet buffers. As a result, the development of networks is restricted severely. This paper presents a tri-stage memory array architecture to solve the problem, which can accomplish the arbitrary high-speed packet buffer theoretically. It is proved that the critical queue first algorithm can be applied as the memory management algorithm to get zero delay scheduling as well as minimum scale system. Furthermore, the design of hardware implementation architecture of the tri-stage memory array system is provided finally. Key words: 摘 要: tri-stage memory array; packet buffer; delay
∗ Supported by the National High-Tech Research and Development Plan of China under Grant No.2001AA121071 (国家高技术研
究发展计划 (863)) 作者简介 : 王鹏 (1976 － ),男 ,天津人 , 博士生 ,主要研究领域为高速路由交换 , 片上系统 ; 伊鹏 (1977 － ), 男 , 硕士生 ,主要研究领域 为高速路由交换 ;金德鹏 (1972－ ),男 ,博士 ,副教授 ,主要研究领域为数据传输 ;曾烈光 (1947－ ),男 ,教授 ,博士生导师 ,主要研究领域为专 用芯片设计 .
高速网络设备一般需要大容量高速数据包存储器来缓存收到的数据包.但以目前的存储器工艺水平很难
实现这样的存储器,从而限制了整个网络的发展.提出一种新型的三级存储阵列结构可以成功解决数据包存储器的 容量和带宽问题,理论上可以实现任意高速数据包的缓存.使用“最关键队列优先”算法完成对三级存储阵列的管理, 证明了使用该算法能够保证数据包的无时延调度输出,并且其所需的系统规模最小,同时推导出系统规模的上、下 限.最后给出三级存储阵列的一种可实现方案,从而使该结构易于硬件实现. 关键词: 三级存储阵列;数据包存储;时延 文献标识码: A 中图法分类号: TP302
(Department of Electronic and Engineering, Tsinghua University, Beijing 100084, China) (Department of Electronic and Engineering, Information Engineering University, Zhengzhou 450002, China)