存储分类知识讲解

存储器那点事(一)常见存储器分类

前言

注：本文中所谈到的存储器主要是指磁盘阵列，通过SAN/NAS/iSCSI等接口与主机相连，虽然说SAN交换机、物理带库、磁带机和光盘塔也属于存储的范畴，但不在本文讨论范围内。

存储器，或者称作存储阵列，是当今业界一个比较Fashion的词，见过不少这个圈子里的公司为了提高档次，会主动往存储行业靠，经常自我标榜“哥所在的系统集成公司是高科技，不仅搬箱子，哥还做存储”，“哥公司自己生产具有完全知识产权的存储器”…（当然现在再这么说有点out了，现在流行自我标榜“哥公司现在做云计算高科技呢”）。

当然，这个圈子里面的人在和身边朋友自我介绍是做存储这个高科技行业时，也经常碰到另外一种情况，“哥们你们那边250G的盘多少钱一块啊，你们卖U盘么？”…

那么存储器究竟该如何定义呢？在我看来，二十多年前Sun公司提出了“网络就是计算机”的理念，对于整个IT行业发生了翻天覆地的变化，那么我们也完全可以说“存储也是计算机”。存储是什么呢，对，存储也是计算机。

2000年前的存储器，多是作为主机的附属品出现的，记得97年本人在做系统管理员时，看到厂商在调试几套HP 9000和SUN小型机，几个集成商的工程师将一个个磁盘塞进一个独立架子里面（后来才知道那叫磁盘柜），一边塞进去还一边说：“哥们千万注意啊，这玩意叫磁盘阵列，贼贵，一块磁盘顶一台夏利呢”。我们当时大吃一惊，高科技啊，一块小铁片竟然顶得上大街上一辆出租车（其实当时也不过是给个JBOD+软件RAID，现在想想，真叫暴利啊）…

而且当时安装磁盘阵列也是看起来很高深的一件事情，不同于主机UNIX操作系统要插入光盘，输入命令、不断回车，磁盘阵列的安装往往是在主机安装完后再导入一些软件，然后运行一个脚本，出去吃个饭、抽根烟….就完成了。这就是早期DAS阶段的典型工作流程，存储器在当时仅仅是服务器的附属品。

2000年左右以后，国内的存储器市场慢慢进入了一个繁荣发展阶段，具有独立控制器的磁盘阵列产品越来越多（不再依赖于主机端的软件RAID技术）；另外除了

IBM/HP/SUN/Compaq/SGI五大UNIX厂商有自己的存储器产品外，独立存储厂商在国内也如雨后春笋般出现了，EMC（第一次还以为是那个做显示器的厂商）、Brocade、Netapp、MCData、HDS等存储网络产品公司也慢慢地出现在招标书和投标现场，可以说，2000年以后，存储器进入了一个快速发展的时期。

存储器和主机的采购可以分开、建立独立的存储网络等概念分别被以EMC和Brocade为代表的存储公司发扬光大。存储与计算分离的概念颠覆了传统的DAS 模式，在传统模式中，存储器被看作一个简单的外设依附于主机系统，而存储与计算分离以后，存储子系统从原来的计算系统中分离出来形成一个独立的子系统（这是EMC早期一再强调的概念），存储和主机间通过高速网络互联，这样存储器从后台走向了前台，这样诞生了Brocade和Mcdata （后被 Brocade收购）等SAN网络设备公司。同时随着网络共享应用的持续增长和网络文

件共享协议的成熟（SUN发明的NFS协议和微软推出的CIFS协议），文件服务器作为一种独立的存储器也走向了市场，其代表公司就是Netapp。

一、常见的存储器的分类

现在业界有非常多的存储公司，每家公司也有不同档次的产品，当然每家公司都会花大力气大家宣扬自己的产品如何如何高性能、如何如何稳定可靠，档次如何如何高，而且都能摆出不少道理，所谓王婆卖瓜，自卖自夸嘛。

那么存储器到底该如何分类呢，存储阵列的档次划分有没有依据呢，下面介绍几种常见的分类方法。

1、专业IT研究公司Gartner的分类

很多专业IT人士看各种产品在业界的定位和评测，都会参考Garnter公司的评价，那么Gartner公司是什么东东呢。高德纳咨询公司（Gartner）是全球最具权威的IT研究与顾问咨询公司，其官方网站: https://www.360docs.net/doc/fa16669683.html,/。Garnter公司成立于1979年，总部设在美国康涅狄克州斯坦福。其研究范围复盖全部IT产业，就IT的研究、发展、评估、应用、市场等领域，为客户提供客观、公正的论证报告及市场调研报告，协助客户进行市场分析、技术选择、项目论证、投资决策。为决策者在投资风险和管理、营销策略、发展方向等重大问题上提供重要咨询建议，帮助决策者作出正确抉择。

针对于存储磁盘阵列行业Garnter会定期发布一些分析报告，我们取其中两个比较有著名的报告类型，一份是针对于所谓的High-End企业级存储器市场的分析，比如《MarketScope for High-End Enterprise Disk Arrays, 2H05》实际上就是Garnter公司在2005年12月30日对于2005年下半年针对High-End企业级存储器市场的总结回顾；而另外一份叫《Magic Quadrant for Midrange Enterprise Disk Arrays》的报告就是Garnter定期用魔力四象限的方式对于Midrange Enterprise Disk Arrays的定义。通过定期对这两份报告进行分析，我们能够很方便地了解这个行业各种存储器的定位和技术含量。

1.1 Gartner定义的High-End Enterprise Disk Arrays分析

我们首先来看看Gartner是从哪些角度给各家存储器厂商定位和评分的

?Presales support 售前技术部门的支持能力；

?Break/fix service and post-sales support 售后服务和处理问题的能力；

?Total-cost-of-ownership evaluation 总体拥有成本估算；

?Technologies that have the net effect of reducing power and cooling consumption and space requirements各家厂商的产品在节点、制冷技术和空间节省方面的技术特点；?Independent software vendor support独立软件厂商的支持力度；

?Acquisition, upgrade, service and warranty pricing购买和升级费用，服务和保修费用；?The impact of changing storage更换存储器的影响。

每隔一段时间Gartner会根据上述的评分标准将各家存储厂商定位到五个级别中，Strong Negative，Caution，Promising、Positive和Strong Positive。

那么Gartner是如何定义high-end enterprise disk arrays的呢？我们来看看其定义标准：

https://www.360docs.net/doc/fa16669683.html,e a multiple controller architecture使用多控制器体系架构；

2.Support mainframe. and open-system environments支持mainframe和开放系统；

3.Support FICON, Enterprise Systems Connection (ESCON) or Fibre Channel host connectivity

同时支持FICON/ESCON和FC光纤通道接口；

4.Support the z/OS operating system and/or other mainframe. operating systems支持z/OS

和其他mainframe操作系统；

能够进入这个所谓High-End Enterprise Disk Array 富人俱乐部的存储器较少，主要包括以下几种

?EMC — Symmetrix V-Max and DMX-4

?Fujitsu — ETERNUS8000

?Hitachi/Hitachi Data Systems — Universal Storage Platform. V and VM

?HP — StorageWorks XP24000, XP20000

?IBM— System Storage DS8000 and DS6800

?Sun — Sun StorageTek 9990V and 9985V

可以说Gartner采用了一种非常经典和传统的方法来定义企业级存储器，即“出身血统论”（4个条件中除了第一条是多控制器外，其他都和IBM大机的连接性和支持力度有关），特别是表现在能够支持大机这一点（能够做到这一点的存储厂商确实很少，往往是那些很早就存储器或者做过IBM兼容机的厂商才具备这些能力和血统）。

但是笔者对于这种划分方法持一定的保留意见，因为大机在如今新建的数据中心已经较少的出现，开放系统（AIX/HPUX/Solaris/Windows/Linux和VMware等）占了绝对优势。而即时在IBM内部，Mainframe（大型主机）的重要性也发展速度也不比当年。用户花重金买“高端”存储器看中的是其性能、可靠性、可管理性和其他数据保护功能，至于他能否连接IBM Mainframe，其实并不那么重要。而且能够连接大型主机的存储器，往往配置相对较为复杂，比如HDS的USP系列在配置时就有个cu/ldev的概念，一般初学者是很难理解为什么要这么设计，其实这就是早期为了和大型主机连接而留下的传统产物。

因此笔者的观点是，如果您的数据中心有预算买“高端”存储，不准备采用Mainframe（大型主机），或者说即时有Mainframe也不准备和开放系统存储器互联互通（包括在中国四大银行数据中心，Mainframe和开放系统都是各有各的存储，一般也不会和开放系统共享存储器，甚至连维护人员都是分为两组）。因此建议各位在选型阶段所谓高端或者中端来说，不要拘泥于Gartner的报告分类，建议更加关注其体系结构（多控制器结构）、性能、可靠性、可管理性和其他数据保护功能。

1.2 Gartner定义的Midrange Enterprise Disk Arrays分析

Gartner采用了其经典的魔力四象限（Magic Quadrant）来定义Midrange Enterprise Disk Arrays，魔力象限是在某一特定时间内的对市场情况进行的图形化描述。

魔力象限(Magic Quadrant)由Gartner公司于2006年9月25日取得“魔力象限”注册版权,并可以在获得许可的情况下重复使用。它根据Gartner公司的定义,它描述了Gartner公司依据标准对该市场内的厂商所进行的分析。 Gartner公司并不对在魔力象限中描述的任何厂商、产品或服务出具官方认可,也不建议技术用户只选择那些位于“领导者”象限里的厂商。魔力象限仅用作一种研究工具,并不意味着是行动的具体指导。Gartner公司对该项研究不承担任何明示或默示的担保,包括适销性或适用于某一特定用途的任何担保。

魔力象限的四个象限依次分别为领导者（Leaders）、挑战者（Challengers）、有远见者（Visionaries）和特定领域者（Niche Players）。Gartner 公司表示所谓领导者，其提供的产品应包含额外的功能，且能提高市场对这些功能的重要性的认识，从而显示出对市场的影响能力。Gartner 希望一个领导者能够不断提高其市场份额、甚至占领整个市场,并且它所提供的解决方案能够引起越来越多企业的共鸣。所谓领导者还必须有能力在全球范围内开展销售并提供支持。

每隔一段时间，Gartner会根据各家存储厂商存储器产品的综合能力表现将其置于魔力象限的某个分区中，笔者认为这是一个不错了解业界存储厂商发展状态的评估报告，有一定的参考和借鉴作用。当然如果要找出点问题的话，主要在于Gartner对于日益崛起的中国存储市场了解不够，国内不少冉冉升起的存储厂商和产品都没有收录其中。

那么Gartner公司是如何定义Midrange Enterprise Disk Arrays的呢？我们来看看其定义标准：

https://www.360docs.net/doc/fa16669683.html,e dual-controller or Cluster architecture采用双控制器或者集群式架构；

2.Support Unix/Linux/Windows and Netware server operation environment支持

Unix/Linux/Windows and Netware服务操作系统；

3.Offer no mainframe. support不提供对于Mainframe的支持；

4.Have an average selling price of more than $24999平均市场价格超过24999美金；

5.Support block-access protocol支持block访问协议（即常见的SAN/iSCSI网络访问）

可以看到，这是常见的存储器架构，大家在市场里能够经常看到的IBM DS系列，EMC CX 系列、HP EVA系列、HDS AMS系列、SUN 6000系列等等大都属于这个范畴，而且“出身血统论”再一次体现出来，划分标准中出现了“不提供对于Mainframe的支持”的字样。这份报告对于收录的各家存储厂商的产品都有非常精辟的总结，值得一读。

如果抛弃对于Mainframe的支持，其实这里面有几家新兴的存储厂商的产品已经初步具备了企业级高端存储的体系架构，比如3PAR的InServ Storage Server T系列和Pillar Data System的Axiom系列存储器，他们都支持多达8个控制器的紧耦合集群（EMC最新的Sym V-MAX也采用了类似的体系架构），很强的存储处理能力、可扩展性和可靠性，可以说这些公司的产品给存储市场带来了不少创新。

2.2 按产品参数指标分类

由于国内存储采购经常会碰到公开招标，以前也有很多用户或者集成商多通过产品的指标参数来区分所谓高中低端存储。

比如把常见的控制器超过两个、缓存超过64GB，磁盘数超过400块、IOPS大于几十万的存储器称为高端存储，反正即为模块化存储。

当然这些指标也是广大人民群众在某一个时段总结出来的所谓“经验值”，随着时间的发展其指标是不断与时俱进的。就像篮球运动员一样，80年代1米9的可以打中锋，到了90年代要到2米才能胜任，到了2000年以后NBA当年四大中锋都是2米15以上，现在的大中锋姚明同学都要到2米26了，存储的指标也是如此。

另外一点需要注意的是，由于EMC公司在存储市场的巨大影响力和强大的市场营销能力，其模块化阵列Clarion系列和高端 Symmetrix系列存储器往往成为推动这些指标参数定义的事实标准。如在中端市场，2002年EMC发布标志性的存储产品CX200/400 /600，将模块化存储定义成三个档次，这个事实的标准让其他存储厂商苦苦追赶，好不容易也有了三个档次的模块化阵列，到了2008年EMC发布CX4后又将这个市场进一步细化成4个档次，CX

4-120/240/480/960，再加上更低端的AX系列，如此的细分让其他厂商往往难以追赶。因此在实际项目投标中，不同存储厂商“错位”竞争的情况就经常发生，人人都希望拿自己的“下马”去和对手的“上马”PK。

然后随着存储市场的差异化发展，存储技术的革新和新的存储体系架构的出现，甚至出现了不少同一存储厂商新一代的模块化存储的一些参数指标远高于现有的企业级存储入门级产品的指标，因此这种按参数指标来分类的方法也变得难以被使用，为了更加清晰地对存储产品定位，比较科学的方法是根据存储器的存储控制器的体系架构来进行分类。

2.3 按存储器体系架构分类

前面我们说过，存储器是什么，存储器也是计算机。计算机体系架构经历了多个不同的发展阶段（这里主要是指服务器体系架构），因此存储器比较学术的一种分类方法是根据其体系架构进行分类。

如上图所示，我们可以根据存储器的体系架构将存储分成低、中、高三类，分别是低端的基于阵列控制卡技术的存储器，比如HP MSA1000，EMC AX系列；中端的基于简单群集技术的模块化存储器，比如EMC CX系列、HDS AMS系列、HP EVA系列、IBM DS系列、Netapp FAS 系列、SUN 6000系列；而高端存储器现在有两种方向，一种是基于统一大缓存scale-up架构多处理器存储器，比如EMC DMX系列、HDS USP系列、9900系列，另外一种是分布式缓存多处理器scale-out架构的存储器，比如EMC最新发布的Symmetrix V-MAX系列，不少新兴存储厂商3PAR的InServ Storage Server T系列和Pillar Data System的Axiom系列存储器从体系架构来说也属于这个系列。

存储器那点事(二)事关存储器体系架构

存储器体系架构那点事

前面说过，存储器其实也是计算机，那么我们来分析一下计算机行业的特点。计算机行业属于新兴行业，和古董收藏行业是完全相反的，一般来讲计算机产品和设备（或者说是IT 产品）越新出来则价格越贵，卖得越好且越受欢迎（比如以前大家喜欢内置微型硬盘iPod，现在早流行闪存盘的iShuffle了；以前看到个10Mb HUB就很稀奇，现在动辄千兆网甚至都到10Gb网络了），一个IT新产品上市过个三个月活着半年后就变得人老珠黄，再长点时间就更不值钱了，相反古董收藏行业的藏品确实越老越值钱，就像老中医一样人见人爱。

那么影响计算机行业如此快速发展，频繁更新换代的最重要的部件是什么呢？应该说CPU 是个非常重要的因素，谈到CPU，我们不得不谈到业界一个非常有名的定理，摩尔定理。什么是摩尔定理呢，摩尔定律是由英特尔(Intel)名誉董事长戈登?摩尔（Gordon Moore）经过长期观察发现的，摩尔在1965年文章中指出，IC上可容纳的晶体管数目，约每隔18个月便会增加一倍，性能也将提升一倍，原因是工程师可以不断缩小晶体管的体积。这就意味着，半导体的性能与容量将以指数级增长，并且这种增长趋势将继续延续下去。（1975年，摩尔又修正了摩尔定律，他认为，每隔24个月，晶体管的数量将翻番）。

摩尔定理的验证和实现使得CPU速度变得越来越快，这样使得计算机产品变得越来越普及，处理能力也越来越强大，人类也越来越依赖于计算机完成以前想都不敢想象的计算工作。这样的一个相互促进就使得计算机的设计从以前的单CPU发展到多核多线程CPU，再发多个物理CPU协同计算（因为单个CPU再怎么快也撑不住了）以此来提高计算机的整体处理能力，因此计算机系统的体系架构就成了一门大学问。

计算机体系架构中一个很重要的部分就是如何让多个CPU一起并肩战斗，而且性能能够成倍提高，这是一个很深的学问。要直到能够设计制造出单个高性能的CPU 是一回事，要能够把多个CPU组织在一起高效率地提高成倍的性能是另一回事。这需要非常精妙的系统体系结构设计。（就像打篮球一样，以前奥尼尔、科比再加上一群全明星级别的球员在洛杉矶队打球很漂亮，全员身体素质也是超级好，可就是得不到总冠军，直到传奇教练菲尔杰克逊来了才得到了三连冠。可以说菲尔杰克逊教练的三角战术思想就是能够把湖人队多个全明星级别球员真正带成总冠军球队的最佳“体系结构”，后来奥尼尔负气离开了洛杉矶，科比再厉害还是好几年得不到冠军，直到最近挖来了加索尔才终于又尝到了冠军梦）。

战术的设计说到底要考虑到两点，一是本身球队球员的能力，二来是要考虑到赛场对手的实际情况。那么我们来看看对于存储这场战役来讲需要考虑的因素。中国有句名言，钱不是万能的，但是没有钱是万万不能的，结合到存储行业来讲我们可以说，有了独立的存储器工业后，可以发现主机不是万能的（现在的主机主要负责信息的快速处理，而数据存储和数据保护等工作渐渐被转移到存储器上去了），但是没有主机还是万万不能的。归根到底存储器的功能还是储存和保护被主机处理过的信息，其主要的设计思想应该是着重于在接受到主机的信息后做到以下几点：高性能的IO响应能力、高可靠性、可管理性和其他数据保护功能（如容灾、克隆、快照等）。那么根据这个思路，结合计算机体系架构的发展思路，整个存储器的体系架构划分和技术演进历程就相对清晰了许多。

参考前文2.3中的图片，我们将整个存储器的体系架构分成5类，具体如下：

1.入门级：基于阵列控制卡技术的存储器：满足基本的数据保护要求；

2.中端产品：基于模块化集群技术的存储器，进一步满足高可靠性、可管理性的需求

3.高端产品路线一：统一大缓存多处理器存储scale-up架构

4.高端产品路线二：分布式缓存scale-out多处理器存储架构

5.其他混合型架构

下文将根据这五条思路详细讲解。

基于阵列控制卡技术的存储器

1、基于阵列控制卡技术的存储器的设计思想

存储器，首先是要能够做到保护数据，保护数据的方法在存储专业术语中叫做RAID，RAID 是“Redundant Array of Independent Disk”的缩写，中文意思是独立冗余磁盘阵列。冗余磁盘阵列技术诞生于1987年，由美国加州大学伯克利分校提出。简单来讲就是将N个硬盘通过RAID Controller（分Hardware，Software）结合成虚拟单台大容量的硬盘使用。基于不同的架构的RAID 种类又可以细分为: 软件RAID ，硬件RAID 卡和外置式RAID存储器。

1.1、软件RAID

软件RAID很多情况下已经包含在主机系统中,并成为其中一个功能,如Windows、Netware 及Linux和各种UNIX系统。软件RAID中的所有操作皆由中央处理器负责,所以系统资源的

利用率会很高,从而使系统性能降低。软件RAID是不需要另外添加任何硬件设备，因为它是靠主机系统—主要是中央处理器的功能—提供所有现成的资源。

比如在开篇中我提到的在SUN服务器上连接的A1000系列和A3000系列磁盘柜，这些磁盘柜严格来讲不属于磁盘阵列，只能称之为JBOD，全称为 Just Bundle Of Disks译成中文可以是"简单磁盘捆绑"或者“磁盘簇”，通常又称为Span。 JBOD 本身不能提供标准的RAID 级别数据保护。因此当磁盘柜接入到主机后需要花些功夫配置软件RAID。早期的HP的

DS2300、DS2405磁盘柜、 MSA1000系列的扩展磁盘柜，SGI的TP9000磁盘柜都是常见的需要软件RAID配合才能实现数据保护功能的JBOD。

软件 RAID的最大优势在于由于不需要购买单独的磁盘阵列控制器而只需要采用廉价的JBOD磁盘柜从而大大节约了成本。但一般概念上，由于写操作需要耗费大量的RAID计算资源，软件RAID的性能是难以保证的，因此在高性能的计算环境中极少推荐使用软件RAID 技术来保护数据而多推荐独立的磁盘阵列，至少也是采用硬件RAID卡。

但也有个别情况例外，那就是对于视频点播服务器的文件存储，笔者在2000年早期曾做过不少视频服务器的项目，很多时候整体性能的瓶颈都是出在IO通道上面：如果不用RAID 保护而仅仅在JBOD上做条带化打散的确能够很好地提升吞吐量，可是数据往往得不到保护，且这种环境下如果损坏一块磁盘其后果往往是致命的（因为这块磁盘上可能存放在很多视频文件的不同小片断）。当时这个问题很难解决，而早期Oracle发布过一款非常优秀的视频服务器OVS（Oracle Video Server）却很受欢迎，除了OVS其精妙的软件体系结构设计以外，另外一个独到的特点就是这个视频服务器软件提供一个叫作Oracle Video File System的东东，在软件层做RAID 5，既提升了磁盘顺序IO的性能，又很大程度上节约了成本（当然如果你银子有多，一定要把OVS的视频文件存储在独立的磁盘阵列上OVS也不反对了）。

为什么这个时候的软件RAID就不会成为性能瓶颈呢？其主要原因是因为视频服务器对于视频存储的应用特点决定的，视频点播的文件的特点是大吞吐量的顺序传输，这些视频文件在导入到视频服务器后极少会有修改（大家在互动电视上点播一个电影100次也无法做到把里面某个片断修改掉），在很多情况下一个完全条带话的JBOD磁盘柜的顺序吞吐能力可以达到线速（即如果该磁盘柜有N块磁盘，每块磁盘的顺序吞吐能力为100MB/sec，那么该磁盘柜最大能够提供接近 N*100MB/sec的吞吐量，而即使是具有高处理器和大缓存的的高端磁盘阵列的RAID控制器也很难做到这点）。而且这种业务的特点几乎碰到相对软件 RAID 最头痛的离散IO写操作。

由于视频服务器往往是一批批地往一个个目录灌大容量的视频文件，然后再对外提供点播功能（这样产生了高效率的批量软件RAID 5的计算，对主机系统影响相对较小），而且聪明的系统管理员往往可以选择在业务量不大的时候逐步灌入视频文件以错开高峰时刻。基于以上原因，软件RAID的确是非常适用于OVS（Oracle Video Server）这款视频服务器应用的。只可惜2002年后Oracle逐步淡出了视频点播服务器市场，把OVS卖给了一家叫Thridspace的公司，几年前我再输入https://www.360docs.net/doc/fa16669683.html,，发现此网址已经消失得无影无踪了.....

基于以上原因可以进一步证明，对于存储来说，没有主机（或者说不了解主机应用）是万万不能的，正确地配置和选择存储器技术对于IT系统部署非常重要。

●1.2 硬件RAID卡

硬件RAID卡通常是一张PCI卡,你会看到在这卡上会有处理器及内存。因为这卡上的处理器已经可以提供一切RAID所需要的资源，所以不会占用系统资源，从而令系统的表现可以大大提升，这个设计思想在网卡方面也能经常看到，比如有款叫Alacritech的高性能网卡，其在网卡上集成了特殊的处理器来处理 TCP/IP拆解包的工作，帮助主机减轻工作压力，我们称之为TOE（TCP/IP offload Engine）。硬件RAID的应用之一是可以连接内置硬盘、热插拔背板或外置存储设备。无论连接何种硬盘,控制权都是在RAID卡上,亦即是由主机系统所操控。在系统里,硬件RAID PCI卡通常都需要安驱动程序,否则系统会拒绝支持。磁盘阵列可以在安装系统之前或之后产生，系统会视之为一个（大型）硬盘,而它具有容错及冗余的功能。磁盘阵列不单只可以加入一个现成的系统，它更可以支持容量扩展,方法也很简单，只需要加入一个新的硬盘并执行一些简单的指令,系统便可以实时利用这新加的容量。

为了提高性能，很多硬件RAID卡上会配置额外的内存（我们也称之为缓存），这些内存的作用是为了加速IO处理，对于读写操作都是很有好处的。对于读IO的好处在于硬件RAID 卡上的缓存可以存放很多被频繁读写的数据，这样当下一次需要在读写这些热点数据时，不需要重新从磁盘柜的众多磁盘中再去寻找，然后在磁盘层寻道定位，而只需要在缓存中直接获得，极大程度上加快了读IO的响应速度。对于写IO的好处在于：试想一下主机将一个IO写到硬件RAID卡内存后就直接IO complete，其速度肯定将远远高于直接写到磁盘上硬盘上的速度，同样也避免了硬盘的寻道定位时间。

当然对于写IO来将需要考虑另外一个问题那就是硬件RAID卡上的内存需要带电池保护，否则会单主机出现故障后，很多只写入到硬件RAID内存里面而尚未写到磁盘里面的数据将会丢失，面临数据不一致的危险，这是作为存储器首先需要避免的。因此只有具备电池保护的硬件RAID卡能够同时实现读写IO加速功能，反之只能实现读IO加速功能。

上图所示的是HP公司（原Compaq公司）的一款经典的RAID卡Smart Array plus系列（2002年左右推出），它可以通过PCI接口连接到主机上，应该说这款RAID卡的功能是非常强大的，其中一个很重要的特点是这种RAID 卡支持RAID ADG（Advance Data Guarding），通俗的讲就是支持RAID 6，这在当时来讲是一种非常了不起的新技术了（特别是对于硬件RAID 卡而言）。

另外，台湾地区也有很多生产硬件RAID卡的存储公司。

●1.3 外置式RAID存储器

外置式RAID也是属于硬件RAID的一种,区别在于RAID卡不会安装在系统里,而是安装在外置的存储设备内。而这个外置的储存设备则会连接到系统的 SCSI卡上。系统没有任何的RAID功能, 因为它只有一张SCSI卡；所有的RAID功能将会移到这个外置存储里。好处是外置的存储往往可以连接更多的硬盘,不会受系统机箱的大小所影响。而一些高级的技术,如双机容错,是需要多个服务器外连到一个外置储存上,以提供容错能力.外置式RAID的应用之一是可以安装任何的操作系统,因此是与操作系统无关的。为什么呢?因为在系统里只存在一张SCSI卡（或者说是FC光纤卡）,并不是RAID卡。而对于这个系统及这张SCSI卡（或者说是FC光纤卡）来说,这个外置式的RAID只是一个大型硬盘，并不是什么特别的设备，所以这个外置式的RAID可以安装任何的操作系统。唯一的要求就是你用的这张SCSI 卡在这个操作系统要安装驱动程序。

表面上来看，外置式RAID仅仅是把RAID卡安装在外置的存储设备上没什么大变化，但其实这种方法还是带来了不少进步和便利。首先是可以提高存储系统的稳定性，因为外置的存储设备上可以配置不止一块RAID卡，这样当一块RAID卡出现问题以后，另外一块可以顶上来，进一步提高了系统的可用性；第二点是增加了可以连接性，外置式RAID存储器把RAID 保护的功能从主机端转移出来独立存在，这样就可以支持更多台主机同时连接到这台存储器上；第三点是增加了对于集群的支持，这一点是非常重要的，因为如果单单一块具有缓存带电保护的硬件RAID卡在所连接的主机意外down机后，即使缓存上的电池能够保护那些已经写入到缓存但还没有写入到磁盘里面的数据不丢失，但你也很难做到把这块卡从原来的主机上拔出来然后插到另外一台主机上去且保证数据不丢失。

从以上三点分析得知，外置式RAID存储器比起硬件RAID卡具备了非常大的进步，也是独立存储器产生的雏形产品，因此我把具备这种架构的存储器称为基于阵列卡技术的低端存储器（或者说是入门级存储器）。

下面我会介绍这种几款基于这种体系架构，具有代表性的经典产品。

2、经典存储器产品分析 HP MSA1000

HP 的MSA1000是原Compaq公司（后被HP公司收购）Proliant PC服务器部门大约在2002年前后研发的一款经典的存储器产品（原Compaq Alpha小型机部门也推出了另外一款很有特色的存储器EVA，这款产品将在后面提到）。我们来看看这款存储器在发布时宣传的几个重要卖点：

1.内置StorageWorks独有DtS（DAS to SAN）架构

2.内置2Gb光纤通道交换机选件

3.超级数据卫士-- Advanced Data Guarding

而MSA1000控制器本身对于RAID保护方面也很有特色，支持以下功能：

1.在线扩容

2.在线改变RAID级别RAID1, 5到ADG

3.在线改变Stripe Size

4.在线Spares (Global)

5.用户可选读/写Cache

6.用户可选扩展和重建优先级

我们会发现MSA1000控制器对于RAID保护方面的特色和指标和以前Compaq公司畅销的一款叫Smart Array plus的硬件RAID卡是完全一样的，为什么会出现这种情况呢，其实MSA1000本质上就是把两块Smart Array plus硬件RAID卡集成到一个机箱里做成的，这也就是我们前文介绍的从硬件RAID卡向外置式RAID存储器的转变的一个经典案例。

我们通过下图（HP MSA1000控制器分解图）可以清楚地看到两者间的关系，（每个MSA1000的控制器实质上是一块Smart Array plus硬件RAID卡）。

另外我们来进一步分析一下MSA1000的两个特点，内置StorageWorks独有DtS架构和内置2Gb光纤通道交换机选件。首先来讲MSA1000 是一个前端带SAN接口，后端采用SCSI磁盘的存储器，而这个SAN接口就是通过内置2Gb光纤通道交换机来实现的。而所谓DtS架构是指DAS to SAN，可以说这是当时HP/Compaq抢占低端SAN存储市场非常厉害的一招，因为HP/Compaq的Proliant服务器出货量一直非常大，而随着服务器附带着卖出了不少内置SCSI硬盘（带内置硬件RAID卡Smart Array plus保护），也卖了不少DAS直连存储（通过SCSI卡外接到RA4100阵列上）。要知道2001-2003年正是SAN交换机市场如火如荼的普及培育期，HP/Compaq的老用户通过DtS功能只要将原来的SCSI磁盘插入到MSA1000存储器里面，就可以实现轻松实现将DAS整合到 MSA1000存储域网络环境，从Smart Array和RA4100数据环境升级

下面我们来具体介绍一下DtS的功能。

具体步骤如下（当时我们称为移植到SAN的四部曲）：

1、一种快速和方便的方法，把由Smart Array保护的存储数据迁移到MSA1000存储系统

2、迁移下列数据:

a)存储在1-英寸通用磁盘驱动器（Ultra2和Ultra3，使用较新的Smart Array控制器)上的数据

b)存储在直接连接的RA4100存储系统上的数据

3、按照一个逐步执行的过程—将驱动器从较旧的系统移走，将它们插入MSA1000

4、原有数据和配置信息保持不变

5、RAID装置和数据保留

6、迁移工作几分钟内就完成

注：据最新消息称最新的HP MSA2000系列已经是OEM自Dothill公司的，因此原来MSA1000的Dts功能并不适用于新的MSA2000（当然HP MSA 2000也有了非常多的功能更新），本文的目的不是为了推销任何一款存储器产品，因此关于MSA2000的最新消息可以查询HP相关存储专员。

3、经典存储器产品分析IBM 7133

我们把时间轴再往前面移动，可以说在90年代末2000年初期，IBM公司有一款相当经典的入门级存储器产品IBM 7133，这款产品由于价格实惠，又具备一定的RAID数据保护功能（那个时候人们对于存储器的要求不高，能够做到保护数据就不错了），因此这款产品市场占有率很广，而由于其主要竞争对手如HP/COMPAQ/SUN没有相对应的产品，往往碰到后陷入到价格战泥潭而非常头痛。那么我们来看看IBM 7133到底是个什么东东（注：由于此产品实在年代过于悠久，如有资料不准确之处，敬请海涵）。

1992年的秋天 SSA问世, 其产生的本意为“成为IT行业外存设备的通用标准”，然而，可惜的是到最后也只有IBM公司支持SSA。SSA支持范围如下：

●基于UNIX: IBM, HP, Sun, and Digital servers(均为部分)

●基于Intel : IBM, HP, and Compaq servers（均为部分)

所有的SCSI-SSA，FC-SSA的适配器均由IBM公司提供

大家知道由于历史原因，IBM一直对于环路架构情有独钟，著名的令牌环网就是由IBM首先提出来的，SSA 也是采用类似的思路设计，其结构为双口结构，即磁盘和装在主机的适配器均为双口，光缆采用四口结构，与适配器连接后从而形成 SSA loop（仲裁环）。下图为其结构示意图：

SSA的体系结构具有以下特点：

1、任何一个单独的读或写的速度均不能够超过 20MB/sec（40MB/sec）.

2、 SSA 80MB/sec（160MB/sec）的计算原理是基于4 x 20MB/sec （4x40MB/sec）持续的传输速度。例如： 20MB/sec的读和 20MB/sec 的写在同一个环路中，同时另外一个读和写的操作恰好在另外一个环路中。由上图显示, ports A 和B 均为双口，即从原理上讲，可以接收4x20MB/sec的读和写。

在高可靠性方面，SSA与SCSI和FC相比有很大的差距，在SSA结构中，当一块磁盘发生故障时，整体性能降低为原来的一半，当第二块磁盘发生故障时，数据将面临丢失的危险。例如:如上所示当6号盘发生故障时，0号盘—5号盘只能通过主机上的适配器port A 来读写数据, 处理而7号盘和8号盘只能通过port B来完成读写操作。但是如果6 号盘发生故障，并且2号盘在6号盘为被替换前发生故障，则有3, 4, 5号盘将无法被访问。其过程如下图所示：

基于这个原因，从可靠性的观点出发，SSA一般采用数据镜像的方式方法以弥补SSA这一结构缺陷。

一般来讲，SSA的主要产品为IBM 7133，其支持的磁盘类型为2.2GB, 4.5GB, 9.1GB，18.2GB,36.4GB。每个产品的最大硬盘数量为16。每一个适配器能够支持的硬盘个数最大为96个。

由于IBM公司的SSA产品本身没有SSA控制器，即7133本身只是一款JBOD磁盘柜，SSA磁盘阵列需要与安装在主机上的SSA适配器或控制器连接，因而造成以下问题（在4.1.1 软件RAID章节有过描述）：

1）消耗主机资源（需要消耗主机层CPU资源做镜像保护）；

2）SSA 适配器或控制器上的缓存在双机容错的结构中成为故障点，因为当主机发生故障时，SSA适配器或控制器上的缓存中的数据将会丢失，并且SSA的配置数据也有可能丢失。如果SSA的配置信息在另外一台主机中有近似于LOG文件的信息，但是这将意味着在故障发生的时候，系统恢复的时间将远远超过有磁盘控制器的设备。因而在双机容错的环境中，即使用户采用双主机的结构，如果磁盘阵列本身没有磁盘控制器，那么整个系统仍有可能处在故障点中。

3）IBM公司也逐渐发觉SSA适配器的CACHE可能造成的问题，因而在SSA适配器中并不安装CACHE（或者disable cache功能），但这样一来将占用主机更多的资源，并且即使主机的配置再高，也无法完全确保其中的百分之几是用来处理SSA磁盘的数据校验或传输。

以上原因验证了我们在4.1.3外置式RAID存储器章节中的结论，只有独立的外置式RAID

存储器才能更方便的支持双机环境，并且支持更多的主机并且提供更高的IO性能。

注：IBM公司在1999年2月17日宣布支持光纤通道，从而放弃了坚守多年的SSA结构。在2003年前后7133也就逐步淡出了人们的实现，但是作为存储器后端的连接技术，它在IBM 的第一代鲨鱼（Shark系列）存储器中继续存在了一段时间。

除了以上两款产品（HP MSA1000系列和IBM 7133）以外，我们可以把现在市面上经常见到的EMC的AX100系列和HDS的SMS100系列存储器也归属到基于阵列卡技术的存储器一类。

存储器那点事(三)基于集群技术的模块化存储器

基于集群技术的模块化存储器的设计思想

根据我们前文的分析，基于阵列控制器技术的存储器历经软件RAID，硬件RAID卡和外置式RAID存储器三个步骤的发展，终于成功应对了一个主要的挑战——把存储器和主机逐步地分开，这是存储器工业发展非常重要的一步，标志着存储器工业终于独立了。然而在独立后，存储器要解决的下一步的问题是如何做大做强，设想一下我们从DAS演进到SAN以后现在常见的存储网络架构一般是这样的：数据中心存在多台服务器（其中运行核心应用的服务器会跑各种cluster集群软件），每台服务器配置了两块或者更多的HBA，通过两台SAN交换机（或者两个SAN Fabric）连接到一台存储器上面，而这个存储器采用的多半是我们谈到的基于集群技术的模块化存储器架构（见下图）。

为什么会这么设计呢，这里就出现了一个可靠性的问题，我们经常会听到很多厂商在吹嘘自己存储器产品的高可靠性时常用到一个所谓5个9，或者说4个9之类的说法，这是什么意思呢？这里的几个9是指全年如果换算成分钟数，有百分之多少的可能性是可以在计划内安全运行的。比如说某个存储设备提供99.995%的高可靠性，我们可以具体换算一下365*24*60*(1-0.99995)=26.28，也就意味着平均每一年大概是26分钟的非计划宕机时间，而如果说集群提供99.998%的高可靠性，则一年大概是10分钟左右的宕机时间，而很多厂商经常吹嘘的所谓5个9，则是指一年只有5分钟左右的宕机时间，每年只有5分钟（一般在本地数据中心里面，做到5个9算是最高境界了），我的乖乖，挺厉害的吧。

有看官一想，敢情这卖的存储器的九越多就越高档，就像高纯度黄金饰品一样“九”越多就卖得越贵，那干脆下一步弄个6个9、7个9，99个9？打住，坚决不能这么瞎想了，存储器毕竟也是个有技术含量的高科技行业，当然不能学习侯总“劳斯丹顿”的卖法了。

那么这个几个9到底有怎么个说法呢？其实这是来自于IT业界的一些共识，一般来讲高品质的服务器（IA芯片或者RISC芯片）一般最多能够做到4个9的安全性，为了达到5个9的安全性，系统架构师们会把至少两台服务器通过集群软件（如微软的MSCS，HP MC ServiceGuard，IBM HACMP，Veritas的Clluster软件等等）组成一个cluster（集群）。这样即使一台服务器发生了故障（软件层面或者硬件层面）down机，集群里面另外一台服务器也会马上顶上去，通过两台服务器共同完成任务提供更高的安全性和可靠性，这样就从4个9进化到5个9进一步提高了可靠性。

我们说过，存储器也是计算机，顺着这个思路往下面走，我们只要把两个用作存储器的专用计算机（这里称之为为存储控制器或者SP storage processor）组成一个集群，两个控制器同时接到磁盘柜（前面说过叫JBOD），把存储控制器和磁盘柜装在一个大盒子里面卖给用户，那么一个具有5 个9的高可靠性存储阵列就出现了。采用这种架构的存储器主要包括以下部分：存储控制器2个组成集群和可以根据用户容量需求一个个添加磁盘柜模块，因此我们称之为“基于集群技术的模块化存储器”。

集群模块化存储器设计经常会碰到的问题

当然，这种基于集群技术的模块化存储器的设计也是一步步不断完善的。早期模块化存储器设计上有以下缺陷：

1、控制器处理能力不够：以前的集群式模块化存储器每块控制器一般最多支持几十块磁盘，

随着磁盘容量变得越来越大而且现在往往最大要支持到数百块磁盘，控制器的处理能力要求越来越高。因此如何提升处理器的能力变成一个关键因素。

2、早期两个控制器共享一个大背板从而并不是完全独立，往往是装在一个大机箱里面的两

块存储控制器（又叫SP storage processor）。在绝大多数情况下当存储控制器/SP级别出现问题时，可以由另外一个SP顶上。但是如果是这个共享的大背板出现问题，则整个存储器需要停机维护。因此在选购存储器时不能一味图价格便宜，我们需要仔细观察其控制器级别的冗余性；

3、有的存储器两个控制器确是完全独立的两个设备，可是每个控制器上面只有一个电源或

风扇。这种设计往往会带来潜在的可靠性问题，要知道相比计算机电子设备，电源和风扇出故障的概率要大得多，而一旦电源或者风扇出了问题，你就需要把原来归属在该控制器上的lun全部映射到另外一个控制器上，这样往往会带来系统的down机，降低整个存储系统的可用性；

4、存储器控制器间互连只有一条线缆或者互连带宽不够。控制器互连的线缆作用非常重要，

一来传递存储控制器间的控制信息，二来传递控制器间的心跳信息（做HA检测用），三来实现数据的跨控制器传输。当只有一条线缆且传输中断，两个控制器间由于信息无法交流，将导致存储停机；而如果互连线缆带宽不够也很容易出现“乒乓”效应（当然这也和存储管理员不正确的设置有关，我们将会在后文中详细阐述）。

下文中我们将从以下几个方面讨论模块化存储器的提升方法

1、存储控制器设计方面：更快更多的处理芯片和更多的内存

2、存储控制器设计方面：更先进的专用ASIC芯片加速

3、存储控制器设计方面：更先进的控制器间互连技术

4、前端主机通道接口设计方面：更快的存储器前端主机连接

5、前端主机通道接口设计方面：前端主机接口更多协议的接入能力

6、后端磁盘通道设计方面：磁盘后端采用更多的并发通道

模块化存储器自我提升之道：更快更多的处理芯片和更多的内存

前文谈过，存储器提升控制器性能成为各家厂商的头等大事，而且我们也说过存储器本质上也是一台计算机（如果你能找到早期的Clarion 3000、4000系列存储器，你可以发现机器背面都有VGA的接口），因此采用更快和更多的处理芯片成为一个很好的办法。为了节省成本，模块化存储器一般多采用通用处理器（如Intel或者AMD芯片），升级到更快的CPU 处理器可以明显地提升，或者通过在每个控制器上面部署更多的CPU通过SMP架构来提升综合处理能力（不仅仅是做RAID保护，还要负责克隆、镜像、容灾等软件的运行）；而采用更多的内存（在存储器里面称为缓存）可以更好的做到常用 IO数据的加速和多个存储器软件的并行运行。因此存储器采用更快更多的通用处理器芯片和配置更多的内存是最常见的提升存储器性能的方法，从硬件层面说白了就是PC服务器的升级，代表产品是EMC的Clarion（或者称为CX系列）和Netapp的FAS系列。

EMC 模块化存储器的Clarion系列系1999年收购DG公司得来，国内用户最先碰到的多半是其4500和4700系列（也有很少量的3000系列），但是真正让EMC在业内扬名立万的个人认为还是2002年发布的CX200/400/600系列产品（同年EMC和DELL结盟也发布了DELL/EMC 联合品牌，进一步加强在PC服务器市场的CX存储器的认知程度和占有量）。

我们来回顾一下当年EMC CX系列发布的时候的一些资料，可以说当时EMC当时采用了一种全新的思路重新定义了模块化存储市场，这就好像买车有A级、B级、C级车一样把模块化

存储器细分为3个档次：分别是30块磁盘、1GB缓存配置的CX200，60块磁盘、2GB缓存配置的CX400和240块磁盘、8GB缓存的CX600，越高档的CX采用更加高主频或者更多个CPU，比如CX400存储器每个控制器采用了2个800MHz的Intel CPU，而最高的CX600存储器每个控制器用到了2个2GHz的Intel CPU，让用户根据需求和预算对号入座。

EMC CX定义了一种全新的判断存储器性能档次的标准，用一种类似于PC服务器竞争比较的思路，即越高档的存储器也就是采用越快、越多的通用处理器和越多的内存、越多的磁盘后端接口和主机前端接口，为了进一步佐证这种理论，EMC为CX不同档次的产品提供了不错的IOPS指标（通常用于衡量OLTP交易能力）和MB/sec吞吐量指标（通常用于衡量顺序IO吞吐量）进一步展示其优点。

俗话说不怕不识货，就怕货比货，EMC又进一步列出了和各家竞争厂商的对比，见下图，通过所谓真金白银的点对点对比，可以说CX200、400、600当时在模块化存储器市场取得了极大的成功。

当然EMC在CX市场当时一炮打响和当时其主要竞争对手IBM/HP在模块化存储线面临到不少问题也是有关的。2002年HP正着手收购Compaq整合两家的模块化存储器产品EVA系列和VA系列，价格定位策略方面明显滞后。而IBM在01年曾经OEM过原Compaq公司的存储产品，在Compaq被 IBM的最大对头HP收购后，开始转向到OEM LSI的FastT系列（即后来的DS4000系列），短期内市场认可度难以建立。可见天时、地利、人和三点对于任何一款成功的产品都是非常重要的。

到了2004-5年，EMC又再接再厉，接着推出了CX300/500/700系列，相对于上一代的

CX200/400/600，升级后的CX系列进一步升级了其存储器控制器的CPU/内存和前后端接口数量，其各项指标又了更进一步的升级。