融合nas 和san 的存储网络设计与实现
NAS(网络附加存储)与SAN的结合应用

sannas:NAS(网络附加存储)与SAN的结合应用疯狂代码 / ĵ:http://NetworkProgramming/Article25290.html NAS(网络附加存储)与SAN的结合应用近日国内电信部门为提高网络的传输处理速度,设想将中小企业以往使用的ADSL的接入方式改为专用光纤接入的网络接入方式,这一设想的推出,在网上引起数据存储设备选择的大讨论,不少人认为网络接入改为光纤后,SAN将成为未来的主流网络存储结构,在这种结构下,当前在中小型企业中得到大量应用的重要的网络存储/备份设备NAS将逐步淡出人们的视野,事实是如何呢?下面笔者将通过对SAN与NAS的作相应的分析。
一、SAN与NAS的概念介绍:何谓SAN?SAN(Storage Area Network,存储区域网络)是专门用于提供企业商务数据或运营商数据的存储和备份管理的网络。
因为是基于网络化的存储,SAN比传统的存储和备份技术拥有更大的容量和更强的性能。
通过专门的存储管理软件,可以直接在SAN里的大型主机、服务器或其它服务端电脑上添加硬盘和磁带设备。
现在大多数的SAN是基于光纤信道交换机和集线器的。
通常SAN被配置成网络的后端部分,存在于数据中心或者服务器场之后。
何谓NAS?NAS,英文全称为Network Attached Storage,可译为网络附加存储,是一种专用网络数据存储\备份器。
它以数据为中心,将存储设备与服务器彻底分离,集中管理数据,从而释放带宽、提高性能、降低总拥有成本、保护投资。
其成本远远低于使用服务器存储,而效率却远远高于后者。
NAS能够满足那些希望降低存储成本但又无法承受SAN昂贵价格的中小企业的需求,具有相当好的性价比。
二、NAS与SAN的特点介绍:SAN的关键特性SAN作为网络基础设施,是为了提供灵活、高性能和高扩展性的存储环境而设计的。
SAN通过在服务器和存储设备(例如磁盘存储系统和磁带库)之间实现连接来达到这一目的。
SAN存储网络解决方案

SAN存储网络解决方案由于互连网的迅速发展,要求系统可集中和直接管理大量存储设备,而无需在分布服务器上建立多个存储设备;在线信息不断增加,对信息的可靠性的要求提高;存储设备与多种服务器(NT,UNIX)的同时跨接,实现文件系统的并行操作,使用户的应用系统变得更加灵活,结构更加合理;用户对信息种类的要求越来越多,传输中音频视频文件的数量大大增加;另外,网络管理者现今所遇到的一个关键性的网络数据交通瓶颈,就是服务器和存储装置间的连接问题,这主要是由于在SAN技术出现之前大多数的连结方式仍然是SCSI,SCSI是一种点对点的技术,在扩充性上并不甚好。
SAN是一种透过光纤通道(Fibre Channel)的gigabit传输速度网络,可在服务器和存储设备间提供更高的产出、更远的传输距离及更多的连接选择。
它的网络传输方式可用交换式(switched-access)或共享式(shared-access)的二种方式来建立,这二种方式都能提供比SCSI更好的扩充性、容错复原及侦测资讯等。
同时,SAN的基础架构也能在随着时间的使用而降低管理成本。
尤其当数据整合性及使用性成为关键性需求时,SAN的优点便显露出来了。
不管是小型工作群组或大型组织,都能获得SAN的相当好处。
什么是SAN技术?SAN是一种将磁盘阵列或磁带与相关服务器连接起来的高速专用子网。
存储区域网(SAN)是一种全新的存储连接方式,是一个专有的、集中管理的、安全的信息基础结构。
它可以定义为是以数据存储为中心,采用可伸缩的网络拓扑结构,通过具有高传输速率的光通道的直接连接方式,提供SAN内部任意节点之间的多路可选择的数据交换,并且将数据存储管理集中在相对独立的存储区域网内。
在多种光通道传输协议逐渐走向标准化并且跨平台群集文件系统投入使用后,SAN最终将实现在多种操作系统下,最大限度的数据共享和数据优化管理,以及系统的无缝扩充。
SAN技术的优势首先,SAN是构建在存储器接口上的,使存储资源能够被构建于服务器之外,这样,多个主机服务器就能够在不影响系统性能或主网络的情况下分享这些存储资源。
SAN + NAS方案及案例(超实用)

推销EMC 公司SAN+NAS解决方案目录1、1、SAN技术发展分析 (2)1、2、NAS技术发展分析 (3)1、3、存储整合的必要性 (4)1、4、SAN+NAS集成优势 (5)1、5、SAN+NAS竞争优势 (6)1、6、SAN+NAS成功案例 (7)信息技术(Information Technology)发展迅猛,信息技术的核心是信息,围绕着信息的处理,信息的传送,信息的管理,信息的共享,信息的保护等等,人类在信息技术的各个方面不断取得突破。
人们越来越清楚地看到信息的载体—存储系统在整个IT环境中成为基础架构,它是保证IT环境的其它部分(主机,网络,应用等)正常运转的关键。
客观地讲,离开了存储系统的IT环境将成为无米之炊,什么也做不了。
在今天的信息时代,以信息为中心的模式已成为潮流.我们回顾最近几年的信息存储技术的发展,真正关键的突破是存储系统的拓扑连接技术的发展和成熟。
今天在信息访问拓扑连接技术有很多,比如iSCSI,FCIP,IFCP,SAN,NAS等等,但真正广为认可的成熟技术是SAN技术和NAS技术,SAN技术及NAS技术都是解决信息存储集中化的成熟技术。
SAN技术和NAS技术各有所长,分别适合不同应用业务系统。
集成的SAN+NAS解决方案是可以满足各个行业客户业务需求的最佳选择。
1、1、SAN技术发展分析SAN和NAS适合的应用不同。
SAN是传统的DAS技术的发展延续,是适合大量的数据块访问方式的网络存储技术:即信息主要是以块方式存储及管理的应用。
SAN和DAS的主要区别在于SAN技术采用光纤通道FC,在主机和存储介质设备之间增加了专用的存储域的交换机,构成存储域网络,实现网络存储访问。
SAN技术经过几年的发展已经非常成熟, SAN技术吸收传统通道技术和传统网络技术的优势,因此具有如下优势:高速、低延迟、高数据一致性、大数据传输等特性。
路由管理、广泛连接性、远距离支持、灵活管理等。
SAN+NAS统一存储

宏杉,EMC,NETAPP都可以实现SAN+NAS统一存储,不需要再外装NAS机头或者扩展选件,原理是在块数据操作系统之上再装一个文件操作系统,来支持该应用NAS(Network Attached Storage,网络附加存储)网络连接的磁盘存储系统,它具备了磁盘阵列的所有主要特征:高容量、高效能、高可靠。
NAS通过标准的网络拓扑结构连接到一群计算机上,所以NAS可以无需服务器直接上网,采用一个面向用户设计的、专门用于数据存储的简化操作系统,内置了与网络连接所需的协议,因此使整个系统的管理和设置更为简单。
其次NAS是真正即插即用的产品,并且物理位置灵活,可放置在工作组内,也”(file level∙∙∙∙∙∙NAS网络附加存储设备恰恰是解决上述需求的最佳方式。
而且,在绝大多数用户环境中的数据大多数是以文件(file)形式存在的,因此,NAS在解决文件级(file)数据集中存储与共享需求上是不可或缺的一部分。
*********************************************SAN(Storage Area Network)存储区域网络。
它是一种类似于普通局域网的一种高速存储网络,它通过专用的集线器、交换机和网关建立起与服务器和磁盘阵列之间的直接连接。
SAN不是一种产品而是配置网络化存储的一种方法。
这种网络技术支持远距离通信,并允许存储设备真正与服务器隔离,使存储成为可由所有服务器共享的资源。
实现SAN的硬件基础设施是光纤通道,它把数据以块为单位进行管理,采用具有更高传输速率的光纤通道(Fibre Channel简称FC)连接方式和相关基础结构。
光纤通道构筑的SAN,由3部分构成:存储和备份设备,包括磁带库、磁盘阵列和光盘库等;光纤通道网络连接部件,包括主机总线适配卡(HBA: Host Bus Adapter)和驱动程序、光缆(线)、集线器、交换机、光纤通道与SCSI间的桥接器(Bridge)等;应用和管理软件包括:备份软件、存储资源管理软件、设备管理软件。
SAN+NAS统一存储

宏杉,EMC,NETAPP都可以实现SAN+NAS统一存储,不需要再外装NAS 机头或者扩展选件,原理是在块数据操作系统之上再装一个文件操作系统,来支持该应用NAS(Network Attached Storage,网络附加存储)网络连接的磁盘存储系统,它具备了磁盘阵列的所有主要特征:高容量、高效能、高可靠。
NAS通过标准的网络拓扑结构连接到一群计算机上,所以NAS可以无需服务器直接上网,采用一个面向用户设计的、专门用于数据存储的简化操作系统,置了与网络连接所需的协议,因此使整个系统的管理和设置更为简单。
其次NAS是真正即插即用的产品,并且物理位置灵活,可放置在工作组,也可放在其他地点与网络连接。
NAS的典型组成是使用TCP/IP协议的以太网文件服务器,数据处理是“文件级”(file level)。
你可以把NAS存储设备附加在已经存在的以太网上。
不管是在Internet 服务提供商或是其他领域,数据都是以文件(file)或数据块(Block)的形式存在的。
基于应用的不同需求,对数据的形式也有不同的要求。
关键业务数据存储通常是在数据库的基础上进行存储与管理,其相应的数据存储形式主要是数据块(Block)的形式,中小型数据库也可能采用文件形式(file)。
而作为数据库以外的大多数数据平台,如容,企业系统,办公自动化,企业部网络存储平台,程序开发与测试,财务系统,工资系统等需要文件级(file)的集中存储与共享时,则需要所对应的方案具备以下特征:•满足最终用户有大量文件级数据共享的需求•提供强劲的存储容量的扩展•提供方便快捷的备份与恢复功能•充分利用现有网络资源•在最短时间以较少的IT投入解决集中存储问题•对企业部IT资源要求低,从而进一步降低整体拥有成本NAS网络附加存储设备恰恰是解决上述需求的最佳方式。
而且,在绝大多数用户环境中的数据大多数是以文件(file)形式存在的,因此,NAS在解决文件级(file)数据集中存储与共享需求上是不可或缺的一部分。
SAN+NAS统一存储

宏杉,EMC,NETAPP都可以实现SAN+NAS统一存储,不需要再外装NAS 机头或者扩展选件,原理是在块数据操作系统之上再装一个文件操作系统,来支持该应用NAS(Network Attached Storage,网络附加存储)网络连接的磁盘存储系统,它具备了磁盘阵列的所有主要特征:高容量、高效能、高可靠。
NAS通过标准的网络拓扑结构连接到一群计算机上,所以NAS可以无需服务器直接上网,采用一个面向用户设计的、专门用于数据存储的简化操作系统,内置了与网络连接所需的协议,因此使整个系统的管理和设置更为简单。
其次NAS是真正即插即用的产品,并且物理位置灵活,可放置在工作组内,也可放在其他地点与网络连接。
NAS的典型组成是使用TCP/IP协议的以太网文件服务器,数据处理是“文件级”()。
你可以把NAS存储设备附加在已经存在的以太网上。
不管是在Internet 服务提供商或是其他领域,数据都是以文件(file)或数据块(Block)的形式存在的。
基于应用的不同需求,对数据的形式也有不同的要求。
关键业务数据存储通常是在数据库的基础上进行存储与管理,其相应的数据存储形式主要是数据块(Block)的形式,中小型数据库也可能采用文件形式(file)。
而作为数据库以外的大多数数据平台,如网站内容,企业邮件系统,办公自动化,企业内部网络存储平台,程序开发与测试,财务系统,工资系统等需要文件级(file)的集中存储与共享时,则需要所对应的方案具备以下特征:•满足最终用户有大量文件级数据共享的需求•提供强劲的存储容量的扩展•提供方便快捷的备份与恢复功能•充分利用现有网络资源•在最短时间内以较少的IT投入解决集中存储问题•对企业内部IT资源要求低,从而进一步降低整体拥有成本NAS网络附加存储设备恰恰是解决上述需求的最佳方式。
而且,在绝大多数用户环境中的数据大多数是以文件(file)形式存在的,因此,NAS在解决文件级(file)数据集中存储与共享需求上是不可或缺的一部分。
基于NAS和SAN的数字图书馆网络存储系统的研究
关键词 :NA ; A S S N;网络存储 ;数字 图书馆
Re e r h o e wo k so a e f r t e d g t ll r r s a c n n t r t r g o h i ia i a y b
b sd o a e n NAS a d S n AN
a d a ay e e d v lp n f d gtl l r r aa s r g e h oo y a d pa fr n n lz d t e eo me to ii i a y d t t a e tc n l g n lt m. I p e e t wo h a b o o t rsns t
0 引 言
随着 电子文献 资 源 的 日益 丰 富 和不 断 扩充 , 访
问数 字 图书馆 查 阅资 料 的上 网用 户也 越 来越 多 , 如
等。 目前 , 国内市场 上 还 有很 多 商 品化 的 电子 资 源
产 品 , 中比较 知名 的产 品有 超 星电子 图书 、 其 书生 之
图书馆 的必然 要求 , 以存储 为 中心 也将 成 为现 代 化
数 字 图书馆 的发展 趋势 。
传统的图书馆存储 系统 中, 这些海量数据往往
分别 存 储在几 台磁 盘 阵列 上 , 过 院 内局域 网连 接 通
1 存储现状及传统存储模 式 Байду номын сангаас
现代数 字 图书馆 的电子 资源类 型有 很 多 , 例如 : 电子期刊全 文数据 库 、 摘 数据 库 、 文 引文 数据 库 、 电 子 图书 、 实数据 库 、 事 电子报 纸 、 位论 文 数 据 库等 学
Ab t a t Th se s y i to u e h mp ra c fn t r t r g y tm n dii llb a y c n tu t n sr c : i sa n r d c d te i o tn e o ewo k so a e s se i gt i r r o sr c i a o
数字图书馆的SAN-NAS存储方案
数字图书馆的SAN-NAS存储方案[摘要]对于不断增多的服务功能和服务要求,如何设计和建设图书馆电子资源存储管理体系,简化管理操作,提高资源服务系统的灵活性和安全性,已经成为图书馆在网络环境下必须面对、必须解决的现实问题。
利用NAS—SAN两种存储结构的融合,建立图书馆数字资源存储管理体系,使图书馆的电子资源的建设和服务简单、高效、安全、稳定。
[关键词]数字图书SAN-NAS 功能优势一、SAN—NAS的融合存储架构1.实现的功能(1)管理员通过web登陆远程管理;(2)为学校教师提供教学课件的个人网络存储,有效保护教师的文件资料不会丢失且使用更加方便;(3)将随书光盘及资料光盘上网,在查找图书目录时可直接浏览光盘内容;(4)提供课件资料的网络视频教学点播共享;(5)双路数据库在线互援保证图书检索数据库的安全。
一期建设完毕后所采购的HBA卡还剩三块,所以在二期实施中需要接入光纤SAN当中的设备正好采用上,并将一期采购的磁带机备份设备在二期设备到位以后全部安装调试使用,通过二期的项目完善图书馆从服务能力,存储容量,存储管理,集中备份等都将进入一个全面完善阶段。
3.网络结构拓扑图如下一期系统结构拓扑图:(资源服务器和自动化业务服务器不在一个LAN内)二期完善后拓扑图:“INTERNET”应为“校园网”三、系统相关模块介绍1.远程管理网关存储介绍世界上速度最快的、安全性最高的存储网关。
SANCOME系列是全球领先的高性能独立系统网络存储设备,在众多的网关存储产品中,SANCOME采用屡获国际大奖的基于BSD Unix开发的微内核专用存储操作系统,其技术的高可靠性和防病毒与反黑客等安全性在业界中以“快速”称著具世界领先水平,在网络迅猛发展的时刻,系统安全是目前人们普遍关注的大问题,“蠕虫”风暴席卷了Windows2K系统,而Linux也开始受到黑客的攻击,存储系统面临严重挑战,用户保存的数据资料需要具备高性能的安全解决方案。
基于SAN/NAS网络架构的存储整合技术
为存储 网络构架 。而另外一部分基于文件 的非结构 化 的数据 , 则适合于采用 N AS作为存储 网络构架 。 据 根 以上 S N 和 N A AS的对 比,结合存储技术 的典型应 用 范 围,应采用 S N 技术作为 存储整合 的主要技术 手 A 段 ,NAS 为存储架构 的必要补充。 作
数据而进行优 化的, A S N对 以下应用来说是理想选择: > 关键任务数据库应用 , 中可预计的响应时间、 其 可用性和 可扩展 性是基 本要素 。 > 集 中的存 储备份,其中性能、数据一致性和 可 靠性可 以确保 企业 关键数据 的安全 。 > 高可 用 性和 故障 切换 环境 可 以确保 更低 的成 本 、更 高的应用水平 。 > 可扩展 的存储虚拟化 ,可使存 储与直 接主机连
不同时期的价值,分布于不 同存储上 。 3 生产数据可 以通过基于高端存储系统的解 决方 ) 案实现平台级的容灾方案 ,实现高级别的容灾指标。
① 收稿 时 间:0 1 21: 修改稿 时 间:0 1 32 2 1- .3收到 0 2 1. —3 0
14 应用 技术 Apl d ehiu 5 pi cn e eT q
随着 企业业务的发展 ,业务数据 的飞速增长 ,对 I T系统存储 的要求越来越高 。 目前多个企业存储构架
仍处于传统的 以主机为 中心 的存储构架阶段 ,缺乏统
一
改变 ( 包括主机升级、操作系统升级、应用升级、 网 络升级等 )都可 能要对整个系统进行一 次改造 。 目前 仍有许多企业的存储 构架处于传统的存储构 架阶段 ,随着信息的快速增长和存储技术 的发展 ,把 数据独 立 出来 ,建立可共享的、与主机平 台无关 的先
议N AS使文件访 问操作更为快捷, 并且 易于 向基础设 施增加文件存储容量 。 因为 NA S关注 的是文件服务而 不是实际文件系统 的执行情况,N AS设备易于部署 。
nas san 存储系统解决方案
技术方案建议书XXX 公司 存储系统解决方案中国惠普有限公司亚康科技 2009-05-25第i页第1章 项目概述和建设需求1.1 项目概述根据规划,XXX 公司此次需要结合数据中心的建立,计划配置一套基于当今先进 IT 技术的数据集中存储系统,满足 XXX 公司近期和较远期发展对数据中心存储系统的需求。
1.2 建设需求目前,XXX 公司的数据大量以文件的形式存放。
XXX 公司存储系统技术架构上,应 首先能够同时满足两类数据的存储需求,并能实现两类数据的存储和共享。
在两类数据的 存储与访问上,存储系统的性能应能够达到均衡。
在存储系统前端服务器配置上,考虑到应用的复杂程度,应能支持异构平台服务器系 统(UNIX、LINUX、WINDOWS 等)对存储系统的共享需求,存储系统的光纤接入端口 至少具有一定数量。
此次存储需求:10TB,要求技术先进,高可用,高性能,兼容性强。
1.3 建设目标数据中心存储系统提供数据的集中存储和统一管理平台; 数据中心存储系统为各阶段、各层面人员提供快捷的数据共享平台; 数据中心存储系统提供数据的全方位安全管理,包括硬件安全机制、统一备份机制和 灾难恢复机制等,确保数据的安全; 数据中心存储系统能够均衡的支持结构化数据和非结构化数据的存储需求,并支持非 结构化数据的权限可配置的共享管理; 数据中心存储系统能够支持未来三年内的数据增长能力。
1.4 方案设计原则 技术架构上应保证先进,3-5 年不落后; 保证数据的安全性和系统的高可靠性; 全系统应具备很高的性能; 存储系统具备高可扩展性/可扩充性; 易管理、易维护性; 经济性和投资保护。
第2章 存储技术介绍早期的存储系统是计算机系统的一部分,大多以存储设备形式出现。
计算机系统可以 通过总线连接到磁盘,或者通过输入/输出系统与磁盘系统相连,这时计算机基本上是以单 机方式工作的。
随着网络的发展,数据的存储也逐渐由单机向多机方式和专用机发展,数 据的共享与传递也逐渐从依赖主机系统向依赖网络系统发展。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
融合NAS 和SAN 的存储网络设计与实现韩德志1,3,余顺争1,谢长生2(1.中山大学电子与通信工程系,广东广州510275;2.华中科技大学计算机学院,湖北武汉430074;3.广东外语外贸大学信息学院,广东广州510420)摘 要: 针对目前两种主流网络存储系统存在的缺陷,本文提出和实现了一种在IP 协议下融合NAS 和SAN 的统一存储网络系统.通过全局多协议文件系统,统一存储网络能同时支持文件协议和块协议,实现了NAS 设备和SAN 设备在IP 上的无缝融合,满足了应用开放性、高扩展和海量存储的需求;通过iSCSI 软件实现模块,统一存储网络能同时为客户提供文件I/O 和块I/O 服务,具有NAS 和SAN 二者的优点;通过自主存储代理文件系统,统一存储网络能同时通过服务器通道或高速附网通道向客户机提供数据,提高了系统的I/O 响应速度,减少了服务器瓶颈.实验结果显示,统一存储网络系统具有超高速的文件I/O 和块I/O 响应速度,能为网络提供性能、扩展性、兼容性、性价比都更好的海量存储系统.关键词: 统一存储网;多协议文件系统;iSCSI;自主存储代理中图分类号: TP303 文献标识码: A 文章编号: 0372 2112(2006)11 2012 06A New Storage Network In tegrated with NAS and SANHAN De zhi 1,3,YU Shun zheng 1,XIE Chang sheng 2(1.De part me nt o f Electronics and Communication Enginee ring ,Zhongshan U ni versity,Guangzhou,Guangdong 510275,China ;2.School o f Co mpute r Science and Tec hnology ,Huazhong Unive rsity o f Science and Tec hnology ,Wuhan,Hube i 430074,China;3.School o f Informatics ,Guangdong Unive rsit y o f Fore ign Studies,Guangzhou ,Guangdong 510420,China )Abstract: Nowaday s,NAS and SAN are served as two main network s torage systems,both of which have their advantages and disadvantages.With the dramatic increase of the network application,however ,a new network storage architecture,Unified Stor age Network (USN ),in which NA S and SAN are integrated on the bas e of an IP,has been made.Firs tly ,by way of a Global M ul ti Protocol File System(GMPFS),the U SN combi nes NAS and SAN,achieving a high scalability and a large capacity.Secondly,w ith an iSCSI module,the USN s erves the block I/O and file I/O simultaneously ,combining both the advantages of NAS and SAN.Thirdly,through an Autonomic Storage Agency (ASA),the USN pro vides two types of data channels:a server channel and a high speed network attached channel,creating a direct access to the storage device for its client.And in the concerned experiments,the USN has turned out to be an impro ved network storage sy s tem of a great capacity with an ultra high throughput for both the file I/O and the blo ck I/pared with the ex isted NAS and SAN,this new system has pro ved to be better in terms of its perfor mance,scalability,compatibity,high availability and price,etc.Key words: unified s torage network (U SN);global multi protocol file system (GMPF S);iSCSI;autonomic storage agency (ASA )1 引言IT 技术的发展经历三次浪潮:第一次浪潮以处理技术为中心,以处理器的发展为核心动力,产生了计算机工业,促进了计算机的迅速普及和应用;第二次浪潮以传输技术为中心,以网络的发展为核心动力.这两次浪潮极大地加速了信息数字化进程,使得越来越多的人类信息活动转变为数字形式,从而导致数字化信息爆炸性地增长,进而引发IT 技术的第三次发展浪潮:存储技术浪潮.存储技术浪潮的核心是基于网络的存储技术.目前,流行的网络存储系统主要有两种:附网存储(NAS)和存储区域网(SAN)[1,2].按照存储网络工业协会(SNI A)的定义:NAS 是可以直接联到网络上向用户提供文件级服务的存储设备,而SAN 是一种利用Fibre Channel 等互联协议连接起来的可以在服务器和存储系统之间直接传送数据的网络.NAS 是一种存储设备,有其自己简化的实时操作系统,它将硬件和软件有效地集成在一起,用以提供文件服务,具有良收稿日期:2005 11 30;修回日期:2006 07 20基金项目:国家自然科学基金(No.60173043,No.60303031);国家973重大基础项目(No.2004CB318203);广东省科技攻关项目(No.2006B11201004);中国博士后科学基金项目(No.200060390749)第11期2006年11月电 子 学 报ACTA ELECTRO NICA SINICA Vol.34 No.11Nov. 2006好的共享性、开放性、可扩展性.SAN技术的存储设备是用专用网络相连的,这个网络是一个基于光纤通道协议的网络.由于光纤通道的存储网和LAN分开,性能就很高.在SAN中,容量扩展、数据迁移、数据本地备份和远程容灾数据备份都比较方便,整个SAN成为一个统一管理的存储池(storage pool).由于具有这些优异的性能,SAN已成为企业存储的重要技术.但在实际应用中NAS和SAN也存在很多缺陷,越来越不能满足IT技术的快速发展和数字化信息爆炸性地增长的需求[3,4].如NAS设备存在如下缺陷:(1)数据的传输速度慢,因为NAS 只能提供文件级而不能提供块级的数据传输;(2)数据备份时性能较低,NAS在数据备份时要占用其大部分网络带宽,其它I/O性能受到影响;(3)只能管理单个NAS,很难将位于同一局域网中的多个NAS集中管理.SAN也存在以下缺陷:(1)设备的互操作性较差,不同厂家的设备很难互操作;(2)构建SAN 成本高,目前只有实力较大的企业构建自己的SAN;(3)管理和维护成本高,企业需要花钱培训专门的管理和维护人员;(4)SAN只能提供存储空间共享而不能提供异构环境下的文件共享.针对NAS和SAN的优缺点,目前出现了多种新的网络存储技术,如:NAS Gateway(NAS head)[5]、基于IP的SAN技术[6]、对象存储技术[7].NAS网关能将SAN连结到IP网络,使IP网络用户能通过NAS网关直接访问SAN中的存储设备,所以NAS网关具有以下优点:能使NAS和SAN互连在同一LAN 中,突破了FC拓扑的限制,允许FC设备在IP网络使用;减少了光纤设备的访问成本,允许访问未有充分利用的SAN存储空间.基于IP的S AN互连技术主要包括:FCIP(IP tunneling)、i FCP、iSCSI、Infiniband、mFCP,其代表技术是iSCSI技术.iSCSI 技术原理是将SCSI协议映射到TCP/IP之上,即将主机的SC SI命令封装成TCP/IP数据包,在IP网络上传输,到达目的节点后,再恢复成封装前的SCSI命令,从而实现SCSI命令在IP 网络上的直接、透明传输,使访问远程的SCSI盘可以像本地的硬盘一样方便.存储对象具有文件和块二者的优点:象数据块一样在存储设备上被直接访问;通过一个对象接口,能象文件一样,在不同操作系统平台上实现数据共享.NAS Gateway虽实现了NAS和SAN在IP的融合,但不是真正的融合,因为它不能将NAS设备和SAN设备融合起来向用户提供统一的存储池,用户也只能以文件I/O的方式访问存储设备.对象存储虽具有NAS和SAN的优点,但需要设计专门的对象存储接口,需要对现有的文件系统进行修改,这阻碍了它的进一步普及推广.本文提出并实现了一种在IP协议下融合iSCSI、NAS、SAN的统一存储网络(简称US N).在USN中,NAS设备、iSCSI设备和SAN设备并存,用户可以块I/O的方式访问USN中的iSCSI设备和SAN存储设备,也可以文件I/O方式访问USN中的NAS存储设备和SAN存储设备,整个USN是一个统一的存储池.并且,USN能同时提供服务器通道和附网高速通道向客户机提供数据,减少了服务器瓶颈,提高系统的I/O速度.USN既有NAS的优点(低成本、开放性、文件共享),又有SAN的优点(高性能、高扩展性). USN同NAS Gateway(NAS head)技术、基于IP的SAN技术、对象存储技术相比具有明显的优势.2 USN总体结构USN系统的硬件结构如图1所示.USN由NAS设备、iSCSI 设备和SAN设备,以及元数据服务器和应用服务器组成.用户可以文件I/O的方式访问USN中的NAS设备和经过NAS 头访问SAN中的存储设备,也可以块I/O的方式访问USN中的i SC SI设备和SAN中的存储设备.USN同时向用户提供服务器通道和附网高速通道,对于元数据和小数据请求都经过服务器通道完成,对于大数据请求则经过附网高速通道完成,这样大大提高整个系统的I/O速度,减少服务器瓶颈.整个USN是用基于IP的技术构建,可以兼容现有的存储系统,添加和删除存储设备都很方便.所以,整个系统的性能、扩展性都很好.USN真正实现了NAS和SAN的统一,即同一存储网络中既有NAS设备,又有S AN结构;实现文件I/O和块I/O的统一,即用户可以文件I/O方式(文件为单位)也可以块I/O 方式(块为单位)访问USN中的设备;实现了文件协议和块协议在TCP/IP协议上的统一,用户可以NFS(Unix用户)和CIFS (Windows用户)访问US N,也可以SCSI(iSCSI用户)访问USN.图2是USN的软件结构图,其中GMPFS是全局多协议文件系统,位于USN系统中的各个应用服务器上,它支持使用CIFS协议的Windows用户对USN的访问,支持使用NFS协议的UNIX用户对USN的访问,也支持使用iSCSI协议的块协议用户对USN的访问.GMPFS通过对目前存储系统所使用的元2013第 11 期韩德志:融合NAS和SAN的存储网络设计与实现数据进行扩展,采用启发式的方法,收集用户应用信息,为用户提供统一、方便、快捷的存储访问接口以及合理的数据存储方案.ASA 是自主存储代理模块,它能够自动地发现海量存储系统中存储设备的种类和可利用的各种资源,自主地对这些存储设备和资源进行有效的统一管理和优化.ASA 根据应用的不同和应用的具体需求,安排与应用相适应的存储设备种类、性能以及可靠性和可用性等级等,并为I/O 请求选择合适的数据通道,使应用得到最优的存储资源分配,从而使整个系统的性能达到最佳.3 系统设计USN 是一个复杂的系统,涉及到许多复杂的技术,本文主要论述其核心技术的设计和实现,即GMPFS 、ASA 和iSCSI 系统的设计与实现.GMPFS 可以驻留在多种操作系统平台上(UNIX,Windows,Linu x ),支持各种协议用户的访问(NFS,CIFS,iSCSI),为用户或应用程序提供对网络存储系统的数据访问服务.ASA 将多种存储技术(这些存储技术各有所长,也各有所短)整合为一个统一的海量存储系统,充分发挥各种存储技术的优势,使得该存储系统对特定的应用程序而言服务性能达到最优,有效地满足多方面的应用需求.iSCSI 真正的实现了块I/O 和文件I/O 在IP 网络上的统一,文件协议和块协议在IP 协议上的统一.3 1 全局多协议文件系统的设计GMPFS 保留了分布式文件系统的灵活性和高性能的优点,而克服了其在不同I/O 协议支持方面的缺陷,能同时支持NFS 、CIFS 和iSCSI 协议用户的访问.GMPFS 在提供文件存取的方法和文件目录结构的同时,还为每种存储卷提供特定的存储模式.每种存储模式包含某种文件系统的元数据结构,操作接口(文件类型和数据块类型),功能函数集(格式化,检索等),优化方法(cache 方法和预取等)和存储空间分配回收方法及数据结构.对于文件卷而言,存储模式包含实现POSIX 语义的操作函数和文件目录结构;对于分区卷而言,存储模式必须面向特定分区类型,如NTFS,ext3.所有的存储模式都必须在元数据服务器中的ASA 系统中注册,以便ASA 为用户的I/O 请求进行通道选择.GMPFS 的结构如图3所示.其中协议转换接口主要通过NFS 的扩展程序模块和samba 模块的组合对NFS 协议和CIFS 协议的支持,并通过iSCSI 目标器驱动程序的扩展对iSCSI 协议的支持.启发式数据管理接口主要是用启发式方法获得用户对存储数据的需要,如性能、使用率以及安全性等.GMPFS 数据组织逻辑界面提供数据组织的逻辑视图,这一点正是针对传统文件系统文件目录结构对于海量数据难以管理的弱点,在增加元数据信息的前提下,通过查询和检索,按照用户需要提供各种类型文件视图,例如根据文件创建的用户和时间进行分类.扩展的文件或卷操作接口、数据组织与分配管理、元数据组织结构和I/O 定向器等主要是保证与传统的文件系统操作语义兼容,实现程序级的数据访问.应用程序无需修改就可以使用USN 系统中的数据.提供与元数据服务器中的AS A 及存储资源的接口和通讯,能充分利用ASA 系统所掌握的存储资源,合理组织数据,满足用户或应用程序对数据存储的多方面、个性化要求.如通过同时提供服务器通道和附网高速通道,改善用户的I/O 性能服务,减少服务器瓶颈.3 2 iSC SI 系统设计iSCSI 协议定义的是SCSI 到TCP/IP 的映射,即将主机的SCSI 命令封装成IP 数据包,在IP 网络上传输,到达目的节点后,再恢复成封装前的SCSI 命令,从而实现SC SI 命令在IP 网络上的直接、透明传输.它整合了现有的存储协议SC SI 和主流网络协议TCP/IP 等两种主流协议,实现了存储和网络的无缝融合.从应用的角度看,iSCSI 一方面通过SCSI 命令的远程传送,实现了和远程存储设备的命令级交互,使用户访问远程的SCSI 设备像本地的SCSI 设备一样方便,而且具有高速度;另一方面也可用于改造传统的NAS 、SAN 技术,实现NAS 和SAN 的融合.iSCSI 系统是USN 系统的核心部分之一,iSCSI 的设计实现了基于IP 的数据块访问机制.目前iSCSI 的实现方式可以考虑采用以下三种方式:纯软件方式、智能i SCSI 网卡实现方式、i SC SI HBA 卡实现方式[1].2014电 子 学 报2006年由于我们是设计US N 的原形系统,所以只采用纯软件方式,iSCSI HB A 卡方式是下一步产品化我们将实现的目标.iSCSI 系统整体设计模型如图4所示(不包括管理模块).服务器端(Target)采用linux 操作系统,客户端(Ini tiator )采用Win dows2000.SCSI 微端口驱动在系统中生成一个虚拟的SCSI 磁盘,过滤驱动截获系统发给SCSI 磁盘的SCSI 命令,通过核心态的网络接口发给服务器处理.3 3 自主存储代理系统的设计自主存储代理ASA 的一端面对海量存储系统.目前的存储系统有DAS(直连存储)、NAS 、SAN 、iSCSI 等,ASA 能够自动地发现海量存储系统中存储设备的种类和可利用的各种资源,自主地对这些存储设备和资源进行有效的统一管理和优化;根据应用的不同和应用程序的具体需求,安排与应用程序相适应的存储设备种类、性能以及可靠性和可用性等级等,使应用程序得到最优的存储资源分配.AS A 的另一端面对应用程序(GMPFS).ASA 通过对目前存储系统所使用的元数据进行扩展,采用启发式的方法,收集用户应用信息,为用户提供统一、方便、快捷的存储访问接口以及合理的数据存储方案;根据用户I/O 请求所涉及数据的属性,选择客户端与存储设备交互数据的通道,即元数据(目录、卷信息等)和小数据I/O 请求,选择服务器通道,对大数据I/O 请求选择高速附网通道.大、小数据I/O 请求由ASA 自主地根据整个系统的I/O 信息量进行调整.ASA 系统结构如图5所示.4 客户端与USN 交互流程USN 系统中包括三类用户:Windows 文件I/O 用户(使用CIFS 协议),Unix 文件I/O 用户(使用NFS 协议),iSCSI 块I/O 用户(使用iSCSI 协议).用户在客户端与USN 系统交互流程与图6所示.块I/O 客户的具体的数据读写流程为(如图6):(1)客户1上的应用程序发出的块I/O 命令(SCSI 命令)经i SCSI 设备驱动层和TCP/IP 协议栈之后,封装成IP 数据包,在IP 网络上传输;(2)封装后的SCSI 命令达到USN 服务器之后,经解封装,恢复成封装前的SCSI 命令,USN 服务器利用这些SCSI 命令对i SCSI 存储设备发出块I/O 读写请求;(3)被请求的数据块经iSCSI 设备中的iSCSI 层和TCP/IP 协议栈封装成PDU,iSCSI 设备传送的PDU 到客户端可经两个途径:一种是经过服务器转发,一种是经过高速附网通道直接传到客户端;(4)PD U 经IP 网络上传输返回到客户1后,PDU 经客户1解封装并由其文件系统组合成文件.当USN 系统提供File I/O 服务时,其数据读写过程(如图6所示):(1)客户2(文件I/O)向USN 服务器发出文件读写请求(其工作方式和传统的NAS 相同);(2)USN 服务器接到客户端的文件读写请求后:一方面,将该I/O 请求发给对应的NAS设备或NAS 头,NAS 设备或NAS 头将所请求数据传给USN 服务器,再经USN 服务器传到客户端;另一方面USN 服务器不把文件I/O 请求传到NAS 或NAS 头,而是将NAS 或NAS 头的IP 地址传给客户端,客户端通过该IP 地址直接与NAS 或NAS 头进行数据交互.这里的NAS 头主要是支持FC 协议的SAN 设备能直接挂到TCP/IP 网络,支持NFS/CIFS 用户的访问,NAS 头也可安装iSCSI 目标器驱动程序支持iSCSI 用户的访问.不论是块I/O 请求还是文件I/O 请求,都可通过附网高速通道实现客户端与存储设备的数据交互.5 试验评估从客户端对构建USN 的各子存储系统以及整个USN 进行功能和性能评测,并作进一步的比较.我们从两个方面对统一存储网进行测试:功能测试和性能测试.功能测试包括:(1)构建100M 及1000M 以太网环境,将iSCSI 存储设备与服务器连接;在服务器操作系统中安装iSCSI 软件包后,使用户能够通过网络获得iSCSI 存储设备提供的存储空间,并能象使用本地硬盘一样对其进行操作.本测试项测试服务器端i SCSI 盘安装、设置、管理和使用等各项功能;(2)iSCSI 存储设备作为NAS 头的存储设备,与NAS 头组成一个NAS 存储系统,本测试项测试i SCSI 盘在NAS 中的安装、设置、管理和使用等各项功能;(3)iSCSI 盘与本地盘、FC RAID 盘构成各种冗余度的RAID,本测试项测试各种存储盘在RAID 中的安装、配置、管理和使用等各项功能;(4)多个NAS 、iSCSI 设备、NAS 头连接FC RAID 通过多GMPFS 和ASA 构建成USN 海量存储系统,本项测试测试GMPFS 和ASA 系统在融合NAS 、iSCSI 和SAN 的系统中的安装、配置及使用等各项功能.性能测试包括:测试在100M 和1000M 网环境中不同工作负载下NAS 存储设备、iSCSI 存储设备、FC RAID 、本地硬盘以及它们组成的海量USN 系统的数据传输性能:包括单位时间内的IO 次数、一次IO 的平均响应时间、数据传输率和CPU 利用率.该项测试的主要思想是针对不同的网络应用环境,对各种存储设备和各种传输通道进行频繁的IO 处理,在确定时间内统计并计算IO 率、数传率、响应时间、CPU 利用率等性能参数,从而得到的各种性能评估.5 1 测试环境iSCSI 存储设备:P42.0GHz CPU ,256MB DRAM,IB M DPSS2015第 11 期韩德志:融合NAS 和SAN 的存储网络设计与实现31835018G 硬盘,Red hat Linux 9.0操作系统;LINUX 服务器:Pen tium 42.66GHz (FC PGA)CPU,256MB DRAM,80GB Ultra ATA/1007,200rpm 硬盘,Redhat Linux 9.0操作系统;WINDOWS 服务器端:XEON 3.06GHz CPU,512M DRAM 内存,Smart Array 6i(板载)存储控制器,Qlogic QLA2300PCI FC Adapter 光纤适配器,IB M 36.4GB (32P0726)10Krp m 硬盘,Microsoft Windows2003操作系统;FC RAID:NexStor 4000S,CPU 600MHZ,512M SDRAM ,10 ST314680FC 硬盘;普通NAS 存储设备:P42.66GHz CPU ,512MB DDR,Maxtor 160G 硬盘,Redhat Linu x 9.0操作系统.网络连接:iSCSI 设备和普通NAS 设备都使用100M 以太网卡Realtek RTL8139;Windows 服务器使用1000M 以太网卡HP NC7782Gigabit Server Adap ter;Linux 服务器使用1000M 以太网卡.HPNC7782Gigabi t Server Adapter.5 2 功能测试根据测试流程,功能测试包括三个方面的内容:(2)平台的统一,即在Windows 下能通过单一目录树方式访问多个存储节点,功能与Linux 下的pvfs 相似;(2)协议的统一,即通过Windows 的 计算机管理!和Initiator 发起端(iSCSI 客户端)可以管理FC RAID 和iSCSI Target 及普通的NAS 设备,并利用 动态磁盘机制!实现多种冗余;∀设备的统一,即iSCSI Tar get 通过和ini tiator 配合,使得该Target 成为NAS 系统中的一个存储设备.5 3 性能测试5.3.1 测试内容采用第三方的IOMETER 测试软件进行的测试.IOME TER 是INTEL 公司专门开发的用于测试系统I/O 性能的测试程序.它的测试参数比较全面,能非常全面的反映服务器的I/O 性能.为了说明US N 存储系统的性能,在相同条件下测试以下项目进行对比分析:(1)对USN 服务器本地硬盘读写性能测试;(2)100M 以太网环境下FC RAID 盘读写性能测试;(3)100M 以太网环境下远程iSCSI 盘读写性能测试;(4)100M 以太网环境下FC RAID 盘和远程iSCSI 盘构建的各级RAID 盘的读写性能测试;(5)1000M 以太网环境下远程iSCSI 盘读写性能测试;(6)100M 以太网环境下USN 系统的读写性能测试.5 3 2 实验结果比较本地IDE 硬盘、100M iSCSI 硬盘、1000M i SCSI 硬盘、FC RAID 、FC RAID 与iSCSI 构成的RAID0及USN 系统数据传输率性能比较如图7所示.本地IDE 硬盘、100M iSCSI 硬盘、1000M i SCSI 硬盘、FC RAID 及FC RAID 与iSCSI 构成的RAID0,以及USN 的IO/s 性能比较如图8所示.本地IDE 硬盘、100M i SCSI 硬盘、1000M iSCSI 硬盘、FC RAID 及FC RAID 与i SCSI 构成的RAID0,以及USN 的平均响应时间性能比较如图9所示.本地IDE 硬盘、100M i SCSI 硬盘、1000M iSCSI 硬盘、FC RAID 及FC RAID 与iSCSI 构成的RAID0,以及USN 的CPU 占用率比较如图10所示.5 4 实验结果分析5.4.1 请求文件或数据块大小对存储系统性能的影响从图7、图8和图9中单条曲线的走势可以看出,当请求文件或数据块较大时,从目的盘或系统上读写数据耗费的时间长,通过网络传输的时间也相应增加,所以:小包的平均响应时间<大包的平均响应时间,小包的IOps>大包的IOps.请求包大时,针对一个请求包所进行的额外操作较请求包小时少,连续的读写所耗费的时间小于小包读写所耗费的时间,因此:小包的MBps<大包的M Bps.服务器端iSCSI 盘的各项性能表现趋势在100M 以太网和千兆以太网环境中不同请求包大小的情况下符合上述规律,本地IDE 硬盘、FC RAID 和USN 系统也符合上述述规律.5 4 2 性能分析从图7、图8和图9可以看出,I/O 请求在1k~128kB 时,USN 系统的I/O 请求响应速度比本地IDE 硬盘、FC RAID 、100M 远程i SCSI 硬盘和1000M iSCSI 硬盘快的多.当I/O 请求大于128kB 时,USN 系统的I/O 请求响应速度比FC RAID 的2016 电 子 学 报2006年I/O请求响应速度略慢,比其它存储子系统的速度快的多,最高速度可达45MB/s.其原因是我们在USN的服务器端除加载了GMPFS(支持使用多种访问协议用户)和ASA(提供服务器通道和附网高速通道)的同时,还加载了我们实验室以前开发的智能预取、硬盘缓存技术(DCD)、负载均衡和零拷贝系统或软件模块,所以,不论是大I/O请求还小I/O请求,都能提供极好的I/O请求响应性能.而FC RAID由于自身的数据校验等时延等特性,对小的I/O请求响应速度较慢,对越大的I/O 请求响应速度越快.对于USN的i SCSI盘存储子系统,从实验结果可以看出,当请求数据块较小时,100M网络环境下的性能和1000M网络环境下的性能差别不明显,随着请求块或文件逐步增大,两者IOps和MBps的差距越来越大.请求数据块为1024K时,仅更换网络传输中的数据链路层和物理层,从100M网络环境提升到1000M网络环境,磁盘数据传输率得到较大的提高,后者约是前者的3倍.从图10可以看出,100M的iSCSI存储子系统的CPU占用率最高,原因是在响应用户的I/O请求,要求服务器不断的对iSCSI的协议数据单元进行封装和解封装.本地的IED硬盘CPU占用率最低,USN系统的服务器端CPU占用率次之,原因是USN系统中小的I/O请求直接经过服务器处理,而大的I/ O请求经过附网高速通道由存储设备自身处理.6 结论和展望我们提出、设计和实现的统一存储网络系统,全部采用IP 互联设备,价格比光纤通道低得多,在管理软件的开发实现上以及系统的使用维护上,都具有多得多的资源和经验.并且,千兆以太网技术比光纤通道技术发展迅速,10Gbps以太网交换机已经推出并在市场上热销,其性能前景也比光纤通道交换机好得多.所有这些为统一存储网络的产品化打下了坚实的基础.目前,我们已经从理论、结构和实践上实现了统一存储网络原型系统,现在,我们正在开发和完善多用户、多功能、多种平台支持的iSCSI设备,设计和实现新的安全和高可用文件系统,以便为统一存储网络系统产品化后能真正为广大企业,尤其是为广大中小企业提供开放性、性能、可展性、性/价比都更好的海量存储系统.参考文献:[1]韩德志,谢长生,等.一种基于iSCSI的附网存储服务器系统的设计与实现[J].计算机研究与发展,2004,41(1):208 -213.Han De zhi,X ie Chang sheng,et al.Design and implementation of an iSCSI based network attached s torage server[J].Journal of Computer Research and Development,2004,41(1):208-213.(in Chines e)[2]韩德志,谢长生,等.一种新的附网存储集群系统的研究与设计[J].通信学报,2005,30(5):1-8.Han De zhi,Xie Chang sheng,et al.Study and design of a new network attached storage cluster[J].Journal Computer Research and Development,2005,30(5):1-8.(i n Chi nese)[3]谢长生,傅湘林,等.一种基于iSCSI的SAN的研究与实现[J].计算机研究与发展,2003,40(5):747-751.Xie Chang sheng,Fu Xiang lin,et al.The study and implemen tation of a new iSCSI based SAN[J].Journal of Computer Re search and Development,2003,40(5):747-751.(in Chinese) [4]Telikepalli R,Drwiega T,et al.Storage area network extensionsolu tions and their performance assess ment[J].Communications Magazine,IEEE,2004,42(4):56-63.[5]Auspex whitepaper:NAS SAN convergence today:new trendsin enterprise s torage[EB/OL].www.internetnew /stor age/article.php/,2005 12 01.[6]LeftHand Networks Inc.White Paper:Leveraging iSCSI SAN sfor Disaater Recovery[EB/OL].http://www.lefthandnet ,2005 08 19.[7]M ike Mesnier,Gregory R.G,et al.Object based s torage[J].IEEE Communications M agazine.2003,41(8):84-90.作者简介:韩德志 男,1966年生于河南信阳,中山大学博士后.主要研究方向:高可用、高可扩展的海量网络存储系统,网络存储系统的安全管理和性能优化.E mail:han-dez hi88@余顺争 男,1958年生于江西南昌,中山大学教授,博士生导师,主要研究方向:网络行为与网络安全、信号处理、无线Internet.谢长生 男,1957年生于湖北襄樊,华中科技大学教授、博士生导师,主要研究方向:高精度光存储设备及系统,海量网络存储系统.2017第 11 期韩德志:融合NAS和SAN的存储网络设计与实现。