磁盘阵列 虚拟带库 磁带库#

磁盘阵列 虚拟带库 磁带库#
磁盘阵列 虚拟带库 磁带库#

磁盘阵列

在计算机发展的初期,“大容量”硬盘的价格还相当高,解决数据存储安全性问题的主要方法是使用磁带机等设备进行备份,这种方法虽然可以保证数据的安全,但查阅和备份工作都相当繁琐。1987年,Patterson、Gibson和Katz这三位项目师在加州大学伯克利分校发表了题为《A Case of Redundant Array of Inexpensive Disks(廉价磁盘冗余阵列方案)》的论文,其基本思想就是将多只容量较小的、相对廉价的硬盘驱动器进行有机组合,使其性能超过一只昂贵的大硬盘。这一设计思想很快被接受,从此RAID技术得到了广泛应用,数据存储进入了更快速、更安全、更廉价的新时代。

虽然磁盘阵列技术很早的便被提出,但因为那时硬盘还不是影响整个计算机性能的瓶颈,且搭建磁盘阵列的成本较高,并且磁盘阵列技术并不成熟,所以开始时RAID方案主要针对SCSI硬盘系统,多用于服务器或者银行等对硬盘容量和性能要求较高的行业。

1993年,HighPoint公司推出了第一款IDE-RAID控制芯片,能够利用相对廉价的IDE 硬盘来组建RAID系统,从而大大降低了RAID的“门槛”。从此,个人用户也开始关注这项技术,因为随着计算机各个配件技术的迅猛发展,硬盘已经慢慢成为发展最为“缓慢”和最缺少安全性的设备,而用户存储在其中的数据却常常远超计算机的本身价格。在花费相对较少的情况下,RAID技术可以使个人用户也享受到成倍的磁盘速度提升和更高的数据安全性。

90年代中期以后随着互联网和计算机技术的高速发展,网络用户的数据量急剧上升,虽然硬盘的容量越来越大、存取速度不断加快,但对于某些用户,如电视台的计算机播出系统、证券交易等,传统的直接硬盘存储方式已难以满足它们对海量数据存储的需要,更无法确保数据的一致性、安全性、可靠性以及数据的可管理性。因此,磁盘阵列技术和产品大量的涌现并最终走向了个人用户。

定义及技术介绍

磁盘阵列是指将多个类型、容量、接口,甚至品牌一致的专用硬盘或普通硬盘连成一个阵列,实现以某种快速、准确和安全的方式来读写磁盘数据,从而达到提高数据读写速度和安全性的一种手段。其最大特点是数据存取速度特别快,可提高网络数据的可用性及存储容量,并将数据有选择性地分布在多个磁盘上,从而提高整个网络系统的数据吞吐量。现在个人电脑市场上的IDE-RAID控制芯片主要出自HighPoint和Promise公司,此外还有一部分来自AMI公司。

磁盘阵列所利用的技术基础是RAID技术。RAID是Redundant Array of Inexpensive Disk的缩写,意为廉价冗余磁盘阵列。它主要包含RAID 0~RAID 7等数个规范,它们的侧重点各不相同,常见的规范有如下几种:

RAID 0:RAID 0连续以位或字节为单位分割数据,并行读/写于多个磁盘上,因此具有很高的数据传输率,但它没有数据冗余,因此并不能算是真正的RAID结构。RAID 0只是单纯地提高性能,并没有为数据的可靠性提供保证,而且其中的一个磁盘失效将影响到所有数据。因此,RAID 0不能应用于数据安全性要求高的场合。

RAID 1:它是通过磁盘数据镜像实现数据冗余,在成对的独立磁盘上产生互为备份的数据。当原始数据繁忙时,可直接从镜像拷贝中读取数据,因此RAID 1可以提高读取性能。RAID 1是磁盘阵列中单位成本最高的,但提供了很高的数据安全性和可用性。当一个磁盘失效时,系统可以自动切换到镜像磁盘上读写,而不需要重组失效的数据。

RAID 0+1: 也被称为RAID 10标准,实际是将RAID 0和RAID 1标准结合的产物,在连续地以位或字节为单位分割数据并且并行读/写多个磁盘的同时,为每一块磁盘作磁盘镜像进行冗余。它的优点是同时拥有RAID 0的超凡速度和RAID 1的数据高可靠性,但是CPU 占用率同样也更高,而且磁盘的利用率比较低。

智能虚拟带库提高备份性能信息数据量的日益庞大使传统数据备份介质已经受到激烈的挑战,备份窗口的长度已不能适应企业对备份系统的要求。

另一方面,技术的日益更新,磁盘的价格也在不断的走低,磁盘与磁带的价格差变得不是很明显,这些变化使利用快速磁盘作为备份介质成为可能。

将磁盘做为备份介质是传统备份系统的一次革新,解决了传统备份系统的备份窗口(速度)、机械故障、共享、维护等无法满足应用需求的问题。

这是因为虚拟磁带库对于其它系统来说,就像真实的、自动化的物理磁带库/机设备一样,差别仅是数据存储在磁盘上。这样,大多数数据中心都会明显的感受到备份比传统方式进行的更

快。

基于磁盘备份

方式的分类

利用磁盘来加速数据备份并避免传统备份介质的缺点,达到了真正意义上的备份系统的革新,取代了数据存储起始阶段的基于磁带备份的机制。

根据备份最终目的不同以及最终备份数据的备份机制不同,可以分为如下几类基于磁盘备份的虚拟磁带库应用:

◆基于文件系统的虚拟磁带库备份

◆基于虚拟磁带库的备份

◆基于虚拟磁带库及自动归档的备份

基于文件系统的

虚拟磁带库备份

基于文件系统的备份使用JBOD、磁盘阵列或NAS等存储设备上的文件系统作为主备份目标器,即在文件系统上生成一个文件以虚拟其磁带库,这种方法可以看作为D2D(磁盘到磁盘)的备份。

这种模式只能简单地替代磁带作为备份介质存储备份数据,备份软件在卷一级上虚拟出磁带库,使备份服务器对其进行读写操作。

因为在某些行业中,备份的数据还需要保存一定的时间期限。因此,还需有第二步操作:将备份到虚拟带库中的数据迁移到物理带库中,即D2T(磁盘到磁带)。如图1:

图1

优点:

◆直接可以备份或恢复文件,无需等待机械手或驱动器加载/卸下磁带。

◆备份的速度得以提高,备份软件以顺序的方式将数据写入磁盘,不会受到磁带驱动备份速率的影响。

◆备份到磁盘不存在磁带机所需的机械手维护、磁头清洗等操作。

缺点:

◆将磁盘阵列或NAS作为备份解决方案前必须要考虑传统磁盘存储与备份软件的兼容问题,如VERITAS、Legato、CA等。尽管它们在适合的时候能够将数据写入到磁带中,但不能在一个卷写满后自动跨越到另外一个卷中,因为传统的文件系统最大容量为2TB。

◆当磁盘卷写满时,备份任务就会被停止,而且备份时磁盘不能和磁带一样提供“in Box”的压缩功能。

◆文件系统的方式会增加备份服务器的负载,在长期备份中存在出现大量碎片的可能,降低了备份的效率。

基于虚拟磁带库的备份

这种方法是将磁盘与仿真软件结合起来,将磁盘虚拟成磁带库,使备份服务器对此磁盘的操作如同操作一个磁带库一样,使磁盘代替磁带作为第一次备份操作中存储数据的设备,这就是利用磁带库仿真软件将磁盘虚拟成磁带库的另外一种应用(VTL)。

备份的数据存储到虚拟带库后,如果要长时间保留备份的数据,备份软件则通过自身拷贝或克隆的方法将数据转存到物理的磁带中。(如图2)

图2

因为数据从VTL到磁带的过程都是通过备份软件操作的,这在一定程度上增加了备份服务器的数据传输压力。

优点:

◆基于磁盘的备份提高了备份性能,而且不会改变原有备份环境。

◆虚拟带库能够跨越磁盘进行数据存储,不会受到磁盘卷大小的限制。

◆虚拟带库可以多次删除或写入文件到磁盘中,避免了出现碎片的情况。

缺点:

◆需要对备份软件进行配置,或将备份软件升级到某一相应版本,以支持将备份的数据从虚拟带库中拷贝到物理带库。

基于虚拟磁带库及

自动归档的备份

图3所示的是虚拟带库的另外一种应用。利用VTL厂商提供的功能,将数据直接从VTL设备拷贝到物理磁带中,这种方法因为数据从虚拟带库到物理带库的过程中不经过备份服务器,因此备份软件无需具有数据搬迁的功能,也不参与数据搬迁的过程。

图3

图中这种D2D2T(磁盘到磁盘到磁带)的虚拟磁带库应用可以有效减少备份窗口并加速数据恢复,同时也无需备份软件有数据搬迁功能。

优点:

◆此种D2D2T的虚拟带库应用可以无缝集成到现有备份环境中,原有备份任务及策略无需改动,如同VTL就是原来连接的物理磁带库一样。

VTL解决方案

美国飞康软件公司的虚拟带库软件正是属于第三类应用的一款虚拟带库(VTL)软件解决方案,由该公司IPStor企业版软件作为核心,能够对备份资源进行整合管理,并增强备份操作的可靠性,加快恢复速度。

VTL解决方案可将基于行业标准的高速磁盘仿真为虚拟磁带机/磁带库供给iSCSI/IP 或FC SAN架构上的备份服务器。

飞康软件公司的VTL软件解决方案能够支持市场中主流的磁带机、磁带库及经过资质认证

的由SONY、HP、Legato、VERITAS等厂商提供的备份软件。

它可以通过基于IP的增量复制提供集中化管理,也可按照策略在对等或由多到一的环境中,通过IP网络复制虚拟磁带匣。

飞康公司新版VTL新增

功能选项

◆全双工故障切换选项:可将两个VTL专用管理器配置成为双活机群(HA),通过其故障切换和故障回复功能消除单点故障(SPOF),提高可用性。

◆IBM 3494磁带库支持选项:使VTL专用管理器可以连接到IBM 3494 磁带库并对从物理磁带中导出或导入虚拟磁带进行管理。

◆IBM iSeries支持选项:支持IBM iSeries 和AS/400 系统连接到VTL专用管理器。

◆基于主机备份的选项:允许将被认证的备份软件直接安装到VTL专用管理器上,消除了对专用服务器的需求。

◆NDMP 备份支持选项:允许被认证的备份软件和基于行业标准的NAS设备,利用NDMP 协议通过IP网络执行备份和恢复。

三步体验降低成本的增强型备份系统为了提高系统的备份性能,降低备份窗口的长度以及用户对于备份设备如磁带库、磁带机和备份介质的大量投入,昆腾推出了基于磁盘的增强型备份系统(EBS)—DX100和PX720。

昆腾所提供的的DX100和PX720增强型备份系统解决方案整个项目的部署执行需要经历以下三个步骤(下文中测试数据由昆腾提供):

步骤1:性能和可靠性

测试

在安装DX100之后,用户首先将部分备份任务移到新的平台上,并将备份目标从旧磁带库转移到DX100。在随后执行的备份操作中,备份任务在DX100上执行的性能会比磁带明显提高。

步骤1

在恢复测试中,采用从10个不同的备份任务中读取数据的方式。因为采用了磁盘方式,DX100能够从存储阵列中直接提供读取路径,而磁带库因为需要先装载并定位磁带介质,而后才能以磁带的速度传输数据,因此需要较长的时间才能完成。

阶段1的最后一步是测试备份的可靠性。测试人员选择在最近一次备份中执行失败的磁带,强迫DX100不仅需要备份数据,同时还要写入磁带。备份任务需要在失败发生前将数据通过磁带写至介质结尾。

测试时由DX100执行备份任务,备份应用确认数据成功地被写入磁盘,并且没有错过备份窗口。作为后台操作,DX100通过VERITAS应用中的标准介质转移功能,将备份写入“已坏”的介质。磁带写操作失败后,数据被转移到另外一个磁带上完成了备份。

这一测试表明,通过自动转移错过备份窗口的磁带机或介质错误的威胁,满足用户对于备份可靠性的要求。

步骤2:改进架构环境

在第二阶段,额外部署的DX100和PX720将与原有的存储解决方案协同工作。

步骤2

在这个阶段中,用户可以体会到更多的性能改善,以及由磁带中运行更少的备份所带来的介质成本降低。随着新购进磁带数量的减少,用户也减少了用于介质管理的额外开支。

同时,这样的解决方案也减少了用户对于磁带库与磁带机的投入,降低了初始硬件购买量和购买ISV软件许可的成本,还包括每年硬件的维护服务成本、物理介质的成本和连接主干交换机的成本。

步骤3:整合原有

低容量磁带

因为用户仍有大量数据需要采取磁带方式进行存储,新磁带的购买会带来大量的成本投入。在这一阶段中,用户应首先对现有存储磁带进行分析,并对每月将增长的磁带数量进行预估。

随后,用户可以通过一些存储管理软件,如VERITAS NetBackup软件中的标准介质拷贝功能,将原有磁带整合成Super DLTtape介质,提高单一介质存储容量。

其次,通过将DX100整合到现有存储网络中,通过大容量的磁盘备份降低对于新存储介质的需求。

介质成本的节省是昆腾增强型备份系统特色之一,而且在每一个阶段执行过程中,用户都可以体会出该解决方案在操作和成本节省上的优势。

EBS的优势

无需改变

不同于D2D解决方案,EBS无需改变任何备份策略,很容易部署到现有的SAN环境中。EBS的安装操作无须特殊的过程和技术,客户只要凭借一般的数据保护应用集成经验,就可以应用。

节省成本

EBS系统从三个方面节省了成本:减少了磁带库的槽位数量和磁带机的数量,减少了ISV 软件许可成本(取决于磁磁带库的大小),减少了用于数据保护应用的介质。

备份性能

备份应用提供商花费了多年的时间优化磁带备份,以实现在同一个磁带库上运行多个数据流,通过SAN设备备份数据以及在SAN中共享设备,控制数据传输率以匹配磁带性能,并且采取了很多其它的优化技术。

EBS系统直接提供了提高性能的工具,且无须改变任何备份应用,这意味着它在性能和其它基于磁盘的备份应用上均优于磁带。

执行的可靠性

基于磁盘的备份避免了磁带备份方式的一些风险。磁带介质所引起的错误得以消除。

兼容性问题

EBS与数据保护类的ISV应用软件兼容,因为EBS的操作如同磁带,而非磁盘。用户可以将EBS系统集成到诸如VERITAS SAN共享存储管理软件中,保证软件间的互操作性。NetVault+RAID=虚拟带库

随着信息时代的数据爆炸增长,越来越多的企业开始关心数据的存储和备份。面对市面上各种各样的备份软件和存储设备,如何选择合适又经济的备份解决方案是各企业所面临的严峻问题。Bakbone和太科集团整合了NetVault和RAID,希望用低成本的实现方式为中大容量数据需求的用户提供最佳的存储及备份解决方案。NetVault和RAID整合形成的虚拟磁带库解决方案,尤其适合于电信、金融、保险每天有很大的数据流量,而这些数据又是需要经常访问的用户。

[b]

简单的结合

[/b]

在这个解决方案中,主要利用了RAID的大容量和NetVault的虚拟带库功能。NetVault的虚拟带库功能可以将大容量的RAID虚拟成实际的磁带库模式进行管理和操作。用户可以将数据备份到这些RAID 上去,但不妨碍业务的操作,就像在本地硬盘上操作一样,从而可以有效地保护用户的数据。同时,用户还可以在业务不进行的时候,将RAID上的数据备份到真正的磁带上,使数据的安全性得到进一步的加强,同时不影响应用服务器的工作。NetVault软件可以运行在现有的大多数操作系统。

[img][/img]

虚拟带库的工作原理图

首先,虚拟磁带库应用了大容量、高容错性的磁盘阵列。因为磁盘阵列是很多个硬盘的集合,所以它实际上是一个大的硬盘,对于有很大数据流量的企业来讲,RAID是一个理想的选择。同时,不同规格的RAID也使用户可以根据自己的需求选择最符合自己安全需求的产品。因为用户的业务量很大,所以就可以将这些需要实时操作的大容量的数据通过NetVault暂时先写入到RAID上进行保存,从而实现即时访问。

其次,专业的存储备份管理软件。Bakbone作为一家专业的存储备份解决方案提供商,其提供的NetVault是一套真正模块化架构的备份管理软件。通过简单的图形用户界面就可以对各项工作进行操作。而且可以根据用户的需求,自动提交各项备份任务,从而减少用户的工作量,提高用户的工作效率,节约成本,并保护有用的数据信息。因为NetVault具有虚拟带库的特性,可以将磁盘直接作为备份的工具,将正在进行的业务数据进行存储,而不妨碍业务的进程,其速度能达到68MB/s,大大快于将数据直接备份到磁带设备上。而且,为了将数据能更加安全地保护起来,NetVault的虚拟带库的功能还可以将存储到磁盘上的数据直接备份到磁带设备上,这样不但不影响业务的进行,而且也可以使重要的数据得到更有效的保护。

此外,可以长久保存数据的磁带库。存储在磁盘阵列上的数据,如果要进行长久的保存,可以将其上面的数据直接转移到带库的磁带上去。因为磁盘阵列的容量是有限的,而且磁盘介质的保存也不是很稳定,所以用户需要将磁盘阵列上的数据直接迁移到磁带上,这样可以节约占用系统的时间。而且,利用磁带的备份可以将数据进行更好的保护,和长时间的保存,这样数据的安全性就可以更好。

[b]

高性价比的应用

[/b]

如图所示,用户搭建虚拟带库的工作是这样完成的:将RAID所在的系统上安装NetVault备份管理软件,接着安装NetVault虚拟带库的插件。安装完虚拟带库的插件以后,就可以在RAID上根据磁盘的大小和用户的实际需求创建相应的虚拟带库。也就是将磁盘虚拟成带库的形式,设置相应的驱动器、槽位以及每个介质的容量,并且可以按照像真正的带库那样进行管理和操作。这样,用户可以将网络上需要保护的数据通过NetVault备份到RAID上,并在备份窗口将需要的数据备份到已经建立的虚拟磁带库上。如果用户还想在业务空闲的时间里将RAID上的数据备份到真正的磁带上去,就可以在备份窗口中Option 选项中的Duplicate子选项中进行选择即可,此时数据可由RAID上直接导入到相连接的磁带上,当然用户也可以设置计划,在规定的时间里将数据备份到磁带上。通过简单的图形用户界面,可以由NetVault 自动完成各项工作。此外,用户还可以根据自己的需求更改虚拟带库的大小和形式,使之更适合于用户的需求。

在这个虚拟带库的应用中,用户可以获得下面的好处。首先,数据取用快捷方便。因为数据是存储在磁盘阵列上的,所以在对这些数据进行操作的时候,效率就会很高,就和用户在自己的硬盘上进行操作时一样,并可以保证数据的一致性、完整性。

其次,在进行备份时,先将数据存储到磁盘阵列上,再将盘阵上的数据备份到磁带上去。这样做的好处是:一方面,数据可以很快速地从盘阵转移到磁带上,从而减少系统的占用。另一方面,可以制定策略在一个时间里进行备份,简化备份工作。

最后,管理的统一性。因为使用专门的备份服务器,所以用户在进行网络备份时,可以对客户端上的数据存储和备份通过NetVault简单、全面、实用的图形用户界面进行集中的管理,可以在有错的情况下,很容易侦错、纠错。

磁带库

磁带是所有存储媒体中单位存储信息成本最低、容量最大、标准化程度最高的常用存储介质之一。它互换

性好、易于保存,近年来,因为采用了具有高纠错能力的编码技术和即写即读的通道技术,大大提高了磁带存储的可靠性和读写速度。根据读写磁带的工作原理可分为螺旋扫描技术、线性记录(数据流)技术、DLT技术以及比较先进的LTO技术。

根据读写磁带的工作原理,磁带机可以分为六种规格。其中两种采用螺旋扫描读写方式的是面向工作组级的DAT(4mm)磁带机和面向部门级的8mm磁带机,另外四种则是选用数据流存储技术设计的设备,它们分别是采用单磁头读写方式、磁带宽度为1/4英寸、面向低端应用的Travan和DC系列,以及采用多磁头读写方式、磁带宽度均为1/2英寸、面向高端应用的DLT和IBM的3480/3490/3590系列等。

磁带库是基于磁带的备份系统,它能够提供同样的基本自动备份和数据恢复功能,但同时具有更先进的技术特点。它的存储容量可达到数百PB,可以实现连续备份、自动搜索磁带,也可以在驱动管理软件控制下实现智能恢复、实时监控和统计,整个数据存储备份过程完全摆脱了人工干涉。

磁带库不仅数据存储量大得多,而且在备份效率和人工占用方面拥有无可比拟的优势。在网络系统中,磁带库通过SAN(Storage Area Network,存储区域网络)系统可形成网络存储系统,为企业存储提供有力保障,很容易完成远程数据访问、数据存储备份或通过磁带镜像技术实现多磁带库备份,无疑是数据仓库、ERP等大型网络应用的良好存储设备。

虚拟带库已经产生很长一段时间了,它在整个存储架构中处于某些产品之间的补充位置。但是,最近听到这样一种观点:虚拟带库将取代带库。笔者认为此观点值得商榷。

虚拟带库原理

虚拟带库最初的产生是在大型机领域,主要是因为传统磁带备份的某些局限性造成的:备份速度低、各种机械故障以及复杂的维护工作等。后来,此项技术被应用到开放系统领域。

虚拟带库的主要应用领域是使用大型磁带库做数据保护或者归档的用户,作为磁带库的前端用以提高系统性能(备份与恢复效率同时提高)。以前的情况是“D2T(Disk to Tape)”,现在变成了“D2D2T(Disk to Disk to T ape)”,而从用户感受的角度来看,仍然是“D2T”。

为何要模拟磁带?

曾经有位读者提出这样一个问题:既然是高性能的磁盘数据管理与较低性能的磁带备份之间的缓冲设备,为什么不采用数据复制的方式将数据直接拷贝到中间设备中呢?也就是说,当这种磁盘备份产品出现时,为什么还要把这个中间设备模拟成磁带库的形式呢?

为了弄清这个问题,我们需要详细分析一下典型存储应用过程中,数据从数据管理设备到数据保护设备的“运行”轨迹。当数据从用户的业务应用系统中产生后,首先存放在数据管理设备中,比如高端磁盘阵列或者NAS(网络附加存储)设备中,此时数据仍然会被经常调用,而当数据访问频率下降且数据量巨大时,需要把它们存储到数据保护设备中,最常见的是磁带库(还有光盘库等)。数据从数据管理设备迁移到数据保护设备的过程,需要复杂的数据管理软件,不仅要管理数据备份、数据恢复过程,还要根据不同的应用需求制定相应的策略。

当磁盘备份产品刚刚产生时,需要尽可能地利用原有各种软件管理产品,还需要利用用户长期形成的购买习惯——在整个存储系统中需要有数据管理设备和数据保护设备,两者缺一不可。

因此,虚拟磁带库通过存储虚拟化技术把一个磁盘存储系统完全模拟成了一个磁带库,包括磁带库机械臂、磁带驱动器、各种类型的磁带以及容量。虚拟磁带库的主要含义是,直接利用现有备份软件的所有强大管理功能。

“虚”与“实”的竞争

虚拟带库与传统磁带库的竞争其实是磁盘与磁带技术的竞争。磁盘的主要优势是高性

能、容易管理,劣势是在线设备有丢失数据的风险;磁带的主要优势是价格低廉,离线介质提高安全性,劣势是性能较低。

所以,目前来讲,虚拟带库仍然是数据管理与数据保护设备之间的缓冲设备,它与传统磁带库是优势互补的合作而非竞争关系。如果虚拟带库取代带库的话,那就直接使用磁盘备份好了,又何必花力气去模仿带库呢?那就变成了用磁盘的劣势去与磁带的优势竞争了。

另外,当我们分析这样一种观点的产生原因时还应该考虑到某些厂商的市场宣传策略。持这种观点的主要拥护者,其一是EMC,其二是中低端磁盘厂商。尽管两者的情况有些不同,但是有一个共同点就是它们都是磁盘厂商。

前者本来没有磁带业务,因此,前些时候便一直宣传“磁带灭亡论”,可是,通过前面的分析,磁带的有些优势是其他介质所无法代替的。因此在刚刚过去的几年,磁带不但没有灭亡,而且在稳步增长(尽管与磁盘领域的增长相比略低),它便重新调整了磁带业务,就在前不久,便有其对某知名带库厂商收购传闻,然而种种原因未果,最后达成了与ADIC的战略伙伴关系。因为没有自己的产品,对磁带业务的重视程度显然不够,那么它提出虚拟带库代替带库的观点就容易理解了。

至于中低端磁盘厂商,大都没有磁带库产品,当用户需要数据保护解决方案时,他们便拿出虚拟带库,虽然有一定优势,价格也比较低廉,但是仅仅通过磁盘方案来解决所有数据保护问题显然是不够的

磁盘阵列基础知识

奇偶校验(XOR)条带存储,两个分布式存储的校验数据,数据条带存储单位为块。 与RAID 5相比,RAID 6增加了第二个独立的奇偶校验信息块。两个独立的奇偶系统使用不同的算法,数据的可靠性非常高,即使两块磁盘同时失效也不会影响数据的使用。但RAID 6需要分配给奇偶校验信息更大的磁盘空间,相对于RAID 5有更大的“写损失”,因此“写性能”非常差。较差的性能和复杂的实施方式使得RAID 6很少得到实际应用。RAID7 这是一种新的RAID标准,其自身带有智能化实时操作系统和用于存储管理的软件工具,可完全独立于主机运行,不占用主机CPU资源。RAID 7可以看作是一种存储计算机(Storage Computer),它与其他RAID标准有明显区别。 RAID 7等级是至今为止,理论上性能最高的RAID模式,因为它从组建方式上就已经和以往的方式有了重大的不同。基本成形式见图,以往一个硬盘是一个组成阵列的“柱子”,而在RAID 7中,多个硬盘组成一个“柱子”,它们都有各自的通道,也正因为如此,你可以把这个图分解成一个个硬盘连接在主通道上,只是比以前的等级更为细分了。这样做的好处就是在读/写某一区域的数据时,可以迅速定位,而不会因为以往因单个硬盘的限制同一时间只能访问该数据区的一部分,在RAID 7中,以前的单个硬盘相当于分割成多个独立的硬盘,有自己的读写通道。 工程中常用的RAID方式是RAID10和RAID5。 下面分别介绍RAID10和RAID01的区别;以及RAID10和RAID5的区别。 RAID10和RAID01的比较 RAID10是先做镜象,然后再做条带。

RAID01则是先做条带,然后再做镜象。 比如以6个盘为例,RAID10就是先将盘分成3组镜象,然后再对这3个RAID1做条带。RAID01则是先利用3块盘做RAID0,然后将另外3块盘做为RAID0的镜象。 下面以4块盘为例来介绍安全性方面的差别: 1、RAID10的情况 这种情况中,我们假设当DISK0损坏时,在剩下的3块盘中,只有当DISK1一个盘发生故障时,才会导致整个RAID失效,我们可简单计算故障率为1/3。 2、RAID01的情况 这种情况下,我们仍然假设DISK0损坏,这时左边的条带将无法读取。在剩下的3块盘中,只要DISK2,DISK3两个盘中任何一个损坏,都会导致整个RAID失效,我们可简单计算故障率为2/3。 因此RAID10比RAID01在安全性方面要强。 从数据存储的逻辑位置来看,在正常的情况下RAID01和RAID10是完全一样的,而且每一个读写操作所产生的IO数量也是一样的,所以在读写性能上两者没什么区别。而当有磁盘出现故障时,比如前面假设的DISK0损坏时,我们也可以发现,这两种情况下,在读的性能上面也将不同,RAID10的读性能将优于RAID01。 RAID10和RAID5的比较 为了方便对比,这里拿同样多驱动器的磁盘来做对比,RAID5选择3D+1P的RAID方案,RAID10选择2D+2D的RAID方案,如图:

IBM5110阵列卡操作手册

1.1 查看/更改控制器属性 依照以下步骤查看和更改控制器属性。 1.单击WebBIOS主界面中的“Controller Selection”,显示当前控制器信息。 说明: 控制器信息分布在两个页面上,可通过单击“Next”和“Back”进行切换。 图2-42 控制器信息界面 2.在控制器信息的第二个页面单击“Next”进入控制器属性界面,如图2-43所示。 说明:

1.控制器属性分布在两个页面上,可通过单击“Next”和“Back”进行 切换。 2.通过“Link Speed”项可进行链路速率设置,如图2-44所示。 图2-43 控制器属性界面 图2-44 设置链路速率

对控制器属性进行设置后,可以单击“Submit”保存设置,或单击“Reset”返回默认值。 1.2 查看/更改虚拟磁盘属性 1.单击WebBIOS主界面中的“Virtual Drives”进入虚拟磁盘选项界 面,如图2-45所示。 图2-45 虚拟磁盘选项界面 选择“Properties”进入虚拟磁盘属性界面,如图2-46所示。 图2-46 虚拟磁盘属性界面

1.在“Properties”信息框中列出了虚拟磁盘的RAID 等级、状态、容量、条带尺寸等信息。 2.在“Policies”信息框中类列出了存储配置创建时设定的虚拟 磁盘配置策略。 3.在“Operations”信息框中列出了允许对虚拟磁盘进行的操作。 在“Operations”信息框中选择要执行的操作,单击“Go”执行。具体选择项介绍如下: 注意: 请在更改虚拟磁盘配置之前确认虚拟磁盘上的数据已经做好备份。 0.Virtual Drive Erase:擦除虚拟硬盘中所有用户自定义信息, 有Simple、Normal和Thorough三种方式。 1.Delete:删除虚拟硬盘。 2.Locate:使能当前虚拟硬盘对应的实际物理硬盘的LED灯,并 闪烁。本功能只在硬盘已被正确安装在硬盘托架中,并支持SA FTE时可用。

网络存储试题和答案解析

1、下列典型行业应用对存储的需求,正确的是( C ) A.WEB应用不包括对数据库的访问 B.WEB应用是大数据块的读取居多 C.系统的数据特点介于数据库和普通文件二者之间,用户等信息属于数据库操作,但是每个用户的又是按照文件组织的 D.视频点播系统要求比较高的IOPS,但对存储带宽的稳定性要求不高 2、对于存储系统性能调优说确的是:( C ) A. 必须在线业务下进行调优 B. 存储系统的调优可以与主机单独进行,应为两者性能互不影响 C. 存储系统的性能调优属于系统性调优,需要了解客户IO模型、业务大小、服务器资 源利用和存储侧资源利用综合分析,对于存储侧重点关注RAID级别,分条深度, LUN映射给主机的分布情况等 D. 以上都不正确 3、不具备扩展性的存储架构有( A ) A. DAS B. NAS C. SAN D. IP SAN 4、DAS代表的意思是( D )direct access s A. 两个异步的存储 B. 数据归档软件 C. 连接一个可选的存储 D. 直连存储 5、哪种应用更适合采用大缓存块?( A ) A. 视频流媒体 B. 数据库 C. 文件系统 D. 数据仓库 6、衡量一个系统可靠性常见时间指标有哪些?( CD ) A. 可靠度 B. 有效率 C. 平均失效时间 D. 平均无故障时间 7、主机访问存储的主要模式包括( ABC ) A. NAS B. SAN C. DAS D. NFS 8、群集技术适用于以下场合:( ABCD ) A. 大规模计算如基因数据的分析、气象预报、石油勘探需要极高的计算性 B. 应用规模的发展使单个服务器难以承担负载 C. 不断增长的需求需要硬件有灵活的可扩展性 D. 关键性的业务需要可靠的容错机制 9、常见数据访问的级别有( AD ) A.文件级(file level) B.异构级(NFS level) C.通用级(UFS level) D.块级(block level) 10、常用的存储设备介质包括( ABC ) A. 硬盘 B. 磁带 C. 光盘 D. 软盘 11、常用的存储设备包括( ABCD) A. 磁盘阵列 B. 磁带机 C. 磁带库 D. 虚拟磁带库 12、存储网络的类别包括( ABC ) A. DAS B. NAS C. SAN D. Ethernet 13、常用数据备份方式包括( ACD ) A. D2D B. D2T2D C. D2D2T D. D2T 14、为了解决同位(为)检查码技术的缺陷而产生的一种存纠错技术是( D ) A. Chipkill B. 热插拔 C. S.M.A.R.T D. Advanced ECC Memory 15、以下不是智能网卡的主要特点是( D ) A. 节能降耗 B. 降低TCO C. 数据更安全 D. 可作为主机总线适配器HBA使用

虚拟带库与物理磁带库对比

虚拟带库与物理磁带库的对比 一数据读写性能 物理磁带库 物理磁带库的整体性能有磁带驱动器数量及磁带驱动器支持的标准决定 虚拟磁带库: 由于采用虚拟化技术,虽然备份软件会发现虚拟磁带库中有若干磁带机,但是执行备份或者数据恢复的时候性能超过磁带机。因此虚拟磁带库的性能不是由仿真的磁带机标准决定而是由控制系统和后端的磁带系统决定。 二数据可靠性 物理磁带库: 除非采用磁带clone的方式,否则由于磁带损坏会导致数据的丢失。 虚拟机磁带库: 后端采用raid技术,磁盘损坏不影响储存的数据,因此安全性更好。 三保密性 物理磁带库: 磁带采用专用数据格式储存数据,并且可以把磁带移出磁带库异地保存,因此具有更高的安全性 虚拟机磁带库: 虚拟磁带库产品有两类,一类是真正虚拟磁带,一类是用文件系统中的文件来储存磁带格式的文件。对于第一类产品除了不能出库以外具有跟物理磁带库同样的安全性,第二类产品由于存在文件系统就可能被病毒或者认为破坏 四数据可恢复性 物理磁带库 磁带存储由于磁带磁粉脱落、粘连、消磁、磁头沾污等原因会再需要恢复数据时无法获得数据,因此磁带的可恢复性不是100%

虚拟磁带库: 虚拟磁带库采用磁盘阵列存储数据,有raid保护,因此可以说虚拟磁带库具有100%的数据可恢复性 五系统可靠性 物理磁带库: 由于磁带库中的大量的机械部件,并且要求机械运动精度相当的高,所以磁带库本身系统可靠性就不会很高 虚拟磁带库: 虚拟磁带系统唯一有机械部件的就是磁盘,但是采用了raid方式进行数据冗余存储,因为虚拟磁带库比物理磁带库的可靠性要高出许多 六容量 物理磁带库: 容量非常大 虚拟磁带库: 受磁盘系统的容量限制,一般最大不过几十TB 七管理 物理磁带库: 物理磁带库基本上都带有图形化管理界面,并且通过一个界面就可以管理整个磁带库系统,包括机械手,磁带机等 虚拟磁带库: 虚拟带库有两类:一类是真正意义上的产品,通过唯一界面管理系统。另外一类属于解决方案,也就是使用专用服务器,操作系统,虚拟磁带库软件和磁盘阵列搭建虚拟磁带库系统,此类方案会造成非常复杂的管理,并且容易引起由于管理不当造成的数据丢失。 八软件兼容性 物理磁带库: 磁带库基本上各种备份软件都支持,并且很多备份软件的高级特点如multipexing,synthetic backup都支持物理磁带库

TS7650虚拟带库安装配置步骤

TS7650虚拟带库系统安装配置步骤

目录 (一) TS7650安装配置步骤 (3) 1)安装ProtecTier Manager客户端 (3) 2)配置第一个Node (6) 1. 安装定制的RedHat Linux (6) 2. 拷贝I.B.M虚拟带库软件到该Node的本地硬盘 (7) 3. 更新cman rpm包到光盘所带的最新版 (7) 4. 安装ProtecTIER rpm (7) 5. 安装RAS 相关rpm (8) (安装流程与上面类似,过程略) (8) 6. 配置ProtecTIER Cluster的第一个节点 (8) 7. 配置创建Repository的必须资源 (10) 8. 完成第一个Node安装并验证 (11) 3)配置第二个Node (17) 1. 重复执行第一个Node上执行过的第1-3步 (17) 2. 关闭第一个节点的服务 (17) 3. 把第2个节点加入集群 (17) 把第2个节点的机器启动起来,执行以下步骤:# menu (17) 4. 验证两个Node的Cluster配置 (19) 4)创建虚拟带库及虚拟磁带 (19)

(一)TS7650安装配置步骤 1)安装ProtecTier Manager客户端 选择从CD或者其他安装介质安装ProtecTier Manager客户端,安装过程如下: 点击next进入下一步:

继续下一步:

选择相应的安装目录,进入下一步: 建立需要的快捷方式,进入下一步:

确认以上信息,开始安装: 安装ProtecTier Manager结束。 2)配置第一个Node 1.安装定制的RedHat Linux 将TS7650G 第一个Node(可以自行定义)开机,把System Recovery DVD放入光驱,在下图所示的提示符输入linux ks=cdrom,开始安装RedHat Linux,根据提示输入几次YES,并按回车,直到安装结束后系统自动重启,自检过程中取出光盘,系统将启动安装好的RedHat Linux。

LSI RAID配置手册

适用于Perc3/SC/DC/QC Perc4/DC/DI Perc4E/DI/DC 使用新配置(文档中的配置方法仅供参考) 配置热备(hotspare)请点击这里 https://www.360docs.net/doc/6b7588982.html,/cn/zh/forum/thread.asp?fid=19&tid=31778 注意:对阵列以及硬盘操作可能会导致数据丢失,请在做任何操作之前,确认您的数据已经妥善备份!!! New Configuration(新配置)选项允许将逻辑驱动器与多个物理阵列相关联(阵列跨接)。注意:选择New Configuration(新配置)选项将擦除所选控制器上现有的配置信息。要使用跨接功能并保持现有的配置,应使用View/Add Configuration(查看/添加配置) 1.从Management Menu(管理菜单)中选择Configure(配置)。 2.选择Configure(配置)-> 这里建议选择view/add Configuration。如果是新配置,就选择new configuration. 阵列选择窗口显示与当前控制器相连接的设备。屏幕底部显示热键信息。

热键具有以下功能: 显示所选逻辑驱动器的驱动器数据和PERC4/Di错误计数。 显示已经配置的逻辑驱动器。 指定所选的驱动器为热备份。 显示逻辑驱动器配置屏幕。 3.按箭头键突出显示特定的物理驱动器。只有状态是READY的硬盘可以被选择,使用New Configuration会将所有的硬盘状态变为READY,所以原先的RAID信息以及数据都会丢失!!! 图中ID 3:PROC是RAID控制器本身。 4.按空格键将所选的物理驱动器与当前阵列相关联。 5.所选驱动器的指示灯从READY(就绪)更改为ONLINE(联机)A[阵列号]-[驱动器号]。例如,ONLINE(联机)A2-3表示阵列2中的磁盘驱动器3 。

磁盘阵列基础知识

基本的RAID介绍 RAID是英文Redundant Array of Independent Disks(独立磁盘冗余阵列),简称磁盘阵列。下面将各个级别的RAID介绍如下。 RAID0 条带化(Stripe)存储。理论上说,有N个磁盘组成的RAID0是单个磁盘读写速度的N 倍。RAID 0连续以位或字节为单位分割数据,并行读/写于多个磁盘上,因此具有很高的数据传输率,但它没有数据冗余,因此并不能算是真正的RAID结构。 RAID1 镜象(Mirror)存储。它是通过磁盘数据镜像实现数据冗余,在成对的独立磁盘上产生互为备份的数据。当原始数据繁忙时,可直接从镜像拷贝中读取数据,因此RAID 1可以提高读取性能。RAID 1是磁盘阵列中单位成本最高的,但提供了很高的数据安全性和可用性。当一个磁盘失效时,系统可以自动切换到镜像磁盘上读写,而不需要重组失效的数据。 RAID2 海明码(Hamming Code)校验条带存储。将数据条块化地分布于不同的硬盘上,条块单位为位或字节,使用称为海明码来提供错误检查及恢复。这种编码技术需要多个磁盘存放检查及恢复信息,使得RAID 2技术实施更复杂,因此在商业环境中很少使用。

RAID3 奇偶校验(XOR)条带存储,共享校验盘,数据条带存储单位为字节。它同RAID 2非常类似,都是将数据条块化分布于不同的硬盘上,区别在于RAID 3使用简单的奇偶校验,并用单块磁盘存放奇偶校验信息。如果一块磁盘失效,奇偶盘及其他数据盘可以重新产生数据;如果奇偶盘失效则不影响数据使用。RAID 3对于大量的连续数据可提供很好的传输率,但对于随机数据来说,奇偶盘会成为写操作的瓶颈。 RAID4 奇偶校验(XOR)条带存储,共享校验盘,数据条带存储单位为块。RAID 4同样也将数据条块化并分布于不同的磁盘上,但条块单位为块或记录。RAID 4使用一块磁盘作为奇偶校验盘,每次写操作都需要访问奇偶盘,这时奇偶校验盘会成为写操作的瓶颈,因此RAID 4在商业环境中也很少使用。 RAID5

磁带库备份方案与策略分析之虚拟磁带库备份方法

磁带库备份方案与策略分析之虚拟磁带库备份方法 随着磁盘成本的不断降低,利用磁盘作为备份介质的趋势已经越来越明显。作为间接磁盘备份设备,在后期维护上,由于减少了物理磁带库的诸多机械故障,其维护成本也更加低廉。更重要的是,VTL保持了物理磁带库的使用模式,在备份软件的支持下,逻辑上可以实现容量的无缝扩展。 一些用户误认为直接磁盘备份就是磁盘备份的普遍方式,和虚拟带库备份的效果是等同的。让我们浅析以下这两者的区别并通过一个实例来看看两种备份带来的不同结果: 直接磁盘备份常见问题 1、安全隐患 直接磁盘备份模式下,基于磁盘阵列的存储设备是以文件系统的方式出现在服务器上的,也可以被任何人访问,即使是无意的“DEL”(删除)操作也可以毁掉所有备份数据,这意味着系统管理员的误操作或者其他人的恶意删除都可以造成的数据丢失,病毒感染等诸多风险导致备份的数据无法恢复等。 2、性能瓶颈 首先,文件系统本身就可能是性能瓶颈,尤其在多任务、多进程状态下,文件系统很有可能成为整个备份系统的瓶颈。磁盘碎片会导致文件系统的性能逐渐下降,而且,当数据量比较大的时候,磁盘碎片的问题很难以解决。 另外,在一些备份软件的管理策略中,当备份到备份磁盘的数据达到迁移上限时,就会出现备份数据一边写入磁盘一边向磁带库迁移的状态。即使增加备份磁盘容量,备份速度仍然难以明显提升。 3、管理复杂、价格昂贵 传统备份软件是以磁带库作为备份目标。若要实现直接备份到磁盘,就需要在备份服务器或介质服务器上为备份磁盘阵列建立一个文件系统,才能够被备份软件识别。而一般的文件系统不能被多服务器共享, 这就是说,如果想象使用传统磁带库一样,就必须要在磁盘阵列上建立多个逻辑设备,然

Vistor虚拟带库安装及配置图文详解

Vistor虚拟带库安装及配置图文详解 来源:中国存储网2010-12-03 00:44 我要投稿 导读:Vistor虚拟带库的图文安装及配置介绍,以及Vistor搭建后,如何在备份服务器端安装驱动和iSCSI Initiator。 本文由中国存储网aladuo原创,转载请注明原文地址:Vistor虚拟带库安装及配置图文详解 Vistor简介: Vistor虚拟带库系统是cofio公司的一款虚拟带库软件解决方案,用来实现高性能的磁盘备份,同真实带库一样的磁带管理机制提高了管理效率。Vistor支持iscsi和FC,可以模拟多种型号的磁带库,允许创建多个不同的带库,支持NBU、Legato Networker、Bakbone等多款备份软件。 Vistor虚拟带库系统架构 两种方法搭建Vistor系统,一种是自建linux系统,下载Vistor的tgz压缩包,自己进行安装;另一种是下载其ViStor VMware Image镜像文件,配合VMvare软件实现快捷安装,Aladuo在此就是采用的第二种方式。 Vistor安装环境准备: VMware workstation 6.5 虚拟机1:来自Vistor官方网站下载的vmware image文件,实际是一个CentOS5.2的linux环境,已经集成了Vistor 2.1.1了。 虚拟机2:windows server 2003,for备份软件,装windows initiator的 Vistor安装及配置步骤 1、首先Vistor的官方注册一个用户https://www.360docs.net/doc/6b7588982.html,/Register/,激活后进入用户界面,左上方选ViStor Downloads,(注意,AIMstor是cofio公司的另外一个备份产品,跟Vistor不是一回事!)选择下载ViStor VMware Image,这个就是我们要的Vistor镜像文件了,大小239MB。 2、解压ViStor VMware Image这个下载压缩包,看到我们熟悉的vmware文件了,使用你的VMware workstation 6.5打开,默认看到其内存分配时1024M,磁盘空间最大是500GB。不用改,没这么多空间也不用改,只是一个最大值而已,回头可以设置Vistor里磁带库的磁带大小及数量来控制磁盘空间。 3、可以看到一个linux虚拟机系统(这就是咱们的虚拟机1了)启动,默认登录用户和密码是root/password。登录进去看一下系统和Vistor的安装情况,如图,Vistor已经安装在了/usr/cofio目录下了。

磁盘阵列各种RAID原理、磁盘使用率

磁盘阵列RAID原理、种类及性能优缺点对比 磁盘阵列(Redundant Arrays of Independent Disks,RAID) 1. 存储的数据一定分片; 2. 分基于软件的软RAID(如mdadm)和基于硬件的硬RAID(如RAID卡); 3. RAID卡如同网卡一样有集成板载的也有独立的(PCI-e),一般独立RAID卡性能相对较好,淘宝一搜便可看到他们的原形; 4. 现在基本上服务器都原生硬件支持几种常用的RAID; 5. 当然还有更加高大上的专用于存储的磁盘阵列柜产品,有专用存储技术,规格有如12/24/48盘一柜等,盘可选机械/固态,3.5/2.5寸等。

近来想建立一个私有云系统,涉及到安装使用一台网络存储服务器。对于服务器中硬盘的连接,选用哪种RAID模式能准确满足需求收集了资料,简单整理后记录如下: 一、RAID模式优缺点的简要介绍 目前被运用较多的RAID模式其优缺点大致是这样的: 1、RAID0模式 优点:在RAID 0状态下,存储数据被分割成两部分,分别存储在两块硬盘上,此时移动硬盘的理论存储速度是单块硬盘的2倍,实际容量等于两块硬盘中较小一块硬盘的容量的2倍。 缺点:任何一块硬盘发生故障,整个RAID上的数据将不可恢复。 备注:存储高清电影比较适合。 2、RAID1模式 优点:此模式下,两块硬盘互为镜像。当一个硬盘受损时,换上一块全新硬盘(大于或等于原硬盘容量)替代原硬盘即可自动恢复资料和继续使用,移动硬盘的实际容量等于较小一块硬盘的容量,存储速度与单块硬盘相同。RAID 1的优势在于任何一块硬盘出现故障是,所存储的数据都不会丢失。 缺点:该模式可使用的硬盘实际容量比较小,仅仅为两颗硬盘中最小硬盘的容量。 备注:非常重要的资料,如数据库,个人资料,是万无一失的存储方案。 3、RAID 0+1模式 RAID 0+1是磁盘分段及镜像的结合,采用2组RAID0的磁盘阵列互为镜像,它们之间又成为一个RAID1的阵列。硬盘使用率只有50%,但是提供最佳的速度及可靠度。 4、RAID 3模式

RAID详解-AMD篇

RAID详解-AMD篇 前言、RAID模式简介 RAID(Redundant Array of Independent Disks)若干个单独的硬盘组成一个逻辑的磁 盘。中文一般叫做磁盘阵列。 常见的RAID模式有5种:RAID 0,RAID 1,RAID 5,RAID 10,JBOD 1、RAID 0(串列)就是把2个(2个以上)硬盘串连在一起组成一个逻辑硬盘,容量是原来的2倍(或2倍以上)。向硬盘写入数据时,同时写入2个硬盘,每个硬盘写入一半,读出时也是从2个硬盘读取,所以速度比单个硬盘快。RAID0是提高硬盘速度。 2、RAID 1(镜像)就是把2个(2个以上)硬盘并连在一起组成一个逻辑硬盘,容量不变,一个硬盘是另一个硬盘的镜像。向硬盘写入数据时,同时写入2个硬盘,每个硬盘写入同样的数据,当一个硬盘有故障,另一个硬盘可以继续工作,更换故障硬盘后,便向新硬

盘复制数据,继续保持2个硬盘存储相同的数据。RAID1是保证数据安全。 3、RAID 5(交叉分布奇偶校验的串列)至少要3个硬盘组成,向硬盘写入数据的同时还写入数据的奇偶校验。速度与2个硬盘的RAID0一样,容量是2个硬盘之和,当其中一个硬盘有故障,更换硬盘后可以恢复这个硬盘的数据。RAID5是既提高速度又保护数据安全。 4、RAID 10(串列和镜像)至少要4个硬盘,就是每2个硬盘组成串列后再做镜像。RAID10的容量是2个硬盘容量之和,其中任何一个硬盘有故障,系统都可以正常工作,当更换硬

盘后就像这个硬盘恢复原来的数据。RAID0是既提高速度又保护数据安全。 5、JBOD严格说不是RAID,它是可以把不同容量的硬盘串连成一个大的逻辑盘,与RAID0

NBU物理带库机械手配置方法(AIX)

AIX下机械手配置方法 一、确定系统中磁带驱动器链接的HBA: # /usr/sbin/lsdev -C | grep I/O fscsi0 Available 10-68-01 FC SCSI I/O Controller Protocol Device fscsi1 Available 20-58-01 FC SCSI I/O Controller Protocol Device # /usr/sbin/lsdev -C -s scsi or # /usr/sbin/lsdev -C -s fcp rmt0 Available 10-68-01 Other FC SCSI Tape Drive rmt1 Available 10-68-01 Other FC SCSI Tape Drive rmt2 Available 10-68-01 Other FC SCSI Tape Drive rmt3 Available 10-68-01 Other FC SCSI Tape Drive rmt4 Available 10-68-01 Other FC SCSI Tape Drive rmt5 Available 10-68-01 Other FC SCSI Tape Drive 所有磁带机都连接到控制器 10-68-01,其控制器名称为 fscsi0。 二、确定机械手的SCSI ID和LUN ID: 要创建设备文件,必须知道 SCSI 地址,SCSI 地址由 SCSI ID 和逻辑单元号 (LUN) 组成。 一个库可能有多个磁带驱动器和多个机械手控制设备。通常 SCSI ID 标识库,而 LUN 标识库中的磁带驱动器和机械手控制设备。但是挂接光纤通道的库可能有多个SCSI ID,每个 ID 对应库上的一个物理连接(端口)。而 LUN 则标识库的每个分区中的磁带驱动器和机械手设备。 以下信息可以帮助确定机械手设备的 SCSI ID 和 LUN ID: 要确定 SCSI ID,必须首先确定磁带驱动器的 SCSI 地址。然后使用磁带驱动器地址推断机械手设备的 SCSI ID。 对于有多个机械手设备的库,必须确定每个机械手设备的 SCSI ID 和 LUN ID。 要确定 LUN,请参阅供应商的文档。库如何向其设备分配 LUN ID取决于库本身。 从磁带库管理界面中确定机械手绑定到哪个驱动器,根据此磁带机的序号从操作系统scan -tape 的输出确定对应的 rmt#设备号。 然后使用 odmget 命令显示磁带机的属性获取 scsi_id(或使用 lsattr –El rmt0 –H),lun id 则是在磁带库中定义,可以从磁带库配置中查询获得。

虚拟磁带库知识入门

虚拟磁带库知识入门 可结合磁带备份,保障既有投资 首先是在成本方面,虽然几乎所有的备份软件都可以支持Disk Staging(或称为Disk to Disk to Tape,简称D2D2T)功能,不过导入时必须连带变动整个备份系统架构,备份的程序、组态、政策也必须随之改变,在管理方面,备份软件和备份政策的设定管理上较为繁复,如果要落实自动化备份和提升备份流程管理质量,MIS人员势必要投注较多的心力学习,整体投入成本必然会增加不少。 相较之下,导入VTL就简单多了,由于备份服务器会将VTL视为真实的磁带柜,部署时完全不需更动原来的信息系统架构,备份程序、组态、政策也可维持原样,对MIS人员来说,备份/还原效能和备份质量提高,管理上的负担却不会增加。原本的磁带机/柜可以接在VTL后端,同样可以做到D2D2T的阶层式备份,保障备份设备的投资。对于原本采用旧型磁带机备份而空间不够的用户,可以考虑采取VTL配合自动上带机(Auto Loader)的解决方案,成本绝对会比采购单一台大型磁带柜来得划算,而且还有提升备份/还原效能的附加价值。 VTL部署容易,无需学习新技能 运用高速、大容量的磁盘阵列来改善传统备份机制的缺点,已经是大势所趋,各种基于磁盘开发的新兴备份技术众多,产品更是五花八门,如何选择合适的解决方案是一大课题。如果你希望运用磁盘备份来改善备份还原速度,解决备份窗口过长的问题,又不想舍弃原有的备份策略和程序,VTL是相当合适的选择。 VTL的部署管理相当容易,由于备份服务器会将VTL视为是一台真正的磁带柜,而且可以自行设行磁带柜的型号和磁带格式,几乎对既有的系统架构不会有任何影响,在管理上也相当方便,由于VTL都采用简单的图形管理接口,需要设定的步骤并不多,不会造成管理上的负担。 不过VTL并非没有缺点,首先是硬盘和磁盘阵列并不具备可移植性,无法像磁带般可以离线存放至其它地点,虽然有厂商运用IP网络复制的方式,让VTL也能作到异地备援,但毕竟成本较高。此外,目前主流的备份软件,授权方式都是按磁带机数量来收费,VTL 虽然可以仿真多组磁带机,授权费必须等同实体磁带柜来计价,可能会因此增加用户的成本,所幸目前新推出的备份软件,像是Symantec Veritas Backup Exec 10d、CA ARCserve Backup 11.5,都已经改为按备份容量计价,对使用者而言是一大利多。 VTL与磁带库、磁盘备份的对比 磁带的问题-速度慢、可靠度低 「有备而无患」早已是信息管理人员的基本观念,在部署与管理任何信息服务时,备份必然是要纳入的重要环节,不过执行备份工作时,必然会对应用程序的运作造成影响,有时候甚至必须让应用程序暂时停止服务一段时间,备份才能顺利进行,这段因备份工作导致的服务中断时间称为备份窗口(backup window)。 为了避免系统的正常运作受到影响,系统管理者多半会利用夜间或假日等离峰时间进行备份,然而随着数据量不断膨胀,备份所需的时间越来越长,许多人发现如果继续使用传统的磁带备份方式,备份速度实在太慢,已经不能在既定时间内完成工作。 另一方面,磁带的可靠度也是备受质疑的,用过磁带机的人都知道,磁带有三怕-怕潮、怕摔、怕强磁。潮湿的环境容易使磁带发霉,若要长期存放必须置于恒温恒湿的磁带箱内;现今磁带的磁录密度都相当高,一旦不慎从高处摔落地面,就会导致磁头定位不准,读取不到数据;磁带不能接近强力扇区更是基本常识,被磁化的磁带经常是导致还原失败的原因。长时间存放的磁带必须按时回带,磁带机的读写头也得按时清洗,确保万一需要复原时,磁

实战RAID5 手把手教你组磁盘阵列 5精编版

实战RAID5 手把手教你组磁盘阵列 5 随着PC硬件的不断发展,以前多见于服务器等高端应用的RAID5技术也出现在PC机上。许多玩家开始接触到这种提升速同时也能确保数据安全性的良好的解决方案。 RAID 5 模式的入门知识 RAID 5 是一种存储性能、数据安全和存储成本兼顾的存储解决方案。它既能实现RAID 0的高速存储读取功能也能够实现RAID 1的数据恢复功能,可以说是RAID 0和RAID 1的折衷方案。 RAID 5为系统提供数据安全保障,但保障程度要比磁盘镜像低而磁盘空间利用率要比磁盘镜像高。同时RAID 5还具有和RAID 0相近似的数据读取速度,只是多了一个奇偶校验信息,而且存储成本相对较低。 RAID 5至少需要三块硬盘才能实现阵列,在阵列当中有三块硬盘时,RAID控制器将会把需要存储的数据按用户定义的分割大小把文件分成碎片再分别存储到其中的两块硬盘上,此时另一块硬盘不接收文件碎片,只用来存储其它两块硬盘的校验信息,这个校验信息是通过RAID控制器上的单独的芯片运算产生的,而且可以通过这个校验信息来恢复存储在两块硬盘上的数据。 另外,这三块硬盘的任务也是随机的,也就是说在这次存储当中可能是1号硬盘和2 好硬盘用来存储分割后的文件碎片,那么在下次存储的时候可能就是2号硬盘和3号硬盘来完成这个任务了。可以说,在每次存储操作当中,每块硬盘的任务是不一样的,不过,不管任务怎么随机分配也是两块硬盘用来存储数据信息,另一块硬盘用来存储校验信息。 RAID 5可以利用三块硬盘同时实现RAID 0的加速功能也实现RAID 1的数据备份功能,并且当其中的一块硬盘损坏之后,加入一块新的硬盘也可以实现数据的还原。 RAID 5模式并不是完全没有缺点,如果阵列当中某块硬盘上的信息发生了改变的话,那么就需要重新计算文件分割碎片,并且,校验信息也需要重新计算,这时,三个硬盘都需要重新调用那么整个系统性能将会降下来。如果要做RAID 5阵列的话,最好使用相同容量相同速度的硬盘,RAID 5模式的有效容量是阵列中容量最小的硬盘容量乘上阵列中硬盘数减一后的数目,这是因为其中有一块硬盘用来存放校验信息。 RAID 5既能够实现速度上的加倍,同时也能够保证数据的安全性,所以在很多高端系统当中都使用这种RAID模式。 如何实现 RAID 5: ATA RAID控制器目前市场上的RAID控制器主要有两种,一是主板上集成的IDE RAID 控制器,现在很多高端主板都具有集成 ATA RAID 控制器。

虚拟带库技术参数要求

技术参数要求 1、虚拟磁带库系统(1台) ★(1)标准机架式≤3U,配置≥16个磁盘槽位,采用高可靠性一体化集成设计,虚拟磁带库管理和基本存储单元采用无线缆背板式连接; ★(2)须具有LCD液晶屏,通过文字实时显示设备状态及故障信息。 (3)产品采用RISC处理器,非Xeon处理器,采用基于磁盘技术的数据备份、恢复系统。★(4)专业VTL产品,非OEM VTL内核,虚拟带库管理软件具有正版版权,并提供由国家版权局颁发的软件名称为虚拟磁带库管理软件著作权证书复印件和登记号,在中国版权保护中心网站上可根据登记号进行查询,兼容性良好; (5)虚拟带库主板必须是专业化的嵌入式Storage-on-Chip芯片级引擎,非PC服务器架构,不得采用系统盘方式实现;采用专用的芯片将磁盘仿真成磁带库设备; ★(6)须采用RISC RAID控制器,非RAID卡,可支持RAID0、1、5、6等级别; (7)配置虚拟带库容量5TB(VTL SATAII 专用磁盘); ★(8)配置≥4个4Gb VTL接口和配置≥2个ISCSI容灾接口; ★(9)标配3:1的硬件混合文件压缩模块; (10)采用In-line硬件级芯片重复数据删除技术; (11)虚拟带库支持数据远程异地复制功能,复制可支持最低2Mb/s带宽环境;支持增量复制方式,支持断点续传,且可选择壹或多盒磁带进行自定义数据复制,且不借助第三方软件实现; ★(12)虚拟带库支持归档功能,可支持现有环境下的数据异地自动归档功能,要求归档软件具有正版版权,并提供国家版权局颁发的软件名称为虚拟磁带库数据归档管理软件著作权登记证书复印件和登记号,在中国版权保护中心网站上可根据登记号进行查询; (13)配置1套全中文GUI管理软件; (14)支持业界主流的数据软件包括:EMC、CommVault、Symantec、 CA等; (15)配置冗余电源保护,提供的标准配置包括n+1冗余电源和风扇模块; ★(16)集成要求:此次配置虚拟带库设备须与现有虚拟带库本地备份系统构成一对一远程复制系统,实现两台虚拟带库之间数据重复删除、数据容灾复制功能,可实现两台虚拟带库之间的双向复制功能,保证两台虚拟带库设备之间的兼容性,在虚拟带库中文管理配置界面中,可根据实际要求统一管理配置;

存储系列——RAID原理

大话存储系列5——RAID原理 2014-03-26 09:50:35| 分类:linux恢复|举报|字号订阅 整理自网络和大话存储2: 1、预备知识:条带化 当多个进程同时访问一个磁盘时,可能会出现磁盘冲突。大多数磁盘系统都对访问次数(每秒的I/O 操作,IOPS)和数据传输率(每秒传输的数据量,TPS)有限制。当达到这些限制时,后面需要访问磁盘的进程就需要等待,这时就是所谓的磁盘冲突。 避免磁盘冲突是优化I/O 性能的一个重要目标,而I/O 性能的优化与其他资源(如CPU和内存)的优化有着很大的区别,I/O 优化最有效的手段是将I/O 最大限度的进行平衡。 条带化技术就是一种自动的将I/O 的负载均衡到多个物理磁盘上的技术,条带化技术就是将一块连续的数据分成很多小部分并把他们分别存储到不同磁盘上去。这就能使多个进程同时访问数据的多个不同部分而不会造成磁盘冲突,而且在需要对这种数据进行顺序访问的时候可以获得最大程度上的I/O 并行能力,从而获得非常好的性能。很多操作系统、磁盘设备供应商、各种第三方软件都能做到条带化。 图1 描述的是一个未经条带化处理的连续数据的分布,图2 描述的是一个已经被条带化处理的连续数据的分布,从中比较,我们可以发现图 2 中对连续数据的读写都有最大的并发能力。 图 1. 未经条带化处理的连续数据 图 2. 已经被条带化处理的连续数据 由于条带化在I/O 性能问题上的优越表现,以致于在应用系统所在的计算环境中的多个层次或平台都涉及到了条带化的技术,如操作系统和存储系统这两个层次中都可能使用条带化技术。 影响条带化效果的两个因素 当对数据做条带化时,数据被切成一块块的小数据块,各小数据块分布存储在不同的硬盘上。从这个描述中我们可以看出,影响条带化效果的因素有两个,一是条带大小(stripe size),即数据被切成的小数据块的大小,另一个条带宽度(stripe width),即数据被存储到多少块硬盘上。 条带宽度(stripe width)是指同时可以并发读或写的条带数量。这个数量等于RAID中的物理硬盘数量。例如一个经过条带化的,具有4块物理硬盘的阵列的条带宽度就是4。增加条带宽度,可以增加阵列的读写性能。道理很明显,增加更多的硬盘,也就增加了可以同时并发读或写的条带数量。在其他条件一样的前提下,一个由8块18G硬盘组成的阵列相比一个由4块36G硬盘组成的阵列具有更高的传输性能。 条带大小(stripe size)有时也被叫做block size, chunk size, stripe length或者granularity。这个参数指的是写在每块磁盘上的条带数据块的大小。RAID的数据块大小一般在2KB到512KB之间(或者更大),其数值是2的次方,即2KB,4KB,8KB,16KB这样。 条带大小对性能的影响比条带宽度难以量化的多。 ·减小条带大小:由于条带大小减小了,则文件被分成了更多个,更小的数据块。这些数据块会被分散到更多的硬盘上存储,因此提高了传输的性能,但是由于要多次寻找不同的数据块,磁盘定位的性能就下降了。 ·增加条带大小:与减小条带大小相反,会降低传输性能,提高定位性能。

IBM System Storage TS3200 磁带库

IBM System Storage TS3200 磁带库 配有一个或两个Ultrium 3 磁带驱动器,并且附加了LVD SCSI 或新型4GB 光纤通道可配置成容纳 4 个移动式磁带架、44 个数据磁带、1 个三插槽I/O 站,以及1 个专用清洗带插槽标配条形码阅读器及远程管理装置,在部署与操作方面可为用户提供更高的灵活性 移动式磁带架支持磁带库的快速批量加载,以及介质的轻松存储使用IBM Ultrium 3 磁带驱动器还支持具有一写多读(WORM) 功能的Ultrium 3 磁带。独立式或机架安装式 新型IBM System Storage? TS3200 磁带库可为中型开放式系统环境提供高容量及高性能技术。TS3200 磁带库是一种外置4U 独立式或机架安装式设备,该设备将两个线性Tape-Open? (LTO) IBM TotalStorage? Ultrium 3 磁带驱动器与比上一代IBM LTO Ultrium 2 磁带驱动器更高的驱动器性能进行了完美结合。其具有高达每驱动器80Mbps 的本地数据速率。IBM System Storage TS3200 磁带库是一种出色的磁带存储解决方案,主要面向具有现有数字线性磁带经验或需要高性能自动化磁带备份的企业。TS3200 还面向在IT 环境中物理空间有限的企业。在机架环境中运行可使企业获得将TS3200 放置在标准19" 机架中的优势,这在仅4U 的空间中可提供35.2TB 的压缩磁带存储容量。 TS3200 磁带库可与两特性#8043 Ultrium 3 LVD SCSI 驱动器或两特性#8044 Ultrium 3 4GB 光纤通道驱动器一同加以订购,这可实现与各种开放式系统服务器的连接。IBM Ultrium 3 磁带驱动器还能够以高达20Mbps 的本地数据传输速率(2:1 压缩时可达40Mbps)读取LTO Ultrium 1 数据磁带。TS3200 磁带库具有四个移动式磁带架,从而提供了44 个数据磁带插槽、1 个三端口I/O 站,以及一个专用清洗带插槽。TS3200 磁带库提供了每设备高达17.6TB(2:1 压缩时为35.2TB)数据存储的介质容量。该磁带库中标配了远程管理及条形码阅读器,从而可使该磁带库能够在顺序或随机存取模式下运行。选配的功能包括机架安装套件、额外电源及路径故障转移。 不太大也不太小。面向中型企业的IBM系列解决方案恰到好处。IBM系列中的每种解决方案均经过了认证,可确保具有三种简单特性: 1.易于安装和部署 2.易于管理 3.价格极低 IBM系列解决方案可进行扩展,并且具有您为满足技术需求所需的特性与功能,这些需求包括硬件、软件、服务及融资。由于完全面向中型企业对它们进行定价,

虚拟磁带库的三种实现方式

虚拟磁带库的三种实现方式 专用主控制器虚拟磁带库控制模块 目前市场上的虚拟磁带库依照架构不同,大概可以分为三种类型:备份软件型(D2D)、应用服务器型(VTL Appliance)、智能化专用型(Intelligent High Preformance VTL)。 第一代,备份软件型虚拟磁带库。 将磁带库模拟软件直接安装在备份服务器上,把备份服务器的某些文件系统分区模拟成磁带库,从而使备份软件以磁带库方式使用磁盘文件系统。 此类方案下的备份磁盘暴露于主机的操作系统,本质上依然“在线”。在用户看来,依然在线的数据一定是不安全的。举例来说,如果备份服务器不幸被病毒感染,该病毒完全可能在损毁在线磁盘上数据的同时,损毁备份盘阵上的数据。另外,此类方案占用主机资源,性能受限。这种方案多由备份管理软件作为一个功能模块提供,价格比较低廉。但由于受制于文件系统,其应用场合、I/O性能及数据安全性 具有一定局限。因此,此类方案主要用于备份缓存,即先备份到磁盘,然后在服务器不忙时再将备份转移到物理磁带库上。 第二代,应用服务器级虚拟磁带库。

该方案实际上是另外一种虚拟磁带库的软件实现方案:通过把虚拟磁带库管理软件安装到一台独立的专用服务器内,而将该服务器及所连接的磁盘存储设备模拟成磁带库。 这种方式下,备份服务器或其他应用主机通过FC或SCSI 与专用服务器连接。此时专用服务器及所连接的磁盘存储系统一起体现为虚拟磁带库。 与备份软件型虚拟磁带库方案的不同点是,备份服务器或应用服务器把专用服务器及其磁盘阵列当作一台磁带库 设备,实现了虚拟磁带库设备与主机设备在物理和逻辑上的分离。 此类方案下,虚拟磁带介质―磁盘逻辑卷,不再是操作系统格式化的扇区,而是和磁带一样的裸介质(raw disk)。其上备份数据也是按顺序存放的,在物理层上实现了磁盘读写的线性化,避免了文件系统的碎块问题,充分利用了磁盘设备的高速I/O性能。 这种方案的不足是需要利用一台具有一定扩充能力的PC服务器作为虚拟磁带库管理器,系统优化性较低。另外,控制器部分采用了PC服务器结构,不够精简,并且PC服务器及其连接的磁盘阵列管理不统一,不是一体化结构,容易产生PC服务器和后端存储的不兼容问题。 第三代,智能化专用型虚拟磁带库。 就存储市场而言,我们熟知的主流磁盘阵列是采用ARM

相关文档
最新文档