同友存储raid崩溃解决方案

同友存储raid崩溃解决方案
同友存储raid崩溃解决方案

同友存储raid崩溃解决方案/raid5数据恢复方法

某公司使用了同友存储,采用raid5磁盘阵列,由于未知的原因导致存储忽然崩溃无法启动,raid5阵列中的虚拟机全部丢失,其中3台虚拟机为重要数据,需要主要针对该3台虚拟机进行数据恢复。

一、分析存储底层次结构,制定数据恢复方案。

通过与客户的沟通及对raid阵列的分析得出故障存储的底层结构为若干物理磁盘组成一个存储池,划分了多个lun,需要进行数据恢复的为lun1,其中包含重点恢复的3台虚拟机。如下图所示:

存储结构

二、尝试重组raid恢复raid阵列数据。

在对阵列进行分析重组时发现用户原存储中的raid5阵列共缺失2块硬盘,热备盘已经启用。(还原故障过程为:第一块硬盘掉线后系统启动热备盘进行替换,第二块硬盘掉线时raid5处于降级状态,第三块硬盘掉线导致raid阵列崩溃。)这种情况下通常无法通过校验直接获取丢失盘的数据,所以只能使用磁盘同等大小的全0镜像进行重组(由于依赖空镜像组成的raid文件系统结构会被严重破坏,相当于每个条带都会缺失两个块的数据,所以除非常情况下不建议如此)。

重建raid

三、通过重组的raid阵列提取LUN。通过对存储结构的进一步分析我们可以获取到存储划分的MAP块,进而对各个LUN的数据块指针进行解析,通过编写数据提取程序(也可借助北亚数据恢复工具)提取LUN碎片。提取完成后进行碎片拼接,组成完整LUN。

提取LUN

四、导出LUN内所有虚拟机,尝试启动。因虚拟机名称涉及客户隐私且导出过程较为简单,此处不再赘述。导出虚拟机后尝试启动,同预想相同,操作系统被破坏虚拟机无法启动。

五、提取虚拟机内文件。由于虚拟机无法启动,只能对虚拟机内的文件进行提取,但多数文件破坏严重,只有少数文件可用,只好继续制定其他数据恢复方案。

六、通过分析数据库页提取数据。本次数据恢复的虚拟机内有mysql

数据库,可以利用数据库底层存储的特殊性进行数据页扫描,提取数据。(这一步有个小插曲,虚拟机启用快照,父盘和快照文件都被损坏的情况下常规合并操作无法完成,使用本公司自主研发VMFS快照合并程序进行快照合并。)数据恢复过程截图如下

七、获取mysql数据页并分析。根据mysql数据页特征进行数据页扫描并导出(innodb引擎可以使用此方案,myisam因为没有“数据页”概念所以不可用),分析系统表获取各用户表信息,根据各个表的id 进行数据页分割。因为表内容涉及用户隐私,此处未配图

八、提取表结构、提取记录。因为数据库使用时间已久,表结构也曾多次变更,加上系统表在存储损坏后也有部分数据丢失,记录提取过程遇到很大阻力。首先获取最初版本数据库各个表的表结构:合并快照前的父盘因为写入较早,使用第一块掉线盘进行校验获取到这个文件的完整数据,然后提取出其中数据库各个表的表结构,之后客户方提供了最新版的数据库建表脚本。

分别使用两组不同表结构对数据记录进行提取并导入恢复环境中的mysql数据库内,然后剔除各个表中因为表结构变更造成的乱码数

据,最后将两组数据分别导出为.sql文件。

九、数据验证。因为两个版本的数据库表结构不同,所以联系了客户方的应用工程师进行调试。调试完成后导入平台,平台调试成功,本次数据恢复成功。

信息存储技术的发展过程

信息存储发展史 远古信息存储 1.结绳记事 结绳记事是文字发明前,人们所使用的一种记事方法。即在一条绳子上打结,用以记事。上古时期的中国及秘鲁印地安人皆有此习惯,即到近代,一些没有文字的民族,仍然采用结绳记事来传播信息 上古无文字,结绳以记事。《易.系辞下》:"上古结绳而治,后世圣人易之以书契。"孔颖达疏:"结绳者,郑康成注云,事大大结其绳,事小小结其绳,义或然 也。"晋葛洪《抱朴子.钧世》:"若舟车之代步涉,文墨之改结绳,诸后作而善于前事。"后以指上古时代。例如:奇普(Quipu或khipu)是古代印加人的一种结绳记事的方法,用来计数或者记录历史。它是由许多颜色的绳结编成的。这种结绳记事方法已经失传,目前还没有人能够了解其全部含义。结绳记事(计数):原始社会创始的以绳结形式反映客观经济活动及其数量关系的记录方式。结绳记事(计数)是被原始先民广泛使用的记录方式之一。文献记载:“上古结绳而治,后世圣人易以书契,百官以治,万民以察”(《易·系辞下》)。虽然目前末发现原始先民遗留下的结绳实物,但原始社会绘画遗存中的网纹图、陶器上的绳纹和陶制网坠等实物均提示出先民结网是当时渔猎的主要条件,因此,结绳记事(计数)作为当时的记录方式具有客观基础的。其结绳方法,据古书记载为:“事大,大结其绳;事小,小结其绳,之多少,随物众寡”(《易九家言》),即根据事件的性质、规模或所涉数量的不同结系出不同的绳结。民族学资料表明,近现代有些少数民族仍在采用结绳的方式来记录客观活动 2.甲骨文文字纸张 甲骨文是中国已发现的古代文字中时代最早、体系较为完整的文字。甲骨文主要指殷墟甲骨文,又称为“殷墟文字”、“殷契”,是殷商时代刻在龟甲兽骨上的文字。19世纪末年在殷代都城遗址被今河南安阳小屯发现,继承了陶文的造字方法,是中国商代后期(前14~前11世

Raid教程:全程图解手把手教你做RAID磁盘阵列

Raid教程:全程图解手把手教你做RAID磁盘阵列 一、磁盘阵列实现方式 磁盘阵列有两种方式可以实现,那就是“软件阵列”与“硬件阵列”。 软件阵列是指通过网络操作系统自身提供的磁盘管理功能将连接的普通SCSI卡上的多块硬盘配置成逻辑盘,组成阵列。如微软的Windows NT/2000 Server/Server 2003和NetVoll的NetWare两种操作系统都可以提供软件阵列功能,其中Windows NT/2000 Server/Server 2003可以提供RAID 0、RAID 1、RAID 5;NetWare操作系统可以实现RAID 1功能。软件阵列可以提供数据冗余功能,但是磁盘子系统的性能会有所降低,有的降代还比较大,达30%左右。 硬件阵列是使用专门的磁盘阵列卡来实现的,这就是本文要介绍的对象。现在的非入门级服务器几乎都提供磁盘阵列卡,不管是集成在主板上或非集成的都能轻松实现阵列功能。硬件阵列能够提供在线扩容、动态修改阵列级别、自动数据恢复、驱动器漫游、超高速缓冲等功能。它能提供性能、数据保护、可靠性、可用性和可管理性的解决方案。磁盘阵列卡拥有一个专门的处理器,如Intel的I960芯片,HPT370A/372 、Silicon Image SIL3112A等,还拥有专门的存贮器,用于高速缓冲数据。这样一来,服务器对磁盘的操作就直接通过磁盘阵列卡来进行处理,因此不需要大量的CPU及系统内存资源,不会降低磁盘子系统的性能。阵列卡专用的处理单元来进行操作,它的性能要远远高于常规非阵列硬盘,并且更安全更稳定。 二、几种磁盘阵列技术 RAID技术是一种工业标准,各厂商对RAID级别的定义也不尽相同。目前对RAID 级别的定义可以获得业界广泛认同的有4种,RAID 0、RAID 1、RAID 0+1和RAID 5。 RAID 0是无数据冗余的存储空间条带化,具有成本低、读写性能极高、存储空间利用率高等特点,适用于音、视频信号存储、临时文件的转储等对速度要求极其严格的特殊应用。但由于没有数据冗余,其安全性大大降低,构成阵列的任何一块硬盘的损坏都将带来灾难性的数据损失。这种方式其实没有冗余功能,没有安全保护,只是提高了磁盘读写性能和整个服务器的磁盘容量。一般只适用磁盘数较少、磁盘容易比较紧缺的应用环境中,如果在RAID 0中配置4块以上的硬盘,对于一般应用来说是不明智的。 RAID 1是两块硬盘数据完全镜像,安全性好,技术简单,管理方便,读写性能均好。因为它是一一对应的,所以它无法单块硬盘扩展,要扩展,必须同时对镜像的双方进行同容量的扩展。因为这种冗余方式为了安全起见,实际上只利用了一半的磁盘容量,数据空间浪费大。 RAID 0+1综合了RAID 0和RAID 1的特点,独立磁盘配置成RAID 0,两套完整

网络存储试题和答案解析

1、下列典型行业应用对存储的需求,正确的是( C ) A.WEB应用不包括对数据库的访问 B.WEB应用是大数据块的读取居多 C.系统的数据特点介于数据库和普通文件二者之间,用户等信息属于数据库操作,但是每个用户的又是按照文件组织的 D.视频点播系统要求比较高的IOPS,但对存储带宽的稳定性要求不高 2、对于存储系统性能调优说确的是:( C ) A. 必须在线业务下进行调优 B. 存储系统的调优可以与主机单独进行,应为两者性能互不影响 C. 存储系统的性能调优属于系统性调优,需要了解客户IO模型、业务大小、服务器资 源利用和存储侧资源利用综合分析,对于存储侧重点关注RAID级别,分条深度, LUN映射给主机的分布情况等 D. 以上都不正确 3、不具备扩展性的存储架构有( A ) A. DAS B. NAS C. SAN D. IP SAN 4、DAS代表的意思是( D )direct access s A. 两个异步的存储 B. 数据归档软件 C. 连接一个可选的存储 D. 直连存储 5、哪种应用更适合采用大缓存块?( A ) A. 视频流媒体 B. 数据库 C. 文件系统 D. 数据仓库 6、衡量一个系统可靠性常见时间指标有哪些?( CD ) A. 可靠度 B. 有效率 C. 平均失效时间 D. 平均无故障时间 7、主机访问存储的主要模式包括( ABC ) A. NAS B. SAN C. DAS D. NFS 8、群集技术适用于以下场合:( ABCD ) A. 大规模计算如基因数据的分析、气象预报、石油勘探需要极高的计算性 B. 应用规模的发展使单个服务器难以承担负载 C. 不断增长的需求需要硬件有灵活的可扩展性 D. 关键性的业务需要可靠的容错机制 9、常见数据访问的级别有( AD ) A.文件级(file level) B.异构级(NFS level) C.通用级(UFS level) D.块级(block level) 10、常用的存储设备介质包括( ABC ) A. 硬盘 B. 磁带 C. 光盘 D. 软盘 11、常用的存储设备包括( ABCD) A. 磁盘阵列 B. 磁带机 C. 磁带库 D. 虚拟磁带库 12、存储网络的类别包括( ABC ) A. DAS B. NAS C. SAN D. Ethernet 13、常用数据备份方式包括( ACD ) A. D2D B. D2T2D C. D2D2T D. D2T 14、为了解决同位(为)检查码技术的缺陷而产生的一种存纠错技术是( D ) A. Chipkill B. 热插拔 C. S.M.A.R.T D. Advanced ECC Memory 15、以下不是智能网卡的主要特点是( D ) A. 节能降耗 B. 降低TCO C. 数据更安全 D. 可作为主机总线适配器HBA使用

Raid教程:全程图解手把手教你做RAID

Raid教程:全程图解手把手教你做RAID 说到磁盘阵列(RAID,Redundant Array of Independent Disks),现在几乎成了网管员所必须掌握的一门技术之一,特别是中小型企业,因为磁盘阵列应用非常广泛,它是当前数据备份的主要方案之一。然而,许多网管员只是在各种媒体上看到相关的理论知识介绍,却并没有看到一些实际的磁盘阵列配置方法,所以仍只是一知半解,到自己真正配置时,却无从下手。本文要以一个具体的磁盘阵列配置方法为例向大家介绍磁盘阵列的一些基本配置方法,给出一些关键界面,使各位对磁盘阵列的配置有一个理性认识。当然为了使各位对磁盘阵列有一个较全面的介绍,还是先来简要回顾一下有关磁盘阵列的理论知识,这样可以为实际的配置找到理论依据。 一、磁盘阵列实现方式 磁盘阵列有两种方式可以实现,那就是“软件阵列”与“硬件阵列”。 软件阵列是指通过网络操作系统自身提供的磁盘管理功能将连接的普通SCSI卡上的多块硬盘配置成逻辑盘,组成阵列。如微软的Windows NT/2000 Server/Server 2003和NetVoll的NetWare两种操作系统都可以提供软件阵列功能,其中Windows NT/2000 Server/Server 2003可以提供RAID 0、RAID 1、RAID 5;NetWare操作系统可以实现RAID 1功能。软件阵列可以提供数据冗余功能,但是磁盘子系统的性能会有所降低,有的降代还比较大,达30%左右。 硬件阵列是使用专门的磁盘阵列卡来实现的,这就是本文要介绍的对象。现在的非入门级服务器几乎都提供磁盘阵列卡,不管是集成在主板上或非集成的都能轻松实现阵列功能。硬件阵列能够提供在线扩容、动态修改阵列级别、自动数据恢复、驱动器漫游、超高速缓冲等功能。它能提供性能、数据保护、可靠性、可用性和可管理性的解决方案。磁盘阵列卡拥有一个专门的处理器,如Intel 的I960芯片,HPT370A/372 、Silicon Image SIL3112A等,还拥有专门的存贮器,用于高速缓冲数据。这样一来,服务器对磁盘的操作就直接通过磁盘阵列卡来进行处理,因此不需要大量的CPU及系统内存资源,不会降低磁盘子系统的性能。阵列卡专用的处理单元来进行操作,它的性能要远远高于常规非阵列硬盘,并且更安全更稳定。 二、几种磁盘阵列技术 RAID技术是一种工业标准,各厂商对RAID级别的定义也不尽相同。目前对RAID级别的定义可以获得业界广泛认同的有4种,RAID 0、RAID 1、RAID 0+1和RAID 5。 RAID 0是无数据冗余的存储空间条带化,具有成本低、读写性能极高、存储空间利用率高等特点,适用于音、视频信号存储、临时文件的转储等对速度要求极其严格的特殊应用。但由于没有数据冗余,其安全性大大降低,构成阵列的任何一块硬盘的损坏都将带来灾难性的数据损失。这种方式其实没有冗余功能,

磁盘阵列配置全程解

磁盘阵列配置全程解(图) 说到磁盘阵列(RAID,Redundant Array of Independent Disks),现在几乎成了网管员所必须掌握的一门技术之一,特别是中小型企业,因为磁盘阵列应用非常广泛,它是当前数据备份的主要方案之一。然而,许多网管员只是在各种媒体上看到相关的理论知识介绍,却并没有看到一些实际的磁盘阵列配置方法,所以仍只是一知半解,到自己真正配置时,却无从下手。本文要以一个具体的磁盘阵列配置方法为例向大家介绍磁盘阵列的一些基本配置方法,给出一些关键界面,使各位对磁盘阵列的配置有一个理性认识。当然为了使各位对磁盘阵列有一个较全面的介绍,还是先来简要回顾一下有关磁盘阵列的理论知识,这样可以为实际的配置找到理论依据。 一、磁盘阵列实现方式 磁盘阵列有两种方式可以实现,那就是“软件阵列”与“硬件阵列”。 软件阵列是指通过网络操作系统自身提供的磁盘管理功能将连 接的普通SCSI卡上的多块硬盘配置成逻辑盘,组成阵列。如微软的Windows NT/2000 Server/Server 2003和NetVoll的NetWare两种操作系统都可以提供软件阵列功能,其中Windows NT/2000 Server/ Server 2003可以提供RAID 0、RAID 1、RAID 5;NetWare操作系统

可以实现RAID 1功能。软件阵列可以提供数据冗余功能,但是磁盘子系统的性能会有所降低,有的降代还比较大,达30%左右。 硬件阵列是使用专门的磁盘阵列卡来实现的,这就是本文要介绍的对象。现在的非入门级服务器几乎都提供磁盘阵列卡,不管是集成在主板上或非集成的都能轻松实现阵列功能。硬件阵列能够提供在线扩容、动态修改阵列级别、自动数据恢复、驱动器漫游、超高速缓冲等功能。它能提供性能、数据保护、可靠性、可用性和可管理性的解决方案。磁盘阵列卡拥有一个专门的处理器,如Intel的I960芯片,HPT370A/372 、Silicon Image SIL3112A等,还拥有专门的存贮器,用于高速缓冲数据。这样一来,服务器对磁盘的操作就直接通过磁盘阵列卡来进行处理,因此不需要大量的CPU及系统内存资源,不会降低磁盘子系统的性能。阵列卡专用的处理单元来进行操作,它的性能要远远高于常规非阵列硬盘,并且更安全更稳定。 二、几种磁盘阵列技术 RAID技术是一种工业标准,各厂商对RAID级别的定义也不尽相同。目前对RAID级别的定义可以获得业界广泛认同的有4种,RAID 0、RAID 1、RAID 0+1和RAID 5。 RAID 0是无数据冗余的存储空间条带化,具有成本低、读写性能极高、存储空间利用率高等特点,适用于音、视频信号存储、临时文件的转储等对速度要求极其严格的特殊应用。但由于没有数据冗

存储技术现状

存储技术应用现状调查 摘要在如今的存储市场上,有大量可供选择的技术。而且人们根据这些不同的选项可以作出很多不同的决定。有三个比较全面的存储选项值得你考虑:直连存储(DAS)、网络直连存储(NAS)、和存储区域网络(SAN)。正如你所期望的,每个选项都会满足特定的需要,并且每个选项都会有自己的优点和缺点,在作出决定之前你需要权衡一下利弊。 关键词直连存储;网络直连存储;存储区域网络 1.存储技术的介绍 1.1直连存储 在DAS(Direct Attached Storage)方式中,存储设备是通过电缆直接到服务器的。I/O(输入/输出)请求直接发送到存储设备。对于多个服务器或多台PC的环境,使用DAS方式设备的初始费用可能比较低,可是这种连接方式下,每台PC或服务器单独拥有自己的存储磁盘,容量的再分配困难;对于整个环境下的存储系统管理,工作烦琐而重复,没有集中管理解决方案。所以整体的拥有成本(TCO)较高。 任何曾经接触过服务器的人都会对DAS比较熟悉。DAS是一种将存储介质直接安装在服务器上或者安装在服务器外的存储方式。例如,将存储介质连接到服

务器的外部SCSI通道上也可以认为是一种直连存储方式。 DAS已经存在了很长时间,并且在很多情况下仍然是一种不错的存储选择。由于这种存储方式在磁盘系统和服务器之间具有很快的传输速率,因此,虽然在一些部门中一些新的SAN 设备已经开始取代DAS,但是在要求快速磁盘访问的情况下,DAS仍然是一种理想的选择。更进一步地,在DAS环境中,运转大多数的应用程序都不会存在问题,所以你没有必要担心应用程序问题,从而可以将注意力集中于其他可能会导致问题的领域。然而,DAS并不是总是具有美好的一面。首要的一个问题是IT经理必须要经常面对所谓的"空间问题"问题,这些问题需要考虑以下常见的方面:对于一个新的服务器,我需要多少存储空间?如果物资不充沛但需要增加空间时我应该如何做?目前市场上的一些选项可以帮助你减轻与这些问题相关的存储负担,但是不管怎样,你也需要对这种存储方式进行一次较好的评估,否则的话,你对存储所做的扩展将只是一个没有预测的表面上的需要。另外,你还需要管理几乎所有基于服务器的DAS系统,这意味着你需要在适当的位置上有一个监控服务器上每个物理单元的磁盘使用率工具。大多数的IT经理都不希望其磁盘空间在工作日的中间出现不够用的情况。在很多情况下,DAS是一种理想的选择:如果你的存储系统中需要快速访问,但是公司目前还不能接受最新的SAN技术的价格时或者SAN技术在你的公司中还不是一种必要的技术时,这是一种理想的选择。对于那些对成本非常敏感的客户来说,在很长一段时间内,DAS将仍然是一种比较便宜的存储机制。当然,这是在只考虑硬件物理介质成本的情况下才有这种结论。如果与其他的技术进行一个全面的比较--考虑到管理开销和存储效率等方面的因素的话,你就会发现,DAS将不再占有绝对的优势。对于那些非常小的不再需要其他存储介质的环境来说,这也是一种理想的选择。 1.2网络直连存储 NAS(Network Attached Storage)是一种将分布、独立的数据整合为大型、集中化管理的数据中心,以便于对不同主机和应用服务器进行访问的技术。它是一种专用数据存储服务器。它以数据为中心,将存储设备与服务器彻底分离,集中管理数据,从而释放带宽、提高性能、降低总拥有成本、保护投资。其成本远远低于使用服务器存储,而效率却远远高于后者。

存储快照技术详解

存储快照技术广泛的应用于在数据保护系统上。这项技术可以显著的缩短恢复时间对象RTO以及恢复目标对象RPO.本文将介绍不同的存储快照技术以及他们分别的优势和劣势。 如下是六种常见的存储快照技术: 写入即复制 写入即转存 克隆或者镜像剥离 后台复制下的写入即复制 增量 可持续性数据保护 写入即复制式快照 写入即复制式快照技术存储快照技术的一种,要求先预留足够的存储空间用做快照内容的存放,之后将会对卷进行快照操作然后存放在之前预留的空间里。在这个初始创建快照的操作中,写入即复制快照技术仅保存那些原始数据存放的位置,却不会拷贝那些真实的数据。这就能确保快照是实时的,且几乎不会对整个系统造成影响。 之后,快照和之前的卷进行比对,来定位那些内容做出改动的数据块。当数据库被改变的时候,原始数据先会被复制到特定的保留区用作快照使用,之后原始的数据才被覆盖。被快照的原始数据块仅当第一次做出更改的时候才会被复制。整个过程可以保证快照数据和快照发生时的时间戳是连续的,这也是为什么被称为写入即复制。 对于那些没用被改变数据的读请求会被直接重定向到原来的卷上。而对被改变后数据的读请求会被重定向到快照上的被复制的数据块上。每一份快照都包含了用于描述自从第一份镜像创建以来更改的数据块的信息。 存储快照技术中写入即复制式快照的主要优势是它的空间利用的效率。由于保留的快照存储空间仅仅是用于保存更改的数据,这样就大大的节省了空间。然而这项技术的很明显的一个缺点就是这会降低原始卷的性能。这样说是因为对原始卷的写请求需要先等待原始数据先被复制到快照后才能开始写入。这样以来,写入即复制机制的一个重要方面就是每份快照都需要一份可用的原始数据副本。 写入即转存式快照 写入即转存式快照存储快照技术的一种和写入即复制式快照相似,然而不同之处在于,它解决了双重写入导致的性能问题。写入即转存式快照同样也提供了和写入即复制式快照类似的较高空间利用率的快照服务。之所以写入即转存式快照方式会避免写入带来的性能问题是由于所有对原始卷的写入操作都会重定向到转为快照预留的存储空间上。写入即转存式快照方式将新的写入操作由两次压缩为一次。这样而来,写入操作就不必先将原始数据的一份拷贝写入磁盘存储空间,再写入另一份有变动的数据拷贝的两次操作,唯一需要做的就是对更改的数据作出写入操作。 随着写入即转存式快照方式的应用,原始拷贝都会包含一份及时的快照数据,有改动的数据也不再会存放在快照存储上。在快照删除的时候会稍显复杂。需要被删除的快照首先会被拷贝,以确保和原始卷的连续性。随着更多快照的创建,复杂的程度也呈指数上升。复杂程度不仅限于对原始数据访问上,对快照数据以及原始卷的追逐定位和快照删除上的复杂也是需要考虑的。如果快照依赖的原始数据受到损害,将会带来比较严重的后果。 以上就是本文对常见的存储快照技术以及优劣势的分析,希望对大家会有帮助。 磁盘 在磁盘硬件监测上,你也有类似的问题。磁盘存在一个通用的错误值集合,这些错误值由SMART 技术予以定义并加以搜集。如果你有JBOD(简单磁盘捆绑)或者低端的RAID(独立磁盘冗余阵列),那么你可以购买一个软件包来帮助你搜集SMART数据。 那么对于我们这些拥有来自大型厂商的大型RAID系统的用户来说又会怎样呢?所有这些厂商都会监测SMART统计数据,并根据它们所搜集的来自驱动器厂商的信息、历年来所搜集的统计信息,以

磁盘阵列详解配置

磁盘阵列(Disk Array) 1.为什么需要磁盘阵列 如何增加磁盘的存取(access)速度,如何防止数据因磁盘的故障而失落及如何有效的利用磁盘空间,一直是电脑专业人员和用户的困扰;而大容量磁盘的价格非常昂贵,对用户形成很大的负担。磁盘阵列技术的产生一举解决了这些问题。 1 过去十年来,CPU的处理速度增加了五十倍有多,内存(memory)的存取速度亦大幅增加,而数据储存装置--主要是磁盘(hard disk)--的存取速度只增加了三、四倍,形成电脑系统的瓶颈,拉低了电脑系统的整体性能(throughput),若不能有效的提升磁盘的存取速度,CPU、内存及磁盘间的不平衡将使CPU及内存的改进形成浪费。 目前改进磁盘存取速度的的方式主要有两种。一是磁盘快取控制(disk cache controller),它将从磁盘读取的数据存在快取内存(cache memory)中以减少磁盘存取的次数,数据的读写都在快取内存中进行,大幅增加存取的速度,如要读取的数据不在快取内存中,或要写数据到磁盘时,才做磁盘的存取动作。这种方式在单工环境(single-tasking environment)如DOS之下,对大量数据的存取有很好的性能(量小且频繁的存取则不然),但在多工(multi-tasking)环境之下(因为要不停的作数据交换(swapping)的动作)或数据库(database)的存取(因为每一记录都很小)就不能显示其性能。这种方式没有任何安全保障。其二是使用磁盘阵列的技术。磁盘阵列是把多个磁盘组成一个阵列,当作单一磁盘使用,它将数据以分段(striping)的方式储存在不同的磁盘中,存取数据时,阵列中的相关磁盘一起动作,大幅减低数据的存取时间,同时有更佳的空间利用率。磁盘阵列所利用的不同的技术,称为RAID level,不同的level针对不同的系统及应用,以解决数据安全的问题。 一般高性能的磁盘阵列都是以硬件的形式来达成,进一步的把磁盘快取控制及磁盘阵列结合在一个控制器(RAID controller)?或控制卡上,针对不同的用户解决人们对磁盘输出入系统的四大要求: (1)增加存取速度, (2)容错(fault tolerance),即安全性 (3)有效的利用磁盘空间; (4)尽量的平衡CPU,内存及磁盘的性能差异,提高电脑的整体工作性能。 2.磁盘阵列原理 磁盘阵列中针对不同的应用使用的不同技术,称为RAID level, RAID是Redundant Array of Inexpensive Disks的缩写,而每一level代表一种技术,目前业界公认的标准是RAID 0~RAID 5。这个level并不代表技术的高低,level 5并不高于level 3,level 1也不低过level 4,至于要选择那一种RAID level的产品,纯视用户的操作环境(operating environment)及应用(application)而定,与level的高低没有必然的关系。RAID 0及RAID 1适用于PC及PC相关的系统如小型的网络服务器(network server)及需要高磁盘容量与快速磁盘存取的工作站等,因为比较便宜,但因一般人对磁盘阵列不了解,没有看到磁盘阵列对他们价

磁盘阵列各种RAID原理、磁盘使用率

磁盘阵列RAID原理、种类及性能优缺点对比 磁盘阵列(Redundant Arrays of Independent Disks,RAID) 1. 存储的数据一定分片; 2. 分基于软件的软RAID(如mdadm)和基于硬件的硬RAID(如RAID卡); 3. RAID卡如同网卡一样有集成板载的也有独立的(PCI-e),一般独立RAID卡性能相对较好,淘宝一搜便可看到他们的原形; 4. 现在基本上服务器都原生硬件支持几种常用的RAID; 5. 当然还有更加高大上的专用于存储的磁盘阵列柜产品,有专用存储技术,规格有如12/24/48盘一柜等,盘可选机械/固态,3.5/2.5寸等。

近来想建立一个私有云系统,涉及到安装使用一台网络存储服务器。对于服务器中硬盘的连接,选用哪种RAID模式能准确满足需求收集了资料,简单整理后记录如下: 一、RAID模式优缺点的简要介绍 目前被运用较多的RAID模式其优缺点大致是这样的: 1、RAID0模式 优点:在RAID 0状态下,存储数据被分割成两部分,分别存储在两块硬盘上,此时移动硬盘的理论存储速度是单块硬盘的2倍,实际容量等于两块硬盘中较小一块硬盘的容量的2倍。 缺点:任何一块硬盘发生故障,整个RAID上的数据将不可恢复。 备注:存储高清电影比较适合。 2、RAID1模式 优点:此模式下,两块硬盘互为镜像。当一个硬盘受损时,换上一块全新硬盘(大于或等于原硬盘容量)替代原硬盘即可自动恢复资料和继续使用,移动硬盘的实际容量等于较小一块硬盘的容量,存储速度与单块硬盘相同。RAID 1的优势在于任何一块硬盘出现故障是,所存储的数据都不会丢失。 缺点:该模式可使用的硬盘实际容量比较小,仅仅为两颗硬盘中最小硬盘的容量。 备注:非常重要的资料,如数据库,个人资料,是万无一失的存储方案。 3、RAID 0+1模式 RAID 0+1是磁盘分段及镜像的结合,采用2组RAID0的磁盘阵列互为镜像,它们之间又成为一个RAID1的阵列。硬盘使用率只有50%,但是提供最佳的速度及可靠度。 4、RAID 3模式

快照技术原理

随着存储应用需求的提高,用户需要在线方式进行数据保护,快照就是在线存储设备防范数据丢失的有效方法之一,越来越多的设备都开始支持这项功能。 越来越多的存储设备支持快照功能,在这些产品的资料中宣传了各自快照技术的优势,有的是快照数量多,有的是占用空间小。那么,究竟什么是快照技术?主要有哪些类型?接下来我们深入了解一下。 快照的定义与作用 SNIA(存储网络行业协会)对快照(Snapshot)的定义是:关于指定数据集合的一个完全可用拷贝,该拷贝包括相应数据在某个时间点(拷贝开始的时间点)的映像。快照可以是其所表示的数据的一个副本,也可以是数据的一个复制品。 而从具体的技术细节来讲,快照是指向保存在存储设备中的数据的引用标记或指针。我们可以这样理解,快照有点像是详细的目录表,但它被计算机作为完整的数据备份来对待。 快照有三种基本形式:基于文件系统式的、基于子系统式的和基于卷管理器/虚拟化式的,而且这三种形式差别很大。市场上已经出现了能够自动生成这些快照的实用工具,比如有代表性的有NetApp的存储设备基于文件系统实现,高中低端设备使用共同的操作系统,都能够实现快照应用;HP的EVA、HDS通用存储平台以及EMC的高端阵列则实现了子系统式快照;而Veritas则通过卷管理器实现快照。 快照的作用主要是能够进行在线数据恢复,当存储设备发生应用故障或者文件损坏时可以进行及时数据恢复,将数据恢复成快照产生时间点的状态。快照的另一个作用是为存储用户提供了另外一个数据访问通道,当原数据进行在线应用处理时,用户可以访问快照数据,还可以利用快照进行测试等工作。 因此,所有存储系统,不论高中低端,只要应用于在线系统,那么快照就成为一个不可或缺的功能。 两种类型 目前有两大类存储快照,一种叫做即写即拷(copy-on-write)快照,另一种叫做分割镜像快照。 即写即拷快照可以在每次输入新数据或已有数据被更新时生成对存储数据改动的快照。这样做可以在发生硬盘写错误、文件损坏或程序故障时迅速地恢复数据。但是,如果需要对网络或存储媒介上的所有数据进行完全的存档或恢复时,所有以前的快照都必须可供使用。 即写即拷快照是表现数据外观特征的“照片”。这种方式通常也被称为“元数据”拷贝,即所有的数据并没有被真正拷贝到另一个位置,只是指示数据实际所处位置的指针被拷贝。在使用这项技术的情况下,当已经有了快照时,如果有人试图改写原始的LUN上的数据,快照软件将首先将原始的数据块拷贝到一个新位置(专用于复制操作的存储资源池),然后再进行写操作。以后当你引用原始数据时,快照软件将指针映射到新位置,或者当你引用快照时将指针映射到老位置。 分割镜像快照引用镜像硬盘组上所有数据。每次应用运行时,都生成整个卷的快照,而不只是新数据或更新的数据。这种使离线访问数据成为可能,并且简化了恢复、复制或存档一块硬盘上的所有数据的过程。但是,这是个较慢的过程,而且每个快照需要占用更多的存储空间。 分割镜像快照也叫作原样复制,由于它是某一LUN或文件系统上的数据的物理拷贝,有的管理员称之为克隆、映像等。原样复制的过程可以由主机(Windows上的MirrorSet、Veritas 的Mirror卷等)或在存储级上用硬件完成(Clone、BCV、ShadowImage等)。 三种使用方法 具体使用快照时,存储管理员可以有三种形式,即冷快照拷贝、暖快照拷贝和热快照拷贝。冷快照拷贝

DELL服务器做RAID磁盘阵列图文教程

磁盘阵列可以在安装系统之前或之后产生,系统会视之为一个(大型)硬盘,而它具有容错及冗余的功能。磁盘阵列不单只可以加入一个现成的系统,它更可以支持容量扩展,方法也很简单,只需要加入一个新的硬盘并执行一些简单的指令,系统便可以实时利用这新加的容量。 ·RAID 的种类及应用 IDE和SCSI是计算机的两种不同的接口,前者普遍用于PC机,后者一般用于服务器。基于这两种接口,RAID分为两种类型:基于IDE接口的RAID应用,称为IDE RAID;而基于SCSI接口的RAID应用则相应称为SCSI RAID。 基于不同的架构,RAID 又可以分为: ● 软件RAID (软件RAID) ● 硬件RAID (硬件RAID) ● 外置RAID (External RAID) ·软件RAID很多情况下已经包含在系统之中,并成为其中一个功能,如Windows、Net ware及Linux。软件RAID中的所有操作皆由中央处理器负责,所以系统资源的利用率会很高,从而使系统性能降低。软件RAID是不需要另外添加任何硬件设备,因为它是靠你的系统——主要是中央处理器的功能——提供所有现成的资源。 ·硬件RAID通常是一张PCI卡,你会看到在这卡上会有处理器及内存。因为这卡上的处理器已经可以提供一切RAID所需要的资源,所以不会占用系统资源,从而令系统的表现可以大大提升。硬件RAID可以连接内置硬盘、热插拔背板或外置存储设备。无论连接何种硬盘,控制权都是在RAID卡上,亦即是由系统所操控。在系统里,硬件RAID P CI卡通常都需要安驱动程序,否则系统会拒绝支持。 ·外置式RAID也是属于硬件RAID的一种,区别在于RAID卡不会安装在系统里,而是安装在外置的存储设备内。而这个外置的储存设备则会连接到系统的SCSI卡上。系统没有任何的RAID功能,因为它只有一张SCSI卡;所有的RAID功能将会移到这个外置存储里。好处是外置的存储往往可以连接更多的硬盘,不会受系统机箱的大小所影响。而一

磁盘阵列技术详解

由磁盘阵列角度来看 磁盘阵列的规格最重要就在速度,也就是CPU的种类。我们知道SCSI的演变是由SCSI 2 (Narrow, 8 bits, 10MB/s), SCSI 3 (Wide, 16bits, 20MB /s), Ultra Wide (16bits, 40MB/s), Ultra 2 (Ultra Ultra Wide, 80MB /s), Ultra 3 (Ultra Ultra Ultra Wide, 160MB/s),在由SCSI到Serial I/O,也就是所谓的 Fibre Channel (FC- AL, Fibre Channel - Arbitration Loop, 100 – 200MB/s), SSA (Serial Storage Architecture, 80 – 16 0 MB /s), 在过去使用 Ultra Wide SCSI, 40MB/s 的磁盘阵列时,对CPU的要求不须太快,因为SCSI本身也不是很快,但是当SCSI演变到Ultra 2, 80MB/s时,对CPU的要求就非常关键。一般的CPU, (如 586)就必须改为高速的RISC CPU, (如 Intel RISC CPU, i960RD 32bits, i960RN 64 bits),不但是RISC CPU, 甚至于还分 32bits, 64 bits RISC CPU 的差异。586 与 RISC CPU 的差异可想而知 ! 这是由磁盘阵列的观点出发来看的。 由服务器的角度来看 服务器的结构已由传统的 I/O 结构改为 I2O ( Intelligent I/O, 简称 I2O ) 的结构,其目的就是为了减少服务器CPU的负担,才会将系统的 I/O 与服务器CPU负载分开。Intel 因此提出 I2O 的架构,I2O 也是由一颗 RISC CPU ( i960RD 或I960RN ) 来负责 I/O 的工作。试想想若服务器内都已是由 RISC i960 CPU 来负责 I/O,结果磁盘阵列上却仍是用 586 CPU,速度会快吗 ? 由操作系统的角度来看 在操作系统都已由 32 bits 转到 64 bits,磁盘阵列上的CPU 必须是 Intel i960 RISC CPU 才能满足速度的要求。586 CPU 是无法满足的! 磁盘阵列的功能 使用磁盘阵列的好处,在于数据的安全、存取的速度及超大的存储容量。如何确保数据的安全,则取决于磁盘阵列的设计与品质。其中几个功能是必须考虑的:是否有环境监控器针对温度、电压、电源、散热风扇、硬盘状态等进行监控。磁盘阵列内的硬盘连接方式是用SCA-II整体后背板还是只是用SCSI 线连的?在 SCA-II整体后背板上是否有隔绝芯片以防硬盘在热插拔时所产生的高/低电压,使系统电压回流,造成系统的不稳定,产生数据丢失的情形。我们一定要重视这个问题,因为在磁盘阵列内很多硬盘都是共用这同一SCSI 总线!一个硬盘热插拔,可不能引响其它的硬盘!甚幺是热插拔或带电插拔?硬盘有分热插拔硬盘, 80针的硬盘是热插拔硬盘,68针的不是热插拔硬盘,有没有热插拔,在电路上的设计差异就在于有没有保护线路的设计,同样的硬盘拖架也是一样有分真的热插拔及假的热插拔的区别。磁盘阵列内的硬盘是否有顺序的要求?也就是说硬盘可否不按次序地插回阵列中,数据仍能正常的存取?很多人认为不是很重要,不太会发生,但是可能会发生的,我们就要防止它发生。假如您用六个硬盘做阵列,在最出初始化时,此六个硬盘是有顺序放置在磁盘阵列内,分为第一、第二…到第六个硬盘,是有顺序的,如果您买的磁盘阵列是有顺序的要求,则您要注意了:有一天您将硬盘取出,做清洁时一定要以原来的摆放顺序插

常见的网络存储技术及其发展趋势

探讨几种常见的网络存储技术及其发展趋势 2012-08-15 来源:作者:吴桂华 摘要:计算机的发展从单片机时代开始,历经客户服务器时代和互联网时代之后,现在正逐步走向网络时代。许多有别于传统存储系统的新趋势日益显现,而选择不当的网络存储技术,往往会使得单位在网络建设中盲目投资,造成单位的网络性能低下。本文通过分析直连附加存储、网络附加存储、存储区域网络三种网络存储架构的优点、缺点及应用,供不同需求的单位群体参考选择,同时也简单地介绍网络存储技术未来的发展趋势及方向。 关键词:服务器时代网络时代传统存储系统网络存储技术发展趋势随着不断加速的信息需求使得存储容量飞速增长,存储系统网络平台已经成为一个核心平台,同时各种应用对平台的要求也越来越高,不仅在存储容量上,还包括数据访问性能、数据传输性能、数据管理能力、存储扩展能力等等多个方面。可以说,存储网络平台的综合性能的优劣,将直接影响到整个系统的正常运行。因此,发展一种具有成本效益的和可管理的先进存储方式就成为必然。下面就当前的存储技术及发展趋势进行分析和探讨。 1、网络存储技术概述 所谓网络存储技术(Network Storage Technologies),就是以互联网为载体实现数据的传输与存储,数据可以在远程的专用存储设备上,也可以是通过服务器来进行存储。网络存储技术是基于数据存储的一种通用网络术语。实际上,我们可以将存储技术分为三个阶段:①总线存储阶段;②存储网络阶段;③虚拟存储阶段。以存储网络为中心的存储是对数据存储新需求的回答。它采用面向网络的存储体系结构,使数据处理和数据存储分离;网络存储体系结构包括了网络和I/O的精华,将I/O能力扩展到网络上,特别是灵活的网络寻址能力,远距离数据传输能力,I/O高效的原性能;通过网络连接服务器和存储资源,消除了不同存储设备和服务器之间的连接障碍;提高了数据的共享性、可用性和可扩展性、管理性。 2、几种传统的网络存储架构 网络存储架构大致分为三种:直连附加存储、网络附加存储、存储区域网络。这几种网络存储方式特点各异,应用在不同的领域。下面我们来做简单的介绍并分析其中区别。 2.1 直连附加存储(DAS:Direct Attached Storage) 直接网络存储(DAS)是指将存储设备通过SCSI接口或光纤通道直接连接到服务器上的方式。这种连接方式主要应用于单机或两台主机的集群环境中,主要优点是存储容量扩展的实施简单,投入成本少,见效快。DAS主要应用于: (1)服务器在地理分布上很分散,SAN或NAS在它们之间进行互连非常困难时;(2)存储系统必须被直接连接到应用服务器时;(3)包括许多数据库应用和应用服务器在内的应用时。 缺点: (1)不能提供跨平台的文件共享功能;(2)用户要备份数据和存储数据,都要占用服务器CPU的时间,降低了服务器的管理效能;(3)由于各个主机之间的数据独立,数据需要逐一备份,使数据备份工作较为困难;(4)随着服务器的增多,数据管理会越来越复杂;

磁盘阵列初步图文教程

磁盘阵列初步图文教程 闲来无事,组了个raid 0,感觉还不错,速度有明显提高,加载游戏和启动程序速度有所改善先上对比图吧。 单碟速度下图: raid0 速度下图: 用的硬盘呢是这个,俩希捷500g单碟

步骤/方法 1. 1 下面说说步骤吧,因为板子不一样,进入和设置的方法有所区别,下面以我的P55A-UD3R为例,intel板子设置基本相同: 首先在电源开启后B I O S在进行P O S T时,按下键进入B I O S设置程序。若要制作R A I D,进入 「Integrated Peripherals」将「PCH SATA Control Mode」选项设为「RAID(XHD)」,退出BIOS程序设置并保存设置结果。 如下图 2. 2 然后需要进入RAID设置程序进行以下步骤设置: 步骤一: 在BIOS POST画面后,进入操作系统之前,会出现如下所示的画面,按+键进入 RAID设置程序。 步骤二: 按下+后会出现P55 RAID设置程序主画面。 建立磁盘阵列(Create RAID Volume) 在「Create RAID Volume」选项按键以制作RAID磁盘。 步骤三: 进入「CREATE VOLUME MENU」画面,可以在「Name」选项自定义磁盘阵列的名称,字数最 多可为16个字母,但不能有特殊字符,设置好后按键。选择要制作的R A I D模式(R A I D Level)。RAID模式选项有:RAID 0、RAID 1、Recovery、RAID 10及RAID 5 (可选择的RAID模 式视安装的硬盘总数而定)。选择好RAID模式后,按键继续执行后面的步骤。 步骤四: 在「D i s k s」选项选择要制作磁盘阵列的硬盘。若只安装了两块硬盘,则此两块硬盘将被自动设为磁盘阵列。 接下来请选择磁盘窗口大小(Strip Size) ,可调范围是从4 KB至128 KB。设置完成后,按键设置磁盘阵列容量(Capacity)。

ZFS文件系统Snapshot技术的分析

ZFS文件系统Snapshot技术的分析 摘要:快照是一种重要的存储数据的技术,可以在不停止应用程序的情况下对数据进行备份。本文对Solaris平台下的ZFS文件系统中的快照技术进行了分析,介绍了快照的工作原理、实现技术及数据结构,并在ZFS中进行快照创建、数据恢复的实例分析,结果表明ZFS文件系统中的快照技术能避免数据的丢失,可以有效地保护该系统下的数据,并且在操作系统的实验教学中对文件系统的分析具有较大的实践意义。 关键词:快照;Copy-on-Write;ZFS;Solaris 1引言 随着计算机技术在各个领域的广泛应用,信息量迅速增长,越来越多的单位、公司以及个人对计算机数据的依赖性逐步增强,数据的损坏或者丢失将对用户造成不可弥补的损失。为保护重要数据,用户不得不频繁地备份数据。传统的数据备份是冷备份,需要停止系统运行才能进行,在备份期间,无法进行正常的数据访问。但对于许多关键性的应用环境,如电子商务系统或者银行系统等,系统需要连续不断地运转,停机就意味着业务的停顿和商业机会的丢失,停止系统来进行数据备份就会造成难以估量的损失。因此,如何在系统运行期间对系统数据进行备份,并保证数据版本的一致性就变得尤为重要。Snapshot技术正是为了解决该问题提出的。Snapshot能在不停止应用程序的情况下生成某一瞬间的数据映像,用户可以对该数据映像进行保存备份,当系统出现问题或者数据丢失时,用户可以安全方便地获得快照创建时刻的数据映像。 2Snapshot技术介绍 Snapshot也称为快照,是本地保留的按时间点保存的数据映像。产生一个文件系的Snapshot,并不是对所有数据块进行拷贝,只是对文件系统当前点的信息记录。快照不能被直接访问,但是可以对它们执行克隆、备份、回滚等操作,通过这些操作,系统可以有效地保护数据。 Snapshot技术的实现方式目前有两种:即写即拷(Copy-on-Write)方式和分割镜像(Split-Mirror)方式。Snapshot需要建立一个完整一致的映像,为了保证这一点,必须在某个特定的时刻完成全部数据的拷贝,通常这种拷贝不可能在一瞬间完成的。实际上在进行Snapshot操作时,并不是对所有的数据进行完全复制,而是使用Copy-on-Write技术或者Split-Mirror方式。建立一个Snapshot只需要极少的工作,

磁盘阵列教程raid5和raid1(有图)

raid5及raid1磁盘阵列服务器 也许一些刚刚玩服务器DIY的朋友一听到raid这个词就犯头晕,分不清楚到底说的是啥意思。raid模式虽多,但以我的理解其实就是把2个以上的硬盘组合在一起,一块用,以达到更快的速度和更高的安全性,大家不需要了解太多raid模式,只要知道raid0、raid1和raid5就足够在服务器行业混饭了(其实什么也不知道照样混饭的人也很多),用唐华的大白话说,所谓raid0就是两块硬盘合成一块硬盘用,例如两个80G的硬盘,做成raid0模式,就变成一块160G的大硬盘,理论上硬盘传输速度也加倍,但是这种模式安全性很低,一旦一个硬盘坏了,两个硬盘里的所有数据都会报销,因此服务器上最好不用这种模式。 所谓raid1就是两块硬盘互相做同步备份(镜像),例如两块80G的硬盘,做成raid1模式,总容量还是80G没变化,硬盘传输速度也没变化,但是两个硬盘里的数据保持同步,完全一样,一旦其中一个硬盘坏了,靠另一个硬盘,服务器依然能正常运行,这种模式很安全,所以现在很多中低端服务器采取这种raid模式,这种模式简单实用,用不高的硬件成本即可实现,我很喜欢。至于raid5,则过去一直是高档服务器的专利,即使是在今天,你翻翻许多名牌服务器的价目表,在1-2万元的产品里也很难觅到raid5的身影,采用raid5可以兼顾raid0的速度、容量和raid1的安全性,是个听起来很完美的磁盘阵列方案。 硬件raid5组建: 最近又亲手给一个朋友组装了一台采用双核心P4 820D处理器的8硬盘的1U机架式存储型服务器,在组装过程中,分别组建了硬件Raid5和软件Raid5的磁盘阵列,过程很值得玩味,现在写出详细的设置过程,以期抛砖引玉,给大家带来更多一点启发。 首先将服务器组装好,然后给硬盘插上SATA的数据线,插入主板上的四个SATA接口,用并口线连接好我的LG刻录机当光驱用,这个主板只提供了1个并口IDE接口用来接光驱正好,连上显示器、键盘、鼠标,开机测试,启动顺利,按DEL键进入bios。

相关文档
最新文档