毕业设计_网络存储的可靠性论文

合集下载

网络存储方案

网络存储方案

网络存储方案随着信息技术的发展和数字化时代的到来,数据存储需求也日益增长。

传统的本地存储方式已经无法满足这一需求,因此,企业和个人都开始寻求更可靠、高效和安全的存储方案。

网络存储方案逐渐成为了一种流行的选择。

网络存储方案是指将数据存储在网络服务器上而非本地设备中的存储方式。

它使用远程服务器来保存和管理数据,用户可以通过网络访问和管理数据。

这种存储方案提供了许多优势,下面将详细介绍。

首先,网络存储方案具有高可靠性。

由于数据存储在远程服务器上,即使在本地设备出现问题或损坏时,数据仍然可以安全地保存在服务器中。

这意味着用户不再需要担心数据丢失的风险,可以放心地使用存储方案。

其次,网络存储方案提供了高效的数据访问和共享。

通过网络连接服务器,用户可以随时随地访问存储在服务器上的数据。

这种即时访问的便利性极大地增强了工作和合作效率。

此外,多个用户可以同时访问和共享数据,方便了协作工作和知识共享。

另外,网络存储方案具有可扩展性。

随着数据增长的需求,用户可以根据实际需求扩展服务器的存储容量。

这种灵活性使得存储方案能够满足不同规模和需求的用户。

此外,网络存储方案还具有数据备份和恢复功能。

由于数据存储在远程服务器上,即使本地设备发生丢失、损坏或故障,用户仍然可以通过从服务器上恢复数据来保证其安全性和完整性。

这为用户提供了额外的保障,确保数据始终可访问。

网络存储方案还提供了安全性和隐私保护。

通过对服务器和网络的安全策略和控制,存储在服务器上的数据可以受到保护,防止不经授权的访问和数据泄露。

这在商业环境中尤为重要,帮助企业保护重要的商业数据和机密信息。

在选择网络存储方案时,用户应考虑以下因素。

首先,用户需要评估其数据存储需求,并选择能够满足其存储容量和性能要求的方案。

其次,用户应考虑存储方案的可靠性和安全性,以确保数据得到有效保护。

此外,用户还应考虑方案的成本和可扩展性,以适应未来的业务增长。

总之,网络存储方案是一种为企业和个人提供高可靠性、高效性、可扩展性和安全性的存储解决方案。

云存储技术的可靠性研究与应用

云存储技术的可靠性研究与应用

云存储技术的可靠性研究与应用随着数字化信息的日益增加,人们对于计算机存储的需求也越来越高。

传统的个人电脑或移动设备存储能力有限,不能满足人们大量数据存储和分享的需求。

而云存储技术应运而生,为人们提供了高效、便捷、可扩展的数据存储解决方案。

但是,随之而来的安全与可靠性问题也引起了人们的关注。

本文将就云存储技术的可靠性问题进行阐述与探讨。

一、云存储技术可靠性问题1.1 数据安全问题云存储服务面向广泛的用户群体,其中就包括一些恶意的黑客,他们有可能会攻击这些存储服务,窃取并篡改用户的敏感数据。

并且,云存储服务提供商也有可能因种种原因泄露用户数据,带来极大的隐私风险。

数据安全问题一直是当前云存储技术中不可忽视的一个问题。

1.2 关键数据易丢失云存储服务提供商为了保证系统稳定性,会采取多样的备份措施,以确保数据不丢失。

但是,由于这涉及到复杂的技术问题,因此在某些情况下,某些关键数据的备份可能会出现失效,从而带来严重的损失。

1.3 数据不可用性问题由于云存储服务提供商存在许多地理位置和设备的限制,所以当网络连接不畅或云存储服务供应商出现故障时,用户将无法访问他们的数据。

这也是云存储技术中面临的另一个可靠性问题。

二、云存储技术的解决方案2.1 数据安全控制为了防止恶意攻击和隐私泄露,云存储提供商应该严格的控制数据访问权限,尤其是在敏感信息的访问管理上。

其次,云存储服务提供商应该加强物理安全管理,在数据传输和存储时采用加密协议避免敏感数据被拦截。

2.2 分布式备份针对云存储中关键数据的备份问题,分布式备份方案可以提供更有效的备份保证。

例如,使用多个数据中心存储数据,一旦有数据丢失或出现问题,可以通过同步从其他中心恢复。

同时,云存储提供商还可以利用故障容错技术,如异地备份、数据镜像等技术,确保数据备份失效的情况下可以最大程度地避免数据丢失。

2.3 可用性保证为解决数据不可用性问题,云存储服务提供商应该采用高可用物理和逻辑设备,保证系统的24小时连续性。

网络硬盘毕业设计论文

网络硬盘毕业设计论文
1.3
本课题主要通过+MSSQL技术研究网络的上传下载,通过数据库管理网络资源。可以实时了解自己的网络资源。较FTP上传有明显的优势。
本网络存储系统,基于B/S的三层架构模式,使用MSSQL数据库操作,使用存储过程,使用(C#)编程,大大减少了服务器的负担。使用JavaScript面向对象的客户端脚本语言,在线文件虚拟管理系统页面设计采用DIV和CSS网站布局。使用强命名程序集,对源码进行加密。有利于保护源代码,保护知识产权。
对于广大网页技术爱好者来说,ASP比CGI具有的最大好处是可以包含HTML标签,也可以直接存取数据库及使用无限扩充的ActiveX控件,因此在程序编制上要比HTML方便而且更富有灵活性。
ASP吸收了当今许多流行的技术,如IIS,ACTIVEX,VBSCRIPT,ODBC等,是一种发展较为成熟的网络应用程序开发技术;其核心技术是对组件和对象技术的充分支持。通过使用ASP的组件和对象技术,用户可以直接使用ActiveX控件,调用对象方法和属性,以简单的方式实现强大的功能。
1.4
1.4.1三层架构
“三层结构”一词中的“三层”是指:“表现层”、“中间业务层”、“数据访问层”。其中:表现层:位于最外层(最上层),离用户最近。用于显示数据和接收用户输入的数据,为用户提供一种交互式操作的界面。中间业务层:负责处理用户输入的信息,或者是将这些信息发送给数据访问层进行保存,或者是调用数据访问层中的函数再次读出这些数据。中间业务层也可以包括一些对“商业逻辑”描述代码在里面。数据访问层:仅实现对数据的保存和读取操作。数据访问,可以访问数据库系统、二进制文件、文本文档或是XML文档。
对象间的关系如图1-2所示:
经过两个月的努力,对系统逐步的修改与完善,系统已基本能有效地完成其预期的功能。

网络存储需要的可行性分析

网络存储需要的可行性分析

网络存储需要的可行性分析网络存储,即将数据存储在云端服务器上,以便用户可以随时随地访问和管理数据。

它已经成为现代企业和个人的常用工具。

网络存储的可行性分析主要包括成本、安全性、可靠性和可扩展性等方面。

首先,成本是进行可行性分析时必须考虑的关键因素之一。

对于企业来说,网络存储可以省去传统的硬盘和服务器设备的购买和维护成本,只需付费使用云存储服务商提供的资源。

但是,企业需要根据自身需求选择适合的存储服务计划,确保满足数据容量和带宽需求同时又不超出预算。

此外,还需要考虑数据迁移和带宽升级等一次性投资,以保证网络存储的正常运行。

其次,安全性是网络存储可行性分析中的重要考虑因素。

用户将敏感数据存储在云端,必然要关注数据的保密性和完整性。

因此,企业需要选择有良好安全记录的云服务提供商,并采取额外的措施,如数据加密、访问控制、多重身份验证等。

此外,定期备份和灾难恢复计划也是确保数据安全性的重要手段。

第三,可靠性是网络存储可行性分析中的另一个重要方面。

云存储服务提供商应具备高可用性和数据冗余机制,以确保用户可以随时访问和使用数据。

此外,需要仔细评估云服务提供商的性能指标,如服务水平协议(SLA)中的可用性保证和响应时间,以确保达到企业的要求。

最后,可扩展性是网络存储可行性分析中的关键因素之一。

企业的数据量通常会随着业务的发展而增长,因此需要根据实际需求选择具有高扩展性的存储方案。

云存储服务提供商应提供灵活的存储选项,如弹性存储、增长计划等,以便按需扩展存储容量。

此外,还需要考虑网络带宽的扩展和性能优化,以确保数据传输和访问的效率。

综上所述,网络存储的可行性分析需要综合考虑成本、安全性、可靠性和可扩展性等因素。

虽然网络存储为企业和个人提供了许多便利和灵活性,但也需要认真评估和把握各种风险和挑战,以确保实施网络存储的效果和收益最大化。

网络存储系统的设计与实现 大学毕业设计

网络存储系统的设计与实现 大学毕业设计

网络存储系统的设计与实现--用户界面及数据库的设计与实现数学学院信息与计算科学(软件服务外包)摘要:随着网络技术的迅猛发展,人们对数据储存的需求越来越大,U盘与硬盘的缺点愈发严重,网络储存应运而生,有效解决了这些问题,分布式储存不怕硬件丢失和损坏,多个用户可在网络存储系统中很方便的共享。

分布式储存只要容量不够,直接加机器和硬盘都可以实现容量的拓展,就容量来说,几乎是无限的。

我们做的就是网络储存系统,而我做的是用户页面及数据库设计,本篇论文主要讲解了我是如何设计并用html实现这个网页的及数据库的设计。

关键词:分布式储存;网页设计;数据库设计Abstract:With the rapid development of network technology, people's growing demand for data storage, U disk and hard disk shortcomings worsening insecurity exist. shortcomings, and network storage came into being, an effective solution to these problems, distributed hardware store will not be afraid of loss and damage occurs, while multiple users can very easy to share in the network storage system, and distributed As long as the storage capacity is not enough, and hard disks are added directly to the machine can expand capacity, and therefore capacity, it is almost unlimited.What we do is network storage system, and I am doing is one of the user pages and database design, this paper mainly on how I designed and implemented with the html of this page. As well as the design of the database.Key words: Distributed storage;Web Design;Database design1 引言1.1 研究背景二十一世纪进入信息发展高速路,大数据时代信息量的爆发,普通的存储方式已经不能满足大批量数据的存储与分享。

计算机网络毕业论文-智能网络存储方案

计算机网络毕业论文-智能网络存储方案

计算机网络毕业论文-智能网络存储方案一、概述,脚印代写论文数字视音频和数据网络的大量成为电视行业的必然趋势,这就要求提供更大、更快、更有力的网络数据存储和共享途径。

网络存储技术无疑为我们提供了一个很好的选择。

二、网络存储技术的分类目前的网络存储技术大致分为三类:1、直接依附存储系统(Direct Attached Storage, DAS)DAS又称为以服务器为中心的存储体系,如图一所示。

其特征为存储设备为通用服务器的一部分,该服务器同时提供应用程序的运行,即数据访问与操作系统、文件系统和服务程序紧密相关。

当用户数量增加或服务器正在提供服务时,其响应速度会变慢。

在网络带宽足够的情况下,服务器本身成为数据输入输出的瓶颈。

现在已渐渐不能满足用户的需求,不再为大家所采用。

2、网络依附存储系统(Network Attached Storage, NAS)NAS的结构是以网络为中心,面向文件服务的。

在这种存储系统中,应用和数据存储部分不在同一服务器上,即有专用的应用服务器和专用的数据服务器。

其中专用数据服务器不再承担应用服务,称之为"瘦服务器"(Thin Server)。

数据服务器通过局域网的接口与应用服务器连接,应用服务器将数据服务器视做网络文件系统,通过标准LAN进行访问。

由于采用局域网上通用数据传输协议,如NFS、CIFS等,所以NAS能够在异构的服务器之间共享数据,如Windows NT和UNIX混合系统。

NAS系统的关键是文件服务器,一个经过优化的专用文件服务和存储服务的服务器是文件系统所在地和NAS设备的控制中心,该服务器一般可以支持多个I/O节点和网络接口,每个I/O节点都有自己的存储设备。

3、存储区域网络(Storage Area Network, SAN)SAN是一种以光纤通道(Fiber Channel, FC)实现服务器和存储设备之间通讯的网络结构,如图三所示。

SAN的核心是FC,其中的服务器和存储系统各自独立,地位平等,通过高带宽(传输速率为800Mb/s,双全工时可达1.6Gb/ s)FC 集线器或FC交换机相连,可避免大流量数据传输时发生阻塞和冲突。

云存储技术的安全性与可靠性研究

云存储技术的安全性与可靠性研究

云存储技术的安全性与可靠性研究在当今数字化时代,数据的重要性不言而喻。

随着信息技术的飞速发展,云存储技术作为一种新兴的数据存储方式,因其便捷性、高效性和灵活性等优势,受到了广泛的关注和应用。

然而,云存储技术在带来诸多便利的同时,也面临着一系列的安全性和可靠性挑战。

云存储技术的基本原理是将用户的数据存储在远程服务器上,用户可以通过网络随时随地访问和管理自己的数据。

这种模式使得用户无需担心本地存储设备的容量限制和硬件故障等问题,但也正因数据不在用户的直接控制之下,安全性和可靠性成为了用户最为关心的问题。

从安全性方面来看,云存储面临着多种威胁。

首先是数据泄露的风险。

由于云存储服务器中存储着大量用户的数据,如果服务器遭到黑客攻击或者内部人员违规操作,用户的敏感信息如个人身份信息、财务数据等可能会被窃取。

其次,数据加密是保障数据安全的重要手段,但加密算法的强度和密钥管理的安全性直接影响着加密的效果。

如果加密算法存在漏洞或者密钥被破解,数据的保密性将无法得到保障。

此外,云存储服务提供商的信誉和安全措施也至关重要。

一些不良的提供商可能会为了自身利益而擅自使用或出售用户数据。

为了应对这些安全威胁,采取一系列有效的措施是必要的。

在技术层面,采用高强度的加密算法对数据进行加密,并定期更新密钥,以增加破解的难度。

同时,建立完善的访问控制机制,对用户的访问权限进行严格管理,确保只有授权用户能够访问相应的数据。

在管理层面,云存储服务提供商应加强内部人员的管理和培训,提高员工的安全意识,防止内部违规操作。

此外,政府和相关机构应加强对云存储服务提供商的监管,制定严格的法律法规,对违规行为进行严厉打击。

可靠性是云存储技术的另一个关键问题。

数据丢失、服务中断等情况都会给用户带来巨大的损失。

造成云存储不可靠的因素有很多,比如硬件故障、网络故障、自然灾害等。

为了提高云存储的可靠性,数据备份和冗余技术是常用的手段。

通过将数据备份到多个存储节点,并采用冗余存储的方式,可以在某个节点出现故障时迅速恢复数据,保证数据的可用性。

探析网络存储技术研究论文

探析网络存储技术研究论文

探析网络存储技术研究论文探析网络存储技术研究论文0引言云计算浪潮席卷全球,推动着社会信息基础设施的重大变革。

以虚拟化为代表的新技术已经成为数据中心的基本组织方式,商业产品如VMware和开源产品如KVM、Xen已得到普及使用。

统计数据显示,至2012年底已有超过一半的x86服务器使用了虚拟化,至2014年这一比例将扩大到700%。

虽然虚拟化技术获得快速发展,但在面向云计算数据中心的存储系统设计仍然而临诸多挑战和困惑。

人们目前对虚拟机环境下的文件系统I/O特征还缺乏深入认识和理解,在虚拟机环境下存储技术路线的选择方而缺乏理论与实验数据支撑的有效指导。

在云计算数据中心中,一类重要的存储需求是为每个虚拟机提供一个虚拟磁盘映像。

该应用需要存储系统具有良好的可扩展性,支持为任意数量的虚拟机提供磁盘映像,并支持高性能访问;可以支持磁盘映像的快照与克隆、迁移、动态扩展等高级特性。

NAS和SAN是目前数据中心所使用的主要存储设备形式,NAS 存储可以支持数据共享,具有更好的可扩展性、可管理性和可用性;SAN在大多数传统应用场景中具有更好的性能,但配置和管理较为复杂。

在功能上,NAS和SAN都可以作为虚拟机的磁盘映像存储设备,虚拟磁盘映像既可以对应到SAN设备的一个逻辑卷,也可以映射到NAS的一个或多个文件。

本文将简要分析NAS和SAN的工作原理,探讨虚拟化环境下的存储系统架构和I/O访问路径,然后模拟数据中心的虚拟化环境对NAS和SAN的性能进行测试,对测试的结果进行分析探讨,在此基础上提出而向数据中心的存储方案实施建议。

1网络存储系统的类型NAS和SAN是目前云计算数据中心所使用的两类主要存储设备,本节简要分析其工作原理并比较其差异。

1.1 NASNAS(Network Attachment Storage)存储系统上运行有文件系统,对外部提供文件和目录、元数据的数据视图。

其中目录和文件的内容称为文件系统的数据,而把用于描述和实现文件系统所用到的数据称为元数据(Metadata),如文件大小、修改日期、以及访问控制等。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

计算机系统结构课程论文题目网络存储的可靠性学院物电学院专业计算机软件与理论摘要随着信息技术的不断发展,数据日益成为人们口常生活中重要资源。

爆炸式增长的数据必然带来存储设备的持续增加。

为了减少本地存储压力,云储存正成为时尚。

目前,海量数据存储环境下的现代数据中心的存储节点规模少则几万多则几十万,但在规模巨大的存储环境系统中,磁盘损毁或者存储节点失效己成为一种常态行为;与此同时,因网络连接设备或者存储节点其它元器件造成的数据不可访问或者丢失现象也时有发生。

为了满足口益扩展的数据存储需求,人们对数据存储的可靠性提出了更高的要求,如何实现海量数据在网络存储中低冗余度高可靠性存储己经成为业界面临的一个巨大挑战。

因而,本文网络存储中低冗余度高可靠性海量数据存储系统的关键问题,在总结了当今数据可靠性增强理论和海量数据存储系统基本架构的基础上,对基于纠删码的数据分布策略研究进行一定介绍。

在存储系统中,提出了基于纠删码的数据冗余分布模型,研究了涉及到的数据读写,恢复算法等关键技术。

通过理论分析得出了这种冗余方案对提高系统可靠性更有优势:要使数据达到相同的可用性,基于纠删码方案只需要较低的冗余度;同样在相同的冗余度情况下,基于纠删码冗余方案的数据有更高的可用性。

关键字: 可靠性;网络存储;海量数据;纠删码一、绪论近年来,随着云计算、物联网、社交网络等新兴技术的迅猛发展,无所不在的移动设备、无线射频识别标签、无线传感器等每分每秒都在产生感知世界的信息。

数以亿计用户的互联网服务时时刻刻都在产生新的数据,同时记录人们生活的历史信息也呈现爆炸式增长。

数据的快速增长必然带来存储设备的持续增加。

同时,为了满足口益扩展的数据存储需求,数据存储系统的体系结构也在不断发展与变化,从传统的集中式存储到分布式存储,近几年还出现了云存储等新型海量数据存储模式。

2008年2月,几千个构建在亚马逊EC2和S3上的小型网站因数据中心宕机而受到影响;次年三月,谷歌公司的Docs出现系统故障,随后,联邦商务委员会被请求调查此事,以确定谷歌的云计算服务对客户的隐私与安全可能带来的隐患。

可见,数据的丢失或失效,会给人们带来不可估量的损失。

进入20世纪以后,随着网络技术的持续发展、各种信息服务形式的不断出现、所需存储的数据呈现爆炸式增长,有研究者开始利用普通的PC机来构建大规模的存储系统,最为典型的是Google的GFS,例如,2004年Google的集群中的PC机节点达到18000台,每台PC越挂载两个磁盘。

该技术的出现,使得人们对存储系统多了一种选择。

现在,很多研究者和大型企业开始构建利用普通计算机硬件搭建的数据存储平台,如Apache Hadoop开源项目 , Facebook的Cassandra系统、淘宝的TFS ( Tao file system)。

在存储系统中,特别是大规模数据存储系统中,系统会因为这样或那样的问题出现数据的暂时不可用或者丢失损毁现象。

从数据存储系统的组成上看,不论是DAS, NAS, SAN构建的小型存储系统,还是大规模分布式集群系统乃至超大规模数据中心,其基本存储运算单元都可以分为三个部分:首先是由磁盘搭建的基础存储设备,它是数据存储的物质基础;其次是系统中心网络,它是连接存储资源和计算资源的神经中枢。

最后是计算设备和系统管理软件,它负责计算任务的完成和系统节点的管理和监测。

一方面是存储数据量的爆炸式增长对基础存储设备规模上的需求,一方面是大规模海量数据存储系统频繁的失效行为,另一方面是数据的丢失给数据拥有者和使用者带来的巨大损失,这一切使得数据存储系统的可靠性成为海量数据存储面临的一个函待解决的重要挑战。

当然,系统的可靠性问题可以通过单纯增加硬件冗余的方式加以解决,但这样带来的硬件成本太高,本文则从数据管理与组织的角度探讨应对海量数据存储系统中数据的可靠性问题。

二、存储系统的可靠性在一个拥有规模约为4000个结点的数据中心内,平均每天会有四个磁盘失效。

Google公司的研究人员统计了其数据中心的磁盘损毁情况,系统中每年有1.7%至8.6%的磁盘会出现故障。

而根据卡内基梅隆大学的统计数据显示,某些系统中磁盘每年的替换率约为13%。

于是,每年中,几十甚至上百的磁盘损毁对于由成千上万个磁盘组成的PB级系统来讲是一种很平常的事;而对于规模更大的EB级存储系统,每年会有几万甚至十几万的磁盘发生损毁。

计算机除了容量、速度和价格外,人们有时更关心存储外设的可靠性能。

因为软件系统的崩溃可以通过重新安装操作系统和应用程序来实现,但是用户的数据是不能够丢失的。

所以存储设备应该无条件地保护好用户的数据。

故障、错误和失效存在着如下关系:①一个故障可能会导致一个或者多个错误。

②错误通常具有以下特性:错误具有两种状态:潜在状态和有效状态,并且会相互转换。

潜在的错误可能通过激活(activate而有效。

有效错误的影响可以从一个部件传送到另外一个部件,这样就会产生新的错误。

因此,有效错误要么是被激活的潜在错误,要么是由于错误传递而产生的新错误。

③如果错误影响到部件正常的服务时,部件就发生了失效。

④系统中的所有部件的故障、错误和失效均存在这样的关系。

对于故障产生的原因,可以归纳为以下4种;①硬件故障(hardware faults):设备失效产生的故障。

②设计故障(design faults):大部分这种故障由软件引起,小部分由硬件引起。

③操作故障(operation faults):由于用户操作的失误引起的故障。

④环境故障(environment faults):由于火灾、洪水、地震等引起的故障。

系统可靠性是指系统从初始状态开始一直提供服务的能力,可靠性通常用平均无故瘴时间(Mean Time To Failure, MTTF`)来衡量。

提高系统可靠性的方法包括有效构建方法(valid construction)以及纠错方法(error correction)。

有效构建指的是在构建系统的过程中消除故障隐患,这样建立起来的系统就不会出现故障。

纠错方法指的是在系统构建中设计容错部件,即使出现故障,也可以通过容错信息保证系统正常工作。

具体来说,可以把提高系统可靠性的方法分为:①故障避免技术(fault avoidance):通过合理构建系统来避免故障的出现。

②故障容忍技术(fault tolerance):通过冗余措施,虽然可能出现故障,但是可以通过冗余信息保证服务仍然能够正常进行。

③错误消除技术(error removal):通过验证,最大限度地减少潜在的错误。

④错误预报技术(error forecasting):通过分析,预报错误的出现。

为保证冗余信息在出现错误时不失效,通常需要将其存放在与错误部件不同的部件中。

这种方法的典型应用就是冗余磁盘阵列。

三、网络存储可靠性的增强策略可靠性问题是伴随着系统复杂化而出现的问题,系统可靠性研究也己从最初的军事领域扩展到国民经济领域。

随着数据的爆炸式增长,存储系统规模的持续扩大,数据可靠性己是分布式存储研究领域的一项关键技术,良好的容错技术在提高系统可靠性的同时还可以提高数据的访问效率。

数据可靠性技术的研究对于构建海量数据存储系统具有重要的意义。

3.1传统的复制备份策略增加数据冗余是实现数据可靠性的一般途径,当数据出现部分失效时,客户可以通过访问冗余数据满足自己的需求。

数据冗余提高了系统数据可靠性,但也增加了对存储资源的需求,特别是随着时间而成线性增长的管理费用及相关能耗,因此,面对海量数据存储需求的分布式系统在保证数据可靠性的前提下,如何提高系统的存储效率是降低相关成本的关键。

目前,最为常用的数据可靠性增强技术主要为基于镜像备份的可靠性增强策略,虽然从具体实现的角度,镜像备份与复制策略在技术细节上有些区别,但从逻辑实质上来讲这两种策略具有统一性,在本文中统称为复制备份策略。

基于多备份的可靠性增强技术简单直观,易于实现部署。

该种策略需要把多个相同的数据副本分存到不同的存储节点上。

显然该策略存储空间开销很大。

备份冗余是最简单也是分布式存储系统中应用最广的一类数据冗余模式。

冗余数据是原文件的多个副本,假定副本数为k,这k个副本被存储到系统的k个不同的节点中,由任意一个节点的副本都能得到原文件;当有一个节点发生故障时,由未发生故障的任意一个节点中的数据都能修复出丢失数据。

对于k个副本的备份冗余,系统允许某一时刻至多有k-1个节点发生故障。

该策略可根据复制备份时机分为静态复制策略和动态复制策略。

又可根据副本放置次序分为随机放置策略和顺序放置策略。

(1)复制备份策略的数据冗余问题由于存储系统中数据的损毁可以分为随机损毁和关联损毁[‘2]。

对于复制备份策略而言,顺序放置策略和随机放置策略是系统提高数据可靠性的两种主要放置策略。

把文件对象副本按照一定的次序分别放置在不同的节点上称为顺序放置。

该种放置策略对于系统的随机错误具有很好的防护性,因为,当一个放置策略可能产生的排列越多时,那么当系统中发生一个可以导致多个节点同时失效的随机错误产生时,系统中多个副本失效的概率将大大增加。

因此,产生排列数目有限的顺序放置策略对于随机失效模型会有很好的预防性。

随机放置策略是从存储系统中随机的选择若干个存储节点,然后将副本随机的发送到这些选择的节点上。

(2)复制备份策略的负载均衡问题对于复制而言,随机放置策略比顺序放置能够给系统带来更大的负载均衡,当然,客户端对数据访问的均等性和存储节点的同构性是随机放置策略可给系统带来均衡性的前提条件。

但事实上,由于存储数据受欢迎程度不同、存储节点的计算能力和存储能力也各异,该种策略往往并未达到很好的均衡效果,反而使得某些数据更加频繁的被访问。

(3)复制备份策略的附加能耗问题过去,由于传统的分布存储节点和数据的规模较小,对系统数据的冗余度、基础设施的投入、以及系统在运行过程中所带来的能耗等因素考虑较少,但在海量数据存储环境下,分布存储的规模巨大,能耗开销也很高,复制备份策略因过大的系统能耗也受到越来越多的质疑。

3.2低冗余高可靠的编码冗余策略针对存储系统的数据可靠性问题,近几年来,国内外学者进行了探索和研究,开辟了一条基于编码冗余策略的存储新路径。

国外主要有IBM的M.Blaum团队、加州理工的J.Bruck团队,田纳西大学的JS. Plank等团队。

M.Blaum团队与J.Bruck团队主要针对磁盘阵列的可靠性相关技术进行研究。

中科院的王晓京团队针对存储系统数据可靠性问题研究的较早并总结了编码冗余策略在存储系统中的优点。

1、编码冗余在保证系统可靠性的同时能够有效的降低系统内部数据冗余。

在编码冗余存储系统中,编码冗余策略认为系统中的任何存储节点都是对等的关系,而且系统中任何节点中存储的数据都会对重构原文件带来同等的效用,因而,该种策略可以容忍系统中随机节点的失效,即不论是随机损毁还是关联损毁。

相关文档
最新文档