大数据作业

大数据环境下，数据存储技术的研究现状及发展前景
1、数据存储技术现状
互联网络从上世纪90年代开始，发展迅速，加快了信息传播和共享的速度，尤其是一些社交网站的兴起，数据量更是以前所未有的速度暴增，文字资料、声音、视频、图像等多媒体数据铺天盖地。

据资料显示，上世纪90年代，互联网资源不是很丰富的时代，网民月平均流量1MB左右，之后则快速增长，2000年后，逐渐发展为每月10MB、100MB、1GB，据估计2014年可能会达到10GB。

淘宝网每日几千万笔交易，单日数据量达几十TB，数据存储量几十PB，百度公司目前数据总量接近1000PB，存储网页数量接近1万亿页，每天大约要处理60亿次搜索请求，几十PB数据。

随着技术发展，大数据广泛存在。

在进入云环境的时代，传统IT系统存储技术面临建设成本高、运维复杂、扩展性有限等问题的挑战，系统存储扩容压力很大，主要表现在以下几个方面：首先，传统存储开放性不足，通常采用软硬件一体化解决方案，标准化程度低，不同厂家系统无法混合使用；其次，成本较高，且市场垄断严重，建设成本居高不下，扩容成本尤其高；再者，扩展性能较差，其单点扩展存在容量上限和接口带宽等限制，面对云时代PB级的海量存储需求，在容量和性能的扩大数据（Big Data）。

2、大数据环境下数据存储需求特点
随着现代信息网络技术发展，数据信息总量正呈指数级爆炸式增长，在如此大量数据产生的时代，用户的数据存储需求具有全新的特点：
2.1 对数据库高并发读写的需求
随着互联网应用的发展，Web 2.0应用强调的是以用户为主，需要根据用户个性化信息来实时生成动态页面和提供动态的信息，目前比较流行的微博就是如此。

该类应用对数据库的并发访问的负载就非常高，往往能达到每秒上万次的读写请求，甚至更多。

从已有的优秀的数据库产品看来，对于上万次SQL查询还能勉强应付，但是应付上万次SQL写数据请求时，I/O成了瓶颈。

2.2 对海量数据的高效率存储和访问的需求
以Facebook为例，它一个月就达到了2.5亿条用户动态，对于关系数据库来说，在一张拥有2.5亿条记录的表里面进行SQL查询，效率是极其低下乃至无法忍受的。

在未来大数据时代，海量数据的高效存储和访问是必须要解决的问题。

2.3 对数据库的高可扩展性和高可用性的需求
在基于W e b 的架构中，数据库是最难进行横向扩展的，当一个Web应用的用户量和访问量与日暴增时，数据库服务器却没办法像Web Server那样简单地通过更多的硬件和服务节点来进行性能扩展与负载分担。

对于很多需要不间断
提供服务的网站来说，由于这样的升级需要停机维护和数据迁移，将使用户体验值急剧降低。

类型数据的需求。

对于以上数据存储应用需求，传统存储应用技术是无法胜任云计算环境下应用需求的。

云存储技术的发展结合了各种存储技术应用的特点，在容错、吞吐量、冗余、读写分布、数据划分、负载均衡等特性方面进行技术提升，并综合多种存储技术以适应复杂的不同的数据存储需求。

3、大数据时代数据存储技术发展方向
3.1存储虚拟化
存储虚拟化属于现阶段及未来一段时间里数据存储技术发展的重点内容，LVM、RAID、SWAP 等此类均被囊括于存储虚拟化范畴。

存储虚拟化存在多方面优势特征，如简化存储方式、改善存储性能以及节约运营成本等。

结合存储虚拟化技术所提出的应对对策能够为数据中心消除一系列数据存储挑战，全面整合不同类型的异构存储数据，除去信息孤岛，促进数据共享、流动等。

3.2固态硬盘
固态硬盘属于现阶段数据存储领域较为关注的一种新型数据存储技术，其被视为一类革新性存储技术。

于计算机系统中，总线、L1cache、L2cache 等组成部分相互间，现阶段外存内存相互面临极大的存储鸿沟。

固态硬盘有别于常规磁盘，其属于一类电子器件机械装置，有着小型体积、强抗扰能力、高IOPS 及小耗能等特征。

鉴于此，固态硬盘能够极大改善外存内存相互存在的外存内存相互问题，计算机内部原有应对I/O 性能不足的相关技术及组件功效有着被固态硬盘取代的趋势。

3.3重复数据删除
重复数据删除属于现阶段既热门又主流的一种数据存储技术，其能够有效优化存储容量。

重复数据删除对集中重复数据进行删除，并留存重复数据中的一份，达到摒弃冗余数据的目的。

该类数据存储技术能够极大缩减物理存储空间需求，从而满足逐步提升的数据存储需求。

重复数据删除数据存储技术现阶段被广泛推广应用于归档系统及数据备份，由于数据经数次频繁备份之后，总是留下诸多的重复数据，两者一拍即合。

3.4云存储
云计算属于现阶段极为热门的IT 话题，其与人们日常生活、工作全面融合。

云存储同样如此，云存储致力于提供给使用者基于互联网的在线存储服务，其含有使用管理简便、按需付费以及弹性容量等特征。

目前，云存储多被应用于数据保护、数据存储以及分布式存储等相关技术领域。

对相关专业机构行业探析评估及实际发展状况而言，云存储发展方兴未艾，信息技术急速发展的背景下为云存储技术发展创造了有利契机。

3.5 SOHO 存储
SOHO 存储指的是个人式存储或者家庭式存储。

伴随社会经济的发展，人们生活水平日益改善，现代家庭中往往有着多部智能手机、PC、平板电脑及笔记本电脑等硬件设备，此类设备能够组建成家庭网络。

SOHO 存储的数据大多来源于个人文档、音乐电影、程序软件源码以及视频照片等，一些数据要与各种设备相互同步、共享，重要数据要与各种设备相互存储备份，要与各台设备相互查找文件等。

4、结语
处在信息更新变化日新月异的年代，我们每天都要接收到海量的信息，生活、工作没有什么东西可以离开信息的处理，信息的反馈，同时我们还要求查询过去信息时可以及时得到回复，这就对信息存储技术要了非常高的要求，即要求其可以存储海量的数据，还要反馈及时。

现实的环境迫切要求我们研究出一种可以解决我们当下系统的问题，设计出一套行之有效的办法。