海量数据存储概述

4 海量数据存储未来趋势
在存储介质方面，磁盘、光盘、磁带作为数据存储的主要载体，会 向着小型化、大容量、高速读写、高可靠性发展，三种主要存储介质还 可能同时存在一段时间，随着科技的进步与发展全新的存储介质也许会
很快出现。 海量数据存储技术的发展前展，可以归结为以下几个方面： 高容量光存储技术的到来可以说改变了目前的存储格局，为原本暗
1．2 光盘海量存储
光盘存储技术是近年来发展迅速的光学信息存储新技术。光盘存储 技术是一种光学信息存储技术，通过调制激光束在光学圆盘镀膜介质中 把信息编码以光点的形式记录下来。在记录及读取过程中，激光头不直 接接触光盘的表面，光盘上的记录信息不易被破坏，具有存储密度高、 容量大、检索时间短、易于拷贝复制、保存时问长、应用领域广等诸多 优点，因此光盘海量存储技术被大量的应用。
4海量数据存储的处理方法
1.选用优秀的数据库工具 2.编写优良的程序代码 3.对海量数据进行分区操作 4.建立广泛的索引 5.建立缓存机制 6.加大虚拟内存 7.分批处理 8.使用临时表和中间表 9.优化查询SQL语句 10.使用文本格式进行处理 11.定制强大的清洗规则和出错处理机制 12.建立视图或者物化视图 13.避免使用32位机子（极端情况） 14.考虑操作系统问题 15.使用数据仓库和多维数据库存储 16.使用采样数据，进行数据挖掘 17.海量数据关联存储
别
量
Level 0
无容错条 磁盘并行 带磁盘阵 输入输出 列
无 至少两块 视频、图 像编辑及 需要高带 宽的应用
Level 1
读取速度 是单个磁 磁盘镜像 盘两倍，
会计、金 融、付款 有 至少两块 等需要高
Level 5
方式
交叉存取 加分布奇 偶校检
写入速度 与单个磁 盘相同
最快的读 取速度， 中等的写 入速度
格低廉等优点占据了二级存储市场的重要地位，光盘设备由于同时具有 二者的特点因此应用在广泛的领域中。
1．1 磁带库存储
自从第一台磁带驱动器IBM726发明以后，磁带存储技术经过了多年 的发展，具有稳定、高可用、低成本等诸多优点，磁带已经成为重要的 存储设备。磁带技术可以通过脱机来避免在数据备份、迁移和保护等应 用中数据丢失的可能性，另外磁带技术在高可靠性、低成本等方面也比 其他存储设备具有优势，至今相同容量的磁带库成本比磁盘的RAID系统 还是要低很多，因此磁带技术只要不断提高I／0的传输速率，增加单个 磁带的数据容量，简化磁带管理软件的应用界面，磁带技术就不会在短 期内过时，目前解决企业数据长期保存的有效方法依然是采用磁带存储 技术。随着制造技术和生产工艺的不断改进，磁带将被做得越来越小， 存储能力越来越大，磁带库所占空间将减小。随着磁带机的自动化程度 的提高，传动系统故障率的降低，磁带存储性能的提高，磁带在存储备 份市场的主导地位还会存在相当长的时间。
Array
of
Inexpensive Disks，RAID)，是指使用两个或两个以上同类型、容量、
接口的磁盘，在磁盘控制器的管理下按照特定的方式组成特定的磁盘组
合，从而能快速、准确和安全地读写磁盘数据。
磁盘阵列的特点是将数据有选择性地分布在多个磁盘上，不仅提高
数据的可用性及存储容量，而且使得数据存取速度快、吞吐量大，从而
2．2 网络存储
网络存储分为：网络附加存储(Network AttachedStorage，NAS)、 光纤存储区域网FC—SAN、IP存储区域网IP—SAN。
NAS将存储设备连接到现有的网络上来提供数据和文件服务。NAS服
务器一般由存储硬件、操作系统以及其上的文件系统等几个部分组成。 NAS通过网络直接连接磁盘阵列，磁盘阵列具备了高容量、高效 能、高可靠等特征。。NAS将存储设备通过标准的网络拓扑结构连接，可 以无需服务器直接上网，不依赖通用的操作系统，而是采用一个面向用 户设计的、专门用于数据存储的简化操作系统，内置与网络连接所需的 协议，从而使整个系统的管理和设置较为简单。
淡的光存储带来了一线生机。虽然光存储器的支持者们一直宣传该技术 将成为下一代伟大的存储技术，但是即便在它得到广泛推广之后，其企 业客户基础在整个市场上的份额仍然很小。
分布式存储与P2P存储：分布式存储概念提出较早，目前再次成为热 点。P2P存储可以看作分布式存储的一种，是一个用于对等网络的数据 存储系统，它的目标是提供高效率的、鲁棒和负载平衡的文件存取功 能。
姓 名： 学 号：
海量数据存储方式概述
摘要：本文阐述多种海量数据存储介质、多种海量数据存储方式及 海量数据存储的发展前景，重点介绍数据存储系统中常见的各种存储介 质特性及应用的存储模式。
关键词：海量数据 磁盘阵列 磁带库 光盘库 虚拟存储
地理信息系统（Geographic Information System,GIS)是采集、存 储、管理、分析、显示与地理相关的数据的系统。目前，地理信息系统 凭借其开放的应用平台、透明的访问操作和高时效性等特点已经逐渐走 入一般公众的视野，服务对象从面向单一用户扩展到广大普通用户。其 中，海量数据存储技术作为地理信息系统发展过程中的重要支撑技术之 一，关系到整个地理信息系统的应用性能。
采用虚拟存储技术，可以支持物理磁盘空间动态扩展，从而使用户 不必抛弃现有设备，并实现了存储容量的动态扩展。虚拟存储使得数据 存储总体成本降低，随着用户对数据管理需求的不断增加，虚拟化技术 正在逐步成为存储领域的核心，虚拟存储不仅可以降低存储资源管理的 复杂性，而且可以带给系统高可用性和高可靠性，从而降低数据存储管 理成本。
2．1 直连式存储
直连式存储(DAS)即磁盘驱动器和服务器直接连接，存储作为外围 设备，在这种存储结构中，数据管理是以服务器为中心的，而且所有的 应用软件都是和存储子系统配套。DAS适用于一个或有限的几个服务器 环境，但存储容量增加时，不但存储供应的效率变得越来越低，而且可 升级和扩展性受到很大限制，当服务器出现异常时，更使数据不可获 得，同时存储资源和数据也无法进行共享。
当然光盘技术也存在着一些不足之处，还有一些尚待研究和解决的
问题，例如记录速度慢，保存时间短等，另外光盘存储格式还未建立统
一的光盘技术国际标准。随着记录介质、记录方法和系统性能的不断改
进和提高，光盘存储技术一定会达到更加完善的程度，从而不断满足人
们对海量信息存储新的要求。
1．3 磁盘阵列海量存储
磁盘阵列又称为廉价磁盘冗余阵列(Redundant
磁盘
数据读取、写入 发热量大、噪声 速度快，操作方 大、硬盘易损 便
海量数据的 很快 即时存取
光盘
单位存储容量成 表面易磨损、寿 本低，携带方 命短 便，数据查询时 间短
海量数据的 快 在线访问和
离线存储
目前市场上的存储产品主要有磁盘阵列、磁带机与磁带库、光盘库 等，其中磁盘设备由于存取速度快、数据查询方便、简单易用、安全的 RAID技术等占据一级存储市场的主要份额，磁带设备则以技术成熟、价
单张光盘的存储容量从CD盘片的几百兆到最新的蓝光DVD几十G，这 样的容量对于海量信息存储系统来讲是远远不够的，要想获得海量的数 据存取，就必须将大量存储不同信息的几十、上百甚至上千张光盘组合 起来使用。光盘存储的主要形式有以下几种：光盘塔、SCSI光盘塔、网 络光盘塔、光盘库、光盘镜像服务器(见表2)，其中光盘网络镜像服务 器是一种网络附加存储设备，代表了光盘库的发展方向。
镜像条带
Level 10 集
同Level 0
Level 0+1
条带集镜
像
同ቤተ መጻሕፍቲ ባይዱevel 1
可靠性的 应用
文件、数 据库Web、 有 至少三块 E—mail等 应用服务 器
数据库服 务器和需 有 至少四块 要高可 靠、高性 能的服务 器
图形应 有 至少四块 用、通用
文件服务 器
2海量存储的模式
海量的数据存储需要系统具有良好的数据容错性能和系统稳定性， 在发生部分数据错误时，系统可以在线恢复和重建数据，而不影响系统 的正常运行。
3 海量数据虚拟存储
虚拟存储是整合各种存储物理设备为一个整体，从而实现在公共控 制平台下集中存储资源，统一存储设备的管理，方便用户的数据操作， 简化复杂的存储管理配置，使系统提供完整、便捷的数据存储功能。虚 拟存储技术在用户操作系统看到的存储设备与实际物理存储设备之间搭 建了一个虚拟的操作平台，这样从应用程序一直到最终的数据端都可以 实施虚拟存储，虚拟化技术的最终功能可以在服务器、网 络和存储设备这三个层面上实现，即主机、网络和存储设备三个部分都 可实施虚拟存储。
数据网格：为了满足人们对高性能、大容量分布存储能力的要求所 提出的概念，类似于计算网格，是有机的智能单元的组合。
智能存储系统：包括主动的信息采集，主动信息分、主动调整等。 存储服务质量QoS：应用环境越来越复杂，存储需求区别也越来越明 显，这就需要为应用提供区分服务。目前的研究以基于网络存储的QoS 为主。 存储容灾：通过特定的容灾机制，能够在各种灾难损害发生后，最 大限度地保障计算机信息系统不间断提供正常应用服务。
表2：三种光盘设备性能比较表
访问速度 容量
成本
可同时共 享使用的 应用环境 用户数
光盘塔
中等
小
较高
少
片库
光盘库
慢
较大
最高
少 图书馆、 信息管理
光盘镜像 服务器
很快
最大
最低
中心
多 多种网络 环境
随着光存储技术的发展，光盘产品不断的系列化，光存储设备价格 不断的降低，应用领域越来越广泛，不仅满足海量数据的存储还能实现 一些基本的离线备份功能，因此目前多媒体海量信息存储载体或重要文 献资料备份媒体仍然采用光盘介质。
1 海量数据存储种类
海量数据存储介质分为磁带、磁盘和光盘三大类，由三种介质分别构 成的磁带库、磁盘阵列、光盘库三种主要存储设备，三种不同的存储介 质具有不同的数据存储特点(见表1)。