基于集群技术的海量数据存储技术研究
海量数据聚合与存储技术研究
海量数据聚合与存储技术研究随着信息技术潮流的浪潮不断推进，大数据技术应运而生，随之而来的是海量数据的聚合与存储技术的不断发展。
在如今的信息社会中，数据已经成为信息的重要组成部分，海量数据的处理方式对于企业的经营发展和决策制定具有至关重要的作用。
一、海量数据的概念及其应用随着物联网技术的普及和互联网的快速发展，海量数据的概念已经成为了人们关注的焦点。
所谓海量数据，是指数据量十分庞大的数据集合。
它包含了各种类型、各种来源、各种格式的数据，并且其数据规模通常高达PB（千万亿字节）以上，甚至可能达到EB（百万亿字节）以上。
然而，海量数据并不是一个让人感到陌生的名词。
在我们日常生活中，各种各样的数据源不断涌现，如电商平台的用户购物信息、网络社交媒体上的用户行为数据、智能汽车上的行车信息等等。
这些数据都是海量数据的来源，其应用范围也非常广泛。
例如，金融行业可以根据海量的交易数据进行金融分析，医疗领域可以利用海量的医疗数据进行疾病预防和诊断等等。
二、海量数据聚合与处理的挑战然而，处理海量数据所带来的挑战也是巨大的。
首先，在海量数据的采集和处理过程中，需要大量的存储空间来存储数据，同时也需要高速的数据处理能力来满足数据分析的需求。
其次，在海量数据的处理中，常常会遇到各种各样的问题。
例如，数据重复和缺失、数据的完整性、数据格式不同等问题。
这些问题极大的影响着数据的真实性和准确性，因此需要采取一系列的技术手段来进行数据清洗和预处理。
三、海量数据聚合与存储技术的发展为了应对这一挑战，目前海量数据聚合与存储技术得到了全面发展，其主要包括以下几个方面：1、分布式存储技术。
分布式存储技术是目前海量数据处理的一种主流方式，它将数据分散存储在多台服务器上，拥有较好的数据可靠性和容错性。
常见的分布式存储系统有Hadoop Distributed File System（HDFS）、GlusterFS等。
2、NoSQL技术。
NoSQL技术是目前用于海量数据存储的一种技术，它是Not Only SQL的缩写，与传统的关系型数据库不同，它在DBMS中采用了与SQL不同的查询语言和交互模式，在处理非结构化和大规模数据方面表现出色。
海量数据存储与处理技术的研究与优化
海量数据存储与处理技术的研究与优化近年来，随着互联网技术的迅猛发展，海量数据的产生和存储需求不断增加，这对数据存储与处理技术提出了更高的要求。
传统的数据存储与处理方式已经无法满足大规模数据的需求，因此，海量数据存储与处理技术的研究与优化变得尤为重要。
为了高效存储和处理海量数据，研究者们提出了许多创新的方法和技术。
其中最重要的技术之一是分布式存储。
分布式存储将数据分割成多个块，并将这些块存储在不同的节点上，使得数据可以同时被多个节点访问。
这样一来，不仅能够提高数据的可用性和可靠性，还能够提高数据的处理性能。
另一个关键的技术是并行处理。
并行处理将数据分成多个块，并将这些块分配给多个处理单元并行处理。
通过并行处理，可以大大提高数据的处理速度和效率。
此外，研究者们还提出了基于内存的数据处理技术，如将数据存储在内存中而不是磁盘中，以提高数据的访问速度。
为了更好地存储和处理海量数据，还需要进行数据压缩和索引的优化。
数据压缩可以减少数据的存储空间，降低存储成本，并提高数据的传输效率。
索引优化通过设计高效的索引结构和算法，加快数据的检索速度和准确性。
这些优化方法可以使得海量数据的存储和处理更加高效和可靠。
同时，为了应对海量数据的增长和多样化，还需要进行数据清洗和预处理。
数据清洗可以移除无效数据、重复数据和错误数据，提高数据的质量和准确性。
数据预处理可以对数据进行转换和归一化，使得数据可以被更好地理解和利用。
此外，为了更高效地存储和处理海量数据，还需要利用机器学习和人工智能技术。
机器学习和人工智能可以通过分析大量的数据，发现数据之间的模式和关联，帮助人们更好地理解和利用数据。
通过自动化和智能化的方法，提高数据的处理速度和效率。
在海量数据存储与处理技术的研究与优化中，随着硬件技术的发展，硬件性能的提升也将为海量数据存储与处理带来更多的机会和挑战。
如存储介质的创新和高性能处理器的出现，能够更好地支持海量数据的存储和处理。
基于集群数据库技术的海量熵数据存储方案
ｉ ｐｅ ｎ ｉｇ ｈｅ ｃ ｅ ｅ ａｇ ｎｅｐ ｉｅ ｉ ｏ ｍａｉｎ ｓ ｔｍ ｃ ｎ ｕ ｅ ｌ ｔｒ ｎｒ ｐ ａａ ａ ｅ ｉ ｏ ｍ ｌｍｅ ｔｎ ｔ ｓ ｈ ｍ ，ｌ ｅ ｅ ｔｒｒｓ ｎｆｒ ｔ ｙｓｅ ｒ ｏ ａ ｓ ｃｕｓｅ ｅ ｔｏ ｙ ｄ ｔｂ ｓ ｌ ｋｅ ｃ ｍｍｏ ｒｌｔ ｎ ｌｄ ｔｂａｅ ｎ ｅａｉ ａ ａａ ｓ ．Ｔｈ ｏ ｅ ｓｈ ｍ ｅ ａｌ ｏ ｏ ｌ ｓｏ ｅ ｎ ａ ａ ｅ ｈ ｍａ ｓ ｎｒ ｐ ｄ ｔ ｏ ａｇ —ｃ ｌ ｅ ｒｆｓ ｅｆｃｉｅｙ ｕ ａｓ ｓｖ ａ ｏ ｏ ｓ ｓｅ ｃ ｅ Ｃ ｌ ｎ ｔ ｎｙ ｔｒ ａ ｄ ｍ ｎ ｇ ｔｅ ｓ ｅ ｔｏ ｙ ａａ ｆ ｌｒｅ ｓａｅ ｍｅ ｉ ｅ ｆｅ ｔ ｌ，ｂ ｔ ｌｏ ａ ｅ ｌｔ ｎ ｙ ｔｍ ｐ ｖ ｅ ｐａ ｓｏ ｃ ｓ ｆｒ ｅ ｔｒ ｉｓ ｓ ｘ ｎ ｉｎ ｏ ｔ ｏ ｎ ｅｐｒ ｅ ．
・
４ቤተ መጻሕፍቲ ባይዱ・
Ｃｏ ｍｐｕ ｅ ａ Ｎｏ ９ ０１ ｔｒ Ｅｒ ． ２ １
基 于集群数据库技术 的海量熵 数据存储 方案
程永 利
（ 建林 业职 业技 术 学院 自动 化 工程 系，福 建 南平 ３３０） 福 ５００
摘 要 ：介 绍 了熵数据 的基 本概念 ， 出 了利 用数据库 集群技 术解 决大型企业海量 熵数据存储 的方案。该 方案采用微 提 机构 建数 据库集群 来取代 大型企 业的高档数据 库服务器 ， 且集群 能无限扩充 。采 用该方案后企 业大型信 息 系统可 以像 使 用一般 的 关系数据 库一样使 用集群熵数据库 。该方案不仅 能够对 大型企 业海量的 熵数 据进行有效 的存 储和 管理 ， 而
且 能 为企 业 节省 大量 的 系统 扩 容 成 本 。
高速海量数据存储技术研究
高速海量数据存储技术研究随着科技的快速发展，海量数据存储技术在各个领域的应用越来越广泛。
尤其是对于高速海量数据存储技术的研究，已经成为当前研究的热点。
本文将介绍高速海量数据存储技术的研究现状和应用，并分析未来发展方向和挑战。
海量数据存储技术是指能够存储和处理大规模数据的存储技术。
这些数据可能是结构化的，也可能是非结构化的。
海量数据存储系统通常需要具备高性能、高可用性、高扩展性和高可靠性等特点。
海量数据存储技术可以根据不同的应用场景进行分类。
根据存储架构可以分为分布式存储和集中式存储；根据存储介质可以分为磁盘存储、固态硬盘存储和磁带存储等；根据数据访问方式可以分为块访问、文件访问和对象访问等。
高速海量数据存储技术是海量数据存储技术的一个重要分支，其目的是提高数据存储和处理的效率。
目前，高速海量数据存储技术的研究主要集中在以下几个方面：分布式存储架构是目前高速海量数据存储的主流架构。
这种架构通过将数据分散到多个节点上，并采用并行处理的方式，可以大大提高存储和处理的效率。
其中，Google的GFS和Hadoop的HDFS是分布式存储架构的典型代表。
固态硬盘存储是当前高速海量数据存储的主要介质之一。
固态硬盘具有访问速度快、功耗低、体积小等优点，可以有效提高数据存储的效率。
然而，固态硬盘的价格相对较高，寿命也比传统硬盘短，因此其应用范围还需要进一步拓展。
数据压缩和去重是高速海量数据存储中重要的技术之一。
通过对数据进行压缩和去重，可以大大减少存储空间，提高存储效率。
目前，许多公司都推出了自己的数据压缩和去重方案，如Facebook的Hadoop 压缩库、Google的Snappy压缩库等。
高速海量数据存储技术在许多领域都有广泛的应用，如互联网、金融、医疗、科学计算等。
例如，在互联网领域，搜索引擎需要处理海量的网页数据，采用高速海量数据存储技术可以提高网页索引和搜索的效率；在金融领域，证券交易所需要实时处理大量的交易数据，采用高速海量数据存储技术可以保证交易的顺利进行；在科学计算领域，基因组学研究需要处理海量的基因组数据，采用高速海量数据存储技术可以提高基因组数据分析的效率。
海量数据处理与存储技术的研究
海量数据处理与存储技术的研究随着互联网的迅猛发展，人类社会正进入一个充满信息化的时代，海量数据的产生和处理成为现代社会必不可少的组成部分。
为了更好地满足各种行业应用的需求，海量数据处理与存储技术得到了极大的关注，各种高效的方法得到了广泛应用。
本文将从几个不同的角度来介绍当前海量数据处理与存储技术的发展与应用。
一、基于云计算的海量数据处理与存储随着云计算技术的迅速发展，越来越多的企业开始利用云计算技术来处理和存储海量数据。
基于云计算的海量数据处理与存储，可以提供高性能处理能力、分布式存储服务和高可靠性保障等优点。
如阿里云、腾讯云、AWS等云计算厂商，已经提供了一系列的数据处理和存储服务，方便了企业的数据应用。
二、基于大数据技术的海量数据处理与存储大数据技术的出现，为海量数据处理和存储提供了更多机会和挑战。
大数据技术在各个行业领域都有着广泛的应用，如金融、电信、医疗等。
大数据技术主要包括数据采集、数据分析、数据挖掘和数据可视化等方面，通过这些方法可以更好地实现对海量数据的存储和处理。
三、基于人工智能的海量数据处理与存储人工智能技术的发展也成为了海量数据处理和存储的新方向。
人工智能技术主要包括机器学习、深度学习、自然语言处理等方面，这些技术可以帮助人们更好地利用海量数据进行分析和处理。
例如，通过机器学习和深度学习技术可以从大数据中提取有用的信息，洞察客户需求等商业应用。
四、海量数据处理与存储的挑战海量数据处理和存储面临的挑战主要包括：存储海量数据的成本、数据存储和传输的安全问题、海量数据的复杂性和集中管理的难度等。
同时，在数据处理的过程中，由于数据质量的不确定性、数据来源的多样性和数据处理的耗时等问题，会增加海量数据的处理难度。
因此，对于海量数据的处理和存储，我们需要在技术和管理上加强创新，应对这些挑战。
五、海量数据处理和存储的未来发展海量数据处理和存储的未来将快速朝着更为先进的方向发展。
随着5G网络技术、物联网技术、人工智能技术和云计算技术的不断进步，数据处理和存储技术将会更加智能化，更加高效和进一步的优化。
基于云计算的海量数据存储技术研究
基于云计算的海量数据存储技术研究随着互联网技术的不断发展，各种新型的数据应用呈现出爆发式增长。
在这样的大背景下，基于云计算的海量数据存储技术也随之应运而生。
那么，什么是基于云计算的海量数据存储技术呢？一、基于云计算的海量数据存储技术是什么？随着数据量的不断增大，传统的数据存储架构已经无法满足各种新型数据应用的需求。
基于云计算的海量数据存储技术通过将数据存储在云平台上，实现了无限制的存储能力和高效的数据处理能力。
这样的技术可以方便用户进行数据的上传、下载、处理和管理，并能够为用户提供可扩展的存储服务。
二、基于云计算的海量数据存储技术的特点1.高可靠性：基于云计算的海量数据存储技术采用了多副本存储技术，以确保数据的完整性和可靠性。
通过数据备份和恢复机制，可以在数据丢失时快速地进行数据恢复，保证了数据的安全性。
2.高性能：基于云计算的海量数据存储技术采用了分布式存储架构，可以对数据进行水平扩展，以满足海量数据的存储需求。
同时，基于云计算的技术可以实现数据的并行处理，提高了数据的处理效率和性能。
3.可扩展性：基于云计算的海量数据存储技术可以随着用户的需求进行快速扩展。
通过数据的分区和分片，可以将数据存储在多个节点上，实现数据的负载均衡，提高了存储系统的可扩展性。
4.低成本：基于云计算的海量数据存储技术可以大量降低数据存储的成本。
传统的存储方式需要用户自己购买硬件设备进行存储，而采用基于云计算的方案可以将存储设备的维护任务交给云平台方，用户只需要按量付费即可轻松实现数据存储和处理。
三、基于云计算的海量数据存储技术的应用场景1.医疗健康：在医疗健康领域，基于云计算的海量数据存储技术可以用于存储和管理电子病历、影像数据和生命体征数据等。
通过云平台的数据分析和挖掘，可以为病人提供更加个性化的治疗方案和服务。
2.金融服务：在金融服务领域，基于云计算的海量数据存储技术可以用于存储和管理用户交易数据、风险评估数据和行业趋势数据等。
海量数据存储与处理技术研究
海量数据存储与处理技术研究随着互联网的快速发展和人们对数字化生活的不断追求，大量的数据正在被产生和积累。
这些数据涉及各种各样的领域和行业，包括金融、医疗、科学研究、政府管理等等。
如何存储和处理这些海量数据已经成为了一个全球性的研究热点。
一、海量数据存储技术对于海量数据的存储，传统的文件系统和数据库已经无法满足要求，因为它们的设计都是针对小规模的数据存储和查询。
因此，研究人员开始开发新型的存储系统，以解决海量数据存储的问题。
分布式存储系统是解决海量数据存储问题的一种技术手段，它将数据分散存储在多个计算机之间，通过网络进行通信和交换数据。
这样做的好处是可以增加数据存储的可靠性和可用性，提高数据处理的效率和速度。
Hadoop是目前最为流行的分布式存储系统之一，它最初是由Apache基金会开发的，用于处理大数据问题。
Hadoop最大的特点是其能够在数千台服务器上存储和处理PB级别的数据，其基本原理就是将数据分成固定大小的块，然后分散存储在若干台服务器上。
它的优点是可以快速地处理大数据，而且可以容忍服务器的故障和数据的丢失。
但是，Hadoop也存在一些问题，其中最严重的是可扩展性问题。
由于Hadoop采用了Master-Slave的架构，当数据集规模增加时，单个Master节点可能会成为性能瓶颈，并且不容易水平扩展。
因此，一些新型的分布式存储系统，如Ceph和GlusterFS，开始出现，并受到越来越多人的关注。
二、海量数据处理技术除了存储，海量数据的处理也是一个巨大的挑战。
海量数据的处理需要大量的计算资源和算法，使得传统的计算模型和算法已经无法满足要求。
MapReduce是一种被广泛使用的分布式计算模型，在Hadoop中得到了广泛的应用。
该模型基于Map和Reduce两个函数，其中Map函数用于将输入数据分割成若干个小块，并在每个小块内进行并行处理；Reduce函数用于将处理后的结果合并成一个最终的结果。
海量数据存储技术的新进展
海量数据存储技术的新进展如今的数字化时代，人们已经进入了信息大爆炸的时代，每天都有海量的数据产生，如何对这些数据进行存储和管理，已经成为了当今互联网技术的关键问题之一。
随着计算机技术、网络技术和数据挖掘技术的不断发展，海量数据存储技术也在不断发展和进步。
本文将介绍海量数据存储技术的新进展。
一、基于云计算的海量数据存储技术随着互联网的普及，云计算已经成为了当前IT技术的热门话题，同时也成为了存储海量数据的主要方式之一。
基于云计算的海量数据存储技术可以帮助企业、机构、政府等更好地管理数据。
相比于传统的本地存储方式，基于云计算的海量数据存储技术可以减少一些存储成本和维护费用，并且提供更加高效的存储和分析能力。
一些云存储服务商如Amazon Web Services、Microsoft Azure、Google Cloud等也已经提供了稳定、安全且高效的云存储服务。
二、大数据存储技术的发展近年来，大数据技术已经成为了各行各业的关键词之一，同时也成为了存储海量数据的主流技术之一。
大数据存储技术包括基于Hadoop的存储方式、基于NoSQL的存储方法、以及云存储等。
其中，基于Hadoop的大数据存储技术可以处理海量数据，并提供可靠的数据备份，而基于NoSQL的存储方式，则具备高可扩展性和高性能，并且可以支持结构化、半结构化和非结构化数据的存储。
除此之外，云存储也可以帮助企业、机构、政府等更好地管理和分析大数据。
三、存储介质的不断创新存储介质是存储技术的关键组成部分之一，同时也是影响存储性能的主要因素之一。
为了满足海量数据的存储需求，存储介质也在不断创新和提高。
近年来，随着固态硬盘技术（SSD）的不断发展，SSD已经成为了替代传统磁盘的主要技术之一，并且价格也逐渐趋于合理。
同时，冷存储和热存储也被广泛应用于存储行业中，冷存储主要是针对不经常访问的数据，而热存储则是针对高频访问的数据。
相比于传统的存储方式，新型存储介质可以提供更加高效、可靠、快速的存储和分析能力。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
技术创新《微计算机信息》(测控自动化)2010年第26卷第6-1期360元/年邮局订阅号：82-946《现场总线技术应用200例》软件天地文章编号:1008-0570(2010)06-1-0196-03基于集群技术的海量数据存储技术研究Research of massive data storage in cluster technique based(国防科学技术大学)赵瑞峰汤晓安干哲ZHAO Rui-feng TANG Xiao-an GAN Zhe摘要:随着卫星遥感技术的发展,信息存储系统数据规模呈TB 级迅速增长,如何有效存储与管理这些数据已成为亟待解决的问题。
本文根据海量数据特点,引入集群技术,设计了由应用服务器集群、数据库服务器集群和信息存储集群组成的多级集群系统架构,并通过实验验证了集群系统具有可扩展、负载均衡和故障转移等特性,在实现数据存储海量化的同时,提高了系统稳定程度,对信息系统具有重要作用。
关键词:集群技术;海量数据存储;Oracle RAC 中图分类号:TP392文献标识码:AAbstract:As the development of Satellite Remote Sensing technique,the data size of information storage systems is rapid growing by TB-level,how to effectively store and manage them has become a serious problem.According to the characteristics of mass data,this paper introduces the clustering technology,and designs a multi-level cluster system architecture,that composed by application server clusters,database server cluster and information storage cluster.Then do a verification experiment of the cluster system has the scala -bility,load balancing and failover features,at same time of achieving massive storage,this will improve the stability and play an im -portant role in the information systems.Key words:cluster technique;massive data store;Oracle RAC1引言随着卫星遥感技术的发展,战场监测手段日趋多样,未来的信息系统应当能够实时地将各种复杂的战场态势信息以图形图像的形式直观地表现出来,这些态势信息不仅包括大量的遥感影像数据,还包括军事目标、军事行动、友军、敌军、中立部队、设施的位置、进展、状态和分布等数据,这些数据统称为战场环境信息。
战场环境信息具有容量巨大、来源多样、更新频繁等特点,如何有效的存储与管理这些数据,使其满足作战应用高可用可靠的要求,是推进信息化建设的重要技术保障。
在海量数据存储方案上,网络存储已成为共识,当前常见的网络存储方案有网络附属存储(network attached storage,NAS)和存储区域网络(storage area network,SAN)。
美军在网络存储研究上走在各国前列,比较典型的应用有美国海军奈普逊(Naptheon)SAN 系统,美国陆军任职指挥部(The U.S.Army Accessions Com －mand)SAN 系统,以及美国空军战斗气候学中心(The Air ForceCombat Climatology Center)NAS 存储系统。
而我国在网络存储领域起步较晚,军事领域的应用更为鲜见。
从国外发展来看,网络存储系统复杂研发周期长,且存储设备一次性投资高,随着软硬件技术的快速发展,原有设备被迅速升级换代,难以满足新的应用需求。
本文将集群技术引入海量数据存储,该技术是通过高速网络互联并以单一系统模式加以管理的计算机组合,集群具有良好的可扩展性、高度的可用性、负载平衡性和并行运算高效性等特点,文中设计了多级集群系统架构,并通过实验验证了集群系统的各项特性。
2集群技术集群技术是目前计算机系统设计中最热门的技术之一。
简单来说,集群即松散耦合的一组计算机,其中每一台计算机称为集群中的一个节点(Node),这些节点通过高速网络连接起来,统一作为计算机资源工作,对外部世界形成一个透明的系统映像。
理想状态下,用户几乎完全感觉不到集群系统底层的节点,在他们看来,集群是一个系统,而非多个计算机。
集群系统中的两个或多个节点通过相应的硬件及软件实现互连,每个节点都是运行自身进程的独立服务器。
这些进程间可以彼此通信,对客户机来说就形成了单一向用户提供应用程序、系统资源和数据的协同系统。
除此之外,集群系统还可以采用向集群中增加服务器的方式,增强整体处理能力,同时集群系统还具有故障转移的能力,通过系统冗余提供集群固有的可用性和可靠性。
集群存储是集群技术的另一广泛应用领域,集群存储系统是高速互联的一组存储节点,与分布式存储一样,系统将数据分散地存储在多台独立的设备上,而且集群中的设备既可以独立运作,相互之间又可以合作,每个存储节点不仅可以访问本节点的存储空间,还可以访问其他节点的存储空间,所有节点的空间以一个虚拟磁盘的方式提供给客户端用户。
集群存储具有容量可扩展性、性能稳定性及系统可管理性的优势,使其非常适合那些持续增长存储规模的不同环境,实现即时供应(Just-in-time)存储,避免破坏性升级和增加管理的复杂性。
使用集群存储解决方案可以获得可扩展性和高可用可靠性,系统易于维护,具有非常高的整合带宽等优点。
集群存储最典型的应用是Google 体系结构,它是大量计算机内置硬盘的组合,含899个机架(每架80台PC,每台PC 有2个硬盘),共79,112台PC 机,有158,224个硬盘,总容量为6180TB 。
赵瑞峰:硕士研究生基金项目:基金申请人:汤晓安;基金颁发部门:国防科工委(项目名称和编号不公开)196--邮局订阅号：82-946360元/年技术创新软件天地《PLC 技术应用200例》您的论文得到两院院士关注3多级集群系统架构战场环境信息复杂多样,数据来源广泛更新频繁,数据量巨大,特别是遥感影像数据呈海量规模,同时对数据稳定性和系统可用性要求极高。
集群技术非常适合海量数据存储系统,综合运用服务集群和存储集群可提高系统整体可扩展性和可用可靠性,这在复杂多变的系统应用中极为重要,多级集群系统架构如图1所示。
图1多级集群系统架构图3.1应用服务器集群战场信息系统是未来信息战的核心,要求服务器能够高效可靠地并发处理各个用户的请求,保证畅通的通信访问,在应用服务器中引入集群,支持单点登录、集群管理,在集群中设置主控服务节点进行负载均衡和故障转移,使各用户的请求均衡分配至应用服务器,并通过应答轮询检测故障服务器,实现服务高可用可靠性。
国内外很多学者对动态负载均衡算法作了深入研究,常见的负载平衡算法有轮转调度法、加权轮转调度法、最少连接调度法、加权最少连接调度法等等。
集群中每台服务器均提供一致的功能,整体向外提供透明的服务,用户不需要关心究竟连接到了哪一台应用服务器。
3.2数据库服务器集群数据库服务器是数据存储的核心,对于海量数据存储,如何迅速便捷地查询与管理数据,并在网络有限带宽下实现数据的高效传输,以及保证服务的高可用可靠性是数据库服务器面临的主要问题。
Oracle 的真正应用集群(Real Application Clusters,RAC)提供了数据库并行服务技术,将数据库服务与数据存储相互独立,实现了服务应用集群。
RAC 支持多进程并行访问,提供透明的应用可伸缩性,且能够提供系统均衡负载和故障转移功能。
RAC 应用了高速共享缓存融合(Cache Fusion)技术,集群节点通过私有网络实现内联心跳,各节点通过共享缓存能够迅速有效地在集群各服务器上共享被频繁访问的数据,减少磁盘I/O 操作。
以此设计的数据库服务器集群结构见图2。
3.3信息存储集群战场环境信息具有数据容量巨大,增长迅速的特点,单一设备难以满足其存储容量要求,并且随着数据时空综合特性需要的提出,存储容量需求将迅速增大,要求存储环境具有良好的可扩展性,集群存储正适合这种应用。
集群存储是网络存储方案之一,构成它的可以是网络附属存储或存储区域网络。
NAS 是用一个装有优化的文件系统和瘦操作系统的专用数据存储服务器,采用NFS (Network File Sys －tem)协议、CIFS(Common Internet File System)协议提供跨平台的文件共享功能。
SAN 是通过专用高速网将一个或多个网络存储设备(如磁盘阵列RAID)和服务器连接起来的专用存储系统。
SAN 以数据存储为中心,采用可伸缩的网络拓扑结构,提供SAN 内部任意节点之间多路可选择的数据交换,并且将数据存储管理集中在相对独立的存储区域网内,实现最大限度的数据共享和数据优化管理,以及系统的无缝扩充。
从实现上来看,对比价格昂贵的光纤通道(Fiber Channel,FC),以IP 网络实现的SAN 更具潜力。
NAS 或SAN 提供了数据存储的不同形式,且两者间界线越来越模糊,而集群存储更偏重于提高并行及整体性能,它们间并不属于从属关系,而是实现不同存储需求的解决方案。
'图2数据库服务器集群结构图4系统实验4.1实验系统组成结合前文系统架构,本文以某战场信息系统为背景,采用Oracle 集群技术和空间数据库引擎(Spatial Database Engine,SDE),设计了基于集群技术的信息储存实验系统。
其中,数据库服务器集群由三台PC 计算机组成,初始连接两台,测试集群扩展性时接入第三台,PC 机使用单CPU,操作系统为Windows 2003Serve,主频2.4GHz,内存512M,配有双网卡及SCSI 接口卡;信息存储集群由两块8.0GB 的SCSI 磁盘组成。
实验系统结构如图3所示。
图3实验系统结构图4.2数据存储结构实验系统存储了大量遥感影像数据、DEM 数据及其他数据,系统采用美国地理信息研究机构ESRI 推出的ArcSDE 空间数据库模型,并将其存于Oracle 数据库中。