基于云环境下的海量大数据存储系统设计

ＥＬＥＣＴＲＯＮＩＣＳ　ＷＯＲＬＤ・探索与观察　
基于云环境下的海量大数据存储系统设计　
武警北京市总队第二医院刘斌　
【摘要】云环境下的大数据处理是未来数据存储、处理的主流技术。对此，本文通过对云环境下大数据的存储、管理研究，分别对系统存储　
文件夹、文件卡、数据处理算法进行设计，搭建成一个云环境下的大数据存储平台。最后，通过平台的实际应用，结果表明：云环境下存储　
技术能够实现数据快速存储、数据处理，提高了数据的存储、管理效率与质量。　
【关键词】云环境；大数据；数据存储系统；系统设计；算法　

引言　
近年来，随着计算机技术与互联网技术的快速发展，互联网的　信息量呈现大量增长的现象，对大量的数据进行存储、处理是一件较　为困难的事情，传统的数据存储、处理技术已经不能满足当下人们对　数据处理、存储的需求。针对此问题，本文通过对云环境下大数据的　存储管理研究，设计一个云环境下大数据存储软件，分别对系统的存　储文件夹、文件卡、数据处理算法进行设计，构建了一个云环境下的　大数据处理平台，平台的应用结果表明：云存储技术能够实现快速存　储、数据处理，提高了对数据的存储、管理效率与质量。　１．云环境与大数据内涵　云计算是将数据信息的处理方式从个人电脑ＰＣ与互联网转移　到数据中心的一种模式。云计算不仅涉及到软件，还涉及到硬件等　设施。数据的存储与管理对任何企业都是非常重要的，而数据的安　全性是数据存储的关键。在云计算环境下，数据的可用性与持久性　对存储服务也是非常重要的。一般来说，一个大型的元计算服务有　专属的数据中心，大量的数据存在于各个不同的地方，数据以副本　的形式存在于每个不同的地方，建立较好的容错机制，提高大数据　的存储、利用质量。　大数据一般是指在规模上和复杂度上都是难以用现有的数据库　管理工具或传统的计算方法完成对数据信息分析处理的数据。大数　据是当今世界流行的数据分析方法之一，需要从信息时代生活中，　分析大量的信息数据，从中得到各种各样的有用数据信息。大数据　具备五个特点：数据量较大、种类多、速度快、时效高、价值密度　低。目前，大数据主要存在以下几个方面的挑战：　（１）数据采集存储和生命周期的管理。由于现代互联网络的　大力发展，数据信息的类型、结构、模式变得更加复杂；　（２）数据包的处理。数据包的价值密度是较低的，需要快速　地提取有用信息，具备数据处理高效、可信及可视化等特点。对于　同一个数据信息，采用不同的处理方法与分析模型，最后得到的数　据结果相差较大。大数据的处理结果还需满足数据的可视化呈现、　可追溯、可判断等相关需求。　（３）数据的安全与隐私问题。在存储、处理、传输大量数据　信息的过程中，都需要处理安全方面的问题。大数据时代，往往生　产数据的人也同时是使用、管理数据的人，所以原有的技术手段已　经显示出不足，无法满足现在大数据的安全要求。　２．云环境下的大数据存储原理　大数据的存储原理为：在数据存储的过程中，根据相关的存储　节点，建立一个大型的云环境数据存储系统，通过该系统将大量的　数据处理任务分解为各个小的任务，将数据的大集合区域分解为各　小区域，然后并行进行数据处理。以下为处理的详细步骤：　根据上述原理中的数据处理过程，在并行处理数据时，假设Ｒ　为需存储的大量的数据，有ｋ元属性，Ａ　，Ａ　，Ａ，，Ａ　，代表大量　数据的各属性，其中Ａｉ是大量数据被存储在第ｍ个节点上，　＝Ｌ　ｊｘ　，　，４）　在大数据平台数据处理过程中，大量的数据Ｒ为：　；（÷　÷　，，÷　）　（２）　根据上述的步骤可完成与数据平台的数据存储优化与并行处理。　３．云环境下的海量大数据存储系统设计　３．１存储设计　云存储系统文件存储系统的把节点主要有两部分：数据节点、非　数据节点。系统中的主要成分是数据节点（图中ＤａｔｅＮｏｄｅ节点），管　理节点与监控节点为非数据节点（图中Ｍａｓｔｅｒ节点）。Ｃｌｉｅｎｔ节点即为　访问的客户。Ｎｏｄｅ节点为系统主要部分，主要包括数据存储、数据查　询、事务处理，主要完成确保系统大部分任务的正常运行。Ｍａｓｔｅｒ　
节点主要实现对系统整体状态的监控，包括系统节点状态、局部数　
据节点的查询、保持文件块地址信息等。　

图１云存储系统结构示意图　
３．２文件块设计　
在存储系统存储文件时，规定每个文件块都用一个主副本，每　
次事务处理文件块时主本控制所有副本的信息更新。文件块还有以下　
控制信息块：　（１）主副本所在节点编号：系统中各节点都在Ｍａｓｔｅｒ　
节点获得属于本节点的编号，且与本节点的地址组成一个节点编号。　
（２）副本个数：包括主副本和其他副本，一般情况下，值为１时，代　
表无其他副本，值为０则代表此文件块不存在。（３）副本所在节点编　
号：保存所有节点编号，可实现根据节点编号寻找副本节点地址信　
息与系统编号的功能。　
３．３更新算法设计　
本数存储系统采用谷歌公司的ｃｈｕｂｂｙ服务机制，Ｃｈｕｂｂｙ算法主要　
通过５台机器组成一体实现该算法的功能，这样就可支撑万台机器锁，５　
台机器本身则采用完全冗余策略，Ｃｈｕｂｂｙ内部采用Ｃｏｎｓｃｎｓｕｓｐｒｏｔｏｃｏｌ协　
议保证系统的一致性，在系统内部的５台机器中设定一个Ｍａｓｔｅｒ，随着　
时间的推移而自动更新。Ｃｌｉｅｎｔ￣Ｃｈｕｂｂｙ之间采用ｅｖｅｎｔ方式通信。　

４．实际应用　
现阶段，云存储越来越受到关注，应用范围也越来越广，各个领　
域都有较好的应用范例。随着城市化的快速发展，城市监控的网络变　
得越来越重要，以下为云存储平台在视频监控领域的应用情况。　
随着各互联网公司的加入，云存储研究相关人员将互联网相　
关产品中的信息与云存储应用绑定，增加用户的便捷性。在互联网　
云存储技术的支持下，互联网上消费电子产品的信息快速流通得以　
实现，有图片、文字、音乐、视频的信息，实现产品信息的自由流　
通，为用户提供了产品的交流元素。在该系统中需要提供存储容量　
大于ＩＯＰＢ的存储系统。互联网云存储对访问要求较低，需要实现　
对数据的保护、压缩、删除等操作，公司根据用户对平台的存储服　
务空间、访问流量等进行相关的费用收取。　

５．结论　
云环境下的海量数据存储技术是未来发展的趋势，云平台是实　
现该技术的载体。针对传统的数据存储、处理方式的各种不足，本　
系统采用云环境下的存储技术，实现对数据的安全、快速存储、处　
理操作。通过对实际工程的应用，结果表明云存储技术的应用提高　
了对海量大数据的存储、处理操作的效率与质量。　

参考文献　
［１】邵或．大数据云存储中的并行优化处理方法仿真叫．计算机仿　
真，２０１６，３３（４）：３９５－３９８．　
［２】费贤举，王树锋．基于云环境下的海量大数据存储系统设计卟　
计算机测量与控制，２０１４，２２（７）：２２５９－２２６２．　

电子ＤＭｔ　・９９・