网络大数据挖掘云服务平台构建

网络大数据挖掘云服务平台的构建
【摘要】本文主要探讨了网络大数据挖掘云服务平台的构建。

首先介绍了大数据、云计算的基本概念，然后分析了mapreduce分布式处理技术，最后探讨了网络大数据挖掘云服务平台的体系结构。

【关键词】大数据；数据挖掘；云计算；云服务平台
0 引言
随着新一代信息技术的飞速发展，网络中产生的数据规模越来越大，从mb级发展到gb甚至tb级大数据。

并且大数据来源的对象也变得越来越错综复杂，从不同类型的数据库到视频数据、多媒体数据、传感器网络、社会网络和大规模的电子商务等等。

这种发展给现有的数据挖掘系统带来了巨大的挑战：处理这些大数据的难度很高，现有系统的计算能力很难达到要求，现有的分布式计算技术也难以实现大规模的高性能计算。

新一代信息技术云计算是一种基于互联网的超级计算模式，在远程的数据服务中心里，将成千上万台计算机和服务器连接在一起，可以提供高性能的计算，用户可以通过计算机、笔记本、手机等方式接入数据中心，按自己的需求进行运算。

因此，将云计算运用于传统的数据挖掘中将具有非常重要的实践意义，为复杂网络环境下面向大数据的挖掘服务带来了新的机遇，同时也为大数据挖掘研究提出了新的挑战性课题。

1 大数据
所谓的大数据（big data），主要指的是所涉及的资料数量规模大到无法通过现有的主流软件工具，在较短时间内达到选取、处理、管理并整理成为对企业和个人用户有价值的信息。

它主要有4个特点：volume、velocity、variety、veracity。

1）所涉及的数据数量巨大，从tb级别跃升到pb级别；
2）数据类型繁多，产生数据的来源很多，包括网络日志、网页图片、网络视频、文本和文件信息等等；
3）有价值的数据比例低，以监控的视频媒体数据为例，在连续不断的断监控过程中，可能有价值的数据仅仅只有三四秒；
4）对处理的速度要求快，要求计算机系统能够提供大规模的高性能计算。

大数据需要新一代信息技术，在合适的时间内高效地处理海量的数据，主要包括云计算平台、大规模并行处理数据库、可扩展的存储系统、分布式文件系统、数据挖掘和计算机网络等等。

2 云计算的概念及mapreduce分布式处理技术
云计算是指计算机网络中所有设施（包括软件和硬件）的交付和使用模式，用户可以通过互联网根据自己的需求向服务提供商申请所需的各种计算资源。

广义的云计算是指服务的使用和交付模式，用户可以通过互联网以按需、易扩展的方式获得自己想要的任何服务（可以是硬件、软件、计算机网络、互联网相关的，也可以是其他任意的服务）。

现有的google的云计算平台能利用大规模的mapreduce分布式
设计思想来实现高性能计算。

mapreduce分布式处理技术是云计算平台中的核心设计思想，适合用来处理大数据或海量的数据。

它的思想是将要处理的数据或问题拆解成map（映射）和reduce（化简）的方式：先通过映射程序将大数据或海量数据切割成互不相关的部分，再将其分配给大量的计算机处理从而达到高性能的效果；然后将上述分布式运算的结果通过化简程序将结果汇总，输出给用户需要的结果。

mapreduce分布式处理技术的实现是指定一个map函数，把原始的数值（key/value）映射成新的数值（key/value），形成一系列过渡形式的数值，再将过渡形式的数值传给reduce函数，把具有相同形式的key的value合并在一起。

map和reduce函数具有一定的关联性：map （k1，v1） -> list（k2，v2）；reduce （k2，list （v2）） ->list（v2），其中v1、v2数据可以是简单数据，也可以是比较复杂的数据。

详细的执行过程如下：
（1）把用户要执行的大数据和程序复制到主服务器上和每一台分布式的节点服务器上。

（2）主服务器根据调度算法选择哪些节点服务器来执行映射程序，哪些节点服务器来执行化简程序。

（3）分配所有用户要执行的大数据和程序到执行映射程序的节点服务器上进行切割，形成小块数据，并将小块数据存入节点服务器上。

（4）执行汇总程序的节点服务器，远程读取每一份映射后的结
果，进行汇总和排序，同时执行汇总程序，最终将结果输出给提交任务的程序或用户。

3 网络大数据挖掘云服务平台的体系结构
为了实现网络大数据挖掘云计算服务平台的服务架构，提出图1所示的体系结构，该结构主要包括以下几个层次：
3.1 物理资源
该层位于云计算架构的底层，是云计算平台的基础。

云计算服务提供商能提供的能支持计算机正常运行的一些硬件设备，可以是价格高昂的高端服务器，也可以是价格低廉的高密度低成本服务器、海量存储设备和高性能计算设备等硬件基础设施。

该层担着云计算平台管理、资源调度、作业调度等高负载业务，是云计算核心业务的必然选择，是整个云计算体系的核心设备，主要用于提高云计算数据中心的数据处理能力。

3.2 虚拟化资源
虚拟化技术是云计算的技术基础。

该层采用虚拟化技术将底层的物理资源（包括服务器、存储与网络设备）全面虚拟化，将云计算中的计算、存储、应用和服务都变成了资源，这些资源可以被动态扩展和配置，云计算最终才能在逻辑上以单一整体的形式呈现。

3.3 基础设施服务
基础设施服务层对应iaas基础设施即服务，它通过计算机网络向用户提供计算机（物理机和虚拟机）、存储空间、网络连接、负载均衡和防火墙等基本计算资源；用户在此基础上部署和运行各种
软件，包括操作系统和应用程序。

3.4 平台服务
平台通常包括操作系统、编程语言的运行环境、数据库和 web 服务器，该层提供开发环境、服务器平台、硬件资源等服务给用户，也可以通过一组接口提供给用户，用户在此平台上部署和运行自己的应用。

用户不能管理和控制底层的基础设施，只能控制自己部署的应用。

3.5 大数据挖掘云服务
大数据挖掘云服务层位于平台服务层和应用服务层之间，主要包括目录服务、大数据访问服务、大数据预处理服务、大数据挖掘算法和应用访问服务、流管理服务。

具体介绍如下：
3.5.1 目录服务
各种服务的资源都可以以目录的方式展示给用户，用户查看目录中的资源便可以方便的选择。

3.5.2 大数据访问服务
用户根据自己的任务，需要查找、上传或下载所需要的数据，数据访问服务为用户提供了良好的接口让用户方便进行这些操作。

3.5.3 大数据预处理服务
由于网络中产生的大数据来源的对象很多，无法直接进行数据挖掘，或挖掘结果差强人意，所以为了提高数据挖掘的质量，必须进行数据预处理。

数据预处理有多种方法：数据清理，数据集成，数据变换，数据归约等。

这些数据处理技术在数据挖掘之前使用，大
大提高了数据挖掘模式的质量，降低实际挖掘所需要的时间。

3.5.4 算法和应用访问服务
用户在编辑工作流的时候，需要查找满足需求的算法和应用（包括并行关联规则算法、并行分类算法和并行聚类算法等等），算法和应用服务提供了良好的接口让用户方便数据和应用的访问。

3.5.5 流管理服务
流管理服务包括工作流的编辑和执行，以及用户对流的执行过程的监控和控制，并且在执行过程中会生成相应的日志。

3.6 应用服务
该层主要接收用户的数据挖掘任务，并将其请求的参数传递给大数据挖掘云服务层，大数据挖掘云服务层再根据用户提交的请求参数，在数据挖掘的算法库中选择合适的算法，调用经过预处理的数据，再分配到云计算平台的mapreduce 平台上进行并行数据挖掘，运算以后的结果通过应用服务层反馈给用户。

用户可以通过该层的可视化界面管理和监视数据挖掘任务的执行，并且可以很方便地看到云计算平台的任务执行结果。

4 结束语
本文针对传统数据挖掘的问题提出了网络大数据挖掘云服务概念，介绍了大数据的特点和云计算的概念，分析了mapreduce分布式处理技术的优势，探讨了网络大数据挖掘云服务平台的体系结构，希望能对同行提供一定的参考。

当然本文只是提出了基本的框架，具体的实现有待进一步深入地研究。

【参考文献】
[1]俞华锋.基于云计算的物流信息平台的构建[j].科技信息，2010（01）.
[2]贺瑶，王文庆，薛飞.基于云计算的海量数据挖掘研究[j].计算机技术与发展，2013（02）.
[3]俞华锋.基于云计算的三维虚拟学习环境的设计与应用[j].计算机仿真，2010（09）.
[4]修晨.云计算在高校机房中的应用研究[j].科技信息，2011（01）.
[5]amazon. amazon elastic compute cloud （amazon ec2）[z].2009.
[责任编辑：丁艳]。