基于分布式数据流的大数据分类系统及其算法的制作方法

图片简介:

本技术涉及基于分布式数据流的大数据分类系统及其算法，包括外部设备，外部设备的输出端与数据采集模块的输入端相连接，数据采集模块的输出端与数据库的输入端相连接，数据库的输出端与数据分类模块的输入端相连接，数据分类模块的输出端与数据建模模块的输入端相连接，数据建模模块的输出端与数据分析模块的输入端相连接，数据分析模块的输出端与数据发送模块的输入端相连接，数据发送模块的输出端与监控服务器的输入端相连接。本技术可以分别对不同类型的互联网网站进行处理，便于后期的同类型网站进行扩展，能够对互联网上的用户舆论数据做到全面、高效、多样化的提取，为大数据分析提供最基础的数据依据。

技术要求

1.基于分布式数据流的大数据分类系统，其特征在于，包括外部设备(1)，所述外部设备(1)的输出端与数据采集模块(2)的输入端相连接，所述数据采集模块(2)的输出端与数据库(3)的输入端相连接，所述数据库(3)的输出端与数据分类模块(4)的输入端相连接，所述数据分类模块(4)的输出端与数据建模模块(5)的输入端相连接，所述数据建模模块(5)的输出端与数据分析模块(6)的输入端相连接，所述数据分析模块(6)的输出端与数据发送模块(7)的输入端相连接，所述数据发送模块(7)的输出端与监控服务器(8)的输入端相连接，所述监控服务器(8)的输出端与显示终端(9)的输入端相连接。

2.如权利要求1所述的基于分布式数据流的大数据分类系统，其特征在于，还包括电源模块(10)，所述电源模块(10)均与外部设备(1)、数据采集模块(2)、数据库(3)、数据分类模块(4)、数据建模模块(5)、数据分析模块(6)、数据发送模块(7)和监控服务器(8)电性连接。

3.如权利要求2所述的基于分布式数据流的大数据分类系统，其特征在于，所述电源模块(10)为锂电池或者太阳能电池板。

4.如权利要求1所述的基于分布式数据流的大数据分类系统，其特征在于，所述数据库(3)包括若干个数据存储模块。

5.如权利要求4所述的基于分布式数据流的大数据分类系统，其特征在于，所述若干个数据存储模块均为Flash闪存卡。

6.如权利要求1所述的基于分布式数据流的大数据分类系统，其特征在于，所述显示终端(9)为LED显示屏。

7.如权利要求1所述的基于分布式数据流的大数据分类算法，其特征在于，包括以下步骤：

步骤S1，外部设备(1)中的数据通过给数据采集模块(2)发送至数据库(3)中进行存储；

步骤S2，根据数据的属性将数据库(3)中的各个数据信息通过数据分类模块(4)进行分类处理；

步骤S3，对分类好的数据信息通过数据建模模块(5)搭建适合于数据信息的数据模型；

步骤S4，通过数据分析模块(6)对各个数据信息根据设定的数据结构进行编译处理；

步骤S5，将编译处理好的数据信息通过数据发送模块(7)发送至监控服务器(8)，并通过显示终端(9)进行显示处理。

8.如权利要求7所述的基于分布式数据流的大数据分类算法，其特征在于，所述数据采集模块(2)用于对外部设备(1)中的数据进行收集处理，且所述数据采集模块(2)上设置有数据采集端口，所述数据库(3)对数据信息进行存储，所述数据分类模块(4)对各个数据信息进行分类处理，所述数据建模模块(5)用于搭建适合于数据信息的数据模型，所述数据分析模块(6)对各个数据信息根据设定的数据结构进行编译处理，所述数据发送模块(7)对编译处理好的数据信息发送至监控服务器(8)，所述数据发送模块(7)上设置有数据发送端口，所述监控服务器(8)接收的数据信息通过显示终端(9)进行显示处理。

技术说明书

基于分布式数据流的大数据分类系统及其算法

技术领域

本技术涉及计算机信息数据处理相关技术领域，尤其涉及一种基于分布式数据流的大数据分类系统及其算法。

背景技术

当前是一个互联网的时代，互联网深入到了人们的日常生活中，日常消费、生活习惯、个人爱好都在互联网中留下了各种痕迹和数据，这样就造成互联网上留下了海量的待发掘的消费数据。随着行业应用系统的发展，各种信息系统应用数据快速增长，企业的信息化建设己逐步进入了大数据时代，但是现有技术中大多数用户行为分析系统采用关系数据库技术与传统的数据处理方法，不能很好满足海量数据的高效分析。

有鉴于上述的缺陷，本设计人积极加以研究创新，以期创设一种基于分布式数据流的大数据分类系统及其算法，使其更具有产业上的利用价值。

技术内容

为解决上述技术问题，本技术的目的是提供一种基于分布式数据流的大数据分类系统及其算法。

为实现上述目的，本技术采用如下技术方案：

基于分布式数据流的大数据分类系统，包括外部设备，外部设备的输出端与数据采集模块的输入端相连接，数据采集模块的输出端与数据库的输入端相连接，数据库的输出端与数据分类模块的输入端相连接，数据分类模块的输出端与数据建模模块的输入端相连接，数据建模模块的输出端与数据分析模块的输入端相连接，数据分析模块的输出端与数据发送模块的输入端相连接，数据发送模块的输出端与监控服务器的输入端相连接，监控服务器的输出端与显示终端的输入端相连接。

作为本技术的进一步改进，还包括电源模块，电源模块均与外部设备、数据采集模块、数据库、数据分类模块、数据建模模块、数据分析模块、数据发送模块和监控服务器电性连接。

作为本技术的进一步改进，电源模块为锂电池或者太阳能电池板。

作为本技术的进一步改进，数据库包括若干个数据存储模块。

作为本技术的进一步改进，若干个数据存储模块均为Flash闪存卡。

作为本技术的进一步改进，显示终端为LED显示屏。

基于分布式数据流的大数据分类算法，包括以下步骤：

步骤S1，外部设备中的数据通过给数据采集模块发送至数据库中进行存储；

步骤S2，根据数据的属性将数据库中的各个数据信息通过数据分类模块进行分类处理；步骤S3，对分类好的数据信息通过数据建模模块搭建适合于数据信息的数据模型；

步骤S4，通过数据分析模块对各个数据信息根据设定的数据结构进行编译处理；

步骤S5，将编译处理好的数据信息通过数据发送模块发送至监控服务器，并通过显示终端进行显示处理。