基于云服务的空间大数据管理方法及系统与制作流程
基于云计算的智慧物流园区服务平台开发方案

基于云计算的智慧物流园区服务平台开发方案第一章:项目概述 (3)1.1 项目背景 (3)1.2 项目目标 (3)1.3 项目意义 (3)第二章:需求分析 (4)2.1 功能需求 (4)2.1.1 基本功能 (4)2.1.2 扩展功能 (4)2.2 功能需求 (4)2.2.1 响应速度 (4)2.2.2 系统稳定性 (4)2.2.3 数据安全性 (5)2.2.4 可扩展性 (5)2.3 用户需求 (5)2.3.1 企业用户需求 (5)2.3.2 个人用户需求 (5)第三章:系统架构设计 (5)3.1 系统架构概述 (5)3.2 关键技术选型 (6)3.3 系统模块划分 (6)第四章:云计算平台搭建 (7)4.1 云计算平台设计 (7)4.2 云资源管理 (7)4.3 云服务部署 (8)第五章:智慧物流园区服务平台功能模块开发 (8)5.1 物流信息管理模块 (8)5.2 货物追踪模块 (8)5.3 数据分析与决策支持模块 (9)第六章:大数据处理与分析 (9)6.1 数据采集与清洗 (9)6.1.1 数据采集 (9)6.1.2 数据清洗 (10)6.2 数据存储与管理 (10)6.2.1 数据存储 (10)6.2.2 数据管理 (10)6.3 数据挖掘与分析 (11)6.3.1 数据挖掘 (11)6.3.2 数据分析 (11)第七章:用户界面与交互设计 (11)7.1.1 设计原则 (11)7.1.2 设计内容 (11)7.2 交互设计 (12)7.2.1 交互原则 (12)7.2.2 交互内容 (12)7.3 系统安全性设计 (12)7.3.1 安全性原则 (12)7.3.2 安全性措施 (12)第八章:系统测试与优化 (12)8.1 功能测试 (12)8.1.1 测试目的 (13)8.1.2 测试内容 (13)8.1.3 测试方法 (13)8.2 功能测试 (13)8.2.1 测试目的 (13)8.2.2 测试内容 (13)8.2.3 测试方法 (13)8.3 系统优化策略 (13)8.3.1 硬件优化 (13)8.3.2 软件优化 (14)8.3.3 系统架构优化 (14)8.3.4 安全优化 (14)8.3.5 运维优化 (14)第九章:项目管理与实施 (14)9.1 项目管理策略 (14)9.1.1 项目组织结构 (14)9.1.2 项目进度管理 (14)9.1.3 项目成本管理 (15)9.1.4 项目质量管理 (15)9.2 项目实施步骤 (15)9.2.1 需求分析 (15)9.2.2 系统设计 (15)9.2.3 系统开发 (15)9.2.4 系统测试与调试 (15)9.2.5 系统部署与运维 (15)9.3 风险评估与应对 (15)9.3.1 技术风险 (15)9.3.2 项目进度风险 (15)9.3.3 资金风险 (16)9.3.4 运维风险 (16)第十章:总结与展望 (16)10.1 项目成果总结 (16)10.2 项目不足与改进方向 (16)第一章:项目概述1.1 项目背景我国经济的快速发展,物流行业作为支撑国民经济的重要基础产业,正面临着转型升级的压力与机遇。
云计算环境下的大数据存储与处理

云计算环境下的大数据存储与处理随着互联网和数字化技术的快速发展,云计算成为越来越多企业和机构的首选。
在云计算环境下,数据的存储和处理已成为一项非常重要的任务。
特别是随着大数据时代的到来,存储和处理海量数据已经成为一个难题。
本文将探讨在云计算环境下的大数据存储与处理问题,并介绍一些最新的技术和方法。
一、大数据存储大数据的存储问题成为云计算环境下一个极其重要的任务。
传统的单机存储已经无法满足大数据存储的需求,因此大数据存储需要借助分布式存储技术。
1、分布式存储技术分布式存储是一种分布式系统,可以将数据存放在多个节点上,从而获得更好的数据可用性,更大的存储空间和更高的性能。
分布式存储用于处理大数据,解决数据中心存储问题,并支持不同应用程序对数据的获取和存储。
分布式存储的架构有多种,其中比较常见的是Hadoop分布式文件系统(HDFS)。
HDFS的存储是从一个文件克隆而来,分为块(block)并存储在不同的节点上,这些节点可以是物理机、虚拟机或容器。
每个块都有三个副本,这样可以保证数据的可靠性和可用性。
另一种常见的架构是Ceph,它采用了一种分布式对象存储(OSD)的架构,这使得Ceph可以存储大规模的数据并保障数据的安全性和可用性。
2、云存储技术云存储是一种基于云计算的存储技术,它允许用户使用服务提供商的云存储作为他们的在线储存空间。
云存储通常是一个元数据的结构,这样可以节省数据传输和存储空间。
用户可以在云存储服务中存储、检索和处理数据。
云存储还允许多个用户共同访问存储库,这样有效减少了数据的重复存储和传输。
常见的云存储技术包括Amazon S3、阿里云对象存储、腾讯云对象存储和百度云存储。
二、大数据处理大数据处理是指在大数据环境下,通过对数据进行采集、存储、处理、分析和应用,提供更优化的应用程序。
大数据处理可以帮助企业更好地预测市场趋势、提高产品质量、增强功能安全性和改进客户服务。
1、批处理批处理是对大数据最常使用的一种处理模式。
大数据与云计算(论文).

大数据与云计算摘要:近年来,大数据和云计算已经成为社会各界关注的热点话题。
秉承“按需服务”理念的“云计算(Cloud computing)”正高速发展,“数据即资源”的“大数据(big data)”时代已经来临[1]。
大数据利用对数据处理的实时性、有效性提出了更高要求,需要根据大数据特点对传统的常规数据处理技术进行技术变革,形成适用于大数据收集、存储、管理、处理、分析、共享和可视化的技术。
如何更好地管理和利用大数据已经成为普遍关注的话题。
大数据的规模效应给数据存储、管理以及数据分析带来了极大的挑战,数据管理方式上的变革正在酝酿和发生。
本文所提到的大数据包含着云计算,因为云计算是支撑大数据的平台。
关键词: 大数据云计算数据分析数据挖掘引言在学术界,大数据这一概念的提出相对较早。
2008 年9 月,《自然》杂志就推出了名为“大数据”( big data) 的专刊。
2011 年5 月,麦肯锡全球研究院发布了名为《大数据: 创新、竞争和生产力的下一个前沿》(Big data: The next frontier for innovation,competition,and productivity)的研究报告,指出大数据将成为企业的核心资产,对海量数据的有效利用将成为企业在竞争中取胜的最有力武器。
2012 年,联合国发布大数据政务白皮书,指出大数据可以使用极为丰富的数据资源来对社会经济进行前所未有的实时分析,帮助政府更好地响应社会和经济运行。
2012 年3 月29日,奥巴马政府发布了《大数据研究与发展计划倡议》,宣布启动对大数据的研发计划,标志着美国把大数据提高到国家战略层面,将“大数据研究”上升为国家意志,对未来的科技与经济发展必将带来深远影响。
大数据应用正在风靡全球,大数据精准营销成为企业掌舵者的口头禅,那么大数据真的是无懈可击吗?答案显然是否定的。
随着互联网和移动设备的普及,大数据已经在我们的生活中无处不在,而有关大数据与隐私的问题也日益受到关注。
云计算体系结构

▪ 云计算体系结构
▪
云计算平台是一个强大的“云”网络,连接了大量并发的网络计算
和服务,可利用虚拟化技术扩展每一个服务器的能力,将各自的资源通
过云计算平台结合起来,提供超级计算和存储能力。通用的云计算体系
结构如下图所示:
云计算体系结构
▪ 云用户端:提供云用户请求服务的交互界面,也是用户使用云的入口, 用户通过Web浏览器可以注册、登录及定制服务、配置和管理用户。打 开应用实例与本地操作桌面系统一样。
▪ (2)平台即服务。 ▪ 平台即服务PaaS(Platform as a service)是提供开发环境、服务器平台、
硬件资源等服务给用户,用户可以在服务提供商的基础架构基础上开发 开发程序并通过互联网和其服务器传给其他用户。PaaS能够提供企业或 个人定制研发的中间件平台,提供应用软件开发、数据库、应用服务器、 试验、托管及应用服务,为个人用户或企业的团队协作。 ▪ 在云计算服务中,平台即服务包括以下类型服务。 ▪ ① 提供集成开发环境。 ▪ 云服务提供商开发、测试、部署、维护应用程序等服务,满足不同用户 需要的不同开发周期和集成开发环境,多用户互动测试,版本控制,部 署和回滚。
云计算体系结构
▪ MapReduce分布式处理技术 ▪ MapReduce是Google开发的Java、Python、C++编程工具,用于大规模数
据集(大于1TB)的并行运算,也是云计算的核心技术,一种分布式运 算技术,也是简化的分布式编程模式,适合用来处理大量数据的分布式 运算,用于解决问题的程序开发模型,也是开发人员拆解问题的方法。 ▪ MapReduce模式的思想是将要执行的问题拆解成Map(映射)和Reduce (化简)的方式,先通过Map程序将数据切割成不相关的区块,分配 (调度)给大量计算机处理达到分布运算的效果,再通过Reduce程序将 结果汇整,输出开发者需要的结果。 ▪ MapReduce的软件实现是指定一个Map(映射)函数,把键值对 (key/value)映射成新的键值对(key/value),形成一系列中间形式的 key/value对,然后把它们传给Reduce(化简)函数,把具有相同中间形 式key的value合并在一起. map和reduce函数具有一定的关联性 ▪ 1. map (k1,v1) -> list(k2,v2) ▪ 2. reduce (k2,list(v2)) ->list(v2)
大数据技术原理与应用-林子雨版-课后习题答案

第一章1.试述信息技术发展史上的3次信息化浪潮及具体内容。
2.试述数据产生方式经历的几个阶段答:运营式系统阶段,用户原创内容阶段,感知式系统阶段。
3.试述大数据的4个基本特征答:数据量大、数据类型繁多、处理速度快和价值密度低。
4.试述大数据时代的“数据爆炸”的特性答:大数据时代的“数据爆炸”的特性是,人类社会产生的数据一致都以每年50%的速度增长,也就是说,每两年增加一倍。
5.数据研究经历了哪4个阶段?答:人类自古以来在科学研究上先后历经了实验、理论、计算、和数据四种范式。
6.试述大数据对思维方式的重要影响答:大数据时代对思维方式的重要影响是三种思维的转变:全样而非抽样,效率而非精确,相关而非因果。
7.大数据决策与传统的基于数据仓库的决策有什么区别答:数据仓库具备批量和周期性的数据加载以及数据变化的实时探测、传播和加载能力,能结合历史数据和实时数据实现查询分析和自动规则触发,从而提供对战略决策和战术决策。
大数据决策可以面向类型繁多的、非结构化的海量数据进行决策分析。
8.举例说明大数据的基本应用答:9.举例说明大数据的关键技术答:批处理计算,流计算,图计算,查询分析计算10.大数据产业包含哪些关键技术。
答:IT基础设施层、数据源层、数据管理层、数据分析层、数据平台层、数据应用层。
11.定义并解释以下术语:云计算、物联网答:云计算:云计算就是实现了通过网络提供可伸缩的、廉价的分布式计算机能力,用户只需要在具备网络接入条件的地方,就可以随时随地获得所需的各种IT资源。
物联网是物物相连的互联网,是互联网的延伸,它利用局部网络或互联网等通信技术把传感器、控制器、机器、人类和物等通过新的方式连在一起,形成人与物、物与物相连,实现信息化和远程管理控制。
12.详细阐述大数据、云计算和物联网三者之间的区别与联系。
第二章1.试述hadoop和谷歌的mapreduce、gfs等技术之间的关系答:Hadoop的核心是分布式文件系统HDFS和MapReduce,HDFS是谷歌文件系统GFS的开源实现,MapReduces是针对谷歌MapReduce的开源实现。
云计算和大数据重点专项2018年度项目申报指南

“云计算和大数据”重点专项2018年度项目申报指南为落实《国家中长期科学和技术发展规划纲要(2006-2020年)》,以及国务院《关于促进云计算创新发展,培育信息产业新业态的意见》和《关于印发促进大数据发展行动纲要的通知》等提出的任务,国家重点研发计划启动实施“云计算和大数据”重点专项。
根据本重点专项实施方案的部署,现提出2018年度项目申报指南建议。
本重点专项总体目标是:形成自主可控的云计算和大数据系统解决方案、技术体系和标准规范;在云计算与大数据的重大设备、核心软件、支撑平台等方面突破一批关键技术;基本形成以自主云计算与大数据骨干企业为主体的产业生态体系和具有全球竞争优势的云计算与大数据产业集群;提升资源汇聚、数据收集、存储管理、分析挖掘、安全保障、按需服务等能力,实现核心关键技术自主可控。
本重点专项按照云计算和大数据基础设施、基于云模式和数据驱动的新型软件、大数据分析应用与类人智能、云端融合的感知认知与人机交互等4个创新链(技术方向),共部署20个重点研究任务。
专项实施周期为5年(2016—2020)。
1. 云计算和大数据基础设施1.1 数据科学的若干基础理论(基础研究类)研究内容:研究大数据的数据建模理论,包括大数据的统一表示和有效度量等;研究大数据的新型计算复杂性理论,包括多项式可计算问题类的细分等;研究高通量计算理论与算法、高效并行计算算法、分布式计算算法、近似计算算法等;研究大规模分布式可扩展的数据存储与组织,能效优化的分布存储和处理的系统架构,以及数据副本一致性、数据压缩、数据划分与迁移等问题;研究大数据的数据治理理论与方法,包括数据质量管理、数据权属、数据隐私保护等。
考核指标:形成有国际性影响的数据科学理论体系,发表系列高水平学术论文和若干专著。
在关键技术上申请系列专利,形成专利群。
1.2 基于NVM的TB级持久性内存存储系统及应用(共性关键技术类)研究内容:研究持久性内存存储I/O栈与存储管理;分布式持久性内存文件系统;基于RDMA的分布式持久性共享内存新型编程模型;构建分布式持久性内存存储系统;研制基于TB级内存系统的典型大数据应用系统及示范。
基于GIS云服务的云南省国土空间大数据可视化系统建设研究

基于GIS云服务的云南省国土空间大数据可视化系统建设研究王志敏【摘要】国土资源空间数据随着业务发展和技术进步,已成为海量、多源、多维、动态更新的的国土空间大数据,对这些复杂的空间数据进行分析和可视化也带来了新的挑战.传统空间数据可视化通常提供了部分基本的二维、三维可视化功能,但对于大规模的复杂国土空间数据,其在分析能力和可视化洞察能力方面存在诸多的不足.为此,文章基于云计算和大数据技术,介绍了云南国土空间大数据可视化系统,在现有GIS可视化技术基础上,将传统GIS服务云化,提出了一套国土空间大数据可视化应用框架,从国土空间大数据接入、一体化管理、可视化建模、可视化展现等关键技术进行了实现,为大规模国土空间大数据可视化提供了一种一体化的、高性能的解决方案.【期刊名称】《地矿测绘》【年(卷),期】2018(034)003【总页数】5页(P12-16)【关键词】GIS云服务;空间大数据;可视化【作者】王志敏【作者单位】云南省国土资源厅国土资源信息中心,云南昆明650224【正文语种】中文【中图分类】P208;P2090 引言随着大数据时代的到来,数据急剧增加,大数据研究成为一个新的关注热点,其核心目的是使原本各自孤立的数据得以互相关联、融合,数据挖掘和可视化正好为大数据研究提供了平台和技术。
数据挖掘是从底层探讨如何解析大数据的方法;而可视化则是从展示层探究如何表达大数据的手段,以帮助用户以可视便捷的方式,从几百万条数据中探索出各种复杂关系,从而使大数据变得可理解。
空间大数据的可视化较之普通数据可视化更为复杂与重要。
规模超大、结构多样化、空间位置、时效性高等特点使得空间大数据难以理解,获取目标知识较为困难,需要经过抽取、清洗、转化、挖掘等一系列过程,最终展示可以正确反映规律的部分。
随着国土资源管理需求及数据内容扩展,国土资源数据呈现了以核心数据库为中心,各专题数据为内容的典型空间多源异构大数据。
国土空间大数据具有以下特征:1)多内容的数据组成:国土空间数据按数据的组织形式分为空间图形数据、属性数据、非结构化多媒体数据(如图片、影像等);按数据内容包括了基础地理数据、地政相关数据、矿政相关数据等。
基于大数据的智能仓储管理系统研发方案

基于大数据的智能仓储管理系统研发方案第一章绪论 (2)1.1 研究背景与意义 (2)1.2 国内外研究现状 (3)1.2.1 国外研究现状 (3)1.2.2 国内研究现状 (3)1.3 研究内容与目标 (3)1.3.1 研究内容 (3)1.3.2 研究目标 (3)第二章大数据技术在智能仓储管理中的应用 (4)2.1 大数据技术概述 (4)2.2 大数据技术在仓储管理中的应用分析 (4)2.2.1 数据采集与监控 (4)2.2.2 库存优化 (4)2.2.3 仓储作业自动化 (4)2.2.4 设备维护与管理 (4)2.3 大数据技术在智能仓储管理中的优势 (5)2.3.1 提高仓储管理效率 (5)2.3.2 降低运营成本 (5)2.3.3 提高仓储安全性 (5)2.3.4 促进业务协同 (5)第三章智能仓储管理系统需求分析 (5)3.1 功能需求 (5)3.2 功能需求 (6)3.3 可靠性需求 (6)3.4 安全性需求 (6)第四章系统设计 (7)4.1 系统架构设计 (7)4.2 模块划分 (7)4.3 数据库设计 (8)4.4 系统界面设计 (8)第五章关键技术研究 (9)5.1 数据采集与预处理技术 (9)5.2 数据挖掘与分析技术 (9)5.3 机器学习与人工智能算法 (9)5.4 系统集成与优化技术 (10)第六章系统开发与实现 (10)6.1 开发环境与工具 (10)6.1.1 开发环境 (10)6.1.2 开发工具 (10)6.2 系统开发流程 (11)6.3 系统功能实现 (11)6.3.1 系统架构 (11)6.3.2 功能模块 (11)6.4 系统测试与优化 (11)6.4.1 单元测试 (11)6.4.2 集成测试 (12)6.4.3 系统优化 (12)第七章智能仓储管理系统应用案例 (12)7.1 案例一:某物流企业智能仓储管理系统 (12)7.1.1 项目背景 (12)7.1.2 系统架构 (12)7.1.3 应用效果 (12)7.2 案例二:某制造业企业智能仓储管理系统 (12)7.2.1 项目背景 (13)7.2.2 系统架构 (13)7.2.3 应用效果 (13)7.3 案例三:某电商企业智能仓储管理系统 (13)7.3.1 项目背景 (13)7.3.2 系统架构 (13)7.3.3 应用效果 (13)第八章系统功能评估与优化 (13)8.1 系统功能指标 (13)8.2 功能评估方法 (14)8.3 系统优化策略 (14)8.4 实验与分析 (15)第九章市场前景与经济效益分析 (15)9.1 市场前景分析 (15)9.2 经济效益分析 (16)9.3 社会效益分析 (16)第十章结论与展望 (16)10.1 研究结论 (16)10.2 研究局限 (17)10.3 研究展望 (17)第一章绪论1.1 研究背景与意义信息技术的飞速发展,大数据技术在各领域的应用日益广泛,为我国仓储管理提供了新的发展机遇。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
图片简介:本技术介绍了一种基于云服务的空间大数据管理方法及系统,所述方法包括:构建N个空间数据库,其中包括第一数据库、第二数据库、直到第N数据库,所述数据库分别包含不同类别的空间大数据;根据所述第一数据库生成第一验证码,其中,所述第一验证码是与所述第一数据库一一对应的;根据所述第二数据库和第一验证码生成第二验证码;以此类推,根据所述第N数据库和第N1验证码生成第N验证码,将所有数据库和验证码分别复制保存在M台设备上,获得空间数据集;将所述空间数据集中的数据信息进行聚类划分,将聚类后的数据信息分别存储在所述N个空间数据库中,达到提高空间数据存储的安全性,对所述空间数据进行准确分类存储的技术效果。
技术要求1.一种基于云服务的空间大数据管理方法,其中,所述方法包括:构建N个空间数据库,其中包括第一数据库、第二数据库、直到第N数据库,所述数据库分别包含不同类别的空间大数据;根据所述第一数据库生成第一验证码,其中,所述第一验证码是与所述第一数据库一一对应的;根据所述第二数据库和第一验证码生成第二验证码;以此类推,根据所述第N数据库和第N-1验证码生成第N验证码,其中,N为大于1的自然数;将所有数据库和验证码分别复制保存在M台设备上,其中,M为大于1的自然数;获得空间数据集;将所述空间数据集中的数据信息进行聚类划分,将聚类后的数据信息分别存储在所述N个空间数据库中。
2.如权利要求1所述的方法,其中,所述方法包括;获得所述空间数据集中数据信息的数据大小信息x;获得所述空间数据集中所述数据信息的空间排列信息Y;根据所述数据的大小信息x和所述数据信息的空间排列信息Y,将所述空间数据集中的数据信息按照多项式回归算法进行聚类划分。
3.如权利要求2所述的方法,其中,所述将所述空间数据集中的数据信息按照多项式回归算法进行聚类划分,公式如下:(1)其中,所述p为已知参数;所述为不同类别信息;服从正态分布N(0,)。
4.如权利要求3所述的方法,其中,所述方法包括:将所述数据的大小信息x和所述数据信息的空间排列信息Y输入式(1),获得第一结果,所述第一结果为的数值信息;判断所述第一结果中的的数值信息是否全部为0;如果所述第一结果中的的数值信息非全部为0,获得第一回归函数;根据所述第一回归函数和所述数据信息,获得第一聚类;根据所述第一聚类,构建所述第一数据库。
5.如权利要求4所述的方法,其中,所述方法包括:如果所述第一结果中的的数值信息全部为0,确定所述式(1)回归不显著;对所述空间数据集中的数据信息进行更新;将所述更新后的数据信息的数据的大小信息x和所述数据信息的空间排列信息Y输入式(1)并进行迭代计算,直到的数值信息非全部为0;获得第二回归函数;根据所述第二回归函数和所述数据信息,获得第二聚类;根据所述第二聚类,构建所述第二数据库。
6.如权利要求1所述的方法,其中,所述方法包括:获得第一数据库的存储时间,所述第一数据库的存储时间表示第一数据库需要记录的时间;根据所述第一数据库的存储时间,获得P个委托设备,其中,所述P个委托设备为所述M 台设备将存储权限委托给其他设备后形成的具有存储权限的设备;从所述P个委托设备中获得第一设备;将所述存储权限发送给所述第一设备,所述第一设备执行所述第一数据库的存储权。
7.如权利要求6所述的方法,其中,所述方法包括:从所述P个委托设备中获得权益最多的设备为第一设备。
8.一种基于云服务的空间大数据管理系统,其中,所述系统包括:第一构建单元,所述第一构建单元用于构建N个空间数据库,其中包括第一数据库、第二数据库、直到第N数据库,所述数据库分别包含不同类别的空间大数据;第一获得单元,所述第一获得单元用于根据所述第一数据库生成第一验证码,其中,所述第一验证码是与所述第一数据库一一对应的;第二获得单元,所述第二获得单元用于根据所述第二数据库和第一验证码生成第二验证码;以此类推,根据所述第N数据库和第N-1验证码生成第N验证码,其中,N为大于1的自然数;第一保存单元,所述第一保存单元用于将所有数据库和验证码分别复制保存在M台设备上,其中,M为大于1的自然数;第三获得单元,所述第三获得单元用于获得空间数据集;第二保存单元,所述第二保存单元用于将所述空间数据集中的数据信息进行聚类划分,将聚类后的数据信息分别存储在所述N个空间数据库中。
9.一种基于云服务的空间大数据管理系统,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述程序时实现权利要求1-7任一项所述方法的步骤。
技术说明书一种基于云服务的空间大数据管理方法及系统技术领域本技术涉及大数据管理领域,尤其涉及一种基于云服务的空间大数据管理方法及系统。
背景技术移动互联网的快速发展将人类带入位置大数据时代。
越来越多基于位置的服务(Location Based Services,LBS)融入人们的日常生活,提供诸如兴趣点查询、社交网络实时位置共享、路线规划与导航等服务,为人们提供了极大的便利。
位置轨迹大数据的安全分享、发布需求离不开位置轨迹隐私保护技术支持。
但本申请技术人在实现本申请实施例中技术技术方案的过程中,发现上述技术至少存在如下技术问题:现有技术中存在空间数据存储不安全、分类不准确的技术问题。
技术内容本申请实施例通过提供一种基于云服务的空间大数据管理方法及系统,解决了现有技术中存在空间数据存储不安全、分类不准确的技术问题,达到提高空间数据存储的安全性,对所述空间数据进行准确分类存储的技术效果。
鉴于上述问题,本申请实施例提供一种基于云服务的空间大数据管理方法及系统。
第一方面,本申请实施例提供了一种基于云服务的空间大数据管理方法,所述方法包括:构建N个空间数据库,其中包括第一数据库、第二数据库、直到第N数据库,所述数据库分别包含不同类别的空间大数据;根据所述第一数据库生成第一验证码,其中,所述第一验证码是与所述第一数据库一一对应的;根据所述第二数据库和第一验证码生成第二验证码;以此类推,根据所述第N数据库和第N-1验证码生成第N验证码,其中,N为大于1的自然数;将所有数据库和验证码分别复制保存在M台设备上,其中,M为大于1的自然数;获得空间数据集;将所述空间数据集中的数据信息进行聚类划分,将聚类后的数据信息分别存储在所述N个空间数据库中。
另一方面,本申请还提供了一种基于云服务的空间大数据管理系统,其中,所述系统包括:第一构建单元,所述第一构建单元用于构建N个空间数据库,其中包括第一数据库、第二数据库、直到第N数据库,所述数据库分别包含不同类别的空间大数据;第一获得单元,所述第一获得单元用于根据所述第一数据库生成第一验证码,其中,所述第一验证码是与所述第一数据库一一对应的;第二获得单元,所述第二获得单元用于根据所述第二数据库和第一验证码生成第二验证码;以此类推,根据所述第N数据库和第N-1验证码生成第N验证码,其中,N为大于1的自然数;第一保存单元,所述第一保存单元用于将所有数据库和验证码分别复制保存在M台设备上,其中,M为大于1的自然数;第三获得单元,所述第三获得单元用于获得空间数据集;第二保存单元,所述第二保存单元用于将所述空间数据集中的数据信息进行聚类划分,将聚类后的数据信息分别存储在所述N个空间数据库中。
第三方面,本技术提供了一种基于云服务的空间大数据管理系统,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述程序时实现上述第一方面所述方法的步骤。
本申请实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:由于采用了对构建的N个空间数据库基于区块链加密的逻辑进行加密处理,并将所述空间数据集进行聚类划分后存储于所述空间数据库的方式,达到对所述空间数据进行准确分类处理并提高所述空间数据安全性的技术效果。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明图1为本申请实施例一种基于云服务的空间大数据管理方法的流程示意图;图2为本申请实施例一种基于云服务的空间大数据管理方法中将所述空间数据集中的数据信息进行聚类划分的流程示意图;图3为本申请实施例一种基于云服务的空间大数据管理方法中将所述空间数据集中的数据信息按照多项式回归算法进行聚类划分的流程示意图;图4为本申请实施例一种基于云服务的空间大数据管理方法中判断所述第一结果中的的数值信息是否全部为0的流程示意图;图5为本申请实施例一种基于云服务的空间大数据管理方法中将所述更新后的数据信息的数据的大小信息x和所述数据信息的空间排列信息Y输入式(1)并进行迭代计算的流程示意图;图6为本申请实施例一种基于云服务的空间大数据管理方法中将所有数据库和验证码分别复制保存在M台设备上的流程示意图;图7为本申请实施例一种基于云服务的空间大数据管理系统的结构示意图;图8为本申请实施例示例性电子设备的结构示意图。
附图标记说明:第一构建单元11,第一获得单元12,第二获得单元13,第一保存单元14,第三获得单元15,第二保存单元16,总线300,接收器301,处理器302,发送器303,存储器304,总线接口306。
具体实施方式本申请实施例通过提供一种基于云服务的空间大数据管理方法及系统,解决了现有技术中存在空间数据存储不安全、分类不准确的技术问题,达到提高空间数据存储的安全性,对所述空间数据进行准确分类存储的技术效果。
下面,将参考附图详细的描述根据本申请的示例实施例。
显然,所描述的实施例仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。
申请概述移动互联网的快速发展将人类带入位置大数据时代。
越来越多基于位置的服务(Location Based Services,LBS)融入人们的日常生活,提供诸如兴趣点查询、社交网络实时位置共享、路线规划与导航等服务,为人们提供了极大的便利。
位置轨迹大数据的安全分享、发布需求离不开位置轨迹隐私保护技术支持。
但现有技术中存在空间数据存储不安全、分类不准确的技术问题。
针对上述技术问题,本申请提供的技术方案总体思路如下:本申请实施例提供了一种基于云服务的空间大数据管理方法,所述方法包括:构建N个空间数据库,其中包括第一数据库、第二数据库、直到第N数据库,所述数据库分别包含不同类别的空间大数据;根据所述第一数据库生成第一验证码,其中,所述第一验证码是与所述第一数据库一一对应的;根据所述第二数据库和第一验证码生成第二验证码;以此类推,根据所述第N数据库和第N-1验证码生成第N验证码,其中,N为大于1的自然数;将所有数据库和验证码分别复制保存在M台设备上,其中,M为大于1的自然数;获得空间数据集;将所述空间数据集中的数据信息进行聚类划分,将聚类后的数据信息分别存储在所述N个空间数据库中。