大数据时代的空间数据挖掘综述_马宏斌

合集下载

大数据背景下数据挖掘技术的应用研究

大数据背景下数据挖掘技术的应用研究

大数据背景下数据挖掘技术的应用研究摘要:随着科技的发展,数据信息大量出现,越来越多的人想要从许多混杂的资源中找出最具有价值的信息。

本文将从数据挖掘技术的基本概念入手,并结合当下现实来分析大数据的出现给数据挖掘技术应用带来的变化。

在数据挖掘技术应用中主要从数据分析的利用和数据聚类的利用两大方面进行阐释,总体研究大数据背景下数据挖掘技术的应用。

关键词:大数据时代;数据挖掘技术;数据挖掘技术的应用大数据的发展会带来大量的信息资源,人们的思维方式也会随之发生改变。

于此同时信息发展也逐渐成为了开启信息时代的钥匙。

全球各国普遍认识到数据的重要性及其对国家的发展发挥的许多重要意义,许多国家以此为基点制定适合自己国家发展的战略性计划,由此占领数据的高地,实现国家创新性发展。

因此,大数据在当今时代具有极强的研究价值和应用价值。

笔者将主要从大数据可视化给数据挖掘技术带来的影响为着眼点,进而进一步分析高性能计算(HPC)给数据挖掘技术带来的一定程度的影响,且通过这些变化研究大数据背景下数据挖掘技术的具体应用。

正文:当今的数据挖掘技术的理论已经成熟,数据挖掘技术的应用愈加广泛。

受众趋向了解更多的数据挖掘技术,从而利用起大量的信息资源。

我们对于大数据背景下的数据挖掘技术的具体应用,将会获得信息的有效运用和资源的科学整合。

同时,掌握和了解到有关于数据挖掘技术的知识对普通受众来说不仅可以掌握到大量的数据资源,从而更好地利用这些资源为我们的生活实践服务,而且对于专业技术人员来说,广泛被大众所接受的数据挖掘知识前景将更加开阔,理论弹性增大,这将促进数据挖掘技术的进一步发展。

一、数据挖掘技术的概述数据挖掘技术主要是一个搜索的过程,它主要利用算法进行搜索,并通过一定媒介,从大量的信息中提取对搜索者有用的信息资源。

这个过程的原始数据被分成建模样本和分析样本两部分。

建模样本将会经过数据预处理后变成预处理后的专家样本。

而分析样本则会经过特征选择后变成预处理后的分析样本。

浅析大数据时代下数据挖掘技术的应用

浅析大数据时代下数据挖掘技术的应用

浅析大数据时代下数据挖掘技术的应用作者:文世敏来源:《企业科技与发展》2018年第06期【摘要】随着信息技术的快速发展,大数据技术已经融入人们生活的方方面面,当下社会迎来了大数据时代。

数据挖掘技术是大数据时代人类普遍使用的一项技术,也是现如今一项值得重点研究的课题。

因为通过对大数据的深入分析对比,人们可以更加深入地了解数据背后所隐藏的奥秘。

文章通过对大数据时代、数据挖掘技术的简要介绍和概括,详细论述大数据时代下数据挖掘技术的应用。

【关键词】大数据时代;数据;数据挖掘技术;应用【中图分类号】P311.13 【文献标识码】A 【文章编号】1674-0688(2018)06-0109-021 大数据概述大数据顾名思义就是根据大量数据的集合,而“大”不仅仅是数量大,而且还有容量大、类型多、存储速度快、应用价值高等含义。

大数据这一概念提出于2008年,此后,人们对大数据的了解越来越多,大数据也越来越融入人们的生活,在一定程度上改变着人们的生活。

到目前为止,其对金融业、零售业、农业等各个领域都产生了极大的影响,人类社会步入大数据时代。

1.1 大数据的特点(1)Variety,大数据种类繁多,既包括结构化数据,又包括网络日志、录音文件、视频文件、图形文件、地理位置信息文件等。

(2)Volume,通过各种各样的设备产生大量数据,其产生的数据规模很庞大。

(3)Velocity,处理速度相当快速,对数据的实时处理有着较高的要求。

(4)Value,价值密度低。

1.2 大数据的意义大数据的意义实际上就是为了挖掘出庞大的数据集合背后的价值。

阿里巴巴通过大数据分析每个用户使用淘宝的浏览记录,追踪用户需求,并主动向用户推荐相关商品。

谷歌针对用户检索的词条进行数据挖掘,基于其中45个检索词组合的一个数学模型可以高精度预测流感,其预测结果的正确性达到97%,也就是说,误差率仅为3%。

通过大数据,了解这些数据背后的价值,不仅可以总结出行业目前的发展状况,还能够对行业的未来发展做出预测,为之后的管理决策提供可靠的支持。

遥感大数据自动分析与数据挖掘

遥感大数据自动分析与数据挖掘

遥感大数据自动分析与数据挖掘一、本文概述随着科技的飞速发展,遥感技术已成为现代地理信息获取的重要手段。

遥感大数据的自动分析与数据挖掘技术,作为遥感领域的核心研究方向之一,对于提升遥感数据的处理效率、挖掘潜在价值、促进遥感应用的深入发展具有重要意义。

本文旨在探讨遥感大数据自动分析与数据挖掘的相关理论、方法和技术,分析当前遥感大数据处理面临的挑战和机遇,展望未来的发展趋势。

文章将首先介绍遥感大数据的基本概念、特点及其价值,然后重点阐述遥感大数据自动分析与数据挖掘的关键技术,包括数据预处理、特征提取、分类识别、变化检测等方面。

在此基础上,文章将讨论遥感大数据在各个领域的应用案例,以及在实际应用中取得的效果和存在的问题。

文章将总结遥感大数据自动分析与数据挖掘技术的当前进展,展望未来的发展方向,为相关领域的研究和实践提供参考和借鉴。

二、遥感大数据的获取与处理遥感大数据的获取与处理是遥感技术应用的重要环节,也是实现遥感大数据自动分析与数据挖掘的前提。

遥感大数据的获取主要依赖于各种遥感卫星、无人机、地面观测设备等多种数据源,这些数据源具有空间分布广泛、时间序列长、数据量大的特点。

在获取数据的过程中,我们需要对遥感设备的精度、分辨率、覆盖范围等参数进行充分考虑,以确保获取到的数据能够满足后续分析的需求。

在遥感大数据的处理过程中,主要包括数据预处理、数据校正、数据融合等步骤。

数据预处理主要是对原始数据进行格式转换、辐射定标、几何校正等操作,以消除数据中的噪声和误差,提高数据质量。

数据校正则主要是对遥感数据进行大气校正、地形校正等,以消除大气和地形等因素对数据的影响。

数据融合则是将不同来源、不同分辨率的遥感数据进行融合,以生成更高质量、更全面的遥感数据。

在处理遥感大数据时,我们还需要考虑数据的存储和管理问题。

由于遥感数据量巨大,传统的数据存储和管理方法已经无法满足需求。

因此,我们需要采用分布式存储、云计算等技术,实现对遥感大数据的高效存储和管理。

大数据时代的数据挖掘综述

大数据时代的数据挖掘综述

大数据时代的数据挖掘综述一、本文概述随着信息技术的迅猛发展,大数据已经渗透到社会生活的各个领域,成为现代社会发展的重要基石。

大数据时代的来临,不仅带来了海量的数据资源,也对数据挖掘技术提出了更高的要求。

数据挖掘,作为从海量数据中提取有用信息、发现潜在规律的重要手段,已经成为当前研究的热点和前沿领域。

本文旨在对大数据时代的数据挖掘技术进行全面而系统的综述,分析当前数据挖掘领域的研究现状,探讨面临的挑战和未来的发展趋势。

本文将首先介绍大数据和数据挖掘的基本概念,阐述数据挖掘在大数据时代的重要性和应用价值。

接着,本文将重点回顾数据挖掘的发展历程,介绍数据挖掘的主要方法和技术,包括分类、聚类、关联规则挖掘、预测模型等,并结合具体案例进行说明。

同时,本文还将对数据挖掘在各个领域的应用进行梳理和总结,如商业智能、医疗健康、金融风控等。

在此基础上,本文将深入探讨大数据时代数据挖掘面临的挑战,如数据规模巨大、数据类型多样、数据质量参差不齐等问题,并分析这些问题对数据挖掘算法和性能的影响。

为解决这些问题,本文还将介绍一些新兴的数据挖掘技术和方法,如深度学习、强化学习、迁移学习等,并探讨它们在大数据时代的应用前景。

本文将展望数据挖掘未来的发展趋势,预测未来可能的研究热点和方向,为相关领域的研究人员和实践者提供参考和借鉴。

通过本文的综述,希望能够为大数据时代的数据挖掘研究提供全面而深入的理解,推动数据挖掘技术的进一步发展和应用。

二、数据挖掘相关概念及理论基础在大数据时代,数据挖掘成为了一个不可或缺的工具,它帮助我们从海量的、复杂的、多样化的数据中提取出有价值的信息和模式。

数据挖掘是一门涉及多个学科的交叉学科,其理论基础涵盖了统计学、机器学习、模式识别、数据库管理等多个领域。

数据挖掘的基本概念是通过特定算法对大量数据进行处理和分析,以发现其中的关联规则、分类模式、聚类结构、异常检测以及预测趋势等。

这一过程中,数据预处理是极其关键的一步,它包括对数据的清洗、转换、降维等操作,以确保数据的质量和有效性。

大数据环境下的数据挖掘与分析技术研究

大数据环境下的数据挖掘与分析技术研究

大数据环境下的数据挖掘与分析技术研究在大数据时代,数据的积累和分析成为了企业和机构的重要任务。

数据挖掘与分析技术就是在大数据环境下进行数据处理和提取有用信息的关键技术。

本文将深入探讨大数据环境下的数据挖掘与分析技术,并分析其研究进展和应用场景。

一、大数据环境下的数据挖掘技术研究1. 数据预处理技术大数据环境下的数据往往是庞大而复杂的,包含噪声和缺失值。

数据预处理技术主要包括数据清洗、数据集成、数据变换和数据规约。

数据清洗用于处理噪声和异常值,数据集成用于将多个数据源的数据进行整合,数据变换用于将数据转换为可分析的形式,数据规约用于减少数据集的大小。

2. 数据挖掘算法数据挖掘算法是大数据环境下进行数据分析的核心。

常用的数据挖掘算法包括关联规则挖掘、分类与预测、聚类分析和异常检测等。

关联规则挖掘用于发现数据集中的关联关系,分类与预测用于根据已有数据来预测未知数据的属性,聚类分析用于将数据集中的对象分成不同的群组,异常检测用于发现与其他对象不同的数据。

3. 数据可视化技术数据可视化技术用于将大数据转化为图表、图形和动画等,便于人们理解和分析数据。

在大数据环境下,数据量庞大,通过可视化技术可以直观地展示数据的模式和趋势,帮助用户发现隐藏在数据中的模式和规律。

二、大数据环境下的数据分析技术研究1. 基于模型的数据分析基于模型的数据分析通过建立数学模型来描述数据之间的关系,然后利用模型进行数据分析和预测。

常用的模型包括回归模型、时间序列模型和神经网络模型等。

通过模型分析,可以揭示数据之间的潜在关系和规律。

2. 数据挖掘与业务智能的结合大数据环境下的数据分析不仅要关注数据本身的分析,还要与业务智能进行结合,从而为决策提供更加准确和可靠的依据。

数据挖掘和业务智能的结合可以帮助企业和机构实现更好的业绩和竞争优势。

3. 文本分析与情感分析大数据环境下的数据不仅包括结构化数据,还包括非结构化数据,如文本、语音和图像等。

空间数据挖掘技术在遥感数据处理中的应用研究

空间数据挖掘技术在遥感数据处理中的应用研究

空间数据挖掘技术在遥感数据处理中的应用研究一、引言随着遥感技术的逐步发展和普及,遥感数据处理成为了一个热门的研究领域,而空间数据挖掘技术作为一种新兴的数据挖掘技术,在遥感数据处理中也得到了广泛的应用。

本文旨在探讨空间数据挖掘技术在遥感数据处理中的应用以及发展趋势。

二、空间数据挖掘技术概述空间数据挖掘技术是数据挖掘技术的一种,在空间数据的处理和分析方面具有很好的应用前景。

空间数据指的是涉及地理位置信息的数据,包括遥感数据、地理信息系统数据等。

空间数据挖掘技术主要是通过对数据进行分析和挖掘来发现其中的规律和有价值的信息,从而为后续的决策提供支持和保证。

目前,空间数据挖掘技术已经被广泛应用于城市规划、环境监测、农业生产等领域。

三、遥感数据处理中的应用研究1. 遥感图像分类遥感图像分类是遥感数据处理中的一个重要环节。

在遥感图像分类中,空间数据挖掘技术可以帮助分析和识别出图片中的各种地物与覆盖类型,并提供决策支持。

对于遥感图像分类中的数据特征提取过程中,空间数据挖掘技术可以帮助从多个精度尺度的空间数据中提取出具有较好分类性能的特征,从而提高分类精度。

2. 遥感影像分析随着遥感技术的不断进步,遥感影像分析也成为了遥感数据处理的一个重要环节。

在遥感影像分析中,空间数据挖掘技术可以帮助分析和处理影像中的时空数据,包括温度、变化、植被等信息,从而促进对影像的进一步理解和利用。

3. 空间数据挖掘中的地理信息系统地理信息系统是一种将软件技术和地理信息相结合的信息系统。

在地理信息系统中,空间数据挖掘技术可以帮助分析和挖掘出其中的地理信息,如交通路线、商业区域、人群热点等信息,为城市规划、交通设计等方面提供有效的决策数据支持。

四、空间数据挖掘技术在遥感数据处理中的发展趋势随着遥感技术和空间数据挖掘技术的不断发展和进步,这两种技术也不断拓展其应用范围。

未来,我们可以预见到以下几点发展趋势:1. 多源数据融合未来,会出现更多的遥感数据源,如卫星遥感和无人机遥感等,同时,各类遥感数据种类和所提供的信息也将更加丰富。

空间数据挖掘及技术(综述)

空间数据挖掘及技术(综述)

01
水质监测
通过挖掘水质监测数据,评估水体质量 状况,为水环境治理和水资源保护提供 依据。
02
03
土壤质量监测
利用空间数据挖掘技术,监测土壤质 量状况,为土地资源保护和农业可持 续发展提供支持。
THANKS
感谢观看
空间聚类分析
将相似的空间对象归为同一类。
空间分类模型
根据已知的空间数据对新的空间对象进行分 类。
空间数据可视化
地图可视化
将空间数据以地图的形式呈现,便于理解和 分析。
三维可视化
利用三维图形技术展示空间数据,提供更直 观的视角。
可视化交互
允许用户通过交互操作来探索和查询空间数 据。
可视化分析工具
提供专业的可视化分析功能,帮助用户深入 挖掘空间数据的价值。
可解释性机器学习
研究如何让机器学习模型产生的结果更容易被人类理解和接受。
数据隐私保护
在空间数据挖掘过程中,保护用户隐私和数据安全是重要的问题,需 要研究如何在保证隐私的前提下进行有效的数据挖掘。
05
空间数据挖掘案例研究
城市规划中的空间数据挖掘应用
城市用地适宜性评价
利用空间数据挖掘技术,对城市用地进行适 宜性评价,为城市规划提供科学依据。
人工智能与机器学习在空间数据挖掘中的应用
深度学习
利用神经网络模型对空间数据进行特征提取和 模式识别,提高挖掘精度和效率。
强化学习
通过与环境的交互学习,自动优化空间数据挖 掘任务中的参数和策略。
迁移学习
将在一个任务上学到的知识应用于其他相关任务,减少重新训练模型的时间和 成本。
空间数据挖掘与其他领域的交叉研究
2
通过空间数据挖掘,可以发现隐藏在空间数据中 的知识,揭示出地理现象的内在规律,为解决实 际问题提供科学依据。

空间数据挖掘算法及预测模型

空间数据挖掘算法及预测模型

空间数据挖掘算法及预测模型一、引言空间数据挖掘算法及预测模型是地理信息系统(GIS)领域的重要研究方向。

随着遥感技术的发展和传感器网络的普及,获取了大量的空间数据,如地理位置信息、气象数据、人口统计数据等。

这些数据在城市规划、环境监测、交通管理等方面起着重要的作用。

本文将介绍空间数据挖掘算法及预测模型的基本概念、常见方法和应用案例。

二、空间数据挖掘算法1. 空间数据挖掘概述空间数据挖掘是从空间数据库中发现特定模式和关系的过程。

它可以帮助我们理解地理空间中的变化和关联性。

空间数据挖掘算法可以分为聚类、分类、关联规则挖掘等多个方面。

2. 空间数据聚类算法空间数据聚类是将相似的空间对象归类到同一组或簇中的过程。

常见的聚类算法有基于密度的聚类算法(如DBSCAN)、基于网格的聚类算法(如STING)、基于层次的聚类算法等。

这些算法可以帮助快速识别出地理空间中的热点区域、异常值等。

3. 空间数据分类算法空间数据分类是根据不同的属性和特征将地理空间对象进行分类的过程。

常用的分类算法有决策树、支持向量机(SVM)、人工神经网络等。

通过使用这些算法,可以对地理空间对象进行自动分类和识别,如土地利用类型、植被覆盖类型等。

4. 空间数据关联规则挖掘算法空间数据关联规则挖掘是在地理空间中发现不同空间对象之间的相关性和关联关系。

常见的关联规则挖掘算法有Apriori、FP-growth等。

这些算法可以帮助我们发现地理空间中的相关性模式,如犯罪与社会经济因素之间的关系。

三、空间数据预测模型1. 空间数据模型概述空间数据模型是对地理空间对象进行描述和建模的一种方法。

常见的空间数据模型有基于图的数据模型、基于栅格的数据模型、基于矢量的数据模型等。

这些模型可以帮助我们对地理空间中的实体和属性进行建模和分析。

2. 空间数据预测模型空间数据预测模型是基于历史数据和现有数据对未来空间情况进行预测的一种方法。

常见的空间数据预测模型有回归分析、时间序列分析、人工神经网络等。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
第 37 卷 第 7 期 2014 年 7 月
测绘与空间地理信息
GEOMATICS & SPATIAL INFORMATION TECHNOLOGY
Vol. 37,No. 7 Jul. ,2014
大数据时代的空间数据挖掘综述
马宏斌1 ,王 柯1 ,马团学2
( 1. 信息工程大学 地理空间信息学院,河南 郑州 450000; 2. 空降兵研究所,湖北 孝感 432000)
中图分类号: P208
文献标识码: B
文章编号: 1672 - 5867( 2014) 07 - 0019 - 04
Spatial Data Mining Big Data Era Review
MA Hong - bin1 ,WANG Ke1 ,MA Tuan - xue2 ( 1. Geospatial Information Institute,Information Engineering University,Zhengzhou 450000,China;
4) 空间数据挖掘质量评价。空间数据挖掘的知识很 多,但挖掘的程度如何、挖掘的效益如何等这些问题目前 还没有进行研究。空间数据挖掘结果可能会发现数以千 计的模式,其中 有 些 模 式 是 错 误 的,对 于 给 定 的 用 户,许 多模式未必是 感 兴 趣 的,因 此,如 何 提 供 给 用 户 有 用 的、 确定的和可表示性的知识是一个需要研究的课题。
以上各种获 取 手 段 和 途 径 的 汇 集,就 使 每 天 获 取 的
数据增长量达到 GB 级、TB 级乃至 PB 级。如中国遥感卫 星地面站现在保存的对地观测卫星数据资料达 260 TB, 并以 每 年 15 TB 的 数 据 量 增 长。比 如 2011 年 退 役 的 Landsat5 卫星在其 29 年的在轨工作期间,平均每年获取 8. 6 万景影像,每天获取 67 GB 的观测数据。而 2012 年 发射的资源三号( ZY3) 卫星,每天的观测数据获取量可以 达到 10TB 以上。类似的传感器现在已经大量部署在卫 星、飞机等飞行平台上,未来 10 年,全球天空、地空间部署 的百万计传感器每天获取的观测数据将超过 10 PB。这 预示着一个 时 代 的 到 来,那 就 是 大 数 据 时 代。 大 数 据 具 有“4V”特性,即数据体量大( Volume) 、数据来源和类型 繁多( Variety) 、数据的真实性难以保证( Veracity) 、数据增 加和变化的速度快 ( Velocity) 。对 地 观 测 的 系 统 如 图 1 所示。
摘 要: 随着大数据时代的到来,数据挖掘技术再度受到人们关注。本文回顾了传统空间数据挖掘面临的问题,
介绍了国内外研பைடு நூலகம்中利用大数据处理工具和云计算技术,在空间数据的存储、管理和挖掘算法等方面的做法,并
指出了该类研究存在的不足。最后,探讨了空间数据挖掘的发展趋势。
关键词: 大数据; 空间数据挖掘; 云计算
2) 空间数据挖掘系统适用范围有限。国际上最著名 且有代 表 性 的 通 用 SDM 系 统 有: GeoMiner,Descartes 和 ArcViewGIS 的 S_PLUS 接口。以上 SDM 系统的共同优点 是可以把传统 DM 与地图可视化结合起来,提供聚类、分 类等多种挖掘 模 式,但 它 们 在 空 间 数 据 的 操 作 上 实 现 方 式不尽相同。Descartes 是专门的空间数据可视化工具, 它和 DM 工具 Kepler 两者联合在一起才能完成 SDM 任 务。GeoMiner 是在 MapInfo 平台上进行二次开发而成,系 统庞大,造成较大的资源浪费。S_PLUS 的局限在于,它 是一种解释性语言( Script) ,功能的实现比用 C 和 C + + 直接实现要慢得多,所以只能在非常小的数据库中使用。
第7 期
马宏斌等: 大数据时代的空间数据挖掘综述
21
系统不够成熟,属于实验阶段,并未投入实际应用和后续 开发。
4) 空间挖掘方法和用户交互问题。由于不同的用户 可能对不同类 型 的 知 识 感 兴 趣,空 间 数 据 系 统 应 该 覆 盖 范围很广的数 据 分 析 和 知 识 发 现 任 务,在 相 同 的 空 间 数 据上发现不同的知识,有必要提供交互式手段,开发不同 的空间数据 挖 掘 技 术。 而 目 前,空 间 数 据 挖 掘 知 识 发 现 系统普遍交互 性 不 强,在 知 识 发 现 过 程 中 很 难 充 分 有 效 地利用领域专 家 知 识,用 户 不 能 很 好 地 掌 控 空 间 数 据 挖 掘过程。
图 2 空间数据挖掘的基本过程 Fig. 2 The basic process of spatial data mining
1. 1 空间挖掘理论和算法研究
经过近年来 的 研 究,空 间 数 据 挖 掘 继 承 和 发 展 相 关 的基础学科( 如机器学习、统计学等) 已有成果,并探索出 独具特色的理论体系,但也存在一些问题,主要表现为以 下几点:
收稿日期: 2014 - 01 - 22 作者简介: 马宏斌( 1982 - ) ,男,甘肃天水人,作战环境学专业博士研究生,主要研究方向为地理空间信息服务。
20
测绘与空间地理信息
2014 年
图 1 对地观测系统 Fig. 1 Earth observation system
数据“坟墓”变成“知识金块”。这一需求使得数据挖掘在 大数据时代 再 度 受 到 人 们 的 重 视。 同 时,大 数 据 时 代 的 研究方法和数据处理技术也给空间数据挖掘研究的发展 带来了新的机遇。
1 传统空间数据挖掘存在的问题
1989 年 8 月于美国底特律市召开的第一届国际联合 人工智能学术 会 议 上,首 次 出 现 了 从 数 据 库 中 发 现 知 识 ( Knowledge Discovery in Database,简称 KDD) 。空间数据 挖掘研究比一般的关系数据库或事务数据库的数据挖掘 研究晚。1994 年在渥太华举行的 GIS 国际会议上,李德 仁院士第一次提出了从 GIS 数据库中发现知识 ( Knowledge Discovery from GIS,简称 KDG) 的概念,并系统分析了 空间知识发现的特点和方法,认为它能够把 GIS 有限的数 据变成无限的知识,精炼和更新 GIS 数据,促使 GIS 成为 智能化的信 息 系 统。 从 此,空 间 数 据 挖 掘 就 成 为 数 据 库 和信息决策领 域 的 一 个 重 要 研 究 方 向,虽 然 取 得 了 一 定 的进展,但还 有 很 多 问 题 需 要 研 究。 空 间 数 据 挖 掘 的 基 本过程如图 2 所示。
2. Airborne Institute,Xiaogan 432000,China)
Abstract: In the era of Big Data,more and more researchers begin to show interest in data mining techniques again. The paper review most unresolved problems left by traditional spatial data mining at first. And,some progress made by researches using Big Data and Cloud Computing technology is introduced. Also,their drawbacks are mentioned. Finally,future trend of spatial data mining is discussed. Key words: big data; spatial data mining; cloud computing
1) 多数空间数据挖掘算法是由一般的数据挖掘算法 移植而来,并没有考虑空间数据存储、处理及空间数据本 身的特点。空 间 数 据 不 同 于 关 系 数 据 库 中 的 数 据,它 有 其特有的空间 数 据 访 问 方 法,因 而 传 统 的 数 据 挖 掘 技 术 往往不能很好地分析复杂的空间现象和空间对象。
0引言
随着地理空 间 信 息 技 术 的 飞 速 发 展,获 取 数 据 的 手 段和途径都得 到 极 大 丰 富,传 感 器 的 精 度 得 到 提 高 和 时 空覆盖范围 得 以 扩 大,数 据 量 也 随 之 激 增。 用 于 采 集 空 间数据的可能 是 雷 达、红 外、光 电、卫 星、多 光 谱 仪、数 码 相机、成像光谱 仪、全 站 仪、天 文 望 远 镜、电 视 摄 像、电 子 显微镜、CT 成像等各种宏观与微观传感器或设备,也可能 是常规的野外测量、人口普查、土地资源调查、地图扫描、 地图数字化、统计图表等空间数据获取手段,还可能是来 自计算机、网络、GPS,RS 和 GIS 等技术应用和分析空间 数据。特别是近些年来,个人使用的、携带的各种传感器 ( 重力感应器、电子罗盘、三轴陀螺仪、光线距离感应器、 温度传感器、红外线传感器等) ,具备定位功能电子设备 的普及,如 智 能 手 机、平 板 电 脑、可 穿 戴 设 备 ( GOOGLE GLASS 和智能手表等) ,使人们在日常生活中产生了大量 具有位置信息的数据。随着志愿者地理信息 ( Volunteer Geographic Information) 的出现,使这些普通民众也加入到 了提供数据者的行列。
3) 没有公认的标准化空间数据挖掘查询语言。虽然 GeoMiner 在 Oracle Spatial SQL 语 言 的 基 础 上 设 计 了 GMQL( Geo - Mining Query Language) ,方便了空间数据挖 掘,但毕竟 GeoMiner 只是加拿大 Simon 大学开发的,原型
2) 空间数据含有随机不确定性和模糊性,但目前的 空间数据挖掘方法对空间数据的不确定性处理还存在一
相关文档
最新文档