!空间数据挖掘技术及其应用

文章编号:0494 0911(2002)02 11 03中图分类号:P23 文献标识码:B空间数据挖掘技术及其应用周海燕,王家耀,吴 升(信息工程大学测绘学院,河南郑州450052)Spatial Data Mining and Its ApplicationsZHOU Hai yan,WANG Jia yao,WU Sheng摘要:介绍了空间数据挖掘的概念、体系结构、常用的方法、可获取的知识类型及其应用。

关键词:数据挖掘和知识发现;空间数据挖掘收稿日期:2001 08 21;修回日期:2001 09 19作者简介:周海燕(1974 ),女,湖南邵东人,硕士,主要从事空间数据仓库和空间数据挖掘的研究。

一、引 言随着数据库技术的不断发展和数据库管理系统的广泛应用,数据库中存储的数据量急剧增大,在这些大量数据的背后隐藏了很多具有决策意义的信息。

但是,现今数据库的大多数应用仍然停留在查询、检索阶段,数据库中隐藏的丰富的知识远远没有得到充分的发掘和利用,数据库的急剧增长和人们对数据库处理和理解的困难形成了强烈的反差,导致 人们被数据淹没,但却饥饿于知识 的现象。

数据挖掘和知识发现(Data Mining and Kno wledge Dis covery,简称DMKD)技术,就是在这种背景下应运而生的。

数据挖掘与知识发现是指从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中提取隐含的、未知的、潜在的、有用的信息的过程。

空间数据库(数据仓库)中的空间数据除了其显式信息外,还具有丰富的隐含信息,如数字高程模型(DE M 或TIN)除了载荷高程信息外,还隐含了地质岩性与构造方面的信息;植物的种类是显式信息,但其中还隐含了气候的水平地带性和垂直地带性的信息,等等。

这些隐含的信息只有通过数据挖掘才能显示出来。

空间数据挖掘(Spatial Data Mining,简称SDM),或称从空间数据库中发现知识,作为数据挖掘的一个新的研究分支,是指从空间数据库中提取隐含的、用户感兴趣的空间和非空间的模式和普遍特征的过程[1]。

由于SDM 的对象主要是空间数据库,而空间数据库中不仅存储了空间事物或对象的几何数据、属性数据,而且存储了空间事物或对象之间的图形空间关系,因此其处理方法有别于一般的数据挖掘。

SDM 与传统的地学数据分析方法的本质区别在于SDM 是在没有明确假设的前提下去挖掘信息、发现知识,挖掘出的知识应具有事先未知、有效和可实用3个特征。

二、空间数据挖掘的体系结构空间数据挖掘系统可以大致分为3层结构,如图1所示。

三、空间数据挖掘方法空间数据挖掘是多学科和多种技术交叉综合的新领域,其挖掘方法以人工智能、专家系统、机器学习、数据库和统计等成熟技术为基础。

下面介绍近年来出现的主要空间数据挖掘方法。

1.空间分析方法。

利用GI S 的各种空间分析模型和空间操作对空间数据库中的数据进行深加工,从而产生新的信息和知识。

常用的空间分析方法有综合属性数据分析、拓扑分析、缓冲区分析、距离分析、叠置分析、网络分析、地形分析、趋势面分112002年 第2期 测 绘 通 报析、预测分析等,可发现目标在空间上的相连、相邻和共生等关联规则,或发现目标之间的最短路径、最优路径等辅助决策的知识。

2.统计分析方法。

统计方法一直是分析空间数据的常用方法,着重于空间物体和现象的非空间特性的分析。

统计方法有较强的理论基础,拥有大量成熟的算法。

统计方法难以处理字符型应用统计方法需要有领域知识和统计知识,一般由具有统计经验的领域专家来完成。

3.归纳学习方法。

归纳学习方法是从大量的经验数据中归纳抽取一般的规则和模式,其大部分算法来源于机器学习领域,归纳学习的算法有很多,如Michaski等的AQ11,AQ15,洪家荣等的AE1,AE9, Hunt的C LS,Quinlan的ID3,C5.0等,其中最著名的是Quinlan提出的C5.0决策树算法。

4.聚类与分类方法。

聚类和分类方法按一定的距离或相似性系数将数据分成一系列相互区分的组。

常用的经典聚类方法有K mean,K meriod,ISO DATA等。

分类和聚类都是对目标进行空间划分,划分的标准是类内差别最小而类间差别最大。

分类和聚类的区别在于分类事先知道类别数和各类的典型特征,而聚类则事先不知道。

5.探测性的数据分析方法。

李德仁、邸凯昌等提出了探测性的数据分析(简称EDA)。

EDA采用动态统计图形和动态链接窗口技术将数据及统计特征显示出来,可发现数据中非直观的数据特征及异常数据。

EDA与空间分析相结合,构成探测性空间分析(E xploratory Spatial Analysis,简称E SA)。

EDA和ESA技术在数据挖掘中用于选取与问题领域相关的数据子集,并可初步发现隐含在数据中的某些特征和规律。

6.粗集方法。

粗集理论是波兰华沙大学Z. Pa wlak教授在1982年提出的一种智能数据决策分析工具,被广泛研究并应用于不精确、不确定、不完全的信息的分类分析和知识获取。

粗集理论为空间数据的属性分析和知识发现开辟了一条新途径,可用于空间数据库属性表的一致性分析、属性的重要性、属性依赖、属性表简化、最小决策和分类算法生成等。

粗集理论与其他知识发现算法相结合可以在空间数据库中数据不确定的情况下获取多种知识。

7.云理论。

云理论是李德仁、邸凯昌等为解决模糊集在隶属度概念上的不确定性而提出的一种新理论,包括云模型、虚云、云运算、云变换和不确定性推理等主要内容。

运用云理论进行空间数据挖掘,可进行概念和知识的表达、定量和定性的转化、概念的综合与分解、从数据中生成概念和概念层次结构、不确定性推理和预测等。

8.空间特征和趋势探测方法。

这是Ester等人在第4届KDD国际研讨会(1998)上提出的基于邻域图(neighborhood graphs)和邻域路径(neighborhood path)概念的挖掘算法。

Ester等将一个空间特征定义为空间数据库中具有空间/非空间性质的目标对象集,并以非空间属性值出现的相对频率和不同空间对象出现的相对频率(目标对象集相对于整个数据库)作为感兴趣的性质,从空间目标集合经过它的相邻扩展后的集合中,发现相对频率的明显不同,以此提取空间规则;空间趋势探测挖掘是从一个开始点出发,发现一个或多个非空间性质的变化规律。

这种算法的效率在很大程度上取决于其处理相邻关系的能力。

9.数字地图图像分析和模式识别方法。

空间数据库(数据仓库)中含有大量的图形图像数据,一些图像分析和模式识别方法可直接用于挖掘数据和发现知识,或作为其他挖掘方法的预处理方法。

用于图像分析和模式识别的方法主要有:决策树(De cision Tree)方法、神经元网络(Artificial Neural Net work)方法、数学形态学方法、图论方法等。

10.可视化方法。

可视化数据分析技术拓宽了传统的图表功能,使用户对数据的剖析更清楚。

例如,把数据库中的多维数据变成多种图形,这对揭示数据的状况、内在本质及规律性起到了很强的作用。

当显示SDM发现的结果时,将地图同时显示作为背景,一方面能够显示其知识特征的分布规律,另一方面也可对挖掘出的结果进行可视化解释,从而达到最佳的分析效果。

可视化技术使用户看到数据处理的全过程、监测并控制数据分析过程。

为了发现某类知识,常常要综合运用这些方法。

数据挖掘方法还要与常规的数据库技术充分结合。

数据挖掘利用的技术越多,得出的结果精确性就越高。

四、空间数据挖掘中可发现的知识类型及其应用数据挖掘所发现的知识最常见的有以下4种类型:广义知识、关联知识、分类知识和预测型知识。

此外,还可发现其他类型的知识,如偏差型知识(De viatation),它是对差异和极端特例的描述,揭示事物偏离常规的异常现象。

这些类型的知识同样适用于空间数据挖掘。

12 测 绘 通 报 2002年 第2期数字地球的研究对象是带有地理坐标的空间信息,而空间信息约占总信息量的80%。

SD M 是将这些信息转为有用的知识的有效工具之一,在 数字地球 海量空间数据处理中占有十分重要的作用,有着广泛的应用前景。

它可以应用于空间数据库管理系统中,可作为辅助决策支持和分析的工具,可用于自动构建遥感解译专家系统和空间决策支持系统的知识库,也可以为空间数据仓库提供比OLAP(联机分析)更高级的分析工具,还可以与GIS 和其他I T 工具高度集成构成智能化软件。

五、结束语数据挖掘从提出到现在只短短20年时间,而SDM 则更年轻,但其发展十分迅速,已经取得了十分丰富的成果。

但是,SDM 中仍有大量的理论和技术问题有待于进一步研究和探索,如多分辨率的数据挖掘、并行数据挖掘、多媒体空间数据库的数据挖掘、知识的可视化表达、便于数据挖掘过程中进行人机交互的可视化技术、分布式空间数据的知识发现、空间数据挖掘语言、新算法和高效率的空间挖掘算法的研究、SDM 技术与空间数据仓库中的OLAP 技术的结合、SDM 与GIS 的集成、SDM 与空间决策知识系统的集成、SDM 与其他专家系统的集成以及SDM 与空间数据仓库的集成等等。

参考文献:[1] 邸凯昌.空间数据挖掘和知识发现的理论与方法[D].武汉:武汉测绘科技大学,1999.[2] 周学虎,张健挺.基于信息熵的地学空间数据挖掘模型[J].中国图象图形学报,1999,4(11).[3] JIAWEI H.MICHELINE K.Data M ining:Concep ts and T echniques[M].[s.l.]Morgan Kaufmann Publishers,2000.[4] 王家耀.空间信息系统原理[M ].北京:科学出版社,2001.[5] 郭仁忠.空间分析[M].武汉:武汉测绘科技大学出版社,1997.(上接第10页)2.用信息熵法识别将观测数据从小到大排列:2.030,2.039,2.040,2.040,2.041,2.042,2.042,2.043,2.043。

为计算方便,将所有观测值减去最小观测值x min =x 6=2.030,得到一新的序列:0,9,10,10,11,12,12,13,13。

令第一个数的编号k =0,即x (0)=0,x (1)=9,!,x (8)=13,且前两个重复10的k 取其均值k =(2+3)/2=2.5,计算其R k 时,按R k =k /n +1计算,其余数据处理与此类似。

经计算:H ^(X )=-1.44∀ni =1ln R k +1-R kx (k +1)-x (k)#(R k +1-R k )=2.41观测值的不确定度U e =eH^(x )/2=e 2.41/2∃7.9,则该样本的置信区间为X -U e ,X +U e %=[2.040-0.0079,2.040+0.0079]=[2.0321,2.0479],显然,x 6=2.030不在置信区间内,故可认定其含有粗差,给予剔除。