一种多源异构数据融合技术在PGIS系统中的研究与应用
大规模多源异构数据融合技术研究与应用

大规模多源异构数据融合技术研究与应用随着信息技术的迅速发展,人们进入了一个以数字化、信息化为主导的时代。
而在这个时代里,数据可以说是最重要的资产之一。
而随着数据量的不断增加,如何获得、掌握和利用数据成为了一项重要课题。
多源异构数据融合技术正是一种可以解决这个问题的技术手段。
一、多源异构数据在多源异构数据融合技术中,首先要理解的就是什么是多源异构数据。
所谓多源数据,是指数据来自多个独立的数据源,而异构数据则是指来自不同领域、不同格式、不同结构的数据。
这意味着多源异构数据通常包含了大量的冗余和重复信息,也包含了不同领域之间的关联信息。
多源异构数据的融合和利用对于很多领域都至关重要。
例如医疗领域,患者的各种病历、检查结果、病史等来自不同医院、不同科室的数据都可以被视为多源异构数据。
对这些数据进行融合和分析,可以有效地帮助诊断、治疗和预防疾病。
二、多源异构数据融合技术在多源异构数据的融合和利用过程中,需要借助多源异构数据融合技术。
多源异构数据融合技术可以看作是数据集成和数据挖掘的结合。
它旨在将多源异构数据进行有效的组合和整合,提供一个全面、一致、准确、及时、可靠的数据视图。
多源异构数据融合技术通常包括以下几个方面:1. 数据清洗和预处理。
这是融合技术的基础,其主要目的是将多源异构数据转换成统一的格式和结构,以便进行后续的处理。
2. 数据匹配和集成。
这是融合技术的核心,其主要目的是将多个数据源中的相关数据进行匹配和整合,形成完整的数据集。
3. 数据挖掘和分析。
由于多源异构数据通常包含了大量的信息,因此需要进行数据挖掘和分析,从中提取出有用的知识和信息,为决策提供依据。
4. 数据可视化和展示。
这是融合技术的输出,其主要目的是将融合后的数据以可视化的方式展示给用户,提高数据利用的效率和可靠性。
三、多源异构数据融合技术的应用多源异构数据融合技术已经广泛应用于各个领域。
以下是一些典型的应用场景:1. 医疗领域。
通过融合不同医院、不同科室的病历、检查结果、病史等数据,可以提高患者的诊疗效率和治疗效果。
多源数据融合技术在地理信息系统中的应用研究

多源数据融合技术在地理信息系统中的应用研究随着科技的快速发展和信息化的进一步推进,地理信息系统(Geographic Information System,简称GIS)起到了重要的作用。
多源数据融合技术作为GIS的重要组成部分之一,可以有效整合多个数据源的信息,提供更准确、全面的地理信息。
本文将探讨多源数据融合技术在地理信息系统中的应用研究,并介绍其在不同领域中的具体应用。
首先,多源数据融合技术在地理信息系统中可用于地图制作和更新。
地图是人们获取地理信息的重要手段,而地图的制作和更新需要大量的地理数据。
多源数据融合技术可以将卫星影像、航空影像、地面采集的数据等多个数据源融合在一起,提供更详细、准确的地图。
例如,通过将高分辨率的卫星影像与航空影像融合,可以得到更清晰、细致的地貌图;同时融合地面测量数据,可以提供更准确的高程信息;此外,结合遥感数据和野外调查数据,还可以制作具有丰富地理属性的地图。
其次,多源数据融合技术在城市规划和管理中具有重要的应用价值。
城市规划和管理需要大量的空间信息和统计数据,而这些信息往往来自于不同的数据源。
通过多源数据融合技术,可以将遥感影像、地理信息数据库、社交媒体数据等多个数据源整合起来,为城市规划和管理提供支持。
例如,在城市更新规划中,可以利用多源数据融合技术,将地理信息数据库中的地块信息与遥感影像融合,实现对城市用地的精细化分类和准确划分;在交通管理中,可以结合实时交通数据和遥感影像,实现交通流量监测和拥堵预测。
另外,多源数据融合技术在环境监测和资源管理中也发挥着重要的作用。
环境监测需要多源数据的支持,如气象数据、水质数据、土壤数据等。
通过多源数据融合技术,可以将不同数据源的信息整合起来,形成多维度、全面的环境监测结果,用于环境评估和资源管理。
例如,在水资源管理中,可以利用多源数据融合技术,将遥感影像、水文监测数据、地下水位数据等多个数据源融合,实现对水资源的动态监测和合理利用。
多源异构数据融合的方法研究及应用

多源异构数据融合的方法研究及应用随着互联网的发展和信息技术的普及,越来越多的数据产生和存储在不同的系统和平台中,这些数据有可能是结构化数据,如关系型数据库,也有可能是非结构化或半结构化数据,如文本、图片、音频、视频等。
由于数据来源和格式的多样性,企业在分析和利用数据方面面临很多难题。
多源异构数据融合技术应运而生,它可以将来自不同系统和平台的数据进行整合,形成一张全局视图,为企业提供更准确和全面的数据分析和应用支持。
一、多源异构数据的特点1.来源多样化。
多源异构数据有可能来自不同的系统和平台,如关系型数据库、文本、图片、音频、视频等。
2.格式不一致性。
由于数据来源的多样性,数据的格式也存在着差异,如数据的结构、记录、字段名、编码、精度等方面。
3.数据质量不可靠。
由于数据来源的不确定性和数据收集的不完全性,数据的质量可能会存在着各种问题,如重复、缺失、错误、无效、不一致等。
4.数据量庞大。
多源异构数据的规模通常很大,可能存在着海量的数据,需要进行有效的存储、管理和分析。
二、多源异构数据融合的方法1.数据预处理。
在数据融合之前需要对原始数据进行预处理,包括数据清洗、去重、存储、标准化等。
数据清洗可以将无效数据或异常数据进行删除或修复;去重可以避免重复数据的出现;存储可以选择适当的数据存储格式和机制以便于后续的数据访问和管理;标准化可以将不同格式或表示的数据转换成一致的形式。
2.数据集成。
数据集成是将原始数据进行整合,以便于生成一张全局视图。
数据集成的核心就是实现数据的对齐和匹配,将不同数据源中的相应数据元素进行匹配和对齐,以便于构成一个全视图。
数据集成的方式可以有两种,即逻辑集成和物理集成。
逻辑集成是指通过一定的方式来定义数据元素之间的关系,物理集成是指将数据元素存储到同一个物理位置下。
3.数据匹配。
数据匹配是数据融合过程中最关键和难点的一个环节,主要是对数据元素进行对齐和匹配,以便于生成全局视图。
数据匹配一般由两个步骤组成,一是对数据元素进行规范化处理,二是对数据元素进行相似度计算和匹配。
多源异构数据融合技术研究及应用

多源异构数据融合技术研究及应用随着信息化技术的快速发展,各种异构数据源的产生与积累日益增加。
这些异构数据的特点是数据结构、类型、格式、存储方式等各异,存在数据冗余和不一致性问题。
如何将这些异构数据源进行有效的融合,提取有价值的信息成为了当前研究的热点之一、多源异构数据融合技术可以有效地解决这些问题,具有广泛的应用前景。
数据预处理是多源异构数据融合的第一步,其目的是对原始数据进行规范化处理和清洗,以确保数据的一致性和完整性。
常见的预处理方法包括数据清理、数据转换、数据集成和数据归档等。
数据清理主要是对数据进行去噪、去冗余和去错误等操作,以减小对后续数据处理的干扰。
数据转换是将不同数据源中的数据进行统一编码,方便数据融合过程中的比较和匹配。
数据集成是将不同数据源的数据进行整合,以便后续的数据挖掘和分析。
数据归档则是将数据按照一定的规则进行分类和存储,方便以后的查找和利用。
数据集成是多源异构数据融合的核心环节,其目的是将不同数据源中的数据进行统一整合,以便后续的数据挖掘和分析。
数据集成的方法主要包括模式匹配、实例匹配和决策合并等。
模式匹配是将不同数据源中的数据按照一定的规则进行匹配,以找到相同或相似的数据元素。
实例匹配是将不同数据源中的数据按照一定的规则进行比较和匹配,以找到相同的数据实例。
决策合并则是将不同数据源中的决策结果进行整合,以得到更准确和可靠的决策结果。
数据挖掘是多源异构数据融合的最终目标,其目的是从融合后的数据中提取有价值的信息和知识。
数据挖掘的方法主要包括分类、聚类、关联规则和时序分析等。
分类是将融合后的数据划分为不同的类别,以便进行有针对性的分析和处理。
聚类则是将融合后的数据按照一定的规则进行分组和归类,以便发现数据之间的关联性和相似性。
关联规则是寻找融合后的数据中的关联关系和规律,以便预测未来的行为和趋势。
时序分析则是对融合后的数据进行时间序列的分析和预测,以便预测未来的动态变化。
多源异构数据融合的研究与应用

多源异构数据融合的研究与应用数据融合是现代科技领域中的一个非常热门话题。
数据融合就是将来自不同来源、不同类型和不同形式的数据,合并成一个更大、更全面、更精确的数据集。
数据融合对于提高数据的分析和应用的效率和准确性非常具有意义。
现在,数据来源不断地增加和变化,如社交媒体、物联网、移动设备和传感器等,同时数据的类型也会随时更新。
因此,数据的融合问题也愈发复杂。
特别是,融合来自不同领域的多源异构数据,更是需要在技术和理论上解决许多难题,同时也可以为很多行业带来革新。
一些常见的应用场景是通过多信息源的深度学习、二次处理等融合方式来分析消费者购买行为,并预测未来的需求和趋势。
在城市规划中,融合不同方面的数据,如人口、交通、环境等数据,可以帮助设计更好的城市规划方案。
同时,在医学和健康领域,可以将不同类型的医学数据融合起来,更好更精确地理解和诊断疾病。
多源异构数据融合的挑战和难点在于,每个来源的数据都会有其特定的格式、结构、质量和语言。
因此,需要一些标准化技术来解决这些问题。
例如,数据清理和预处理技术,可以清除数据中的噪音和异常,同时保证数据的一致性和准确性。
另外,还可以通过一些互操作技术,如语义映射和本体管理,来使不同来源之间的数据彼此兼容,从而可以无缝地进行融合。
数据融合的方法包括串行融合、并行融合和混合融合等。
串行融合指的是将数据从不同来源串行地融合成一个数据集。
这种方法容易实现,但是也需要保证各个资源的数据都已经准备好了。
并行融合则是利用多个处理器分别处理各个来源的数据,并行地融合成一个数据集,这种方法不仅具有高效性,而且可以提高数据的实时性。
混合融合指的是同时使用串行融合和并行融合的方法。
混合融合可以提高融合的效率,同时也可以提高数据的质量。
例如,在双重融合中,可以先对每个来源的数据进行串行融合,然后再并行融合,在这个过程中同时解决数据冲突和数据同步的问题,更好地实现融合的目标。
总的来说,多源异构数据融合是一个重要的研究和应用领域。
多源异构数据的融合与处理研究

多源异构数据的融合与处理研究多源异构数据融合与处理是一个多学科交叉的领域,它涉及到数据管理、数据挖掘、人工智能等方面的研究。
在当今信息爆炸的时代,各种形式的信息数据汇聚在一起,而从中提取有用的知识和信息却是一项艰巨的任务。
多源异构数据的融合与处理正是面对这一挑战而提出的解决方案。
本文将探讨多源异构数据的融合与处理,包括其意义、应用场景、研究进展等方面。
一、多源异构数据融合与处理的意义多源异构数据融合与处理的意义在于解决数据碎片化、信息孤立等问题。
在当今数字时代,数据的种类和数量都在不断增长,这带来了两个关键问题:第一,数据来源多样、类型繁杂,各种数据格式和存储方式导致数据之间难以协同;第二,数据分散、无序,容易造成信息孤立和信息不对称现象。
解决这些问题,就需要多源异构数据的融合与处理。
多源异构数据融合与处理可以将来自不同源和不同格式的数据进行整合,使其形成一个有机的整体,从而提高数据的价值和利用效率。
同时,多源异构数据处理技术还能够对数据进行清洗、去噪、标注和归纳,并输出可解释的结果和结论,从而解决数据的可理解性问题,为人类决策提供更加科学和可靠的信息支持。
二、多源异构数据融合与处理的应用场景多源异构数据技术的应用范围广泛,可以应用于众多领域。
下面将详细介绍数据融合与处理技术在一些重要领域中的应用。
1. 医疗健康领域多源异构数据融合和处理技术在医疗健康领域有着广泛的应用。
通过整合患者的电子病历、实时监测数据、生理指标数据、现场医生的诊断结果等多源不同类型的数据,可以大大提高医疗诊断和治疗效率。
例如,利用多源数据分析技术,可以对某种疾病的发病机理和治疗方法进行深入研究,从而有效地掌握疾病的发展趋势和治疗方案,为临床医生提供准确的诊断和治疗方案。
2. 金融风控领域在金融领域,多源异构数据融合和处理技术可以帮助银行和金融机构更加准确地进行风险控制和防范经济犯罪等行为。
通过对多种数据源的融合分析,可以构建一个全面的风险评估模型,准确预测和判断风险事件的发生概率和危害程度。
面向多源异构数据的融合挖掘算法及应用

面向多源异构数据的融合挖掘算法及应用随着信息化发展的不断深入,数据已经成为人们日常生活中必不可少的一部分,随处可见的数据产生、收集和分析已经形成了一个以大数据为核心的领域。
然而,在这个领域中,数据的多源异构性对于数据的融合和挖掘提出了挑战。
因此,本文将介绍一种面向多源异构数据的融合挖掘算法及其应用。
一、多源异构数据融合在多源异构数据中,存在数据结构、数据类型、数据表示方式、数据源的不一致和不同,因此需要对这些数据进行融合处理。
在实际应用中,我们往往需要从不同的数据源中获取数据,然后进行整合处理,从而得到更为全面的信息。
而在数据融合的过程中,需要考虑以下几个方面:1. 数据结构的不一致性在数据融合过程中,最重要的问题是数据结构的不一致性。
不同数据源的数据结构差异通常体现在数据的组织方式及数据项的属性定义及其编码方式。
因此,为了解决多源异构数据融合的问题,需要对不同数据源的数据结构进行转化和统一。
2. 数据类型的不同在多源异构数据融合过程中,还需要考虑数据类型的不同问题。
不同数据源的数据类型通常包括文本数据、图像数据、视频数据等。
因此,在进行数据融合时,需要将不同数据类型的数据进行分类处理,并进行标准化转换。
3. 数据引用的一致性在数据融合的过程中,还需要考虑数据引用的一致性问题。
数据引用主要包括数据的来源、数据的标记及其它相关信息。
因此,在进行多源数据融合的时候,需要确保数据引用的一致性,以便更好地对数据进行管理和使用。
二、多源异构数据挖掘数据挖掘技术是一种从大量数据中提取有意义的信息和知识的过程。
在多源异构数据挖掘中,需要考虑数据的多样性、复杂性以及数据的不确定性和噪声。
因此,在进行数据挖掘时,需要对数据进行处理、筛选和挖掘。
1. 数据前处理在进行数据挖掘前,需要对数据进行前处理。
前处理主要包括数据清理、数据集成、数据变换和数据约减等。
数据清理是指通过修复、删除、加工或合并等方式,去除原始数据中的无效、冗余或误差数据。
多源异构数据融合方法研究及应用

多源异构数据融合方法研究及应用随着人工智能、云计算等技术的发展,数据已经成为社会发展和科技进步的重要基石。
然而,在实际应用中,数据的格式、来源、质量、规模等方面存在着巨大的异构性和不确定性,阻碍了数据的有效利用。
多源异构数据融合技术的出现有望解决这一难题,推动数据利用效率的提升,进而优化社会、经济等领域的发展。
本文将从数据融合的基本概念、方法、技术和具体应用等方面展开讨论。
一、数据融合的基本概念和方法1.1 数据融合的定义数据融合是指将多个具有相互独立性的数据源的信息加以组合,生成一个新的、更加全面、准确、可靠的信息资源的过程。
1.2 数据融合的分类根据不同的实现方式和处理对象,数据融合可以分为三类:(1)基于特定领域或应用需求的数据融合,它通常涉及到某一特定领域或应用系统的数据收集和融合。
(2)基于技术手段或平台的数据融合,它通常通过一些特定的技术手段或平台来实现数据的自动化、规范化融合。
(3)基于单个数据源的数据融合,它通常采用单个数据源组成的数据集来实现数据融合。
1.3 数据融合的方法数据融合的方法有很多,根据数据类型和应用场景,可以分为以下几种:(1)基于相似性的方法,即通过比较不同数据源之间的相似程度来实现数据融合。
(2)基于规则的方法,即通过定义一些规则来实现数据的自动配对和融合。
(3)基于机器学习的方法,即通过训练和学习一些规律和模型,来实现数据的自动化、高效融合。
(4)基于特定领域的方法,即通过对某一特定领域知识的理解和应用,来实现数据的精准和高效融合。
二、多源异构数据融合技术的应用2.1 交通运输领域在交通运输领域,多源异构数据融合技术可以用于实时交通信息监测、交通管理和智慧城市建设等方面。
通过将机动车、公共交通、卫星遥感等多个数据源的信息进行融合,可以实现对道路和城市交通状况的全方位、实时监测和分析,从而制定出更加合理、高效的交通管理和智慧城市建设方案。
2.2 医疗卫生领域在医疗卫生领域,多源异构数据融合技术可以用于实现个性化医疗和医学决策支持等方面。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
一种多源异构数据融合技术在PGIS系统中的研究与应用周凯1,2(1.四川省公安科研中心,四川成都610015;2.四川大学,四川成都610064)[摘要]警用地理信息系统是公安机关维稳处突、打击违法犯罪行为的重要技术支撑平台。
多源异构数据是维护该平台安全稳定、高效运行的底层核心数据。
文章以某PGIS平台为例,针对多源异构数据使用中遇到的数据不兼容、格式不统一、属性数据非空间化、空间数据格式转化等问题,提出了一种多源异构数据的融合模型。
通过属性清洗、属性追加、空间匹配、格式转化等流程化操作,实现了空间与非空间、结构与非结构等数据的融合使用。
并可以基于PGIS平台,统一加载、统一展示、统一应用。
通过利用该技术,挖掘了数据的利用价值,为类似平台数据处理提供了技术参考与经验。
[关键词]多源异构;PGIS;数据融合[中图分类号]P208[文献标识码]A[文章编号]1674-5019(2019)02-0051-05A Multi-Source Heterogeneous Data Fusion Technology in PGISSystem Research and ApplicationZHOU Kai1引言数据融合的本质是多方数据协同处理,以达到减少冗余、综合互补和捕捉协同信息的目的。
该技术已成为数据处理、目标识别、态势评估以及智能决策等领域的研究热点[1]。
通过数据融合,能够将研究对象获取的所有信息全部统一在一个时空体系内,得到比单独输入数据更多的信息。
警用地理信息系统(Police Geographic Information System,简称“PGIS”)是多源异构数据技术、地理信息技术和公安系统业务工作高度结合的产物[2]。
利用多源异构数据融合技术的PGIS平台,可以实现跨省、市、县等行政区域的一张图展示,可达到资源的高度统一利用。
但在实际工作过程中,支撑PGIS平台的基础地理信息数据种类繁多,从平面线划图到精细化三维成果,从空间数据到非空间数据,从海量兴趣点数据(poi)到各种图像数据应有尽有。
面对大数据时代海量的数据资源,如何保障PGIS平台业务数据、测绘地理信息数据、“一标三实”等数据高效利用,互补短板,统一承载于警用地理信息平台,协同发挥数据最大价值,提高数据在分析决策中的应用价值,是当下PGIS平台发展研究的热点问题[2-3]。
2研究方法2.1多源异构数据融合技术数据集成是数据融合的基础,融合是集成基础上的深化应用,通过数据集成与融合,可派生出更高更有价值的新数据,从而得到数据的更多利用价值[4]。
马茜等人[5]基于物联网背景下多源数据获取、存储等存在的不足,提出了一种约束数据质量的异构多源多模态感知数据获取方法,提高了数据精度,降低了网络资源消耗。
韩双旺[6]基于XML语言实现异构多源空间数据的映射和模式转换,利用WebGIS技术实现了空间数据的集成和互操作。
惠国保[7]结合深度学习技术,构思了一种泛化性强的多源异构影像数据融合深度学习模型,实现了深度学习技术在多源异构数据方面的信息提取与挖掘。
李文闯等人[8]提出了一种基于可交换图像文件(EXIF)原理以数字图像为载体融合空间位置信息和一般形式属性的数据模型,实现了空间位置和一般属性嵌入到数字图像物理结构,达到了数据融合的效果。
本文不仅需要解决各种数据的属性嵌套、数据集成,而且要解决空间数据和非空间数据、空间数据与空间数据、结构数据与非结构数据之间的转化问题。
因此鉴于实际需求,本文提出了基于FME平台下自主构建多源异构数据引擎,开展数据融合,实现多源异构数据的集成统一、高效利用。
2.2PGIS多源异构数据目前PGIS平台从空间属性划分,主流的矢量数据格式有shp格式、dwg等格式。
栅格数据有tif格式、img格式、grid等格式。
三维数据有osgb格式、3dml格式、s3c等格式。
非空间数据有jpg格式、doc等格式。
从结构划分,有mdb格式、gdb等结构化的数据库格式,还有非结构化属性数据,例如txt格式、doc格式、xsl格式、xml格式、swf格式等。
为保证上述数据的统一加载、高效实用,必须寻找标准的数据转换方法,统一数据标准,加载入库,便于PGIS平台使用。
同时在加载和应用中还存在数据清洗、属性追加、格式转化、坐标定义、空间投影等问题。
因此,鉴于PGIS平台目前的数据情况,只有充分了解多源异构数据特点,找到数据之间的共性,才能找到解决办法。
2.3多源异构数据模型多源异构是指数据获取方式丰富多样,也包括数据格式多种多样。
从数据结构上分,包括结构数据和非结构数据。
从空间地理属性上分有空间数据和非空间数据。
其中空间数据又包括矢量数据和栅格数据,二维数据和三维数据等。
同时,在矢量数据中又可以细分为不同矢量化格式、不同版本、不同平台支持的格式,同理其他空间数据也可据此细分。
为了实现上述数据的融合,首先必须要建立不同类别数据的转换模型,基于转换模型,方可实现数据间的高效流转。
如图1所示,WANG等人[9-10]提出了一种数据转换模型,该模型综合数据特征因子和信息源质量,基于语义知识和专业领域技术知识,利用投票法解决数据融合的兼容问题。
图1典型多源异构数据融合模型针对上述模型和PGIS平台数据特点,本文提出一种基于FME支撑下的自主构建多源异构数据融合模型,旨在通过分析PGIS系统业务模态,对各种数据按照统一数据引擎进行融合,最终提交到PGIS平台使用。
该技术方案基于OpenGIS组织提出的新的数据转换理念“语义转换”,通过提供在转换过程中重构数据的功能,实现了超过250种不同空间数据格式(模型)之间的转换,为进行快速、高质量、多需求的数据转换应用提供了高效、可靠的手段。
鉴于PGIS平台存在大量的空间数据、非空间数据以及二、三维格式的海量数据,本文的研究技术路线如图2所示。
基于FME软件平台,实现上述结构数据和非结构数据的数据属性清洗、修改、追加、格式兼容性转化、数据坐标定义、数据语义定义等流程化操作,分门别类按照PGIS平台标准,存入该PGIS平台三大数据库[11-13]。
3实验与分析3.1实验数据及方案实验采用PGIS平台建设以来某市提交的多源异构数据,数据不仅包括空间地理信息数据,还包括非空间数据。
即有表格数据等数据。
空间数据又有不同格式的矢量数据、栅格数据,同时还有不同坐标系的矢量栅格数据。
同时还有照片数据和全景影像数据、视频数据等,具体实验数据情况见表1所示。
图2PGIS平台多源数据融合技术整体流程表1实验采用的多源异构数据类型按照空间关系分类按数据结构分类空间数据非空间数据结构数据非结构数据shp、dwg、e00、wgs84数据、cgcs2000数据、GeoTiff、img等jpg、tiff、png、swf、doc、txt、xls等mdb、gdb、Oracle数据库数据等文档、文本、图片、xml、html、图像、音频、视频等基于PGIS平台功能和业务应用特点,首先按照空间数据和非空间数据对汇交的上述数据开展分析,并按照图2所示“三大库”进行归类,归类完毕后再利用多源数据融合引擎进行相关转化融合,但是在具体转化中需要依据数据的应用方式和特点进行不同操作,具体融合过程可参照“三大库”分类进行。
3.1.1警用业务数据库警用业务数据库存储和使用的数据,大多为非结构、非空间化数据,里面有文本文档、音频、视频、各种统计表格等数据。
以普通xml格式数据为例,具体技术流程如图3所示。
当收集到大量的元数据,利用属性检查工具(AttributeClassifier)测试源属性的内容是否完全符合某个特定的字符类别,并且测试是否符合数据汇交要求,如果满足则利用xml格式转化(XMLFormatter)工具对xml 数据整理,通过设置一定的规则删除不符合规则的数据,再利用数据解码工具(TextEncoder)转为标准的编码格式便于数据存储。
当转化完毕再利用属性转移工具(FeatureMerger)提取需要的属性/图形的要素,最后利用空间数据引擎接口(ArcSDEQuerier)实现增、删、查、改等操作并存入空间数据库中。
其他格式的非空间数据也是通过模型,利用FME软件的具体功能接口,可实现非空间数据的融合应用。
3.1.2基础地理信息数据库警用基础地理信息数据库存储和使用的数据,大多为空间数据,因此多源异构引擎需要侧重考虑数据格式的归一化、坐标的统一以及空间匹配等技术要点。
该数据库的多源异构空间地理信息数据融合以某市公安机关汇交的84坐标的dwg矢量格式数据和Excel格式的poi数据为例,具体技术流程如图4所示。
图3非结构、非空间数据的融合应用范例图4空间矢量数据融合应用范例首先通过FME软件标准读接口(Reader)读入dwg格式需要转换的某一图层,利用计数(Counter)接口为每一条需要转化的数据标注一条属性并为其赋值。
依次通过该转换器的每个要素的属性值都增加一次。
通过邻域查找功能(NeighborFinder)查找给定范围内的要素值,并利用列表(ListExploder)的方式将输入的每一条数据的属性值作为备用属性,并利用排序接口(Sorter)将选中的属性字段值进行要素排序,同时利用属性重复性检测接口(DuplicateRemover)实现属性数据的唯一性排序。
据此将转化的数据和邻域内查询的数据利用要素连接接口(FeatureMerger)实现数据拼接,并基于最终警用基础地理信息数据库的要求为转入的图形要素追加标准的属性,通过属性创建接口(AttributeCreator)为所有输入该接口的要素创建一组新属性,这些属性是在转换器的参数设置框中定义,属性可用于分配一组要素的唯一标识、数值型ID值。
通过上述操作,就可以得到从dwg格式数据到shp格式数据的转换,同时做到了属性数据的清洗、重新分配,最终实现图元统一、图形与属性融合目的。
3.1.3标准地址数据库警用标准地址数据库则是标准的街路名地址与空间位置的结合,需要考虑采用“语义转化”引擎,将对应的语义转换为标准的空间位置,最终存储在警用标准地址数据库中。
例如汇交的数据为“四川省成都市人民北路二段198号3栋”,该数据是标准的地址,但是无法和空间坐标相关联。
通过“语义转换”引擎读入标准地址的excel格式数据,利用属性过滤(AttributerFilter)功能将标准地址拆分为“四川省”“成都市”“人民北路二段”“198号”,再利用属性数据查询功能,将定义的“语义关系”进行映射。
例如四川的空间位置大致在东经97°21′~108°31′,北纬26°03′~34°19′之间,通过语义过滤接口可实现过滤和定位,同理成都市坐标在102°54′~104°53′和北纬30°05′~31°26′之间,当拆分的第二字段检索到“成都市”后可实现进一步定位,以此类推最终实现小区级别的定位。