环保数据统一标准集约平台建设方案

环保数据统一标准集约平台建设方案数据统一标准集约平台是要建设一个集中统一的环境数据资源中心，中心将数据模型建设标准、数据交换的标准、信息输出的标准等在平台上建设制定及维护的环境。

环境数据资源云中心是集中管理环境业务部门数据的系统，它是在现有信息化建设基础上，根据统一规范、标准，整合和集成各种环境业务数如环境质量数据、污染源监管数据、安全防控数据、实验室监测数据、排污许可数据、总量控制数据、辐射信息数据、危废数据、信访数据、建设项目管理数据、地理数据、行政管理数据和基础支撑数据；经过分析、挖掘等处理，构建环境信息资源数据的存储中心、管理中心、共享服务中心和决策中心，创造一个环境信息资源的“云”。

集成后的平台可支撑海量环保管理数据，可提供污染源信息综合查询，为环境综合管理提供查询、统计、分析等服务，利用云计算模型实现各种信息的交流和共享、环境管理的决策和分析。

“该数据资源云中心”具有较高的安全性、稳定性和服务连续性，具有智能化的数据自容错与恢复功能。

图-数据规划管理1.1设计思路（1）梳理现有信息建立标准体系依托环保行业内各系统提供的基础信息数据，结合国家相关标准梳理出资源目录体系。

（2）划分存储区域科学管理数据针对各种业务数据，划分不同的数据存储区域，为环境业务系统提供数据存储管理的环境。

（3）数据实时交换资源分级授权构建数据交换中心，以满足监管企业、环保各部门间、上下级单位和公众的数据共享交换。

（4）构建信息平台辅助政府决策在海量数据基础上，构建面向主题的分析模型，提供多维数据分析，为领导决策提供支持。

1.2建设目标◆数据集中统一管理和使用，有效支持业务发展需要；◆确保全区环保数据的高质量和一致性，为统计分析提供有效保障；◆以业务需求驱动数据架构的发展，数据架构具备可扩展性，能够适应业务未来发展对数据的需求；◆提供对全区环保数据的标准化维护管理，提高对数据的维护管理水平；◆数据架构和应用系统技术无关，数据架构可以适应未来技术的发展；◆通过信息资源规划，制定行业数据标准，建立环保数据中心模型，实现数据环境的统一规划、统一设计与统一管控；◆通过主题数据仓库的建设，提供实时、标准化的数据资源，支撑各类业务系统的数据应用，实现环保范围的数据集成，消除数据孤岛，初步构建环境数据云平台；◆通过数据仓库的建设，实现实时指标监控、多维分析、业务报表、GIS等数据表现形式的整合，面向业务部门与领导提供综合分析应用；◆通过元数据管理系统、数据质量管理系统的建设，并配套相关的制度，实现数据管控体系的建设；图-数据资源中心总体架构数据资源中心按照统一数据源接口标准，从业务系统数据源（在线监测、动态管控、安全防控、自行监测、移动执法等）中进行抽取、转换、加载，按照环保数据中心的不同应用需求，形成不同信息存储，并进行访问控制管理。

数据使用部分为各级领导、业务人员以及相关业务系统提供上层的各种应用，实现综合查询系统以及数据共享的需求。

逻辑架构如下图所示：图-数据资源中心逻辑架构（1）数据源和数据获取方式数据源是指为数据中心提供数据的部分，具体包括：环保部门的相关业务系统；对于一些对安全性要求不高的业务系统如污染源信息发布、环保门户网站等，可直接采用ETL工具进行数据抽取；对于一些对安全性要求较高的业务系统如自动监测、动态管控、安全防控等，需要通过WEB服务的方式获取数据；（2）数据仓库数据仓库是数据中心内的核心数据存储区域，它包含一个相对稳定的、企业级的数据仓库数据模型，支撑大部分应用。

这些数据按主题存放，数据粒度等同或粗于ODS，存放企业级的当前数据及历史信息，数据在线存储的周期通常比较长。

数据仓库中所存数据是基于主题域、高度集成、高质量的，按一定频率更新，保留时间窗比较长，并按需求建立一定粒度汇总的数据。

（3）OLAP分析和前端展现一般来说，OLAP分析和前端展现包括如下内容：统计报表：通过报表工具实现预定义报表的自动生成和分发，并能够灵活的实现用户自定义报表的功能。

即席查询：通常即席查询的功能会涉及准实时的业务信息，可以由ODS区提供此类应用，通过即席查询工具，不需要非常专业的SQL知识即可完成业务信息的即席查看。

OLAP分析：利用OLAP分析工具，配合设计良好的OLAP数据模型，可以完成业务人员对业务的分析需求。

联机分析的手段包括各种图形和表格的表现，以及在其上进行的多维度的交叉分析，帮助用户快速定位和解决问题。

（4）数据挖掘用户获取有用信息的能力体现了数据仓库系统的价值，通过数据挖掘，企业原是数据中的有用信息将被探测出来，可使用自动化或半自动化的工具进行分析。

数据挖掘应用根据专题的不同可采用自顶向下或自底向上的方法，分别适应假设验证和知识发现型的应用。

内综合查询系统元数据仓库图-系统实现数据流图1.5建设效果图-建设效果1.6建设内容1). 数据整合集成环境数据资源云中心是将零散、无序的数据进行有机整合，由于数据资料类型不同，来源不同，需首先收集整理归纳，然后进行数据的审核保证数据的准确性，在系统建成之后，需要将基础数据资源进行系统初始化。

无论基于哪种数据来源，必须保证数据的完整性和准确性。

（1）数据采集与各业务科室系统及其它平台形成数据采集机制，对各业务科室、其它平台不同类型数据库可以接入到数据中心。

▪国发系统对接中心应与国发系统进行无缝对接（如“十二五”环统系统、排污申报系统）将数据导入到其中，可直接获取重点企业相关信息，这些数据是准确的，由此可建立基础的企业信息台账。

▪已有数据对已有的任何形式的存储数据都能够导入到云中心里来，如Excel表格导入、WORD导入、XML导入、数据库导入以及其它存储介质数据导入等方式，对于纸质数据等没有电子化的数据采取手工录入的方式。

▪环保业务内部数据共享与各个环保系统进行数据对接，如在线监测、移动执法、实验室监测管理系统、自行监测等系统，进行数据共享。

▪外部数据与安监局、公安局和消防局等部门建立数据交换，实现不同部门之间的协作和应急联动。

（2）数据抽取对业务部门的数据按照一定的规则进行筛选和抽取。

通过ETL模块将源数据通过并行抽取的方式快速的导入到分布式数据集市中存储。

同时存储在数据集市的数据也可以通过并行的方式导出到关系型数据库中便于进一步的对数据进行分析处理。

（3）数据质量控制从各业务部门采集共享数据后，对数据分类、过滤、转换、规整，对数据进行数据比对、冲突检测处理并入各级数据中心数据仓库或数据库。

（4）数据转换建立业务部门数据与标准规范数据的转换映射关系和转换规则，将业务部门的数据转换为符合标准规范的数据。

（5）数据整理对缓存数据库中的各业务部门数据进行比对、清洗，检查数据冲突，对数据进行审核校验。

确保数据一致性、完整性。

（6）数据交换实现环保局业务科室与数据中心之间，其它系统与数据中心之间的数据交换业务，形成高效、安全、可靠、稳定的数据交换网络。

提供定时批量、实时按需的数据交换，提供点对点、一对多的数据交换支持，支持基础和共享数据的更新维护模式, 对数据交换进行管理和监控。

2). 环境中心数据库环境中心数据库包括各类主题的数据仓库和以及经梳理出的各类专题的数据集市。

A. 数据仓库环境中心数据库建立在政务中心服务器上，以数据仓库的形式表现，主要是管理环境数据资源，建立标准数据体系，形成统一的数据库体系，包括以下数据库：（1）基础数据库：整合各种环境相关的业务数据，统一为标准的数据结构。

（2）主题数据库：针对各种业务系统划分不同的主题数据，如污染源台账主题、环境质量分析主题、污染源分析主题等，为业务系统提供数据存储管理的环境。

（3）空间数据库：针对地理信息数据，建设空间数据库，实现对地理数据的存储与调用。

（4）元数据库，存储环境基础数据库与环境数据仓库的元数据，并提供各类元数据检索功能。

通过环境中心数据库的建设实现数据传输和信息共享的基础，满足环境保护局内部不同部门间的数据共享要求。

在环境数据中心数据库上，对环境数据进行高效智能挖掘，打破环保各业务系统之间的隔阂，优化环保信息资源结构，为各项环保业务提供一个统一的数据支撑基础平台。

切实提高各信息系统运作和各业务工作的效率，为领导决策提供信息支持，为企业和社会提供更好的数据服务，使环境监督管理由被动管理型向主动服务转变，由粗放定性型向集约定量型转变，由单一封闭管理向多元开放管理转变，最终实现对环境的“科学、严格、精细、长效”管理，最终提升环境管理的整体水平。

在建设过程中，通过数据查询/发布、资源目录、决策支持等数据应用、服务方式，将经过数据挖掘技术中心的整理、分析后的各类环境信息提供给局领导、各业务部门、社会公众及其他政府部门等具有不同数据需求的用户使用。

在中心数据库这一层汇集所有环境数据及业务数据库的数据结构，对其进行标准化建设，形成面向主题的环境中心数据仓库，建成环境中心数据库。

按照标准化后的环境中心数据库的需要，定期从基础数据库抽取数据。

B. 数据集市数据仓库中的各类数据通过整合梳理抽取，形成数据集市，包含各类业务主题数据库，为相关业务应用提供数据支持。

这些主题数据库包括：（1）污染源数据（2）自动监测数据（3）人工监测数据（4）建设项目数据（5）环境监察数据（6）总量减排数据（7）多维分析数据（8）环境应急数据（9）环境信访数据（10）环境质量数据（11）生态文明数据（12）环境统计数据（13）污染防治数据……通过以上主题数据使数据资源中心至少能够提供2个典型应用：（1）污染源生命周期管理污染源生命周期包括污染源基本情况、环境管理基础设施、环境管理历史数据、环境监测实时数据、环保监督管理数据等。

通过这些主题数据形成污染源生命周期数据，为科室业务提供支撑。

（2）监察移动执法管理结合污染源生命周期数据和执法数据，为监察移动执法系统提供数据支持。

3). 环境数据资源目录由于环境信息资源数量多、门类广、分布分散、信息不对称的特性，发现和定位环境信息资源成了环境信息资源共享和开发利用过程的基本前提。

利用目录技术和元数据技术，以及其它网络技术，在网上构造一个统一的环境信息资源目录管理系统，明确信息从哪里获取，如何进行有效管理、如何向业务系统提供服务，解决信息源多头采集，重复采集，数据命名、类型、格式差异，数据不能及时同步更新，部门间的数据不一致，技术多样化等问题，形成数据生产、数据加工与管理，数据服务的清晰链条，使资源的使用者能够在任何时间，任何地点，通过特定的服务接口查询资源目录，使其能快速发现、定位和获取所需信息。

建立中心数据库资源目录和共享服务资源目录两套目录体系，具备可配置、可管理功能：中心数据资源目录：以目录形式展现公共基础库、业务成果库、主题数据库、前置交换库数据表，并能查询相关数据，在展现方式体现数据库域的概念和层次。