特大型集团企业两级数据中心的研究与实践

引言在企业信息化建设过程中，各类专业业务系统错综复杂。

同时可能存在缺乏统一的规划与设计，极易形成信息孤岛，使得企业信息不能合理地进行组织并实现共享。

随着企业管理扁平化、精细化、精益化的需求日益迫切，企业信息化应用的整合迫在眉睫。

企业管理者的决策分析，需要依靠对企业生产经营活动的全面了解，而企业生产经营活动的信息，分布在众多的业务管理系统中。

围绕企业关键指标体系，结合数据中心技术，构筑企业级的数据仓库及辅助决策系统，快速、有效地为企业管理者提供企业级管理信息的全方位视图，是一个势在必行的趋势。

2006年前后，国内电信、石油、石化、金融、航空等领域的大型集团企业已建成具有一定规模的信息系统，基本实现了对生产经营核心业务以及人财物的统一管理。

法国、德国、日本等国外电力行业中部分有代表性的集团企业也正在实施企业级信息系统。

国家电网公司与国内外信息化先进企业相比，规模大、服务范围广、业务复杂，对信息系统的标准化和集成化要求更高。

国家电网公司紧紧围绕建设“一强三优”现代公司的发展战略目标。

提出从2006年开始。

建设SGl86信息化工程。

通过技术创新和管理创新，在短时间内，构筑横向集成、纵向贯通的一体化企业级信息集成平台。

数据中心作为一体化平台的重要组成部分提上日程，实现工作流、资金流、物资流、信息流的高度整合和共享。

实现公司生产自动化、管理现代化、决策科学化。

1 数据中心定义数据中心是企业的业务系统与数据资源进行集中、集成、共享、分析的场地、工具、流程等的有机组合。

从应用层面看，包括业务系统、基于数据仓库的分析系统；从数据层面看，包括操作型数据和分析型数据以及数据与数据的集成／整合流程：从基础设施层面看，包括服务器、网络、存储和整体IT运行维护服务。

2 数据中心建设目标数据中心建设目标主要是建成一个数据集中的、业务整合的、符合模型标准的、应用可扩展的数据仓库应用体系，为各业务部门及决策层面提供基于企业层面的、整合后的、高质量的数据分析。

1)统一规划数据应用分析：对企业数据应用工作进行统一规划，提升业务人员对于数据应用分析的理解，推动业务数据应用需求的提出。

2)制定企业级报表和指标体系规范：通过建立企业级报表和指标体系规范，合理化企业数据应用分析工作，明确各业务部门在分析应用中的职责，实现企业运行指标分析的统一口径。

3)合理设计数据架构：梳理和规划企业统一的业务数据分布、移动与整合架构。

4)形成企业概念模型：通过梳理企业业务所涉及的主要数据主题并按照其实际业务逻辑关系进行分类得到数据主题域。

同时对主题域间业务关系加以明确，从而在数据层次得到对企业业务的逻辑描述。

5)实现企业级数据整合与存储：通过对业务系统数据进行统一的清洗和转换。

实现数据的企业级整合与存储，为业务用户提供基于数据主题域、涉及全业务的统一信息视图(如客户视图、产品视图、设备视图等)，以此丰富可供业务人员分析和使用的数据。

6)建立完善的数据应用分析：建设数据集市，部署专业商业智能系统。

为业务人员提供包括报表、查询、在线分析和知识发现在内的数据分析应用能力。

7)建立数据管理体系：明确集团企业总部与网省公司的关键绩效指标(KPI)以及相关责任人，有效改善目前指标多人维护、多重上报的问题，实现企业数据的唯一性。

8)建立企业级元数据管理机制：建立业务与技术元数据管理机制，使得企业各个业务部门间形成对业务与技术术语的一致理解。

3 数据中心体系架构根据特大型集团企业信息化建设的特点和需求，本文提出了两级数据中心体系架构。

对数据中心的体系架构、企业级数据模型进行设计。

并给出了数据中心实施方法论和评价体系。

3.1架构设计原则、方法要充分发挥业务系统内在潜力，同时保证统计分析应用深度，需要先进的数据中心架构，并以实用为根本准则，使得数据中心建设既能满足业务需求，又能适应将来发展需要。

因此，架构设计时应遵循如下原则。

1)统一性：核心功能统一，核心数据模型统一，基本展现界面统一，业务应用接入方式统一。

与门户系统的集成方式统一等。

架构设计层次分明，结构严谨，在设计人员同业务人员间建立沟通互信基础。

2)先进性：数据模型灵活、方便扩充，各项技术经济可比指标先进。

3)适应性和可扩展性：架构应具备典型性及一定的适应能力，特别是数据架构，需要应对未来业务应用变化带来的环境改变及需求拓展。

综合考虑总部和下属各单位的实际情况。

要在集团企业中具有广泛的适用性，并能在一定时间内，对不同规模、不同形式、不同外部条件均能适用。

4)经济性：按照企业利益最大化原则，综合考虑初期投资与长期运行费用，追求数据中心生命期内最佳的企业经济效益。

5)时效性：建立体系架构滚动修订机制，随着业务应用的不断完善，不断更新、补充和完善数据中心体系架构。

3．2总体架构数据中心总体架构包括应用架构、执行架构、数据架构、基础架构、安全架构和运维架构(见图1)。

点击图片查看大图图1 数据中心总体结构1)应用架构：指数据中心所支撑的所有的应用系统部署和它们之间的关系。

2)数据架构：数据架构是指每个应用系统模块的数据构成、相互关系和存储方式，还包括数据标准和数据的管控手段等。

3)执行架构：执行架构是指数据仓库在运行时态的关键功能及服务流程，主要包括ETL 架构和数据访问架构。

4)基础架构(物理架构)：为上层的应用系统提供硬件支撑的平台(主要包括服务器、网络、存储等硬件设施)。

5)安全架构：安全架构覆盖数据中心各个部分，包括运维、应用、数据、基础设施等。

它是指提供系统软硬件方面整体安全性的所有服务和技术工具的总和。

6)运维架构：运维架构用于管理执行架构和开发架构。

它主要是面向企业的信息系统管理人员。

为整个信息系统搭建了一个统一的管理平台。

并提供了相关的管理维护工具，如系统管理平台、数据备份工具和相关的管理流程。

3．3逻辑架构数据中心逻辑架构可划分为5个层次：数据源层、数据仓库层、数据集市层、数据分析应用层以及展示层(见图2)。

点击图片查看大图图2 数据中心逻辑架构数据源层负责提供业务应用基础数据。

按数据存取粒度的不同要求由ETL抽取到数据仓库层，确保业务数据在此按主题域完成明细数据和聚合数据的整合工作。

并在技术上满足三级范式格式的存储要求。

由业务需求驱动而建立的数据集市层将从数据仓库统一获取数据，按星形模式或相关模式组建立方体。

提供给数据分析应用层进行统计分析。

最终在展现层通过即席查询、统计报表或OLAP查询进行展现。

3．4数据架构数据架构是指应用系统模块的数据构成、相互关系和存储方式。

包括数据标准和数据的管控手段等内容。

它从跨企业应用系统的视角对数据进行组织，对整个数据生命周期中数据的处理、存储、转换、整合、分布制定的策略、模型、流程以及支持这些策略、模型、流程的技术架构方案进行描述。

典型的数据架构包含企业标准数据模型、数据分类、数据分布、数据整合集成、数据移动和数据管理等6部分(见图3)。

点击图片查看大图图3 数据中心数据架构1)数据标准模型是指数据在整个企业范围内不同层面分布时，为满足集成和交换的需要，制定出的一套通用的、开放的数据模型标准。

2)数据分类是指数据在数据中心是如何被组织分类的。

数据分类是将获取的业务需求信息以结构化的形式表现出来。

数据分类归纳出各业务系统之间需要共享的业务数据，建立统一的业务系统间共享数据模型。

3)数据分布是指根据业务应用的特点，数据在整个企业范围内的物理位置和主题区域的划分。

4)数据集成是指将不同地点或不同业务系统的数据集中到数据中心时，所采取的集成策略。

5)数据移动是指数据在数据中心内移动和复制的过程中，采用的传输规则和转换方法。

具体包括采用的各种工具和技术，在应用系统间形成的数据流、审计和一致性等问题。

6)数据管理是指数据中心管理数据资产的方法。

目的是确保数据的准确一致、完整、可用和安全，包括所需的人员组织结构、责任划分、规章制度和一套适用的流程规范。

3．5执行架构执行架构(见图4)用于规范和定义数据仓库运行时态的功能流程，包含2部分内容：数据ETL功能和数据访问功能。

点击图片查看大图图4 数据中心执行架构1)数据ETL功能：数据批处理抽取架构由抽取、清洗、转换和加载4个主要部分组成。

同时。

批处理抽取架构还应提供缓存与通用数据处理服务。

当然，框架内的各个模块都可以根据实现时的具体业务需求加以调整。

2)数据访问功能：主要包括报表、查询、联机分析和知识发现4类。

通过报表实现预定义和用户自定义报表功能，通过即席查询实现准实时的业务查询：通过联机分析，利用OLAP 分析手段实现多维度的交叉分析：通过知识发现。

利用数据挖掘等知识发现技术，完成特定的分析专题任务。

4 企业级数据模型企业级数据模型从企业全局的视角出发，实现企业业务全局数据的一致性描述，可用于指导两级数据中心相关数据模型的建设和新建业务系统的建设。

企业级数据模型架构分为基础模型和应用模型2个部分。

基础模型分为企业模型、企业数据模型和信息模型3个部分；应用模型分为ODS数据模型、数据仓库模型和数据集市模型。

企业级数据模型架构如图5所示。

点击图片查看大图图5 企业级数据模型架构企业数据模型、ODS数据模型和数据仓库数据模型都是关系型数据模型。

数据集市数据模型是多维数据模型(如星形模型、雪花形模型)。

数据建模工作是长期进行的工作，可以按照以下路线来完成业务数据的建模(见图6)：首先，由总部统一建立企业级概念模型；其次。

在企业级概念模型的基础上，逐步细化建立企业级逻辑模型；最后，以总部企业级逻辑模型为指导模板，各个网省自行设计网省级别逻辑数据模型。

并产生物理数据模型。

点击图片查看大图图6 企业级数据模型应用路线5 数据管控体系数据管控体系是企业数据架构的基础，以保证数据质量、确保数据可用性和指导业务分析为目的，核心是端到端的数据管理流程的建立，将数据、数据拥有者、数据管理机构、数据使用者、数据管理平台有机地整合在一起。

数据管控体系(见图7)包含数据质量管理、数据标准管理和数据安全管理。

点击图片查看大图图7 数据管控体系5．1数据质量管理数据质量管理是对支持业务需求的数据进行全面的质量管理，建立数据质量控制机制，及时发现数据质量问题。

不断改善数据的使用质量，从而提升数据的可用性，实现数据更大的商业价值。

1)制定并公布数据质量管理策略，满足业务管理和业务分析对数据质量的需求。

2)针对数据质量管理的目标。

并参照数据标准管理的成果，制定数据质量管理方法。

3)执行数据质量管理流程，推进数据质量管理的逐步实施。

5．2数据标准管理数据标准管理工作负责制定和维护企业业务经营涉及的数据标准的数据模型。

通过系统的实施逐步推广数据标准的落实，采用数据分类管理的方式对数据进行定义和管理。

1)数据标准管理政策：数据标准管理政策是数据标准维护流程的基础，主要定义了各职能部门在数据标准制定和执行过程中的职责和权利。