数据治理之数据模型管控方案

合集下载

大数据治理系列,第一部分大数据治理统一流程模型概述和明确元数据管理策略

大数据治理系列,第一部分大数据治理统一流程模型概述和明确元数据管理策略

大数据治理系列,第一部分:大数据治理统一流程模型概述和明确元数据管理策略大数据治理的核心是为业务提供持续的、可度量的价值在各行各业中,随处可见因数量、速度、种类和准确性结合带来的大数据问题,为了更好地利用大数据,大数据治理逐渐提上日程。

大数据治理的核心是为业务提供持续的、可度量的价值。

本文主要介绍大数据治理的基本概念和大数据治理统一流程参考模型的前两步:“明确元数据管理策略”和“元数据集成体系结构”。

大数据治理概述(狭义)大数据是指无法使用传统流程或工具在合理的时间和成本内处理或分析的信息,这些信息将用来帮助企业更智慧地经营和决策。

而广义的大数据更是指企业需要处理的海量数据,包括传统数据以及狭义的大数据。

(广义)大数据可以分为五个类型:Web和社交媒体数据、机器对机器(M2M )数据、海量交易数据、生物计量学数据和人工生成的数据。

•Web和社交媒体数据:比如各种微博、博客、社交网站、购物网站中的数据和内容。

*M2M数据:也就是机器对机器的数据,比如RFID数据、GPS数据、智能仪表、监控记录数据以及其他各种传感器、监控器的数据。

•海量交易数据:是各种海量的交易记录以及交易相关的半结构化和非结构化数据,比如电信行业的CDR、3G上网记录等,金融行业的网上交易记录、corebanking记录、理财记录等,保险行业的各种理赔等。

•生物计量学数据:是指和人体识别相关的生物识别信息,如指纹、DNA、虹膜、视网膜、人脸、声音模式、笔迹等。

•人工生成的数据:比如各种调查问卷、电子邮件、纸质文件、扫描件、录音和电子病历等。

在各行各业中,随处可见因数量、速度、种类和准确性结合带来的大数据问题,为了更好地利用大数据,大数据治理逐渐提上日程。

在传统系统中,数据需要先存储到关系型数据库/数据仓库后再进行各种查询和分析,这些数据我们称之为静态数据。

而在大数据时代,除了静态数据以外,还有很多数据对实时性要求非常高,需要在采集数据时就进行相应的处理,处理结果存入到关系型数据库/数据仓库、MPP数据库、Hadoop平台、各种NoSQL数据库等,这些数据我们称之为动态数据。

数据治理操作指南

数据治理操作指南

数据治理操作指南目录1. 数据治理 (3)1.1 从这里开始 (3)1.1.1 业务背景 (4)1.1.2 产品定位 (4)1.1.3 基本概念 (5)1.1.4 功能特性 (7)1.1.5 操作流程 (14)1.2 配置数据标准 (16)1.2.1 配置数据分层标准 (16)1.2.2 配置模型设计标准 (20)1.2.3 管理文档 (25)1.2.4 配置业务术语 (28)1.2.5 配置码表 (30)1.2.6 配置数据库系统 (32)1.3 配置数据模型 (37)1.3.1 数据模型状态说明 (37)1.3.2 (可选)创建数据分层 (38)1.3.3 创建数据模型(导入方式) (41)1.3.4 创建数据模型(逻辑实体采集方式) (42)1.3.5 创建数据模型(物理实体采集方式) (44)1.3.6 创建数据模型(手动新建方式) (48)1.3.7 审核数据模型 (54)1.3.8 (可选)复制和导出数据模型 (55)1.4 应用数据模型 (56)1.4.1 模型建模 (57)1.4.2 管理域和特征 (60)1.5 管理数据安全 (65)1.5.1 管理去隐私算法 (66)1.5.2 添加去隐私策略 (69)1.5.3 管理数据访问权限 (72)1.5.4 创建数据角色 (73)1.5.5 管理操作员权限 (75)1.5.6 查看用户与角色权限 (78)1.5.7 查看我的权限 (79)1.6 管理元数据 (79)1.6.1 查看数据云图 (80)1.6.2 查看模型开发报告 (81)1.7 管理数据质量 (82)1.7.1 数据质量管理操作流程 (83)1.7.2 添加数据质量规则 (83)1.7.3 配置和执行稽核任务 (89)1.7.4 实时监控数据质量 (91)1.7.5 分析数据质量趋势 (93)1.7.6 管理数据质量知识库 (96)1.7.7 任务示例 (98)1.8 参考 (103)1.8.1 检核语句说明 (104)1.8.2 自定义SQL参考函数 (104)1.8.3 模型配置参数 (109)1.8.4 存储周期配置说明 (117)2. Addenda (119)2.1 设置任务调度时间 (119)2.2 集群管理 (119)1. 数据治理•从这里开始(查看 [标题编号])•配置数据标准(查看 [标题编号])数据标准管理是数据质量的核心内容,是数据规范的保障。

2023数字化转型战略下的企业数据治理方法论与解决方案

2023数字化转型战略下的企业数据治理方法论与解决方案

完成目标数据技术规则、 案与管理流程完成与相
业务规则、CRUD标准定 关业务部门的确认。
义以及与业务部门的确认

主数据利用: 针对目标数据的业务规 则和技术规则,与相关 业务部门和系统管理员 确认,要求数据源改造 。
真实世界模型
• “真实世界模型”建模方法论,主张从数据的角度反映真实业务的本来面目,建立规范的建模体系;
数据交换
不同部门的数据协同,获取到数据并完成业务逻辑;灵活地进行数据转换规 则设计;
数据整合
将不同来源的数据,经过清洗转换后变为统一格式,存储到数据中心或者数 据仓库,用于提供数据共享、数据分析等服务;支持界面话工作流调度
数据清洗、转换
数据迁移:将数据进行转移 数据同步:保持两个同构或者异构库的数据一 致 增强抽取:对于发生改变的数据进行更新 列映射:数据类型转换、列名变换、删除列、 增加列
让资产变得干净,少歧义
• •
真实世界模型 数据仓库
通过数据ETL,建立数据标准化。 • 数据标签和画像
• 数据采集与清洗
• ……
• 数据标准化
• ……
数据治理持久化
对数据治理工作持久化,一 次治理,永久治理。
• 数据治理工作日常化
• 元数据和标准化治理维护 更新
• 新类型数据的自动化治理
数据治理的延伸:数据管理
移动设备 数据
社交网络 数据
日志数据 …...
企业数据治理方法论与解决方案
数据治理的范畴
数据架构管理
• 企业数据模型 • 价值链分析 • 相关的数据架构
数据质量管理
• 规范 • 分析 • 度量 • 改进
元数据管理
• 架构 • 整合 • 控制 • 交付

大数据平台数据治理体系建设和管理方案

大数据平台数据治理体系建设和管理方案

XXX企业级省大数据平台数据治理子系统的建设和管理方案目录1.范围 (5)2.规范性引用文件 (5)3.术语、定义和缩略语 (17)4.总体说明 (23)4.1.概述 (23)4.2.目标 (23)4.3.原则 (24)5.数据治理体系 (25)5.1.总体框架 (25)5.2.组织架构 (26)5.2.1.组织构成 (27)5.2.2.角色职责 (27)5.3.系统架构 (29)5.3.1.系统功能框架 (29)5.3.2.系统模块流程 (32)5.4.系统边界 (33)5.4.1.与企业级省大数据平台关系 (34)5.4.2.与对外能力开放平台关系 (34)5.4.3.与平台运维系统关系 (35)6.数据治理核心模块 (35)6.1.数据标准管理 (35)6.1.1.背景 (35)6.1.2.目标及原则 (37)6.1.3.业务分类和定义 (38)6.1.4.技术功能要求 (46)6.1.5.本期建设范围及内容 (51)6.1.6.实施要求 (52)6.2.元数据管理 (52)6.2.1.背景 (52)6.2.2.元数据运营模式 (55)6.2.3.元模型标准 (55)6.2.4.元数据运维 (62)6.2.5.本期重点建设内容 (63)6.3.数据质量管理 (64)6.3.1.与传统经营分析系统的区别 (64)6.3.2.范围和原则 (66)6.3.3.与其它功能模块的关系 (67)6.3.4.本期数据质量功能需求 (70)6.3.5.本期数据质量运维要求 (72)6.4.数据资产管理 (73)6.4.1.数据资产概述 (73)6.4.2.数据资产范围 (75)6.4.3.与其它功能模块的关系 (77)6.4.4.本期数据资产功能需求 (77)6.4.5.本期建设内容 (81)6.5.数据安全管理 (81)6.5.1.数据安全概述 (81)6.5.2.建设原则 (82)6.5.3.建设内容 (82)6.5.4.边界关系 (83)6.5.5.技术功能 (84)6.5.6.管理要求 (85)7.数据治理场景 (91)7.1.背景描述 (91)7.2.场景一:银行伪卡交易判别 (92)7.2.1.背景介绍 (92)7.2.2.场景描述 (93)7.3.场景二:银行手机贷业务 (94)7.3.1.背景介绍 (94)7.3.2.场景描述 (94)8.附录 (96)附录一:数据标准框架 (96)附录二:数据标准体系定义内容示例 (97)前言本规范的制订是为了更好地实现XXX企业级省大数据平台数据治理子系统的建设和管理,为省大数据平台上的各类基础技术和应用提供支撑,加强省大数据平台上数据的管控力度,增强数据治理子系统自身管理能力。

数据治理场景化方案

数据治理场景化方案

数据治理场景化方案数据治理是指对企业内部的数据资源进行有效管理和规范的一系列过程和措施。

在当今大数据时代,数据治理越来越受到企业的重视,因为良好的数据治理可以提高数据的质量、准确性和可信度,帮助企业更好地利用数据来支持决策和业务发展。

在实际应用中,数据治理需要根据不同的场景进行定制化的方案。

下面将以几个典型的数据治理场景为例,介绍相应的方案。

1. 数据质量管理数据质量是数据治理的核心问题之一。

在实际工作中,我们经常会遇到数据重复、不完整、不准确等问题,这些问题会影响到企业的决策和业务运营。

因此,需要建立起完善的数据质量管理方案。

需要明确数据质量的要求和指标,包括数据准确性、完整性、一致性、可信度等。

然后,可以采用数据清洗、数据验证、数据监控等手段来提高数据质量。

例如,可以通过数据清洗工具对数据进行清洗,去除重复数据和不完整数据;可以建立数据验证规则,对数据进行验证,确保数据的准确性和一致性;可以通过数据监控系统实时监控数据质量,及时发现并处理数据质量问题。

2. 数据安全管理数据安全是数据治理的另一个重要方面。

随着数据泄露和数据安全事件的频发,企业需要加强对数据的安全管理,保护数据的机密性、完整性和可用性。

需要制定数据安全策略和规范,明确数据的访问权限和使用规则。

其次,可以采用加密技术对敏感数据进行加密保护,防止数据被非法获取和篡改。

此外,还可以建立数据备份和恢复机制,确保数据的可用性和灾备能力。

3. 数据分类和标准化数据分类和标准化是数据治理的基础工作,可以提高数据的可管理性和可理解性。

通过对数据进行分类和标准化,可以建立起统一的数据词汇和数据模型,方便数据的管理和分析。

需要对企业的数据进行分类,将数据按照业务领域、数据类型等进行分类。

然后,可以制定数据标准和规范,定义数据的命名规则、数据格式、数据单位等。

此外,还可以建立数据词典,统一数据的定义和解释,提高数据的一致性和可理解性。

4. 数据治理流程和责任分工数据治理需要建立起一套科学的流程和明确的责任分工,确保数据治理工作的顺利进行。

基于集团数据资产管控的数据治理建设方案

基于集团数据资产管控的数据治理建设方案

基于集团数据资产管控的数据治理建设方案1.引言数据资产在现代企业中具有重要的价值和意义,因此,有效的数据治理是企业取得成功的关键之一。

随着企业规模的扩大和数据量的增加,集团企业需要建立一套基于数据资产管控的数据治理方案,以确保数据的准确性、可用性和安全性。

本文将介绍一种基于集团数据资产管控的数据治理建设方案。

2.背景在集团企业中,不同的子公司和部门可能使用不同的数据管理系统和流程,导致数据的孤岛现象。

此外,未经有效管控的数据使用和共享可能会引发数据泄露和合规风险。

因此,建立一个集中的数据治理机制势在必行。

3.数据资产清查与分类首先,集团企业需要对现有的数据资产进行清查和分类。

清查工作包括对各个子公司和部门的数据资产进行全面的调查,并记录其所属的业务领域、数据类型、数据所有权等信息。

清查完成后,数据资产可按照关键性、敏感性和重要性等级进行分类,以便后续的管控和治理工作。

4.数据资产管控策略4.1 数据访问控制通过制定严格的数据访问控制策略,集团企业可以确保只有合法的用户可以访问和使用敏感数据。

采用基于角色的访问控制模型,可以确保每个用户只能获得其工作职责所需的数据权限。

4.2 数据质量管理数据质量是数据治理的核心要素之一。

集团企业应建立数据质量管理流程,包括数据收集、数据清洗、数据整合和数据验证等环节。

此外,定期的数据质量评估和监控也是确保数据质量持续改进的关键。

4.3 数据安全保障数据安全是集团企业数据治理的重中之重。

通过实施安全控制措施,如加密、权限管理和安全审计等,可以保护数据不被非法访问和篡改。

此外,建立数据备份和灾备机制也是保障数据安全的必要措施。

4.4 数据共享和合作在集团企业中,不同子公司和部门之间的数据共享和合作能够提高业务效率和决策水平。

因此,建立安全有效的数据共享机制是数据治理的关键环节。

可以采用数据交换标准和协议,确保数据在共享过程中的安全性和可靠性。

5.数据治理平台建设为了实现集团企业的数据治理目标,建立一个集中的数据治理平台是必不可少的。

谈谈数据治理成熟度模型及大数据治理参考架构

谈谈数据治理成熟度模型及大数据治理参考架构

谈谈数据治理成熟度模型及⼤数据治理参考架构数据是企业拥有的最⼤资产之⼀,但是数据也越来越难以管理和控制。

⼲净、可信的数据能够为企业提供更好的服务,提⾼客户忠诚度,提⾼⽣产效率,提⾼决策能⼒。

然⽽,数据也可以被认为是企业最⼤的风险来源。

有效地利⽤信息,通过创造性地利⽤数据来优化⼈员和流程从⽽增加创新的能⼒。

相反,糟糕的数据管理往往意味着糟糕的业务决策和结果,更容易受到违反法规和数据失窃的影响。

⼤数据给信息治理过程、⼯具和组织带来了更⼤的挑战。

随着我们朝着低延迟决策和⼤量不受控制的外部数据的⽅向发展,它变得更加重要。

在⼤数据环境中,需要提出⼏个关键的治理问题,包括在实时分析和实时决策,强调低延迟数据管理的情况下,如何进⾏数据治理。

⼀、数据治理能⼒成熟度模型从结构化数据到⾮结构化数据,包括客户和员⼯数据、元数据、商业机密、电⼦邮件、视频和⾳频,组织必须找到⼀种⽅法,在不妨碍信息⾃由流动和创新的情况下,根据业务需求管理数据。

能⼒成熟度模型(Capabilities Maturity Model,CMM)描述了⼀个框架和⽅法,⽤于度量数据治理的进度。

这个结构化的元素集合提供了⼀个稳定的、可测量的进展到最终想要的成熟度状态。

根据CMM,衡量数据治理进度的五个级别是:成熟度级别1(初始):流程通常是临时的,环境不稳定。

成熟度级别2(重复):成功是可重复的,但流程可能不会对组织中的所有项⽬重复。

成熟度级别3(定义):组织的标准流程⽤于建⽴整个组织的⼀致性。

成熟度级别4(管理):组织为过程和维护设定定量质量⽬标。

成熟度级别5(优化):组织的定量过程改进⽬标被牢固地建⽴并不断地修改以反映不断变化的业务⽬标,并被⽤作管理过程改进的标准。

数据治理成熟度模型有助于企业和其他利益相关者如何使战略更有效。

成熟度模型基于IBM数据治理委员会成员的输⼊。

它定义了谁需要参与管理和度量企业在整个组织中管理数据的⽅式的范围。

数据治理成熟度模型基于以下11类数据治理成熟度来衡量数据治理的能⼒:1、数据风险管理和合规性:识别、鉴定、量化、避免、接受、减轻或转出风险的⽅法。

数据湖的数据治理与数据质量管理技巧(四)

数据湖的数据治理与数据质量管理技巧(四)

数据湖是一种用于存储和管理大量不同类型、不同结构的原始数据的技术架构。

与传统的数据仓库相比,数据湖更加灵活、可扩展,并且能够处理非结构化数据。

然而,由于数据湖的数据来源广泛,数据质量和数据治理问题变得尤为重要。

本文将探讨数据湖的数据治理和数据质量管理技巧。

一、数据治理在数据湖中的重要性数据湖中的数据来源种类繁多,包括来自不同部门、不同传感器和不同平台的数据。

这些数据往往以不同的格式和结构存在,可能存在数据冗余、数据不一致等问题。

因此,在数据湖中进行数据治理变得尤为重要。

1. 统一数据模型为了解决数据湖中的数据多样性问题,可以通过统一的数据模型进行数据转换和整合。

数据模型可以定义数据的结构、类型和关系,帮助用户更好地理解和使用数据。

通过建立统一的数据模型,可以降低数据湖中的数据复杂性,提高数据的可用性和可发现性。

2. 元数据管理元数据是指描述数据的数据,是数据湖中数据的重要组成部分。

元数据可以提供数据的定义、数据质量、数据来源等信息,帮助用户更好地理解数据。

在数据湖中,对元数据进行管理是非常关键的。

通过建立元数据目录、元数据管理工具等,可以帮助用户快速查找、理解和使用数据。

二、数据质量管理在数据湖中的挑战与技巧数据湖中的数据不受限于数据模式和数据结构,来源广泛,因此数据质量问题日益突出。

以下是在数据湖中进行数据质量管理的一些建议和技巧。

1. 数据规范化数据湖中的数据可能存在多样性和不一致性,因此需要对数据进行规范化处理。

首先,需要定义统一的数据格式和标准,对数据进行清洗和转换。

其次,需要建立数据验证机制,对数据进行合法性和准确性的验证。

通过规范化处理,可以提高数据的一致性和准确性。

2. 数据质量监控数据湖中的数据源广泛,数据更新频繁,因此需要建立数据质量监控机制。

可以通过实时监控数据源和数据变化,及时发现数据质量问题。

同时,需要建立数据质量指标和评估体系,对数据进行定期评估和监控。

通过数据质量监控,可以提高数据的可靠性和有效性。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

Ⅰ. 数据治理需求发展趋势Ⅱ. 数据治理成功关键要素Ⅲ. 数据模型管控方案Ⅳ. 成功案例I. 数据治理发展趋势MRPERPCIMBPMSOADWBigDataWeb2.0ITSMBIMDMMobileCRMSCMSmart BI SISDSSERP2.0IT GovernanceSocialCloudData GovernanceDBMainframe§▪60年代: 以简单的业务处理为目的§▪70年代: 以信息提供为目的§▪80年代: 以提升企业市场竞争力为目的11960~1990Dummy TerminalDBMCI§▪00年初: 系统数量增多,数据量暴增§▪数据仓库建设开始(DW)§▪数据统计及简单分析Open SystemEAI32000~2010ClientDB§▪移动应用及互联网等应用扩大,数据量暴增,数据分析需求增加§▪大数据处理技术增多§▪企业数据质量要求提高Open System42010~2020ClientSOA(ESB)§▪90年代初: 电子商务开始, 大规模系统建设开始(ERP)§▪90年代末: 综合业务支撑系统建设开始MainframeEAI21990~2000DBClientOpen System存储应用整合存储应用整合管理存储应用统计整合管理存储分析应用挖掘分析数据治理范围数据治理范围数据治理范围数据治理范围Data quality problems45%46%认知阶段试验阶段发展阶段成熟阶段v 了解数据资产或数据治理概念。

v 学习数据资产中包含的技术要素及内容。

v 思考数据资产化项目带来的价值,及所在单位应当如何实施。

v 设立小型项目,尝试数据资产化项目,确认项目价值。

v 大数据时代的到来,数据的重要性被重视,在数据应用过程中发现数据质量问题较多。

v 试图通过治理提升质量。

v 较大范围启动数据资产化项目,开始设计数据资产产出物。

v 采购工具,设置岗位,构建流程,一定范围扩大应用。

v 数据治理体系比较完善v 将数据治理体系引入系统开发中,严格遵循数据治理体系,并构建自动化的校验体系。

v 在设计、开发、测试等阶段保障数据质量。

2014201620182022AS of July 2015Ⅱ. 数据治理成功关键要素ⅠⅡⅢⅣⅡ.数据治理之我见确保治理理项⽬目成功的关键要素项⽬目成功要素项⽬目背景项⽬目⽬目标缺乏统⼀一数据标准未对数据标准、数据模型、数据质量量等内容进⾏行行梳理理数据资产管理理缺乏有效体系数据应⽤用、系统品开发及数据质量量受影响•元数据内容不不明确,元数据未进⾏行行分类•元数据有待通过专业⽅方式进⾏行行梳理理•数据应⽤用难度度⼤大•新系统开发受影响,⽀支持难度度⼤大•数据质量量低•数据获取、共享、数据规划难度度⼤大•缺乏数据标准化•未构建数据标准化知识库•缺乏数据标准化管理理及⾃自动应⽤用体系•数据标准管控体系缺失•数据模型管控体系缺失•业务元数据管控体系缺失•元数据应⽤用及校验体系缺失数据标准、数据模型、数据质量量等内容设计、加载、管理理⽅方法管理理组织、流流程的产品化程度度管控型数据治理理软件平台构建⾃自动化应⽤用及校验体系构建数据标准、数据模型、数据质量量等管理理内容、组织、流流程构建基于数据治理理平台的数据治理理体系项目名称项目内容某央企•元数据管理,数据模型管控,影响度分析,数据质量,血源关系分析,信息资源目录管理。

某通信公司•数据标准化,数据模型管控。

ETC电子收费系统•元数据管理,数据标准化,数据模型管控,影响度分析。

国内10家以上,国外50家以上银行案例•数据模型管控,数据标准化,元数据管理。

方案1效果•构建了元数据知识库•实现了数据的标准化应用及管理•实现了对数据模型的管控•提升了数据质量•构建了企业级数据资产管控体系效果数据标准和数据质量收集及分析,管控和验证方案•通过了使用搜索引擎实现元数据收集自动化•基于专业的数据建模工具实现数据标准应用自动化•基于元数据工具和建模工具的统一应用,实现数据标准、数据模型等元数据校验自动化具有丰富的项目成功实施经验成功案例数据标准化,数据模型,数据质量等共享统一知识库的专业化工具成功案例实施⼈人员必须具备丰富项⽬目经验,提供可落落地⽅方案核心成功要素保障措施措施1实施人员必须具有丰富项目经验,且提供可落地方案措施2提供基于数据架构的数据治理措施3提供管控型管理流程和自动化应用数据治理平台措施4提供可视化和共享知识库的元数据治理体系要素1初期数据标准、模型、元数据、数据质量等内容的彻底加载要素2构建持续性数据治理运营体系要素3构建前置型数据治理管理体系要素4构建自动应用的数据治理系统数据治理项目成功的核心要素措施2提供基于数据架构的数据治理体系基于数据治理架构管理策略,构建元数据管理体系,其中包括组织、流程、元数据管理策略和内容。

综合数据治理体系架构组织管理组织•规划•方向•原则•目标元数据治理架构管理策略元数据管理系统ETLDW元数据管理策略元数据质量管理体系流程CWM内容元数据标准管理规范数据模型管理规范元数据管理数据结构管理分类体系Reporting数据标准概念继承DA 内容分类体系数据模型逻辑物理单词/用语标准业务元数据域标准代码标准RDBMSDM措施2提供基于数据架构的数据治理体系层级构成业务架构应用架构数据架构技术架构概念层逻辑层物理层企业整体业务架构子模块业务架构详细业务流程业务规划说明手册企业整体应用架构子模块应用架构详细开发流程应用设计说明手册继承关系模型概念模型逻辑模型物理模型技术整体模型基础构造关系图基础构造设计图软硬件产品目录PlannerDesignerBuilder25业务功能(大)业务功能(中)业务功能(小)信息项继承关系模型概念模型逻辑物理模型属性字段信息技术元数据数据模型DB对象(大)DB对象(中)表字段应用功能(大)应用功能(中)应用功能(小)字段映射应用功能(大)应用功能(中)应用功能(小)信息项DBMS ETL OLAP REPORT应用功能(大)应用功能(中)应用功能(小)信息项元数据节点之间的整合业务元数据业务信息业务元数据和技术元数据矩阵图措施3提供管控型管理流程和自动化应用数据治理系统设计运维开发测试管控型数据治理管理体系分析数据治理平台标准模型概念模型逻辑模型物理模型DDL DDLDDL措施3提供管控型管理流程和自动化应用数据治理系统开发运维测试上线支持型数据治理管理体系设计数据标准数据库对象模型变更模型管控业务元数据数据模型模型管理数据标准管理应用影响度分析标准变更标准管控质量管控单词+单词+域标准用语词素解析单词转化用语拼接数据类型定义标准化自动应用逻辑数据模型物理数据模型基于数据标准知识库自动转化单位信息# 单位编号*名称* 上级单位岗位变更# 岗位名称*员工编号(FK)* 开始时间* 结束时间员工信息# 员工编号*姓名* 性别* 年龄* 出生年月* 入职时间*单位编码(FK)DEPT_INF# DEPT_NO *DEPT_NM* HGH_LVL * DEPT_NOPSTN_CHG# PSTN_NO *EMP_NO(FK)* STRT_TIME * END_TIMEEMP_INF# EMP_NO *NM * SEX * AGE* BRTH_DATE * ETY_TIME *DEPT_NO(FK)措施4模型视图API可视化综合分析数据模型数据标准BI / OLAP其他元数据信息REST API共享知识库提供可视化和共享知识库的数据治理系统标准词典单词标准同义词员工Y职员,管理员职员入职Y服务员入职_员工_编码入职员工编码入职_[职员]_编码入职_[管理员]_编码【标准】【非标准】推荐【员工】入职员工编码入职职员编码入职管理员编码申请入职职员编码入职_职员_编码词素分析入职_员工_编码入职员工编码推荐异音同义词推荐支持同义词属性名校验词素解析及校验通过词素分析自动检索和更新顺序不一样的异音同义词数据标准化的⾃自动校验及应⽤用ⅠⅡⅢⅣⅡ. 数据治理成功的核心要素独立型知识库架构整合型知识库架构要点î↘数据库信息集中管理î↘元数据相关关系分析和应用î↘以数据模型和DB 为中心的设计123î↘专业数据建模技术应用4数据质量应用影响度DB 目录数据模型数据标准单一/整合知识库数据质量应用影响度DB 目录数据模型数据标准ⅠⅡⅢⅣⅡ. 数据治理成功的核心要素Ⅲ. 数据模型管控1. 数据模型管控必要性及问题分析2. 数据模型管控解决方案3. 数据模型管控核心价值针对数据模型管控方面存在的诸多问题,我们应从相应岗位设置、管控工具构建、管理流程设计等三个方面着手,构建适合的数据模型管控体系。

事后弥补措施缺失•设计事后弥补流程,对未按照流程发起的变更,设计及时发现及事后弥补方案。

审计工作及指标缺失•设置数据架构师岗位,设计模型变更合理性审计指标管理流程缺失•设计适合的管理流程及数据架构师、模型设计人员、数据标准管理、开发、运维等角色分工辅助性工具体系缺失•构建数据模型管控平台,实现辅助管理1234岗位设置1管控工具2管理流程3改善目标改善方案++•数据架构师(制定制度及流程)•数据模型(模型设计及管控)•数据标准(标准管理及应用)•模型管控•数据标准•变更监控•人员交互流程•事前、事中审计及管理流程•事后弥补及共享流程数据模型变更缺乏事前审计、事中监控、事后管理等体系化的管控措施,致使数据模型逐渐变成“黑盒子”,给系统建设和数据应用带来严重影响。

•修改数据模型后未及时将修改的部分公开,修改的内容仅限于其内部或较少的几个人知道,其他人员均不知晓,同时也未对修改的内容进行管理,致使系统出现故障时排查问题难度较大,数据模型逐渐变成“黑盒子”。

事后弥补措施缺失•生产库中存在大量字段和表没有注释、含义模糊不清、同名不同意、同意不同名、冗余字段和表、枚举型字段中的值使用不统一等现象,直接影响对数据的识别和应用。

审计工作及指标缺失•数据模型变更变更前的合理性缺乏专业人员评审,大部分企业缺乏专业的数据架构师,对不同系统的数据模型,在变更时从数据设计、业务合理性、数据治理、数据库性能等方面进行综合性评审。

管理流程缺失•修改过程中缺乏监控和管理,修改操作是否符合规范,修改脚本是否按照要求编写,修改时是否先修改模型再编写脚本,是否及时保证数据模型与数据库的同步等缺乏监控和管理。

辅助性工具体系缺失问题汇总1 2 3 4事前事后事中审计岗位流程监控DBMS对象变更监控审计流程审计指标审计工具合规检查DBMS对象版本比对模型与DBMS比对一致性检查差异弥补NoNo156279843指标类别审核指标审查指标内容审查方式逻辑模型中文实体名称模型工具(DA#)根据已构建的单词词典对模型中的实体名称进行解析,审查其构成是否符合数据标准化工具实体定义逻辑数据模型中的实体名称定义部分是否为空,即是否对实体的定义、用途进行详细说明工具中文属性名称模型工具(DA#)根据已构建的单词词典对模型中的属性名称进行解析,审查其构成是否符合数据标准化工具属性定义逻辑数据模型中的属性名称定义部分是否为空,即是否对属性的定义、用途进行详细说明工具主标识符审查逻辑模型中是否有未定义主标识符的实体,并自动列举这些实体的名称工具继承标识符审查从其他实体中继承的主标识符名称是否与自身实体中的属性重名工具实体相似度审查逻辑模型中的所有实体相互之间是否有属性个数及属性名称相似度非常高(70%以上认为重复)工具实体名称相似度审查逻辑模型中的所有实体相互之间在实体名称上是否相似度非常高工具+人工主标识符相似度审查逻辑模型中的所有实体相互之间在实体的主标识符上是否相似度非常高或相同(审查重复性)工具范式审查具有继承关系的实体中是否有除了继承的标识符之外的其他一般属性名称相同工具实体孤立审查在逻辑数据模型中是否存在没有与任何实体具有关系的孤立实体工具物理模型表名称模型工具(DA#)根据已构建的单词词典对模型中的表名称进行解析,审查其英文定义是否符合数据标准化工具字段名称模型工具(DA#)根据已构建的单词词典对模型中的字段名称进行解析,审查其英文定义是否符合数据标准化工具主键定义审查物理模型中是否有未定义主键的表工具字段域定义模型工具(DA#)根据已构建的单词词典对模型中的域进行解析,审查字段域是否符合数据标准化工具字段重复审查物理模型中具有关系的表中是否有除了外键之外的其他一般字段名称相同工具中文字段审查物理模型中是否具有利用中文对字段名进行定义的情况工具ⅠⅡⅢⅣⅡ. 数据模型管控-价值§▪模型变更有流程可遵循§▪模型事后变更及时弥补§▪模型审计有据可依§▪数据标准确保落地§▪提升数据质量核心价值直接效果设置数据模型审计专职岗位和设计审计指标构建自动化强,落地性好的软件工具设计及实施数据模型管控流程§▪设计数据架构师、数据标准、数据建模人员、开发人员交互流程§▪设计事前、事中、事后审计及校验流程§▪设计数据模型及数据库对象变更流程§▪设置专职数据建模或数据架构师岗位§▪培养数据架构师,掌握建模技术及业务知识§▪设计符合实际情况且可落地的审计指标§▪数据变现保障§▪模型透明化管理§▪数据架构师、数据标准、数据模型等管理流程配置功能§▪数据标准管理及应用、数据模型管控功能§▪审计校验功能,内置审计校验指标§▪数据库对象自动搜集及差异比对功能§▪数据资产化§▪变更数据共享并公开§▪实现模型数据动态化管理。

相关文档
最新文档