数据治理平台系统介绍PPT课件
合集下载
大数据时代的数据治理ppt课件
大数据治理工具---自助化数据服务平台
数据获取
找到数据 提供数据 使用数据 治理数据 数据运维
数据准备
数据服务开发
数据共享发布
自助化 自动化 规范化 可视化 智能化
业务元数据与技术元数据对接； 自助化数据申请和订阅。
基于数据目录的数据服务开发； 在线编辑数据模型，生成作业。
数据服务标准应用方式； 数据通道提供平台支撑。
基于数据地图形成全链路监控； 事前、事中、事后的数据质量检查。
全局的数据资产监控 数据问题跟踪能力
资金是运动的价值，资金的价值是随 时间变 化而变 化的， 是时间 的函数 ，随时 间的推 移而增 值，其 增值的 这部分 资金就 是原有 资金的 时间价 值
大数据治理产品
亿信华辰-睿治普元-数据众包• 对开发人员：通过元数据管理能管控系统的开发上线、提 升开发规范性，自动生成上线脚本，降低开发工作难度和 出错几率
• 对运维人员：通过元数据管理能让日常巡检、版本维护等 工作变得简单可控，辅助日常问题分析查找，简化运维工 作。
资金是运动的价值，资金的价值是随 时间变 化而变 化的， 是时间 的函数 ，随时 间的推 移而增 值，其 增值的 这部分 资金就 是原有 资金的 时间价 值
大数据治理阶段
0 1
摸家底
全面梳理企业信息 自动构建数据资产库
0 2
建体系
建立数据标准 提升数据质量
0 3
促应用
形成企业知识图谱 为全企业提供数据价值
资金是运动的价值，资金的价值是随 时间变 化而变 化的， 是时间 的函数 ，随时 间的推 移而增 值，其 增值的 这部分 资金就 是原有 资金的 时间价 值
···
资金是运动的价值，资金的价值是随 时间变 化而变 化的， 是时间 的函数 ，随时 间的推 移而增 值，其 增值的 这部分 资金就 是原有 资金的 时间价 值
数据获取
找到数据 提供数据 使用数据 治理数据 数据运维
数据准备
数据服务开发
数据共享发布
自助化 自动化 规范化 可视化 智能化
业务元数据与技术元数据对接； 自助化数据申请和订阅。
基于数据目录的数据服务开发； 在线编辑数据模型，生成作业。
数据服务标准应用方式； 数据通道提供平台支撑。
基于数据地图形成全链路监控； 事前、事中、事后的数据质量检查。
全局的数据资产监控 数据问题跟踪能力
资金是运动的价值，资金的价值是随 时间变 化而变 化的， 是时间 的函数 ，随时 间的推 移而增 值，其 增值的 这部分 资金就 是原有 资金的 时间价 值
大数据治理产品
亿信华辰-睿治普元-数据众包• 对开发人员：通过元数据管理能管控系统的开发上线、提 升开发规范性，自动生成上线脚本，降低开发工作难度和 出错几率
• 对运维人员：通过元数据管理能让日常巡检、版本维护等 工作变得简单可控，辅助日常问题分析查找，简化运维工 作。
资金是运动的价值，资金的价值是随 时间变 化而变 化的， 是时间 的函数 ，随时 间的推 移而增 值，其 增值的 这部分 资金就 是原有 资金的 时间价 值
大数据治理阶段
0 1
摸家底
全面梳理企业信息 自动构建数据资产库
0 2
建体系
建立数据标准 提升数据质量
0 3
促应用
形成企业知识图谱 为全企业提供数据价值
资金是运动的价值，资金的价值是随 时间变 化而变 化的， 是时间 的函数 ，随时 间的推 移而增 值，其 增值的 这部分 资金就 是原有 资金的 时间价 值
···
资金是运动的价值，资金的价值是随 时间变 化而变 化的， 是时间 的函数 ，随时 间的推 移而增 值，其 增值的 这部分 资金就 是原有 资金的 时间价 值
数据治理课件
跨境数据流动法规
规范数据的跨境流动，确保数据安全和隐私权益 。
数据安全和隐私保护的技术手段
加密技术
对数据进行加密处理， 确保数据在传输和存储 过程中的机密性和完整
性。
访问控制技术
限制对数据的访问权限 ，防止未经授权的访问
和泄露。
数据脱敏技术
对敏感数据进行脱敏处 理，避免敏感信息的泄
露。
审计监控技术
数据治理课件
目录
• 数据治理概述 • 数据治理的组织和角色 • 数据质量管理 • 数据安全和隐私保护 • 数据架构和数据模型管理 • 数据生命周期管理
01
数据治理概述
数据治理的定义01Βιβλιοθήκη 0203定义
数据治理是对数据资产的 管理活动，确保数据质量 、安全性、可靠性和一致 性。
目的
通过数据治理，提高企业 的数据管理能力，提升数 据价值，为企业决策提供 支持。
数据质量度量
数据质量度量是对数据质量的量化评估，通过一系列的指标 来衡量数据质量的水平，如准确率、完整性率、一致性比率 、及时性等。
数据质量问题的解决和预防
数据质量问题识别
通过数据质量评估和度量，可以 识别出数据质量问题，如数据不 准确、不完整、不一致、不及时
等。
数据质量问题解决
针对识别出的数据质量问题，采 取相应的措施进行解决，如数据 清洗、数据修正、数据补充等。
数据采集、存储、处理、归档和销毁的实践和策略
总结词
数据采集、存储、处理、归档和销毁是数据 生命周期管理的重要环节，需要制定相应的 实践和策略来确保数据的准确性和完整性。
详细描述
在数据生命周期管理中，数据的采集、存储 、处理、归档和销毁是非常关键的环节。为 了确保数据的准确性和完整性，需要制定相 应的实践和策略。这些实践和策略包括：数 据采集的方法和标准、数据存储的架构和规 范、数据处理的分析和算法、数据归档的存
规范数据的跨境流动，确保数据安全和隐私权益 。
数据安全和隐私保护的技术手段
加密技术
对数据进行加密处理， 确保数据在传输和存储 过程中的机密性和完整
性。
访问控制技术
限制对数据的访问权限 ，防止未经授权的访问
和泄露。
数据脱敏技术
对敏感数据进行脱敏处 理，避免敏感信息的泄
露。
审计监控技术
数据治理课件
目录
• 数据治理概述 • 数据治理的组织和角色 • 数据质量管理 • 数据安全和隐私保护 • 数据架构和数据模型管理 • 数据生命周期管理
01
数据治理概述
数据治理的定义01Βιβλιοθήκη 0203定义
数据治理是对数据资产的 管理活动，确保数据质量 、安全性、可靠性和一致 性。
目的
通过数据治理，提高企业 的数据管理能力，提升数 据价值，为企业决策提供 支持。
数据质量度量
数据质量度量是对数据质量的量化评估，通过一系列的指标 来衡量数据质量的水平，如准确率、完整性率、一致性比率 、及时性等。
数据质量问题的解决和预防
数据质量问题识别
通过数据质量评估和度量，可以 识别出数据质量问题，如数据不 准确、不完整、不一致、不及时
等。
数据质量问题解决
针对识别出的数据质量问题，采 取相应的措施进行解决，如数据 清洗、数据修正、数据补充等。
数据采集、存储、处理、归档和销毁的实践和策略
总结词
数据采集、存储、处理、归档和销毁是数据 生命周期管理的重要环节，需要制定相应的 实践和策略来确保数据的准确性和完整性。
详细描述
在数据生命周期管理中，数据的采集、存储 、处理、归档和销毁是非常关键的环节。为 了确保数据的准确性和完整性，需要制定相 应的实践和策略。这些实践和策略包括：数 据采集的方法和标准、数据存储的架构和规 范、数据处理的分析和算法、数据归档的存
2024版大数据时代的数据治理ppt课件
2023REPORTING 大数据时代的数据治理ppt课件•数据治理概述•大数据时代下的数据挑战•数据治理的关键技术•数据治理的实施步骤•数据治理的实践案例•数据治理的未来展望目录20232023REPORTINGPART01数据治理概述数据治理的定义与重要性定义数据治理是一种组织范围内的数据管理策略，旨在确保数据质量、安全性和有效利用，以满足组织战略和业务目标。
重要性随着大数据时代的到来，数据已成为企业核心竞争力的重要组成部分。
数据治理能够确保数据的准确性、一致性和可靠性，提高数据价值，降低数据风险，从而为企业创造更多商业机会。
以数据管理为主，关注数据存储、备份和恢复等基础设施层面的问题。
初级阶段数据管理逐渐演变为数据治理，关注数据的全生命周期管理，包括数据质量、安全、隐私等方面。
发展阶段数据治理成为企业战略层面的重要议题，与业务战略紧密结合，实现数据驱动的企业决策和优化。
成熟阶段确保数据质量保障数据安全促进数据利用遵守法规要求通过建立数据质量标准和检测机制，确保数据的准确性、完整性、一致性和及时性。
通过合理的数据共享和交换机制，推动数据在组织内部的充分利用，提高数据价值。
制定和执行数据安全策略，防止数据泄露、篡改和损坏，确保数据的机密性、完整性和可用性。
确保数据处理活动符合相关法律法规和行业标准的要求，降低合规风险。
2023REPORTINGPART02大数据时代下的数据挑战随着互联网、物联网等技术的普及，数据产生速度呈指数级增长，给数据存储和处理带来巨大压力。
数据产生速度加快数据存储成本上升数据管理难度增加大规模数据的存储需要庞大的存储空间，导致存储成本不断攀升。
海量数据的管理和维护变得异常复杂，需要高效的数据管理技术和工具。
030201数据量的爆炸式增长03数据语义丰富数据的含义和背景信息千差万别，需要深入挖掘和理解数据的内在含义。
01结构化数据与非结构化数据并存除了传统的结构化数据外，非结构化数据如文本、图片、视频等日益增多，给数据处理和分析带来挑战。
数据治理课件
数据治理的框架和原则
总结词
数据治理的框架包括组织架构、策略制定、规程制定 、技术实施和持续改进等方面，而数据治理的原则则 强调数据的准确性、安全性、可靠性和一致性。
详细描述
数据治理的框架包括组织架构、策略制定、规程制定 、技术实施和持续改进等方面。其中，组织架构涉及 到各个部门和人员的角色和责任分配；策略制定是指 确定数据的精度、可靠性、安全性等方面的要求；规 程制定包括数据质量管理、数据安全管理和数据流程 管理等；技术实施涉及到工具和技术的选择和应用； 持续改进则强调对数据治理过程的不断优化和改进。
在进行分析前，需要对数据进行清洗 和整理，去除异常值、缺失值等，确 保数据质量。
数据安全与隐私保护
在数据分析过程中，要重视数据安全 和隐私保护，确保数据不被泄露和滥 用。
数据可视化与报告
数据可视化
通过图表、图像等形式 将数据呈现出来，帮助 人们更好地理解和分析
数据。
数据报告
将数据分析结果以报告 的形式呈现，包括文字 、图表、数据等，便于
汇报和交流。
可视化工具
如Tableau、Power BI 等可视化工具，能够方 便地制作各种图表和报
表。
数据解读与沟通
在制作报告时，需要注 重数据的解读和沟通， 确保报告内容准确、易
于理解。
人工智能和机器学习在数据治理中的应用
自动化数据处理
利用机器学习算法对大量数据进行自动化处 理，提高数据处理效率。
02
数据质量管理
数据质量评估
数据质量评估是数据治理中的重要环节，它对数据的质量进行全面的检查和评估 ，以确保数据的准确性和完整性。
数据质量评估通常包括数据的完整性、准确性、一致性、及时性和可用性等方面 的评估。评估过程中，需要对数据的来源、处理过程和用途进行全面的了解，以 确保数据的可靠性和可信度。
数据治理课件
跨部门协作
建立跨部门的协作机制，促进不同 部门之间的沟通与合作，共同推进 数据治理工作。
数据治理的角色和责任
01
02
03
04
领导者
负责制定数据治理战略和目标 ，为数据治理工作提供支持和
指导。
数据管理员
负责具体的数据治理操作和维 护，包括数据质量管理、数据 安全管理和数据流程管理等。
数据所有者
负责确定数据的精度、可靠性 、安全性等方面的要求，并确 保数据的合规性和准确性。
总结词
医疗行业的数据治理面临诸多挑战，如数据量大、数 据类型多样、数据质量不高等问题。
详细描述
医疗行业的数据治理挑战主要来自于医疗数据的复杂性 和多样性，包括医疗影像数据、电子病历数据、实验室 数据等多个来源的数据。同时，医疗数据的隐私和安全 问题也是医疗行业数据治理的重要挑战之一。为了解决 这些问题，医疗行业的数据治理需要建立完善的数据管 理制度和规范，加强数据的质量控制和安全管理，并采 用先进的数据治理技术和工具，如数据仓库、数据挖掘 和大数据分析等技术来提高数据治理的效率和效果。
案例三
总结词
互联网行业的数据治理策略和效果评估是数据治理领域中一个新兴的案例，它涉及到数 据的采集、存储、处理和使用等各个环节的管理和控制。
详细描述
互联网行业的数据治理策略和效果评估主要关注数据的实时性、动态性和可扩展性等方 面的管理。同时，互联网行业的数据治理还需要关注数据的隐私和安全问题，确保数据 的合规性和安全性。为了评估数据治理的效果，可以采用各种指标和度量方法，如数据
详细描述
金融行业的数据治理实践主要涉及到数据的 准确性、完整性、一致性和安全性等方面的 管理。通过对数据的统一管理和控制，可以 提高数据的可信度和质量，降低数据风险和 成本。同时，金融行业的数据治理实践还涉 及到数据流程的管理，包括数据的采集、存 储、处理和使用等各个环节的管理和控制。
建立跨部门的协作机制，促进不同 部门之间的沟通与合作，共同推进 数据治理工作。
数据治理的角色和责任
01
02
03
04
领导者
负责制定数据治理战略和目标 ，为数据治理工作提供支持和
指导。
数据管理员
负责具体的数据治理操作和维 护，包括数据质量管理、数据 安全管理和数据流程管理等。
数据所有者
负责确定数据的精度、可靠性 、安全性等方面的要求，并确 保数据的合规性和准确性。
总结词
医疗行业的数据治理面临诸多挑战，如数据量大、数 据类型多样、数据质量不高等问题。
详细描述
医疗行业的数据治理挑战主要来自于医疗数据的复杂性 和多样性，包括医疗影像数据、电子病历数据、实验室 数据等多个来源的数据。同时，医疗数据的隐私和安全 问题也是医疗行业数据治理的重要挑战之一。为了解决 这些问题，医疗行业的数据治理需要建立完善的数据管 理制度和规范，加强数据的质量控制和安全管理，并采 用先进的数据治理技术和工具，如数据仓库、数据挖掘 和大数据分析等技术来提高数据治理的效率和效果。
案例三
总结词
互联网行业的数据治理策略和效果评估是数据治理领域中一个新兴的案例，它涉及到数 据的采集、存储、处理和使用等各个环节的管理和控制。
详细描述
互联网行业的数据治理策略和效果评估主要关注数据的实时性、动态性和可扩展性等方 面的管理。同时，互联网行业的数据治理还需要关注数据的隐私和安全问题，确保数据 的合规性和安全性。为了评估数据治理的效果，可以采用各种指标和度量方法，如数据
详细描述
金融行业的数据治理实践主要涉及到数据的 准确性、完整性、一致性和安全性等方面的 管理。通过对数据的统一管理和控制，可以 提高数据的可信度和质量，降低数据风险和 成本。同时，金融行业的数据治理实践还涉 及到数据流程的管理，包括数据的采集、存 储、处理和使用等各个环节的管理和控制。
大数据平台简介 ppt课件
Blockreport：当一个DataNode启动时，它会扫描本地文件系统，生成 所有HDFS数据块的一个列表，然后向NameNode发送一个报告。
HDFS的基本结构之 DataNode 39
Datanode一般是一个节点一 个，负责所在物理节点的存储 管理，是文件系统中真正存储 数据的地方 一个文件被分成一个或多个数 据块，这些块存储在一组 Datanode上 Datanode负责处理文件系统 客户端的读写请求。 在Namenode的指挥下进行 block的创建、删除和复制 周期性的向Namenode汇报 其存储的数据块信息
14zookeeper分布式协调服务15sqoophadoop与关系数据库间的数据同步工具16flume分布式日志采集工具17amarihadoop集群安装部署监控工具1819大数据领域的三驾马车clouderahortonworksmapr20clouderadistributionhadoopcdh21hortonworksdataplatformhdp22maprconvergeddataplatform23hadoop主流厂商比较开源开源架构创新完全开源收取服务费工具不开源收取license费用重构了底层内核收取license费用24云服务集团软件集团浪潮大数据平台产品hdp云海insighthdindatahd2526相关背景资料hadoop
并发写入、文 件随机修改
不支持多用户对同一文件进行操作，而且写操作只 能在文件末尾完成，即追加操作。
HDFS现在遇到的主要问题 33
分布后的文件系统有个无法回避的 问题，因为文件不在一个磁盘导致 读取访问操作的延时，这个是 HDFS现在遇到的主要问题
HDFS 调优是使用时最 应该注意的。
现阶段，HDFS的配置是按照高数据吞吐量优化的，可能会以高时 间延时为代价。但万幸的是，HDFS是具有很高弹性，可以针对具 体应用再优化。
HDFS的基本结构之 DataNode 39
Datanode一般是一个节点一 个，负责所在物理节点的存储 管理，是文件系统中真正存储 数据的地方 一个文件被分成一个或多个数 据块，这些块存储在一组 Datanode上 Datanode负责处理文件系统 客户端的读写请求。 在Namenode的指挥下进行 block的创建、删除和复制 周期性的向Namenode汇报 其存储的数据块信息
14zookeeper分布式协调服务15sqoophadoop与关系数据库间的数据同步工具16flume分布式日志采集工具17amarihadoop集群安装部署监控工具1819大数据领域的三驾马车clouderahortonworksmapr20clouderadistributionhadoopcdh21hortonworksdataplatformhdp22maprconvergeddataplatform23hadoop主流厂商比较开源开源架构创新完全开源收取服务费工具不开源收取license费用重构了底层内核收取license费用24云服务集团软件集团浪潮大数据平台产品hdp云海insighthdindatahd2526相关背景资料hadoop
并发写入、文 件随机修改
不支持多用户对同一文件进行操作，而且写操作只 能在文件末尾完成，即追加操作。
HDFS现在遇到的主要问题 33
分布后的文件系统有个无法回避的 问题，因为文件不在一个磁盘导致 读取访问操作的延时，这个是 HDFS现在遇到的主要问题
HDFS 调优是使用时最 应该注意的。
现阶段，HDFS的配置是按照高数据吞吐量优化的，可能会以高时 间延时为代价。但万幸的是，HDFS是具有很高弹性，可以针对具 体应用再优化。
数据治理课件
感谢您的观看
THANKS
数据治理课件
目 录
• 数据治理概述 • 数据治理的流程 • 数据治理的实践 • 数据治理的挑战与解决方案 • 案例研究
01
数据治理概述
数据治理的定义
总结词
数据治理是对数据资产的管理和监督过程，确保数据质量、安全性、可靠性和一致性。
详细描述
数据治理是一个系统化的管理过程，涵盖了组织对数据的获取、存储、处理、使用和删 除等环节。它不仅关注技术方面，还涉及到组织架构、政策、流程和人员等多个方面。 数据治理的目标是确保数据质量、安全性、可靠性和一致性，从而支持组织的战略目标
政府机构的数据治理实践
总结词
政府机构的数据治理实践是数据治理领 域中较为重要和有代表性的案例之一。
VS
详细描述
政府机构的数据治理实践通常涉及公民信 息、行政记录、统计数据等多个方面。政 府机构需要确保数据的准确性、可靠性和 一致性，以满足公民的知情权和监督权。 通过建立完善的数据治理体系，政府机构 能够提高行政效率和公共服务水平，增强 政府公信力和透明度。
02
数据治理的流程
数据质量管理
01
02
03
数据质量评估
评估数据的准确性、完整 性、一致性和及时性，确 保数据满足业务需求。
数据清洗与校验
清洗重复、错误或不完整 的数据，通过校验规则验 证数据的合规性。
数据标准与规范
制定数据标准与规范，确 保数据的统一性和规范性 。
数据安全与隐私保护
数据访问控制
数据孤岛可能导致数据重复、不一致和冗余，增加数据管理和维护的成 本。同时，它也限制了企业从数据中获取洞察和价值的能力。
解决方案： 实施数据集成策略，建立统一的数据仓库或数据湖，将分散 的数据整合到一个集中式的数据管理平台中，促进数据的共享和利用。
数据治理平台系统简介
数据质量管理
数据治理平台应具备数据质量管理和 校验功能，确保数据的准确性和完整 性。
数据安全保障
数数据加密、权限控制 等。
数据流程管理
数据治理平台应支持数据流程的管理 和监控，确保数据的流动和使用符合 规范和流程。
02
数据治理平台的架构与 组件
数据集成模块
详细描述
数据质量模块通过数据清洗、数据验证等技术，对数据进行去重、补全、纠正 等操作，提高数据的准确性和一致性。同时，该模块还提供数据质量评估和报 告功能，帮助用户了解数据质量状况。
数据安全模块
总结词
数据安全模块负责对数据进行加密、授权和访问控制等安全管理，保护数据的安全和隐 私。
详细描述
数据安全模块采用加密技术、身份认证和权限控制等技术手段，确保数据的安全性和保 密性。同时，该模块还提供数据审计和日志功能，对数据的访问和使用进行记录和监控。
安全性，并促进数据的共享和使用。
03
数据治理不仅关注技术方面，还涉及组织、人员、流
程和策略等方面。
数据治理的重要性
提高数据质量
通过数据治理，可以确保数 据的准确性、一致性和完整 性，从而提高决策的准确性 和可靠性。
保障数据安全
数据治理有助于保护敏感数 据不被未经授权的人员访问 和使用，降低数据泄露和滥 用的风险。
技术实施难度
数据治理平台需要集成各种技术和工具，这可能需要大量的技术实施 工作和技术资源。
成本投入
数据治理平台的建设和维护需要投入大量的成本，包括人力、物力和 财力。
数据所有权和责任不清
在许多组织中，数据的所有权和责任可能不明确，这可能导致数据治 理平台的建设和管理面临困难。
数据治理平台的发展趋势
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
3
数据治理平台项目组
项目目标
围绕国开行数据平台建设，提供针对数据生命周期的管控机制，体现为以下几个 出发点：
数据标准规范化--规范化管理构成数据平台的业务和技术基础设施，包括数据管
控制度与流程规范文档、信息项定义等。
数据关系脉络化--实现对数据间流转、依赖关系的影响和血缘分析。 数据质量度量化—全方位管理数据平台的数据质量，实现可定义的数据质量检核
Lists Serialize JDBC
Management & Control Security Task/Trans Log
Driver &
Adapter
资源层
Database
外部数据
XML 文本 EXCEL 应用系统
ODS DataMart
UA
12
数据治理平台项目组
议题
1. 系统目标与定位 2. 技术实现架构 3. 数据标准管理子系统 4. 元数据管理子系统 5. 数据质量管理子系统 6. 数据服务子系统 7. 统一认证与用户管理模块
数据标准缺乏结构化管理 源数据变化造成数据平台数据混乱 对数据平台数据问题如何快速定位原因？ 如何有效监控和改善数据平台数据质量？ 。。。
建设一个完整的数据治理平台，作为数据平台的管控系统，从制度、标准、监 控、流程几个方面提升开行的数据信息管理能力，解决目前所面临的数据标准 问题、数据质量问题、元数据管理问题和数据服务问题。
单点登录与 角色管理
统一认证 与用户管 理模块
执行检核
数据质量管理 子系统
提供检核系 统元数据
元数据子 系统
提供库表结 构元数据
数据标准 子系统
提供标准相 关元数据
数据平台
10
数据治理平台项目组
议题
1. 系统目标与定位 2. 技术实现架构 3. 数据标准管理子系统 4. 元数据管理子系统 5. 数据质量管理子系统 6. 数据服务子系统 7. 统一认证与用户管理模块
20
数据治理平台项目组
功能需求
对源系统、数据平台以及数据治理项目中的相关的技术、业务元数据进行统一 的归集管理，实现数据间的血缘分析和影响分析。
功能定义
ห้องสมุดไป่ตู้完成情况
技术元数据
源系统数据结构定义 主数据ER模型
导入源系统数据字典，并以系统-表-字段的层级关系展现 各级数据关系。
8
数据治理平台项目组
对数据平台业务的支持-数据服务
数据平台服务申请 应用开发者
业务部门
数据平台服务申请 与数据平台有效沟通
提供数据平台服务 数据服务
数据服务单管 理员
9
数据治理平台项目组
数据治理相关系统关系
登录认证
数据治理平台
数据服务子 系统
AD(目录) 系统
用户与机构 信息同步 统一用户 管理系统
国家开发银行 数据治理平台系统简介
2008年11月
数据治理项目组
议题
1. 系统目标与定位 2. 技术实现架构 3. 数据标准管理子系统 4. 元数据管理子系统 5. 数据质量管理子系统 6. 数据服务子系统 7. 统一认证与用户管理模块
2
数据治理平台项目组
建设背景
数据平台一期已构建完成并投入使用，所面临的问题：
数据变更影响评估申请
数据服务
7
数据治理平台项目组
对数据平台业务的支持—数据质量
应用开发者
针对数据质量问题 提出完善建议
业务部门
了解本机构特定系 统数据质量
提出业务数据质量 检核需求
定义检核需求与规则 分析数据平台数据质量 发现、发布数据检核问题
数据质量 检核
数据质量管 理员
和维度分析，以及问题跟踪。
数据服务电子化--为数据平台提供面向业务用户的服务沟通渠道。
4
数据治理平台项目组
数据治理平台构成与定位
分析类应 用系统
数据提供
数据平台
核心业务 系统
信贷业务 系统
信用风险管 理系统
…系统
数据抽取
ODS
管理行内 数据标准
数据服务
提供平台 沟通渠道
数据集市
管理会计
风险
数据流
查询数据标准规范， 反馈建议
数据标准子系 统
数据标准管 理员
提出数据标准需求 申请
业务部门
数据服务
6
数据治理平台项目组
对数据平台业务的支持—元数据
数据源系统
数据抽取
数据平台
查询数据平台相关元数 应用开发者 据，为开发应用提供参考
元数据子系统
数据变更影响分析 数据问题血缘分析
元数据管 理员
标准代码定义 主数据定义
维护数据标准公共代码。 维护主数据标准
数据标准文档查询与反馈
数据标准信息项查询 应用代码标准符合性检查
新应用开发者将本应用代码与标准代码进行匹配，提交 系统检查
14
数据治理平台项目组
应用界面
15
数据治理平台项目组
应用界面
数据标准文档管理 数据标准制订
数据标准导入
11
数据治理平台项目组
客户层
表现层
Web HTML/AJAX
Browser
/HTTP
ExtJS
Interface
业务层
Import Export
集成层
Operation Engine
Analysis Engine
Objects ORM Hibernate
Relation
<<Config.xml>>
数据标准文档 版本管理
16
数据治理平台项目组
应用界面
数据标准信息项管理 公共代码管理
数据标准管理
17
数据治理平台项目组
应用界面
数据标准反馈意见 查看反馈意见
反馈意见
18
数据治理平台项目组
逻辑架构
19
数据治理平台项目组
议题
1. 系统目标与定位 2. 技术实现架构 3. 数据标准管理子系统 4. 元数据管理子系统 5. 数据质量管理子系统 6. 数据服务子系统 7. 统一认证与用户管理模块
13
数据治理平台项目组
功能需求
管理全行数据相关的标准和规范，提供数据标准的查询与反馈等功能。
数据标准文档管理 数据标准信息项管理 数据标准查询与反馈
功能定义
数据标准文档制订 数据标准文档发布 数据标准文档版本管理
维护数据标准相关文档类信息 对数据标准相关文档进行发布管理 对数据标准相关文档的历史版本信息提供查看功能。
Schemas
管理平台 数据质量 数据质量
管理
管理平台元数据， 进行数据影响、 血缘分析
数据标准
元数据管理
5
数据治理平台项目组
对数据平台业务的支持—数据标准
查询数据标准，以开发符合数据标 准的应用 提交标准代码比对文档
应用开发者
维护数据标准 制订、发布标准 应用系统代码标准比对