信息整合-元数据管理
元数据管理模块

元数据管理模块
元数据管理模块是一个用于管理和维护数据元数据的工具或组件。
元数据是关于数据的描述信息,它可以包括数据的结构、定义、属性、关系和用途等。
元数据管理模块的主要功能包括以下几个方面:
1. 数据字典管理:用于收集、存储和维护数据字典,包括数据表、字段、约束、数据类型等的定义和描述信息。
2. 数据血缘分析:追踪和记录数据的来源、流转和使用情况,以帮助理解数据的产生和变化过程。
3. 元数据搜索和查询:提供快速搜索和查询元数据的功能,以便用户能够方便地找到所需的数据定义和描述信息。
4. 元数据版本管理:跟踪和管理元数据的变更历史,包括新增、修改和删除操作,以便恢复、对比和审计数据定义的变更。
5. 元数据访问权限管理:控制和管理用户对元数据的访问权限,确保只有授权用户能够查看和修改元数据。
6. 元数据导入和导出:支持将元数据从外部系统导入到元数据管理模块中,或将元数据导出为其他格式,以实现与其他系统的集成和交互。
通过元数据管理模块,组织可以更好地理解和管理自己的数据资产,提高数据的可信度、可用性和可管理性。
数据治理中的元数据管理策略

数据治理中的元数据管理策略随着社会信息化的不断深入,数据也成为了各个企业发展的核心。
不断收集、处理、分析数据,成为了企业信息化发展的重要环节。
然而,随着数据多样化的增加,采集和管理数据也面临着许多挑战,如何对数据进行有效的管理和治理已经成为了各个企业在信息化领域迫切需要解决的问题之一。
其中,元数据管理作为数据治理的重要组成部分,也越来越引起企业的重视。
元数据是一种描述数据的数据,例如对于某一数据表,元数据可以描述它的数据类型、数据的来源、数据的更新时间等信息。
元数据的管理不仅可以帮助企业对数据进行有效的描述和管理,还可以提高数据的质量以及数据的价值。
针对这一问题,本文在总结了目前国内外对于元数据管理的研究成果和实践经验的基础上,提出了一些元数据管理策略,以期为企业的数据治理提供一些有益的借鉴。
一、元数据管理的重要性在现代企业信息化中,元数据的管理已经成为企业信息化建设过程中必不可少的一部分。
元数据管理对于企业数据治理起到了至关重要的作用。
以下是几个方面的重要性:1、提高数据质量在数据管理过程中,元数据可以描述数据的来源、数据的格式、数据的更新时间等基本信息,同时也可以对数据的适用范围、数据生命周期进行详细描述。
这些描述可以帮助企业更好地管理与维护这些数据,从而提高数据的质量。
2、提高数据可靠性元数据可以描述数据标准和数据规范,将数据标准和数据规范对应到数据本身上,对数据进行描述和解耦,在数据分析之前,确保数据的可靠性,有效提高数据处理的准确性和可靠性。
3、加快决策的速度管理好元数据后,可以根据元数据快速查找到所需数据,提高数据使用效率。
并且,元数据可以帮助企业快速获取数据,根据数据进行决策分析。
从而加速企业决策效率,提高企业的竞争力。
二、元数据管理策略元数据管理在不同的企业中,可能会有不同的策略,但是需要注意以下几点:1、确定元数据管理团队元数据管理需要专业的技能和知识,所以需要专门组建一个元数据管理团队,负责组织、制定元数据标准以及元数据管理的流程和规范等工作。
企业元数据管理_元数据梳理方法与实践

企业元数据管理_元数据梳理方法与实践企业元数据管理是一种管理企业信息资源的方法,通过对企业信息资源进行整理、分类和描述,方便企业管理和利用这些信息资源。
元数据是对数据的描述,包括数据的定义、结构、属性、关系等信息。
元数据梳理是指对企业的元数据进行整理和分类。
元数据梳理的方法与实践主要包括以下几个步骤:第二步,收集元数据。
收集元数据是梳理的基础,可以通过各种手段进行元数据的收集,如查阅文档、采访相关人员、分析系统日志等。
收集到的元数据可以分为结构化和非结构化两种类型,结构化的元数据可以通过数据库或电子表格进行整理,非结构化的元数据可以通过文档或笔记进行整理。
第四步,建立元数据仓库。
元数据仓库是存储和管理元数据的系统,可以通过元数据仓库对元数据进行管理、和浏览。
建立元数据仓库时,需要选择合适的工具和技术,如数据模型设计工具、数据字典工具等。
元数据梳理的实践中还需要注意一些问题:首先,明确梳理的目标和需求。
企业元数据往往非常庞大复杂,梳理所有的元数据是不现实的,需要明确梳理的目标和需求,集中资源进行梳理。
其次,合理利用现有资源。
企业往往已经有一些已经存在的元数据,如数据库、数据字典等,可以在梳理过程中合理利用这些资源,减少工作量和成本。
再次,建立合适的元数据管理制度。
在进行元数据梳理时,需要建立合适的管理制度,明确责任人和流程,确保元数据的质量和准确性。
最后,持续改进和优化。
元数据梳理是一个持续的过程,需要不断改进和优化,及时修正错误和不足,保证元数据的有效性和适用性。
总之,企业元数据管理是企业信息管理和利用的重要手段,元数据梳理是实施元数据管理的基础工作。
通过明确目标和范围、收集和整理元数据、建立元数据仓库、维护元数据等步骤,可以实现对企业元数据的有效管理。
元数据管理

元数据管理1. 什么是元数据管理元数据管理是对数据的描述、定义和管理,包括数据的属性、格式、来源、质量、关系等信息。
元数据通常被用于数据集成、数据分析、数据挖掘、数据治理、数据质量管理和数据安全等方面。
元数据可以提高数据资源的使用效率,促进应用系统的互操作性,提高数据的可信度和可重复性,降低数据管理成本,提高数据价值。
元数据管理可以分为三个层次:(1) 概念层元数据:描述数据的业务名义、业务规则、数据类别、数据的主体及其关系等。
(2) 逻辑层元数据:描述数据的逻辑模型、数据结构、数据和业务的关系等。
(3) 物理层元数据:描述数据的物理组织结构、存储方式、数据格式、访问方法等。
2. 元数据管理的价值元数据管理有助于提高数据资源的使用效率和数据管理的质量,其价值主要表现在以下几个方面:(1) 提高数据的可重复性和可信度元数据可以提供数据质量和数据来源的相关信息,使得数据的使用和转换能够更加准确地反映现实世界,提高数据的可信性和可重复性。
(2) 促进系统的互操作性元数据提供了关于数据之间相互关系的描述,可以促进不同系统之间的信息交流和协作,使系统更加互操作,便于数据资源的共享和利用。
(3) 降低数据管理的成本元数据可以提供数据的相关信息,使得数据的使用和管理更加高效,减少了重复性的工作量,降低了数据管理的成本,提高了数据资源的利用价值。
(4) 提供更加全面的数据支持元数据可以描述数据的特征、属性和约束条件等信息,涵盖了对数据的所有方面的考虑,使得数据资源对于业务的支持更加全面。
3. 元数据管理的应用场景元数据管理可以应用于以下几个方面:(1) 数据集成:元数据管理可以用于数据的集成,通过描述数据的属性和关系等信息使得数据能够在不同的系统之间交换和共享,促进数据的一体化管理。
(2) 数据分析:元数据管理可以提供数据质量、数据结构等信息,帮助用户对数据进行分析和挖掘,提高数据的分析效率。
(3) 数据治理:元数据管理可以用于数据的规范化和管理,描述数据的源头、质量等信息,保证数据的合法性和一致性。
元数据管理解决方案

引言元数据是指描述数据的数据,是数据的属性和特征,包含了数据的定义、结构、关系、格式以及数据的产生和消费过程等信息。
元数据管理是数据管理的重要组成部分,它通过统一管理数据的元数据信息,提供了对数据更好的理解、组织、共享和利用的基础。
本文将介绍一个完整的元数据管理解决方案,该解决方案为企业和组织提供了一套全面而高效的元数据管理工具和策略,帮助用户更好地理解和管理数据,提高数据质量和业务价值。
1. 元数据搜集与导入元数据管理的第一步是搜集和导入数据源的元数据信息。
该元数据管理解决方案支持多种方式的元数据搜集和导入,包括扫描文件系统、连接数据库、API接口等方式。
用户可以根据自身需求选择适合的方法来获取数据源的元数据信息。
通过扫描文件系统,用户可以将文件夹中的文件和文件夹结构作为元数据导入,并提取文件的名称、大小、创建时间等属性信息。
连接数据库可以获得数据库表、字段、索引等元数据信息。
通过API接口,用户可以获取各种应用程序的元数据信息,例如CRM系统、ERP系统等。
2. 元数据管理与分类元数据管理解决方案提供了强大的元数据管理和分类功能,用户可以根据自身需要进行元数据的组织和分类。
用户可以自定义元数据的属性和标签,根据自身需要添加和修改属性信息。
用户可以创建分类目录和分类标签,方便对元数据进行分类管理。
通过元数据管理与分类功能,用户可以对元数据进行全文搜索和高级搜索。
用户可以根据元数据的属性进行筛选和排序,快速定位所需数据。
此外,用户还可以将元数据导出为各种格式,方便共享和使用。
3. 元数据血缘分析元数据血缘分析是元数据管理解决方案的重要功能之一。
通过血缘分析,用户可以了解数据的来源和流程,追溯数据的变化和转换过程。
用户可以通过图形化界面查看数据的血缘关系,包括数据的输入、输出、转换和目标位置等信息。
元数据血缘分析功能还可以帮助用户发现数据质量问题,检测和修复数据偏差、重复和错误等。
用户可以根据元数据的血缘关系,分析数据变化的原因,及时纠正和优化数据处理过程。
信息资源管理的信息标准与元数据管理

信息资源管理的信息标准与元数据管理随着信息技术的迅猛发展,信息资源管理成为了企业和组织中不可或缺的一环。
信息资源管理的目标是有效地获取、组织、存储和利用信息资源,以满足组织的需求。
而信息标准与元数据管理则是信息资源管理中的重要组成部分,它们在信息资源的整合、共享和利用过程中起到了关键的作用。
一、信息标准的重要性信息标准是指为了确保信息的准确性、一致性和可靠性而制定的规范和规则。
信息标准的制定可以帮助组织建立统一的信息处理流程和规范,提高信息的质量和可靠性。
同时,信息标准也可以促进不同部门和系统之间的信息交流和共享,提高工作效率和协同能力。
在信息资源管理中,信息标准的制定应该考虑到以下几个方面:1. 数据规范:数据规范是信息标准中最基本的要素之一。
它定义了数据的格式、结构、编码方式等,确保数据在不同系统和平台之间的互操作性和兼容性。
2. 数据质量:信息标准应该包含数据质量的要求和标准,以确保数据的准确性、完整性和一致性。
数据质量的管理包括数据清洗、数据验证和数据校验等环节,可以提高数据的可信度和可用性。
3. 数据安全:信息标准应该考虑到数据的安全性和隐私保护,制定相应的安全策略和措施,防止信息泄露和非法访问。
4. 数据共享:信息标准应该鼓励和促进数据的共享和交换,建立统一的数据共享机制和规则,提高信息资源的利用效率和效益。
二、元数据管理的作用元数据是描述数据的数据,它包含了数据的定义、结构、属性和关系等信息。
元数据管理是指对元数据进行有效的组织、存储、维护和利用的过程。
元数据管理的目标是提高数据的可理解性、可管理性和可用性,为信息资源管理提供支持。
元数据管理在信息资源管理中具有以下几个重要的作用:1. 数据发现和检索:通过对元数据的管理,可以快速地发现和检索需要的数据资源。
元数据可以提供数据的描述、属性和关系等信息,帮助用户快速定位和获取所需的数据资源。
2. 数据整合和共享:元数据管理可以帮助组织整合和共享数据资源。
数据中台 元数据管理 名词解释

数据中台元数据管理名词解释数据中台(Data Middle Platform)是指以数据为核心的平台,通过整合和管理企业内外各类数据资源,为企业提供数据存储、数据处理、数据分析与挖掘、数据可视化等各类数据服务的高效可靠的技术平台。
数据中台的建设和运行包括了数据的集成、存储、处理、分析、应用和管理等一系列环节。
元数据是指描述数据的数据,是对数据的数据,它提供了对数据进行理解、管理和利用的信息。
元数据包括各种数据资源的定义、属性、关系和约束,它描述了数据的来源、结构、格式、服务、语义、变化等特征。
元数据管理是指对元数据进行组织、维护和管理的一系列活动,目的是确保数据的准确性、一致性、完整性和可用性,为数据中台的建设和运行提供支撑。
在数据中台中,元数据管理发挥着重要的作用。
首先,元数据管理提供了对数据进行分类和组织的方式,可以将数据资源进行逻辑上的划分和整合,让数据更易于理解和利用。
其次,元数据管理可以对数据进行标准化和规范化,确保数据的一致性和可比性,提高数据的质量和价值。
而且,通过元数据管理,可以建立数据之间的关联和依赖关系,帮助用户更好地理解数据的复杂性和相关性。
此外,元数据管理还可以对数据进行权限控制和安全管理,确保数据的安全和隐私不受侵犯。
元数据管理包括了元数据的采集、存储、维护和应用等过程。
首先,元数据需要通过采集工具从数据源中获取,并进行解析和提取,形成可用的元数据。
这涉及到对多种数据源和数据格式的识别和兼容,以及对数据结构和语义的解析和分析。
然后,元数据需要进行存储和管理,包括建立元数据的存储结构和索引,以及对元数据进行归档、备份和恢复等操作。
同时,元数据还需要进行维护和更新,包括对元数据的验证、修正和更新。
最后,元数据需要被应用到数据中台的各个环节中,包括数据的集成、处理、分析和应用等过程中,为用户提供丰富的数据服务。
元数据管理还包括了一系列的工具和技术。
其中,元数据管理工具是指用于元数据采集、存储、维护和应用的软件工具,可以实现对元数据的自动化管理和操作。
元数据管理内容

元数据管理内容
元数据管理内容主要包括以下几个方面:
1. 元数据标准:制定和推广元数据标准是元数据管理的核心内容。
元数据标准定义了数据的语义、结构和关系,使得不同系统之间能够进行有效的数据交换和共享。
例如,DC(Dublin Core)元数据标准广泛应用于数字图书馆和档案领域。
2. 元数据质量:保证元数据质量是元数据管理的重要任务。
高质量的元数据能够提高数据的可理解性和可用性,增强数据的可信度和可靠性。
元数据质量评估包括准确性、完整性、一致性和时效性等方面。
3. 元数据采集:元数据采集涉及确定需要采集的元数据类型、来源和采集频率等。
元数据采集应确保数据的准确性和完整性,同时考虑到数据规模和实时性的要求。
4. 元数据存储和备份:元数据存储和备份是元数据管理的基础设施。
选择合适的存储方案和备份策略,能够确保元数据的安全性和可恢复性。
5. 元数据映射和转换:元数据映射和转换是将不同来源和格式的元数据进行整合的关键技术。
通过元数据映射和转换,可以实现不同系统之间的数据共享和交换。
6. 元数据分析与利用:通过对元数据进行深入分析,可以挖掘出数据的潜在价值和知识。
利用元数据分析结果,可以为决策支持、
知识发现等应用提供支持。
综上所述,元数据管理内容广泛而复杂,涉及到标准制定、质量保证、采集、存储备份、映射转换和分析利用等多个方面。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
信息集成:元数据管理全景2009年4月作者:Kamlesh Mhashilkar,Jaideep Sarkar翻译:ttnn 讨论组(/group/ttnn)(2010/12)中文译者:Daiyan, Hevin, LL, Zhou jian, Jackie Young, Q摘要无论在什么样的组织,商业智能(Business Intelligence , BI)的成功运用很大程度上都取决于有效的元数据(Metadata)管理。
高水平的元数据设计,能为所有BI系统的数据充当路标,从而能够对这些数据进行高效地管理、控制变更和分发。
元数据实施最重要的是将系统中各种元数据进行整合利用。
明确的元数据范式(Metadata Paradigm)有助于元数据实施,以达成BI系统信息集成的战略目标,并能够延伸到企业信息集成方案中。
在某些实施中,元数据的架构和组件需要单独设计和构建,此时需要识别和分离出这些内容,进而构建强健的元数据资料库。
本文提供了一个元数据架构和设计的基本准则。
本文描述了BI系统的元数据模型(Metadata Model),可以作为元数据架构设计的基准;并深入探讨了信息集成方案中的元数据全景,精心选用搭配的概念及策略,可以引导人们走向以价值驱动的企业元数据管理(Metadata Management)。
目录概述 (4)什么是元数据? (4)元数据模型 (5)什么是元数据模型? (6)企业元数据模型 (7)BI元数据模型 (8)BI技术元数据 (10)BI元数据实施域 (12)后台元数据 (13)前台元数据 (17)对照元数据 (19)水平与垂直回溯 (20)水平回溯 (20)垂直回溯 (22)元数据管理拓扑结构 (22)分布式元数据管理 (23)集中式元数据管理 (24)联邦式元数据管理 (28)BIDS元数据管理方法论 (33)框架定义 (34)规格描述 (36)详细设计 (36)元数据管理成熟度模型 (37)参考文献 (40)关于作者 (40)关于译者 (40)概述随着企业的不断成长和变化,处理日常事务的业务系统以及为业务运行提供管理信息的BI 系统也在不断演变,而企业内产生的数据也在随之变化。
企业的BI系统一个典型特征是以这种或那种方式“接触”到海量数据。
BI的成功运用深度依赖于有效的元数据管理,通常被称作“关于数据的数据”。
元数据为所有BI系统的数据充当路标,从而能够对这些数据进行高效地管理、控制变更和分发。
全面的元数据管理保证了BI系统具有高质量的信息,并提供充分的扩展性,能满足新的信息需求和数据源增加。
元数据实施是信息集成中的一部分,最重要的工作是将存储在各种工具中的元数据进行整合利用。
而在某些实施中,元数据的架构和组件需要单独的设计和构建,此时需要识别和分离出这些内容,进而构建强健的元数据资料库。
本文列举了元数据架构设计和实施的主要考虑因素,可充当行动指南。
与此同时需要说明的是,本文只是一整套信息集成文档中的一部分。
什么是元数据?元数据通常被称作“关于数据的数据”,即用于描述其它数据的数据。
术语“数据”(Data)可以通过多种方式进行解释。
举例如下:‘102250Richad King’这组数据可以有很多含义,列举一些为:●美国东部时间10:22:50与Richad King约会●订单编号为1022和(登记在)第50行的商品递送给Richad King●温度为10,2250摄氏度的一个类星体称作Richard-King●102250是TCS公司Richad King的员工编号我们怎么知道哪一种解释是正确的呢?为此我们需要一些描述这些数据的信息,即元数据。
让我们来考虑最后一种解释,描述‘102250Richad King’的元数据可以是:●数据格式为:员工编码-Number(6),员工姓名-Varchar(30)●如果员工编码数字的第一位不是9,则该员工不是商业伙伴●编号为102250的员工于1997年1月1日加入TCS公司●编号为102250的员工曾在BIPM部门服务通过分析这些描述该组数据的数据,我们可以发现前两条定义了‘102250Richad King’的上下文;后两条并非描述数据的上下文背景,而是从细节上描述了蕴含在‘102250Richad King’中和主数据相关的详细内容。
因此需要注意一点,当我们说元数据是“关于数据的数据”时,我们需要确保所讨论的是数据的背景,而不是有关数据的详细细节或相关数据。
元数据描述的是数据的背景、内容、数据结构及其生命周期管理。
简而言之,元数据是“数据的背景”。
元数据管理全景包括三个部分内容:●元数据模型●元数据拓扑结构●元数据管理方法论下文我们将深入这些主题,以深入理解元数据管理。
元数据模型元数据是BI架构中的一个重要组件。
在BI环境中,元数据管理最主要是能方便地集成不同数据库、数据模型、OLAP和ETL工具所包含的各式各样的元数据。
元数据包括业务规则、数据源、汇总级别、数据别名、数据转换规则、技术配置、数据访问权限、数据用途等。
设计良好的元数据模型能够提高管理、变更控制和分发元数据的效率,实现无缝的、端到端的跟踪回溯能力。
下面让我们来看看什么是元数据模型。
什么是元数据模型?回到上一节中的例子。
如果说“102250Richard King”是数据,下面则是元数据:●员工代码类型为Number(6)——这告诉我们该数据中首6位字符是数字类型,代表员工代码;●员工姓名类型为Varchar(30)——这告诉我们后面的30位字符是变长字符类型,表示员工姓名。
这些元数据可以进一步抽象为元-元数据(Meta-Metadata),表示元数据的背景。
从例子中可以看到,元数据实际就是告诉了我们该数据所包含元素名称(员工代码)和数据类型(Number(6))。
用于更详细地描述元数据的信息叫做元-元数据,这是数据层面的术语。
让我们从另一个角度来解释,上文所讨论的元数据显然是逻辑或物理数据模型中的元素或属性。
因此,我们可以说数据模型就是元数据,这是模型层面的术语。
元数据可以进一步抽象为元-元数据。
数据模型通过表(Table)对象的实例构建,数据则用列、主键、外键、数据类型等区分,这就是元-元数据或称之为元数据模型。
元数据模型自身可以被抽象出另一个层次——元数据信息通过主体、谓词和客体进行描述,主体通过谓词与客体发生关系。
这种表述称作元-元模型(Meta-Meta Model)。
这些抽象级别可以通过两组术语进行描述,如下表所示:因此,无论何时谈及元数据,了解这个抽象层级都是很重要的。
元数据或者是数据模型告诉了我们关于数据的信息,要理解元数据的细节,我们应该理解元数据模型;同样地,要理解元数据模型,就需要理解元-元模型。
但大多数时候,我们提到元数据的时候,通常包含了上述所有级别,并没有专门区分。
接下来让我们看看如何在企业中为元数据建模——即企业元数据模型,并如何进一步演化到BI元数据模型(BI Metadata Model)。
企业元数据模型在企业内部业务和技术(IT)领域尽管各自独立,但以IT产业的视角来看,却不可分割。
IT/技术领域是企业的支柱,提供业务运营和发展所需的基础设施和必要的应用/工具。
当然,如果没有业务运营这个前提,IT/技术也没有存在的必要了。
这种彼此间一对一的关系对元数据同样适用——业务元数据和IT/技术元数据形成了元数据模型的基础。
上图给出企业元数据模型的这两个分支以及各概念层之间的关系。
与这两个分支相交的三层概念如下表详述:顶层业务元数据中的最高概念层表示为‘主题域’或者‘概念’。
例如HR (人力资源), CRM (客户关系管理)以及支付等等,往往在收集业务需求时界定。
与之对应,技术系统将根据每个主题域进行开发,例如Oracle可以为HR主题域开发HRMS,也可以为CRM实施SIEBEL系统。
这些形成了IT/技术元数据中的‘系统’层。
中层每一个主题域可以被分解成业务实体或者业务交易。
客户、供应商、合作方、客户使用的任何应用,以及诸如订单管理这样的业务交易等,形成了CRM中的业务实体。
每个业务实体的细节通过技术对象来存储,比如用数据表、报表以及映射关系等。
底层业务术语形成了业务元数据最底层的抽象概念。
对业务实体而言,比如某个应用,业务术语可以是客户ID、客户姓名以及产品ID等等。
而IT/技术的最底层是技术元素。
元素级的细节信息,如列、字段或转换形成了技术元素。
BI元数据模型被称为:●BI技术元数据●数据源元数据换句话说,BI元数据模型有三个分支,与企业元数据模型的两个分支不同。
右图描绘了BI元数据模型的三个分支。
这些分支可以进一步抽象成三个层次如下表描述:在最顶层,业务的主题域可以直接运用于BI技术元数据的报表和分析,继而被映射到数据源元数据反映的源系统中。
中层(实体层)业务实体连接到技术实体,如数据表,立方体和报表等,它们从可用的源表或数据表单直接获取信息。
底层(元素层)最细节的元数据存在于数据元素层。
业务元数据中的业务术语映射到技术元数据的对应层,包括数据表、报表及多维立方体的维度/度量。
业务用户广泛使用这层元数据。
备注:三种元数据域的元素级信息生成了元数据实施的“术语表”。
这些详细的元数据信息形成了元数据模型的基础,用于与更高层级以及其他元数据域的概念相连接。
元素级信息是跨元数据域搜索的唯一地带,因此为其设计高性能搜索引擎至关重要。
采用链表结构对这种设计有辅助作用。
BI 技术元数据BI技术元数据包含了BI环境中不同层级的所有元数据,进一步可以细分为三个类型:●信息整合– ETL (数据抽取,转换和装载) 元数据●信息存储–数据仓库元数据●信息发布–报表元数据使用ETL,DW (数据仓库) 和报表元数据这样的术语是为了简化和说明的目的,不要误认为元数据只有这些组成成分。
举例说明,信息整合元数据可以由CDC (变化数据捕获), ETL (数据抽取,转换和装载), EAI (企业应用集成)和EII (企业信息集成)等成分组成,但为了简便,我们经常统称之为ETL元数据。
BI元数据在三级概念层的体系上可以被分为以下几类:ETL元数据这个类别包含了所有涉及从源系统数据抽取、转换和装载(ETL)进入BI环境的元数据。
在最顶层,ETL作业一般隶属于像Oracle、Mainframe或Siebel这样的技术层面上形成的类别,或者像服务执行/保障,或电话详单等源系统这样的功能层面基础上形成的类别。
在某个特定类别内的所有流程都会有一些相似之处。
诸如源系统特征这类元数据就是在这个层级获取。
在下一个层级,ETL类别可以向下钻取为各自独立的ETL过程,往往执行某个特定的任务,比如一个独立的作业或者映射等。
这些流程通常与整个实体相关,比如客户信息,电话详单及销售订单等,并以此命名。