数据仓库_3_数据仓库的基本结构

合集下载

数据仓库的基本架构

数据仓库的基本架构

数据仓库的基本架构数据仓库是一个用于集成、存储和管理企业数据的系统,它提供了一个统一的视图,用于支持企业决策和分析。

数据仓库的基本架构包括数据源、数据抽取、数据转换、数据加载和数据存储等关键组件。

1. 数据源数据源是数据仓库的起点,它可以是企业内部的各种业务系统,如销售系统、财务系统、人力资源系统等,也可以是外部数据源,如第三方数据提供商、社交媒体平台等。

数据源可以提供结构化数据(如关系型数据库中的表)和非结构化数据(如日志文件、文档等)。

2. 数据抽取数据抽取是将数据从数据源中提取出来的过程。

这个过程通常包括连接到数据源、选择需要抽取的数据、执行抽取操作等步骤。

数据抽取可以使用不同的方式,例如直接查询数据库、使用API接口、使用ETL工具等。

3. 数据转换数据转换是将抽取的数据进行清洗、转换和整合的过程,以使其适应数据仓库的结构和规范。

在数据转换过程中,可以进行数据清洗(如去除重复数据、处理缺失值)、数据转换(如格式转换、数据合并)和数据整合(如将多个数据源的数据合并为一个统一的数据集)等操作。

4. 数据加载数据加载是将经过转换的数据加载到数据仓库中的过程。

数据加载可以使用增量加载或全量加载的方式进行。

增量加载是指将新抽取的数据追加到已有数据之后,而全量加载是指将所有数据重新加载到数据仓库中。

数据加载可以使用不同的方式,如批量加载、实时加载等。

5. 数据存储数据存储是数据仓库中最重要的组件之一,它用于存储和管理数据。

数据存储可以使用关系型数据库、多维数据库或分布式文件系统等。

关系型数据库通常用于存储结构化数据,多维数据库用于存储多维数据,而分布式文件系统用于存储大数据量的非结构化数据。

除了以上基本架构组件外,数据仓库还包括元数据管理、数据质量管理、安全管理和性能优化等方面的功能。

1. 元数据管理元数据是描述数据的数据,它包括数据的定义、结构、关系、来源等信息。

元数据管理是对元数据进行收集、存储、维护和查询的过程。

数据仓库的基本架构

数据仓库的基本架构

数据仓库的基本架构一、引言数据仓库是指用于支持决策制定和业务分析的数据存储和管理系统。

它的设计和构建需要考虑到数据的整合、存储、查询和分析等方面。

本文将介绍数据仓库的基本架构,包括数据仓库的概念、架构层次、数据模型和数据处理流程等内容。

二、数据仓库的概念数据仓库是一个面向主题的、集成的、稳定的、随时间变化的数据集合,用于支持管理决策。

它将来自多个异构数据源的数据进行整合,提供给决策者和分析师进行查询、分析和报告。

三、数据仓库的架构层次1. 数据源层:数据源层是数据仓库的基础,包括各种数据源,如关系型数据库、文件、Web服务等。

数据源层的数据需要进行抽取、清洗和转换,以满足数据仓库的需求。

2. 数据抽取层:数据抽取层负责从数据源层获取数据,并进行抽取、清洗和转换。

常见的数据抽取工具有Informatica、DataStage等,它们可以实现数据的增量抽取、数据清洗和数据转换等功能。

3. 数据存储层:数据存储层是数据仓库的核心组成部分,用于存储从数据源层抽取的数据。

常见的数据存储技术包括关系型数据库、列式数据库、NoSQL数据库等。

4. 数据集成层:数据集成层负责将来自不同数据源的数据进行整合,以便用户可以进行查询和分析。

数据集成层通常采用ETL(抽取、转换、加载)工具,将数据从数据存储层导入到数据集成层。

5. 元数据管理层:元数据是描述数据的数据,它描述了数据的结构、含义、关系等信息。

元数据管理层负责管理和维护元数据,以便用户可以了解数据的来源和含义。

6. 查询和分析层:查询和分析层是数据仓库的最上层,提供给用户进行查询和分析的界面。

常见的查询和分析工具有OLAP(联机分析处理)工具、数据挖掘工具等。

四、数据仓库的数据模型数据仓库的数据模型通常采用星型模型或雪花模型。

星型模型由一个事实表和多个维度表组成,事实表包含了与业务相关的度量指标,维度表包含了与事实表相关的维度信息。

雪花模型在星型模型的基础上,将维度表进一步规范化,以减少数据冗余和提高数据一致性。

数据仓库体系结构

数据仓库体系结构

数据仓库体系结构数据仓库是一个用于集成、管理和分析大量数据的系统。

在数据仓库中,数据从不同的源系统中提取、转换和加载,然后存储在一个统一的、可供分析的数据存储中。

为了实现这一目标,数据仓库需要一个合理的体系结构来支持数据的整合、存储和查询等功能。

数据仓库体系结构由以下几个主要组成部分组成:1. 数据源:数据源是数据仓库的基础,它可以是内部系统的数据库、外部数据提供商的数据文件、Web上的数据源等。

数据源可以包括结构化数据(如关系型数据库中的表)和非结构化数据(如文本文件、图像文件等)。

2. 数据提取:数据提取是将数据从源系统中抽取出来并转换为数据仓库可以使用的格式的过程。

数据提取可以通过批处理、定时任务或实时流式传输等方式进行。

3. 数据转换:数据转换是将提取的数据进行清洗、集成和转换的过程。

在这个阶段,数据被清理、去重、标准化和转换为统一的格式和结构,以便在数据仓库中进行分析。

4. 数据加载:数据加载是将转换后的数据加载到数据仓库中的过程。

数据加载可以分为全量加载和增量加载两种方式,全量加载是将所有数据加载到数据仓库中,而增量加载是只加载发生变化的数据。

5. 数据存储:数据存储是数据仓库中数据的物理存储方式。

常用的数据存储方式包括关系型数据库、多维数据库和列式数据库等。

数据存储的选择应根据数据的特点、查询需求和性能要求等因素进行。

6. 元数据管理:元数据是描述数据仓库中数据的数据,它包括数据的结构、定义、来源、质量等信息。

元数据管理是对元数据进行收集、存储、管理和查询的过程,它是数据仓库管理的重要组成部分。

7. 数据访问:数据访问是用户通过查询、报表和分析等方式对数据仓库中的数据进行访问和分析的过程。

数据仓库可以提供多种数据访问方式,包括在线分析处理(OLAP)、数据挖掘和数据可视化等。

8. 安全性和权限管理:安全性和权限管理是保护数据仓库中数据安全和控制用户访问权限的过程。

数据仓库应具备完善的安全措施,包括身份认证、权限控制、数据加密和审计等功能。

数据仓库的基本架构

数据仓库的基本架构

数据仓库的基本架构数据仓库是一个用于存储和管理大量数据的系统,它可以帮助企业进行数据分析和决策支持。

数据仓库的基本架构是指数据仓库系统中各个组件的组织结构和相互关系。

下面将详细介绍数据仓库的基本架构。

1. 数据源数据源是数据仓库的起点,它包括各种内部和外部的数据源,如企业内部的数据库、文件、日志等,以及外部的数据供应商、合作伙伴等。

数据源可以通过ETL(抽取、转换、加载)工具将数据抽取到数据仓库中。

2. 数据抽取数据抽取是将数据从数据源中提取出来的过程。

数据抽取可以按照时间、事件、条件等方式进行,以确保数据的准确性和完整性。

常用的数据抽取工具有Informatica、DataStage等。

3. 数据转换数据转换是将抽取的数据进行清洗、整合、转换的过程。

清洗可以去除重复数据、缺失数据等;整合可以将多个数据源的数据进行合并;转换可以将数据进行格式转换、计算等操作。

数据转换可以使用ETL工具进行,如Informatica PowerCenter、IBM InfoSphere DataStage等。

4. 数据加载数据加载是将转换后的数据加载到数据仓库中的过程。

数据加载可以分为全量加载和增量加载两种方式。

全量加载是将所有数据都加载到数据仓库中,适用于数据量较小的情况;增量加载是只加载新增或更新的数据,适用于数据量较大的情况。

数据加载可以使用ETL工具进行,如Informatica PowerCenter、IBM InfoSphere DataStage等。

5. 数据存储数据存储是数据仓库中数据的物理存储方式。

数据仓库通常采用星型模型或雪花模型进行数据存储。

星型模型是以一个中心事实表为核心,周围是多个维度表;雪花模型是在星型模型的基础上,将某些维度表继续细分成多个层级。

数据存储可以使用关系数据库进行,如Oracle、SQL Server等。

6. 数据访问数据访问是用户通过查询、报表、分析等方式对数据仓库中的数据进行获取和分析的过程。

数据仓库的基本架构

数据仓库的基本架构

数据仓库的基本架构数据仓库是一种面向主题、集成、非易失、相对稳定和历史数据的数据集合。

它采用了一种特定的架构来存储和管理数据,以便支持企业的决策和分析需求。

数据仓库的基本架构由以下几个主要组件组成:数据源、ETL过程、数据存储和访问层。

1. 数据源(Data Sources)数据源是数据仓库的起点,它包括企业内部的各个业务系统、外部数据提供商和第三方数据供应商等。

数据源可以是关系数据库、平面文件、Web服务等各种数据存储形式。

数据源中的数据通常以不同的格式和结构存在,这就需要进行数据整合和转换。

2. ETL过程(Extraction, Transformation and Loading)ETL是数据仓库的核心过程,它包括数据的抽取、转换和加载。

数据抽取是指从数据源中提取需要使用的数据,可以使用不同的技术和工具来实现,如SQL查询、文件导入等。

数据转换是指对抽取的数据进行清洗、整合、转换和规范化等处理,以满足数据仓库的要求。

数据加载是指将转换后的数据加载到数据仓库中,可以采用增量加载或全量加载的方式。

3. 数据存储(Data Storage)数据存储是指将经过ETL处理后的数据存储到数据仓库中。

数据仓库通常采用分层的存储结构,包括原始数据层、中间数据层和目标数据层。

原始数据层存储从数据源中抽取的原始数据,中间数据层存储经过转换和整合后的数据,目标数据层存储已经满足分析和查询需求的数据。

4. 数据访问层(Data Access)数据访问层是用户和数据仓库之间的接口,它提供了各种查询、分析和报表功能,以满足用户对数据的不同需求。

数据访问层可以通过各种方式进行数据查询,例如使用SQL查询语言、OLAP分析工具、报表生成工具等。

它还可以提供更高级的分析功能,如数据挖掘、机器学习和数据可视化等。

除了以上的基本架构组件,数据仓库还需要考虑数据安全性、性能优化、数据质量管理和元数据管理等问题。

数据安全性要求对数据进行权限控制、数据加密和数据备份等操作,以保证数据的安全和完整性。

数据仓库的基本架构

数据仓库的基本架构

数据仓库的基本架构数据仓库是一个用于集成、存储和管理企业中各种数据的系统。

它的设计和架构对于数据的有效管理和分析至关重要。

在本文中,我们将详细介绍数据仓库的基本架构,包括数据仓库的组成部分、数据仓库的层次结构和数据仓库的实施步骤。

一、数据仓库的组成部分1. 数据源:数据仓库的数据源可以包括企业内部的各种数据库、文件、日志等。

数据源的选择和数据提取的方法取决于企业的需求和数据的特点。

2. 数据提取和转换:数据提取和转换是将数据从数据源中提取出来并进行清洗、转换的过程。

这个过程包括数据的抽取、清洗、转换和加载等步骤,以确保数据的质量和一致性。

3. 数据存储:数据存储是数据仓库的核心组成部分,用于存储从数据源中提取出来的数据。

常见的数据存储方式包括关系型数据库、多维数据库和分布式文件系统等。

4. 元数据管理:元数据是描述数据的数据,用于帮助用户理解和使用数据仓库中的数据。

元数据管理包括元数据的收集、存储和维护等过程。

5. 数据访问和查询:数据仓库的用户可以通过各种方式访问和查询数据,包括SQL查询、OLAP分析、报表生成等。

数据访问和查询的方式取决于用户的需求和技术的支持。

二、数据仓库的层次结构数据仓库的层次结构包括三个主要层次:操作型数据层、集成型数据层和决策型数据层。

1. 操作型数据层:操作型数据层是数据仓库的最底层,用于存储企业内部各种操作型数据,包括交易数据、日志数据等。

这些数据通常以原始的、细粒度的形式存储。

2. 集成型数据层:集成型数据层是数据仓库的中间层,用于将操作型数据进行整合和转换,以满足用户的查询和分析需求。

在这一层次上,数据会进行清洗、聚合和转换等处理。

3. 决策型数据层:决策型数据层是数据仓库的最上层,用于存储已经经过整合和转换的数据,供用户进行决策分析和业务报告等。

在这一层次上,数据会根据用户的需求进行汇总、计算和分析等操作。

三、数据仓库的实施步骤1. 确定需求:在实施数据仓库之前,首先需要明确企业的需求和目标。

数仓基本知识

数仓基本知识

数仓基本知识数仓(Data Warehouse)是指企业或组织中用于存储和管理大量数据的系统。

在现代企业中,数据已经成为宝贵的资产和竞争优势的来源。

而数仓作为数据的集中存储和管理平台,发挥着至关重要的作用。

数仓的基本概念可以追溯到20世纪80年代,当时企业开始意识到数据的价值,并开始建立数据仓库用于支持决策和分析。

数仓的目标是将来自不同数据源的数据集成到一个统一的平台上,为企业决策提供准确、一致和可靠的数据。

数仓还会对数据进行清洗、整合、转换、聚合和存储,以便进行更高效的数据分析和挖掘。

数仓的架构通常包括以下几个关键组件:1. 数据源:数仓可以从多个数据源中获取数据,包括企业内部的各种业务系统、传感器、社交媒体等。

这些数据源可能包含结构化数据(如数据库表)和非结构化数据(如日志文件、文本文档)。

2. 数据抽取:数据抽取是将数据从源系统中提取出来并加载到数仓中的过程。

这一步骤通常需要进行数据清洗、转换和规整,以确保数据的质量和一致性。

3. 数据存储:数仓中的数据通常以多维模型的形式存储,例如星型模型或雪花模型。

这些模型可以更好地支持数据分析和查询。

4. 数据集成:数据集成是将来自不同数据源的数据整合到一起的过程。

这包括数据的聚合、关联和变换,以便进行更高级别的分析和挖掘。

5. 数据查询和分析:数仓提供了各种查询和分析工具,以便用户可以轻松地访问和分析数据。

这些工具可以是标准的SQL查询工具,也可以是更高级别的分析工具,如数据挖掘和机器学习工具。

6. 数据可视化:数据可视化是将数据以图表、报表和仪表盘等形式展示出来,以便用户可以更直观地理解和分析数据。

数据可视化可以帮助用户发现数据中的模式、趋势和异常情况。

数仓的建设和维护需要专业的团队和技术支持。

数仓团队通常由数据工程师、数据分析师、业务专家等组成,他们负责数仓的设计、构建、运维和优化工作。

数仓的好处不仅体现在数据分析和决策支持方面,还可以帮助企业提高运营效率、降低成本、改善客户体验等。

数据仓库的基本架构

数据仓库的基本架构

数据仓库的基本架构数据仓库是一个用于存储和管理大量数据的系统,它可以帮助企业进行数据分析和决策支持。

为了构建一个高效、可靠的数据仓库,需要设计一个合理的基本架构。

本文将详细介绍数据仓库的基本架构,并提供相应的详细内容和数据。

一、引言数据仓库是一个面向主题的、集成的、稳定的、可变的、非易失的数据集合,用于支持企业决策。

它是一个用于存储和管理大量数据的系统,可以从多个来源收集数据,并提供灵活的数据分析和查询功能。

二、数据仓库的基本架构1. 数据源层数据源层是数据仓库的基础,它包括各种数据源,如企业内部的关系型数据库、外部数据提供商、日志文件等。

数据源层负责将数据从不同的来源抽取、转换和加载到数据仓库中。

2. 数据抽取层数据抽取层负责从数据源层中抽取数据,并进行必要的转换和清洗。

它可以根据需要选择不同的数据抽取方法,如全量抽取、增量抽取、增量更新等。

数据抽取层还可以对数据进行质量检查,确保数据的准确性和完整性。

3. 数据存储层数据存储层是数据仓库中最重要的组成部分,它用于存储抽取和转换后的数据。

数据存储层通常采用多维模型,如星型模型或雪花模型,以支持灵活的数据分析和查询。

数据存储层还可以根据需要进行数据分区和索引优化,以提高查询性能。

4. 数据集成层数据集成层负责将不同的数据源中的数据进行集成和整合,以满足用户的查询和分析需求。

数据集成层可以根据需要进行数据清洗、数据转换和数据合并等操作,以确保数据的一致性和完整性。

5. 元数据管理层元数据是描述数据仓库中数据的数据,它包括数据的定义、结构、关系和使用规则等信息。

元数据管理层负责管理和维护数据仓库中的元数据,以支持数据的查询、分析和管理。

6. 数据访问层数据访问层是用户访问数据仓库的接口,它提供了各种查询和分析工具,如OLAP工具、报表工具和数据挖掘工具等。

数据访问层还可以根据用户的权限和角色进行数据安全管理,以保护敏感数据的访问。

7. 数据管理层数据管理层负责数据仓库的运维和管理工作,包括数据备份和恢复、性能监控和优化、用户管理和权限管理等。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
临时索引技术等等
多技术接口:用不同技术实现数据的接收和传送
2015/6/3
Data Warehouse
14
3.2 数据仓库管理
存储和管理
控制数据存放的物理位置:在物理块/页一级上进行 控制,存放在合适的位置
并行处理:DW中数据管理最强大的特征,目的就 是极大提高性能
针对决策支持的查询优化:数据冗余、多语言接口 支持多维分析的查询模式 变长数据的有效管理:变长数据经常更新和变化,
基本数据的管理方式:前者具有自由空间(数据更新时临时数据使 用的附加空间),后者没有自由空间;
索引:前者限制索引数量,后者则需要多种索引优化访问。 物理上的优化:前者是针对事务访问,而后者则是针对分析访问。
2015/6/3
Data Warehouse
18
3.2 数据仓库管理
2. 数据仓库管理 - 数据仓库建模
工作:抽取、筛选、清理、加载等 高速装载大量数据:
并行装载:将数据分为几个独立的工作流 设立缓冲区:对数据进行缓冲处理,在缓冲区中合并数据
2015/6/3
Data Warehouse
7
3.2 数据仓库管理
数据仓库中的数据
企业内部各个部门当前及其历史上的细节性业务数据 为了进行分析决策操作而生成的分析型综合数据
优点
采用此方法可避免对整个数据库的对比扫描,具有较高的刷 新效率。
缺点
这样的应用程序并不普遍,修改现有的应用程序的工作量又 太大。
2015/6/3
Data Warehouse
24
3.2 数据仓库管理
3.2.3 数据仓库管理 - 数据刷新方法 - 建立映象文件
实现方法
在上一次数据刷新后对数据库作一次快照 在本次刷新之前再对数据库作一次快照 比较两个快照的不同,从而确定数据仓库的数据刷新操作。
数据抽取的实现方法
通过通用的数据库接口程序或协议从中抽取数据 编制特殊的数据抽取函数进行数据抽取
2015/6/3
Data Warehouse
21
3.2 数据仓库管理
3.2. 数据仓库管理 - 数据刷新
数据仓库系统必须能够感知到在OLTP数据库中数据的 变化情况,并及时有效地把这些变化反映到数据仓库 中去,以使得数据仓库中的数据能真实地反映实际情 况,因此必须对数据仓库进行数据刷新。一般数据刷 新的方法包括:
2015/6/3
Data Warehouse
19
3.2 数据仓库管理
3. 数据仓库管理 - 数据的抽取与刷新
数据抽取
对数据源中数据通过网络进行抽取,并经加工、转 换、综合后形成数据仓库中的数据。
数据刷新
对数据仓库中数据的修改、删除和增加 数据刷新的过程与抽取类似,但刷新的数据量往往
缺点
大多数数据库系统中的数据并不含有时间属性。
2015/6/3
Data Warehouse
23
3.2 数据仓库管理
3.2.2 数据仓库管理 - 数据刷新方法 - DELTA文件
适用情况
有些OLTP数据库的应用程序在工作过程中会形成一些DELTA 文件以记录该应用所作的数据修改操作,可根据该DELTA文 件进行数据刷新。
时间戳
DELTA文件
建立映象文件
日志文件
2015/6/3
Data Warehouse
22
3.2 数据仓库管理
3.2.1 数据仓库管理 - 数据刷新方法 - 时间戳 适用情况
若数据库中的记录有时间属性,则可根据OLTP数 据库中的数据有无更新,以及在执行更新操作时 数据的修改时间标志来实现数据仓库中数据的动 态刷新。
会带来性能问题,例如char和varchar 快速恢复数据
2015/6/3
Data Warehouse
15
3.2 数据仓库管理
数据仓库管理层一般由如下几部分组成:
数据仓库管理系统 数据仓库建模 数据抽取与刷新 元数据管理
2015/6/3
Data Warehouse
16
3.2 数据仓库管理
一个重要活动的发生,随机的,例如:一次销售、一次货物 入库、一次通话、一次发货;
规律性的时间推移,有规律,例如:一天的结束、一个星期 的结束、一个月的结束。
2015/6/3
Data Warehouse
26
3.2 数据仓库管理
快照:操作型环境数据的拷贝
快照的组成:
2015/6/3
Data Warehouse
17
3.2 数据仓库管理
1. 数据仓库管理 - 数据仓库管理系统
数据仓库管理系统类型
传统的通用的DBMS 数据仓库专用的DBMS:在原来DBMS基础上的改进
区别:
数据更新的方式:前者具有一般DBMS的特征(即记录锁定、基于 事务等),后者则将特征最小化;
小于抽取的数据量。 由于仅需要对修改过的数据进行刷新,因而其实现
难度与复杂性要大于数据抽取。
2015/6/3
Data Warehouse
20
3.2 数据仓库管理
3.1. 数据仓库管理 - 数据抽取 数据抽取的注意点
必须屏蔽底层数据的结构复杂性和物理位置的复杂性 能够实现对数据仓库中数据的自动刷新 对数据仓库的元数据和数据进行维护
对数据仓库中数据的管理
需要借助成熟的数据库技术对其进行存储管理 利用改造过的关系数据库系统来组织和管理DW中的数据。
增加必要的技术:多介质的管理、多接口的实现、数据并行处 理等
关闭不需要的技术:事务完整性、行/页级的锁定、参照完整 性等等
2015/6/3
Data Warehouse
数据仓库建模
建立数据仓库的模式。
数据仓库的模式结构
如同数据库的模式设计一样,我们也需要设计建立数据仓库 的数据模式。
如果采用关系数据库系统作为数据仓库管理的工具,则数据 仓库的模式结构在形式上与关系模式一样。
数据仓库的建模过程
数据仓库的建模方式有别于传统的关系数据库建模,需要有 独立的数据仓库建模工具作为数据仓库管理工具的一部分。
(4)高度综合数据:对轻度综合数据再进行综合(粒度变大), 即形成高度综合数据。这一层的数据十分精练,损失了大量信 息,是一种难决策数据。通常存储在快速且相对昂贵的存储介 质上。
(5)整个数据的组织结构由元数据统一来组织,它不包含任何 业务数据库中的实际数据信息。
2015/6/3
Data Warehouse
2015/6/3
Data Warehouse
2
3 数据仓库的基本结构
数据集市 建模
数据集市
……
数据集市


数据仓库
元数据管理
仓 库




软 件
ORACLE
2015/6/3
SYBASE …… SQL Server
数据仓库系统示意图
Data Warehouse
文件
3
3.1 数据源
多数据源
数据仓库的数据来源于多个数据源。
2015/6/3
Data Warehouse
6
3.1 数据源
数据从数据源到数据仓库
方法:
通过一个语言接口(C、COBOL等)一次载入一条记录; 使用一种工具全体批量的转载(较快)。
数据抽取软件
ETL工具(Extraction/Transformation/Loading) 清洗工具(Cleaning)
张三上个星期给他在杭州的女友打过电话没有?(事务型) 上个月某顾客在某超市一共购买了多少钱的物品? 去年南京大学信息管理系在情报学报上发表了多少篇论文?
2015/6/3
Data Warehouse
11
数据仓库的数据组织
(3)轻度综合数据:指从当前基本数据中提取出来,以较小的 粒度(时间段)统计而形成的数据。这类数据较细节数据的数 据量小得多。数据集市中的数据多为轻度综合数据。
(2)当前细节数据:指最近时期的业务数据,它反映了当 前业务的情况,数据量大,是数据仓库用户最感兴趣的部分, 也称为当前基本数据层。通常存储在直接存储存取设备和磁 带上。该层数据一旦过期,就成为早期细节数据。
2015/6/3
Data Warehouse
9
数据仓库的数据组织
元 数 据
高度综合 数据层
缺点
需要占用大量的系统资源 可能较大地影响原有数据库系统的性能
2015/6/3
Data Warehou的拷贝
“事件 - 快照”交互:引起数据仓库数据加载的基 本业务交互活动;
某个事件 -> 数据快照 -> 转移到数据仓库环境中 事件:业务活动产生的事件
2015/6/3
Data Warehouse
4
3.1 数据源
数据的抽取
数据的抽取是数据进入仓库的入口。由于数据仓库是 一个独立的数据环境,它需要通过抽取过程将数据从 联机事务处理系统、外部数据源、脱机的数据存储介 质中导入数据仓库。
2015/6/3
Data Warehouse
5
3.1 数据源
轻度综合 数据层
当前基本 数据层
2015/6/3
Data Warehouse
历史数据层
10
数据仓库的数据组织
细节数据的特点
细节数据==低粒度;
例如: 一个顾客一个月中每次通话的费用(细节); 一个顾客一个月内在某超市每次购买的一种物品(细节);
数据量大; 能够回答任何问题,例如:
相关文档
最新文档