数据仓库的基本原理
数仓的架构原理
数据仓库是一个面向主题的、集成的、非易失的且随时间变化的数据集合。
它主要用于组织积累的历史数据，并使用分析方法（如OLAP、数据分析）进行分析整理，进而辅助决策，为管理者、企业系统提供数据支持，构建商业智能。
数据仓库的架构原理主要涉及以下几个方面：
1. 数据抽取和加载：数据仓库的数据来源于多个源系统，需要通过数据抽取和加载过程将数据从源系统抽取到数据仓库中。
这个过程需要进行数据清洗、转换和验证，以确保数据的准确性和完整性。
2. 数据存储和管理：数据仓库需要一个高效的数据存储和管理机制。
它通常采用星型模型或雪花模型等数据模型来组织数据，以便于查询和管理。
此外，数据仓库还需要考虑数据的存储容量、查询性能、数据备份和恢复等问题。
3. 数据查询和报表：数据仓库需要提供强大的数据查询和报表功能，以便用户能够快速地获取所需的数据。
数据查询通常采用SQL或其他查询语言实现，而报表则可以使用各种报表工具或可视化工具实现。
4. 数据分析和挖掘：数据仓库还需要提供数据分析和挖掘功能，以便用户能够深入了解数据的内在联系和规律，从
而辅助决策。
常见的分析方法包括OLAP分析、数据挖掘、预测分析等。
5. 数据安全和权限控制：数据仓库需要保证数据的安全性和保密性，需要对不同用户设置不同的访问权限和角色管理。
同时，还需要采取加密、备份等措施来确保数据的安全性。
总之，数据仓库的架构原理主要涉及数据的抽取和加载、存储和管理、查询和报表、分析和挖掘以及安全和权限控制等方面。
通过这些方面的设计和实现，数据仓库可以为企业提供强大的数据分析和商业智能支持。
离线数据仓库原理
离线数据仓库原理
离线数据仓库是一种用于存储和管理大型数据集合的系统，它用于支持数据分析和决策制定。
其原理主要包括以下几个方面：
1. 数据抽取：离线数据仓库从不同的数据源中抽取数据，包括关系型数据库、日志文件、传感器数据等。
这些数据源可能包含结构化、半结构化和非结构化数据。
2. 数据清洗和转换：抽取的数据通常需要进行清洗和转换，以便于进一步的分析。
清洗操作包括处理缺失值、异常值和重复值，转换操作包括数据格式转换和数据集成。
3. 数据加载：清洗和转换后的数据被加载到数据仓库中，一般采用批处理方式进行。
数据加载可能包括数据划分、排序和聚合等操作，以适应后续的查询需求。
4. 数据存储：离线数据仓库使用一种特定的数据存储格式来存储数据，常用的格式包括列存储和行存储。
这些存储格式在数据检索和分析方面具有优势，能够提高查询性能和数据压缩效率。
5. 数据索引和优化：为了提高查询性能，离线数据仓库通常使用数据索引技术来加速数据检索。
索引可以根据查询的需求来选择合适的列进行索引，以减少数据扫描的开销。
同时，还可以进行查询优化，如预先计算和缓存查询结果。
6. 数据分析和查询：离线数据仓库支持各种分析和查询操作，
包括聚合查询、多维分析、数据挖掘等。
用户可以通过使用查询语言或工具来进行数据分析和决策制定。
7. 数据更新：离线数据仓库的数据通常是静态的，即不经常更新。
如果需要更新数据，一般需要重新进行数据抽取、清洗、转换和加载等操作。
通过以上的原理和操作流程，离线数据仓库能够提供高效的数据分析和决策支持，对于大型企业和组织具有重要意义。
hive工作原理
hive工作原理Hive 是一个开源的数据仓库基础架构，用于处理大规模数据集并支持批处理、实时查询和数据仓库工作负载。
其工作原理如下：1. 数据存储和组织：Hive 使用分布式文件系统（如Hadoop HDFS）存储数据。
数据通常以表的形式组织，每个表包含行和列。
Hive 中的表与关系型数据库中的表类似，但是 Hive 中的表是以文件的形式存储在分布式文件系统中。
2. 数据加载：在 Hive 中，可以通过 HiveQL （类似于 SQL）语言来创建和管理表。
一旦表被创建，数据可以通过将文件加载到表中来加载到 Hive 中。
数据可以从本地文件系统、HDFS 或其他数据源中加载。
3. 元数据管理：Hive 使用元数据来描述表的结构和位置。
元数据存储在关系型数据库中，如MySQL或Derby。
元数据包含表的列、分区、表的存储信息和其它与表相关的属性。
4. 查询执行：用户可以使用 HiveQL 查询语言在 Hive 上执行查询操作。
HiveQL 类似于 SQL，但与 SQL 不同的是，HiveQL 面向数据仓库的工作负载，适用于大规模数据集的分析。
查询被解析和转换为一个执行计划，该计划由MapReduce 任务组成并在集群上执行。
5. 操作优化：Hive 对查询的执行计划进行优化，以提高查询性能。
它会尝试在查询执行之前进行优化，以最大限度地减少查询的执行时间。
例如，Hive 可以选择合适的连接策略，或者对查询进行重写以减少数据扫描。
6. 数据压缩和序列化：Hive 支持将数据进行压缩以减少存储空间和数据传输的成本。
它还支持不同的数据序列化格式，例如文本、ORC（Optimized Row Columnar）文件格式等。
并且，Hive 通过将多个小文件合并成更大的文件来优化查询性能。
总结而言，Hive 通过将数据存储在分布式文件系统中并使用HiveQL 执行查询，提供了一种方便的方式来处理大规模数据集。
它通过元数据管理和查询优化来提高性能，并支持数据压缩和序列化以减少存储和传输成本。
数据库原理与应用重要知识点总结
数据库原理与应用重要知识点总结1.数据库的基本概念数据库是指存储、管理和组织数据的集合，它通过一系列的操作来实现对数据的有效管理和利用。
数据库管理系统（DBMS）则是对数据库进行管理的软件系统。
2.数据模型数据模型是描述数据库结构的方式，常见的数据模型有层次模型、网状模型和关系模型。
其中，关系模型在实际应用中应用最广泛。
3.关系模型关系模型通过表格的形式来表示数据，表格中的行表示记录，列表示字段。
表格之间可以建立关系，例如通过外键实现表格之间的关联。
4.数据库管理系统（DBMS）DBMS是对数据库进行管理和操作的软件系统，它提供了数据的存储、检索、更新和删除等功能。
常见的DBMS有MySQL、Oracle、SQL Server 等。
5.SQL语言SQL（Structured Query Language）是用于访问和管理关系数据库的语言，它包括数据定义语言（DDL）、数据查询语言（DQL）、数据操作语言（DML）和数据控制语言（DCL）等。
6.数据库设计数据库设计是指根据系统需求和功能要求，将现实世界中的实体和关系转化为数据库中的表格和关系的过程。
数据库设计需要考虑数据的完整性、安全性、可扩展性等方面。
7.关系数据库规范化关系数据库规范化是将数据库中的表格按照一定的条件和规则进行分解和重组的过程。
目的是减少数据冗余、提高数据的存储效率和查询性能。
8.数据库索引数据库索引是对数据库中的数据进行快速访问的数据结构，它可以提高查询效率。
常见的索引类型有B树索引、哈希索引和全文索引等。
9.数据库事务数据库事务是一系列的数据库操作，它要么全部完成，要么全部不完成。
事务具有ACID属性，即原子性、一致性、隔离性和持久性。
10.数据库安全性数据库安全性是指保护数据库中的数据免受恶意攻击和非法访问的能力。
数据库的安全措施包括用户认证、访问控制、数据加密等。
11.数据库备份与恢复数据库备份是指将数据库中的数据和结构以其中一种形式进行复制和存储，以防止数据丢失。
数据仓库与数据挖掘教程(第2版)陈文伟版课后答案
第一章数据仓库与数据挖掘概述1.数据库与数据仓库的本质差别是什么？答：数据库用于事务处理，数据仓库用于决策分析;数据库保持事务处理的当前状态，数据仓库既保存过去的数据又保存当前的数据;数据仓库的数据是大量数据库的集成;对数据库的操作比较明确，操作数据量少,对数据仓库操作不明确，操作数据量大。
数据库是细节的、在存取时准确的、可更新的、一次操作数据量小、面向应用且支持管理；数据仓库是综合或提炼的、代表过去的数据、不更新、一次操作数据量大、面向分析且支持决策。
6.说明OLTP与OLAP的主要区别。
答：OLTP针对的是细节性数据、当前数据、经常更新、一次性处理的数据量小、对响应时间要求高且面向应用，事务驱动； OLAP针对的是综合性数据、历史数据、不更新，但周期性刷新、一次处理的数据量大、响应时间合理且面向分析，分析驱动。
8.元数据的定义是什么？答：元数据（metadata）定义为关于数据的数据（data about data），即元数据描述了数据仓库的数据和环境。
9.元数据与数据字典的关系什么？答：在数据仓库中引入了“元数据”的概念，它不仅仅是数据仓库的字典，而且还是数据仓库本身信息的数据。
18.说明统计学与数据挖掘的不同。
答：统计学主要是对数量数据（数值）或连续值数据（如年龄、工资等），进行数值计算（如初等运算）的定量分析，得到数量信息。
数据挖掘主要对离散数据（如职称、病症等）进行定性分析（覆盖、归纳等），得到规则知识。
19.说明数据仓库与数据挖掘的区别与联系。
答：数据仓库是一种存储技术，它能适应于不同用户对不同决策需要提供所需的数据和信；数据挖掘研究各种方法和技术，从大量的数据中挖掘出有用的信息和知识。
数据仓库与数据挖掘都是决策支持新技术。
但它们有着完全不同的辅助决策方式。
在数据仓库系统的前端的分析工具中，数据挖掘是其中重要工具之一。
它可以帮助决策用户挖掘数据仓库的数据中隐含的规律性。
数据仓库和数据挖掘的结合对支持决策会起更大的作用。
数据库原理及应用教案
数据库原理及应用教案第一章：数据库概述1.1 数据库基本概念介绍数据库的定义、发展历程和分类解释数据、数据项、数据结构、数据模型等基本概念1.2 数据库系统结构介绍数据库系统的三级模式结构：模式、外模式和内模式解释映像和数据库管理系统（DBMS）的作用1.3 数据库设计与管理介绍数据库设计的原则和方法讲解数据库管理的基本任务和功能第二章：关系数据库理论2.1 关系模型介绍关系模型的基本概念：关系、属性、元组、域等解释关系运算：选择、投影、连接等2.2 关系数据库的规范化讲解函数依赖、码的概念介绍范式理论：第一范式、第二范式、第三范式等2.3 数据库设计方法讲解E-R模型向关系模型的转换方法介绍数据库设计的过程和步骤第三章：SQL语言及其应用3.1 SQL基本概念介绍SQL语言的组成部分：数据定义、数据操纵、数据查询、数据控制等解释SQL中的基本操作：创建表、插入数据、查询数据等3.2 数据库的增、删、改、查操作讲解SQL语言中数据的增加、删除、修改和查询的具体语法和操作步骤3.3 数据库的高级查询介绍SQL语言中的聚合函数、分组查询、排序等操作讲解子查询、连接查询等高级查询技术第四章：数据库安全与保护4.1 数据库安全性讲解数据库安全性的概念和意义介绍SQL语言中的权限管理和角色管理4.2 数据库完整性解释完整性约束的概念和作用讲解实体完整性、参照完整性、用户定义的完整性等约束的实现方法4.3 数据库备份与恢复介绍数据库备份的方法和策略讲解数据库恢复的概念、原理和实现方法第五章：数据库应用系统设计与实现5.1 数据库应用系统概述介绍数据库应用系统的概念、特点和架构讲解数据库应用系统的设计原则和方法5.2 数据库应用系统的设计与实现介绍数据库应用系统的设计过程：需求分析、概念设计、逻辑设计、物理设计等讲解数据库应用系统的实现步骤：数据库创建、应用程序开发、系统测试等5.3 数据库应用系统的案例分析分析实际数据库应用系统的案例，讲解其设计思路和实现方法第六章：事务管理6.1 事务基本概念介绍事务的定义、属性（ACID）解释事务的作用和事务日志的重要性6.2 事务控制讲解并发控制的概念和必要性介绍封锁机制、事务隔离级别和并发调度策略6.3 事务的持久化解释事务提交和回滚的过程讲解事务的持久化机制和事务崩溃后的恢复策略第七章：数据库性能优化7.1 查询优化概述介绍查询优化的目的和基本方法解释查询优化器的作用和工作原理7.2 查询优化技术讲解索引、统计信息在查询优化中的作用介绍查询优化中的各种算法和策略，如规则优化、启发式优化等7.3 数据库性能监控与调整讲解数据库性能监控的工具和方法介绍性能调整的策略和技巧，包括索引调整、缓存管理、参数调整等第八章：分布式数据库与数据仓库8.1 分布式数据库系统介绍分布式数据库的概念、体系结构解释分布式数据库中的数据分片、复制和站点协调机制8.2 数据仓库与OLAP讲解数据仓库的概念、结构和组件介绍在线分析处理（OLAP）工具和多维数据模型8.3 数据挖掘与知识发现解释数据挖掘的概念、任务和过程介绍数据挖掘中常用的算法和技术，如分类、聚类、关联规则等第九章：数据库新技术与发展9.1 云计算与数据库介绍云计算的概念和数据库在云计算中的应用讲解云数据库服务模型和数据库即服务（DBaaS）9.2 物联网与数据库解释物联网的基本架构和数据库在物联网中的作用介绍物联网数据库的设计考虑和应用案例9.3 大数据技术与数据库讲解大数据的概念、特征和处理技术介绍大数据数据库解决方案和分布式文件系统如Hadoop的运用第十章：数据库项目实践10.1 项目需求分析讲解需求分析的方法和步骤解释如何从用户角度出发，明确项目需求和预期目标10.2 数据库设计介绍数据库设计的原则和方法讲解如何根据需求分析结果设计数据库模式和表结构10.3 数据库实施与测试解释数据库实施的过程和注意事项讲解数据库测试的目的和方法，以及如何评估测试效果10.4 项目维护与升级介绍数据库项目维护的内容和策略讲解数据库升级的原因和方法，以及如何处理升级过程中的问题重点和难点解析重点一：数据库基本概念和数据库系统结构数据库基本概念的掌握是理解数据库其他知识的基础。
数据库期末知识总结
数据库期末知识总结一、数据库的基本概念与原理1. 数据库的定义数据库是一个按照特定数据模型组织、存储和管理数据的仓库，可以对数据进行高效的存储和管理。
2. 数据库管理系统（DBMS）数据库管理系统是管理数据库的软件系统，它提供了数据的存储和查询等功能，并保证数据的完整性和安全性。
3. 数据模型数据模型是数据库中数据的表示方式，常见的数据模型有层次模型、网状模型和关系模型。
4. 关系模型关系模型是一种使用表（关系）来表示和管理数据的数据模型，由具有相同结构的元组（行）组成。
5. 数据库的三级模式数据库的三级模式包括外部模式、概念模式和内部模式。
外部模式是用户对数据的逻辑视图，概念模式是数据库的全局逻辑结构，内部模式是数据库的存储方式和物理结构。
6. 数据库的完整性数据库的完整性是指数据的正确性和一致性。
常见的完整性约束有实体完整性、参照完整性和用户定义的完整性。
7. ACID特性ACID是数据库事务的四个基本特性，包括原子性（Atomicity）、一致性（Consistency）、隔离性（Isolation）和持久性（Durability）。
二、数据库的设计与规范1. 数据库设计的步骤数据库设计的步骤包括需求分析、概念设计、逻辑设计和物理设计。
需求分析是明确用户需求，概念设计是将需求转化为概念模型，逻辑设计是将概念模型转化为逻辑模型，物理设计是将逻辑模型转化为物理模型。
2. 结构化查询语言（SQL）SQL是用于与数据库进行交互的标准语言，包括数据定义语言（DDL）、数据操作语言（DML）、数据查询语言（DQL）和数据控制语言（DCL）等。
3. 关系数据库的规范化关系数据库的规范化是消除冗余和依赖的过程，包括第一范式（1NF）、第二范式（2NF）和第三范式（3NF）等。
4. 数据库的索引数据库的索引是提高查询性能的关键，常见的索引有B树索引、哈希索引和全文索引等。
5. 数据库的视图数据库的视图是基于表或查询结果构建的虚拟表，可以简化数据的访问和操作。
数据仓库与数据挖掘中的聚类算法
数据仓库与数据挖掘中的聚类算法随着信息化时代的到来，数据已经成为了企业生产、经营和管理的最重要的资源之一。
数据的高速增长和多样性给企业带来了更多的挑战，怎么更好地从这些海量数据中挖掘出有价值的信息，成为所有企业所面对的共同问题。
数据仓库和数据挖掘技术的应用，有望成为解决这些挑战的有效手段。
本文将围绕数据仓库和数据挖掘两个方面，详细介绍聚类算法的原理、应用以及优缺点。
一、数据仓库数据仓库，是指将企业的数据集中存储、集成、管理的系统。
其核心是将异构的数据集成于一体，便于企业管理者快速地从中切入任何一个数据领域，进行深入的挖掘分析，以便更好的发现市场风险、新的商业机会、优化产品设计等。
数据仓库的功能主要包括数据的收集、汇聚、整合、存储、管理、查询和分析等。
其目的在于从大量的海量数据中，挖掘出更为有价值、更为深入的信息，辅助企业进行决策制定。
数据仓库一般由四个部分组成：数据源、数据处理、数据管理和数据访问。
二、数据挖掘数据挖掘又叫做数据矿掘，是一种通过数据分析、模式识别等技术，从大量数据中挖掘出潜在的商业价值以及其他有用的信息的过程。
数据挖掘技术主要有分类、聚类、关联规则挖掘、持续性挖掘和决策树等。
而其中的聚类算法也成为了数据挖掘中最常用的技术之一。
三、聚类算法聚类算法又称为群体分析或聚类分析，是指将样本数据划分为若干个不同的集合，其中每个集合都至少包含两个样本。
聚类算法主要是为了将样本聚为不同的组群，每个组群具有相似性，而不同的组群之间具有较大的差异性。
聚类算法的基本步骤如下：1、将样本进行初始化，将样本集合分为若干个分组。
2、计算不同分组之间的距离，根据不同的计算方式进行选择。
3、将距离最近的两个分组合并，形成一个新的分组。
4、重新计算与新分组之间的距离，重复1-3步骤，直到满足停止条件，结束聚类算法运行。
聚类算法主要有层次聚类、K-means聚类、密度聚类、DBSCAN聚类等。
四、应用聚类算法在数据挖掘中应用广泛，主要包括以下几个方面：1、客户细分：根据顾客的消费行为、购买偏好等特征进行聚类，以便于进行针对性的营销策略。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
数据转化
不同的数据库厂商，提供的数据类型可能不同。
例子：
不同的时间表达方式
2000-2-3 2/3/2000
2000/2/3
不同的坐标系统
WGS84 西安80’3 度带 北京54’3度带
账务数据库
客户服务数据 库
市场信息数据 库
面向主题分析
收益数据
客户数据
市场数据
计费数据库
现
有
业 务
客户服务数据库
系
统
账务数据库
市场信息数据库
面向主题的数据仓库
为了解决上述问题，数据仓库把上述数据集中。
客户基本信息表
客户呼叫记录表
客户标识号
客户标识号
客户姓名
客户呼叫时间
客户年龄
客户呼叫地点
客户地址
用来在多维商业模型和前端工具之间建立映射的， 叫做决策支持系统元数据。具体包括数据仓库中信 息的种类、存储位置、存储格式；信息之间的关系、 信息和业务的关系、数据使用的业务规则；数据模 型；数据模型和数据仓库的关系。
元数据
系统
数据
系统
数据
元数据
数据集市
数据仓库中的信息按照不同的主题来组织。 举例：市场发展趋势的分析主题，由市场部门的人使 用。 为避免在全部的巨量数组中检索，把某主题的数据逻 辑上或物理上分离出来，可称为数据集市。
W.H.Inmon把数据仓库定义为
“用于管理决策支持的面向主题、 集成、稳定、随时间变化的数据 集合”。
面向主题、集成、稳定、随时间 变化是4个最重要特征。
面向主题 业务系统一般是以优化事务处理的方式构造数据结构
的，因此某个主题数据常常分布在不同的业务数据 库中，对于决策支持不利。
业务系统
计费数据库
services
OGC WMS
OGC WFS
数据仓库存储 多维数据库 关系型数据库 两者的结合
数据 数据仓库中的原始数据是由业务系统提取的或外部数 据源导入，经过清洗、转化而来。
为了完成OLAP分析和数据挖掘，必需在原始数据基 础上增加冗余信息与预运算。
元数据 数据仓库的元数据是主要包含两类数据： 为了从操作型环境向数据仓库环境转换而建立的元 数据，包含所有源数据项的名称、属性及其转化。
外部数据源
从系统外部获取的，与分析主题相关的数据。
例子：超市采购部门确定采购货单 既要了解超市内部产品的销售情况，还要了解市场上 的信息，后者即为外部数据源。
外部数据源越来越多地采用服务的技术
ArcGis rest 服务 /ArcGIS/rest/
数据的一致性和完整性 数据库设计、应用的开发、系统的维护方面共同努力。
操作型数据的特点 细节的 在存取的瞬间是准确的 可更新 操作需求通常事先可知 生命周期符合SDLC 对性能（如操作时延）要求高 一个时刻操作一个数据单元 事务驱动 面向应用 一次操作数据量小 支持日常操作需求
分析型数据的特点 综合的、经过提炼的 代表过去的数据 不更新 分析需求通常不知道 生命周期不同于SDLC 对性能要求较宽 一个时刻操作一个数据集合 分析驱动 面向分析 一次操作数据量很大 支持管理需求
数据仓库系统的功能和构成
企业决策层
多维查询 OLAP 数据挖掘 预测
数据存储 提取、清洗、转换
决
策
支
数
持
据
仓
库
业务数据库
数据挖掘分析系统/数据展现系统
数据 市场
数据 市场
数据 市场
数据 市场
数据仓库存储 数据
元数据
外部系 统
数据清洗/转换 数据提取
提取仓库
业务操作 型系统
数据提取 业务数据库中并不是所有的数据都是决策支持所必需 的。所以要把必需的那部分提取出来。
数据格式：比如电话号码在不同数据库中采用 char(10)、varchar(50)、integer格式，没有统 一。
测量单位：不同的数据库中对于统一属性的测量 单位可能不同，比如时间使用微妙、秒、分钟、 小时
例子：某超市确定以分析客户的购买行为为主题建立 数据仓库。 需要提取的数据：与客户购买行为相关的 关于员工的数据没有必要提取。
数据清洗 数据不完整性 数据中的错误 数据的不同步
按缺失的内容分别写入不同Excel文件向客户提交，要 求在规定的时间内补全。补全后才写入数据仓库。
错误产生的原因是业务系统不够健全，在接收输入后没 有进行判断直接写入后台数据库造成的，可用SQL语句 进行查找和改进
例子：
客户基本信息表
客户咨询信息
表
客户号：100
客户号：100
姓名：张山
姓名：张三
年龄：23
咨询问题：…
两个表中，客户姓名不同。这是常见的错误
客户基本信息表
客户号：100 姓名：张山
年龄：23 手机服务状态：正常
客户业务变更信息表 客户号：100 姓名：张山 业务变更：停机
由于不同数据库之间的数据刷新不是实时的，所以 数据不同步。
数据集市面向某个部门。
数据集市
数据仓库
数据的安全性
本地数据的安全性：数据加密、访问权限设置。 网络访问数据库：网络安全机制、网络传输中的数据 加密和鉴权、防止监听和口令泄漏。
数据处理的并发性 加锁解锁实现同步与互斥 多线程，多进程技术，磁盘的存储优化，合适的索引 提高并发访问的效率。
事务处理的可靠性 原子操作不能分开执行，如果某步骤失败，系统必须 返回并更改操作。
客户呼叫号码
呼叫时长
…
客户话费表 客户标示号
呼叫费率 …
客户咨询表
客户本月总话费
客户标识号
本月通话费
客户咨询内容
本月短信费咨询答案……数据在数据仓库中还 是以数据表的形式 存储，但数据的组 织方式和建模方法 有大的变化
现有业务数据库系统中的数据是分散的。而决策支持 需要集成的数据。
实际上，要对分散的数据进行集成，首先要完成对数 据的清洗和转化。而数据转化会遇到如下问题：
提取仓库 正是因为业务数据库系统中的数据和数据格式存在不 一致的问题。将数据放进数据仓库前要先放进提取仓 库，等待清洗和转换。
数据提取
清洗 转换
提取日志 记录了仓库中数据的来源，数据的转化过程。便于保 证和验证数据的质量
数据管理员 不同于数据库管理员或系统管理员。 在数据导入时负责管理数据质量的专业人员。 查阅提取日志，发现数据提取中出现的错误 有时还要检测源于业务系统的错误。