Data Warehouse and OLAP

Translation for Reference数据仓库与OLAP数据仓库将数据概化与合并在多维空间。

构造数据仓库涉及数据清理、数据集成和数据转换，可以看作数据挖掘的一个重要预处理步骤。

此外，数据仓库提供联机分析处理（OLAP）工具，用于各种粒度的多维数据交互分析，这样有利于有效的数据概化和数据挖掘。

许多其他数据挖掘功能，如关联、分类、预测和聚集，都可以与OLAP操作集成，以加强多个抽象层上的交互知识挖掘。

因此，数据仓库已经成为数据分析和联机分析处理日趋重要的平台，并将为数据挖掘提供有效的平台。

所以，在知识发现过程中数据仓库与OLAP成为必要的步骤。

什么是数据仓库?数据仓库为商务运作提供体系架构与工具，以便系统地组织、理解和使用其数据进行战略决策。

在当今这个竞争和快速发展的世界，数据仓库系统是一个有价值的工具。

在过去的几年中，许多公司已花费数百万美元，建立企业范围的数据仓库。

许多人感到，随着产业竞争的加剧，数据仓库成了必备的最新营销武器—一种种通过更多地了解客户需求而保住客户的途径。

“那么，确切地讲什么是数据仓库？”。

数据仓库已被多种方式定义，使得很难做出一种严格的定义。

广义地讲，数据仓库是指一个数据库，它与组织机构的操作数据库分别维护。

数据仓库系统允许将各种应用系统集成在一起。

通过为统一的历史数据分析提供可靠的平台来支持信息处理。

根据W．H．Inmon这位数据仓库系统构造方面的领头设计师的说法，“数据仓库是在支持管理部门的决策过程中的一个面向主题的、集成的、时变的、非易失的数据集合”。

这个简短而又全面的定义指出了数据仓库的主要特征。

四个关键词，面向主题的、集成的、时变的、非易失的，将数据仓库与其他数据存储库系统，如关系数据库系统、事务处理系统和文件系统相区别。

让我们进一步看看这些关键特征。

面向主题的（subject－oriented）：数据仓库围绕某些主题，如顾客、供应商、产品和销售，进行组织。

数据仓库关注决策者的数据建模与分析，而不是集中于组织机构的日常操作和事务处理。

因此，数据仓库排除对于决策支持工程无用的数据，特定地提供围绕特别主题的简明视图。

集成的（integrated）：构造数据仓库通常是将多个异构数据源，如关系数据库、平面文件和联机事务处理记录，集成在一起。

使用数据清理和数据集成技术，确保命名约定、编码结构、属性度量等的一致性。

时变的（time－variant）：数据存储从历史的角度（例如过去5－10年）提供信息。

数据仓库中的关键结构隐式或显式地包含时间元素。

非易失的（nonvolatile）：数据仓库总是物理地分离存放数据，这些数据由操作环境下的应用数据转换而来。

由于这种分离，数据仓库不需要事务处理、恢复和并发控制机制。

通常它只需要两种数据访问：数据的初始化加载和数据访问。

概言之，数据仓库是一种语义上一致的数据存储，它作为决策支持数据模型的物理实现，并存放企业战略决策所需信息。

数据仓库也常常被看作一种体系结构，通过将异构数据源中的数据集成在一起而构造，支持结构化的和专门的查询、分析报告和决策制定。

根据上面的讨论，我们把建立数据仓库看作构造和使用数据仓库的过程。

数据仓库的构造需要数据集成、数据清理和数据合并。

数据仓库的使用常常需要一些决策支持技术。

这使得“知识工人”（例如经理、分析人员和高管们）能够使用数据仓库快捷、方便地得到数据的总体视图，根据数据仓库中的信息做出合理的决策。

有些作者只使用术语“数据仓储”表示构造数据仓库的过程，而用术语“仓库DBMS”被用于表示管理和使用数据仓库。

“组织机构如何使用数据仓库中的信息？”许多组织机构使用这些信息支持商务决策活动，包括：⑴增加顾客关注，包括分析顾客购买模式（如购买喜好、购买时间、预算周期、消费欲望）；⑵根据季度、年、地区的营销情况比较，重新布置产品和管理产品组合，以便调整生产策略；⑶分析运营和查找利润源；（4）管理顾客关系，进行环境优化，管理公司资产价值。

从异构数据库集成的角度看，数据仓库也是十分有用的。

许多组织机构特地收集了多种多样数据，维护着源于复合、异构、自治、分布信息的大型数据库。

集成这些数据，并提供简便、有效的访问是非常希望的，并且也是一种挑战。

数据库业界和研究界都正朝着实现这一目标竭尽全力。

传统的异种数据库集成的数据库做方法是在多个异种数据库上建立一个包装程序和一个集成程序（或中介程序）。

当一个查询提交客户站点，首先使用元数据字典对查询进行转换，将它转换成相应个别异构站点上的查询。

然后，将这些查询映射和发送到局部查询处理器。

由不同站点返回的结果被集成为全局应答集。

这种查询驱动的（query－driven）方法需要复杂的信息过滤和集成处理，并且与局部数据源上的处理竞争资源。

对于频繁的查询，这种方法是低效的、非常昂贵的，特别是对于需要聚集操作的查询。

对于异构数据库集成的传统方法，数据仓库提供了一个有趣的替代方案。

数据仓储使用更新驱动的（update-driven）方法，而不是查询驱动的方法。

这种方法将来自多个异构源的信息预先集成，并存储在数据仓库中，供直接查询和分析。

与联机事务处理数据库不同，数据仓库不包含最近的信息。

然而，数据仓库为集成的异构数据库系统带来了高性能，因为数据被拷贝、预处理、集成、注释、汇总，并重新组织到一个语义数据存储中。

而且，在数据仓库中进行的查询处理并不影响在局部源上进行的处理。

此外，数据仓库存储并集成历史信息，支持复杂的多维查询。

这样，数据仓储在产业界已非常流行。

从数据仓储到数据挖掘数据仓库和数据集市已在广泛的应用领域使用。

几乎每个行业的商务管理人员都使用数据仓库和数据集市中的数据，进行数据分析和做出战略决策。

在许多公司，数据仓库用作企业管理的计划-执行-评估“闭环”反馈系统的一个主要部分。

数据仓库广泛用在银行、金融服务、消费物品和零售批发部门，以及诸如基于产品需求的控制生产。

通常，数据仓库使用时间越长，它进化得越好。

该进化发生多个阶段。

首先，数据仓库主要用于生成报告和回答预先定义的查询。

逐渐地，它用于分析汇总的和明细的数据，结果以报告和图表形式提供。

接着，数据仓库用于战略目的，进行多维分析和复杂的切片和切块操作。

最后，数据仓库可能用于知识发现，并使用数据挖掘工具进行战略决策。

由此而论，数据仓储工具可以分类为存取与检索工具，数据库报表工具，数据分析工具和数据挖掘工具。

商业用户需要一种手段（通过元数据）来了解数据仓库里有什么，如何访问数据仓库的内容，如何使用数据分析工具检查这些内容和如何表示分析结果。

有三种数据仓库应用：信息处理、分析处理和数据挖掘。

信息处理支持查询和基本的统计分析，并使用交叉表、表、图表或图进行报告。

数据仓库信息处理的当前趋势是构造低成本的基于Web的存取工具，然后与Web浏览器集成在一起。

分析处理支持基本的OLAP操作，包括切片与切块、下钻、上卷和转轴。

它通常以汇总的和明细的形式操作历史数据。

与信息处理相比，联机分析处理的主要优势是数据仓库的多维数据分析。

数据挖掘支持知识发现，通过找出隐藏的模式和关联，构造分析模型，进行分类和预测，并用可视化工具表示挖掘结果。

“数据挖掘与信息处理和联机分析的关系是什么？”基于查询信息处理可以发现有用的信息。

然而，这种查询的应答反映直接存放在数据库中的信息，或通过聚集函数可计算的信息。

它们不反映复杂的模式，或隐藏在数据库中的规则。

因此，信息处理不是数据挖掘。

联机分析处理向数据挖掘迈近了一步，因为它可以由用户选定的数据仓库子集得到在多粒度上汇总的信息。

OLAP和数据挖掘的功能可以视为不交的：0LAP是数据汇总／聚集工具，它帮助简化数据分析；而数据挖掘自动发现隐藏在大量数据中的隐含模式和有趣知识。

OLAP工具的目标是简化和支持交互数据分析，而数据挖掘的目标是尽可能使过程自动化，尽管允许用户指导这一过程。

在这种意义下，数据挖掘比传统的联机分析处理前进了一步。

另一种更广泛的观点可能被接受，以这种观点，数据挖掘包含数据描述和数据建模。

由于OLAP系统可以提供数据仓库中数据的一般描述，OLAP的功能基本上是用户指导的汇总和比较（通过钻取，旋转，切片，切块和其他操作）。

尽管有限，但这些都是数据挖掘功能。

然而，根据这种观点，数据挖掘涵盖的范围要比简单的0LAP操作更宽，因为它不仅执行数据汇总和比较，而且也执行关联、分类、预测、聚类、时间序列分析和其他数据分析任务。

数据挖掘不限于分析数据仓库中的数据。

它可以分析比数据仓库提供的汇总数据粒度更细的数据。

它也可以分析事务的、空间的、文本的和多媒体数据，这些数据很难用现有的多维数据库技术建模。

在这种意义下，就数据挖掘功能和处理数据的复杂性来讲，数据挖掘涵盖的范围要比OLAP更宽。

由于数据挖掘涉及的分析比OLAP更自动化、更深人，数据挖掘应有更广的应用范围。

数据挖掘可以帮助商务经理们者找到更合适的客户，也能获得决定性的对商务洞察，帮助推动市场份额和增加利润。

此外，数据挖掘能够帮助经理们了解顾客的群体特点，并据此制定最佳的价格策略；根据顾客购买模式导出的实际商品项目组、而不是直觉来调整商品捆绑销售，在降低促销费用的同时，提高总体促销的纯效益。

从联机分析处理到联机分析挖掘在数据挖掘领域，一些实质性的研究成果已被用于各种平台上的数据挖掘，这些平台包括事务数据库、关系数据库、空间数据库、文本数据库、时间序列数据库、普通文件、数据仓库等。

联机分析挖掘（0LAM，也称OLAP挖掘）将联机分析处理与数据挖掘和在多维数据库中发现知识集成在一起。

在数据挖掘系统的许多不同范例和体系结构中，OLAM由于以下原因而特别重要：数据仓库中数据的高质量：大部分数据挖掘工具需要在集成的、一致的和清理过的数据上运行，这需要昂贵的数据清理、数据变换和数据集成作为预处理步骤。

经过这些预处理而构造的数据仓库不仅用作OLAP而且也用作数据挖掘的高质量的有价值数据源。

同时也注意到，数据挖掘也可以作为数据清理和集成的有价值的工具。

围绕数据仓库的有价值的信息处理基础设施：综合的数据处理和数据分析基础设施已经或将要围绕数据仓库而系统地建立，这包括存取、集成、合并、多个异构数据库的转换、ODBC ／OLE DB连接、Web访问和服务工具以及报表和OLAP分析工具。

谨慎的做法是尽量利用可用的基础设施，而不是一切从头做起。

基于OLAP的探索性数据分析：有效的数据挖掘需要探索性数据分析。

用户常常想浏览数据库，选择相关数据，以不同的粒度分析它们，并且以不同的形式表示知识／结果。

联机分析数据挖掘为在不同的数据子集和不同的抽象层上进行数据挖掘提供工具，在数据立方体和一些挖掘的中间结果数据上进行钻取、旋转、过滤、切块、切片。

这些与数据／知识可视化工具一起，将大大增强探索性数据挖掘的能力和适应性。