数据仓库的概念

合集下载

数据仓库的介绍(数据仓库和数据库的区别)

数据仓库的介绍(数据仓库和数据库的区别)

数据仓库的介绍(数据仓库和数据库的区别)数据仓库的介绍⼀、数据仓库的基本概念数据仓库,英⽂名称为Data Warehouse,可简写为DW或DWH。

数据仓库顾名思义,是⼀个很⼤的数据存储集合,出于企业的分析性报告和决策⽀持⽬的⽽创建,对多样的业务数据进⾏筛选与整合。

它为企业提供⼀定的BI(商业智能)能⼒,指导业务流程改进、监视时间、成本、质量以及控制。

数据仓库的输⼊⽅是各种各样的数据源,最终的输出⽤于企业的数据分析、数据挖掘、数据报表等⽅向。

⼆、数据仓库的主要特征数据仓库是⾯向主题的(Subject-Oriented )、集成的(Integrated)、稳定的(Non-Volatile)和时变的(Time-Variant )数据集合,⽤以⽀持管理决策。

1.主题性不同于传统数据库对应于某⼀个或多个项⽬,数据仓库根据使⽤者实际需求,将不同数据源的数据在⼀个较⾼的抽象层次上做整合,所有数据都围绕某⼀主题来组织。

这⾥的主题怎么来理解呢?⽐如对于城市,“天⽓湿度分析”就是⼀个主题,对于淘宝,“⽤户点击⾏为分析”就是⼀个主题。

2.集成性数据仓库中存储的数据是来源于多个数据源的集成,原始数据来⾃不同的数据源,存储⽅式各不相同。

要整合成为最终的数据集合,需要从数据源经过⼀系列抽取、清洗、转换的过程。

3.稳定性数据仓库中保存的数据是⼀系列历史快照,不允许被修改。

⽤户只能通过分析⼯具进⾏查询和分析。

这⾥说明⼀点,数据仓库基本上是不许允许⽤户进⾏修改,删除操作的。

⼤多数的场景是⽤来查询分析数据。

4.时变性数据仓库会定期接收新的集成数据,反应出最新的数据变化。

这和稳定特点并不⽭盾。

三、数据仓库与数据库区别1、数据库数据库是⾯向交易的处理系统,它是针对具体业务在数据库联机的⽇常操作,通常对记录进⾏查询、修改。

⽤户较为关⼼操作的响应时间、数据的安全性、完整性和并发⽀持的⽤户数等问题。

传统的数据库系统作为数据管理的主要⼿段,主要⽤于操作型处理,也被称为联机事务处理 OLTP(On-Line Transaction Processing)。

数据仓库知识点总结

数据仓库知识点总结

数据仓库知识点总结一、数据仓库概念数据仓库是一个用来集成、清洗、存储和管理企业数据的系统,以支持企业决策制定、分析和商业智能服务。

它是一个面向主题的、集成的、时间性的、非易失的数据集合,用于支持企业决策。

数据仓库是企业数据管理的重要组成部分,它与操作型数据处理系统相辅相成。

数据仓库以不同的视角和角度组织数据,帮助企业管理者对企业整体情况进行全面分析和评估。

二、数据仓库的特点1. 面向主题:数据仓库与传统数据库相比,更加侧重对业务应用的支持,主要面向业务应用的主题而不是基本事务数据,以方便企业管理者进行更好的分析和决策。

2. 集成性:数据仓库集成了来自不同数据源的数据,将数据统一管理,并且进行了数据清洗和转换,确保数据的一致性和准确性。

3. 时态性:数据仓库中的数据具有时间性,可以保存历史数据,能够支持分析历史数据的趋势和变化。

4. 非易失性:数据仓库中的数据不会丢失,可以持久保存,并且根据需要定期备份,确保数据的安全和可靠。

5. 大数据量和复杂性:数据仓库通常包含大量的数据,并且数据之间的关系复杂,需要采用专门的数据模型和处理方法来管理和分析。

6. 以支持决策为目标:数据仓库的目标是为企业管理者提供数据支持,帮助他们更好地了解企业的经营状况和趋势,以支持企业决策。

三、数据仓库架构数据仓库架构包括了多个重要组成部分,主要包括数据提取、数据清洗、数据转换、数据加载、元数据管理和数据查询分析等。

1. 数据提取:数据提取是指从各个数据源中将需要的数据提取出来,数据源可以包括企业内部的数据库、文件系统、应用系统等,也可以包括外部数据源,如公共数据等。

2. 数据清洗:数据清洗是指对提取的数据进行清洗和规范,包括去重、校验、纠错、转换等处理,以确保数据的准确性和一致性。

3. 数据转换:数据转换是指对清洗后的数据进行格式转换、相关联和整合,以便于数据仓库的统一管理和分析。

4. 数据加载:数据加载是将转换后的数据载入数据仓库中,通常包括全量加载和增量加载两种方式,以确保数据的及时性和准确性。

数据仓库的设计与构建研究

数据仓库的设计与构建研究

数据仓库的设计与构建研究随着互联网技术的发展,数据量的快速积累和每天不断增长的数据趋势,数据管理变成了日益复杂的任务。

数据仓库便应运而生,成为了企业管理和数据分析的必然选择。

在企业的决策和战略制定中,数据仓库所扮演的角色越来越重要,也越来越值得重视。

一、数据仓库的概念数据仓库是指将企业各种分散的数据源汇集起来,进行预处理、汇总、加工、再分析处理等操作后进行存储的一个系统。

其目的是为了利用大数据环境下的企业数据,将其变成决策支持的信息,从而为企业决策提供可靠的数据支撑。

数据仓库结构主要包含以下几个重要组成部分:1. 数据源数据源是数据仓库的来源,包括操作性数据库、文件系统、网络、接口等等。

通过提取不同来源的数据,并将其汇总到仓库中进行统一存储、管理和维护,实现数据的集成化管理。

2. 数据加工处理数据加工处理是数据仓库中最为复杂的一部分,包括数据清洗、数据挖掘、数据转换、数据整合等等。

这一过程要求数据仓库管理员具有一定的数据处理能力,并且需要考虑多种因素的影响,例如数据量、类型、格式、质量等等。

3. 元数据元数据是指描述数据仓库的数据,包括数据类型、数据来源、数据转换规则、质量检验规则等等。

元数据的作用是对数据进行管理、维护、分发和使用,为数据共享和商业决策提供支持。

4. 多维分析多维分析是指对数据仓库中的数据进行分析、整理和处理,以便更好地展现数据的特征和规律。

多维分析可通过OLAP(联机分析处理)的方式对数据进行分析,再根据分析结果制定企业针对性的业务决策。

二、数据仓库的设计思路数据仓库的设计与构建需要全面考虑企业的业务需求和数据特点,通过规范化、标准化的方式来进行设计,使其能够满足企业需求,并为企业的决策提供支持。

1. 初步分析通过初步分析了解企业的业务场景和数据来源,以及研究需求和决策支持信息的种类、格式等,以便进一步确定数据仓库的设计。

2. 数据建模数据建模是数据仓库的核心,它需要根据不同的业务需求和对数据的认识,对数据进行分类、构建数据模型,以便完成数据转化的目标。

数据仓库基础知识

数据仓库基础知识

数据仓库基础知识1、什么是数据仓库?权威定义:数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策。

1)数据仓库是用于支持决策、面向分析型数据处理;2)对多个异构的数据源有效集成,集成后按照主题进行重组,并包含历史数据,而且存放在数据仓库中的数据一般不再修改。

面对大数据的多样性,在存储和处理这些大数据时,我们就必须要知道两个重要的技术。

分别是:数据仓库技术、Hadoop。

当数据为结构化数据,来自传统的数据源,则采用数据仓库技术来存储和处理这些数据,如下图:2、数据仓库和数据库的区别?从目标、用途、设计来说。

1)数据库是面向事务处理的,数据是由日常的业务产生的,并且是频繁更新的;数据仓库是面向主题的,数据来源多样化,经过一定的规则转换得到的,用于分析和决策;2)数据库一般用来存储当前事务性数据,如交易数据;数据仓库一般存储的是历史数据;3)数据库设计一般符合三范式,有最大的精确度和最小的冗余度,有利于数据的插入;数据仓库设计一般不符合三范式,有利于查询。

3、如何构建数据仓库?数据仓库模型的选择是灵活的,不局限与某种模型方法;数据仓库数据是灵活的,以实际需求场景为导向;数仓设计要兼顾灵活性、可扩展性、要考虑技术可靠性和实现成本。

1)调研:业务调研、需求调研、数据调研2)划分主题域:通过业务调研、需求调研、数据调研最终确定主题域3)构建总线矩阵、维度建模总线矩阵:把总线架构列表形成矩阵形式,行表示业务处理过程,即事实,列表示一致性的维度,在交叉点上打上标记表示该业务处理过程与该维度相关(交叉探查)4)设计数仓分层架构5)模型落地6)数据治理4、什么是数据中台?数据中台是通过数据技术,对海量数据进行采集、计算、存储、加工,同时统一标准和口径。

数据中台把数据统一之后,会形成标准数据,再进行存储,形成大数据资产层,进而为客户提供高效服务。

这些服务和企业的业务有较强关联性,是企业所独有且能复用的,他是企业业务和数据的积淀,其不仅能降低重复建设,减少烟囱式协助的成本,也是差异化竞争的优势所在。

数据仓库的概念和体系结构概述

数据仓库的概念和体系结构概述

数据仓库的概念和体系结构概述数据仓库是指将企业各个部门和业务系统产生的大量数据进行整合、清洗、集成和存储,以满足企业决策分析和业务需求的信息系统。

数据仓库的设计和建设需要考虑到数据的整合、一致性、稳定性、易用性和安全性等方面的需求。

它是一个面向主题的、集成的、相对稳定的、可供企业管理者和决策者使用的数据集合。

1.数据源层:数据仓库的数据源可以来自企业内部的各个部门和业务系统,也可以来自外部的合作伙伴和第三方数据提供商。

数据源的选择和集成是数据仓库建设的关键环节,需要确定数据的提取方式、频率、粒度和格式等。

2.数据提取层:数据提取层负责从各个数据源中提取数据,并进行初步的清洗和转换。

数据提取可以通过批量处理、定时任务或实时流数据处理等方式进行。

在数据提取过程中,需要解决数据一致性、完整性和准确性等问题。

3. 数据集成层:数据集成层是将从各个数据源提取的数据进行整合和合并的地方。

这里的数据整合包括数据清洗、数据转换和数据聚合等操作。

数据集成层可以使用ETL(Extract、Transform、Load)工具进行数据的清洗和转换。

在数据集成层,还需要对数据进行一致性校验和冲突解决。

4.数据存储层:数据存储层是数据仓库最核心的组成部分,它负责存储整合后的数据。

数据存储层可以采用关系数据库、数据仓库等不同的技术来进行存储。

在设计数据存储层时,需要考虑到数据的存储结构、索引方式、数据分区和冗余备份等问题。

6. 数据访问层:数据访问层是用户直接访问数据仓库的接口,它提供了用户对数据仓库的查询、分析和报表生成等功能。

数据访问层可以使用OLAP(Online Analytical Processing)工具、报表工具、数据挖掘工具和BI(Business Intelligence)平台等进行实现。

7.数据安全层:数据安全是数据仓库设计和建设过程中必须要考虑的问题之一、数据安全层负责保护数据仓库中的数据不受未经授权的访问、修改和破坏。

数据库与数据仓库的区别与联系

数据库与数据仓库的区别与联系

数据库与数据仓库的区别与联系在信息时代的背景下,数据处理已经成为各行各业的核心工作。

数据库和数据仓库作为两个常见的数据管理工具,在实践中有着不同的应用场景和特点。

本文将对数据库和数据仓库的区别与联系进行探讨,以帮助读者更好地理解它们的不同之处和相互关系。

一、数据库的概念和特点数据库是指为了满足用户需求而设计、构建和维护的一系列数据集合。

数据库通过数据结构与数据管理系统,实现对数据的存储、查询、更新和删除等基本操作。

其特点主要包括以下几个方面:1. 数据持久化:数据库中的数据可以长期保留,并在需要时进行读取和修改。

2. 数据共享:数据库可以实现多个用户对数据进行共享和协作,提高数据利用效率。

3. 数据一致性:数据库通过事务机制保证数据的一致性和完整性,避免数据冗余和不一致的问题。

4. 高效查询:数据库通过索引等技术快速定位和获取用户需要的数据,提高查询效率。

二、数据仓库的概念和特点数据仓库是指按照时间顺序、面向主题和集成的方式,将多个异构的数据源进行统一整合和管理的大型数据存储库。

它主要用于支持决策分析和业务智能,具有以下特点:1. 面向主题:数据仓库基于企业的业务需求,以主题为中心组织和存储数据,方便用户进行专题分析和决策支持。

2. 集成统一:数据仓库通过数据抽取、转换和加载等技术整合来自不同来源的数据,保证数据的一致性和可信度。

3. 历史存储:数据仓库会长期保留历史数据,以支持用户对过去事务和趋势的分析和判断。

4. 复杂分析:数据仓库提供了复杂的分析功能,如数据切片、切块、钻取等,为决策提供更全面和深入的支持。

三、数据库与数据仓库的区别1. 定义和目的:数据库是为了满足用户的日常业务操作需求而设计的,而数据仓库则是为了支持决策分析和业务智能而构建的。

2. 数据类型和时效性:数据库主要存储操作性数据,如订单、库存等,具有实时性要求;数据仓库存储分析型数据,如销售趋势、市场调研等,具有较长的历史时效性。

数据仓库与数据湖的概念与应用

数据仓库与数据湖的概念与应用

数据仓库与数据湖的概念与应用数据仓库和数据湖是两种不同的数据存储和管理方法,被广泛应用于数据分析和决策支持系统中。

本文将从概念、特点、应用场景等方面详细介绍数据仓库和数据湖的相关知识。

一、数据仓库的概念与特点1.数据仓库的概念数据仓库(Data Warehouse)是指将企业或组织内部各个数据源中的数据进行统一整合、清洗和存储,以支持数据分析和决策制定。

数据仓库一般采用主题导向的数据模型,将各个业务领域的数据集中存储在一个集中的数据库中。

2.数据仓库的特点(1)主题导向:数据仓库将数据按照主题进行组织和存储,以支持用户对某个具体问题或主题进行深入分析。

(2)集成性:数据仓库将来自不同数据源的数据进行整合,消除数据冗余和不一致性,提供一致的数据视图。

(3)稳定性和持久性:数据仓库的数据一般是静态的,不经常更新,以确保数据的稳定性和持久性。

(4)面向分析:数据仓库主要面向决策支持和数据分析,提供丰富多样的分析工具和查询接口,满足用户对数据进行多维度、多角度的分析需求。

二、数据湖的概念与特点1.数据湖的概念数据湖(Data Lake)是指将各种数据源中的原始数据以其原始格式存储在一个或多个存储系统中,提供给用户进行数据分析和探索。

数据湖不需要提前进行数据整理和模式定义,可以容纳各种类型和结构的数据。

2.数据湖的特点(1)原始性:数据湖存储的数据是原始的,未经过清洗和整理,保留了数据源的完整性和灵活性。

(2)灵活性:数据湖可以容纳各种类型和结构的数据,不限制数据的组织方式和格式。

(3)可扩展性:数据湖可以方便地扩展存储容量,支持大数据规模的存储。

(4)即席查询:数据湖提供了即席查询和自助式数据分析的能力,用户可以根据需要直接访问和分析原始数据。

三、数据仓库与数据湖的应用场景1.数据仓库的应用场景(1)企业决策支持:数据仓库为企业决策者提供了可靠、一致、多角度的数据视图,支持企业决策制定和业务优化。

(2)业务分析与报表:数据仓库可以为企业提供各种精细化的业务分析和报表功能,帮助企业监测业务指标和趋势变化。

数据仓库 数据重要等级定义标准

数据仓库 数据重要等级定义标准

数据仓库数据重要等级定义标准在当今信息爆炸的时代,数据的重要性日益凸显。

数据不仅在商业领域中扮演着重要角色,也在科学研究、政府决策和个人生活中扮演着至关重要的角色。

针对数据的重要性,企业和组织需要建立数据仓库,并对数据进行分类和定义重要等级标准,以便更好地管理和利用数据资源。

本文将探讨数据仓库和数据重要等级定义标准的相关内容,帮助读者更好地理解这一主题。

一、数据仓库的基本概念和作用1. 数据仓库的定义数据仓库是一个用来集成和存储企业各类数据的大型数据库,用于支持企业决策制定、业务分析和数据挖掘等应用。

它是企业信息系统中的一个重要组成部分,具有数据集成、数据存储、数据管理和数据分析等功能。

2. 数据仓库的作用数据仓库的建立和运营可以帮助企业从海量数据中获取有价值的信息,支持企业管理层制定决策、优化业务流程和发现潜在商机。

数据仓库还可以提高企业对市场变化的应对能力,促进企业持续创新和发展。

二、数据重要等级定义标准的必要性3. 数据重要等级定义标准的意义随着大数据时代的到来,企业面临的数据越来越多,有些数据对企业的重要性超乎想象。

对数据进行分类和定义重要等级标准,有助于企业更加科学地管理数据资源,区分数据的重要程度,从而更好地利用数据资源,保障数据安全和隐私。

4. 数据重要等级定义标准的应用场景对数据进行重要等级定义标准,可以应用于数据备份和恢复、数据安全保护、数据使用授权等方面。

不同重要等级的数据需要采取不同的管理和保护措施,以确保数据的完整性、保密性和可用性。

三、数据重要等级定义标准的划分标准和应用方法5. 数据重要等级的划分标准对于企业来说,可以根据数据的关联性、价值性、敏感性、时效性等因素来划分数据的重要等级。

一般可以分为核心数据、关键数据、一般数据和临时数据等级别。

6. 数据重要等级的应用方法企业可以制定相应的数据管理策略和措施,针对不同重要等级的数据制定不同的备份和恢复策略、安全存储策略、权限控制策略等,以保障数据的可靠性和安全性。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

一、数据仓库的概念及使用情况介绍1996年, Inmon 在他的专著《Building the Data Warehouse》中, 对数据仓库做了如下定义,即“面向主题的、完整的、非易失的、不同时间的、用于支持决策的数据集合”。

这和传统的OLTP系统有很大的区别,它属在线分析(OLAP)系统的范畴。

面向主题的,指的是它将依据一定的主题,比如经销商、产品、定单等汇总各个OLTP系统的数据。

完整的, 指的是要求对各个系统数据表示进行转换,用统一编码表示,比如,A系统用001表示退货, 而B系统用999表示退货,在数据仓库中必须统一成一个编码。

非易失的, 指的是系统用户只读数据,不得修改数据。

数据仓库完整地记录了各个历史时期的数据,而OLTP系统不会保留全部的历史记录。

OLTP系统也难以支持决策查询,例如从几千万笔记录中获取不同区域的汇总报表。

完整的数据仓库应包括:1.数据源->2.ETL ->3.数据仓库存储->4.OLAP ->5.BI工具现实中可以实现的方案有:1.数据源-> BI工具2.数据源-> OLAP -> BI工具3.数据源-> 数据仓库存储-> BI工具4.数据源-> 数据仓库存储-> OLAP -> BI工具5.数据源-> ETL -> 数据仓库存储-> OLAP -> BI工具可见其中必需的是数据源和前端,其他的部分都可根据具体情况决定取舍。

建立数据仓库的步骤:1) 收集和分析业务需求2) 建立数据模型和数据仓库的物理设计3) 定义数据源4) 选择数据仓库技术和平台5) 从操作型数据库中抽取、净化、和转换数据到数据仓库6) 选择访问和报表工具7) 选择数据库连接软件8) 选择数据分析和数据展示软件9) 更新数据仓库数据仓库设计的主要步骤如下:1. 系统主题的确定这要求系统设计人员多与业务人员沟通, 详细了解业务需求、报表需求,再归纳成数据仓库的主题。

例如, 经销商主题,包含经销商各个历史时期的级别、销售额、信贷、活动区域等。

产品主题,包含每个产品在各个历史时期、各个区域的销售额、促销力度、销售件数、产品类别等。

2. 数据库的逻辑设计在确定主题后, 需要对主题包含的信息进行详细定义,并对事实表和维表的关系详细定义。

比如, 经销商主题中的销售额, 定义为几个字段:NetSales (净销售额),表示扣除了一切优惠折扣,数据类型为Number(12,3); CusSales, 表示产品目录价的销售额, 数据类型为Number(12,3);TitleCode, 表示级别, 如101表示全国一级代理, 202表示省二级代理,数据类型为V arChar2(3)等。

3. 数据库的物理设计物理设计主要考虑数据的存储方式, 使得系统有较好的性能。

对于记录庞大的事实表,可以考虑分区存放。

而记录很少的维表则可以集中存放于某一表空间, 甚至可以让其数据在首次读取时驻留在系统内存中, 以加快数据存取速度。

索引的建立也在物理设计中完成, 索引是一把双刃剑,能提高读取速度, 也会使数据更新速度降低, 并占用大量磁盘空间。

后面的案例分析中将谈到这点。

独立磁盘阵列(RAID)方案的设计与数据更新网络的设计也需在此阶段完成。

合适的RAID方案对最终系统的性能有很大的影响。

4. 源数据获取、清洗、整理及装载设计数据仓库的数据总是来自前台作业系统、业务部门的计划数据、各类广告促销活动及其影响数据,以及购买回来的商业数据库。

这些数据并非照搬过来就行, 而是要按照前面提到的步骤, 以统一定义的格式从各个系统抽取出来, 经过清洗,再经过数据装载和整理程序进入数据仓库。

5. 数据表达及访问设计数据按统一格式、不同的主题存放到数据仓库后,下一步要着手数据表达及访问。

这主要考虑用户对信息的具体需求, 对应采用不同的方式。

比如, 使用Oracle数据库存放数据, 可以用PL/SQL编制报表, 也可以用Developer2000或V isual Basic编制报表, 当然也可以采用一些业界优秀的OLAP产品,例如Cognos公司的Transformer、PowerPlay Enterprise、Oracle 公司的Express等。

6. 不间断的维护方案的设计数据仓库的运作与传统的作业系统有很大区别, 它需要不间断地维护,否则它的性能将越来越差。

例如, 数据访问采用基于代价的优化(CBO),事实表记录实施时有300万笔记录,一个月后记录数为3000万,当时的CBO根本无法得到现在的最优化存取路径。

必须设计一个不间断的维护方案, 让系统保持优良的性能。

7. 编码、测试及实施下面的工作就是编码、测试及实施了。

最终的数据仓库系统结构大致如图1所示,依据不同的情况, 系统结构图也会有些差别。

数据仓库常见名词浅释Data Warehouse本世纪80年代中期,"数据仓库之父"William H.Inmon先生在其《建立数据仓库》一书中定义了数据仓库的概念,随后又给出了更为精确的定义:数据仓库是在企业管理和决策中面向主题的、集成的、与时间相关的、不可修改的数据集合。

与其他数据库应用不同的是,数据仓库更像一种过程,对分布在企业内部各处的业务数据的整合、加工和分析的过程。

而不是一种可以购买的产品。

Data mart数据集市,或者叫做"小数据仓库"。

如果说数据仓库是建立在企业级的数据模型之上的话。

那么数据集市就是企业级数据仓库的一个子集,他主要面向部门级业务,并且只是面向某个特定的主题。

数据集市可以在一定程度上缓解访问数据仓库的瓶颈。

OLAP联机分析处理(OLAP)的概念最早是由关系数据库之父E.F.Codd于1993年提出的。

当时,Codd认为联机事务处理(OLTP)已不能满足终端用户对数据库查询分析的需要,SQL对大数据库进行的简单查询也不能满足用户分析的需求。

用户的决策分析需要对关系数据库进行大量计算才能得到结果,而查询的结果并不能满足决策者提出的需求。

因此Codd提出了多维数据库和多维分析的概念,即OLAP。

Codd提出OLAP的12条准则来描述OLAP系统:准则1 OLAP模型必须提供多维概念视图准则2 透明性准则准则3 存取能力推测准则4 稳定的报表能力准则5 客户/服务器体系结构准则6 维的等同性准则准则7 动态的稀疏矩阵处理准则准则8 多用户支持能力准则准则9 非受限的跨维操作准则10 直观的数据操纵准则11 灵活的报表生成准则12 不受限的维与聚集层次ROLAP基于Codd的12条准则,各个软件开发厂家见仁见智,其中一个流派,认为可以沿用关系型数据库来存储多维数据,于是,基于稀疏矩阵表示方法的星型结构(star schema)就出现了。

后来又演化出雪花结构。

为了与多维数据库相区别,则把基于关系型数据库的OLAP 称为Relational OLAP,简称ROLAP。

代表产品有Informix Metacube、Microsoft SQL Server OLAP Services。

MOLAPArbor Software严格遵照Codd的定义,自行建立了多维数据库,来存放联机分析系统数据,开创了多维数据存储的先河,后来的很多家公司纷纷采用多维数据存储。

被人们称为Muiltdimension OLAP,简称MOLAP,代表产品有Hyperion(原Arbor Software) Essbase、Showcase Strategy等。

Client OLAP相对于Server OLAP而言。

部分分析工具厂家建议把部分数据下载到本地,为用户提供本地的多维分析。

代表产品有Brio Designer,Business Object。

DSS决策支持系统(Decision Support System),相当于基于数据仓库的应用。

决策支持就是在收集所有有关数据和信息,经过加工整理,来为企业决策管理层提供信息,为决策者的决策提供依据。

ETL数据抽取(Extract)、转换(Transform)、清洗(Cleansing)、装载(Load)的过程。

构建数据仓库的重要一环,用户从数据源抽取出所需的数据,经过数据清洗,最终按照预先定义好的数据仓库模型,将数据加载到数据仓库中去。

Ad hoc query即席查询,数据库应用最普遍的一种查询,利用数据仓库技术,可以让用户随时可以面对数据库,获取所希望的数据。

EIS领导信息系统(Executive Information System),指为了满足无法专注于计算机技术的领导人员的信息查询需求,而特意制定的以简单的图形界面访问数据仓库的一种应用。

BPR业务流程重整(Business Process Reengineering),指利用数据仓库技术,发现并纠正企业业务流程中的弊端的一项工作,数据仓库的重要作用之一。

BI商业智能(Business Intelligence),指数据仓库相关技术与应用的通称。

指利用各种智能技术,来提升企业的商业竞争力。

Data Mining数据挖掘,Data Mining是一种决策支持过程,它主要基于AI、机器学习、统计学等技术,高度自动化地分析企业原有的数据,做出归纳性的推理,从中挖掘出潜在的模式,预测客户的行为,帮助企业的决策者调整市场策略,减少风险,做出正确的决策CRM客户关系管理(Customer Relationship Management),数据仓库是以数据库技术为基础但又与传统的数据库应用有着本质区别的新技术,CRM就是基于数据仓库技术的一种新应用。

但是,从商业运作的角度来讲,CRM其实应该算是一个古老的"应用"了。

比如,酒店对客人信息的管理,如果某个客人是某酒店的老主顾,那么该酒店很自然地会知道这位客人的某些习惯和喜好,如是否喜欢靠路边,是否吸烟,是否喜欢大床,喜欢什么样的早餐,等等。

当客人再次光临时,不用客人自己提出来,酒店就会提供客人所喜欢的房间和服务。

这就是一种CRM。

Meta Data元数据,关于数据仓库的数据,指在数据仓库建设过程中所产生的有关数据源定义,目标定义,转换规则等相关的关键数据。

同时元数据还包含关于数据含义的商业信息,所有这些信息都应当妥善保存,并很好地管理。

为数据仓库的发展和使用提供方便。

基本术语维度是与业务相关的观察角度。

粒度是指数据仓库的数据单位中保存数据的细化或综合程度的级别。

对于产品维度来说,粒度就是1,就是产品类型本身。

粒度是用来描述维度的,比如,一个时间维的最细粒度是月,就说明这个时间的最低级的level是月,可能是年-季度-月,或者年-月等。

相关文档
最新文档