数据仓库与OLAP-数据仓库基本概念
数据仓库、O L A P和数据挖掘的比较分析
数据挖掘：则应用不同的算法，向用户揭示数据间的规律性，从而辅助商业决策。
一、数据仓库、OLAP 和数据挖掘的 关系和区别分析
2. OLAP 和数据挖掘的区别与联系
OLAP:基于用户假设驱动，通过OLAP 证实或推翻这些假设，是演绎推理过程；限于 结构化数据，侧重与用户交互、快速响应及提供多维视图。 数据挖掘:通过归纳方式，海量数据中主动找寻模型，自动发掘数据中价值信息。主 动权交给挖掘工具，能分析文本、空间和多媒体非结构化数据。 OLAP与数据挖掘互补：OLAP 分析结果为数据挖掘提供分析依据；数据挖掘可以拓 展OLAP 分析深度，发掘更复杂、细致信息。
数据仓库、O L A P 和数据挖掘的比较分析
目录
一、数据仓库、OLAP 和数据挖掘的关系 和区别分析 二、数据仓库、OLAP 和数据挖掘在银行 业中的应用与比较
一、数据仓库、OLAP 和数据挖掘的 关系和区别分析
1.数据仓库、OLAP 和数据挖掘的关系
数据仓库：将来自于各种数据源的数据，根据不同的 主题进行存储，并对原始数据 进行抽取、转换和加载等一系列筛选和清理工作。 OLAP ：则将数据通过多维视角和多种层次向用户进行多方式的呈现。
二、数据仓库、OLAP 和数据挖掘在 银行业中的应用与比较
2.OLAP的展现
OLAP 技术提供了对数据仓库中的数据进行复杂显示和分析的方法。 银行管理人员或业务人员可以对数据仓库中的数据进行旋转、切片、钻取等分 析操作，并通过专业图表展现给用户，获取直观的分析结果，得到或验证结论与假
设。
二、数据仓库、OLAP 和数据挖掘在 银行业中的应用与比较
未来，DW(数据仓库) ＋OLAP（联机分析处理）＋ DM（数据挖掘）
-->DSS（决策支持系统）这种模式一定会因其融合三者的特性而产生的强 大辅助决策功能得到广泛应用，成为未来金融信息化发展的焦点所在。
数据仓库与OLAP技术
数据挖掘
数据集市类型
按照数据获取来源： 独立型：直接从操作型环境获取数据; 从属型：从企业级数据仓库获取数据;
数据挖掘
建设途径
从 全局数据仓库 到 数据集市 从 数据集市 到 全局数据仓库
数据挖掘
数据粒度
粒度是指数据仓库的数据单位中保存数据的细 化或综合程度的级别;
粒度影响存放在数据仓库中的数据量的大小;同 时影响数据仓库所能回答查询问题的细节程度; 是设计数据仓库的一个最重要方面;
粒度可以分为两种形式： 按时问段综合数据的粒度 按采样率高低划分的样本数据库;
数据挖掘
粒度的一个例子
小的时间段粒度统计而成的数据;其数据量较细节及 数据少得多 当前细节级：存储最近时期的业务数据;反映当前业 务的情况;数据量大;是数据仓库用户最感兴趣的部 分 早期细节级：存储过去的详细数据;反映真实的历史 情况;这类数据随着时间增加;数据量很大;使用频率 低;一般存储在转换介质如磁带中
数据挖掘
2 3 数据组织结构和形式
分割问题的焦点不是该不该分割而是如何去分 割的问题;
数据挖掘
数据分割
一般在进行实际的分析处理时;对于存在某种相关性的 数据集合的分析是最常见的;如对某时间或某时段的数 据的分析;对某一地区的数据的分析；对特定业务领域 的数据的分析等;将其有这种相关性的数据组织在一起; 就会提高效率;
数据挖掘
数据分割的好处
数据挖掘
面向主题
主题Subject：特定的数据分析领域与目标; 面向主题：为特定的数据分析领域提供数据支持; 主题是一个抽象的概念;是在较高层次上将企业信息系
BI、数据仓库、OLTP、OLAP
BI、数据仓库、OLTP、OLAP⼀、BI 商业智能（Business Intelligence，简称：BI），⼜称商业智慧或商务智能，指⽤现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进⾏数据分析以实现商业价值。
商业智能的概念在1996年最早由加特纳集团（Gartner Group）提出，加特纳集团将商业智能定义为：商业智能描述了⼀系列的概念和⽅法，通过应⽤基于事实的⽀持系统来辅助商业决策的制定。
商业智能技术提供使企业迅速分析数据的技术和⽅法，包括收集、管理和分析数据，将这些数据转化为有⽤的信息，然后分发到企业各处。
⼆、数据仓库 Data Warehouse，可简写为DW或DWH。
数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据⽀持的战略集合。
它是单个数据存储，出于分析性报告和决策⽀持⽬的⽽创建。
为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。
数据仓库是⾯向主题的；操作型数据库的数据组织⾯向事务处理任务，⽽数据仓库中的数据是按照⼀定的主题域进⾏组织。
主题是指⽤户使⽤数据仓库进⾏决策时所关⼼的重点⽅⾯，⼀个主题通常与多个操作型信息系统相关。
数据仓库是集成的，数据仓库的数据有来⾃于分散的操作型数据，将所需数据从原来的数据中抽取出来，进⾏加⼯与集成，统⼀与综合之后才能进⼊数据仓库 概括来说，数据仓库系统是指具有综合企业数据的能⼒，能够对⼤量企业数据进⾏快速和准确分析，辅助做出更好的商业决策的系统。
它本⾝包括三部分内容：1、数据层：实现对企业操作数据的抽取、转换、清洗和汇总，形成信息数据，并存储在企业级的中⼼信息数据库中。
2、应⽤层：通过联机分析处理，甚⾄是数据挖掘等应⽤处理，实现对信息数据的分析。
3、表现层：通过前台分析⼯具，将查询报表、统计分析、多维联机分析和数据发掘的结论展现在⽤户⾯前。
从应⽤⾓度来说，数据仓库系统除了联机分析处理外，还可以采⽤传统的报表，或者采⽤数理统计和⼈⼯智能等数据挖掘⼿段，涵盖的范围更⼴；就应⽤范围⽽⾔，联机分析处理往往根据⽤户分析的主题进⾏应⽤分割，例如：销售分析、市场推⼴分析、客户利润率分析等等，每⼀个分析的主题形成⼀个OLAP应⽤，⽽所有的OLAP应⽤实际上只是数据仓库系统的⼀部分。
Chapter 3. 数据仓库与OLAP技术概述-20110922
— 第3章 —
数据仓库与OLAP概述
1
第3章 数据仓库与OLAP技术概述
什么是数据仓库? 多维数据模型 数据仓库系统结构 数据仓库实现 从数据仓库到数据挖掘
2
ห้องสมุดไป่ตู้
数据仓库的发展
IBM: 在其 在其DB2UDB发布一年后的 发布一年后的1998年9月发布 月发布5.2 发布一年后的 年 月发布 并于1998年12月推向中国市场，除了用于 月推向中国市场， 版，并于 年 月推向中国市场 除了用于OLAP 联机分析处理）的后台服务器DB2 OLAP Server外， （联机分析处理）的后台服务器 外 IBM还提供了一系列相关的产品，包括前端工具，形成 还提供了一系列相关的产品， 还提供了一系列相关的产品 包括前端工具， 一整套解决方案。 一整套解决方案。 Informix公司 在其动态服务器 公司: 在其动态服务器IDS（Informix 公司 （ Dynamic Server）中提供一系列相关选件，如高级决 ）中提供一系列相关选件， 策支持选件（ 策支持选件（Advanced Decision Support Option）、 ）、OLAP选件（MetaCube ROLAP 选件（ ）、 选件 Option）、扩展并行选件（Extended Parallel ）、扩展并行选件 ）、扩展并行选件（ Option）等，这种体系结构严谨、管理方便、索引机 这种体系结构严谨、管理方便、 ） 制完善，并行处理的效率更高， 制完善，并行处理的效率更高，其中数据仓库和数据库 查询的SQL语句的一致性使得用户开发更加简便。 语句的一致性使得用户开发更加简便。 查询的 语句的一致性使得用户开发更加简便
分析型处理
分析型处理：用于管理人员的决策分析，例如 分析型处理：用于管理人员的决策分析，例如DSS、 、 EIS、和多维分析等。它帮助决策者分析数据以察看趋 、和多维分析等。 判断问题。分析型处理经常要访问大量的历史数据， 向、判断问题。分析型处理经常要访问大量的历史数据， 支持复杂的查询。在分析型处理中， 支持复杂的查询。在分析型处理中，并不是对从事务型 中得到的细节数据进行分析。 处理环境 中得到的细节数据进行分析。细节数据量太 会严重影响分析的效率， 大，会严重影响分析的效率，而且太多的细节数据不利 于分析人员将注意力集中于有用的信息。 于分析人员将注意力集中于有用的信息。分析型处理过 程中经常用到外部数据， 程中经常用到外部数据，这部分数据不是由事务型处理 系统产生的，而是来自于其他外部数据源。 系统产生的，而是来自于其他外部数据源。
数据仓库技术的名词解释
数据仓库技术的名词解释随着数据的快速增长和业务需求的不断变化，数据仓库技术在企业管理和决策中变得愈发重要。
本文将对数据仓库技术中涉及的一些关键名词进行解释，帮助读者更好地理解和应用这一技术。
一、数据仓库数据仓库(Data Warehouse)是指将企业内部各个业务系统产生的数据进行抽取、转换和加载，经过集成、整理和归档后存放在一个统一的数据存储系统中。
通过对数据的汇总和整合，数据仓库提供了一个面向决策和分析的统一数据源，为企业提供战略决策和业务分析等方面的支持。
二、ETLETL(Extraction, Transformation and Loading)是指数据仓库中的数据抽取、转换和加载过程。
数据仓库需要从各个业务系统中抽取数据，进行清洗、转换和整理，然后加载到数据仓库中。
这一过程确保了数据的一致性和可靠性，使得数据可以被有效地用于决策分析和报表生成等业务场景中。
三、维度建模维度建模(Dimensional Modeling)是一种对数据进行建模的方法论，用于构建数据仓库中的维度模型(Dimensional Model)。
维度模型基于维度表和事实表的关系，通过定义维度和度量，将事实数据与上下文信息进行关联，提供了一种直观和灵活的数据分析方式。
维度建模常用的方法有星型模型和雪花模型。
四、星型模型星型模型(Star Schema)是一种常用的维度模型，以一个中心的事实表和多个维度表构成。
中心的事实表记录了业务过程中的事实，如销售额、订购数量等，而维度表则提供了和事实表相关的上下文信息，如产品、时间、地域等。
星型模型的简单结构和高性能查询使得其在数据仓库中被广泛采用。
五、雪花模型雪花模型(Snowflake Schema)是星型模型的一种扩展，通过将维度表进一步细化为多个层级的表，实现了对维度关系的更精细管理。
雪花模型的优势在于可以减少数据的冗余性和提升查询性能，但同时也增加了表的数量和复杂度。
在实际应用中，根据业务需求和系统性能，选择适合的维度模型是至关重要的。
数据仓库 的名词解释
数据仓库的名词解释数据仓库的名词解释数据仓库（Data Warehouse）是指一个用于存储、整合和管理企业各个部门产生的大规模数据的集中式数据库系统。
它主要用于支持企业决策制定、战略规划以及业务分析。
数据仓库的设计和构建需要考虑数据的采集、转换、加载以及存储等多个方面，以确保数据的准确性和可用性。
一、数据仓库的基本概念数据仓库是一个面向主题的、集成的、时间一致的、非易失的数据集合，用于支持企业决策制定和业务分析。
它将来自不同数据源的数据进行抽取、转换和加载，形成一个统一的、易于查询和分析的数据源。
数据仓库的特点：1. 面向主题：数据仓库以主题为中心，将数据按照主题进行组织和存储，以满足不同部门和用户的信息需求。
2. 集成：数据仓库将来自不同数据源的数据进行整合，消除了数据冗余和不一致性。
3. 时间一致性：数据仓库中的数据是按照一致的时间标准进行存储和管理的，以支持历史数据分析和趋势预测。
4. 非易失性：数据仓库中的数据一旦存储，不会轻易被删除或修改，以确保数据的可追溯性和可靠性。
二、数据仓库的架构和组成部分数据仓库的架构通常包括数据采集、数据转换、数据加载、数据存储和数据查询等几个关键组成部分。
1. 数据采集：数据仓库的数据采集涉及到从各个数据源中提取和抽取数据的过程。
这些数据源可以是企业内部的关系型数据库、操作型数据源，也可以是外部的数据源，如Web数据、日志数据等。
数据采集可以通过ETL（Extract、Transform、Load）工具进行，在此过程中可以对数据进行清洗、转换和加工。
2. 数据转换：数据采集后，需要进行数据转换的操作，将采集到的数据进行整合和规范化。
这包括数据清洗、数据集成、数据变换等一系列处理，以确保数据的一致性和质量。
3. 数据加载：数据加载是将经过转换的数据加载到数据仓库中的过程。
数据加载可以是全量加载，也可以是增量加载。
在加载过程中，还可以对数据进行校验和验证，以确保数据的准确性和完整性。
数据仓库和OLAP技术在高校教学管理系统中的应用研究
求 ，因此提 出了多维数据库和多维分析的
概念，即 Ｏ ＡＰ，并将 Ｏ ＡＰ定义为针对 Ｌ Ｌ 特定问题的联机数据访问和分析。通过对 信息 （ 这些信息 已经从原始的数据进行 了 转换 ，以反映用户所能理解的企业的真实 的 “ ” 维 ）的很 多种可能的观 察形式 进行
１数据仓库的概念
随着计算机技术的飞速发展和企业界 不断提 出新的需 求 ，数据仓库技术应运而
生。传统的数据 库技 术是 以单 一的数据 资 源 ，即数据库为中心 ， 进行事务处理、批处
ｗ ｒ ｈ ｕｅ ｔ ａ ｈ ｇ ｍ ｎ ｇ ｍ ｎ ｓ ｇ Ｌ Ｐ ａ ｅ ｏ ｓ ， ｅ ｃ ｉ ａ ａ ｅ ｅ ｔ ｕ ｉ Ｏ Ａ ｎ ｎ
希 望对 同一教师 同一门专业课不同班 级的 成绩 分析 。 通过对 以上的需求进行归纳 ，发现分 析的角度可以分为教师 、课程 、学期和班
级四大类 ，由此 归纳总结出了该数据 仓库 模型中涉及的主题实际上只有一 个——成
绩 。 根据需求分析对数据库中的数据进行
会使高校的教学管理工作迈上一个新的 台
ＯＮ Ｎｏ ２ ０ ｖ． ０１
Ｄ Ｉ１ ．９ ９ ｊｉ ｎ１０ － ９ ２ ２１ ．２０ ４ Ｏ ０ ３６ ／ ． ｓ ．０ １ ８ ７ ．００ ２ ．５ ｓ
基金 项 目：安徽 三 联学 院 院级 项 目 （ ０１ ０ ２ ０ ０ ９）
数据仓库和 Ｏ Ａ Ｌ Ｐ技术
在 高校教学 管理 系统 中的应用研究
Ａａ ｔａ Ｐｏｅ ｉ ） 术 进 行 多维 分析 ， ｎｌ ｉｌ ｒ ｓｎ 技 ｙ ｃ ｃ ｓｇ 找
过程 ，是我们 目前有待解决的 问题 。应用
数据仓库技术 ，能够集成现有的各教学业 务 系统的数据 ，建立适合教学管理 的数据
数据仓库和LOAP应用技术
数据仓库和LOAP应用技术传统数据库以及OLTP(On-Line Transaction Processing联机事务处理)在日常的管理事务处理中获得了巨大的成功，但是对管理人员的决策分析要求却无法满足。
因为，管理人员常常希望能够通过对组织中的大量数据进行分析，了解业务的发展趋势。
而传统数据库只保留了当前的业务处理信息，缺乏决策分析所需要的大量的历史信息。
为满足管理人员的决策分析需要，就需要在数据库的基础上产生适应决策分析的数据环境——数据仓库(Data Warehouse)。
数据仓库系统是一个信息提供平台，是决策支持系统和联机分析应用数据源的结构化数据环境。
数据仓库研究和解决从数据库中获取信息的问题。
从功能结构化分，数据仓库系统至少应该包含数据获取（Data Acquisition）、数据存储（Data Storage）、数据访问（Data Access）三个关键部分。
其体系结构如下：业务处理系统即是数据库去实现的即时记录的功能，在数据准备区进行ETF处理，数据经过抽取、转换之后加载到数据仓库中，因此也说数据仓库是利用的已经存在的历史记录去整合，是利用原有数据分析下一步行动的决策，是有风险的。
分析完主题和数据元后建立数据模型（概念模型、逻辑模型、物理模型）并形成事实表和纬度表，然后通过粒度分析将历史记录先抽取整合，然后再根据决策者可能用到的数据集合分解成若干记录，以备不同决策者使用；再利用OLAP工具技术进行数据的分析导出。
当然，这些都在了解了管理者即客户的需求之后进行的，或者是由企业的管理者自己进行的技术应用或分析。
模型设计的过程如下：数据仓库是管理决策分析的基础，要有效地利用数据仓库的信息资源，必须要有强大的工具对数据仓库的信息进行分析决策。
On-line Analytical Processing(在线分析处理或联机分析处理)就是一个应用广泛的数据仓库使用技术。
它可以根据分析人员的要求，迅速灵活地对当量的数据进行复杂的查询处理，并以直观的容易理解的形式将查询结果提供给各种决策人员，使他们能够迅速准确地掌握企业的运营情况，了解市场的需求。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
8
1.1.1 蜘蛛网问题（6）
外部市场信息A 外部信息的不同 外部市场信息B 外部市场信息C
市场部
分析结果1：项目I 分析程序1 市场前பைடு நூலகம்很好
星期日晚 抽取数据的时间不同 企业级 数据库 分析结果2：项目I 计划部 抽取数据的内容不同 分析程序2 没有市场前景
分析程序和分析内容不同
星期三下午
图1.2 两个分析结果的差异
9
1.1.1 蜘蛛网问题（7）
2. 数据处理的效率很低 数据分析的结果缺乏可靠性并不是蜘蛛网问题中唯一的主要 问题。在一个大型企业中，不同级别的数据库可能使用不同类型的 数据库系统，对于拥有巨型数据量的企业级数据库可能使用 IBM DB2，而对于部门级和个人级的中小型数据库可能使用SQL Server。 各种数据库的开发工具和开发环境不同，当需要在整个企业范围内 查询数据时，数据处理的低效率将是不容忽视的。 如果一个大型企业的决策领导需要一份关于公司整体运营情 况的报表，通常需要动用大量的人力和物力才能达到。首先，定位 报表需要的数据，即确定报表涉及的内容分布在哪个数据库的哪个 位置，然后调动各个部门的程序员 /分析员对应用进行分析、设计 和编码。
4
1.1.1 蜘蛛网问题（2）
在部门级数据的基础上可能还要被继续执行抽取程序， 以建立个人级的数据库。比如，专门负责制作公司财务报表 的数据人员，常常需要从财务部门的数据库系统中抽取数据。 又如，部门经理可能经常抽取常用的数据到本地，有针对性 的建立个人级数据库就显得尤为重要。 随着数据的逐层抽取，很可能最终导致系统内的数据间 形成了错综复杂的网状结构，如图1.1所示，人们形象地称为 “蜘蛛网”。一个大型的公司每天进行上万次的数据抽取很 普遍。这种演变不是人为制造的，而是自然演变的结果。企 业的规模越大,“蜘蛛网”问题就越严重。
1. 数据分析的结果缺乏可靠性 图1.2中展示了某企业的市场部和计划部对项目I是否 具有市场前景的分析过程和结果。市场部认为“项目I的 市场前景很好”,而计划部却得到截然相反的结果----“项目 I没有市场前景”。作为企业的最终决策者，将如何根据 这样的结论进行决策呢？ 为什么分析同一个企业数据库中的数据，却得到截然 相反的结论呢？ 首先，两部门可能抽取数据的内容不同。比如，市场部 抽取的是项目I在大客户中的应用情况，而计划部抽取的 是项目I在普通客户中的应用情况。
7
1.1.1 蜘蛛网问题（5）
其次，可能两部门抽取数据的时间不同。如市场部在 星期日晚上提取分析所需的数据，而计划部在星期三下午 就抽取了数据。有任何理由相信对某一天抽取的数据样本 进行分析与对另一天抽取的数据样本进行的分析可能相同 吗？当然不能！企业内的数据总是在变的。 再次，引用外部信息的不同。分析项目的发展趋势常 常需要引入企业外部的信息，比如报刊信息、国家的政策 等。市场部门引用的外部信息来源可能与计划部门不同， 而外部信息自然是仁者见仁，智者见智，这也可能是导致 最终分析结果不同的原因。 最后，分析程序的差异。市场部门使用的分析程序可 能与计划部门不同，分析的内容和指标也可能不同。
5
1.1.1 蜘蛛网问题（3）
个人级数据库 抽取 程序 部门级数据库 抽取 程序 部门级数据库 抽取 程序 个人级数据库 部门级数据库 抽取 程序 部门级数据库 抽取 程序 部门级数据库 部门级数据库 个人级数据库 抽取 程序 个人级数据库 个人级数据库 抽取 程序 个人级数据库 个人级数据库 抽取 程序 个人级数据库
个人级数据库
抽取 程序
个人级数据库
抽取 程序
企业级数据库
部门级数据库 抽取 程序
抽取 程序
图1.1
企业中存在的“蜘蛛网”现象
网上的任意两个节点的数据可能归根结底是从一个原始 库中抽取出来的，但其数据没有统一的时间基准，因而错综 复杂的抽取与访问将产生很多问题，主要有以下几个方面。
6
1.1.1 蜘蛛网问题（4）
10
1.1.1 蜘蛛网问题（8）
由于数据分散在各个数据库中，因此需要编写的程序很 多。由于企业中使用的数据库类型很多，因此可能需要使用多 种技术来实现。可见，面对企业中存在的蜘蛛网现象，为产生 一份关于公司整体运营情况的报表，将动用大量的人力、物力 和时间才能完成。 如果低效率的过程是一次性的，那么为生成报表花费大量 的资源也是可取的。换句话说，如果生成第一份企业报表需要 大量资源，生成所有后继报表可以建立在第一份企业报表基础 之上，那么不妨为生成第一份报表付出一些代价。但是事实并 非如此。 除非事先知道未来的企业报表需求，并且除非这些需求影 响到第一张报表的建造，每个新的企业报表总是要花费同前面 差不多的代价。 因此，数据处理的低效率是蜘蛛网问题所面临的又一个问 题。
3
1.1.1 蜘蛛网问题（1）
在市场经济的激烈竞争中，信息对于企业的生存和发 展起着至关重要的作用。企业对信息的需求是多方面的， 为了避免企业中各部门或各用户间的冲突和简化用户的数 据视图，一种称作“抽取程序”的方法被广泛地应用。 比如，市场部人员通常只关心企业的销售、市场策划 方面的信息，而不注重企业的研发、生产等其他环节。因 此，将销售、市场策划方面的信息抽取出来单独建立部门 级的数据库很有必要，这样可以提高数据的访问效率。
数据仓库与OLAP
第一章 数据仓库基本概念
1
第一章 目录
1.1
1.2
1.3 1.4 1.5 1.6
从数据库到数据仓库 什么是数据仓库 数据仓库与传统数据库的比较 数据仓库的系统结构 数据仓库的数据组织 本章小结
2
1.1 从数据库到数据仓库
传 统 数 据 库 以 及 OLTP （ On-Line Transaction Processing 联机事务处理）在日常的管理事务处理中获得 了巨大的成功，但是对管理人员的决策分析要求却无法满 足。因为，管理人员常常希望能够通过对组织中的大量数 据进行分析，了解业务的发展趋势。而传统数据库只保留 了当前的业务处理信息，缺乏决策分析所需要的大量的历 史信息。为满足管理人员的决策分析需要，就需要在数据 库的基础上产生适应决策分析的数据环境 —— 数据仓库 （Data Warehose）。