数据仓库的基本特征
数据仓库、OLAP与数据挖掘关系概述
数据仓库、OLAP与数据挖掘关系概述 摘要：数据仓库、OLAP与数据挖掘是当今的技术热点，数据仓库是一种解决数据使用的高效技术，OLAP则将数据通过多维视角和多种层次向用户进行多方式的呈现，数据挖掘为之提供了更好的决策支持和服务，同时促进了数据仓库技术的发展，本文简单介绍了这三者的概念和应用。 关键词：数据仓库 OLAP 数据挖掘
一、数据仓库 数据仓库是一种资讯系统的资料储存理论，此理论强调利用某些特殊资料储存方式，让所包含的资料，特别有利于分析处理，以产生有价值的资讯并依此作决策。利用数据仓库方式所存放的资料，具有一但存入，便不随时间而更动的特性，同时存入的资料必定包含时间属性，通常一个数据仓库皆会含有大量的历史性资料，并利用特定分析方式，自其中发掘出特定资讯。 1.1 数据仓库的特征 （1）数据仓库的数据是面向主题的。主题是一个抽象的概念，是较高层次上企业信息系统中的数据综合、归类并进行分析利用的抽象。在逻辑意义上，它是对应企业中某一宏观分析领域所涉及的分析对象。面向主题的数据组织方式，就是在较高层次上对分析对象的数据的一个完整、一致的描述，能完整、统一地刻划各个分析对象所涉及的企业的各项数据，以及数据之间的联系。所谓较高层次是相对面向应用的数据组织方式而言的，是指按照主题进行数据组织的方式具有 更高的数据抽象级别。 （2）数据仓库的数据是集成的 。数据仓库的数据是从原有的分散的数据库数据抽取来的。数据仓库的每一个主题所对应的源数据在原有的各分散数据库中有许多重复和不一致的地方，且来源于不同的联机系统的数据都和不同的应用逻辑捆绑在一起；数据仓库中的综合数据不能从原有的数据库系统直接得到。因此在数据进入数据仓库之前，必然要经过统一与综合，这一步是数据仓库建设中最关键、最复杂的一步。 （3）数据仓库的数据是不可更新的。数据仓库的数据主要供企业决策分析之用，所涉及的数据操作主要是数据查询，一般情况下并不进行修改操作。数据仓库的数据反映的是一段相当长的时间内历史数据的内容，是不同时点的数据库快照的集合，以及基于这些快照进行统计、综合和重组的导出数据，而不是联机处理的数据。 （4）数据仓库的数据是随时间不断变化的。数据仓库的用户进行分析处理时是不进行数据更新操作的。但并不是说，在从数据集成输入数据仓库开始到最终被删除的整个数据生存周期中，所有的数据仓库数据都是永远不变的。 1.2 数据仓库的类型 数据仓库的类型根据数据仓库的数据类型和它们所解决的企业问题范围，一般可将数据仓库分为下列3种类型：企业数据仓库（EDW）、操作型数据库（ODS）和数据集市（Data Marts）。 （1）企业数据仓库为通用数据仓库，它既含有大量详细的数据，也含有大量累赘的或聚集的数据，这些数据具有不易改变性和面向历史性。此种数据仓库被采用进行涵盖多种企业领域上的战略或战术上的决策。 （2）操作型数据库既可以被用来针对工作数据做决策支持，又可用做将数据加载到数据仓库时的过度区域。与EDW相比，ODS是面向主题和面向综合的，易变的，仅含有目前的、详细的数据，不含有累计的、历史性的数据。 （3）数据集市是为了特定的应用目的或应用范围，从而数据仓库中独立出来的一部分数据，也可称为部门数据或主题数据。几组数据集市可以组成一个EDW。 二、OLAP技术 联机分析处理（On-Line Analytical Processing，简称OLAP），是一套以多维度方式分析数据，而能弹性地提供积存上钻（Roll-up）、下钻（Drill-down）、和透视分析（pivot）等操作，呈现集成性决策信息的方法，多用于决策支持系统、商务智能或数据仓库。其主要的功能，在于方便大规模数据分析及统计计算，对决策提供参考和支持。与之相区别的是联机交易处理（OLTP）。 OLAP需以大量历史数据为基础配合上时间点的差异并对多维度及汇整型的信息进行复杂的分析。OLAP需要用户有主观的信息需求定义，因此系统效率较佳。 在实际应用中用广义和狭义两种不同的理解。广义上的理解与字面意思相同，即针对于OLTP而言，泛指一切不对数据进行输入等事务性处理，而基于已有数据进行分析的方法。但更多的情况下OLAP是被理解为其狭义上的含义，即与多维分析相关，基于立方体（CUBE）计算而进行的分析。 2.1 OLAP的多维分析特性 OLAP具有两个重要的特点：一是在线性，体现为对用户请求的快速响应和交互式操作；二是多维分析，也就是说，OLAP展现在用户面前的是一个多维视图，使用者可以对其进行各种多维分析操作。下面我们具体介绍OLAP的多维分析特性。 在实际的决策制定过程中，决策者需要的不是某一指标单一的值，而是希望从多个角度或者从不同的考察范围来观察某一指标或多个指标，通过分析对比，从而找出这些指标间隐藏的内在关系，并预测这些指标的发展趋势，即决策所需的数据总是和一些分析角度和分析指标有关。OLAP的主要工作就是将数据仓库中的数据转换到多维数据结构中，并且对上述多维数据结构执行有效且非常复杂的多维查询。 2.2 OLAP的多维分析操作 多维分析操作是指对以多维形式组织起来的数据采取切片、切块、旋转等各种分析操作，以求剖析数据、使最终用户能从多个角度、多个侧面去观察数据库中的数据、从而深入地了解包含在数据中的信息、内涵。多维分析的基本操作有： （1）切片操作：是在给定的多维数据集的某一个维上选定一维成员，从而得到一个多维数据子集的动作。如果有（维1，维2，„„，维i，„„，维n，度量）多维数据集，对维i选定了某个维成员，那么（维1，维2，„„，维i成员，„„，维n，度量）就是多维数据集（维1，维2，„„，维i，„„，维n，度量）在维i上的一个切片。 （2）切块操作：在多维数据集的某一维上选定某一区间的维成员的操作称为切块，即限制多维数据集的某一维的取值区间。 （3）旋转是一种目视操作，它转动多维数据集的视角，提供数据的替代表示。旋转操作可以将多维数据集的不同维进行交换显示，从而使用户更加直观地观察数据集中不同维之间的关系。 （4）钻取分为向下钻取和向上钻取。下钻操作是由不太详细的高层次汇总数据分解为更详细的低层次数据。上钻是下钻的逆操作，它是通过一个维的概念分层向上攀升，或者通过维归约，在多维数据集上进行聚集。 （5）在OLAP分析操作中，还有“钻过”（drill-across）和“钻透”（drill-through）等。“钻过”涉及多个事实表的查询；“钻透”操作使用关系SQL机制，钻到多维数据集的底层，到后端关系表。 （6）其它的OLAP操作还包括计算统计表中的最高或最低N项、平均值、移动平均值、增长率、各类百分比等。 三、数据挖掘 数据挖掘（Data mining），又译为资料探勘、数据挖掘、数据采矿。它是数据库知识发现（Knowledge-Discovery in Databases，缩写：KDD）中的一个步骤。数据挖掘一般是指从大量的数据中自动搜索隐藏于其中的有着特殊关系性（属于Association rule learning）的信息的过程。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统（依靠过去的经验法则）和模式识别等诸多方法来实现上述目标。 3.1 数据挖掘与传统数据分析的区别 数据挖掘与传统的数据分析(如查询、报表、联机应用分析)的本质区别是数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识。数据挖掘所得到的信息应具有先未知，有效和可实用三个特征。先前未知的信息是指该信息是预先未曾预料到的，既数据挖掘是要发现那些不能靠直觉发现的信息或知识，甚至是违背直觉的信息或知识，挖掘出的信息越是出乎意料，就可能越有价值。在商业应用中最典型的例子就是一家连锁店通过数据挖掘发现了小孩尿布和啤酒之间有着惊人的联系。 尽管通常数据挖掘应用于数据分析，但是像人工智能一样，它也是一个具有丰富含义的词汇，可用于不同的领域。 它与KDD的关系是：KDD是从数据中辨别有效的、新颖的、潜在有用的、最终可理解的模式的过程；而数据挖掘是KDD通过特定的算法在可接受的计算效率限制内生成特定模式的一个步骤。 3.2 数据挖掘的分析方法 数据挖掘利用的技术越多，得出的结果精确性就越高。原因很简单，对于某一种技术不适用的问题，其它方法即可能奏效，这主要取决于问题的类型以及数据的类型和规模。数据挖掘方法有多种，其中比较典型的有关联分析、序列模式分析、分类分析、聚类分析等。 （1）关联分析，即利用关联规则进行数据挖掘。在数据挖掘研究领域，对于关联分析的研究开展得比较深入，人们提出了多种关联规则的挖掘算法，如APRIORI、STEM、AIS、DHP等算法。关联分析的目的是挖掘隐藏在数据间的相互关系，它能发现数据库中形如“90%的顾客在一次购买活动中购买商品A的同时购买商品B”之类的知识。 （2）序列模式分析和关联分析相似，其目的也是为了挖掘数据之间的联系，但序列模式分析的侧重点在于分析数据间的前后序列关系。它能发现数据库中形如“在某一段时间内，顾客购买商品A，接着购买商品B，而后购买商品C，即序列A→B→C出现的频度较高”之类的知识，序列模式分析描述的问题是:在给定交易序列数据库中，每个序列是按照交易时间排列的一组交易集，挖掘序列函数作用在这个交易序列数据库上，返回该数据库中出现的高频序列。 （3）分类分析，设有一个数据库和一组具有不同特征的标记，该数据库中的每一个记录都赋予一个类别的标记，这样的数据库称为示例数据库或训练集。分类分析就是通过分析示例数据库中的数据，为每个类别做出准确的描述或建立分析模型或挖掘出分类规则，然后用这个分类规则对其它数据库中的记录进行分类。目前已有多种分类分析模型得到应用，其中几种典型模型是线性回归模型、决策树模型、基本规则模型和神经网络模型。 （4） 聚类分析与分类分析不同，聚类分析输入的是一组未分类记录，并且这些记录应分成几类事先也不知道。聚类分析就是通过分析数据库中的记录数据，根据一定的分类规则，合理地划分记录集合，确定每个记录所在类别。它所采用的分类规则是由聚类分析工具决定的。聚类分析的方法很多，其中包括系统聚类法、分解法、加入法、动态聚类法、模糊聚类法、运筹方法等。采用不同的聚类方法，对于相同的记录集合可能有不同的划分结果。 四、 数据仓库、OLAP与数据挖掘的关系 数据仓库将来自于各种数据源的数据，根据不同的主题进行存储，并对原始数据进行抽取、转换和加载等一系列筛选和清理工作。OLAP则将数据通过多维视角和多种层次向用户进行多方式的呈现。数据挖掘则应用不同的算法，向用户揭示数据间的规律性，从而辅助商业决策。
数据仓库概述(概念、应用、体系结构)
事务处理 分析处理
DB
从数据 OLTP 数据
DW
从数据 信息（知识） OLAP（DM、OLAM）
18
数据仓库与传统数据库的区别
19
OLTP和OLAP的区别
用户和系统的面向性:
转换描述从操作数据库到数据仓库的映射方法以及转换数据的算法访问权限备份历史存档历史信息传输历史数据获取历史数据访问等等29主题区和信息对象类型包括查询报表图像音频视频等支持数据仓库的其它信息例如信息传输系统包括的预约信息调度信息传送目标的详细描述商业查询对例如数据历史快照版本拥有权数据抽取的审计跟踪数据的使用方法30与数据访问和分析工具的集成31元数据库metadatarepository和工具32主要使用数据来源的物理结构信息企业数据模型和仓库数据模型最终用户最关心两类元数据
4
业务系统不适宜DSS应用
事务处理和分析处理的性能要求和特性不同
事务处理对数据的存取操作频率高而每次操作处理的时 间短； 在分析处理环境中，某个DSS应用程序可能需要连续几 个小时，会消耗大量的系统资源。
数据集成问题 历史数据问题 数据的综合问题（更高粒度）
5
建立数据仓库的投资回报
数据模型：（1）逻辑数据结构，包括为有效进行数据
用的数据集合,是不同于DB的一种新的数据环境, 是DW 扩 展后得到的一个混合形式。四个基本特点：面向主题的、 集成的、可变的、 当前或接近当前的。 库处理由DBMS提供的操作和约束；（2）数据表示系统（ 例如，ER图和关系模型）。
25
元数据
信息安全管理员-中级工习题及参考答案
信息安全管理员-中级工习题及参考答案一、单选题（共43题，每题1分，共43分）1."Windows中有很多功能强大的应用程序，其中"磁盘碎片整理程序"的主要用途是（）。
"A、将进行磁盘文件碎片整理，提高磁盘的读写速度B、将磁盘的文件碎片删除，释放磁盘空间C、将进行磁盘碎片整理，并重新格式化D、将不小心摔坏的软盘碎片重新整理规划使其重新可用正确答案：A2.对于一块已用硬盘，根据当前的分区情况（有主分区、扩展分区和逻辑分区），删除分区的顺序为（）。
A、逻辑分区、主分区和扩展分区B、逻辑分区、扩展分区和主分区C、主分区、扩展分区和逻辑分区D、主分区、逻辑分区和扩展分区正确答案：B3.建立一个模型，通过这个模型根据已知的变量值来预测其他某个变量值属于数据挖掘的哪一类任务？（）A、寻找模式和规则B、建模描述C、预测建模D、探索性数据分析正确答案：C4.机房排班：机房排班分自动排班和手动排班两种方式，其中（）需要用到值班组。
A、自动排班B、顶替值班C、手动排班D、手动排班和自动排班正确答案：A5.不是Spark与Hadoop的区别是（）。
A、Hadoop只提供了map和reduce两种操作B、Spark提供了对机器学习、图计算的支持C、Hadoop的计算效率高D、适用于Hadoop的场景基本上适合Spark正确答案：C6.关键应用业务信息系统包括：财务管理信息系统、人力资源管理信息系统、办公自动化系统、营销管理信息系统、（）。
A、生产管理信息系统B、桌面管理系统C、计量自动化系统D、调度值班系统正确答案：A7.以虚拟软盘方式实现硬盘共享的软件必须具有四方面的功能，即用户管理、盘卷管理、信号量管理和（）。
A、备份管理B、文件管理C、计账管理D、安装管理正确答案：D8.下列属于C类计算机机房安全要求范围之内的是（）。
A、火灾报警及消防设施B、电磁波的防护C、防鼠害D、防雷击正确答案：A9.各级（）负责解决由于业务操作不规范、业务规则定义不合理等业务原因导致的数据质量问题，并复核数据质量问题处理结果。
数据仓库的描述
数据仓库的描述数据仓库是一种技术性的建模工具，它可以为企业提供有用的信息，有助于实现组织的商业目标。
近年来，由于企业对数据分析的日益重视，数据仓库的需求也在不断增长。
这里，我将介绍数据仓库的概念、特征以及建造方法。
一、念数据仓库是一种特殊的数据库，它用于存储和管理组织的历史数据，有助于组织实现其商业目标。
它是一个集中的，统一的，完整的数据存储库，它被设计成可以满足决策支持系统的要求。
数据仓库通常包括一个大型的数据库，用于存储组织数据。
这些数据可以是历史数据、实时数据、混合数据或经过处理的数据。
它们可以从不同的数据源中提取，例如企业资源计划系统（ERP）、交易处理系统（TPS）、会计系统等。
二、特征数据仓库具有以下特点：（1）集中：数据仓库可以把企业的数据集中存放在一起，减少数据的冗余，提高数据的准确性。
（2）统一：数据仓库可以将来自不同数据源的数据统一进行分类和管理，提高数据的一致性和可比性。
（3）完整：数据仓库在存储数据时，可以把企业的所有历史数据都存储起来，从而支持更好地决策分析。
（4）可靠：数据仓库可以提供可靠和弹性的数据存储，可以不受客观环境的影响，充分保护企业数据的安全。
（5）可扩展性：数据仓库可以根据企业业务的发展情况，对数据存储进行扩容，以满足企业对数据存储的需求。
（6）可分析性：数据仓库可以支持复杂的数据分析，例如商业智能、数据挖掘和机器学习等，可以提供企业更有效的决策分析支持。
三、建造方法建造数据仓库通常需要经过以下步骤：（1）数据收集：收集并清洗企业信息，将企业的业务数据以结构化的形式存储在数据仓库中。
（2）数据整合：将企业的来自不同部门的数据进行整合，以满足数据仓库的需求。
（3）数据质量：定义数据的质量指标，对数据仓库中的数据进行检查，以确保数据的准确性。
（4）数据建模：根据组织的业务需求，使用结构化概念技术（SDT）来建模数据，以便于后续数据分析。
（5）数据应用：利用数据仓库中的数据，以及运用数据挖掘和机器学习等技术，为企业提供决策支持。
第五讲数据仓库物理设计、部署与维护
指向数据 行的指针
销售数据抽取
地址或行号
日期
00001BFF.0012.0111 00001BFF.0013.0114 00001BFF.0012.0115 00001BFF.0012.0138 00001BFF.0012.0145 00001BFF.0012.0157 00001BFF.0014.0165
2. 对所有表，确定
索引的个数 索引在，最初，6个月和12个月后需要的空间
3. 估计
排序、合并需要的临时空间 准备区内的临时文件 准备区内的长久文件
§1 物理设计过程
►Contents
物理设计步骤 物理设计考虑的因素 物理存储 为数据仓库建立索引 提高性能的技术
RAID 2
数据按位或者块交错分 布在磁盘上，额外的驱
动器存储校验码 高性能，纠一位 错，两位检错，
代价昂贵
RAID 3
数据按位或块交错存 储，有一个驱动器存
储校验数据
对大块数据性能较高， 不支持运行时恢复
RAID 4
数据记录按扇区交错存 储，有一个专门驱动器
存储校验数据
可以处理多个复杂操作 系统中的I / 0操作，只用
数据仓库：物理模型组件
CREATE SCHEMA ORDER_ANALYSIS
AUTHORIZATION SAMUEL_JOHNSON
……………………………….
CREATE TABLE PRODUCT (
PRODUCT_KEY CHARACTER (8)
PRIMARY KEY,
PRODUCT_NAME CHARACTER (25),
关系数据库索引文件 装载映像文件
OLAP系统
数据仓库概述PPT(共 57张)
16
细节的
操1作.型1.数3据两者数据处理模式的分析差型数别据
综合的，或提炼的
当前数据
历史数据
更新的
不可更新，只读的
生命周期符合SDLC （软件开发生命周期）
完全不同的生命周期
对性能要求高 一个时刻操作一个单元 事务驱动 面向应用 一次操作数据量小，计算简单 支持日常操作
29
1.2 数据仓库的基本概念
数据仓库就是一个面向主题的、集成的、不可更新 的、随时间不断变化的数据集合，通常用于企业的 决策支持。
30
1.2.1 面向主题
主题：是一个抽象的概念，是在较高层次上将企业 信息系统中的数据综合、归类并进行分析利用的抽 象。在逻辑上，它对应于企业中某一宏观分析领域 所涉及的分析必须把分析数 据从事务处理环境中提取出来，按照决策支持系统处 理的需要进行重新组织，建立单独的分析型处理环境。 数据仓库正是为了构建这种新的分析型处理环境而 出现的一种数据存储和组织技术。
27
数据仓库概述 1.1 数据仓库产生的原因 1.2 数据仓库的基本概念 1.3 数据仓库的体系结构
第1讲 数据仓库概述
1
数据仓库概述 1.1 数据仓库产生的原因 1.2 数据仓库的基本概念 1.3 数据仓库的体系结构
2
数据仓库概述
1.1 数据仓库产生的原因 1.1.1 操作型数据处理 1.1.2 分析型数据处理 1.1.3 两种数据处理模式的差异 1.1.4 数据库系统的局限性
对性能要求宽松 一个时刻操作一个集合 分析驱动 面向分析 一次操作数据量大，计算复杂 支持管理需求
数据仓库与数据挖掘考试习题汇总 3
1、数据仓库就是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合。
2、元数据是描述数据仓库内数据的结构和建立方法的数据，它为访问数据仓库提供了一个信息目录，根据数据用途的不同可将数据仓库的元数据分为技术元数据和业务元数据两类。
3、数据处理通常分成两大类:联机事务处理和联机分析处理。
4、多维分析是指以“维”形式组织起来的数据（多维数据集）采取切片、切块、钻取和旋转等各种分析动作，以求剖析数据，使拥护能从不同角度、不同侧面观察数据仓库中的数据，从而深入理解多维数据集中的信息。
5、ROLAP是基于关系数据库的OLAP实现，而MOLAP是基于多维数据结构组织的OLAP实现。
6、数据仓库按照其开发过程,其关键环节包括数据抽取、数据存储于管理和数据表现等。
7、数据仓库系统的体系结构根据应用需求的不同，可以分为以下4种类型：两层架构、独立型数据集合、以来型数据结合和操作型数据存储和逻辑型数据集中和实时数据仓库.8、操作型数据存储实际上是一个集成的、面向主题的、可更新的、当前值的（但是可“挥发”的）、企业级的、详细的数据库，也叫运营数据存储.9、“实时数据仓库”以为着源数据系统、决策支持服务和仓库仓库之间以一个接近实时的速度交换数据和业务规则。
10、从应用的角度看,数据仓库的发展演变可以归纳为5个阶段：以报表为主、以分析为主、以预测模型为主、以运营导向为主和以实时数据仓库和自动决策为主。
1、调和数据是存储在企业级数据仓库和操作型数据存储中的数据。
2、抽取、转换、加载过程的目的是为决策支持应用提供一个单一的、权威数据源。
因此，我们要求ETL过程产生的数据（即调和数据层）是详细的、历史的、规范的、可理解的、即时的和质量可控制的。
3、数据抽取的两个常见类型是静态抽取和增量抽取。
静态抽取用于最初填充数据仓库,增量抽取用于进行数据仓库的维护。
4、粒度是对数据仓库中数据的综合程度高低的一个衡量。
粒度越小，细节程度越高，综合程度越低,回答查询的种类越多.5、使用星型模式可以从一定程度上提高查询效率。
《大数据导论》在线作业
《大数据导论》在线作业一、单选题共15题，30分1基础设施即服务的英文简称是A IaaSB PaaSC SaaS我的答案：A2用于描述相等时间间隔下连续数据随时间变化趋势的是()A折线图B散点图C条形图D饼图我的答案：A3下列不属于商业大数据类型的是A传统企业数据B机器和传感器数据C社交数据D电子商务数据我的答案：B4以下哪项不是数据可视化工具的特性()A实时性B简单操作C更丰富的展现D仅需一种数据支持方式即可我的答案：D5MapReduce中的Map和Reduce函数使用()进行输入输出A key/value对B随机数值C其他计算结果我的答案：A6以下不是数据仓库基本特征的是()A数据仓库是面向主题的B数据仓库是面向事务的C数据仓库的数据是相对稳定的D数据仓库的数据是反映历史变化的我的答案：B7IaaS是()的简称A软件即服务B平台即服务C基础设施即服务D硬件即服务我的答案：C8大数据的最显著特征是() 。
A数据规模大B数据类型多样C数据处理速度快D数据价值密度高我的答案：A9大数据的特点不包含A数据体量大B价值密度高C处理速度快D数据不统一我的答案：D10数据产生方式变革中数据产生方式是主动的主要是来自哪个阶段( )。
A运营式系统阶段B用户原创内容阶段C感知式系统阶段我的答案：B11数据仓库是随着时间变化的,下列不正确的是()A数据仓库随时间变化不断增加新内容B捕捉到的新数据会覆盖原来的快照C数据仓库随事件变化不断删去旧的数据内容D数据仓库中包含大量的综合数据，这些综合数据会随时间的变化不断进行重新综合我的答案：C12下列哪个工具常用来开发移动友好地交互地图()A LeafletB Visual.lyC BPizza Pie ChartsD Gephi我的答案：A13购物篮问题是的典型案例A数据变换B关联规则挖掘C数据分类我的答案：B14哪个选项不属于大数据4V特点?A VolumeB ValidC VarietyD Value我的答案：B15GFS中的文件切分成()的块进行存储A32MBB64MBC128MBD1G我的答案：B二、多选题共15题，30分1大数据采集主要包括()四种。