数据仓库数据集市BI数据分析介绍
数据仓库与数据挖掘第一章 数据仓库和数据挖掘概述
③ 采用事件驱动和主动推送的方式为业务系统提供分析能力，例如银行的信 贷风险管理员，当审批某人的贷款请求时，关于该申请人的相关风险评级 等信息就会被主动推送过来。
1.1.2 发展历程4——数据中心
通过数据中心的构建，企业从 传统的交易系统（记录系统） 和各种差分系统（Different System）逐渐转向构建创新系 统，通过使用分析技术创造独 特的竞争优势，将分析技术慢 慢融入到企业的核心战略制定 和日常运营管理中。
1.1.1 数据仓库和数据挖掘的目标
构建数据仓库和应用数据挖掘的共同目标：
（7）构建数据治理体系，保证数据的一致性，消除信息的冗余、冲突和缺失等问题；
（8）提供高效、实时和准确的多维数据分析、报表统计、即时查询、广告版、多媒体分析、流 分析和内容分析等功能，为企业运营分析提供全面支持；
（9）提供简洁易用的数据挖掘和预测分析支撑，为企业分析提供全面支持；
。。。。。。
1.1.2 发展历程1——报表查询系统
• 随着时间的推移，这些报表查询系统越来越不能满足企业的需求。 • 例如：
① 查询访问性能比较慢 ② 报表统计相对固定难以满足企业灵活的业务需求 ③ 无法进行多维分析等
1.1.2 发展历程2——传统数据仓库技术
• 使用ETL（Extract，Transform，Load ）或ETCL（Extract， Transform，Clean，Load ）工具实现数据的导出、转换、清洗和装 入工具，使用操作型数据存储（Operational Data Store，ODS）存储 明细数据，使用数据集市和数据仓库技术实现面向主题的历史数据存 储，使用多维分析工具进行前端展现，以及使用数据仓库工具提供的 挖掘引擎或基于单独的数据挖掘工具进行预测分析等。相比之前的报 表查询系统。
微软BI简介
14
设计可伸缩的解决方案
高效的设计器
优化的设计体验 集成最佳实践提醒 项目全生命周期支持
可伸缩的技术架构
异构的数据整合 强大的横向扩展配置 高级的资源监控 用户个性化视角
优异的性能表现
市场领先的MOLAP存储引擎 接近实时的数据访问 聚合计算优化 MOLAP回写
延展OLAP
统一元数据模型
完整的业务视图 整合的关系型&OLAP分析 业务信息模型 时间和财务智能
2,446
Bikes, Inc. Inc.
Wholesale ABC Corp. Thor, Ltd. Ltd. Grand Total
152
11,156 1,523
642
13,312 6,421
794
24,468 7,944
19%
322% 56%
Grand Total
13,946
21,706
35,653
现有的
2005 NY Joe Count 1 2006 1
预期的
200 5 200 6
Sales
Avg
50
50
60
60
NY
Joe
Sue Sales Avg
5ue
Count
Sales Avg
1
80 80 2 130 65
1
100 100 2 160 80
Total Count 2
2
160 80
Total
Count Sales Avg
...
...
图表示例
KPI示例
最终用户通过熟悉的Office产品访问
Excel
Excel是分析服务的业务分析前端工具. 灵活熟悉的环境. 强大的数据挖掘插件. 快速、即席决策支持.
BI基础概念培训.ppt
•
北京市管委IT状况
• 应急事件处理数据
•
• •
基础地理信息数据
视频监控数据 城管通平台数据
应急事件处理 数据
基础地 理信息 数据
视频监控数 据
城管通平台 数据
•
• •
井盖数据
市政设施数据 环卫信息数据
环卫信息数据 户外广告数 据
?
井盖数据
市政设施数 据
•
•
户外广告数据
… …
为什么我们需要商务智能？
为什么我们需要商务智能？
• 在过去的几十年里，各种机构已经花费了大量的财力和资 源去构建联机事务处理系统(OLTP)和资源计划系统(ERP)等各 种系统.不断累计的信息和存储在数据仓库中的数据达到了 令人惊讶的规模。 当这些系统极大地改善了信息的自动处理能力时，也造就 了很多“信息孤岛”(information silos)------大量只有很有限 的获取和分析能力的数据。一项IBM的调查表明，大部分机 构只利用了其存储信息的2%--4%。
市场份额主要由国际BI厂商占领
为什么我们需要商务智能？
• 我们在未来的三年中将会制造出比过去三十万年更多的数据资 料！！！ －－－－－－加州大学信息管理学院 <<商业周刊>>统计,54%的人认为很难找到他们想得到的信息. 43%的人认为不知道这些内部的信息是否正确. 77%的人认为由于信息的缺乏,很多决定是不正确 的. 61%的人认为50%的决定是拍脑袋来的.
– 面向的是数据，不是过程 – 使用通用的分析方法和模型
• 不局限于特定的使用人
– Information worker、Knowledge Worker – 领导层和决策层 – 任何其他需要使用数据和报表的人
数据仓库概念汇总
MDD 多维数据库（Multi-Dimensional Database ，MDD）可以简单地理解为：将数据存放在一个 n 维数组中，而
不是像关系数据库那样以记录的形式存放。因此它存在大量稀疏矩阵，人们可以通过多维视图来观察数据。多维 数据库增加了一个时间维，与关系数据库相比，它的优势在于可以提高数据处理速度，加快反应时间，提高查询 效率。
库或数据仓库中提取人们感兴趣的知识，这些知识是隐含的、事先未知的、潜在有用的、易被理解的模式。
KPI 企业关键业绩指标(KPI：Key Process Indication)是通过对组织内部流程的输入端、输出端的关键参数进行设
置、取样、计算、分析，衡量流程绩效的一种目标式量化管理指标，是把企业的战略目标分解为可操作的工作目 标的工具，是企业绩效管理的基础。
效指标(KPIs)等先进信息技术和管理理论为基础的战略管理的工具，在财务、客户、内部流程和学习与发展四个维 度上进行综合绩效评测，帮助企业从整体上实现对战略实过程的贯彻和控制。
BPR 业务流程重整（Business Process Reengineering），指利用数据仓库技术，发现并纠正企业业务流程中的弊
严格遵照 Codd 的定义，自行建立了多维数据库，来存放联机分析系统数据的 Arbor Software，开创了多维数 据存储的先河，后来的很多家公司纷纷采用多维数据存储。被人们称为 Multi-Dimension OLAP，简称 MOLAP，代 表产品有 Hyperion(原 Arbor Software)Essbase、Showcase STRATEGY 等。 ODS
对于数据仓库的概念我们可以从两个层次予以理解，首先，数据仓库用于支持决策，面向分析型数据处理， 它不同于企业现有的操作型数据库；其次，数据仓库是对多个异构的数据源有效集成，集成后按照主题进行了 重组，并包含历史数据，而且存放在数据仓库中的数据一般不再修改。
数据库、数据仓库、大数据平台、数据中台、数据湖对比分析
数据库、数据仓库、大数据平台、数据中台、数据湖对比分析一、概况层出不穷的新技术、新概念、新应用往往会对初学者造成很大的困扰，有时候很难理清楚它们之间的区别与联系。
本文将以数据研发相关领域为例，对比分析我们工作中高频出现的几个名词，主要包括以下几个方面：•数据▪什么是大数据▪数据分析与数据挖掘的区别是什么•数据库▪什么是数据库▪数据库中的分布式事务理论•数据仓库▪什么是数据仓库▪什么是数据集市▪数据库与数据仓库的区别是什么•大数据平台▪什么是大数据平台▪什么是大数据开发平台•数据中台▪什么是数据中台▪数据仓库与数据中台的区别与联系•数据湖▪什么是数据湖▪数据仓库与数据湖有什么区别与联系希望本文对你有所帮助，烦请读者诸君分享、点赞、转发。
二、数据什么是大数据？麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。
我们再往深处思考一下，为什么会有大数据(大数据技术)？其实大数据就是在这个数据爆炸增长的时代，业务需求增长促进技术迭代，技术满足需求后又形成闭环促进业务持续增长，从而形成一个闭环。
数据分析与数据挖掘的区别是什么？数据分析可以分为广义的数据分析和狭义的数据分析。
广义的数据分析就包括狭义的数据分析和数据挖掘。
我们在工作中经常常说的数据分析指的是狭义的数据分析。
三、数据库据库什么是数据库？数据库是按照数据结构来组织、存储和管理数据的仓库。
是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。
一般而言，我们所说的数据库指的是数据库管理系统，并不单指一个数据库实例。
根据数据存储的方式不同，可以将数据库分为三类：分别为行存储、列存储、行列混合存储，其中行存储的数据库代表产品有Oracle、MySQL、PostgresSQL等；列存储的数据代表产品有Greenplum、HBASE、Teradata等；行列混合存储的数据库代表产品有TiDB，ADB for Mysql等。
数据仓库
7
LOGO
实施数据仓库的条件
数据积累已达到一定规模 面临激烈的市场竞争 在IT方面的资金能得到保障
8
LOGO
数据仓库(Data Warehouse)
A warehouse is a subject-oriented,integrated,time-variant and non-volatile collection of data in support of management’s decision making process. ——Bill Inmon 1990 A data warehouse is a copy of transaction data，specially restructured for queries and analysis.
数据挖掘 解决的业务问题
OLAP 分析
业务人员
数据挖掘
访问工具 投资组合分析 投资组合分 析 /KPI 平衡计分卡 平衡记分卡
利润成本分析 利润成本分 析
资产分析
营销分析
LOGO
数据仓库流程
LOGO
BW基本原理
LOGO
LOGO
数据仓库系统的组成（1）
数据仓库系统的组成（1） 源数据：数据仓库中的数据来源于多个数据源， 它不仅可以是企业内部的关系型数据库，还包括 非传统数据，如文件、HTML文档等。 数据仓库管理系统：
元数据库及元数据管理部件：元数据库用来存储由定义 部件生成的关于源数据、目标数据、提取规则、转换规 则以及源数据与数据仓库之间的映射信息等。 数据转换部件：该部件把数据从源数据中提取出来，依 定义部件的规则将不同数据格式的源数据转换成数据仓 库的数据格式并装载进数据仓库。 数据集成部件：该部件根据定义部件的规则、统一各源 数据的编码规则，并净化数据，根据元数据中定义的数 据组织形式对数据进行汇总、聚合计算。 数据仓库管理部件：它主要用于维护数据仓库中的数据， 备份、恢复数据以及管理数据的安全权限问题。
数据仓库与数据分析-第一-至第三章
数据仓库与数据分析第一、二、三章一、数据处理的类型：1、操作型处理：操作型处理主要完成数据的收集、整理、存储、查询和增、删改操作等，主要由一般工作人员和基层管理人员完成。
2、分析型处理：分析型处理是对数据的再加工，往往要访问大量的历史数据，进行复杂的统计分析，从中获取信息，因此也称为信息型处理，主要由中高级管理人员完成。
操作型数据处理：二、联机事务处理系统（OLTP）的主要功能：对事务进行处理，快速地响应客户的服务要求，使企业的业务处理自动化。
其主要性能指标是事务处理效率和事务吞吐率，每个事务处理的时间越快越好，单位时间能完成的事务数量越多越好。
三、dbms：数据库管理系统。
Dwms:数据仓库管理系统。
OLAP：联机分析处理。
Oltp基于db,olap基于dw。
四、事务：用户定义的一个数据库操作序列，这些操作要么全做、要么全不做，是一个不可分割的工作单元。
在关系数据库中，一个事务可以是一条SQL语句、一组SQL语句或整个程序。
五、事务的ACID性质：1、原子性：事务是一个逻辑工作单元，是一个整体，是不可分割的。
2、一致性：事务在完成时，必须使所有的数据都保持一致状态。
3、隔离性：事务并发执行也能保持原子性和一致性，则是事务的隔离性。
4、持久性：一旦事务成功完成，该事务对数据库所施加的所有更新都是永久的。
六、决策支持系统（DSS）：分析型数据处理的典型。
决策支持系统需要具备的基本功能是建立各种数学模型，对数据进行统计分析，得出有用的信息作为决策的依据和基础。
DSS对数据集成的迫切需要是数据仓库技术出现的最重要动因。
分析型数据处理需要访问大量的当前和历史数据，进行复杂的计算，即需要本部门的数据也会需要其他部门的数据，甚至是竞争对手的数据。
七：操作型数据和分析型数据的区别：操作型数据分析型数据细节的综合的，或提炼的当前数据历史数据可更新（可以update）不更新（不可update，但可insert）操作需求事先可知道操作需求事先不知道完全不同的生命周期生命周期符合SDLC（软件开发生命周期）对性能要求高对性能要求宽松一个时刻操作一单元一个时刻操作一集合事务驱动分析驱动面向业务处理面向分析一次操作数据量大，计算复杂一次操作数据量小，计算简单支持日常操作支持管理需求八、数据分散的原因：1、事务处理应用的分散：OLTP系统一般只需要与本部门业务有关的当前数据，没有包括企业范围内的集成应用。
oracle BI全线产品介绍
展现元数据
Oracle O离ra线cl数e 据
Operational
Excel和PowerPoint的高级集成
Oracle商务智能套件企业版
基于Excel的 信息显示板
原有PowerPoint图表
Oracle Business Intelligence Solutions
全面的、领先的BI解决方案
Luc Scotts, Project Manager, OAG
• “过去我们采用专有的ETL工具完成加载过程需要8小时，现在我们 使用ODI，在数据量和转换的复杂度都大大增加的情况下，只用了 不到 2小时。”
Leon Schurgers, Dr. of Information Technologies, Interbank
简报可以： –保存 –携带到任何地方 –通过电子邮件发送/共享 –显示 –刷新/更新 –通过 Delivers 自动分发
通过 Oracle Delivers 察觉和响应
实时的预测性智能
Delivers 可跨所有数据源提供对问题和机会的持续监视、分析和通知， 还可针对任何设备上的任何用户进行定制。
–自动分析、检测和提供智能 –在任何设备上和信息板中发送通
Oracle商务智能套件企业版Plus
统一 BI 平台 + 预置应用 + 绩效管理
Set 目标
■■调整■■ 洞察力 绩效 行动
报告
计划 监控
分析
财务绩效管理应用
操作型 BI 应用
报表编制与发布 交互式报表 (Brio) 财务报表 BI Publisher SQR生产报表 Web Analytics
TPump/ Multiload
Oracle Merge