数据库与数据仓库
DSS(第五章)
5
操作型数据 & 分析型数据的区别
操作型数据 细节的 在存取瞬间是准确的 可更新 操作需求事先可知道 生命周期符合 对性能要求高 一个时刻操作一单元 事务驱动 面向应用 一次操作数据量小 支持日常操作 分析型数据 综合的，或提炼的 代表过去的数据 不更新 操作需求事先不知道 完全不同的生命周期 对性能要求宽松 一个时刻操作一集合 分析驱动 面向分析 一次操作数据量大 支持管理需求
学 号 95004 95006 95008 姓 名 王小明 黄大鹏 张文斌 年 令 19 20 18 性 别 女 男 女 系 名 社会学 商品学 法律学 年 级 95 95 95 …
…
…
…
…
…
一个简单的销售系统
商品（商品号，商品名称，规格，生产日期，……..) 客户（客户编号，客户名称，客户地址，电话，…….)
3.旋转(Rotate)/转轴(Pivot)
通过旋转可以得到不同视角的数据。
25
OLAP特性
(1)快速性:用户对OLAP的快速反应能力有很高的要求。系统 应能在5秒内对用户的大部分分析要求做出反应。 (2)可分析性:OLAP系统应能处理与应用有关的任何逻辑分析 和统计分析。 (3)多维性:多维性是OLAP的关键属性。系统必须提供对数据 的多维视图和分析,包括对层次维和多重层次维的完全支持 (4)信息性:不论数据量有多大，也不管数据存储在何处， OLAP系统应能及时获得信息，并且管理大容量信息。
例子（四维）
北京 电视 批发 一月 零售 批发 二月 零售 批发 三月 零售 250 310 冰箱 空调 电视 上海 冰箱
Jun
广州 空调 电视 冰箱 空调
例子（二维）
时 间 Jan Feb 北 京 上 海 广 州 哈尔 滨
集合系统的名词解释
集合系统的名词解释随着科技的不断发展，各种集合系统在我们的日常生活中扮演着越来越重要的角色。
从社交媒体平台到电商网站，从智能家居到自动驾驶系统，无一不依赖于集合系统的设计和优化。
然而，在我们谈论这些系统时，很少有人能清晰地解释它们背后的核心概念。
因此，本文旨在对集合系统的一些重要名词进行解释，以帮助读者更好地理解和应用这些概念。
1. 数据库（Database）数据库是集合系统的核心组成部分之一。
它是指按一定的结构和规则组织起来的、用于存储和管理大量数据的集合。
数据库通常由一个或多个表组成，每个表由行和列组成，分别代表数据的记录和属性。
通过数据库，我们可以方便地存储、查询和更新大量数据，保证数据的一致性和完整性。
2. 数据仓库（Data Warehouse）数据仓库指的是一个用于存储大量历史数据的集中式仓库。
与传统的数据库不同，数据仓库旨在支持决策支持和分析工作，而不是日常的事务处理。
数据仓库通常采用异构的数据源，并经过清洗、集成和转换，以提供决策者所需的一致、准确的数据视图。
数据仓库的架构通常分为数据提取、数据转换、数据加载和数据查询等环节，以确保数据的完整性和可用性。
3. 数据挖掘（Data Mining）数据挖掘是一种通过在大规模数据集中发现模式和规律的技术。
它包括从数据中提取特征、进行统计分析、构建模型和预测未来趋势等过程。
数据挖掘可以帮助我们发现隐藏在庞杂数据背后的知识，为决策和预测提供支持。
常见的数据挖掘技术包括聚类、分类、关联规则挖掘和异常检测等。
4. 人工智能（Artificial Intelligence）人工智能是一种使机器能够像人类一样思考和行动的技术。
在集合系统中，人工智能常常用于处理和分析大量数据，以及实现自动化的决策和推荐。
其中，机器学习是人工智能的重要方法之一，它通过从数据中学习并建立模型，实现对未知数据的预测和分类。
5. 云计算（Cloud Computing）云计算是一种通过网络提供计算资源和服务的模式。
数据仓库概要设计
数据仓库概要设计数据仓库（Data Warehouse）是指把企业分散在不同数据库中的数据统一整合到一个数据库中进行存储和管理，并对这些数据进行分析和管理的一种数据库应用系统。
数据仓库的建设是企业信息化建设的重要组成部分，是企业对内部外部信息资源进行整合、挖掘和利用最有效的平台之一。
因此，进行数据仓库的概要设计是非常重要的一步。
1.数据仓库概述数据仓库，是一个能够存储大量历史数据的集合体，使得企业能够快速地进行数据分析、查询和决策。
数据仓库通常包括存储、管理和查询技术。
数据仓库的设计是基于自底向上的过程，通过收集各种应用中的数据来建立。
数据仓库的需求分析是设计的第一个步骤，通过需求分析可以把握到数据的来源、数据的主要特征、数据的处理方法、数据的处理效果等。
2.数据仓库的工作过程a.数据的收集数据收集的目的是获取各个分散在企业内部外部的数据源，并把这些数据源整合成数据集。
数据收集包括了跟踪源数据、数据的标准化、数据的清洗、数据的转换等。
b.数据的整合数据整合意味着将不同的数据源集成到一起，通常是通过ETL工具来实现。
ETL（Extract, Transform, Load）工具的主要功能是提取、转换和加载。
c.数据的存储数据仓库的存储方式一般有两种：关系型数据库和非关系型数据库。
d.数据的查询与分析数据仓库的用户可以通过BI工具（Business Intelligence）来进行数据的查询、分析和报表生成。
3.数据仓库的概要设计步骤a.数据仓库设计的第一步是需求分析，需求分析的目的是明确数据仓库的目标、范围和需求。
需求分析应该包括数据仓库的使用者、数据仓库所需数据的类型、数据的来源、数据的质量要求等。
b.数据仓库的概念设计是在需求分析的基础上，开始进行数据仓库的抽象模型的设计。
概念设计包括了数据仓库的模型设计、元数据的设计等。
c.数据仓库的逻辑设计是在概念设计的基础上，开始进行数据仓库的逻辑结构的设计。
数据仓库
7
LOGO
实施数据仓库的条件
数据积累已达到一定规模 面临激烈的市场竞争 在IT方面的资金能得到保障
8
LOGO
数据仓库(Data Warehouse)
A warehouse is a subject-oriented,integrated,time-variant and non-volatile collection of data in support of management’s decision making process. ——Bill Inmon 1990 A data warehouse is a copy of transaction data，specially restructured for queries and analysis.
数据挖掘 解决的业务问题
OLAP 分析
业务人员
数据挖掘
访问工具 投资组合分析 投资组合分 析 /KPI 平衡计分卡 平衡记分卡
利润成本分析 利润成本分 析
资产分析
营销分析
LOGO
数据仓库流程
LOGO
BW基本原理
LOGO
LOGO
数据仓库系统的组成（1）
数据仓库系统的组成（1） 源数据：数据仓库中的数据来源于多个数据源， 它不仅可以是企业内部的关系型数据库，还包括 非传统数据，如文件、HTML文档等。 数据仓库管理系统：
元数据库及元数据管理部件：元数据库用来存储由定义 部件生成的关于源数据、目标数据、提取规则、转换规 则以及源数据与数据仓库之间的映射信息等。 数据转换部件：该部件把数据从源数据中提取出来，依 定义部件的规则将不同数据格式的源数据转换成数据仓 库的数据格式并装载进数据仓库。 数据集成部件：该部件根据定义部件的规则、统一各源 数据的编码规则，并净化数据，根据元数据中定义的数 据组织形式对数据进行汇总、聚合计算。 数据仓库管理部件：它主要用于维护数据仓库中的数据， 备份、恢复数据以及管理数据的安全权限问题。
数据挖掘概念与技术第三版部分习题答案
(b)
如何确定数据中的离群点？
(c)
对于数据光滑，还有哪些其他方法？
解答：
(a)
使用分箱均值光滑对以上数据进行光滑，
箱的深度为3。解释你的步骤。评述对于给定
的数据,
该技术的效果。
用箱深度为3的分箱均值光滑对以上数据进行光滑需要以下步骤：
步骤1对数据排序。(因为数据已被排序，所以此时不需要该步骤。)
聚类分析 的数据对象不考虑已知的类标号。对象根据最大花蕾内部的相似性、最小化类之间 的相似性的原则进行聚类或分组。形成的每一簇可以被看作一个对象类。聚类也便于分类法组织 形式，将观测组织成类分
层结构，把类似的事件组织在一起。
数据演变分析 描述和模型化随时间变化的对象的规律或趋势，尽管这可能包括时间相关数据 的特征化、区分、关联和相关分析、分类、或预测，这种分析的明确特征包括时间序列数据分析、 序列或周期模式匹配、和基于相似性的数据分析
ra,b=刀(ai-A)(bi-B)/N<ra <tb=(刀(aib)-NAB)/N<ra<tb=(刀(aibi)-18*46.44*28. 78)
/18*12 .85*8.99=0.82
相关系数是0.82。变量呈正相关。
3.3使用习题2.4给出的age数据回答下列问题：
(a)使用分箱均值光滑对以上数据进行光滑，箱的深度为3。解释你的步骤。评述对于给
SRSWOR
(n=5)
SRSWR
(n=5)
T4
16
T7
20
T6
20
T7
20
Tio
22
T20
35
Tii
25
T21
35
数据源和数据收集方法
数据源和数据收集方法
关于数据源和数据收集方法介绍如下：
一、数据源类型
数据源是指用于获取数据的来源，其类型多种多样，主要可以分为以下几类：
1. 数据库：数据库是一种结构化的数据存储方式，可以存储大量的数据，并且可以根据需要进行查询和检索。
常见的数据库类型包括关系型数据库和非关系型数据库。
2. 数据仓库：数据仓库是一种大型、集中式的存储系统，用于存储和管理大量的数据。
数据仓库中的数据通常经过清洗、整合和转换，以提供更加准确和可靠的数据支持。
3. 传感器数据：传感器可以监测各种物理量，如温度、湿度、压力等，这些传感器数据可以被收集并用于分析。
4. 社交媒体数据：社交媒体平台上的用户生成内容，如文本、图片、视频等，也是一种重要的数据源。
5. 政府和企业公开数据：政府和企业会发布一些公开的数据，如财务报表、人口普查数据等，这些数据可以通过相应的渠道进行收集。
二、数据收集方法
数据收集是指从数据源中获取数据的过程，其方法多种多样，主要可以分为以下几类：
1. 网络爬虫：网络爬虫可以通过自动化程序访问网页，并提取其中的数据。
这种方法常用于从网站上获取大量结构化数据。
2. 数据API：许多企业和组织提供数据API，可以通过这些API 获取相应的数据。
这种方法通常用于获取实时数据或大量数据。
3. 传感器监测：对于传感器数据，可以通过相应的硬件和软件进行实时监测和采集。
4. 调查问卷：通过设计调查问卷，向目标人群发放并收集相关数据。
这种方法常用于获取特定领域或特定人群的数据。
5. 手工录入：对于一些非电子化的数据，可以通过手工录入的方式进行收集。
通过对比数据库来理解数据仓库
４ ３ ０ ０ ７ ２ ）
二、 数 据库 与 数 据 仓 库 应 用 于 不 同 的方 向 从应用上来讲 ． 数 据 库 是 面 向事 务 的设 计 ． 数据仓库是 面
是 作 为数 据 管理 的手 段 ， 主要用于事务处理 ， 而数 据仓 库 则 对
联 机 分 析 的 能 力提 出 更 高 的要 求 本 文 通过 对数 据 库 和数 据 仓 库 的概 念 及 应 用进 行 较 全 面 的 对 比 分析 ， 对数 据仓 库 有 更
数 据 仓 库 是 一 种 系 统 ，这 种 系 统 是 用 数 据 库 装 东 西 ； 关 键 是装 的什么样 的数据 ， 数 据库装 的原 始数据 ， 没 经 过 任 何 加 工 ；而 数 据 仓 库 是 为 了 满 足 分 析 需 要 ，对 源 数 据 进 行 了 Ｔ ｒ ａ ｎ ｓ ｆ ｏ ｒ ｍ过 程 ． 具 体 是怎样 一个 处 理过 程 ， 可 以从Ｂ ｉ ｌ ｌ ｌ ｎ ｍ ｏ ｎ
任何 技 术 都 是 为 应 用 服 务 的 ．结 合 应 用 可 以 很 容 易 地 理 解 。以银 行 业 务 为 例 。数 据 库 是 事 务 系 统 的数 据 平 台 ， 客 户 在 银 行 做 的 每 笔 交 易 都 会 写 入 数 据 库 ，被 记 录 下 来 ， 这 里， 可 以简单地理 解为用数 据库 记账 。 数 据 仓 库 足 分 析 系统 的数据 平台 ， 它从 事务 系统获取数 据 ， 并进 行汇总 、 加 ． 为 决 策 者 提 供 决 策 的 依 据 。比如 ， 某 银 行 某 分 行 一 个 月 发 生 多 少交 易 ， 该 分 行 当 前 存 款余 额 是 多 少 。 比如 ． 某 品 牌 汽 车 在 某地一 个月销 售多少 台汽车 ， 有 多少 台是属于高 档的 。 如 果 销售量 又多 。 咨询 的人数 又在上 涨 ， 那 么 就 要 考 虑 存 这 个 地 区 设 高 档４ Ｓ 店。 显然 ． 有 些 事 实 数 据 的交 易 量 是 巨大 的 ． 通 常 以 百 万 甚 至 千 万 次 计 算 。 事 务 系统 是 实 时 的 ， 这就要求时效性 ， 比 如 在银 行， 客户存一笔钱需要几十秒是无法忍受的 ， 这 就 要 求 数 据 库 只 能 存 储 很 短 一段 时 间 的数 据 。 而分析系统是事后的 ， 它 要 提
数据仓库(多维数据库模型)
Sales Pid timeid locid sales
Times Timeid date month quarter year holiday_flag
整理ppt
23
星型模式
定单号 定货日期
销售员号 姓名 城市
客户号 客户名称 客户地址
事实表
定单号 销售员号 客户号 产品号 日期标识 地区名称 数量 总价
整理ppt
28
(2) ROLAP：关系型OLAP在关系型数据表中存 储合计。ROLAP针对关系型数据库的应用允许其利 用已有的数据库资源，并且允许R OLAP应用程序很 好地伸缩。然而，ROLAP使用表存储合计则要求比 MOLAP更多的磁盘空间，速度相对比较慢。
整理ppt
29
(3) HOLAP：正如其名称所示，混合型HOLAP 介于MOLAP和ROLAP之间。像ROLAP一样， HOLAP将主数据存储在源数据库中。像MOLAP一样， HOLAP把合计存储在一个永久性数据存储的地方， 它与主关系数据库分开。这种混合形式使HOLAP可 以具备MOLAP和ROLAP两者的优点。
整理ppt
15
三、操作数据存储（ODS ）
在许多情况下，DB-DW的两层体系结构并不适合 企业的数据处理要求。因为，虽然可以粗略地把数据处 理分成操作型和分析型，但这两种处理处理并不是泾渭 分明的。
ODS（Operational Data Store）作为一个中间层次， 一方面，它包含企业全局一致的、细节的、当前的或接 近当前的数据，另一方面，它又是一个面向主题、集成 的数据环境，适合完成日常决策的分析处理。
整理ppt
产品号 产品名称 单价
日期标识 日 月 年
地区名称 省