数据仓库与数据挖掘项目建设策划方案

数据仓库与数据挖掘项目建设策划方案
数据仓库与数据挖掘项目建设策划方案

数据仓库与数据挖掘项目建设

1. 数据仓库知识简介

1.1软件质量操纵

软件质量操纵的要紧目的是为了获得更高的开发效率,幸免返工,提高产品的市场竞争力,从而为客户提高符合质量需求的稳定可靠的软件产品,同时它也是操纵方法的集合,包括软件建模、度量、评审以及其他活动。

1.2用于软件操纵的一般性方法如下:

1.目标问题度量法,即通过软件质量目标并持续观看这些目标是否达到软

件质量操纵的一种方法

2.风险治理法,即识不与操纵软件开发中对成功达到质量目标危害最大的

哪些因素的系统性方法

3.PDCA循环。这种方法发源于日本,是指打算plan,做do,检查check,

和行动action

1.3信息化的需求:

随着信息化的高速进展,各行各业,各组织单位积存了大量的业务数

据,这些数据存在于各单位的数据库,各种报表、文档中,真可谓是数据的海洋。这些数据中蕴含着组织业务活动的大量规则,包含着组织治理决策所需要的重要知识,从这些数据中挖掘出有价值的信息,为治理决策提供支持是政府和企业事业单位共同面临的问题。

解决那个问题要紧依靠于亮相技术:

一是对整个组织各部门生产的各种业务数据进行统一和综合,把业务数据转化为商业信息,支持决策,即数据仓库。

二是发觉隐藏在各种数据之中有用的知识,即数据挖掘。

1.4以银行为案例的IT整体架构

1.5数据仓库的定义

?数据仓库系统是指面向主题的、集成的、稳定的同时又是随时刻变化的大量的数据集合。在综合使用一些应用软件下,用户获得想要的信息,最终为经营治理的决策提供有力的关心

?数据仓库系统的业务特征是业务需求的范围和内容,不像业务系统那样清晰和明确:系统建设的一个要紧风险是体现在软件工程质量和串接方面存在较大的过程风险:系统建设的成功标准应该由应用系统的用户数及其使用频率作为重要参考依据。

1.6数据仓库的建设过程的挑战

如何来操纵风险、如何来保证质量呢?把质量操纵作为数据仓库建设的生命线,把它贯穿于数据仓库建设整个过程的始终。那么质量操纵的中心环节又是什么呢?

简单而言,包括事前操纵:对方案和打算进行充分的咨询和论证;事中治理:对建设开发时期进行持续不断的过程操纵;事后操纵:关于建设成果通过测试、评审、验收、试运行等方式进行面向结果的治理操纵。

1.7数据仓库的质量操纵

?关于数据仓库中的质量治理问题的研究,目前有几个要紧的切入点:

(1)从数据仓库的设计入手,简历适合全方位质量操纵的体系结构

(2)遵从生命周期观点,全过程操纵数据仓库建设质量

(3)按照数据仓库凶的工作机制和部件构成来制定质量操纵标准

数据仓库质量从本质上讲是总体数据质量的问题。数据仓库的质量问题是一个主观的标准问题,不同层次的人员对数据仓库的质量有不同的要求,必须依照追求的目标来制定质量的测评、预测标准并加以实现,才能真正达到质量操纵的目的

1.8数据仓库的精确定义

上世纪80年代中期,“数据仓库之父”William.H.Inmon先生在其《建立数据仓库》一书中定义了数据仓库的概念,随后又给出了更为精确的定义:数据仓库是在企业治理和决策中面向主题的、集成的、与时刻相关的数据集合。与其他数据库应用不同的是,数据仓库更像是一种过程,是对分布在企业内部各处的业务数据整合、加工和分析的过程。而不是一种能够购买的产品。

1.9数据仓库的特点

1.9.1 数据仓库是面向主题的

主题是一个比较抽象的概念,是一种在较高层次上将企业信息系统中的数据综合、归类后进行分析利用的抽象。在逻辑意义上,它是对应企业中某一宏观分析领域所涉及的分析对象,是针对某一决策问题而设置的面向主题的数据组织方式,确实是在较高层次上对分析对象数据的一个完整、统一、一致的描述,能完整及统一地描述出各个分析对象所设计的相关企业的分项数据,以及数据之间的联系

1.9.2 数据仓库是集成的

全面而正确的数据是进行有效分析和决策的首要前提。在某一个主题的统帅下,需要对数据进行抽取、清晰、转换和加载等集成操作。因为:(1)数据仓库的数据不是直接从原有数据库系统复制得到,因为原有数据库系统记录的是每一项业务处理的流水账,这类数据不适合用于分析处理。在进入数据仓库之前必须通过综合计算,抛弃分析处理不需要的数据项,增加一些可能涉及的外部数据。

(2)数据仓库每一个主题所对应的源数据在原数据库中有可能有许多重复或不一致之处,必须将这些数据转换成全局统一的定义,消除不一致和错误之处,以保证数据的质量。显而易见的是,对不准确,甚至不正确的数据进行分析得出的结果将不能用于明白企业领导者做出

科学的决策

1.9.3数据仓库是相对稳定的

操作型数据库中的数据通常实时更新,数据依照需要发生变化。数据仓库的数据要紧供企业领导者决策分析之用,所涉及的数据操作要紧是数据查询和分析,一旦某个数据进入数据操作要紧是数据查询和分析,一旦某个数据进入数据仓库之后,一般情况下将会被长期保留,也确实是数据仓库中一般有大量的查询操作和分析,修改和删除操作一般不多,通常只需要定期的加载、刷新。

1.9.4数据仓库是相对时刻变化的

由于数据仓库中的数据是为了分析用的,这使得数据仓库中的数据总是拥有时刻维度。数据仓库实际上确实是记录系统的各个瞬态,并将各个瞬态连续起来形成动画,从而在数据分析的时候再现系统运动的全过程。数据提取的周期决定了动画间隔的时刻,数据提取的周期越短,则动画的速度越快

1.10数据成熟度

*商业智能包含(数据仓库和数据挖掘)

1.11商业智能(仓库和挖掘)能够关心我们做什么

?增加销售额

?深化客户关系

?研发客户关系

?提供更好的服务

?提升运营效率

?降低成本

?制定更好的决策

1.12商业智能能够回答的一些重要的问题举例

1.产品分析:

?哪些产品是营利性最好的?

?哪些产品是营利性最差的?

2.销售分析

?华南地区差不多开设2年以上的商店,销售趋势是如何样的?

?哪些产品具有向上的销售趋势,哪些客户群体在购买这些产品?

3.客户分析

?盈利性排在前10%的客户的特征是什么?

?盈利性最差的10%客户的特征是什么?

?哪些客户在过去6个月中的购买量超过了所有客户购买量均值2个标准差?

?盈利性最好的客户群居住在什么地点?

1.13数据仓库的体系架构

数据仓库的简单层

1.源数据层:是数据仓库系统的基础,是整个系统的数据源泉。通常包括

企业内部信息和外部信息。内部信息包括存在于关系型数据库系统(Relational DataBase Management System,RDBMS)中的各种业务处理数据和各类文档数据。外部信息包括各类法律法规、市场信息和竞争对手的信息等等。

2.数据导入层:要紧进行数据清洗、转换、加载(Extract-Transform-Load,

以下简称ETL)。把处理后符合业务逻辑规则的数据导入到数据仓库中。

通过ETL调度治理、ETL日志治理、ETL出错治理来操纵治理数据加载的整个过程。通过数据质量治理进行数据的检查,及时地操纵治理数据的质量情况。

3.数据存储层:是整个数据仓库的核心。数据仓库的真正关键是数据的存

储和治理。数据仓库的组织治理方式决定了它有不于传统数据库,同时也决定了其对外部数据的表现形式。要决定采纳什么产品和技术来建立数据仓库的核心,则需要从数据仓库的技术特点着手分析。针对现有各业务系统的数据,进行抽取、清理,并有效集成,按照主题进行组织。

数据仓库按照数据的覆盖范围能够分为企业级数据仓库和部门级数据仓库(通常称为数据集市)。数据集市可能是企业及数据仓库的一个组成部分。

4.数据应用层:要紧分为查询、统计报表、多维分析和数据挖掘四大类应

用。

5.数据展现层:要紧分为三大类。有一定技术经验的业务人员进行多维分

析、数据挖掘;一般业务人员进行查询、统计报表打印;治理人员进行用户治理、权限治理等。

1.14数据仓库总体架构

*与上一张图异曲同工

1.15商业智能技术

1. 数据仓库:跨功能的数据库

?历史细节数据

?中型到大型的数据库

2. 数据集市:聚焦在选定的主题上

?依靠的(数据直接来自企业数据库)

?独立的stand-alone

3. 多维分析

?通过多个业务主题对汇总数据进行分析

?以性能为导向

对数据的不同层次进行钻取

4.数据挖掘:工具驱动

?依靠算法识不和预测

1.16数据仓库系统特征

1.满足分析或决策类的应用需求

非操作型的应用

2.一套整体性的决绝方案

由数据库、前端工具、系统治理平台等部分组成

3.仓库的特点

(1)高质量的数据平台

面向主题的、集成的、非易失的、随时刻变化的数据存储业务数据的统一视图

数据的一致性和完整性

(2)灵活的分析和展现平台

满足分析、查询、报表等多种类型的应用需求1.17企业级数据仓库模型的规划

1.18数据质量治理体系

1.19 OLAP多维分析

1.20 成功几个简单原则

总体规划,分不实时,急用先行,沿途下蛋

1.21 分步实施规划原则

1. 紧迫程度要紧是从业务角度来讲的,要紧因素包括:

?业务需求的紧迫性

?业务需求的重要性

?项目点可能带来的效益大小

2. 难易程度要紧是从技术方面考虑,阻碍因素包括

?可行性、实现的复杂程度

?周期的长度

?技术的成熟度

?预备工作的进度

?是否有足够的数据支持

?关键技术是否成熟

1.22 数据仓库治理概述

数据仓库的治理在不同的数据仓库建设时期,其范围和内容是不同的。数据仓库治理以数据仓库的生命周期分为规划、开发、运行和维护三个时期。与传统应用系统不同的是,数据仓库的开发是一个持续整个生命周期

的不断演进的过程。

1.23在不同的时期,数据仓库治理的重点是不同的1. 数据仓库的规划时期

?在现有系统中的位置、与现有系统的依靠关系;?前景需求的描述;

?业务需求的确立;

?实施条件的审核

2. 数据仓库的设计与实施时期

?项目的范围和打算的治理

?系统风险治理

?人员和组织结构的简历

?系统架构治理

?数据仓库技术的选用

?关键成功因素的确立

3. 数据仓库支持与完善时期

?数据一致性的维护

?性能的维护

?需求变更的维护

?备份与恢复的维护

1.24人员的组成

看系统结构

商业智能系统逻辑架构

2. 数据仓库需求治理

2.1 有哪些需求

2.1.1 有哪些需求

需求收集时期的目标是搜集业务与IT需求,同时确定数据仓库主题。这包括确定并记录下列类型的需求。

?功能需求:用来讲明系统将做什么

?非功能需求:确定将要建立的系统特性。如性能、可靠性、可用性、安全性、接口需求与设计约束等

?系统开发过程的详细需求:包括使用的方法论、安装与公布需求、验证、测试与培训需求等

2.1.2 需求和需求分析的内容

?需求分析的先决条件包括项目打算、主题模型、项目风险分析、数据质量可能、安全系统文档、安全特征、用户概况、评价数据仓库标准、性能标准、主题、宏观信息需求、IT标准、IT结构、开发测试与生产环境及其期限、信息结构文档、宏观业务需求和差不多的维模型等。

?可提交的文档包括:已确认的验证后的数据异常报告、详细需求文档、测试打算、培训策略和项目打算等。

2.1.3 需求分析的方法

数据仓库与数据挖掘课后习题答案

数据仓库与数据挖掘 第一章课后习题 一:填空题 1)数据库中存储的都是数据,而数据仓库中的数据都是一些历史的、存档的、归纳的、计算的数据。 2)数据仓库中的数据分为四个级别:早起细节级、当前细节级、轻度综合级、高度综合级。3)数据源是数据仓库系统的基础,是整个系统的数据源泉,通常包括业务数据和历史数据。4)元数据是“关于数据的数据”。根据元数据用途的不同将数据仓库的元数据分为技术元数据和业务元数据两类。 5)数据处理通常分为两大类:联机事务处理和联机事务分析 6)Fayyad过程模型主要有数据准备,数据挖掘和结果分析三个主要部分组成。 7)如果从整体上看数据挖掘技术,可以将其分为统计分析类、知识发现类和其他类型的数据挖掘技术三大类。 8)那些与数据的一般行为或模型不一致的数据对象称做孤立点。 9)按照挖掘对象的不同,将Web数据挖掘分为三类:web内容挖掘、web结构挖掘和web 使用挖掘。 10)查询型工具、分析型工具盒挖掘型工具结合在一起构成了数据仓库系统的工具层,它们各自的侧重点不同,因此适用范围和针对的用户也不相同。 二:简答题 1)什么是数据仓库?数据仓库的特点主要有哪些? 数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支

持管理决策。 主要特点:面向主题组织的、集成的、稳定的、随时间不断变化的、数据的集合性、支持决策作用 2)简述数据挖掘的技术定义。 从技术角度看,数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际数据中,提取隐含在其中的、人们不知道的、但又是潜在有用的信息和知识的过程。 3)什么是业务元数据? 业务元数据从业务角度描述了数据仓库中的数据,它提供了介于使用者和实际系统之间的语义层,使得不懂计算机技术的业务人员也能够读懂数据仓库中的数据 4)简述数据挖掘与传统分析方法的区别。 本质区别是:数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识。数据挖掘所得到的信息应具有先前未知、有效和实用三个特征。 5)简述数据仓库4种体系结构的异同点及其适用性。 a.虚拟的数据仓库体系结构 b.单独的数据仓库体系结构 c.单独的数据集市体系结构 d.分布式数据仓库结构

大数据仓库与大数据挖掘技术复习资料

数据仓库与数据挖掘技术复习资料 一、单项选择题 1.数据挖掘技术包括三个主要的部分( C ) A.数据、模型、技术 B.算法、技术、领域知识 C.数据、建模能力、算法与技术 D.建模能力、算法与技术、领域知识 2.关于基本数据的元数据是指: ( D ) A.基本元数据与数据源,数据仓库,数据集市和应用程序等结构相关的信息; B.基本元数据包括与企业相关的管理方面的数据和信息; C.基本元数据包括日志文件和简历执行处理的时序调度信息; D.基本元数据包括关于装载和更新处理,分析处理以及管理方面的信息。 3.关于OLAP和OLTP的说法,下列不正确的是: ( A) A.OLAP事务量大,但事务内容比较简单且重复率高 B.OLAP的最终数据来源与OLTP不一样 C.OLTP面对的是决策人员和高层管理人员 D.OLTP以应用为核心,是应用驱动的 4.将原始数据进行集成、变换、维度规约、数值规约是在以下哪个步骤的任务?( C ) A. 频繁模式挖掘 B. 分类和预测 C. 数据预处理 D. 数据流挖掘5.下面哪种不属于数据预处理的方法? ( D ) A.变量代换 B.离散化 C. 聚集 D. 估计遗漏值 6.在ID3 算法中信息增益是指( D ) A.信息的溢出程度 B.信息的增加效益 C.熵增加的程度最大 D.熵减少的程度最大 7.以下哪个算法是基于规则的分类器 ( A ) A. C4.5 B. KNN C. Bayes D. ANN 8.以下哪项关于决策树的说法是错误的( C ) A.冗余属性不会对决策树的准确率造成不利的影响 B.子树可能在决策树中重复多次 C.决策树算法对于噪声的干扰非常敏感 D.寻找最佳决策树是NP完全问题 9.假设收入属性的最小与最大分别是10000和90000,现在想把当前值30000映射到区间[0,1],若采用最大-最小数据规范方法,计算结果是( A )

数据仓库与数据挖掘试题

武汉大学计算机学院 20XX级研究生“数据仓库和数据挖掘”课程期末考试试题 要求:所有的题目的解答均写在答题纸上,需写清楚题目的序号。每张答题纸都要写上姓名和学号。 一、单项选择题(每小题2分,共20分) 1. 下面列出的条目中,()不是数据仓库的基本特征。B A.数据仓库是面向主题的 B.数据仓库是面向事务的 C.数据仓库的数据是相对稳定的 D.数据仓库的数据是反映历史变化的 2. 数据仓库是随着时间变化的,下面的描述不正确的是()。 A.数据仓库随时间的变化不断增加新的数据内容 B.捕捉到的新数据会覆盖原来的快照 C.数据仓库随事件变化不断删去旧的数据内容C D.数据仓库中包含大量的综合数据,这些综合数据会随着时间的变化不断地进行重新综合 3. 以下关于数据仓库设计的说法中()是错误的。A A.数据仓库项目的需求很难把握,所以不可能从用户的需求出发来进行数据仓库的设计,只能从数据出发进行设计 B.在进行数据仓库主题数据模型设计时,应该按面向部门业务应用的方式来设计数据模型 C.在进行数据仓库主题数据模型设计时要强调数据的集成性 D.在进行数据仓库概念模型设计时,需要设计实体关系图,给出数据表的划分,并给出每个属性的定义域 4. 以下关于OLAP的描述中()是错误的。A A.一个多维数组可以表示为(维1,维2,…,维n) B.维的一个取值称为该维的一个维成员 C.OLAP是联机分析处理 D.OLAP是数据仓库进行分析决策的基础 5. 多维数据模型中,下列()模式不属于多维模式。D A.星型模式 B.雪花模式 C.星座模式 D.网型模式 6. 通常频繁项集、频繁闭项集和最大频繁项集之间的关系是()。C A.频繁项集?频繁闭项集?最大频繁项集 B.频繁项集?最大频繁项集?频繁闭项集 C.最大频繁项集?频繁闭项集?频繁项集 D.频繁闭项集?频繁项集?最大频繁项集

数据仓库与数据挖掘-教学大纲

《数据仓库与数据挖掘》教学大纲 一、课程概况 课程名称:数据仓库与数据挖掘 英文名称:Data warehousing and data mining 课程性质:选修 课程学时:32 课程学分:2 授课对象:信息类的大学本科高年级学生 开课时间:三年级下学期 讲课方式:课堂+实验 主讲老师: 二、教学目的 本课程把数据视为基础资源,根据软件工程的思想,总结了数据利用的历程,讲述了数据仓库的基础知识和工具,研究了数据挖掘的任务及其挑战,给出了经典的数据挖掘算法,介绍了数据挖掘的产品,剖析了税务数据挖掘的案例,探索了大数据的管理和应用问题。 三、教学任务 完成《数据仓库与数据挖掘》教材内容,及教学计划中的互动实践内容,另有学生自主选题的大作业、选作的论文报告。32学时:课堂24、实验2、课外2、研讨4学时。 四、教学内容的结构 课程由9个教学单元组成,对应于《数据仓库与数据挖掘》的内容。 第1章数据仓库和数据挖掘概述 1.1概述1 1.2数据中心4 1.2.1关系型数据中心 1.2.2非关系型数据中心

1.2.3混合型数据中心(大数据平台)1.3混合型数据中心参考架构 第2章数据 2.1数据的概念 2.2数据的内容 2.2.1实时数据与历史数据 2.2.2时态数据与事务数据 2.2.3图形数据与图像数据 2.2.4主题数据与全部数据 2.2.5空间数据 2.2.6序列数据和数据流 2.2.7元数据与数据字典 2.3数据属性及数据集 2.4数据特征的统计描述22 2.4.1集中趋势22 2.4.2离散程度23 2.4.3数据的分布形状25 2.5数据的可视化26 2.6数据相似与相异性的度量29 2.7数据质量32 2.8数据预处理32 2.8.1被污染的数据33 2.8.2数据清理35 2.8.3数据集成36 2.8.4数据变换37 2.8.5数据规约38 第3章数据仓库与数据ETL基础39 3.1从数据库到数据仓库39 3.2数据仓库的结构39 3.2.1两层体系结构41 3.2.2三层体系结构41 3.2.3组成元素42 3.3数据仓库的数据模型43 3.3.1概念模型43 3.3.2逻辑模型43 3.3.3物理模型46 3.4 ETL46 3.4.1数据抽取47 3.4.2数据转换48 3.4.3数据加载49 3.5 OLAP49 3.5.1维49 3.5.2 OLAP与OLTP49 3.5.3 OLAP的基本操作50

数据仓库与数据挖掘习题

数据仓库与数据挖掘习题 1.1什么是数据挖掘?在你的回答中,强调以下问题: (a) 它是又一个骗局吗? (b) 它是一种从数据库,统计学和机器学习发展的技术的简单转换吗? (c) 解释数据库技术发展如何导致数据挖掘 (d) 当把数据挖掘看作知识发现过程时,描述数据挖掘所涉及的步骤。 1.2 给出一个例子,其中数据挖掘对于一种商务的成功至关重要的。这种商务需要什么数据挖掘功能?他们能够由数据查询处理或简单的统计分析来实现吗? 1.3 假定你是Big-University的软件工程师,任务是设计一个数据挖掘系统,分析学校课程数据库。该数据库包括如下信息:每个学生的姓名,地址和状态(例如,本科生或研究生),所修课程,以及他们累积的GPA(学分平均)。描述你要选取的结构。该结构的每个成分的作用是什么? 1.4 数据仓库和数据库有何不同?它们有那些相似之处? 1.5简述以下高级数据库系统和应用:面向对象数据库,空间数据库,文本数据库,多媒体数据库和WWW。 1.6 定义以下数据挖掘功能:特征化,区分,关联,分类,预测,聚类和演变分析。使用你熟悉的现实生活中的数据库,给出每种数据挖掘的例子。 1.7 区分和分类的差别是什么?特征化和聚类的差别是什么?分类和预测呢?对于每一对任务,它们有何相似之处? 1.8 根据你的观察,描述一种可能的知识类型,它需要由数据挖掘方法发现,但未在本章中列出。它需要一种不同于本章列举的数据挖掘技术吗? 1. 9 描述关于数据挖掘方法和用户交互问题的三个数据挖掘的挑战。 1. 10 描述关于性能问题的两个数据挖掘的挑战。 2.1 试述对于多个异种信息源的集成,为什么许多公司宁愿使用更新驱动的方法(构造使用数据仓库),而不愿使用查询驱动的方法(使用包装程序和集成程序)。描述一些情况,其中查询驱动方法比更新驱动方法更受欢迎。 2.2 简略比较以下概念,可以用例子解释你的观点 (a)雪花模式、事实星座、星型网查询模型 (b)数据清理、数据变换、刷新 (c)发现驱动数据立方体、多特征方、虚拟仓库 2.3 假定数据仓库包含三个维time,doctor和patient,两个度量count 和charge,其中charge 是医生对一位病人的一次诊治的收费。 (a)列举三种流行的数据仓库建模模式。 (b)使用(a)列举的模式之一,画出上面数据仓库的模式图。 (c)由基本方体[day,doctor,patient]开始,为列出2000年每位医生的收费总数,应当执行哪些OLAP操作? (d)为得到同样的结果,写一个SQL查询。假定数据存放在关系数据库中,其模式如下:fee(day,month,year,doctor,hospital,patient,count,charge) 2.4 假定Big_University的数据仓库包含如下4个维student, course, semester和instructor,2个度量count和avg_grade。在最低的概念层(例如对于给定的学生、课程、学期和教师的组合),度量avg_grade存放学生的实际成绩。在较高的概念层,avg_grade存放给定组合的

数据仓库与数据挖掘学习心得

数据仓库与数据挖掘学习心得 通过数据仓库与数据挖掘的这门课的学习,掌握了数据仓库与数据挖掘的一些基础知识和基本概念,了解了数据仓库与数据库的区别。下面谈谈我对数据仓库与数据挖掘学习心得以及阅读相关方面的论文的学习体会。 《浅谈数据仓库与数据挖掘》这篇论文主要是介绍数据仓库与数据挖掘的的一些基本概念。数据仓库是支持管理决策过程的、面向主题的、集成的、稳定的、不同时间的数据集合。主题是数据数据归类的标准,每个主题对应一个客观分析的领域,他可为辅助决策集成多个部门不同系统的大量数据。数据仓库包含了大量的历史数据,经集成后进入数据仓库的数据极少更新的。数据仓库内的数据时间一般为5年至10年,主要用于进行时间趋势分析。数据仓库的数据量很大。 数据仓库的特点如下: 1、数据仓库是面向主题的; 2、数据仓库是集成的,数据仓库的数据有来自于分散的操作型数据,将所需数据从原来的数据中抽取出来,进行加工与集成,统一与综合之后才能进入数据仓库; 3、数据仓库是不可更新的,数据仓库主要是为决策分析提供数据,所涉及的操作主要是数据的查询; 4、数据仓库是随时间而变化的,传统的关系数据库系统比较适合处理格式化的数据,能够较好的满足商业商务处理的需求,它在商业领域取得了巨大的成功。

作为一个系统,数据仓库至少包括3个基本的功能部分:数据获取:数据存储和管理;信息访问。 数据挖掘的定义:数据挖掘从技术上来说是从大量的、不完全的、有噪音的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在的有用的信息和知识的过程。 数据开采技术的目标是从大量数据中,发现隐藏于其后的规律或数据间的的关系,从而服务于决策。数据挖掘的主要任务有广义知识;分类和预测;关联分析;聚类。 《数据仓库与数据挖掘技术在金融信息化中的应用》论文主要通过介绍数据额仓库与数据挖掘的起源、定义以及特征的等方面的介绍引出其在金融信息化中的应用。在金融信息化的应用方面,金融机构利用信息技术从过去积累的、海量的、以不同形式存储的数据资料里提取隐藏着的许多重要信息,并对它们进行高层次的分析,发现和挖掘出这些数据间的整体特征描述及发展趋势预测,找出对决策有价值的信息,以防范银行的经营风险、实现银行科技管理及银行科学决策。 现在银行信息化正在以业务为中心向客户为中心转变6银行信息化不仅是数据的集中整合,而且要在数据集中和整合的基础上向以客为中心的方向转变。银行信息化要适应竞争环境客户需求的变化,创造性地用信息技术对传统过程进行集成和优化,实现信息共享、资源整合综合利用,把银行的各项作用统一起来,优势互补统一调配各种资源,为银行的客户开发、服务、综理财、管理、风险防范创立坚实的基础,从而适应日益发展的数据技术需要,全面提高银行竞争力,为金融创新和提高市场反映能力

数据仓库与数据挖掘课后习题答案

数据仓库与数据挖掘课后习 题答案 -标准化文件发布号:(9456-EUATWK-MWUB-WUNN-INNUL-DDQTY-KII

数据仓库与数据挖掘 第一章课后习题 一:填空题 1)数据库中存储的都是数据,而数据仓库中的数据都是一些历史的、存档的、归纳的、计算的数据。 2)数据仓库中的数据分为四个级别:早起细节级、当前细节级、轻度综合级、高度综合级。 3)数据源是数据仓库系统的基础,是整个系统的数据源泉,通常包括业务数据和历史数据。 4)元数据是“关于数据的数据”。根据元数据用途的不同将数据仓库的元数据分为技术元数据和业务元数据两类。 5)数据处理通常分为两大类:联机事务处理和联机事务分析 6)Fayyad过程模型主要有数据准备,数据挖掘和结果分析三个主要部分组成。 7)如果从整体上看数据挖掘技术,可以将其分为统计分析类、知识发现类和其他类型的数据挖掘技术三大类。 8)那些与数据的一般行为或模型不一致的数据对象称做孤立点。 9)按照挖掘对象的不同,将Web数据挖掘分为三类:web内容挖掘、web结构挖掘和web使用挖掘。 10)查询型工具、分析型工具盒挖掘型工具结合在一起构成了数据仓库系统的工具层,它们各自的侧重点不同,因此适用范围和针对的用户也不相同。 二:简答题 1)什么是数据仓库数据仓库的特点主要有哪些 2) 数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策。 主要特点:面向主题组织的、集成的、稳定的、随时间不断变化的、数据的集合性、支持决策作用 3)简述数据挖掘的技术定义。 从技术角度看,数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际数据中,提取隐含在其中的、人们不知道的、但又是潜在有用的信息和知识的过程。 4)什么是业务元数据? 业务元数据从业务角度描述了数据仓库中的数据,它提供了介于使用者和实际系统之间的语义层,使得不懂计算机技术的业务人员也能够读懂数据仓库中的数据 5)简述数据挖掘与传统分析方法的区别。 本质区别是:数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识。数据挖掘所得到的信息应具有先前未知、有效和实用三个特征。 6)简述数据仓库4种体系结构的异同点及其适用性。 a.虚拟的数据仓库体系结构 b.单独的数据仓库体系结构

(数据仓)数据仓库与数据挖掘分析

Adventure Works分销商销售数据分析 ---Women’s Tights 一、概述 Women’s Tights型号共三种产品,分别为“Women’s Tights,L”、“omen’s Tights,M”和“omen’s Tights,S”。这三种商品在拿大、法国和英国均有销售。 在Adventure WorksDW数据库中查询得知三种产品的总销售额如下: 表 1 三种商品销量对比 English Product Name Sales Amount Women's Tights, L$93,554.46 Women's Tights, M$17,727.64 Women's Tights, S$90,550.91 总计$201,833.01 查询命令为: SELECT DimProduct.EnglishProductName AS产品, SUM(FactResellerSales.SalesAmount)AS销售额 FROM DimProduct INNER JOIN FactResellerSales ON DimProduct.ProductKey = FactResellerSales.ProductKey GROUP BY DimProduct.EnglishProductName, DimProduct.ModelName HAVING(DimProduct.ModelName ='Women''s Tights') 从上表可以看出,[Women's Tights, L]与[Women's Tights, S]的销量相当,而[Women's Tights, M]的销量明显低于另两种,其销量只占总销量的9%。会有如此大的差距呢?下面运用OLAP技术进行分析。 为叙述方便,下文用“M”简称[Women's Tights, M],用“L”表示[Women's Tights, L],用“S”表示[Women's Tights, S]。 二、多维数据集的设计

数据仓库与数据挖掘

数据仓库与数据挖掘 摘要 数据挖掘是一新兴的技术,近年对其研究正在蓬勃开展。本文阐述了数据仓库及数据挖掘的相关概念.做了相应的分析,同时共同探讨了两者共同发展的关系,并对数据仓库与挖掘技术结合应用的发展做了展望。用Data Miner作为对数据挖掘的工具,给出了应用于医院的数据仓库实例。指出了数据挖掘技术在医疗费用管理、医疗诊断管理、医院资源管理中具有的广泛应用性,为支持医院管理者的分析决策作出了积极探索。 Abstract The Data Mine is a burgeoning technology,the research about it is developing flourishing.In this paper,it expatiates and analyses the concepts of Data Warehouse and Data Mine Together,discussing the connections of how to expand the two technologies,and combining the two technologies with prospect.The data warehouse supports the mass data on the further handling and recycling.The paper points out the use of data mining in patient charge control,medical quality control, hospital resources allocation management. It helps the hospital to make decisions positively 关键字:数据仓库;数据挖掘;医院信息系统 Key words:Data Warehouse;Data Mine;Hospital information system

《数据仓库与数据挖掘》复习题

2014-2015-1《数据仓库与数据挖掘》 期末考试题型 一、单项选择题(每小题2分,共20分) 二、填空题(每空1分,共20分) 三、简答题(每题6分,共30分) 四、析题与计算题(共30分) 请同学们在考试时不要将复习资料带入考场!!! 单选题 1. 某超市研究销售纪录数据后发现,买啤酒的人很大概率也会购买尿布,这种属于数据挖掘的哪类问题?(A) A. 关联规则发现 B. 聚类 C. 分类 D. 自然语言处理 2. 以下两种描述分别对应哪两种对分类算法的评价标准? (A) (a)警察抓小偷,描述警察抓的人中有多少个是小偷的标准。 (b)描述有多少比例的小偷给警察抓了的标准。 A. Precision, Recall B. Recall, Precision A. Precision, ROC D. Recall, ROC 3. 将原始数据进行集成、变换、维度规约、数值规约是在以下哪个步骤的任务?(C) A. 频繁模式挖掘 B. 分类和预测 C. 数据预处理 D. 数据流挖掘

当不知道数据所带标签时,可以使用哪种技术促使带同类标签的数据与带其他4. 标签的数据相分离?(B) A. 分类 B. 聚类 C. 关联分析 D. 隐马尔可夫链 5. 什么是KDD? (A) A. 数据挖掘与知识发现 B. 领域知识发现 C. 文档知识发现 D. 动态知识发现 6. 使用交互式的和可视化的技术,对数据进行探索属于数据挖掘的哪一类任务?(A) A. 探索性数据分析 B. 建模描述 C. 预测建模 D. 寻找模式和规则 7. 为数据的总体分布建模;把多维空间划分成组等问题属于数据挖掘的哪一类任务?(B) A. 探索性数据分析 B. 建模描述 C. 预测建模 D. 寻找模式和规则 8. 建立一个模型,通过这个模型根据已知的变量值来预测其他某个变量值属于数据挖掘的哪一类任务?(C) A. 根据内容检索 B. 建模描述 C. 预测建模 D. 寻找模式和规则 9. 用户有一种感兴趣的模式并且希望在数据集中找到相似的模式,属于数据挖掘哪一类任务?(A) A. 根据内容检索 B. 建模描述

数据仓库与数据挖掘

衡水学院经济学与管理学系实验报告

二、定义和部署多维数据集 1.定义维度 可以使用多维数据集向导,通过单个步骤定义一个多维数据集及其维度。也可以先定义一个或多个维度,然后使用多维数据集向导定义一个使用这些维度的多维数据集。如果要设计一个复杂的解决方案,通常是先定义维度。 (定义【时间维度】)在“解决方案资源管理器”中,用鼠标右键单击“维度”文件夹,然后单击【新建维度】,将显示维度向导。 点击【下一步】,在随后的“指定源信息”页上,选择Adventure Works DW 2012OLAP 数据源视图;在“主表”列表中,选择“日期”表,勾选属性,并修改属性类型

2生成多维数据集 这一步在上面创建的数据源视图的基础上生成多维数据集,方法如下: (a)在“解决方案资源管理器”中用鼠标右键单击“多维数据集”文件夹对象,在弹出的快捷菜单中选择【新建多维数据集】命令。 (b)在弹出的“多维数据集向导”欢迎界面中单击【下一步】按钮进入“选择创建方法”窗口,选择“使用现有表”,继续点击【下一步】,按图5选择度量值组的表

单击【下一步】按钮,在选择【现有维度】页上,选择已有的维度--时间维度,然后单击【下一步】,在【选择新维度】页上,选择要创建的新维度。为此,请确认已选中“客户”、和“产品”复选框,再单击【下一步】完成。 (c)完成向导后,可以查看建立的多维数据集结构,如图7所示,为多维数据集的数据源视图,与前面的数据源视图相比较,这里的视图表达的是多维数据集的表间关系,而且用黄色标记了事实表,蓝色标记了维度表。 3.向维度添加属性 前面已经定义了维度,维度中的属性可以通过下面方法添加。 (a)向“客户”维度中添加属性 在解决方案资源管理器的“维度”节点中双击“客户”维度,此时就打开了“客户”维度的维度设计器。如图8。 在“数据源视图”窗格中,将 Customer 表的以下各列拖到“属性”窗格中:BirthDate,MaritalStatus,Gender,EmailAddress,YearlyIncome,TotalChildren,NumberChildrenAtHome,EnglishEducation,EnglishOccupation,HouseOwnerFlag,NumberCarsOwned,Phone,DateFirstPurchase,CommuteDistance。 将“数据源视图”窗格内 Geography 表中的以下各列拖到“属性”窗格中:City,StateProvinceName,EnglishCountryRegionName,PostalCode。 (b)向“产品”维度中添加属性 将“数据源视图”窗格内 Product 表中的以下各列拖到“属性”窗格中:StandardCost,Color,SafetyStockLevel,ReorderPoint,ListPrice,Size,SizeRange,Weight,DaysToManufacture,ProductLine,DealerPrice,Class,Style,ModelName,StartDate, 4、部署多维数据集

数据仓库与数据挖掘(陈志泊)_复习题答案

数据仓库与数据挖掘习题答案 第1章数据仓库的概念与体系结构 1. 面向主题的,相对稳定的。 2. 技术元数据,业务元数据。 3. 联机分析处理OLAP。 4. 切片(Slice),钻取(Drill-down和Roll-up等)。 5. 基于关系数据库。 6. 数据抽取,数据存储与管理。 7. 两层架构,独立型数据集市,依赖型数据集市和操作型数据存储,逻辑型数据集市和实时数据仓库。 8. 可更新的,当前值的。 9. 接近实时。 10. 以报表为主,以分析为主,以预测模型为主,以营运导向为主。 11. 答: 数据仓库就是一个面向主题的(Subject Oriented)、集成的(Integrate)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合,通常用于辅助决策支持。 数据仓库的特点包含以下几个方面: (1)面向主题。操作型数据库的数据组织是面向事务处理任务,各个业务系统之间各自分离;而数据仓库中的数据是按照一定的主题域进行组织。主题是一个抽象的概念,是指用户使用数据仓库进行决策时所关心的重点领域,一个主题通常与多个操作型业务系统或外部档案数据相关。 (2)集成的。面向事务处理的操作型数据库通常与某些特定的应用相关,数据库之间相互独立,并且往往是异构的。而数据仓库中的数据是在对原有分散的数据库数据作抽取、清理的基础上经过系统加工、汇总和整理得到的,必须消除源数据中的不一致性,以保证数据仓库内的信息是关于整个企事业单位一致的全局信息。也就是说存放在数据仓库中的数据应使用一致的命名规则、格式、编码结构和相关特性来定义。 (3)相对稳定的。操作型数据库中的数据通常实时更新,数据根据需要及时发生变化。数据仓库的数据主要供单位决策分析之用,对所涉及的数据操作主要是数据查询和加载,一旦某个数据加载到数据仓库以后,一般情况下将作为数据档案长期保存,几乎不再做修改和删除操作,也就是说针对数据仓库,通常有大量的查询操作及少量定期的加载(或刷新)操作。 (4)反映历史变化。操作型数据库(OLTP)主要关心当前某一个时间段内的数据,而数据仓库中的数据通常包含较久远的历史数据,因此总是包括一个时间维,以便可以研究趋势和变化。数据仓库系统通常记录了一个单位从过去某一时点(如开始启用数据仓库系统的时点)到目前的所有时期的信息,通过这些信息,可以对单位的发展历程和未来趋势做出定量分析和预测。 12. 答: (1)两层架构(Generic Two-Level Architecture)。 (2)独立型数据集市(Independent Data Mart)。 (3)依赖型数据集市和操作型数据存储(Dependent Data Mart and Operational Data Store)。 (4)逻辑型数据集市和实时数据仓库(Logical Data Mart and Real-Time Data

数据仓库与数据挖掘

一、数据仓库的特征: (1)面向主题性 ?主题:是一个抽象的概念,是在较高层次上将企业信息系统中的数据综合、归类并 进行分析利用的抽象。在逻辑上,它对应于企业中某一宏观分析领域所涉及的分析对象。 ?面向主题的数据组织方式可在较高层次上对分析对象的数据给出完整、一致的描述, 能完整、统一的刻画各个分析对象所涉及的企业的各项数据以及数据之间的联系,从而适应企业各个部门的业务活动特点和企业数据的动态特征,从根本上实现数据与应用的分离。 (2)集成性 ?数据仓库中的数据是从原有分散的源数据库中提取出来的,其每一个主题所对应的 源数据在原有的数据库中有许多冗余和不一致,且与不同的应用逻辑相关。为了创建一个有效的主题域,必须将这些来自不同数据源的数据集成起来,使之遵循统一的编码规则。因此,数据仓库在提取数据时必须经过数据集成,消除源数据中的矛盾,并进行数据综合和计算。经过数据集成后,数据仓库所提供的信息比数据库提供的信息更概括、更本质。 (3)时变性 ?时变性:许多商业分析要求对发展趋势做出预测,对发展趋势的分析需要访问历史 数据。因此数据仓库必须不断捕捉OLTP数据库中变化的数据,生成数据库的快照,经集成后增加到数据仓库中去;另外数据仓库还需要随时间的变化删去过期的、对分析没有帮助的数据,并且还需要按规定的时间段增加综合数据。 (4)非易失性 ?数据仓库中的数据反映的是一段时间内历史数据的内容,是不同时点的数据库快照 的集合,以及基于撰写快照进行统计、综合和重组的导出数据,而不是联机处理的数据。主要供企业高层决策分析之用,所涉及的数据操作主要是查询,一般情况下并不进行修改操作,即数据仓库中的数据是不可实时更新的,仅当超过规定的存储期限,才将其从数据仓库中删除,提取新的数据经集成后输入数据仓库 (5)集合性 ?数据仓库的集合性意味着数据仓库以某种数据集合的形式存储起来。 二、KDD过程中的数据准备中的三个子步骤: (1)数据集成 ?将多文件或多数据库运行环境中的数据进行合并处理,解决语义模糊性、处理数据 中的遗漏和清洗脏数据等。 (2)数据选择 ?数据选取的目的是确定目标数据,根据用户的需要从原始数据库中选取相关数据或 样本。在此过程中,将利用一些数据库操作对数据库进行相关处理。 (3)数据预处理 ?对步骤2中选出的数据进行再处理,检查数据的完整性及一致性,消除噪声及与数 据挖掘无关的冗余数据,根据时间序列和已知的变化情况,利用统计等方法填充丢失的数据。 三、KDD过程中的“结果的解释和评估”步骤说明: ?对在数据挖掘步骤中发现的模式(知识)进行解释。通过机器评估剔除冗余或无关

数据仓库与数据挖掘实验报告

一、上机目的及内容 目的: 1.理解数据挖掘的基本概念及其过程; 2.理解数据挖掘与数据仓库、OLAP之间的关系 3.理解基本的数据挖掘技术与方法的工作原理与过程,掌握数据挖掘相关工具的使用。 内容: 将创建一个数据挖掘模型以训练销售数据,并使用“Microsoft 决策树”算法在客户群中找出购买自行车模式。请将要挖掘的维度(事例维度)设置为客户,再将客户的属性设置为数据挖掘算法识别模式时要使用的信息。然后算法将使用决策树从中确定模式。下一步需要训练模型,以便能够浏览树视图并从中读取模式。市场部将根据这些模式选择潜在的客户发送自行车促销信息。 要求: 利用实验室和指导教师提供的实验软件,认真完成规定的实验内容,真实地记录实验中遇到的各种问题和解决的方法与过程,并根据实验案例绘出模型及操作过程。实验完成后,应根据实验情况写出实验报告。 二、实验原理及基本技术路线图(方框原理图或程序流程图) 关联分析:关联分析是从数据库中发现知识的一类重要方法。 时序模式:通过时间序列搜索出重复发生概率较高的模式。 分类:分类是在聚类的基础上对已确定的类找出该类别的概念描述,代表了这类数据的整体信息,既该类的内涵描述,一般用规则或决策树模式表示。 三、所用仪器、材料(设备名称、型号、规格等或使用软件) 1台PC及Microsoft SQL Server套件 四、实验方法、步骤(或:程序代码或操作过程)及实验过程原始记录( 测试数据、图表、计算等) 创建 Analysis Services 项目 1.打开 Business Intelligence Development Studio。 2.在“文件”菜单上,指向“新建”,然后选择“项目”。 3.确保已选中“模板”窗格中的“Analysis Services 项目”。 4.在“名称”框中,将新项目命名为 AdventureWorks。 5.单击“确定”。

数据仓库与数据挖掘技术-试题答案

数据仓库与数据挖掘技术 答案 一、简答 1.为什么需要对数据进行预处理?数据预处理主要包括哪些工作(需要对数据进行哪些方面预处理)? (1)现实世界的数据是杂乱的,数据多了什么问题会出现。数据库极易受到噪音数据(包含错误或孤立点)、遗漏数据(有些感兴趣的属性缺少属性值或仅包含聚集数据)和不一致数据(在编码或者命名上存在差异)的侵扰,因为数据库太大,常常多达几G或更多。进行数据预处理,提高数据质量,从而提高挖掘结果质量。 (2)数据预处理主要包括:数据清理:去除数据中的噪音、纠正不一致;数据集成:将数据由多个源合并成一致的数据存储,如数据仓库或数据方;数据交换:规范化或聚集可以改进涉及距离度量的挖掘算法精度和有效性;数据归约:通过聚集、删除冗余特征或聚类等方法来压缩数据。数据离散化:属于数据归约的一部分,通过概念分层和数据的离散化来规约数据,对数字型数据特别重要。 2. 什么叫有监督学习?什么叫无监督学习? 监督学习(Supervised learning)是通过发现数据属性和类别属性之间的关联模式,并通过利用这些模式来预测未知数据实例的类别属性。监督学习又称为分类Classification或归纳学习Inductive Learning。 无监督学习(Unsupervised learning)即聚类技术。在一些应用中,数据的类别属性是缺失的,用户希望通过浏览数据来发现其的某些内在结构。聚类就是发现这种内在结构的技术。 3.什么是数据仓库的星形模式?它与雪花模式有何不同? 雪花模式与星形模式不同在于:雪花模式的维表可能是规范化形式,以便减少冗余。这种表易于维护,并节省存储空间,因为当维结构作为列包含在内时,大维表可能非常大。然而,与巨大的事实表相比,这种空间的节省可以忽略。此外,由于执行查询更多的连接操作,雪花结构可能降低浏览的性能。这样系统的性能可能受影响。因此,在数据仓库设计中,雪花模式不如星形模式流行。 二、写出伪代码

数据仓库与数据挖掘论文

数据仓库与数据挖掘论文 Revised by Jack on December 14,2020

《数据仓库与数据挖掘》论文 题目:浅析基于数据仓库与数据挖掘技术的决策支持系统 指导老师: 班级: 学号: 姓名: 专业: 2012年11月2日 摘要 通过对数据仓库与数据挖掘的学习和大致的了解,主要提出了一种基于数据仓库的数据挖掘系统的决策支持系统的框架。该文章把数据仓库、数据挖掘工具和知识库结合在一起,提高了数据挖掘的效率。增加了挖掘数据的效率和价值实用性! 一、概述 今天,越来越多的企业认识到要从以往的事务处理和决策中总结经验,利用现有的数据进行分析和推理,建立企业的决策支持系统(DSS)以提高决策的质量。企业如果不能快速精确的收集和分析信息,将无法进行科学而有效的决策。建立数据仓库(Data warehouse)将能很的解决这一问题,使企业从大量的业务信息中筛选出所需的信息,并做出正确的决策。数据仓库不是单一的产品,而是综合了多种信息技术的计算环境。它将全

企业的运行数据汇集到一个精心设计的关系数据库中,并将它们转换成面向主题(Subject-oriented)的形式,使最终用户很容易的从历史的角度对这些数据进行访问和分析。以银行为例,通常,银行的应用系统是按业务分类的,如储蓄、信贷、信用卡等,一个客户的信息分布在不同的业务系统中,要想得到一个客户的全面信息非常困难。银行通过建立数据仓库,可以将分离在各个业务系统中的数据合并成一个统一的图表,这样就可以看到客户在各个系统中的全貌,而且可以从历史的角度对客户档案进行分析,以便做出为每一个客户进一步服务的决策。 二、数据仓库和数据挖掘的基本概念 数据仓库是支持管理决策过程的、面向主题的、集成的、随时间而变的、持久的数据集合。数据仓库系统负责从操作型数据库中抽取数据,实现对集成和综合后的数据的管理,并把数据呈现给一组数据仓库前端工具,以满足用户的各种分析和决策的需求。数据仓库系统的前端工具以OLAP 工具和数据挖掘工具为代表,是用户赖以从数据仓库中提取、分析数据,以及实施决策的必经途径。数据挖掘DM(Data Mining),是指从数据中识别出潜在有用的、先前未知的、最终可理解的模式的非平凡过程。研究基于数据仓库的数据挖掘系统结构框架是很有意义的。 三、数据仓库的结构、功能 1、数据仓库的基本结构

数据仓库与数据挖掘论文

《数据仓库与数据挖掘》论文 题目:浅析基于数据仓库与数据挖掘技术的决策支持系统 指导老师: 班级: 学号: 姓名: 专业: 2012年11月2日

摘要 通过对数据仓库与数据挖掘的学习和大致的了解,主要提出了一种基于数据仓库的数据挖掘系统的决策支持系统的框架。该文章把数据仓库、数据挖掘工具和知识库结合在一起,提高了数据挖掘的效率。增加了挖掘数据的效率和价值实用性! 一、概述 今天,越来越多的企业认识到要从以往的事务处理和决策中总结经验,利用现有的数据进行分析和推理,建立企业的决策支持系统(DSS)以提高决策的质量。企业如果不能快速精确的收集和分析信息,将无法进行科学而有效的决策。建立数据仓库(Data warehouse)将能很的解决这一问题,使企业从大量的业务信息中筛选出所需的信息,并做出正确的决策。数据仓库不是单一的产品,而是综合了多种信息技术的计算环境。它将全企业的运行数据汇集到一个精心设计的关系数据库中,并将它们转换成面向主题(Subject-oriented)的形式,使最终用户很容易的从历史的角度对这些数据进行访问和分析。以银行为例,通常,银行的应用系统是按业务分类的,如储蓄、信贷、信用卡等,一个客户的信息分布在不同的业务系统中,要想得到一个客户的全面信息非常困难。银行通过建立数据仓库,可以将分离在各个业务系统中的数据合并成一个统一的图表,这样就可以看到客户在各个系统中的全貌,而且可以从历史的角度对客户档案进行分析,

以便做出为每一个客户进一步服务的决策。 二、数据仓库和数据挖掘的基本概念 数据仓库是支持管理决策过程的、面向主题的、集成的、随时间而变的、持久的数据集合。数据仓库系统负责从操作型数据库中抽取数据,实现对集成和综合后的数据的管理,并把数据呈现给一组数据仓库前端工具,以满足用户的各种分析和决策的需求。数据仓库系统的前端工具以OLAP 工具和数据挖掘工具为代表,是用户赖以从数据仓库中提取、分析数据,以及实施决策的必经途径。数据挖掘DM(Data Mining),是指从数据中识别出潜在有用的、先前未知的、最终可理解的模式的非平凡过程。研究基于数据仓库的数据挖掘系统结构框架是很有意义的。 三、数据仓库的结构、功能 1、数据仓库的基本结构 数据仓库中的信息存储,根据对数据的不同深度的分析处理而区分为不同的层次,其基本结构分为以下几个部分: (1)历史性详细数据层:它存储历史数据,用于数据对比、回归、汇总等供分析、建模预测之用。历史数据一般为5 至10 年或更久的数据,它纵向只对数据/信息进行分类存储。 (2)当前详细数据层:存储当前最新详细数据,重点用于了解当前情况,是进一步分析数据的基础。在一定时刻,这些数据会转移到历

数据仓库与数据挖掘--课后答案-(陈志泊-著)-清华大学出版社

第1章数据仓库的概念与体系结构 1.数据仓库就是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合。 2.元数据是描述数据仓库内数据的结构和建立方法的数据,它为访问数据仓库提供了一个信息目录,根据元数据用途的不同可将数据仓库的元数据分为技术元数据和业务元数据两类。 3.数据处理通常分成两大类:联机事务处理OLTP和联机分析处理OLAP。 4.多维分析是指对以“维”形式组织起来的数据(多维数据集)采取切片(Slice)、切块(dice)、钻取(Drill-down 和Roll-up 等)和旋转(pivot)等各种分析动作,以求剖析数据,使用户能从不同角度、不同侧面观察数据仓库中的数据,从而深入理解多维数据集中的信息。 5. ROLAP是基于关系数据库的OLAP实现,而MOLAP是基于多维数据结构组织的OLAP实现。 6.数据仓库按照其开发过程,其关键环节包括数据抽取、数据存储与管理和数据表现等。 7.数据仓库系统的体系结构根据应用需求的不同,可以分为以下4种类型:两层架构、独立型数据集市、依赖型数据集市和操作型数据存储、逻辑型数据集市和实时数据仓库。 8.操作型数据存储实际上是一个集成的、面向主题的、可更新的、当前值的(但是可“挥发”的)、企业级的、详细的数据库,也叫运营数据存储。 9.“实时数据仓库”意味着源数据系统、决策支持服务和数据仓库之间以一个接近实时的速度交换数据和业务规则。 10.从应用的角度看,数据仓库的发展演变可以归纳为5个阶段:以报表为主、以分析为主、以预测模型为主、以营运导向为主、以实时数据仓库和自动决策为主。 11.什么是数据仓库?数据仓库的特点主要有哪些? 答:数据仓库就是一个面向主题的(Subject Oriented)、集成的(Integrate)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合,通常用于辅助决策支持。 数据仓库的特点包含以下几个方面:(1)面向主题。操作型数据库的数据组织是面向事务处理任务,各个业务系统之间各自分离;而数据仓库中的数据是按照一定的主题域进行组织。主题是一个抽象的概

相关文档
最新文档