BW与DW项目实施方法论

1.BW项目实施方法论
实施SAP BW项目，需要一个理想的项目团队，一般来说，需要包括下述人员：
数据仓库设计师：负责监督整个项目，特别是结构设计和系统整合。

企业分析师：负责获取企业需求和源数据系统的数据模型，特别是R/3系统。

技术开发员：必须熟悉BW、ABAP、ALE/Idoc以及VB，并且能够创建BW对象和用户界面友好的报告。

基础平台和数据库管理员：负责安装、维护BW系统、系统概貌、BW系统之间的通讯以及源系统。

实际实施过程中，还要遵循一定的规则和步骤，下面是SAP提供的简化的BW项目规划方案：整个项目实施分为“设计-开发-测试-培训-上线”五个阶段组织。

阶段2：开发
注：Sandbox 效应就是Google的沙盒效应(Sandbox Effect)。

所谓沙盒效应指的是，新的网站在Google里面很难得到好的排名，无论你怎么优化这个网站。

换句话说，一个新的网站，可以有很丰富的相关的内容，可以有大量的高质量的链接，网站既搜索引擎友好，也用户友好，所有一切都优化的很好。

但是在一段时间之内，就是很难在Google里面得到好的排名。

阶段3：测试
注：LoadRunner是一个内涵丰富，功能强大的性能测试工具。

数据仓库的实施步骤
1：项目前期准备--项目目标、实施计划、工作职责；
2：需求分析--确定数据源、命名规范；
3：逻辑数据模型的设计--业务规则、ER图、ERWin工具；
4：系统体系结构的设计--拓扑结构、安全、数据体系结构、备份系统等；
5：物理数据库设计--物理数据模型、主次索引、建立数据库；
6：ETL过程--50%的工作量在数据转换与加载；
7：前端应用开发；
8：数据仓库管理--数据的备份与操作；
9：测试验收与试运行；
数据仓库的具体实施步骤
01项目前期准备：在建立项目组织机构(项目领导小组、业务咨询、质量保证小组、业务规范小组、应用开发小组、基础设施小组(体系结构、LDM、ETL))；
02业务调研：包括业务访谈、业务需求编写、业务需求分析；
03信息调研：通过信息调研交付源数据分析报告与源系统数据字典；
04逻辑数据模型LDM：基于概念数据模型，是IT人员与业务人员沟通的工具；
05物理数据模型PDM：由LDM转换来，包括定义主次索引、非正则化处理；
06系统体系结构设计：包括安全体系、数据体系、ETL体系、信息存取体系、运行维护体系、开发测试环境体系；
07应用设计：包括概要设计、详细设计、模型设计(应用数据模型设计、公共分析维度设计)；
08ETL开发：交付ETL设计说明书、数据映射说明书、ETL程序及脚本、数据质量检查报告；
09应用开发：应用功能模块包括报表、多维分析、KPI、即席查询、专题分析应用；
10数据挖掘服务：知识发现将数据转变成信息的潜在模式，适应应用将发现的知识应用于某种目标如预测；11元数据管理：元数分散于DW的各个环节中，采用元数据管理体系将元数据统一存储在元数据存储库中；12软硬件设备安装：包括硬件设备、软件系统、客户端工具以及使用现场培训；
13系统管理与维护：：使用管理工具与监控工具；
14系统测试与验收：项目实施基本完成；
15项目结束与回顾：项目收尾、总结与汇报、经验与教训。

数据集市是在构建数据仓库的时候经常用到的一个词汇。

如果说数据仓库是企业范围的，收集的是关于整个组织的主题，如顾客、商品、销售、资产和人员等方面的信息，那么数据集市则是包含企业范围数据的一个子集，例如只包含销售主题的信息，这样数据集市只对特定的用户是有用的，其范围限于选定的主题。

数据集市面向企业中的某个部门（或某个主题）是从数据仓库中划分出来的，这种划分可以是逻辑上的，也可以是物理上的。

例如在AdventureWorksDW数据仓库中就是逻辑上划分的数据集市。

数据仓库中存放了企业的整体信息，而数据集市只存放了某个主题需要的信息，其目的是减少数据处理量，使信息的利用更加快捷和灵活。

数据仓库由于是企业范围的，能对多个相关的主题建模，所以在设计其数据构成时一般采用星系模式，AdventureWorksDW数据仓库就是这种情况。

而数据集市是部门级的，具有选定的主题，可以采用星形或雪花模式。

图3-15是数据仓库、数据集市和数据立方之间的关系，通过此图可以更好地理解这3个概念。

1、宏观上的数据仓库设计
广义的数据仓库包括2部分，一是数据仓库数据库，用于存储数据仓库的数据；二是数据分析部分，用于对数据仓库数据库中的数据进行分析。

广义的数据仓库设计应该包括数据仓库数据库的设计和数据仓库的应用设计2个方面，而数据仓库的应用与数据仓库的设计一脉相承，共同构成了数据仓库应用的整个生命周期，这个周期包括3个阶段：数据仓库规划分析阶段、数据仓库设计实施阶段及数据仓库的使用维护阶段。

对这3个阶段的分别设计就是数据仓库宏观上的设计。

3个阶段是一个不断循环、完善和提高的过程。

在一般情况下数据仓库系统不可能在一个循环过程中完成，而是经过多次循环开发，每次循环都会为系统增加新的功能，使数据仓库的应用得到新的提高。

图3-16表达了这个循环的运动过程。

这一个过程将软件工程思想应用在数据仓库的设计中，主要用在大型的数据仓库工程项目中，包含了构建完整应用的全过程，因此在本章不具体讨论此过程的使用细节，本书第10章“基于SSAS的商务智能分析”将会对这个过程中的有些重要步骤进行详细讲解。

2、微观上的数据仓库设计
微观上的数据仓库设计实际上指的是数据仓库数据库的设计，亦即宏观上设计仓库设计的第1个部分。

在这个层面上主要任务是进行数据建模，确定数据仓库中数据的内容及其构成关系。

在数据库的世界里面，数据建模任务通常基于3种不同的视角：概念模型、逻辑模型和物理模型。

其中概念模型用来表示真实世界的情况，逻辑模型是从真实世界到数据的物理存放细节的媒介，而物理模型即表示信息存放于硬件中的细节。

数据仓库数据库的设计也不例外。

在数据仓库的3级数据模型中，概念模型表示现实世界的“业务信息”构成关系，用业务数据库设计中的“实体－关系”方法（E-R方法）来设计这一级的数据模型，但需要用分析主题代替传统E-R方法中的实体。

在传统业务数据库设计中的逻辑模型一般采用范式规范的表及其关系，数据仓库设计中的逻辑模型也采用表来存储数据，因此也数据仓库中使用的也是关系模型，不过表与表之间不再通过3大范式的规范，而是以星形结构、雪花形结构和星座型结构等方式组成。

物理模型则属于这些表的物理存储结构，比如表的索引设计等。

数据仓库的设计就是在概念模型、逻辑模型和物理模型的依次转换过程中实现的。

作为数据仓库的灵魂——元数据模型则自始至终伴随着数据仓库的开发、实施与使用。

数据粒度和聚合模型也在数据仓库的创建中发挥着指导的作用，指导着数据仓库的具体实现。

图3-17表达了微观数据仓库设计中各种概念之间的关系。

在图3-17的关系图中，元数据是在对企业商业智能需求分析和概念模型设计阶段就应该设计好并且一直贯穿于数据仓库应用全程的重要部分，而数据粒度和聚合的设计则是在逻辑模型的设计过程中完成的，物理模型则需要做一些存储优化方面的工作。

具体而言，这3级数据模型设计的每1个阶段都有相应的详细设计步骤，图3-18即是对这些步骤的一个总结。

3、2种创建数据仓库的模式
创建数据仓库的方式，根据其出现的先后顺序，主要分为2种模式：自顶向下（Top-down），自底向上（Bottom-Up）。

1)自顶向下
这种模式首先把OLTP数据通过ETL汇集到数据仓库中，然后再把数据通过复制的方式推进各个数据集市中，其优点在于：
数据来源固定，可以确保数据的完整性。

l 数据格式与单位一致，可以确保跨越不同数据集市进行分析的正确性。

l 数据集市可以保证有共享的字段。

因为都是从数据仓库中分离出来的。

2)自底向上
这种模式首先将OLTP数据通过ETL汇集到数据集市中，然后通过复制的方式提升到数据仓库中，其优点在于：
l 由于首先构建数据集市的工作相对简单，所以容易成功
l 这种模式也是实现快速数据传送的原型。

4、技术上需要关注的重点步骤
本章的主要任务就是完成数据仓库数据库的设计，在图3-18所给出的步骤是数据仓库设计的完整结构，在实践这一步骤的设计工作中，有5个重点步骤需要特别关注，它们是业务数据理解和需求分析、分析主题和元数据、事实及其量度和粒度、维度模式确定和数据仓库的物理存储方式。

这5个步骤贯穿了从分析到物理实现的全过程，而且一般的设计过程都是照此进行的，因此可以把它看做是设计数据仓库数据库的实践版本。

这5个步骤及其与3级模型的关系可以用图3-19来表示。

从下面一节开始将分别阐述这5大步实现由业务事实到数据仓库的全过程。