数据仓库-系统设计说明书

归一大数据平台

数据仓库

系统设计说明书受控不受控

修改变更记录：

目录

1引言 (5)

1.1文档编制目的 (5)

1.2背景 (6)

1.3词汇表 (6)

1.4参考资料 (6)

2总体设计 (7)

2.1软件体系结构 (7)

2.2系统运行体系......................................................................... 错误！未定义书签。

2.2.1运行体系图..................................................................... 错误！未定义书签。

2.2.2程序/模块对应表............................................................ 错误！未定义书签。

2.3系统物理结构 (7)

2.4技术路线 (8)

3系统接口设计 (8)

3.1用户接口 (8)

4子系统/模块设计 (8)

4.1数据仓库 (8)

4.1.1ODL(操作数据)层设计 (8)

4.1.2BDL(数据仓库)层设计 (10)

4.1.3IDL(宽表)层设计 (11)

4.1.4PDL(应用)层设计 (12)

4.1.5PUB(维度)层设计 (15)

4.1.6数据导出设计 (16)

5数据结构与数据库设计 (17)

6外部存储结构设计 (17)

7故障处理说明 (17)

8尚需解决的问题 (18)

编写指南：

本模板力图给出系统设计阶段可能包括的基本信息，重点在于和需求分析文档相联系。描述系统整体情况。如果某个章节在项目或当前阶段中无法描述，则可保留其标题，注明“不

适用”；如果需要对本模板的个别章节详细描述，也可将其形成单独的文档，成为本文档附件。

若文档中的某个章节已经在其他项目文档中加以描述，可保留标题，注明“参见（文档编号）（文档名称）（条款）”。

形成正式文档后须删除斜体字内容。

0 报告编制要求

这里列出本系统设计报告编制的经验性要求，须由系统设计人员参照其进行裁剪以确定本次报告编制的相关规定。

1引言

1.1 文档编制目的

指导开发人员进行后期的开发工作；

指导测试人员进行解决方案级的系统测试；

1.2 背景

叙述系统设计阶段的目标、作用范围以及其他应向读者说明的理解本报告所需的背景，如与公司其它软件之间的联系等。

1.3 词汇表

列出本系统设计说明书中专门术语的定义、英文缩写词的原词组和意义、项目组内达成一致意见的专用词汇，同时要求继承全部的先前过程中定义过的词汇。

备注中注明该词汇的来源，或有其他更详细的解释的文档位置；以及对该词汇的其他叫法。

1.4 参考资料

需求规格说明书

系统架构设计说明书

数据仓库命名规范.docx

2总体设计

2.1 软件体系结构

2.2 系统物理结构

描述使用本软件系统典型用户的物理设备分布图及设备上相应基本软件配置。软件环境包括：操作系统、数据库、以及其它支撑软件；硬件环境包括：主机类型、网络类型、存储器容量、其它特殊设备。

要求：

1）尽量为系统的每个物理节点定义一个和功能相关的名称，名称的含义在词汇表中说明；2）结合运行体系图中提到的“程序”，将相关的“运行程序”分布到各个物理节点中；3）采用网络拓扑图表示。

2.3 技术路线

描述本软件系统在实现过程中所采用的技术路线、方法。对较新的技术给予详细的阐述及必要的说明，在可能的情况下给出相应的技术参考资料。

3系统接口设计

3.1 用户接口

无接口。

4子系统/模块设计

4.1 数据仓库

4.1.1ODL(操作数据层)设计

4.1.1.1 功能描述

实现从外部系统导入数据到大数据平台,ODL层数据与数据源保持一致.

同步方式包括:

●增量同步

●全量同步

数据源类型包括:

●数据库

4.1.1.2 业务流程

流程图:

流程说明:

1. 调度系统定时启动数据同步作业.

2. 作业读取数据同步脚本,远程调用数据库接口.

3. 数据库接口返回远程调用结果.

4. 接收数据库接口返回的数据集,装载到ODL本地表.

异常处理:

调度系统捕获异常并处理

日志说明:

由调度系统负责记录作业(正常和异常)日志.

数据源说明:

1. 通过视图封装需要同步的物理表, 与业务进行隔离. 当物理表发生变动,尽量通过修改视图兼容.

2. 数据同步程序访问数据源视图.

数据粒度说明：

与数据源保持完全一致。

4.1.1.3 作业设计

详见<<数据同步列表.xlsx>>

4.1.2BDL(事物层)设计

4.1.2.1 功能描述

BDL层对ODL数据进行清洗、转换，实现统一维度的数据整合。

4.1.2.2 业务流程

流程图:

流程说明:

1. 调度系统定时启动数据同步作业.

2. 作业读取ODL表，进行数据清洗，对不符合规则的数据进行丢弃或转换.

3. 将转换后的结果数据装载到BDL本地表.

异常处理:

调度系统捕获异常并处理.

日志说明:

由调度系统负责记录作业(正常和异常)日志.