数据仓库-系统设计说明书
数据仓库主题设计及元数据设计
数据仓库主题设计及元数据设计3.4 明确仓库的对象：主题和元数据大多数商务数据都是多维的，所以采集和表示三维以上的数据不能完全借用业务数据库设计中的方法，必须有一种新的方法来表达多维数据。
现阶段流行的有2种方法，一是面向对象方法，即把商务数据抽象为对象，再使用Rational Rose等对象建模工具来表达这些对象；另一种方法就是使用信息包图，这是一种简便且高效的方法，在项目中使用的普及率很高。
信息包图实际上是自上而下数据建模方法的一个很好的工具。
自上而下的建模技术从用户的观点开始设计。
用户的观点是通过与用户交流得到的，可以进一步明确用户的信息需求。
自上而下的方法几乎考虑了所有的信息源，以及这些信息源影响商务活动的方式，它使得设计者可以围绕着一个通常的主题或商务领域进行信息包的开发。
下面就详述如何通过信息打包技术建立信息包图，从而确定数据仓库中的主题和元数据。
3.4.1 信息打包技术1．信息打包技术的基本使用信息打包法是一种自顶向下的设计方法，它从管理者的角度出发把焦点集中在企业的一个或几个主题上，着重分析主题所涉及数据的多维特性。
此法具体分4个阶段：（1）采用自顶向下的方法对商务数据的多维特性进行分析，用信息打包图表示维度和类别之间的传递和映射关系，建立概念模型。
其中类别是按一定的标准对一个维度的分类划分，如产品可按颜色、质地、产地和销地等不同标准分类。
（2）对企业的大量的指标实体数据进行筛选，提取出可利用的中心指标。
其中指标也称为关键性能指标和关键商务测量的值，是在维度空间衡量商务信息的一种方法。
比如产品收入金额、原材料消耗、补充新雇员或设备运行时间等都可以叫做指标。
（3）在信息打包图的基础上构造星形图，对其中的详细类别实体进行分析，进一步扩展为雪花图，建立逻辑模型。
（4）在星形图和雪花图的基础上，根据所定义数据标准，通过对实体、键标、非键标、数据容量、更新频率和实体特征进行定义，完成物理数据模型的设计。
国产数据仓库管理系统DM—DW的设计
事 物 发 展 和 历 史 的 角 度 米 组 织 和 存 储 数据 ． 供 信 息 佗 和分
析 处理 之 用 ” 据 仓 库 具 有 以 下 四 ｔ摹 奉 特 点 ： 向 主 题 、 数 面 集 成 性 、 易先 ｝ 时蹙 拄 不 耋、
国外 对 数 据 仓库 的研 制始 十 ９ 年 代 初 ， 在 已有 现
的难 题 ， 太提 高 了查 询效 率． 太 ２ ２ 元数 据 管 理 功能
元数 据 是 数据 的 数 据 ， 称 为 数 据 字 典 ． Ｍ３数 据 字 典 也 Ｄ 逻 辑 Ｅ可 看 怍是 系 统 自动 建 立 和更 新 的 组 系 统 表 ， 用 它 来 存 储 用 户 数 据 的定 义 信 息 和 动 态 记 录 数 据库 状 态的 有 关 信 息 ， 提 供 元 数 据 查 询 语 句 ， 供 Ｄ Ａ 和 用 户根 据 权 限 查 并 可 Ｂ
询 ２ ３ 主动 数 揠 库 功能 ． ｝ Ｄ ３主 机 制 包 含 了规 则 管 理 、 件 监 视 和 规 则 执 行 ． Ｍ 事 主动 规则 是 由 户按 需 求 定 义 的 事 件 一 一 条件 … 一 作 三 元 动 组 当 事 件 （ Ｉ Ｅ ＇ ， 【 ２ ＵＰ Ｔ 发 生 时 ， 条 如 ＮＳ Ｒ Ｉ ＤＥ Ｅ Ｅ， ＤＡ Ｅ） 如 件 满 足 则 Ｄ ：自 动 执 行 杜 发 事 件 Ｄ ３ 现 的 主 动 数 据 库 Ｍ ｝ Ｍ 宴
ｓ Ｅ ＶＥ ＱＩＳ Ｒ Ｒ ７等 ； 内哈 尔 候 工业 ＿ 学 开 筮 了 井 行 数 据 仓 国 ＾ 库 管 理 系 统 Ｐ Ｗ ＭＳ 南 京 大 学 开 发 了数 据 仓 库 原 型 系 统 Ｄ ， Ｂ ｌ ａ Ｗａ ， 们 在 国产 的 数 据 库 管 理 系统 Ｄ ｏｔ ｂ 我 Ｍ３的 基 础 上 开 发 了跨 平 台 的 数 据 仓 库 管 理 系 统 Ｄ Ｍ Ｄ ， 的 特 是 支 Ｗ 它 持 多种 数 据 集 成 方式 ． 持 实 化 视 图 的 增 量 维 护 ， 数 据 谅 不 支 使
数据仓库指标体系建设
数据仓库指标体系建设
数据仓库指标体系建设是指为了满足企业特定的业务目标和需求，从数据仓库中提取有意义的数据指标，并对这些指标进行管理、分析与运用的一套体系建设过程。
具体步骤如下：
1. 确定业务目标和需求：企业需要确定自身的业务目标和需求，以此为目标，设计出符合自身业务需求的数据仓库指标体系。
2. 确定数据来源：确定数据来源，包括内部各系统的数据和外部数据，如市场、竞争对手、用户等数据。
3. 确定指标分类：根据企业业务目标和需求，将数据指标分类，可以根据时间、区域、产品、客户等因素进行分类。
4. 定义指标：根据指标分类，设计出指标定义和计算公式，确保指标的准确性和可比性。
5. 确定指标权重：根据指标的重要性，确定指标的权重，以此来评估企业的绩效表现。
6. 建立数据模型：建立数据模型，用于支持指标计算和分析，以及提供数据报表和数据可视化等服务。
7. 设计指标评估体系：设计指标评估体系，用于评估企业整体绩效和各个业务部门的表现，以此来指导企业的决策。
8. 运用指标：利用指标体系中的指标，通过数据分析、数据挖掘等手段，对企业的业务进行分析和优化。
数据仓库模型的设计
数据仓库模型的设计数据仓库模型的设计大体上可以分为以下三个层面的设计151:.概念模型设计;.逻辑模型设计;.物理模型设计;下面就从这三个层面分别介绍数据仓库模型的设计。
2.5.1概念模型设计进行概念模型设计所要完成的工作是:<1>界定系统边界<2>确定主要的主题域及其内容概念模型设计的成果是，在原有的数据库的基础上建立了一个较为稳固的概念模型。
因为数据仓库是对原有数据库系统中的数据进行集成和重组而形成的数据集合，所以数据仓库的概念模型设计，首先要对原有数据库系统加以分析理解，看在原有的数据库系统中“有什么”、“怎样组织的”和“如何分布的”等，然后再来考虑应当如何建立数据仓库系统的概念模型。
一方面，通过原有的数据库的设计文档以及在数据字典中的数据库关系模式，可以对企业现有的数据库中的内容有一个完整而清晰的认识;另一方面，数据仓库的概念模型是面向企业全局建立的，它为集成来自各个面向应用的数据库的数据提供了统一的概念视图。
概念模型的设计是在较高的抽象层次上的设计，因此建立概念模型时不用考虑具体技术条件的限制。
1.界定系统的边界数据仓库是面向决策分析的数据库，我们无法在数据仓库设计的最初就得到详细而明确的需求，但是一些基本的方向性的需求还是摆在了设计人员的面前:. 要做的决策类型有哪些?. 决策者感兴趣的是什么问题?. 这些问题需要什么样的信息?. 要得到这些信息需要包含原有数据库系统的哪些部分的数据?这样，我们可以划定一个当前的大致的系统边界，集中精力进行最需要的部分的开发。
因而，从某种意义上讲，界定系统边界的工作也可以看作是数据仓库系统设计的需求分析，因为它将决策者的数据分析的需求用系统边界的定义形式反映出来。
2，确定主要的主题域在这一步中，要确定系统所包含的主题域，然后对每个主题域的内容进行较明确数据仓库建模技术在电信行业中的应用的描述，描述的内容包括:. 主题域的公共码键;. 主题域之间的联系:. 充分代表主题的属性组。
数据仓库设计方案
数据仓库设计方案【正文】一、引言数据驱动的决策已经成为企业中不可或缺的一部分。
为了有效地管理和分析海量的数据，数据仓库设计方案应运而生。
本文将介绍数据仓库的概念、设计原则和关键步骤，帮助企业构建高效可靠的数据仓库。
二、数据仓库概述数据仓库是指将各类数据整合、清洗、转化并存储于统一的数据存储区域，旨在为决策支持系统提供准确可靠的数据服务。
其设计方案需要考虑多个方面，包括数据源、数据的抽取与转换、数据建模和数据的加载等。
三、数据仓库设计原则1. 一致性：数据仓库应该保持与源系统的数据一致性，确保决策所依据的数据准确无误。
2. 高性能：数据仓库需要具备高性能的查询和分析能力，以满足用户对数据的实时性和响应性要求。
3. 安全性：严格管理数据仓库的访问权限，确保敏感数据的安全性和隐私保护。
4. 可扩展性：数据仓库需要具备良好的扩展能力，能够适应数据量的增长和业务需求的变化。
5. 可维护性：数据仓库的设计应该具备良好的可维护性，便于数据的更新、维护和监控。
四、数据仓库设计步骤1. 需求分析：明确数据仓库的功能和目标，分析业务需求和数据源的特点，为后续的设计提供指导。
2. 数据抽取与转换：根据需求分析的结果，选择合适的数据抽取方式，并进行数据的清洗、转换和集成。
3. 数据建模：根据业务需求和数据源的特点，设计数据仓库的物理和逻辑模型，并建立相应的维度表和事实表。
4. 数据加载：将清洗和转换后的数据加载到数据仓库中，并进行合理的存储和索引，以便进行后续的查询和分析。
5. 数据质量控制：定期监控数据仓库的数据质量，并进行必要的修复和优化，确保数据准确无误。
6. 安全管理：建立合适的权限控制机制，确保数据仓库的安全性和合规性。
五、数据仓库设计工具和技术1. ETL工具：ETL（Extract-Transform-Load）工具可以帮助实现数据的抽取、转换和加载，实现数据仓库的数据集成和清洗。
2. 数据建模工具：数据建模工具可以辅助设计数据仓库的物理和逻辑模型，提供建模、维护和文档化的功能。
数据仓库概要设计
数据仓库概要设计数据仓库（Data Warehouse）是指把企业分散在不同数据库中的数据统一整合到一个数据库中进行存储和管理，并对这些数据进行分析和管理的一种数据库应用系统。
数据仓库的建设是企业信息化建设的重要组成部分，是企业对内部外部信息资源进行整合、挖掘和利用最有效的平台之一。
因此，进行数据仓库的概要设计是非常重要的一步。
1.数据仓库概述数据仓库，是一个能够存储大量历史数据的集合体，使得企业能够快速地进行数据分析、查询和决策。
数据仓库通常包括存储、管理和查询技术。
数据仓库的设计是基于自底向上的过程，通过收集各种应用中的数据来建立。
数据仓库的需求分析是设计的第一个步骤，通过需求分析可以把握到数据的来源、数据的主要特征、数据的处理方法、数据的处理效果等。
2.数据仓库的工作过程a.数据的收集数据收集的目的是获取各个分散在企业内部外部的数据源，并把这些数据源整合成数据集。
数据收集包括了跟踪源数据、数据的标准化、数据的清洗、数据的转换等。
b.数据的整合数据整合意味着将不同的数据源集成到一起，通常是通过ETL工具来实现。
ETL（Extract, Transform, Load）工具的主要功能是提取、转换和加载。
c.数据的存储数据仓库的存储方式一般有两种：关系型数据库和非关系型数据库。
d.数据的查询与分析数据仓库的用户可以通过BI工具（Business Intelligence）来进行数据的查询、分析和报表生成。
3.数据仓库的概要设计步骤a.数据仓库设计的第一步是需求分析，需求分析的目的是明确数据仓库的目标、范围和需求。
需求分析应该包括数据仓库的使用者、数据仓库所需数据的类型、数据的来源、数据的质量要求等。
b.数据仓库的概念设计是在需求分析的基础上，开始进行数据仓库的抽象模型的设计。
概念设计包括了数据仓库的模型设计、元数据的设计等。
c.数据仓库的逻辑设计是在概念设计的基础上，开始进行数据仓库的逻辑结构的设计。
数据仓库的设计和构建
数据仓库的设计和构建数据仓库（Data Warehouse）是指将组织机构内部各种分散的、异构的数据整合起来，形成一个共享的、一致的、易于查询和分析的数据环境。
数据仓库的设计和构建是数据管理和分析的重要环节。
本文将结合实践经验，介绍数据仓库的设计与构建过程。
一、需求分析数据仓库的设计与构建首先需要进行需求分析。
在需求分析阶段，我们需要明确以下几个问题：1. 数据来源：确定数据仓库所需要的数据来源，包括内部系统和外部数据源。
2. 数据维度：确定数据仓库中需要关注的维度，如时间、地理位置、产品等。
3. 数据粒度：确定数据仓库中的数据粒度，即需要对数据进行何种程度的聚合。
4. 数据可用性：确定数据仓库中数据的更新频率和可用性要求。
5. 分析需求：明确数据仓库所需满足的分析需求，如报表查询、数据挖掘等。
二、数据模型设计在数据仓库设计过程中，数据模型的设计尤为重要。
常用的数据模型包括维度建模和星型模型。
维度建模是基于事实表和维度表构建的，通过定义事实和维度之间的关系，建立多维数据结构。
星型模型则将事实表和各个维度表之间的关系表示为星型结构，有助于提高查询效率。
根据具体需求和数据特点，选择合适的数据模型进行设计。
三、数据抽取与转换数据仓库的构建过程中，需要从各个数据源中抽取数据，并进行清洗和转换。
数据抽取常用的方法包括全量抽取和增量抽取。
全量抽取是指将数据源中的全部数据抽取到数据仓库中，适用于数据量较小或变动频率较低的情况。
增量抽取则是在全量抽取的基础上，只抽取发生变动的数据，提高了数据抽取的效率。
数据在抽取到数据仓库之前还需要进行清洗和转换。
清洗的目标是去除数据中的错误、冗余和不一致之处，保证数据的准确性和完整性。
转换的目标是将数据格式进行统一，并进行必要的计算和整合，以满足数据仓库的需求。
四、数据加载与存储数据加载是指将抽取、清洗和转换后的数据加载到数据仓库中的过程。
数据加载的方式可以分为批量加载和实时加载。
数据仓库建设方案(DOC32页)
第1章数据仓库建设方案（DOC32页）1.1 数据仓库总体架构专家系统接收增购项目车辆TCMS或者其他子系统通过车地通信传输的实时或者离线数据，通过一系列综合诊断分析，以各类报表图形或者信息推送的形式向用户展示分析结果。
针对诊断出的车辆故障将给出专家建议处理措施，为车辆的故障根因修复提供必要的支持。
根据专家系统数据仓库建设目标，结合系统数据业务规范，包含数据采集频率、数据采集量等有关因素，设计专家系统数据仓库架构如下：数据仓库架构从层次结构上分为数据采集、数据存、数据分析、数据服务等几个方面的内容：数据采集：负责从各业务自系统中汇合信息数据，系统支撑Kafka、Storm、Flume 及传统的ETL采集工具。
数据存储：本系统提供Hdfs、Hbase及RDBMS相结合的存储模式，支持海量数据的分布式存储。
数据分析：数据仓库体系支持传统的OLAP分析及基于Spark常规机器学习算法。
数据服务总线：数据系统提供数据服务总线服务，实现对数据资源的统一管理与调度，并对外提供数据服务。
1.2 数据采集专家系统数据仓库数据采集包含两个部分内容：外部数据汇合、内部各层数据的提取与加载。
外部数据汇合是指从TCMS、车载子系统等外部信息系统汇合数据到专家数据仓库的操作型存储层（ODS）；内部各层数据的提取与加载是指数据仓库各存储层间的数据提取、转换与加载。
1.2.1外部数据汇合专家数据仓库数据源包含列车监控与检测系统（TCMS）、车载子系统等有关子系统，数据采集的内容分为实时数据采集与定时数据采集两大类，实时数据采集要紧关于各项检测指标数据；非实时采集包含日检修数据等。
根据项目信息汇合要求，列车指标信息采集具有采集数据量大，采集频率高的特点，考虑到系统后期的扩展，因此在数据数据采集方面，要求采集体系支持高吞吐量、高频率、海量数据采集，同时系统应该灵活可配置，可根据业务的需要进行灵活配置横向扩展。
本方案在数据采集架构使用Flume+Kafka+Storm的组合架构，使用Flume与ETL 工具作为Kafka的Producer，使用Storm作为Kafka的Consumer，Storm可实现对海量数据的实时处理，及时对问题指标进行预警。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
归一大数据平台数据仓库系统设计说明书受控不受控修改变更记录：目录1引言 (5)1.1文档编制目的 (5)1.2背景 (6)1.3词汇表 (6)1.4参考资料 (6)2总体设计 (7)2.1软件体系结构 (7)2.2系统运行体系......................................................................... 错误！未定义书签。
2.2.1运行体系图..................................................................... 错误！未定义书签。
2.2.2程序/模块对应表............................................................ 错误！未定义书签。
2.3系统物理结构 (7)2.4技术路线 (8)3系统接口设计 (8)3.1用户接口 (8)4子系统/模块设计 (8)4.1数据仓库 (8)4.1.1ODL(操作数据)层设计 (8)4.1.2BDL(数据仓库)层设计 (10)4.1.3IDL(宽表)层设计 (11)4.1.4PDL(应用)层设计 (12)4.1.5PUB(维度)层设计 (15)4.1.6数据导出设计 (16)5数据结构与数据库设计 (17)6外部存储结构设计 (17)7故障处理说明 (17)8尚需解决的问题 (18)编写指南：本模板力图给出系统设计阶段可能包括的基本信息，重点在于和需求分析文档相联系。
描述系统整体情况。
如果某个章节在项目或当前阶段中无法描述，则可保留其标题，注明“不适用”；如果需要对本模板的个别章节详细描述，也可将其形成单独的文档，成为本文档附件。
若文档中的某个章节已经在其他项目文档中加以描述，可保留标题，注明“参见（文档编号）（文档名称）（条款）”。
形成正式文档后须删除斜体字内容。
0 报告编制要求这里列出本系统设计报告编制的经验性要求，须由系统设计人员参照其进行裁剪以确定本次报告编制的相关规定。
1引言1.1 文档编制目的指导开发人员进行后期的开发工作；指导测试人员进行解决方案级的系统测试；1.2 背景叙述系统设计阶段的目标、作用范围以及其他应向读者说明的理解本报告所需的背景，如与公司其它软件之间的联系等。
1.3 词汇表列出本系统设计说明书中专门术语的定义、英文缩写词的原词组和意义、项目组内达成一致意见的专用词汇，同时要求继承全部的先前过程中定义过的词汇。
备注中注明该词汇的来源，或有其他更详细的解释的文档位置；以及对该词汇的其他叫法。
1.4 参考资料需求规格说明书系统架构设计说明书数据仓库命名规范.docx2总体设计2.1 软件体系结构2.2 系统物理结构描述使用本软件系统典型用户的物理设备分布图及设备上相应基本软件配置。
软件环境包括：操作系统、数据库、以及其它支撑软件；硬件环境包括：主机类型、网络类型、存储器容量、其它特殊设备。
要求：1）尽量为系统的每个物理节点定义一个和功能相关的名称，名称的含义在词汇表中说明；2）结合运行体系图中提到的“程序”，将相关的“运行程序”分布到各个物理节点中；3）采用网络拓扑图表示。
2.3 技术路线描述本软件系统在实现过程中所采用的技术路线、方法。
对较新的技术给予详细的阐述及必要的说明，在可能的情况下给出相应的技术参考资料。
3系统接口设计3.1 用户接口无接口。
4子系统/模块设计4.1 数据仓库4.1.1ODL(操作数据层)设计4.1.1.1 功能描述实现从外部系统导入数据到大数据平台,ODL层数据与数据源保持一致.同步方式包括:●增量同步●全量同步数据源类型包括:●数据库4.1.1.2 业务流程流程图:流程说明:1. 调度系统定时启动数据同步作业.2. 作业读取数据同步脚本,远程调用数据库接口.3. 数据库接口返回远程调用结果.4. 接收数据库接口返回的数据集,装载到ODL本地表.异常处理:调度系统捕获异常并处理日志说明:由调度系统负责记录作业(正常和异常)日志.数据源说明:1. 通过视图封装需要同步的物理表, 与业务进行隔离. 当物理表发生变动,尽量通过修改视图兼容.2. 数据同步程序访问数据源视图.数据粒度说明：与数据源保持完全一致。
4.1.1.3 作业设计详见<<数据同步列表.xlsx>>4.1.2BDL(事物层)设计4.1.2.1 功能描述BDL层对ODL数据进行清洗、转换，实现统一维度的数据整合。
4.1.2.2 业务流程流程图:流程说明:1. 调度系统定时启动数据同步作业.2. 作业读取ODL表，进行数据清洗，对不符合规则的数据进行丢弃或转换.3. 将转换后的结果数据装载到BDL本地表.异常处理:调度系统捕获异常并处理.日志说明:由调度系统负责记录作业(正常和异常)日志.数据粒度说明：与ODL保持一致.4.1.2.3 作业设计详见<<数据仓库转换文档.xlsx>>4.1.3IDL(宽表层)设计4.1.3.1 功能描述在IDL层对BDL事实表按主题进行合并, 形成一次写多次读的宽表, 降低系统整体开销. 并实际根据需要进行用户级粒度的聚合, 进一步提高查询效率.4.1.3.2 业务流程流程图:流程说明:1. 调度系统定时启动数据同步作业.2. 按主题读取相关BDL表, 进行关联, 尽量补齐维度字段, 生成事物级宽表.3. 按用户级粒度聚合, 生成用户级宽表.异常处理:调度系统捕获异常并处理日志说明:由调度系统负责记录作业(正常和异常)日志.数据粒度说明:1. 事物级粒度.2. 用户级粒度.4.1.3.3 作业设计详见<<数据仓库转换文档.xlsx>>4.1.4PDL(应用层)设计4.1.4.1 功能描述PDL层按业务需求, IDL宽表汇总查询生成各种结果表.4.1.4.2 业务流程流程图:流程说明:1. 调度系统定时启动数据同步作业.2. 读取IDL宽表,按业务需求进行聚合,筛选,生成指标数据.3. 结果写入PDL层结果表.异常处理:调度系统捕获异常并处理日志说明:由调度系统负责记录作业(正常和异常)日志.数据粒度说明:1. 按业务需求的各种粒度.4.1.4.3 业务账数据统计设计业务账数据统计如下特点:业务账指标由多个交易类型代码组合, 一个交易类型代码对应多个业务指标, 例如:业务账指标A 交易类型代码{M00010, M00001,M00002,M00003,…}业务账指标B 交易类型代码{M00010, M00011,M00012,M00013,…}业务账指标C 交易类型代码{M00000, M00011,M00002,M00023,…}随需求也业务变化, 业务账指标及其交易类型代码也会变化.每个业务账指标统计算法相同, 只是其交易类型代码组合不同.每个业务账指标可能会被多个报表调用，例如“积分总金额”针对以上特性, 通过抽象的方法，设计对指标（交易类型代码）配置化管理、运算统一化技术的功能，减少系统维护成本。
4.1.4.4 作业设计详见<<数据仓库转换文档.xlsx>>4.1.5PUB(维度)库设计4.1.5.1 功能描述采用异步LOOUP方法,主动捕获非法维度数据,经过人工识别生成维度数据.4.1.5.2 业务流程流程图:流程说明:1. 调度系统定时启动数据同步作业.2. 异步读取ODL表和维表,对比维度映射表查找是否有不存在的维度数据.3. 如果发现非法维度数据,经过人工识别,写入维度映射表和维度表.异常处理:调度系统捕获异常并处理日志说明:由调度系统负责记录作业(正常和异常)日志.4.1.5.3 作业设计详见<<数据仓库转换文档.xlsx>>4.1.6业务账(数据集市)库4.1.7数据导出设计4.1.7.1 功能描述将PDL表和维度导出,同步给mysql库,供统计报表查询使用.4.1.7.2 业务流程流程说明:1. 调度系统定时启动数据同步作业.2. 读取PDL表和维表,将数据装载到MYSQL库对应的表中.异常处理:调度系统捕获异常并处理日志说明:由调度系统负责记录作业(正常和异常)日志.4.1.7.3 作业设计5数据结构与数据库设计详见<<数据库设计说明书.docx>>6外部存储结构设计说明本系统存贮于磁盘等持久性存贮介质，而且不是由数据库管理系统进行管理的数据的组织结构，包括数据名称、用途、每个数据项的标识名、类型和含义，组织结构、访问方法和存储要求。
7故障处理说明说明本系统所采用的基本错误处理方法和原则，例如：统一采用C++ try-catch错误方法，所有错误最终必须以界面形式向用户说明。
用一览表方式说明各类可能的错误或故障出现时系统的处理方法和补救措施。
8尚需解决的问题以列表的形式列出在系统设计阶段必须解决但尚未解决的问题。
可对问题进行编号以便进行跟踪。