数据仓库系统设计文档
数据库设计说明书

数据库设计说明书一、背景随着信息化时代的到来,数据库管理系统在各个领域得到广泛应用,数据库设计成为信息系统中至关重要的一环。
本文描述了一个虚拟企业的数据库设计,旨在解决该企业业务数据管理方面的需求。
二、需求分析1. 数据库目标建立一个可靠、高效、安全的数据库系统,满足企业对业务数据的存储、管理和查询需求。
2. 数据库功能•实现数据的高效存储和检索•确保数据的完整性和一致性•支持不同数据表之间的关联和查询•提供权限管理和数据安全保障三、数据库设计1. 实体关系模型(ERM)以下是本数据库的实体-关系模型设计:•公司(Company)–公司ID (CompanyID)–公司名称 (CompanyName)–公司地址 (CompanyAddress)•员工(Employee)–员工ID (EmployeeID)–姓名 (EmployeeName)–部门 (Department)–职位 (Position)•产品(Product)–产品ID (ProductID)–产品名称 (ProductName)–价格 (Price)•订单(Order)–订单ID (OrderID)–员工ID (EmployeeID)–产品ID (ProductID)–订单日期 (OrderDate)2. 数据表设计公司表(Company) | 公司ID | 公司名称 | 公司地址 | |——–|——–|———| | 1 | XX公司 | xx地址 | | 2 | YY公司 | yy地址 |员工表(Employee) | 员工ID | 姓名 | 部门 | 职位 | |——–|—–|—-|—-| | 1 | 张三 | 开发部 | 工程师 | | 2 | 李四 | 销售部 | 主管 |产品表(Product) | 产品ID | 产品名称 | 价格 | |——–|——–|—–| | 1 | 产品A | 100 | | 2 | 产品B | 200 |订单表(Order) | 订单ID | 员工ID | 产品ID | 订单日期 | |——–|——–|——–|———| | 1 | 1 | 1 | 2022-01-01 | | 2 | 2 | 2 | 2022-01-02 |四、安全性和性能考虑1. 安全性•数据备份和恢复策略•访问权限控制•数据加密传输2. 性能•索引优化•查询语句调优•适当的硬件资源配置五、总结本文介绍了一个虚拟企业的数据库设计说明书,包括需求分析、数据库设计、安全性和性能考虑等内容。
数据仓库建设规划图文

数据仓库建设规划图文前言数据仓库是企业决策的基础,能够帮助企业把分散的数据整合到一起,降低数据的冗余度和不一致度,并保证决策者及时准确地获取到有关于企业业务运营的信息。
而数据仓库建设规划是实现数据仓库建设的前提和保障。
本文将会介绍数据仓库建设规划的概述,及其在数据仓库建设过程中的具体应用。
数据仓库建设规划概述数据仓库建设规划是指基于业务战略、IT战略和企业治理要求,论证和分析数据仓库建设的目标、范围、基础设施、资源和人员安排,并制定全面和长期的数据仓库建设计划。
其目的是为了实现数据资产的价值最大化和企业业务分析的高效率开展。
具体来说,数据仓库建设规划包括以下几个方面的内容:1.数据仓库技术路线:在数据仓库建设过程中,需要选择哪些技术工具和平台,以及如何实现数据仓库的集成、存储、处理、管理和交互。
2.数据仓库的目标和范围:需要明确数据仓库的主要业务需求、数据需求以及数据质量标准,以便为数据仓库的整体架构和实施过程提供全面规划。
3.数据仓库基础设施:包括硬件基础设施、数据库应用软件、网络等设备和工具及相应的安全机制。
4.数据仓库资源和人员安排:需要评估数据仓库建设所需的人员和资源并计划并安排相应的人力、物力和财务方面的资源。
数据仓库建设规划的应用数据仓库建设规划对数据仓库的建设和运营都具有重要的作用。
在数据仓库建设过程中,数据仓库建设规划可以帮助企业在设计、实施和维护数据仓库过程中,更加全面、科学、系统地规划和部署数据仓库,从而提高数据仓库的建设效率,提高数据质量,提升企业的运营效率及决策水平。
具体来说,数据仓库建设规划可以体现在以下几个方面:1.业务需求分析:对不同类型的业务需求进行分析,确立数据仓库构建的业务模型和应用领域范畴。
借助业务分析工具和方法,对业务流程进行挖掘、建模和优化,设计出符合企业需要且便于数据获取和分析的数据模型。
2.技术实现:结合现有的IT设施和企业计算机软件系统,根据不同业务和应用领域制定数据仓库架构,并选择合适的技术工具和开发平台,如Hadoop、Hive、Spark等,以及各种开发框架、编程语言和库。
数据仓库-系统设计说明书

数据仓库-系统设计说明书数据仓库-系统设计说明书1、引言1.1 目的本文档旨在详细描述数据仓库系统的设计方案,包括系统的架构、数据模型、数据抽取、转换和加载(ETL)流程、安全性、可用性等方面的内容。
1.2 范围本文档适用于数据仓库系统的设计过程,涵盖了系统的各个方面,以确保系统的正常运行和可扩展性。
2、系统架构2.1 总体架构本节描述数据仓库系统的总体架构,包括各个组件之间的关系和数据流。
2.2 数据仓库层次结构本节详细描述数据仓库系统的层次结构,包括数据仓库、数据集市、数据源等各个层次的定义和关系。
3、数据模型3.1 维度模型本节描述数据仓库系统所采用的维度模型,包括事实表和维度表的定义和关系。
3.2 元数据管理本节描述数据仓库系统中元数据的定义、管理和使用方式,包括元数据的存储、检索和更新机制。
4、数据抽取、转换和加载(ETL)流程4.1 数据抽取本节描述数据仓库系统中数据抽取的方式和流程,包括抽取数据的来源、频率和目标。
4.2 数据转换本节描述数据仓库系统中数据转换的方式和流程,包括数据清洗、数据集成、数据转换和数据加载的过程。
4.3 数据加载本节描述数据仓库系统中数据加载的方式和流程,包括数据加载的频率、目标和验证机制。
5、安全性5.1 用户权限管理本节描述数据仓库系统中用户权限的管理方式和机制,包括用户的注册、认证和授权过程。
5.2 数据访问控制本节描述数据仓库系统中数据访问控制的方式和机制,包括数据的保护、加密和审计功能。
6、可用性6.1 高可用性架构本节描述数据仓库系统中实现高可用性的架构设计,包括负载均衡、冗余备份和自动故障恢复机制。
6.2 容灾备份方案本节描述数据仓库系统中实现容灾备份的方案,包括数据的备份、复制和恢复策略。
7、本文档涉及附件本文档涉及的附件包括数据仓库系统的系统架构图、数据模型图、ETL流程图等相关文档。
8、本文所涉及的法律名词及注释本文所涉及的法律名词及注释包括但不限于《数据保护法》、《网络安全法》等相关法律和条款。
数据仓库概要设计

数据仓库概要设计数据仓库(Data Warehouse)是指把企业分散在不同数据库中的数据统一整合到一个数据库中进行存储和管理,并对这些数据进行分析和管理的一种数据库应用系统。
数据仓库的建设是企业信息化建设的重要组成部分,是企业对内部外部信息资源进行整合、挖掘和利用最有效的平台之一。
因此,进行数据仓库的概要设计是非常重要的一步。
1.数据仓库概述数据仓库,是一个能够存储大量历史数据的集合体,使得企业能够快速地进行数据分析、查询和决策。
数据仓库通常包括存储、管理和查询技术。
数据仓库的设计是基于自底向上的过程,通过收集各种应用中的数据来建立。
数据仓库的需求分析是设计的第一个步骤,通过需求分析可以把握到数据的来源、数据的主要特征、数据的处理方法、数据的处理效果等。
2.数据仓库的工作过程a.数据的收集数据收集的目的是获取各个分散在企业内部外部的数据源,并把这些数据源整合成数据集。
数据收集包括了跟踪源数据、数据的标准化、数据的清洗、数据的转换等。
b.数据的整合数据整合意味着将不同的数据源集成到一起,通常是通过ETL工具来实现。
ETL(Extract, Transform, Load)工具的主要功能是提取、转换和加载。
c.数据的存储数据仓库的存储方式一般有两种:关系型数据库和非关系型数据库。
d.数据的查询与分析数据仓库的用户可以通过BI工具(Business Intelligence)来进行数据的查询、分析和报表生成。
3.数据仓库的概要设计步骤a.数据仓库设计的第一步是需求分析,需求分析的目的是明确数据仓库的目标、范围和需求。
需求分析应该包括数据仓库的使用者、数据仓库所需数据的类型、数据的来源、数据的质量要求等。
b.数据仓库的概念设计是在需求分析的基础上,开始进行数据仓库的抽象模型的设计。
概念设计包括了数据仓库的模型设计、元数据的设计等。
c.数据仓库的逻辑设计是在概念设计的基础上,开始进行数据仓库的逻辑结构的设计。
高校数据仓库建设方案

高校数据仓库建设方案一、引言随着信息化的发展,高校面临着越来越多的数据管理和分析需求。
数据仓库作为一种数据集中存储和分析的解决方案,被广泛应用于高校管理和决策过程中。
本文将针对高校数据仓库的建设,提出一套合理有效的方案。
二、需求分析1. 数据管理需求:高校拥有庞大的数据量,包括学生信息、教职工信息、科研成果、财务数据等。
这些数据需要进行统一管理,以方便查询和使用。
2. 决策支持需求:高校管理层需要依据数据进行决策,如招生计划、教学改革、财务分析等。
数据仓库可以提供决策支持系统,帮助管理层进行数据分析和决策。
3. 数据安全需求:高校数据涉及学生和教职工的个人隐私,数据仓库建设需要确保数据的安全性和隐私保护。
三、方案设计1. 数据采集:建立数据仓库的第一步是进行数据采集。
通过与高校各个部门、系统对接,实现数据的自动、定时抽取和加载。
同时,对采集到的数据进行清洗和转换,确保数据的准确性和一致性。
2. 数据存储:为了满足数据管理需求,需要选择合适的数据存储方式。
可以采用关系型数据库或者分布式文件系统等技术,根据数据量和性能需求进行选择。
同时,建立数据存储的备份和恢复机制,确保数据的安全性和可用性。
3. 数据模型设计:数据模型是数据仓库的核心部分,它决定了数据的组织结构和关系。
在设计数据模型时,需要充分考虑高校的业务特点和数据分析需求。
可以采用星型模型、雪花模型或者其他合适的模型,根据具体情况进行选择。
4. 数据分析工具:数据仓库的价值在于数据的分析和挖掘,因此需要选择合适的数据分析工具。
可以使用商业智能工具、数据挖掘工具或者自主开发的分析系统,根据用户需求进行选择。
同时,提供用户友好的可视化界面,方便用户进行数据分析和查询。
5. 数据安全和隐私保护:在数据仓库建设过程中,数据的安全和隐私保护是必不可少的。
可以采用数据加密、权限管理、审计和监控等技术手段,确保数据的安全和隐私不被泄露。
同时,建立灾备机制和容灾方案,防止数据丢失和系统故障。
数据仓库系统设计文档

数据仓库系统总体设计摘要:本文档为XX通信公司网上通信记录查询平台设计说明书,为XX通信公司网上通信记录查询平台详细设计的之要依据。
本文档的主要阅读对象为XX通信公司网上通信记录查询平台的详细设计人员。
经过需求分析调查,确定了数据仓库系统总体定位和系统功能需求。
现根据需求分析规定和局具体情况,确定数据仓库整体方案,以指导数据仓库系统研究、开发、实现。
关键字:指标;主题;数据仓库;联机分析;数据挖掘;决策支持1 概述1.1 背景本软件全称为XX通信公司网上通信记录查询平台。
1.2 术语定义DW:数据仓库DC:数据中心OLTP:在线事务处理OLAP:在线分析处理BI:商业智能DSS:决策支持系统SOA:面向服务的架构EA:企业架构ETL:数据抽取、转换、加载Statistical Parameter:指标Subject:主题DataMart:数据集市MetaData:元数据OLTP(On-LineTransactionProcessing):联机事务处理DSS:决策支持系统AS:应用服务器WebServer :Web服务器1.3参考资料数据仓库课程课件林友芳概要设计说明书模板林友芳《实用软件工程》清华大学出版社2 系统设计从充分发挥系统作为“数据库,信息库,思想库,智囊库”的作用,向用户提供“快、精、准”的通讯记录查询服务的需要出发,采用当今数据库领域成熟稳定的数据仓库、决策分析等技术,在高效的网络平台上建设提供一个“决策数据管理与分析中心”的基本解决方案。
系统采用多层体系结构,建立一个良好开放性的数据仓库系统环境,适应不断增加和变化的业务需求。
多层体系结构通过引入中间层组件,扩大了传统的客户/服务器和两层计算模式。
多层结构可由以下三类分层来定义:前端的客户层,负责提供可移植的表达逻辑;中间的应用层,允许用户通过将其与实际应用隔离而共享和控制业务逻辑;后端的数据管理与服务层,提供对专门服务(例如数据库服务器)的访问。
OLAP系统设计说明书

文档编号:版本号:OLAP系统设计说明书项目名称:文档信息变更记录变更审阅一、引言1.编写目的这部分说明文档编写目的,描述本系统特点及其使用数据仓库技术实现的业务目标。
2.背景这部分是项目背景描述。
3.参考资料这部分列出本文档引用资料的名称,并说明文档上下级关系。
4.术语定义及说明这部分列出本文档中使用的术语定义、缩写及其全名。
二、OLAP数据库设计概述1.OLAP系统环境描述这部分尽可能地给出OLAP技术的限制,包括使用OLAP技术的种类、目前已知的OLAP 工具技术限制、OLAP工具供应商答允的技术支持以及OLAP工具的名称、版本及其运行环境等所有有关OLAP系统运行环境的描述。
2.OLAP数据库设计原则这部分描述本项目中实施OLAP设计的原则,这些原则可能包括维度标准化设计原则和一致性维度设计原则。
三、共享维度和度量设计1.共享维度设计这部分记录本项目中使用的各种共享维度的设计方法。
●分别给出各个维度设计描述维度名称、层次、成员、属性等设计要素,并描述维度特性分析。
例如描述维度缓慢/快速变化情况、描述大型相应分析和设计、描述代理键生成/转换/维护设计等。
●描述一致性维度设计分析与设计一致性是指使用什么方法将不同的分析角度合并在一起,形成新的具有统一层次的新维度。
2.共享度量设计这部分分别描述各个共享度量设计,包括度量名称、粒度等设计要素、度量特性分析,同时还要描述一致性度量设计分析与设计。
四、分析模型概要设计1.分析模型A名称这部分列举分析模型A的各种信息。
●数据来源给出本分析主题涉及的数据仓库表名和字段名,必要时可以使用ER图的方式●存储设计给出本分析主题的初始物理存储设计方案及其优化方案●维表设计●度量设计●加载脚本简要描述数据加载需要的脚本设计●派生事实表设计派生事实表是指在数据仓库中设计临时表,供OLAP数据库装载使用2.分析模型B名称这部分列举分析模型B的各种信息。
●数据来源给出本分析主题涉及的数据仓库表名和字段名,必要时可以使用ER图的方式●存储设计给出本分析主题的初始物理存储设计方案及其优化方案●维表设计●度量设计●加载脚本简要描述数据加载需要的脚本设计●派生事实表设计派生事实表是指在数据仓库中设计临时表,供OLAP数据库装载使用。
电商平台的数据仓库设计与实现

电商平台的数据仓库设计与实现随着互联网技术的不断发展,电子商务成为新的商业模式,电商平台已经成为企业和消费者交流的新平台。
然而,随着电商平台的不断发展,数据量也不断增加,如何管理和分析这些数据成为了电商平台所面临的挑战。
因此,为了更好的管理和分析大量数据,电商平台需要建立自己的数据仓库。
一、数据仓库简介数据仓库是为了满足企业分析和决策需要而建立的一种数据管理系统。
数据仓库具有决策支持和分析功能,是基于主题的、集成的、稳定的、随时间变化而更新的且支持管理决策的数据集合。
二、电商平台数据仓库的设计和实现1.需求分析在设计和实现电商平台数据仓库之前,首先需要进行需求分析。
需求分析的目的是确定数据仓库需要包含什么数据、数据的来源、数据存储方式以及数据的分析需求。
具体的需求分析包括以下几个方面:(1)确定数据仓库的主题和范围。
电商平台的数据包括交易记录、用户信息、商品信息、库存状态等信息,因此需要确定数据仓库的主题和范围。
(2)确定数据来源。
确定数据仓库的数据来源,包括各个系统的数据、外部数据源的数据等。
(3)确定数据存储方式。
确定数据存储方式,需要考虑到数据的规模、岛屿的数据集成以及数据的安全性等因素。
(4)确定数据的分析需求。
需求分析的关键是确定数据的分析需求,包括数据的分析维度、分析对象等。
2.数据集成数据集成是指将来自不同数据源的数据集成到数据仓库中。
因为电商平台的数据来源是多样的,包括终端设备、交易系统、物流系统等,因此需要进行数据集成。
数据集成的过程包括数据抽取、数据转换和数据加载三个步骤。
具体来说,数据抽取是将外部数据源中的数据抽取到本地数据库中;数据转换是将抽取的数据进行转换、清洗和质量控制;数据加载是将处理后的数据加载到数据仓库中。
3.数据建模数据建模是指利用数据建模工具将抽取的数据进行建模,分析其业务规则,形成数据模型。
在电商平台数据仓库的建模中,需要注意以下几个方面:(1)建立事实表和维度表。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
数据仓库系统总体设计摘要:本文档为XX通信公司网上通信记录查询平台设计说明书,为XX通信公司网上通信记录查询平台详细设计的之要依据。
本文档的主要阅读对象为XX通信公司网上通信记录查询平台的详细设计人员。
经过需求分析调查,确定了数据仓库系统总体定位和系统功能需求。
现根据需求分析规定和局具体情况,确定数据仓库整体方案,以指导数据仓库系统研究、开发、实现。
关键字:指标;主题;数据仓库;联机分析;数据挖掘;决策支持1 概述1.1 背景本软件全称为XX通信公司网上通信记录查询平台。
1.2 术语定义DW:数据仓库DC:数据中心OLTP:在线事务处理OLAP:在线分析处理BI:商业智能DSS:决策支持系统SOA:面向服务的架构EA:企业架构ETL:数据抽取、转换、加载Statistical Parameter:指标Subject:主题DataMart:数据集市MetaData:元数据OLTP(On-LineTransactionProcessing):联机事务处理DSS:决策支持系统AS:应用服务器WebServer :Web服务器1.3参考资料数据仓库课程课件林友芳概要设计说明书模板林友芳《实用软件工程》清华大学出版社2 系统设计从充分发挥系统作为“数据库,信息库,思想库,智囊库”的作用,向用户提供“快、精、准”的通讯记录查询服务的需要出发,采用当今数据库领域成熟稳定的数据仓库、决策分析等技术,在高效的网络平台上建设提供一个“决策数据管理与分析中心”的基本解决方案。
系统采用多层体系结构,建立一个良好开放性的数据仓库系统环境,适应不断增加和变化的业务需求。
多层体系结构通过引入中间层组件,扩大了传统的客户/服务器和两层计算模式。
多层结构可由以下三类分层来定义:前端的客户层,负责提供可移植的表达逻辑;中间的应用层,允许用户通过将其与实际应用隔离而共享和控制业务逻辑;后端的数据管理与服务层,提供对专门服务(例如数据库服务器)的访问。
结构化、层次化、模块化。
采用面向对象技术,使系统高度结构化、模块化、层次化,整个系统由接口定义良好的多个模块组成,每个模块都有详细的功能说明和设计文稿,每个模块完成相对独立的功能,模块之间的接口定义规范,使模块功能的变化相对独立,不影响整个系统的功能和结构,便于系统升级,维护。
具有良好的平台移植性。
选用支持多种操作平台的数据库服务器、应用服务器、WEB 服务器等服务器软件系统,选用具有良好平台移植性的B/S和C/S模式下的开发语言开发应用程序和应用中间件,提高应用系统的平台移植性。
以最简单的方式实现复杂的功能。
为提高系统的稳定性和可读性,可维护性,尽量采用简洁易懂的方式实现系统功能,不追求复杂、深奥的算法。
WEB 服务层业务逻辑层数据存储层应用层安全服务层整个系统在逻辑上分为三层:原始数据层,中间逻辑层(业务逻辑层、WEB 服务层、安全服务层),应用层。
原始数据层:以统一规范的方式存储数据;中间逻辑层:解析应用层的业务逻辑,使应用层和原始数据相互独立,提高应用层系统(程序)的可扩展性、可移植性;应用层:面向最终用户,提供友好、简洁、方便的用户界面,具有良好的业务无关性。
2.2系统用例模型图根据系统功能需求,用例模型图绘制如图。
系统用例图2.3网络拓扑结构我们根据以下列出的几点,确定硬件系统结构:系统已经拥有比较完备的内部网络系统。
公司数据仓库系统的数据、信息既能够在系统的网络内最大限度的实现数据共享,又能将可以对公众发布的信息分不同的级别向外界发布。
尽可能在网络设计上考虑防止黑客攻击、病毒传播等破坏数据的手段和方式。
尽可能利用现有网络系统,包括系统专有网,公共Internet网,政府办公局域网等。
我们设计了一个在物理上可以随时隔离或连接、由两大部分组成的网络系统结构,如下图所示:说明:出于网络安全的原因,将整个网络分为内部网络和外部网络两部分。
内部网络与外部网络的系统机构基本相同。
外部网络基本上用在对外发布,不包括保密信息。
外部网络需要的发布数据从内部网络中通过ETL工具获得,存放在外部网络的数据仓库中。
外部网络经过防火墙、路由器与Internet相连。
为保证数据安全,只在外部网络从内部网络抽取数据时,两者才是连通的(且要经过防火墙),其余时间两个网络物理隔离。
工作站分别为各个处室的个人PC机,也可以是单独的工作站,功能为向ETL服务器提供仓库所需数据及通过浏览器访问数据仓库数据信息。
ETL工具定期从各个处室的数据库系统抽取数据,且ETL服务器兼中间数据库服务器,抽取的数据暂时保存在ETL服务器上,在导入数据仓库之前容许修改。
考虑到数据仓库系统决策分析时需要大量数据信息,所以要求交换机容量应为1000M。
OLAP服务器和应用服务器结合比较紧密,在实际的应用中共享一台设备。
入侵检测系统是一台单独的设备,放在路由之后,起到防止非法入侵的作用。
安全隐患扫描系统可以运行在一台高性能的PC机上,提供及时的安全扫描,及早发现问题。
2.4 网络层次结构整个数据仓库系统由内而外分为四层:系统内核层:包括数据仓库服务系统及应用系统。
系统安全层:使用网络安全产品,与局现有网络系统兼容,保护内部数据安全,网上信息传送安全、防止黑客破坏或恶意入侵。
公共网络层:基于TCP/IP的城域网和广域网(省局目前开通的帧中继网),使用现在已经建成的公共网络将数据、信息、知识发布出去。
外部应用层:各种数据仓库系统的客户应用系统,通过外部应用系统用户可以获得系统提供的向外发布的各种信息。
2.5 处理流程指标数据抽取子系统通过读取ETL中间数据库中的抽取模型和清洗模型,把各个处室的数据暂存到中间数据库。
指标数据加载子系统读取中间数据库中的转换模型与加载模型,把中间数据库的数据加载到数据仓库中。
ODBC 输入界面ETL(数据抽取.清洗.转换.加载)指标数据抽取子系统中间数据库指标数据加载子系统3 开发及运行环境数据仓库系统是一个跨平台、综合的大型应用系统。
综合用户习惯与系统效率等方面的考虑,整个数据仓库系统的各子系统将分别运行在不同的操作平台下,这些子系统密切合作,形成一个紧密结合、高效的整体。
3.1硬件环境基于高速网络环境。
服务器采用高档小型机。
客户端为高性能客户端。
3.2操作系统服务系统运行于UNIX操作系统。
UNIX以其较小的内核、较高的运行效率著名,获得了服务器上主流操作系统的地位。
全球著名的硬件产商都有与自身服务器紧密结合的UNIX 操作系统(如IBM的AIX和SUN公司的Solaries,HP的HP_UX),能充分发挥系统的最大性能。
客户端系统运行在Windows操作系统下。
全世界90%的PC用的是Windows操作系统,广大用户已经习惯了Windows操作系统的界面、风格。
局几乎所有PC都是运行在Windows 系统下的,数据仓库系统的客户端系统(包括系统管理、ETL工具客户端等)运行在Windows 系统下能满足用户需要,缩短系统投入使用的培训时间。
3.3开发语言JA V A语言最先由网景公司利用在WEB上,是最好的跨平台开发语言,是当前B/S模式的首选开发语言;C语言最先在UNIX系统下使用,是一种执行效率非常高的高级开发语言,C++的出现使C语言包含了面向对象概念,C++语言也得到了日益广泛的应用,是C/S 模式的首选开发语言。
3.4数据库系统数据库系统采用Oracle9i,Oracle9i是Oracle公司对数据仓库支持最好的数据库系统,它的复合索引,物化视图等技术可以使数据的查询效率有很大提高。
3.5 系统运行环境本系统运行环境需求如图。
系统运行环境逻辑结构图3.5.1 数据仓库服务器环境要求服务器型号:HP DL380CPU:英特尔至强E5520(4核,2.26GHz,8M三级高速缓存)内存:6G操作系统:UNIX3.5.2数据仓库管理服务器服务器型号:HP DL360CPU:英特尔至强E5504(4核,2.00GHz,4M三级高速缓存)内存:4G操作系统:UNIX3.5.3 WEB服务器环境要求服务器型号:HP DL580CPU:英特尔至强E7370(4核,2.40GHz,8M三级高速缓存)内存:8G操作系统:UNIX4 系统各个功能模块ERD4.1查询一段时间内的短信与通讯记录查询一段时间内短信与通讯记录ER图如图4.2查询套餐或其他业务的扣费纪录查询套餐或其他业务的扣费记录ER图如图。
4.3查询账户余额,充值记录查询用户账户余额,充值记录ER图如图4.4查询办理过的业务类型用户查询自己办理过的业务类型ER图如图。
4.5查询用户一年内短信与通话月情况表用户查询自己一年内短信与通话月情况表ER图如图。
5.1业务数据层业务层的数据又称操作型数据,它是最原始的数据,是其他层次上数据的源数据。
业务数据层的数据通常是很细节的数据,它们是经过日复一日累积起来的,而且访问频率很高,是面向应用的数据。
本系统中在这一层上主要包括的数据有:短信记录、通话记录、扣费记录、充值记录以及业务办理记录。
这些数据未经集成,是最原始的数据。
逻辑上,这些数据都是以二维表的形式存储,它们的表结构分别如下。
5.2数据仓库层数据仓库层的数据是又业务层的原始数据经过ETL得来的,具有一定的集成度。
在本系统中,用户查询一段时间内的短信、通话记录、充值记录以及办理过的业务所得到的数据即是这一层的数据。
这些数据在逻辑上也是以二维表的形式存储的,具体如下。
通话记录表是从业务数据层的通话记录中抽取得来的。
查询充值记录以及办理过的业务也是从相应的记录中抽取得来的。
数据集市层的数据时由数据仓库层的数据经过ETL得到的,它的集成度更高,粒度也更大。
用户查询一年内的短信与通话月情况得到的数据即是这一层的数据,具体二维表如下。
5.4个体层个体层的数据往往是临时的,费重复的。
考虑到用户查询自己的余额的得到的数据是随时可能变化的,而且余额与充值、套餐扣费、短信扣费、通话扣费等都有关系,在本系统中我们把账户余额放到个体层。
6.1 数据备份方式备份:备份系统中所有的数据。
全备份所需时间最长,但恢复时间最短,操作最方便,当系统中数据量不大时,采用全备份最可靠。
量备份:只备份上次完全备份以后增加的数据。
分备份:只备份上次完全备份以后有变化的数据。
按需备份:根据临时需要有选择地进行数据备份。
6.2数据恢复方式灾难恢复:灾难恢复措施在整个备份制度中占有相当重要的地位。
因为它关系到系统在经历灾难后能否迅速恢复。
灾难恢复操作通常可以分为两类。
第一类是全盘恢复,第二类是个别文件恢复。
全盘恢复:全盘恢复一般应用在服务器发生意外灾难导致数据全部丢失、系统崩溃或是有计划的系统升级、系统重组等,也称为系统恢复。
个别文件恢复:个别文件恢复可能要比全盘恢复常见得多,利用网络备份系统的恢复功能,我们很容易恢复受损的个别文件。