Oracle BI 数据仓库设计及解决方案
Oracle数据库规划设计和运行维护方案(最新整理)
Oracle数据库规划设计和运行维护方案（V1.0）目录1.前言 (7)1.1.编写目的 (7)1.2.方案说明 (7)1.3.预期读者 (8)2.数据库部署模式 (8)2.1.单机模式 (8)2.2.双机热备模式（HA模式） (8)2.3.集群模式（RAC） (9)2.4.主从模式（DataGuard） (10)2.5.混合模式（DataGrard+RAC） (11)2.6.数据库运行模式选择 (11)3.系统特点和数据库类型 (12)3.1.业务系统的特点 (12)3.1.1.OLTP特点 (12)3.1.2.OLAP特点 (13)3.2.数据库的规模 (13)3.3.数据库版本建议 (14)4.数据库运行环境规划 (14)4.1.主机规划 (14)4.2.网络规划 (15)4.3.存储规划 (17)5.数据库安装部署规划 (18)5.1.软件安装路径 (18)5.2.表空间设计 (19)5.2.1.业务数据量估算 (19)5.2.2.表空间使用规则 (20)5.2.3.表空间的概念和分配原则 (24)5.2.4.表空间的参数配置 (25)5.2.5.Undo/temp表空间的估算 (29)5.2.6.表的参数设置 (29)5.2.7.索引的使用原则 (30)5.3.文件设计 (31)5.3.1.RAC配置文件 (31)5.3.2.参数文件 (31)5.3.3.控制文件 (33)5.3.4.重做日志文件 (34)6.数据库应用规划 (35)6.1.数据库用户设计 (35)6.1.1.用户权限规划 (35)6.1.2.用户安全实现 (37)6.1.3.用户类型及角色命名规范 (39)6.2.数据库分区 (41)6.2.1.数据库分区介绍 (41)6.2.2.逻辑分割 (42)6.2.3.物理分割 (42)6.2.4.数据分区的优点 (42)6.2.5.数据分区的不足 (43)6.2.6.Oracle分区技术 (43)6.2.7.分区使用建议 (44)6.2.8.分区索引 (44)6.3.数据库实例配置 (45)6.4.数据库参数设置 (46)6.4.1.必须修改的初始化参数 (46)6.4.2.建议修改的初始化参数 (51)6.4.3.不可修改的初始化参数 (53)6.4.4.建议不可修改的初始化参数 (54)6.4.5.与并行有关的参数 (57)6.5.数据库连接服务 (58)6.5.1.专用服务器连接 (58)6.5.2.共享服务器连接 (59)6.5.3.连接服务建议 (59)6.6.数据库安全建议 (59)6.7.数据库备份和恢复 (60)6.7.1.RMAN备份 (60)6.7.2.EXP/IMP备份 (61)6.7.3.存储级备份 (61)6.7.4.数据库恢复 (62)6.8.数据库网络配置 (63)6.8.1.监听器的使用配置原则 (63)6.8.2.TNSNAMES的使用配置原则 (63)6.8.3.RAC环境下TNSNAMES的配置 (63)7.业务系统开发建议 (65)7.1.数据库模型设计规范 (65)7.1.1.命名规则 (65)7.1.2.数据库对象 (66)7.2.PLSQL开发规则 (69)7.2.1.总体开发原则 (69)7.2.2.程序编写规范 (70)7.3.SQL语句编写规则 (97)7.3.1.查询语句的使用原则 (97)7.3.2.DML语句的调整原则 (108)8.数据库体系结构 (112)8.1.整体结构 (112)8.2.内存结构 (112)8.2.1.系统全局区（SGA） (113)8.2.2.程序全局区（PGA） (116)8.2.3.后台进程 (116)8.3.存储结构 (119)8.3.1.物理结构 (119)8.3.2.逻辑结构 (121)9.数据库基本管理 (123)9.1.参数文件管理 (123)9.2.表空间管理 (124)9.2.1.用户表空间管理 (124)9.2.2.临时表空间管理 (127)9.2.3.回滚段表空间管理 (131)9.3.重做日志文件管理 (133)9.3.1.增加重做日志文件组 (133)9.3.2.添加重做日志文件组成员 (133)9.3.3.改变重做日志文件组成员 (134)9.3.4.删除重做日志文件组成员 (134)9.3.5.删除重做日志文件组 (134)9.3.6.重做日志切换 (135)9.3.7.重做日志清理 (135)9.3.8.重做日志切换次数查询 (135)9.4.归档模式设置 (137)9.4.1.单实例数据库设置归档模式 (137)9.4.2.RAC数据库设置归档模式 (137)9.4.3.归档路径设置 (138)9.5.控制文件重建 (139)9.6.内存参数管理 (141)9.6.1.Oracle内存管理发展阶段 (141)9.6.2.自动内存管理AMM (141)9.6.3.自动共享内存管理ASMM (141)9.6.4.自动PGA管理 (142)9.7.其它管理内容 (142)9.7.1.查看数据库版本 (142)9.7.2.数据库字符集 (143)9.7.3.创建密码文件 (143)9.7.4.关闭数据库审计功能 (143)9.7.5.账号管理 (144)9.7.6.Profile管理 (144)10.数据库集群（RAC）管理 (144)10.1.RAC状态检查 (144)10.1.1.检查守护进程 (144)10.1.2.检查资源状态 (145)10.2.RAC启动与关闭 (145)10.3.管理OCR (146)10.3.1.OCR盘状态查看 (146)10.3.2.OCR备份与恢复 (146)10.3.3.查看OCR内容 (147)10.3.4.指定OCR盘 (147)10.3.5.增加OCR盘 (147)10.3.6.删除OCR盘 (148)10.4.管理VOTING DISK (148)10.4.1.检查Voting Disl盘 (148)10.4.2.VOTING DISK备份与恢复 (148)10.4.3.添加VOTING DISK盘 (149)10.4.4.删除VOTING DISK盘 (149)10.5.CSS管理 (149)10.6.SRVCTL管理工具 (149)10.6.1.管理实例 (150)10.6.2.管理监听程序 (150)10.6.3.管理ASM (151)10.6.4.管理service (151)10.7.修改RAC的IP及VIP (152)10.7.1.修改外网IP和心跳IP (152)10.7.2.修改VIP (152)10.7.3.查看与删除IP (153)10.8.管理ASM (154)10.8.1.管理DiskGroup (154)10.8.2.ASM兼容性管理 (156)10.8.3.ASM中添加disk的方法 (158)10.8.4.ASMCMD管理命令介绍 (159)10.8.5.ASM常用视图 (162)11.数据库备份 (164)11.1.备份概念说明 (164)11.1.1.脱机备份 (164)11.1.2.联机备份 (165)11.1.3.RMAN备份 (166)11.2.备份策略规划 (166)11.3.RMAN备份和恢复案例 (167)11.3.1.归档模式下的完全恢复 (167)11.3.2.归档模式下的不完全恢复 (170)12.数据库运维管理 (172)12.1.运维职责 (172)12.2.运维要求 (172)12.3.技能要求 (172)12.4.运维内容 (173)12.4.1.检查数据库运行情况 (173)12.4.2.检查操作系统和数据库日志文件 (175)12.4.3.检查Oracle对象状态 (176)12.4.4.检查数据库相关资源的使用 (179)12.4.5.检查数据库备份 (183)12.4.6.检查数据库的性能 (183)12.4.7.数据库安全性检查 (189)1.前言1.1.编写目的随着以使用Oracle数据库的应用系统不断增加，为了加强应用系统在规划、开发、实施、维护等环节工作的规范化，特编写本文档，力求对实际的设计、实施工作起到规范和指导作用。
oracle 数据仓库解决方案
oracle 数据仓库解决方案
《Oracle 数据仓库解决方案》
Oracle 数据仓库解决方案是一种针对大规模数据管理和分析的全面解决方案。
随着企业数据量的不断增长，传统的数据库系统已经不能满足企业对数据处理和分析的需求，因此越来越多的企业开始寻找更灵活和高效的数据管理平台。
Oracle 数据仓库解决方案基于其强大的数据库技术和成熟的数据管理经验，为企业提供了一套全面的数据管理工具和服务。
通过Oracle 数据仓库解决方案，企业可以轻松地将各种数据
源集成到一个统一的平台上，并利用Oracle自身的强大性能
和可扩展性进行高效的数据处理和分析。
Oracle 数据仓库解决方案还提供了丰富的数据可视化和报表工具，帮助企业用户轻松地对数据进行分析和挖掘，从而更好地理解数据之间的关系和趋势。
此外，Oracle 数据仓库解决方案还支持多种数据存储方式，包括传统的关系型数据库、大数据存储、以及云存储等，为企业提供了更多的选择和灵活性。
总的来说，Oracle 数据仓库解决方案是一种完善的数据管理平台，可以帮助企业更好地管理和分析大规模数据，提高数据管理的效率和精度。
随着企业对数据管理和分析需求的不断增长，Oracle 数据仓库解决方案将会在未来发挥越来越重要的作用。
Oracle的数据仓库解决方案
Oracle的数据仓库解决方案在数据驱动的时代，企业越来越重视数据的收集、分析和利用。
数据仓库作为数据集中存储和管理的关键组件，成为企业实现数据驱动决策的重要基础。
Oracle作为全球领先的数据库技术提供商，也提供了强大的数据仓库解决方案。
Oracle的数据仓库解决方案主要包括以下几个关键组件和特点：1. 数据采集和清洗：Oracle提供了丰富的数据采集工具和方案，可以从各种关系型数据库和非关系型数据库等数据源中提取、转换和加载数据到数据仓库中。
此外，Oracle还可以对数据进行清洗和预处理，确保数据的准确性和一致性。
2. 数据存储和管理：Oracle的数据仓库解决方案采用高性能的数据库引擎来存储和管理数据。
它支持多种存储结构，如关系型、多维和列式存储等，以满足不同的数据分析和查询需求。
此外，Oracle还提供了强大的数据压缩和索引技术，以优化数据存储和查询性能。
3. 数据集成和转换：Oracle的数据仓库解决方案可以帮助企业将分散、异构的数据集成到一个统一的数据模型中。
它提供了强大的ETL（抽取、转换和加载）工具，可以对数据进行清洗、转换和整合，使数据在数据仓库中具有一致的结构和格式。
4. 数据分析和挖掘：Oracle的数据仓库解决方案提供了丰富的分析和挖掘功能，帮助企业发现数据中的模式、规律和趋势。
它支持各种常用的分析工具和技术，如OLAP（在线分析处理）、数据挖掘和机器学习等，以帮助企业实现更深入、高效的数据分析。
5. 数据安全和权限控制：Oracle的数据仓库解决方案提供了全面的数据安全和权限控制机制，以保护企业的数据资产安全。
它支持各种安全功能，如数据加密、访问控制和审计等，以确保数据的机密性、完整性和可用性。
综上所述，Oracle的数据仓库解决方案提供了全面、可靠的解决方案，帮助企业构建高效、可扩展的数据仓库。
它的强大功能和灵活性使得企业能够深入挖掘数据的价值，提升决策能力和竞争优势。
ORACLE数据仓库建设
摘要自20世纪90 年代以来,计算机技术发展迅猛,各通信商逐步开发出新的BI 系统。
实现给通信领域提出了充分利用数据仓库技术，将现有的海量数据构造成为可用、可控、可扩展的数据组织,以适应通信领域各级主管和业务人员的分析需要。
在本论文中从数据仓库需求分析包括参与成员、各个成员所起到的作用；逻辑模型建设通过软件设计，确定表之间的关系；物理模型建设中对表和过程进行详细的审核，用来支持所提出的需求；数据仓库设计以ODS、DWD、DWA为层次，采用横向分层纵向分域的理念，进行具体的实施建立，并在后期提供了错误的应急措施、数据仓库的维护和优化。
关键词：数据仓库，物理模型，维护和优化English abstractSince the nineteen ninties, computer technology is developing rapidly, the communication business gradually developed a new BI system. Reality to communication field is presented for fully using data warehouse technology to existing data structures become available, controllable, scalable data organization, to adapt to the field of communication at all levels of managers and business analysis.In this paper from the data warehouse requirement analysis includes the participation of members, each member of the role played by; logic model construction through software design, to determine the relationship between tables; physical model construction process table and detailed audit, used to support the proposed requirement; data warehouse design with ODS, DWD, DWA levels, the horizontally stratified longitudinal domain concept, specific implementation of the establishment, and in late stage provides error emergency measures, data warehouse maintenance and optimization.Keywords：data warehouse, physical model, maintenance and optimization目录第一章数据仓库概述 (1)1.1 本论文采用数据仓库的目的 (1)1.2 数据仓库的定义和特点 (1)1.3 数据仓库与数据库 (2)1.5 元数据 (3)1.5.1 技术元数据 (3)1.5.2 业务元数据 (3)1.5.3 元数据的作用 (4)1.6 数据仓库发展方向 (5)1.6.1 数据仓库的产生和发展 (5)1.6.2 数据仓库发展趋势 (7)1.6.3 数据集市、集市群—行业的发展方向 (8)1.6.4 基于Internet2、光处理器计算机和GGG技术的DW (11)1.7建设数据仓库的必要性 (14)第二章数据仓库需求分析 (15)2.1 需求分析原因 (15)2.2 需求分析阶段 (15)2.2.1 需求分析成员确立 (16)2.2.2 需求会议 (18)第三章数据仓库总体设计 (19)3.1 数据仓库实施环境 (19)3.2 确定数据仓库开发的生命周期 (19)3.3 通讯数据仓库设计原则 (25)3.4 确定数据仓库系统的结构及各部分的主要功能 (26)第四章数据仓库详细设计 (31)4.1 逻辑模型设计 (31)4.2 物理模型设计 (32)第五章数据仓库实现 (34)5.1 ODS层建设 (34)5.1.1 接口数据抽取 (34)5.1.2 数据抽取策略 (35)5.1.3 ODS层的作用 (36)5.2 DWD层建设 (36)5.2.1 DWD定义 (36)5.2.2 实体选取的原则 (36)5.2.3 字段选取的原则 (37)5.2.4 数据转换 (37)5.2.5 数据加载技术及策略 (38)5.3 DWA汇总层建设 (39)5.4 DWA衍生层建设 (40)第六章数据仓库后期运维 (42)6.1 数据仓库测试 (42)6.1.1 分析源文件 (42)6.1.2 开发策略和测试计划 (42)6.1.3 测试的开发与执行 (43)6.2 数据仓库后期维护 (43)6.2.1 数据仓库数据清理 (43)6.2.2 数据仓库模型更改 (44)6.3 数据仓库性能优化 (44)6.3.1 调整数据库服务器的性能 (44)6.3.2 调整内存分配 (44)6.3.3 使用ORACLE的数据完整性约束 (45)6.3.4 使用数据库触发器 (45)6.3.5 使用存储过程 (46)6.3.6 应用程序调整 (46)总结 (47)致谢 (48)参考文献 (49)第一章数据仓库概述1.1 本论文采用数据仓库的目的当前,通信行业(以联通为例)内部已经积累了大量的业务处理数据,但是这些数据分布在各级机构、各个部门中,而且数据的操作平台各异,有DOS 的、有Windows 的、有Unix 的、有Solaris 的;数据的来源复杂,有存储在硬盘上的,也有存储在磁带、光盘上的;数据的文件格式多样,有各种不同数据库的,也有文本文件型的,还有多媒体文件型的。
Oracle数据仓库解决方案
Data Modeling Identify data sources Identify source subset Model Star Schema
Process Modeling Build Plans
Dimension tables Time Dimension Fact table Populate database Business Modeling Define end-user layer
Product Lookup
Oracle Data Mart Builder
Market Lookup
Promotion Lookup
Time Lookup
Direct Path Loader
Metadata
Oracle Discoverer
决策支持系统的范围
IT 人员 为用户开发
标准报表
业务用户 独立分析
Instance Affinity: Shipping
FunctionPartitioned
Tables
and
Indexes
Summary Management
Parallel Union All Partition Pruning
Asynchronous Read-Ahead
Histograms Anti-Join
财务, 时间序列, 建模, 预测, 回归分析，假设分析
Oracle Reports
What is it?
– Formats and distributes database information
Key advantages
Oracle 数据仓库和BI 解决方案简介
Oracle数据仓库和BI解决方案简介上海蒙马软件技术有限公司2009年3月本文由蒙马公司BI项目组收集整理，内容仅供参考一、产品介绍1.1、Oracle 业务智能标准版1蒙马建议：该产品可以和很多ERP（包括sage，infor，IFS等）结合使用，性价比非常高，而且包含了BI项目的所有部件。
Oracle 业务智能标准版 1 是一个面向中小型企业的全面、集成的经济型 BI 解决方案。
它基于与 Oracle 业务智能企业版相同的技术平台，能够随着业务需求的增长而轻松扩展。
Oracle 业务智能套件标准版 1 的特点是通过基本组件来管理和构建部门级 BI 解决方案。
Oracle BI 标准版1 提供了综合的业务智能功能（交互式信息板、高度格式化报表、自助式即席分析、数据集成和服务器管理），所有功能都基于一个通用的新式 Web 体系结构。
Oracle 业务智能标准版 1 与 Oracle 业务智能套件企业版完全兼容，可在您的使用需求增加的同时保护您的投资。
Oracle 业务智能标准版 1 包括：Oracle BI ServerOracle BI Server Administrator Oracle BI AnswersOracle BI Interactive Dashboards Oracle BI PublisherOracle 数据库标准版 1Oracle Warehouse Builder（核心 ETL)1.2、Oracle BI Publisher蒙马建议：该产品是一个完整的报表平台，报表开发过程简单，报表开发完成后，可以通过BI Publisher 类似门户的平台发布。
改产品包括在BISE1套件里面。
Oracle Business Intelligence Publisher（BI Publisher，以前称作 XML Publisher）是一个企业报表解决方案，可创建、管理和提供各种类型的高度格式化的文档，从而消除了对昂贵单点解决方案的需求。
Oracle数据仓库解决方案
Oracle数据仓库解决方案Oracle中国有限公司二零零零年十二月目录一.数据仓库发展的商业驱动力..................... 错误!未定义书签。
企业生存环境的变化............................................ 错误!未定义书签。
企业如何迎接市场变化带来的挑战................................ 错误!未定义书签。
开拓市场：理解市场.................................. 错误!未定义书签。
提高企业运作绩效：理解业务....................... 错误!未定义书签。
平衡市场发展目标和企业运作....................... 错误!未定义书签。
基于数据仓库的有效的商务解决方案的要求........................ 错误!未定义书签。
O RACLE数据仓库：被证明是有实力的商务解决方案................... 错误!未定义书签。
二、ORACLE数据仓库的体系结构................... 错误!未定义书签。
数据仓库的平台：数据库和决策分析工具.......................... 错误!未定义书签。
Oracle8i的数据仓库新特性......................... 错误!未定义书签。
Oracle OLAP产品的新发展 .......................... 错误!未定义书签。
Oracle 集成的决策支持产品工具集................ 错误!未定义书签。
市场发展分析应用.............................................. 错误!未定义书签。
企业运作分析应用.............................................. 错误!未定义书签。
oracle 数据仓库解决方案
Oracle 数据仓库解决方案1. 引言数据仓库是一种用于支持企业决策需求的关键系统。
它集成了来自各个业务系统的大量数据，并提供强大的分析能力，帮助企业快速准确地做出战略决策。
Oracle是一个非常强大的数据库管理系统，提供了丰富的功能和工具来支持数据仓库解决方案的开发和运维。
本文将介绍基于Oracle的数据仓库解决方案的架构设计、数据抽取与转换、数据质量管理、数据存储与索引、以及数据可视化等方面的内容。
2. 架构设计在设计Oracle数据仓库解决方案时，需考虑到数据的各个方面，包括数据源、数据仓库、数据集成、以及数据分析与应用。
一般来说，Oracle数据仓库解决方案的架构设计可以分为以下几个层次：2.1 数据源层数据源层是数据仓库解决方案的基础，它包括了从企业各个业务系统中抽取数据的过程。
Oracle提供了多种方式来实现数据抽取，如使用Oracle Data Integrator （ODI）进行ETL（Extract, Transform, Load）操作，或者使用Oracle GoldenGate进行实时数据复制。
通过选取合适的数据源层方案，可以确保数据仓库中的数据及时、准确地更新。
数据仓库层是整个解决方案的核心部分，它承载了企业的全部业务数据。
在设计数据仓库层时，需要考虑到数据的组织结构、模型设计、以及数据的粒度。
Oracle提供了强大的数据仓库建模工具，如Oracle Data Warehouse Builder（DWB）和Oracle Enterprise Manager（OEM），可用于辅助数据仓库层的设计与管理。
2.3 数据集成层数据集成层是将从数据源层抽取的数据进行清洗、转换、合并和加载的过程。
Oracle提供了丰富的工具和功能来支持数据集成过程，如Oracle Data Integrator （ODI）、Oracle Warehouse Builder（OWB）以及Oracle Data Pump等。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
register Table
分区忽略
系统自动根据分区情况优化 数据访问，忽略无关的数据 分区
1998
1999
2000
表分区使用情况?
Range RangeHash Hash
List
Range-List 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Oracle数据库的真正应用集群技术
Measure度量＝销售额
稀疏维
销售额度量
成员
卓越的计算能力
• 最广泛的功能：
• 简单汇总到复杂的 跨维分配 • 根据检索存储或计 算的结果 • 关系识别 • 条件或程序逻辑
Hyperion Essbase 可提高数据仓库性能
具有 Q&R 工具的数据仓库
响应时间 磁盘占用空间
Hyperion Essbase
• Allows optimization by application table
• 极大地降低成本
5X More I/Os than 1000 Disk Enterprise Storage Array
• 同样的I/O能力,超过10x倍的磁盘节省 • 低能耗
Oracle 是第一个闪存优化 的数据库系统
• 减少空间 • 典型的可达到15X的压缩率 • 有些可达到50X
© 2009 Oracle Corporation - Confidential
50X
27
Up To
数据仓库逻辑结构
28
多维数据集市 Essbase
Oracle Essbase
近十年内最具影响力的 10 大科技创新之一 • • • • 全球第一的多维数据库 What-if 计算 多维分配 多用户读/写
• 11g适合所有命令，可用于业务处理系统
• 压缩各种数据类型
• 结构化数据和非结构化数据
• 典型压缩比 2-3 X
• 大量节省磁盘空间消耗2x-3x • 可减少IO, 加强了缓存的效率 • 比正常读取要快2倍
• 压缩的成本
• 能节省一半的存储空间 • 会增加5%的CPU使用率
Sun Oracle Database Machine
分散在各个系统中的异构数据源
---
------------
遗留系统
ERP
CRM
------------
------------
业务系统
Oracle Data Integrator
支持多种数据源和目标 高性能 ODI可以方便地调用数据 库存储过程、函数、操作系 统可执行脚本 ODI支持增量数据捕获 ODI支持BLOB/CLOB数据类 型的完全处理 ODI支持将数据库数据转 换为XML，包括BLOB/CLOB数 据类型 图形化界面，易于使用
9
数据仓库及商务智能系统逻辑架构图
数据仓库构建 数据源
ERP数据 分段数据存储
数据仓库管理
数据分析
查询及报表 门户
用户
知识工人 决策人员
数据仓库
数据集市 其它数据 抽取, 转换, 其它数据 加载 数据集市 数据仓库, 模型
OLAP
数据挖掘
Business Modeling 元数据 单点登录 和 统一身份管理
数据仓库数据加载 Oracle Data Integrator
Oracle Data Integrator（ODI) 是一个 SOA-Ready 的数据集成工具
如何充分利用企业现有的信息
商业智能 绩效管理 商业流程管理 业务流程监控
数据集成
数据迁移 数据仓库 主数据管理 数据同步 --------数据联邦 实时消息
数据仓库解决方案探讨
1
Complete, Open, Integrated
• • • • • • • •
基于开放和标准 业已优化, 集成的和可延展的 更好的性能, 可靠性, 安全性 更短的部署时间 更简便的管理与升级 更低的拥有成本 极大降低变更管理的风险 整体支持
Oracle 产品体系架构平台产品及技术映射
Exadata Storage Server Grid
• 14 x高性能低成本存储服务器 • 100 TB raw SAS disk storage or 336 TB raw SATA disk storage • 5TB+ 闪存(flash storage)!
InfiniBand Network
好处
最佳的高性能、可扩展性 易管理、低成本
ODI的易用性
• ODI提供图形化方式实现异构数据复制、异构数据的抽 取加载以及转换
数据仓库逻辑结构
17
数据仓库数据管理 Oracle DB
大型数据仓库
特性排序
Source: Oracle ST Survey
数据分区技术提高大数据量的访问速度
于对管理决策过程的支持。”
6
数据仓库和商务智能解决方案
上下游企业 一线员工 经理 企业领导
商务智能分析
交互式仪表板 发现和预警
即时查询
报表
移动分析
实时分析
商务智能分析
销售分析 服务分析 市场分析 供应链分析 财务分析 劳动力分析
• 预制的客户和业务分析 • 行业化和基于规则 • 针对Siebel, SAP, PeopleSoft, Oracle, 和其他数据源 • 快速实施、低成本
网格基础架构层
应用服务器 数据库 存储
日程
• Oracle 数据仓库解决方案 • 数据仓库系统实施规划 • 总结
4
什么是数据仓库
• 数据仓库概念的提出者、美国著名信息工程专家 William Inmon博士在90年代初提出了数据仓库概念的 一个表述： “一个数据仓库通常是一个面向主题的、集成的、随 时间变化的、但信息本身相对稳定的数据集合，它用
• 写回建模 BI
• 财务智能
维度和度量
商品维度
商品全体 商品分类１ 商品分类２ 商品A 商品B
98 58 40 28 30
48 28 20 10 18
43 23 20 8 15
70 50 20 30 20
62 32 30 20 12
33 259 95 354 18 159 50 209 15 100 45 145 18 76 83 38 114 12 95 时间维度
数据仓库平台 数据仓库平台
业务分析数据仓库 ETL & 配置器
CRM Financial HR Supply Chain IVR Web CTI
业务系统
用户交互系统
其他业务和分析 数据源
• 为所有用户服务 • 极高的扩展性和性能 • 完整的、即时的数据提供 • 提供更强的BI和分析能力
8
数据仓库逻辑结构
• 数据分区层次的管理
• 范围、 hash、列表、复合分区 • 查询时自动分区忽略，减少对不相关数据的访问 • 查询语句可以在分区间并行，提高CPU和IO并发
• 增强的数据有效性
• 数据故障隔离在分区而不是表上，备份、恢复更灵活
order table
jan04 feb04 mar04 apr04
Add
• 网格就是未来
• 高性能, 低成本, 冗余, 线性扩展
• Sun Oracle Database Machine 为所有数据管理需求交付第一个 也是唯一一个完整的网格架构
RAC Database Server Grid
• 8 x 高性能低成本服务器 • 每个服务器包括2 Intel quadcore Xeons
门户
业务监控
商务智能
Oracle 企业管理 • Oracle Enterprise Manager
业务流程层
应用1 应用2 应用3 应用4 应用5 应用6 其它
企 业 管 理
系 统 的 监 控 和 调 优
流程管理
人工流程 企业服务总线
规则引擎
用 Oracle 项目管理 — P6 户 安 Oracle 客户关系管理 — Siebel 管 理全
26
Exadata Hybrid Columnar Compression
• 数据以字段形式存储并压 缩
Only on Exadata
• 查询模式 –针对data warehousing
• 最优的速度 • 典型的可达到10X的压缩率 • 按压缩比率改进扫描
• Archival Mode –针对频繁 的数据访问
E-LT 架构---数据加载
高性能
传统的ETL架构
在单独ETL服务器上进行转换
• 私有的引擎
Extract
Transform
Load
• 性能差
• 高成本
在已有的关系数据库上进行转换
• 充分利用资源 • 效率高 • 高性能
新一代架构
“E-LT”
Transform Extract Load Transform
• 40 Gb/sec fault-tolerant unified server and storage network
Exadata Flash
解决随机I/O瓶颈
New
• Sun Oracle Database Machine有5+ TB 的闪存存储 • Exadata Smart Cache技术缓存热点访 问的数据
may04
Drop
本地索引
查询的自动分区忽略、其它分区数据不受影响
数据分区的益处：
select sum(register_amt) from register where reg_date between 1998 and 1999
显著提高访问大表时的性能