Oracle数据仓库-电信行业应用案例
转眼，从事电信行业BI/DW已经有三年时间了，一直想写点东西，给大家共同分享，感谢ERP 100给我了一个展示的平台！
连载时间：一周一篇
连载提纲:
第一篇数据仓库建设目标、系统规模及项目面临的技术挑战
第二篇选择数据仓库平台的考虑
第三篇选择Oracle产品的原因
第四篇系统现状分析、DW数据仓库建设原则及整体规划的实现
第五篇整体规划的实现、新增应用优先级的确定及螺旋式建设方法
第六篇数据仓库的效益、成本和风险控制
第七篇数据模型设计方法
第八篇构建闭环的信息流、数据模型-分层设计、DW中的数据功能划分
第九篇数据抽取策略、数据抽取过程管理、对脏数据的管理、数据去重及元数据管理及
第十篇典型的应用流程、主题分析及应用推广方法
（第一篇）数据仓库建设目标、系统规模及项目面临的技术挑战
1 数据仓库项目建设目标:
建立统一的数据信息平台，实现客户资料和生产数据的集中存储。利用先进的数据仓库技术和决策分析技术为市场营销和客户服务工作提供有效的支撑:
2 目前系统规模:
包含12个月的话单；数据库容量为65TB,其中原始数据为25TB；最大的表包含1800亿话单
3 项目面临的技术挑战:
数据存储－系统要求存储12－18个月的详单数据；
数据装载－按小时装载详单数据，要求每天在8小时内装载5亿条详单；高峰时一个小时装载6500万条详单；在8小时内同时完成1亿7000万个汇总操作
数据访问－支持680个并发用户，支持8000个系统用户;5%的预定义查询操作在5秒钟内完成;每秒钟23个查询操作
Sina微薄互动地址：https://www.360docs.net/doc/3a12768265.html,/2186879022/zDx5x29Cw
感谢大家的参与和鼓励，pathwide的建议很好，下面列举出该连载的计划提纲，如下：
连载周期:一周一篇
连载提纲：
第一篇数据仓库建设目标、系统规模及项目面临的技术挑战
第二篇选择数据仓库平台的考虑
第三篇选择Oracle产品的原因
第四篇系统现状分析、DW数据仓库建设原则及整体规划的实现
第五篇整体规划的实现、新增应用优先级的确定及螺旋式建设方法
第六篇数据仓库的效益、成本和风险控制
第七篇数据模型设计方法
第八篇构建闭环的信息流、数据模型-分层设计、DW中的数据功能划分
第九篇数据抽取策略、数据抽取过程管理、对脏数据的管理、数据去重及元数据管理及
第十篇典型的应用流程、主题分析及应用推广方法
希望大家积极参与，共同分享BI/DW的项目经验，同时，有不到位的地方，还请大家多多指正，谢谢！
选择数据仓库平台时的考虑
4 选择数据仓库平台时的考虑
4.1 强大的ETL支持能力－支持按小时的数据装载
4.2 高效的数据访问－硬件的支持:多CPU 大内存并发处理
分区技术
索引技术
数据库内置分析能力
4.3 高可用性7 * 24小时不间断运行
4.4 数据访问每秒钟23到100个并发查询操作; 95%的查询在1秒内完成
4.5 数据表分区－混合分区
按地区建立列表分区；
按时间建立范围分区；
4.6 可传输的表空间
操作系统文件的直接复制；不需要数据的导入、导出
（第三篇）选择Oracle产品的原因:
目前主要的数据仓库产品供应商包括Oracle、IBM、Microsoft、SAS、Teradata、Sybase、SAP Business Objects等.
在数据仓库系列技术中，主要的支撑技术包括数据库技术、ETL技术、OLAP技术、报表技术、数据挖掘技术.
1 数据库技术数据库技术是支撑数据仓库技术的基础技术，在已有的数据仓库实践中，关系数据库仍然是实质的数据库存储工具，只是将数据库表改称为事实表和维表，将属性之间的关系重新定义为维度、指标和事实,维度表和事实表之间的关系模型转化为星型模型、雪花模型等
1.1 Oracle数据库优点：
a) 关系型数据库 b)可用性、可扩展性及稳定性强 d)数据安全性(支持闪回及完美恢复) e) 高可用性及网络控制
2 ETL技术数据仓库系统是集成的、与时间相关的数据集合，ETL作为数据仓库的核心，负责将分布的、异构数据源中的数据进行抽取、清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。
ETL工具的选择上，我们选择的是Oracle 的ODI产品,结合Oracle golden gate组件，实现各种外围系统异构数据库数据的全量和增量抽取。
但就ETL工具的易用性、效率、二次开发、集成和开放性而言，与Informatica公司的Informatica还有一定差距。
3 联机分析处理(OLAP)是针对特定问题的联机数据访问和分析，通过对信息进行快速、稳定、一致和交互式的存取，对数据进行多层次、多阶段的分析处理，以获得高度归纳的分析结果。联机事务处理(OLTP)已不能满足终端用户对数据库查询分析的需要，SQL对大数据库进行的简单查询也不能满足用户分析的需求。
4 报表技术
报表技术主要是将集成在数据模型里的数据，按照复杂的格式、指定行列统计项，计算形成的特殊表格。一般的简单报表可以使用通用的前台展现技术实现，而复杂的报表则需要使用特定的报表技术。主流的报表技术都可以灵活的制定各种报表模版库和指标库，并根据每个区块或单元格的需要引用指标，实现一系列复杂的符合要求的报表的自动生成。
数据仓库基本概念
第四篇系统现状分析、DW数据仓库建设原则、整体规划的实现
4.1 系统现状分析
1 各个系统采用不同的平台、数据库(核心系统采用Oracle EBS)
2 各个系统缺乏统一的数据标准
3 数据采集和集成困难
4 多个系统中存在冗余数据
4.2 DW数据仓库建设原则
1 客户需求驱动－从多种渠道识别客户、实现精确营销及提升客户价值
2 实用性－紧密配合业务部门的市场营销活动、客户维系、营销活动管理及新业务开发
4.3 DW数据仓库建设方法－整体规划，分部实施
1 统一规划:数据模型、数据获取策略及元数据
2 分部实施:螺旋递增式建设方法
（第五篇）整体规划的实现、新增应用优先级的确定及螺旋式建设方法
数据仓库是一个面向主题的、集成的、时变的、非易失的数据集合，支持管理决策制定。
5.1 整体规划的实现- 统一规划
1 数据模型
2 数据获取策略
3 元数据
5.2 确定新增应用的优先级
5.3 螺旋递增式建设方法
1 每次迭代目标明确，快速见效
2 滚动投资，每年追加费用是初始投资的15%～20%
系统中使用的Oracle关键技术
1 可传输的表空间和分区技术实现数据快速装载
(一) 详单数据的导出
1. 1 把需要传输的数据放在单独的表空间
CREATE TABLE temp_jan_sales
NOLOGGING TABLESPACE ts_temp_sales
AS SELECT * FROM sales
WHERE time_id BETWEEN '31-DEC-1999' AND '01-FEB-2000'；
1.2 导出数据字典
EXP TRANSPORT_TABLESPACE = y
TABLESPACES = ts_temp_sales
FILE = jan_sales.dmp；
1.3 复制数据文件和数据字典到数据仓库服务器
（二）详单数据的导入
1. 4 导入数据字典
IMP TRANSPORT_TABLESPACE=y
DATAFILES='/db/tempjan.f'
TABLESPACES = ts_temp_sales FILE = jan_sales.dmp；
1. 5 通过分区交换，将新数据加入目标表
1.5 1. ALTER TABLE sales
ADD PARTITION sales_00jan
V ALUES LESS THAN (TO_DA TE('01-feb-2000','dd-mon-yyyy'));
1.5.
2. ALTER TABLE sales
EXCHANGE PARTITION sales_00jan WITH TABLE temp_sales_jan
INCLUDING INDEXES WITH V ALIDATION;
（三）系统测试结果
1.6.1 数据装载：装载包含5000万条详单的一个分区和2个索引的一个表空间
1.6.2 文件传输：4分50秒
16.3 数据导入到Oracle数据仓库：瞬时
1.6.4 创建索引: 7分50秒
1.6.5 预计算及其它运算:14秒
1.6.6 合计：32分26秒
2 物化视图提高汇总数据的访问性能
3 使用Oracle内置的SQL分析函数
（第六篇）数据仓库的效益、成本和风险控制
6.1 效益:我们通过这个项目的实施获得什么？
6.1.1 有形：增加收入、降低成本
6.1.2 无形：工作效率提高、企业更“智能化”
6.2 成本：为了实现这些效益需要付出什么代价？
6.2.1 一次性成本
6.2.2 持续性成本
6.3 风险:会遇到哪些障碍？
回复龙行四海, 具体硬件配置目有需要的朋友，请加QQ好友！谢谢！(第七篇) 数据模型设计方法
1.从业务需求出发
2.识别各主题分析所需要的数据
3.数据探索-分析数据源的数据质量
4.找出来自多个系统的公共表统一维护
5.建立原子层数据模型
6.模型非规范化
7.建立访问层数据模型-维度模型
数据模型设计方法
(第八篇) 构建闭环的信息流、数据模型-分层设计、DW中的数据功能划分
数据仓库一般采用分层设计，即ODS层，数据仓库层(DWD)，数据仓库聚合层(DW A)和数据集市(DM)等等；数据仓库的分层是灵活的，没有固定的模式，一切视实际情况而定。
数据模型分层设计
数据仓库模型的设计
2.5数据仓库模型的设计 数据仓库模型的设计大体上可以分为以下三个层面的设计151: .概念模型设计; .逻辑模型设计; .物理模型设计; 下面就从这三个层面分别介绍数据仓库模型的设计。 2.5.1概念模型设计 进行概念模型设计所要完成的工作是: <1>界定系统边界 <2>确定主要的主题域及其内容 概念模型设计的成果是，在原有的数据库的基础上建立了一个较为稳固的概念模型。因为数据仓库是对原有数据库系统中的数据进行集成和重组而形成的数据集合，所以数据仓库的概念模型设计，首先要对原有数据库系统加以分析理解，看在原有的数据库系统中“有什么”、“怎样组织的”和“如何分布的”等，然后再来考虑应当如何建立数据仓库系统的概念模型。一方面，通过原有的数据库的设计文档以及在数据字典中的数据库关系模式，可以对企业现有的数据库中的内容有一个完整而清晰的认识;另一方面，数据仓库的概念模型是面向企业全局建立的，它为集成来自各个面向应用的数据库的数据提供了统一的概念视图。 概念模型的设计是在较高的抽象层次上的设计，因此建立概念模型时不用考虑具体技术条件的限制。 1.界定系统的边界 数据仓库是面向决策分析的数据库，我们无法在数据仓库设计的最初就得到详细而明确的需求，但是一些基本的方向性的需求还是摆在了设计人员的面前: . 要做的决策类型有哪些? . 决策者感兴趣的是什么问题? . 这些问题需要什么样的信息? . 要得到这些信息需要包含原有数据库系统的哪些部分的数据? 这样，我们可以划定一个当前的大致的系统边界，集中精力进行最需要的部分的开发。因而，从某种意义上讲，界定系统边界的工作也可以看作是数据仓库系统设计的需求分析，因为它将决策者的数据分析的需求用系统边界的定义形式反映出来。 2，确定主要的主题域 在这一步中，要确定系统所包含的主题域，然后对每个主题域的内
数据仓库实例
计算机
王莹
本例采用的是SQl Server2005所提供的商业智能服务和工 具，主要包括Analysis Services(分析服务)， Integration Services(集成服务),Reporting Services(集成服务)和Bussiness Intelligence Developer Studio(BIDS)。
分析服务(Analysis Services) SQL Server 分析服务（SSAS）是一个用于分析数据仓库中数据的工 具，它包括了OLAP和数据挖掘工具。在SQL Server 2005数据库系统 中，Analysis Services工具以服务器的方式为用户提供管理多维数 据立方体的服务。Analysis Services可以把数据仓库中的数据组织 起来，经过预先的聚集运算，加入到多维立方体中（即建立立方 体），然后对复杂的分析型访问做出迅速的回答。
集成服务(Integration Services) SQL Server 集成服务（SSIS）被定位成一个能生成高性能数据集成解决 方案(包括数据仓库中数据的提取、转换和加载（ETL））的平台。其集 成的含义主要就是指把ETL集成在一起。SSIS通过一个统一的环境向用户 提供了数据转换服务（DTS）所能提供的所有功能，并且大大减少了用户 花在编写程序和脚本上的精力和时间。 SSIS的基本功能包括：
? ? ? ? ? ? 合并来自异类数据源中的数据 填充数据仓库和数据集市 整理数据和将数据标准化 精确和模糊的查找功能 将商业智能置入数据转换过程 使管理功能和数据加载自动化
数据仓-电信企业数据仓库建设 精品
电信企业数据仓库建设贵州省移动通信公司苟茹辛 1电信企业信息化现状 从上世纪八十年代开始，我国电信企业开始进行大规模的信息化建设，在近二十年的时间中，电信企业已全面实现了生产及服务过程信息化。随着业务不断趋于多样化，各电信企业都针对不同业务建立了多个生产管理系统，如中国电信建设的生产系统就包括了进行业务受理、配线配号、工单管理的“97”系统；进行计费、帐务及欠费处理的计费系统；114、112、180、189等专业系统；201、IC等卡类管理系统；基于互联网信息管理的数据业务管理系统以及交换、传输、网管系统等。中国移动也建设了综合业务支撑（BOSS）系统；用于梦网短信接入的短信网关、彩信网关、GPRS网关等各专业管理系统。目前，电信企业建设的项目仍然以生产支撑系统为主。通过这些支撑系统的建设，规范了电信企业内部管理流程，大大提高了电信企业的工作效率，增强了业务水平，提高了企业的竞争力。 随着市场竞争的不断加剧，对客户资源的争夺也进入了白热化的阶段，如何发展新用户，扩大自己的用户群；如何设计出更适合用户需要的业务，将用户绑定在自己的网络上；如何合理地设定资费在用户可以接受的水平；一个个问题摆在了电信运营商的面前。在激烈的市场竞争面前，要想科学的决策，离不开数据的支持。电信运营商们在建立各项系统的过程中，也积累了大量的资料数据，如用户的通话记录，短信发送记录，用户上网记录，用户资料变更记录，用户投诉记录，网络运行记录等。通过对这些数据进行分析，可以掌握企业的运营状况，为企业科学、准确的决策提供依据。 但在使用这些数据的过程中，也存在以下几个问题： ⑴数据量大、数据来源广,以用户数近300万的某电信运营商为例，每天产生的仅通话话单数就达数千万条；这还不包括其它生产环节如客服、网管等所产生的运营数据；而经营管理所牵涉的数据除此以外还包括了内部管理的人力、财务、以及与企业相关的外部环境数据。 ⑵各业务部门对数据的理解存在偏差，定义不统一，导致数据可信度无法保证。对单个业务部门来说可能是合法的数据，但由于缺乏信息的集成和整合，导致整个企业对数据的含义、数值及使用方式产生歧义。 ⑶每个系统都有独立的报表系统，随着需求的变化和统计项目的变化，使得报表的修改相对比较困难；尤其目前很多在用系统的报表都固化在程序中，给今后的修改带来诸多不便。 ⑷对于一些需要跨平台才能进行的分析，由于平台不一致，应用系统之间数据定义也不一致，又没有实现数据共享，很难进行关联分析；并且，一个企业内部，不同系统平台之间的数据存在较大的冗余，增加了维护工作量，并可能造成系统资源的浪费。 ⑸在生产系统上进行统计分析会影响到正常生产系统运转。由于生产系统的时效性要求较高，需要大量的系统资源进行保障，为确保生产系统安全稳定运行，有必要将统计、分析等对时效性要求相对较低的决策支持系统从生产系统分离。 有鉴于此，建立数据仓库管理系统已经
现代电信企业数据仓库系统建设
现代电信企业数据仓库系统建设 电信企业数据仓库建设的需求 电信行业目前主要的数据来自于计费系统和网管数据。电信系统经过多年的运行，已经存储了大量的历史数据。这些数据中蕴涵着丰富的信息，从中可以了解企业在电信市场经营过程中所处的态势、竞争对手的经营形势、客户群的分布状况、消费特征、企业经营发展的趋势等，对其进行分析处理可以得到很多令人欣喜的结论。强大的数据处理能力，加上丰富的企业数据，可以有力地促进企业经营和竞争。 目前，企业信息化建设呈现出“数据集中化、业务综合化、管理扁平化、决策科学化”的发展趋势。面对激烈的市场竞争，许多大型企业纷纷实施“以客户为中心，以服务求发展”的经营策略。如何优化客户关系，增强企业的竞争优势已经成为现代企业关注的焦点。现有的应用系统往往以“产品”为中心，以“单据（票证）”处理为基础，是面向联机事务处理（Online Transaction Processing，简称OLTP）的系统，而以客户为中心的经营管理模式要求对现有业务系统的数据进行有效的集成并加以重组，建立面向联机分析处理（Online Analysis Processing，简称OLAP）的系统。通过分析客户的行为，掌握不同类型客户的特征，进而为客户提供更加优质的服务，尤其是个性化的服务，同时全面掌握并理解、分析企业业务的发生情况，充分发挥企业现已积累的数据，为各级管理人员提供科学化管理和决策的有力依据，以提高企业的经营业绩，保证利润的持续增长。 面对纷繁复杂的市场竞争，众多企业立足于多年积累的数据和自身的核心业务，提出了建立企业级数据仓库的规划和实施方案，为企业的进一步发展奠定基础。 企业数据仓库系统的总体结构 一个典型的企业数据仓库系统通常包含数据源、数据存储与管理、OLAP服务器以及前端工具与应用四个部分 从系统结构看，电信行业数据仓库解决方案系统一般包括应用系统部分、中央数据仓库系统部分，数据源系统部分三大部分。如图所示：
Oracle数据仓库-电信行业应用案例
转眼，从事电信行业BI/DW已经有三年时间了，一直想写点东西，给大家共同分享，感谢ERP 100给我了一个展示的平台！ 连载时间：一周一篇 连载提纲: 第一篇数据仓库建设目标、系统规模及项目面临的技术挑战 第二篇选择数据仓库平台的考虑 第三篇选择Oracle产品的原因 第四篇系统现状分析、DW数据仓库建设原则及整体规划的实现 第五篇整体规划的实现、新增应用优先级的确定及螺旋式建设方法 第六篇数据仓库的效益、成本和风险控制 第七篇数据模型设计方法 第八篇构建闭环的信息流、数据模型-分层设计、DW中的数据功能划分 第九篇数据抽取策略、数据抽取过程管理、对脏数据的管理、数据去重及元数据管理及 第十篇典型的应用流程、主题分析及应用推广方法 （第一篇）数据仓库建设目标、系统规模及项目面临的技术挑战 1 数据仓库项目建设目标: 建立统一的数据信息平台，实现客户资料和生产数据的集中存储。利用先进的数据仓库技术和决策分析技术为市场营销和客户服务工作提供有效的支撑: 2 目前系统规模: 包含12个月的话单；数据库容量为65TB,其中原始数据为25TB；最大的表包含1800亿话单
3 项目面临的技术挑战: 数据存储－系统要求存储12－18个月的详单数据； 数据装载－按小时装载详单数据，要求每天在8小时内装载5亿条详单；高峰时一个小时装载6500万条详单；在8小时内同时完成1亿7000万个汇总操作 数据访问－支持680个并发用户，支持8000个系统用户;5%的预定义查询操作在5秒钟内完成;每秒钟23个查询操作 Sina微薄互动地址：https://www.360docs.net/doc/3a12768265.html,/2186879022/zDx5x29Cw 感谢大家的参与和鼓励，pathwide的建议很好，下面列举出该连载的计划提纲，如下： 连载周期:一周一篇 连载提纲： 第一篇数据仓库建设目标、系统规模及项目面临的技术挑战 第二篇选择数据仓库平台的考虑 第三篇选择Oracle产品的原因 第四篇系统现状分析、DW数据仓库建设原则及整体规划的实现 第五篇整体规划的实现、新增应用优先级的确定及螺旋式建设方法 第六篇数据仓库的效益、成本和风险控制 第七篇数据模型设计方法 第八篇构建闭环的信息流、数据模型-分层设计、DW中的数据功能划分 第九篇数据抽取策略、数据抽取过程管理、对脏数据的管理、数据去重及元数据管理及 第十篇典型的应用流程、主题分析及应用推广方法 希望大家积极参与，共同分享BI/DW的项目经验，同时，有不到位的地方，还请大家多多指正，谢谢！ 选择数据仓库平台时的考虑 4 选择数据仓库平台时的考虑 4.1 强大的ETL支持能力－支持按小时的数据装载 4.2 高效的数据访问－硬件的支持:多CPU 大内存并发处理 分区技术 索引技术 数据库内置分析能力 4.3 高可用性7 * 24小时不间断运行 4.4 数据访问每秒钟23到100个并发查询操作; 95%的查询在1秒内完成 4.5 数据表分区－混合分区 按地区建立列表分区； 按时间建立范围分区； 4.6 可传输的表空间 操作系统文件的直接复制；不需要数据的导入、导出
ORACLE 数据库管理系统介绍
ORACLE 数据库管理系统介绍 1.ORACLE的特点: 可移植性ORACLE采用C语言开发而成，故产品与硬件和操作系统具有很强的独立性。从大型机到微机上都可运行ORACLE的产品。可在UNIX、DOS、Windows等操作系统上运行。可兼容性由于采用了国际标准的数据查询语言SQL，与IBM的SQL/DS、DB2等均兼容。并提供读取其它数据库文件的间接方法。 可联结性对于不同通信协议，不同机型及不同操作系统组成的网络也可以运行ORAˉCLE数据库产品。 2.ORACLE的总体结构 （1）ORACLE的文件结构一个ORACLE数据库系统包括以下5类文件:ORACLE RDBMS的代码文件。 数据文件一个数据库可有一个或多个数据文件，每个数据文件可以存有一个或多个表、视图、索引等信息。 日志文件须有两个或两个以上，用来记录所有数据库的变化，用于数据库的恢复。控制文件可以有备份，采用多个备份控制文件是为了防止控制文件的损坏。参数文件含有数据库例程起时所需的配置参数。 （2）ORACLE的内存结构一个ORACLE例程拥有一个系统全程区（SGA）和一组程序全程区（PGA）。 SGA（System Global Area）包括数据库缓冲区、日志缓冲区及共
享区域。 PGA（Program Global Area）是每一个Server进程有一个。一个Server进程起动时，就为其分配一个PGA区，以存放数据及控制信息。 （3）ORACLE的进程结构ORACLE包括三类进程: ①用户进程用来执行用户应用程序的。 ②服务进程处理与之相连的一组用户进程的请求。 ③后台进程ORACLE为每一个数据库例程创建一组后台进程，它为所有的用户进程服务，其中包括: DBWR（Database Writer）进程，负责把已修改的数据块从数据库缓冲区写到数据库中。LGWR（Log Writer）进程，负责把日志从SGA中的缓冲区中写到日志文件中。 SMON（System Moniter）进程，该进程有规律地扫描SAG进程信息，注销失败的数据库例程，回收不再使用的内存空间。PMON （Process Moniter）进程，当一用户进程异常结束时，该进程负责恢复未完成的事务，注销失败的用户进程，释放用户进程占用的资源。 ARCH（ARCHIVER）进程。每当联机日志文件写满时，该进程将其拷贝到归档存储设备上。另外还包括分布式DB中事务恢复进程RECO和对服务进程与用户进程进行匹配的Dnnn进程等。 3.ORACLE的逻辑结构 构成ORACLE的数据库的逻辑结构包括: （1）表空间
数据仓库成功应用案例讨论
中国银行广东分行数据仓库成功应用案例 信用卡业务是商业银行业务中非常重要的一部分，中国的商业银行开展信用卡业务已多年，相关数据积累相对完备且真实，信用卡业务的经营运作也已从简单的扩大规模、以量取胜阶段进入到成熟竞争、以质取胜阶段，各商业银行不断推出新的服务品种和花样繁多的增值服务，提高市场占有率并强化品牌意识以获得利润。 中国加入WTO后，银行卡业务将在3至5年内对外资银行开放，而银行卡业务不依赖于分支机构的特点将使中国的商业银行信用卡业务面临更加严酷的竞争。信用卡业务竞争本质上就是客户的竞争，而且是优质客户的竞争。针对客户发现、客户提升、客户保持、市场细分、忠诚度、贡献度、个性化服务乃至个人信用风险等等一系列围绕客户关系的新问题，支持日常运作的信用卡生产系统是面向柜员和交易的日常营运和客户服务基础设施，无法提供众多分析、决策型用户对大量历史数据同时进行突发的、复杂的决策分析，而建立一套以客户为中心的信用卡业务分析系统则是实现上述命题的必要可行手段。 在这种情况下，中国银行广东分行引入了海波龙的Hyperion Intelligence，希望通过利用Hyperion Intelligence应用实现这样的目标:建立一套以客户为中心的信用卡业务分析系统，方便企业各级工作人员获取各类信息，实现对成本收益、风险控制、绩效评估、客户管理、营销战役等决策目标的支持，并达到风险管理和控制、客户关系管理与个性化服务、商户分析与市场策略、费用控制与利润分析四大应用目标。 成功典范 中国银行广东省分行是国内金融界最早成功实施数据仓库应用解决方案的单位，其在1996年投产的省市两级金融管理信息系统(FMIS)因首次采用并成功实施先进的数据仓库/OLAP技术而荣获“八五”国家科技攻关重大成果奖，并成为目前业界反复引用的典型成功案例。 在随后的数年中，中国银行广东省分行在决策支持/数据仓库应用研发方面的投入一直保持相当大的力度，陆续推出数项新的应用，应用领域也从最初的财务管理、资产负债指标监控等分析主题逐步延伸至目前的客户及消费行为分析、个人信用评估、授信风险监控、客户关系管理以及一对一个性化营销等分析主题。 广东华际友天信息科技有限公司和中国银行广东省分行共同实施的信用卡分析系统采用了Hyperion和IBM在业界领先的数据仓库技术和工具，专门针对信用卡业务的商业智能应用。此系统的研制目的是为与信用卡业务有关各级管理人员、统计分析人员、风险监控人员，特别是业务发展人员提供灵活有效的实时数据分析/决策支持环境，使他们能够便捷地获得并分析客户特征信息、各交易要素信息以及市场统计信息，从而支持成本收益、风险控制、绩效评估、客户管理、营销战役等决策目标的实现。
ORACLE数据库简介
1ORACLE数据库简介 一、概论 ORACLE 是以高级结构化查询语言(SQL)为基础的大型关系数据库，通俗地讲它是用方便逻辑管理的语言操纵大量有规律数据的集合。是目前最流行的客户/服务器(CLIENT/SERVER)体系结构的数据库之一。 二、特点 1、ORACLE7.X以来引入了共享SQL和多线索服务器体系结构。这减少了ORACLE 的资源占用，并增强了ORACLE的能力，使之在低档软硬件平台上用较少的资源就可以支持更多的用户，而在高档平台上可以支持成百上千个用户。 2、提供了基于角色(ROLE)分工的安全保密管理。在数据库管理功能、完整性检查、安全性、一致性方面都有良好的表现。 3、支持大量多媒体数据，如二进制图形、声音、动画以及多维数据结构等。 4、提供了与第三代高级语言的接口软件PRO*系列，能在C,C++等主语言中嵌入 SQL语句及过程化(PL/SQL)语句，对数据库中的数据进行操纵。加上它有许多优秀的前台开发工具如 POWER BUILD、SQL*FORMS、VISIA BASIC 等，可以快速开发生成基于客户端PC 平台的应用程序，并具有良好的移植性。 5、提供了新的分布式数据库能力。可通过网络较方便地读写远端数据库里的数据，并有对称复制的技术。 三、存储结构 1、物理结构 ORACLE数据库在物理上是存储于硬盘的各种文件。它是活动的，可扩充的，随着 数据的添加和应用程序的增大而变化。 下图为ORACLE数据库扩充前后在硬盘上存储结构的示意图：
2、逻辑结构 ORACLE数据库在逻辑上是由许多表空间构成。主要分为系统表空间和非系统 表空间。非系统表空间内存储着各项应用的数据、索引、程序等相关信息。我们准备上马一个较大的ORACLE应用系统时，应该创建它所独占的表空间，同时定义 物理文件的存放路径和所占硬盘的大小。 下图为ORACLE数据库逻辑结构与物理结构的对照关系： 四、分布式数据库管理介绍 1、原理 物理上存放于网络的多个ORACLE数据库，逻辑上可以看成一个单个的大数据库。 用户可以通过网络对异地数据库中的数据同时进行存取，而服务器之间的协同处理对于工作站用户及应用程序而言是完全透明的：开发人员无需关心网络的连接
Oracle数据库简介
oracle数据库是一种大型数据库系统，一般应用于商业，政府部门，它的功能很强大，能够处理大批量的数据，在网络方面也用的非常多。不过，一般的中小型企业都比较喜欢用SQL数据库系统，它的操作很简单，功能也非常齐全。只是比较oracle 数据库而言，在处理大量数据方面有些不如。 Oralce数据库的发展历程 Oralce数据库简介 Oracle简称甲骨文，是仅次于微软公司的世界第二大软件公司，该公司名称就叫Oracle。该公司成立于１９７9年，是加利福尼亚州的第一家在世界上推出以关系型数据管理系统（RDBMS）为中心的一家软件公司。 Oracle不仅在全球最先推出了RDBMS，并且事实上掌握着这个市场的大部分份额。现在，他们的RDBMS被广泛应用于各种操作环境：Windows NT、基于UNIX系统的小型机、IBM大型机以及一些专用硬件操作系统平台。 事实上，Oracle已经成为世界上最大的RDBMS供应商，并且是世界上最主要的信息处理软件供应商。由于Oracle公司的RDBMS都以Oracle为名，所以，在某种程度上Oracle己经成为了RDBMS的代名词。 Oracle数据库管理系统是一个以关系型和面向对象为中心管理数据的数据库管理软件系统，其在管理信息系统、企业数据处理、因特网及电子商务等领域有着非常广泛的应用。因其在数据安全性与数据完整性控制方面的优越性能，以及跨操作系统、跨硬件平台的数据互操作能力，使得越来越多的用户将Oracle作为其应用数据的处理系统。 Oracle数据库是基于“客户端／服务器”模式结构。客户端应用程序执行与用户进行交互的活动。其接收用户信息，并向“服务器端”发送请求。服务器系统负责管理数据信息和各种操作数据的活动。 Oracle数据库有如下几个强大的特性： 支持多用户、大事务量的事务处理 数据安全性和完整性的有效控制 支持分布式数据处理 可移植性很强 Oracle大体上分两大块，一块是应用开发，一块是系统管理。 开发主要是写存储过程、触发器什么的，还有就是用Oracle的Develop工具做form。有点类似于程序员，需要有较强的逻辑思维和创造能力。管理则需要对Oracle 数据库的原理有深刻的认识，有全局操纵的能力和紧密的思维，责任较大，因为一个小的失误就会丢失整个数据库，相对前者来说，后者更看重经验。 Oracle数据库服务器： Oracle数据库包括Oracle数据库服务器和客户端 Oracle Server是一个对象一关系数据库管理系统。它提供开放的、全面的、和集成的信息管理方法。每个Server由一个 Oracle DB和一个 Oracle Server实例组成。它具有场地自治性（Site Autonomy）和提供数据存储透明机制，以此可实现数据存储透明性。每个 Oracle数据库对应唯一的一个实例名SID，Oracle数据库服务器启动后，一般至少有以下几个用户：Internal，它不是一个真实的用户名，而是具有SYSDBA优
提升数据保护：Oracle数据仓库的实时数据采集
提升数据保护：Oracle数据仓库的实时数据采集在使用数据仓库软件时，最常见的约束之一是源系统数据批量提取处理时的可用时间窗口。通常，极其耗费资源的提取流程必须在非工作时间进行，而且仅限于访问关键的源系统。 低影响实时数据整合软件可以释放系统的批处理时间。当提取组件使用非侵入式方法时，如通过读取数据库事务日志，只会捕捉发生变化的数据，不会对源系统产生影响。因此，数据提取流程可以在任意时段全天候执行，即使用户在线也可以。 当以实时方式提取数据时，虽然必须改变数据采集流程中各个元素支持实时数据的方式，但是这些数据可以带来不一般的业务价值。而且，这些数据必须得到有效的保护，同时也很难针对这些不停变化的数据应用灾难恢复和备份技术。 但是，在数据仓库中应用实时数据整合的技术也可以进一步保护数据。毕竟，实时移动数据的技术也可以实时操作数据，从而形成一个数据保护技术入口。但是，变化数据的速度和效率可能会受制于数据保护流程的延迟。
这意味着，在转到整合数据仓库的主动数据采集模式时，首要考虑的问题之一是数据经过IT系统的流程和可能产生的延迟。换而言之，实时数据整合要求理解变化的数据，以及促进或妨碍这种变化的组件。 显然，企业希望保护他们的数据。然而，随着数据容量需求的增长，存储技术也成为业务持续性依赖的重要业务资产。而且，随着实时分析成为业务流程的一部分，它也归入到业务持续性的范畴之中。实现数据安全性和持续性的最基本方法是硬件或软件复制，它会自动保存第二个关键数据副本。此外，自行创建或基于开源软件创建的备份方法也不存在。 企业级数据管理应用主要涉及5个重要领域：灾难恢复、高可用性、备份、数据处理性能和更高级数据库移植。这促使IT不停地追寻先进技术，如实现数据整合及其相关基础架构元素。此外，这些战略投资能够提供符合预算的资源，在加快实时技术应用的同时，提高投资回报和修正实时数据整合项目的商业提案。
crm数据挖掘电信应用案例
crm数据挖掘电信应用案例 个人收集了温度哦精品文档供大家学习 ==============================专业收集精品文档 ============================= ==================================================================== ======= 利用数据挖掘实现电信行业客户流失分析 随着世界经济的全球化、市场的国际化和我国加入WTO步伐的加速,国际化的市场环境要求国内的公众电信运营企业在经营管理上向国外先进的电信运营企业看齐,以迎接电信运营业的国际化竞争。 同时随着国家改革的深化,国内电信业的市场环境已渐趋合理且竞争将日益加剧。国内、国际电信业的如此态势,对公众电信运营企业的服务内容、服务方式、服务质量、经营管理以及服务意识提出了严峻的挑战。企业的经营模式和服务体系正以客户的价值取向和消费心理为导向,真正体现“创造需求”、“引导消费”的现代客户服务意识与理念。 在电信企业面向市场、面向国内外众多的竞争者、努力创造更高价值的同时,客户流失的不断增加,客户平均生命周期的不断缩短严重影响了电信企业的发展。那么,在激烈的市场竞争和不断变化的市场需求面前,如何最大程度的降低客户的流失率呢,常用的方法之一就是利用数据挖掘技术。 数据挖掘技术是目前数据仓库领域最强大的数据分析手段。它的分析方法是利用已知的数据通过建立数学模型的方法找出隐含的业务规则,在很多行业已经具有成功的应用。在电信行业的应用领域主要有客户关系管理,客户欺诈分析,客户流失分析,客户消费模式分析,市场推广分析等。
数据仓库在电信本地网现状改进论文
数据仓库在电信本地网中的现状及改进摘要：建立本地网数据仓库应用的目标在于支撑本地网各级的经营分析、营销策划、统计人员对报表展现、数据提取的多样需求，帮助领导层科学决策，帮助部门经理洞察工作的重点以了解本部门经营发展状况，为一线的客户经理提供针对性营销指导和有效的支撑工具等。 关键词：数据仓库；电信 中图分类号：tp31文献标识码：a文章编号：1007-9599 (2011) 24-0000-01 data warehouse situation and improve in the local telecommunications network li jun (china telecom wenzhou branch,wenzhou325000,china) abstract:a local network data warehouse applications aim to support the local network at all levels of business analysis,marketing planning,statistics show the staff report,data extraction and diverse needs,to help the leadership of scientific decision-making,helping managers to understand the insight into the focus of the work development of the sector operators,as first-line account manager to provide guidance and effective targeted marketing support tools.
Oracle数据仓库中的OLAP及ODM技术分析
１Ｏｒａｃｌｅ数据仓库中的ＯＬＡＰ多维分析技术 在传统的数据仓库技术中，数据访问技术经常分为两部分，复杂度较低的、简单的查询应用可直接访问基于关系数据库的数据仓库服务器，而复杂度较高的联机分析处理应用（ＯＬＡＰ）程序则需要通过专门的多维数据库和工具实现。虽然专门的多维数据库提供一整套的分析功能，查询性能更好，但系统的维护十分困难。多维数据库需要从数据仓库复制数据，获取数据的时间延迟相当长，并需要独立的管理过程，专门的数据建模、ＥＴＬ过程、安全措施和灾难恢复方案。特别是当数据仓库的容量迅速膨胀时，系统性能会急剧下降，使数据访问应用变得不可使用。 １．１ＯＬＡＰ的体系结构 Ｏｒａｃｌｅ数据库作为数据仓库的核心和引擎，它集成了ＯＬＡＰ，Ｏｒａｃｌｅ数据库的ＯＬＡＰ选项是一种可用的关系多维数据库。多维技术和关系技术共存在同一平台上，实现了数据可管理性和分析能力之间的平衡。通过对ＳＱＬ的扩充以及在关系数据库中提供ＯＬＡＰ功能，支持复杂分析查询和提供卓越性能的同时，简化了数据迁移过程并降低了维护数据的费用。 １．２Ｏｒａｃｌｅ数据仓库中ＯＬＡＰ的相关特点 与传统的多维数据库相比，它集成了ｏｒａｃｌｅ数据库管理系统的优势。 （１）由于ＯＬＡＰ集成在Ｏｒａｃｌｅ数据库中，将所有的管理任务整合到单一的数据库中，从而简化了管理。 （２）Ｏｒａｃｌｅ数据库提供了基于角色的权限管理，没有授权的用户是无法访问Ｏｒａｃｌｅ数据库的。数据库中的所有数据，包括ＯＬＡＰ数据，都得到了单一安全策略的保护。所有的用户都被定义在单一的用户目录中，通过标准的Ｏｒａｃｌｅ安全功能，例如ＧＲＡＮＴ和ＰＲＩＶＩＬＥＧＥ来分配权限。 （３）Ｏｒａｃｌｅ数据库是能够对关系和多维数据同时提供ＳＱＬ和ＯＬＡＰＡＰＩ访问的数据库。应用程序开发者可选择使用ＯＬＡＰＡＰＩ的计算和多维数据功能，或使用标准的ＳＱＬ访问多维数据，任何ＯＬＡＰ计算都可通过ＳＱＬ进行查询。 提供ＡｎａｌｙｔｉｃＷｏｒｋｓｐａｃｅＭａｎａｇｅ（简称ＡＶＭ）。 它是完全集中于分析工作区中维度模型定义和实施的管理工具。通过它可以方便地创建维表及其结构、事实表以及多维数据库与关系数据库之间的映射，并不需要编程就可实现各种运算。如最大、最小、平均、加权平均、比率和求和运算。并通过ｏｒａｃｌｅ提供的ＯＬＡＰＤＭＬ语言，这是一种过程编程语言，可用于表达各种类型的计算、设计自定义分析函数以及控制与多维数据类型相关的数据加载和计算过程。Ｏ－ＬＡＰＤＭＬ集成了大量的分析函数，可用于产生任何类型的多维计算。如汇总、分配／ｎ分摊、数据选择、财务、预测和回归、数学和统计、模型、定制维度成员等函数类型。通过ＳＱＬ和ＰＬ／ＳＱＬ以及ＯＬＡＰＷｏｒｋｓｈｅｅｔ工具可以访问ＯＬＡＰＤＭＬ。２Ｏｒａｃｌｅ数据仓库中的ＯＤＭ应用技术 数据挖掘可以帮助用户发现在数据中隐含的有用信息和规律。Ｏｒａｃｌｅ数据库中集成了数据挖掘功能，它避免了把大量数据卸载到外部专用分析服务器的复杂过程。所有的数据挖掘功能都嵌入到了Ｏｒａｃｌｅ数据库中，这样，数据准备、模型建立以及模型评估活动都在数据库内进行。ＯＤＭ可通过Ｊａｖａ和ＰＬ／ＳＱＬ应用程序程序员接口（ＡＰＩ）以及数据挖掘客户端访问ＯＤＭ模型构建和模型计分函数，并提供了多种模型建立向导（Ｗｉｚａｒｄ），能够协助业务分析人员和开发人员快速地建立数据挖掘模型和对模型进行检验。Ｏｒａｃｌｅ数据挖掘可以为多种数据挖掘算法提供支持，这些算法包括属性重要性、分类和回归、集群、关联、特性提取、文本挖掘、序列匹配和比对—ＢＬＡＳＴ等算法。 ３结语 随着数据仓库技术的广泛应用，许多数据库厂商纷纷提出数据仓库解决方案。作为全球最大的关系数据库厂商，Ｏｒａｃｌｅ公司也提出了自己的数据仓库解决方案。与传统的数据仓库解决方案相比，Ｏｒａｃｌｅ公司提出了完整的数据仓库架构与集成方案。 Ｏｒａｃｌｅ数据仓库中的ＯＬＡＰ及ＯＤＭ技术分析 □李发军 （西北民族大学榆中校区计算机科学与信息工程学院甘肃?兰州７３０１２４） 摘要：本文对Ｏｒａｃｌｅ数据仓库中的ＯＬＡＰ多维分析技术，以及Ｏｒａｃｌｅ数据仓库中的ＯＤＭ应用技术进行分析研究。 关键词：ＯｒａｃｌｅＯＬＡＰＯＤＭ 中图分类号：Ｃ９１４文献标识码：Ａ文章编号：１００７－３９７３（２００７）１０－０８８－１ 信息化之窗 ８８ 科协论坛?２００７年第１０期（下）
电信企业数据仓库的设计和应用.doc资料
电信企业数据仓库的设计和应用 漆晨曦 编者按: 竞争的加剧使得营销能力成为决定电信企业竞争力的最重要因素，也使得数据仓库作为营销决策分析支撑的手段日益盛行，如何设计数据仓库、数据仓库上可以展开哪些应用、如何展开等成为电信企业迫切需要解决的问题。本期的这一组文章将围绕数据仓库在电信企业的应用展开深入的阐述，同时也是对上述问题的解答。 数据仓库技术在电信企业的盛行是电信行业竞争的必然结果。竞争使得企业的营销能力成为决定企业竞争力的最重要因素，而营销能力则建立在对客户的购买行为、消费行为、服务要求、营销参与等方面信息的收集、整合、存储的数据基础和分析基础上。为了收集和整合客户购买、消费、服务、营销等方面的海量数据，数据仓库必然地进入电信企业的采购单，比如某电信企业有千万级的电信客户，每个客户每月几百次的本地电话和上百分钟的长途电话，上TB级的数据使得原来的数据存储、分析方法和处理能力力不从心，“仓库”的概念随之被引进数据存储过程中。简单地说，数据仓库就是为了保证数据查询和分析的效率，按照主题将所有的数据分门别类进行存储，需要的时候，再按主题提取数据并进行了进一步的分析处理。 构建电信企业数据仓库 目前，电信企业数据仓库的应用一般集中在经营分析和营销决策支撑两方面。一方面数据仓库从营业、计费账务、渠道、客服中心等生产、管理系统获取市场经营的所有相关信息，经过整合、清洗等环节，按主题存储，形成企业内部有关市场经营的统一数据平台，通过查询、报表、多维分析等方式提供给数据分析用户和营销决策人员; 而另一方面，数据仓库根据客户交互系统的需求，经过分析或挖掘，将客户异常消费、流失客户预警、营销活动目标客户等信息反馈到各客户接触系统，供营销经理、营业员、客服人员对相应客户提供针对性营销和服务(数据仓库与电信企业其他生产管理系统之间的关系见图1)。
行业 - 电信行业 - 浅谈数据仓库在电信企业中的应用
浅谈数据仓库在电信企业中的应用 （新疆电信有限公司吴磊） 摘要：本文着重阐述了数据仓库的基本概念、相关技术和体系结构，并介绍了数据仓库在电信企业中的一些应用。 关键词：数据仓库数据挖掘OLAP 一、引言 随着中国加入WTO和国内电信行业的改革重组，电信市场正逐步放开。为了保持竞争的优势，各运营商管理层和业务人员必须能实时了解企业的运行状况，获取各个专题的市场信息，并根据市场反馈的情况随时调整业务策略，以求在竞争激烈的电信市场中赢得先机抢占市场，获得更好的利润并提升企业品牌形象。 如今各电信运营商的业务支持系统构成复杂，数据种类繁多，数据量极为庞大，信息的提供在速度、质量和范围上不能满足市场竞争所要求的标准，为此各运营商纷纷针对企业内部的实际情况，着手引入数据仓库技术，以整合内部的各业务系统分散、孤立的业务数据，提供方便快捷的数据访问手段，支持企业内部不同部门、不同需求、不同层次的用户随时获得自己所需的信息，促进企业“以客户为中心”的运营模式的开展，以提高企业的核心竞争力。 二、数据仓库的概念 随着C/S技术的成熟和并行数据库的发展,信息处理技术的发展趋势已变为:从大量的事务型数据库中抽取数据,并将其清理、转换为新的存储格式,也就是为决策目标把数据聚合在一种特殊的格式中。随着此过程的发展和完善,这种支持决策的、特殊的数据存储即被称为数据仓库(Data Warehouse, DW)。 数据仓库是一种管理技术，它能够将分布在企业网络中不同站点的商业数据集成到一起，为决策者提供各种类型的、有效的数据分析，起到决策支持的作用。数据仓库概念的创始人W.H.Inmon在《建立数据仓库》一书中指出：“数据仓库是面向主题的、集成的、稳定的、随时间变化的数据集合，用以支持经营管理中的决策制定过程。”
数据仓库和Oracle-BI
数据仓库和Oracle-BI
一、数据仓库和Oracle BI ORACLE数据库11GR2：数据仓库- 网上课程 二、甲骨文快递/ OLAP 打不开 三、商业智能 1.Oracle商务智能11g的R1：创建分析和仪表盘 2.Oracle商务智能11g的R1：BUILD库 3.Oracle商业智能套件企业版10g第3版：BUILD库 4.Oracle商业智能套件企业版10g第3版：创建报表和仪表板 5.ORACLE BI EE10g第3版：报表/仪表板及商业智能发布加速 6.Oracle商业智能发布11G R1：基本面 7.Oracle商业智能10G：分析概述 8.Oracle BI应用7.9：对于Oracle EBS实施 9.Oracle商业智能套件企业版10g BOOTCAMP 10.Oracle BI应用7.9：开发数据仓库 11.ORACLE的实时决策（RTD）开发 12.ORACLE的实时决策3.0（RTD）开发 13.Oracle商业智能10G：分析概述– RWC 14.Oracle商业智能应用7.9.6实施
15.到Siebel商业分析7.7：第二部分- 网上课程 16.Oracle BI应用7.9：概述- 网上课程 17.到Siebel商业分析7.7：第一部分- 网上课程 18.Data WarehousingOracle商务智能11g的简介：最终用户工具- 网上课程 四、数据挖掘 打不开 五、Oracle Warehouse Builder将10g的 1.Oracle Warehouse Builder中10G：实现部分我 2.Oracle Warehouse Builder中10G：第二部分实施 3.Oracle Warehouse Builder中10G：新功能- 在线课程 4.Oracle9i的仓库构建器：脚本- 网上课程 六、Oracle商务智能 1.Oracle商务智能11g的升级和新功能 2.ORACLE BI Discoverer管理员11G：制定一个EUL 3.Oracle商务智能Discoverer Plus中11G：关系型和OLAP数据进行分析 4.Oracle商业智能发布10g第3版：基本面 5.ORACLE BI Discoverer管理员11G：制定一个EUL 6.Oracle商务智能11g的R1：系统管理- 网络课程
电信数据仓库设计的六个关键环节
电信数据仓库设计的六个关键环节 编者按 数据仓库技术经过了十几年的发展，在理论与工程实践上都取得了显著的成果。国际上许多重要的学术会议，如超大型数据库国际会议（VLDB）、数据工程国际会议（Data Engineering）等，都有大量专门研究数据仓库（Data Warehousing）、联机分析处理（On-Line Analytical Processing）、数据挖掘（Data Mining）的论文，各大数据库厂商纷纷推出相应产品支持数据仓库，比如NCR、SAS、Oracle、IBM、Informix、Sybase等都提出了相应的数据仓库解决方案。 随着信息技术的飞速发展，企业内部产生了越来越多的数据，但这些数据并没有产生应有的信息，困此，我们常常可以看到企业“数据爆炸、知识贫乏”的窘迫局面。如何有效地整合与充分利用信息资源，成为企业提高核心竞争力的关键。此外，数据仓库的设计与实现，在不同的行业存在着极大的差别，企业在设计过程中应该注意哪些细节问题？ 本期“方案评析”专题中所选的几篇文章，以电信、银行、医疗行业为实例，在实际操作的基础上，分析了企业经营分析与决策支持系统的建设应用，分析了建设数据仓库及基于数据仓库的商业智能系统应具备的基本条件，从确定主题、数据准备、建立模型、评估和解释模型、运用和巩固模型等方面，对数据仓库的设计方法，以及解决关键环节问题的技巧进行了深入剖析，具有较高的实用价值。 大型企业数据仓库系统的建设是一项复杂的系统工程，在设计中会遇到各种各样的技术问题。本文以电信行业数据创库设计为例，提供数据仓库设计过程中的六个关键环节，从技术上给读者提供参考。 环节一：异种数据源集成 企业在经营分析与决策支持系统的建设时，必须将遗留系统（Legacy System）进行高效全面的集成。由于遗留系统是在企业发展的不同时期建设的，往往缺乏全局规划，所以拥有不同的操作系统、不同的数据库、不同的网络通信机制等，形成了所谓的“信息孤岛”。 系统中采用异种数据源企业应用集成接口，来实现对异种数据源的透明访问，包括数据源元数据访问及业务操作数据访问。数据源分为在线数据源和离线数据源，在线数据源是指允许在线抽取的业务数据源，如营业数据; 离线数据源是指不允许直接在线抽取的数据源，如计费样单数据就是采用以脱机文件数据格式及FTP方式集成进系统。 对数据源实现元数据级的管理，数据源的连接类型（ODBC、OLEDB、JDBC、Native）、连接字符串，以及数据结构信息都以元数据的形式存储于元数据库中，通过控制台对其进行业务语义定义，使用户对整个企业的信息系统有了全面的掌握。 环节二：ODS层的设计 操作数据存储ODS（Operation Data Storage）是一个集成了来自不同数据库数据的环境。其目的是为终端用户提供一致的企业数据集成视图。它可以帮助用户轻松应对跨多个商业功能的操作挑战，是面向主题的、集成的、近实时的数据存储。
Oracle和IBM数据仓库方案对比
Oracle和IBM数据仓库方案对比 概述 成功地实施一个数据仓库项目，通常需要很长的时间。如果仅仅着眼于短期成果，缺乏整体考虑，采用一种不健全的体系结构，不仅会增加系统开发和维护成本，而且必将对发挥数据仓库的作用造成不利的影响。 Oracle公司是世界上最大的数据仓库厂家，能够提供完整的数据仓库解决方案。根据第三方专业咨询机构TDWI-Forrester所做的市场调查显示，Oracle是大多数IT主管选择数据仓库平台时的首选。 IBM数据仓库的市场占有率低于Oracle。权威市场分析机构IDC发布《全球数据仓库平台工具2006年度供应商市场份额》报告，根据2006年度软件收入，把甲骨文评为数据仓库平台工具领域的领先供应商（数据仓库平台工具包括ETL工具、数据仓库存储平台、多维数据库、前端展现工具）。IDC把甲骨文评为数据仓库管理领域的领先供应商，是因为甲骨文的市场份额已接近41%。在数据仓库管理工具市场，甲骨文排名最近的竞争对手的各项指标几乎只有甲骨文的一半，市场份额仅占22.8%。下图是另一家权威市场分析机构Gartner的数据仓库象限图： IBM同样低于Oracle。 ETL工具 IBM的ETL工具有三个：收购的DataStage（通常市场上说的IBM的ETL工具指的就是Datastage，不提供增量数据捕获功能，价格昂贵），数据联邦工具：Information Integrator（异构连接性好、提供增量数据捕获功能，但是不提供完整的数据源到目标数据库的ETL功能，尤其是数据转换功能很弱，没有ETL步骤打包、流程编排功能，没有按照事件或者时间触发ETL流程的功能，价格昂贵），包在Data Warehouse Edition中的ETL工具SQL Warehousing（功能很弱，异构连接性差，不提供增量数据捕获，是一个新工具，没有什么用户，不是IBM的主流ETL工具）。 功能点 使用场景或者益处 Oracle IBM 增量数据捕获 增量数据加载时，如果数据源系统没有时间戳，或者时间戳不可靠，需要利用读取数据源系统日志或者触发器方式获取增量数据，然后根据需要可以复制到目标数据库上或者批量同步到目标数据库上。 Oracle Data Integrator，对于Oracle数据库和DB2 400可以采用读取日志方式，其他数据库采用触发器方式