ODS数据仓库新技术的研究与应用
数据仓库技术的应用与发展趋势
数据仓库技术的应用与发展趋势随着互联网的普及和社交媒体的盛行，数据量已经成为了人们关注的一个重要问题。
随着数据量的不断增加，数据的处理与分析已经成为了新时代的应用和挑战。
同时，数据科学也对这一领域做出了贡献。
其中，数据仓库技术的应用和发展趋势变得被广泛讨论和研究。
1. 数据仓库技术的定义及发展历程数据仓库技术是指将来自不同的数据源的数据整合到一起，以便查看和分析。
它通过以时间为维度的方式来跟踪数据的历史变化和趋势，进而提供更好的决策支持。
随着计算机技术的发展和大规模数据的不断涌现，数据仓库技术开始流行开来。
1990年代初期，Oracle公司首次提出了商业化的数据仓库技术。
它被广泛认为是数据仓库技术的开山祖师，同时也引领了数据仓库技术的发展和应用，并称为当前数据仓库技术的第一代产品。
20世纪90年代末期，随着大数据的涌现，数据仓库技术进入了第二阶段。
大量的数据源需要被整合，并且数据仓库需要更快的响应速度。
因此，在这个时期，需要更加灵活和高度可扩展的架构来处理大数据，并且容错性也非常重要。
这个时期出现了更加复杂和高度可扩展的数据仓库技术，如Hadoop分布式处理框架。
相比第一代产品，第二代产品具有更佳的性能和效率，并且也满足了大数据量的需求。
当前，数据仓库技术已经进入了第三个时代，其中包含了大量的新技术和工具。
2. 数据仓库技术的应用发展2.1 数据挖掘数据挖掘是数据分析的一个重要分支，它使用数据仓库技术来探索数据并发现它们的内在规律。
数据挖掘可以用来查找数据中的规律和模式，并发现隐藏在数据中的信息。
数据仓库技术可以对这些数据进行分析，以了解关系和模式，并将其转化为实际应用需要的信息。
2.2 商业智能商业智能是一个管理信息的核心思想，它为企业提供了一种分析数据的方法来指导业务决策和管理。
数据仓库技术为商业智能提供了一个有效的平台，可以通过它来分析和报告数据。
用数据仓库技术来进行商业智能分析有多种优势，比如可以根据实时数据进行预测、更新模型，同时也可以创建定制报表和分析。
数据仓库建设的技术方法及其应用研究
数据仓库建设的技术方法及其应用研究现代社会中，数据被高度重视，企业不但需要进行日常的生产经营数据汇总和分析，还需要进行企业的数据战略规划和数据资产管理。
为了更好地实现企业数据的统一管理，数据仓库成为了企业数据管理的重要组成部分。
在数据仓库的建设过程中，技术方法及其应用研究成为了关键。
一、数据仓库的特点及优势数据仓库是一个面向主体的、集成的、标准化的、重复使用的数据存储系统，它通过对多个操作系统的数据进行整合，使得企业的数据可以在一个平台上进行统一的管理和分析。
数据仓库建设的目的是使企业更好地利用数据，提高企业的数据决策能力。
在实际应用中，数据仓库有以下优势：（1）提升数据分析效率：数据仓库的建设可以将数据集中管理，减少重复数据。
在数据分析时，不需要再进行数据整合的操作，从而提升了数据分析效率。
（2）保证数据统一性：由于多个系统之间存在数据重复，数据的冗余性会增加，数据的一致性和统一性会降低，数据仓库可以将多个系统的重复数据进行去重和整理，使得数据一致性得到保障。
（3）方便数据共享：企业内多个部门之间的数据往往是分散的、独立的，无法共享。
而数据仓库可以将数据进行统一整合，实现数据的共享和互相调用，减少重复数据，提高数据利用效率。
二、数据仓库的建设流程在数据仓库建设过程中，需要遵循以下步骤：（1）需求分析：在数据仓库建设之前，需要进行需求分析，明确数据仓库的建设目的、范围、功能和特点等，以保证数据仓库可以更好地支持企业的决策。
（2）数据源准备：数据仓库需要将业务系统内的数据进行整合和去重，为此需要通过ETL工具将数据源进行准备和清洗。
（3）数据设计：数据设计是数据仓库建设中重要的一步。
在数据仓库设计时，需要确定数据模型、数据仓库架构、数据策略等。
（4）数据仓库构建：在完成了数据设计之后，需要通过SQL Server工具对数据库进行构建和部署。
（5）数据仓库测试：数据仓库的测试是必不可少的一步。
在测试过程中，需要验证数据仓库的数据准确性、数据一致性、数据完整性等，以保证数据仓库的数据质量和正确性。
数据仓库技术的研究与应用
数据仓库技术的研究与应用随着数据化时代的到来，我们面对的信息海洋日渐膨胀。
如何在海量数据中准确地获取所需信息，成为了重要问题之一。
数据仓库技术就是在这样的背景下诞生的。
数据仓库技术是一种以“数据仓库”为核心组织结构的数据管理模式，在企业决策和管理中得到了广泛应用。
在本文中，我将浅谈关于数据仓库技术的研究与应用。
一、数据仓库技术的概念数据仓库是一个高度抽象的概念，它既是一种物理层面的架构，也是一种逻辑层面的建模工具。
在物理层面，数据仓库由大型机或者分布式机群构成。
在逻辑层面，数据仓库是一个包含历史数据、主题驱动、集成、非易失性、稳定、可查询等特性的数据集合。
数据仓库技术在数据的整合中起着重要的作用，它是企业管理信息系统的重要组成部分。
二、数据仓库技术的特点1. 面向主题数据仓库技术是为了解决管理者的决策需求而设计的，因此，它强调面向主题，每个子系统都按照一定的主题进行组织。
这种主题驱动的设计方式能够更好地帮助管理者从海量数据中找到需要的信息。
2. 集成性数据仓库技术通过集成各个数据源，将不同的数据整合在一起。
这种集成性能够提高数据的质量和可靠性，减少数据冗余，提高数据的一致性。
3. 非易失性数据仓库技术采用非易失性存储结构。
这种存储结构可以保证数据的持久存储，保证数据不会因为意外的失误而被删除或者修改。
4. 稳定性数据仓库技术的稳定性是保证数据的一致性和可靠性的基础。
在使用过程中，数据仓库技术能够保证数据的正确性和及时性，确保管理者获取到的是最新和最正确的数据。
5. 可查询性数据仓库技术的数据存放是以精细化为目的的。
这种精细化标准能够使得用户能够快速查询出所需要的信息，大大提高了管理者的数据查询效率。
三、数据仓库技术的应用1. 存储海量数据数据仓库技术能够帮助企业将大量的数据存储在一个集中的地方，通过技术手段对数据进行处理以及归档，使用者可以通过各种方式对数据进行访问。
由于数据量比较大，如果不采用数据仓库技术进行管理，则在具体使用过程中会遇到数据处理的难题。
ODS在数据仓库中的应用
运营数据存储（The operational data store, ODS）或称操作型数据存储是一个面向主题的、集成的、当前的并且是可"挥发"的数据集合，它反映了在某一个时间切片瞬间，经营分析系统和外围系统（BOSS、MIS...）用以相互交换数据的集合，主要用于经营分析系统与外围系统关键数据一致性校验、以及经营分析系统对其它外围系统的决策支持数据的回馈，回馈数据包括以客户扩展属性为主体的详细资料等。
运营数据存储扮演的是用于数据稽核与交互的角色。
ODS 的存储结构是以企业范围所有相关业务系统的数据，以全面、统一进行关系型实体来体现的，ODS中的数据是基于分析主题进行组织，而不是基于业务系统的功能进行组织。
ODS只是存储了当前的数据且数据是“挥发”性的，因此其数据的刷新是很快，过期的数据将要被挥发掉。
因此ODS的存储量取决于业务接口数据的抽取与刷新频率，取决于企业的服务客户的数量。
从ODS的作用和实现来说，ODS将各个孤立的业务系统的运营数据集成起来，现成全企业的统一数据视图，同时可实现ODS的数据共享。
ODS数据稽核功能是根据ODS参与工作的实际情况建立相应的ODS，并控制其权限。
ODS数据稽核主要涵盖下面的内容：界定关键数据稽核的项别与内容、获取数据稽核所需数据、稽核所需数据完整性、数据稽核报告的存储和稽核数据的更正等过程。
ODS数据交互的价值体现在经营分析系统高度综合数据向其它外围系统的回流。
如果从安全上考虑，回流数据的格式可以采用文本的方式，用户只需登入经营分析系统网站，切入ODS数据交互应用，下载文本即可，如果指定上载路径， ODS数据交互程序调度模块自动在指定周期，把预定义的内容上载到指定路径。
但如果从实现的方便、快捷、可维护性考虑可以采用数据库方式，即外围系统与经营分析系统之间相互约定好数据提供格式，可以由外围系统根据需要，以应用程序的方式登入到经营分析系统ODS数据库，直接把ODS 的高度综合数据导入到自己的数据库系统。
数据仓库技术研究与应用分析
数据仓库技术研究与应用分析随着信息化时代的到来，数据的收集和处理已经成为了企业发展不可或缺的一部分。
在互联网和大数据的背景下，数据仓库技术也被越来越多地应用于企业的数据处理和管理中。
本文将分享对数据仓库技术的研究和应用分析。
一、什么是数据仓库技术数据仓库技术是一种将企业中的各种数据进行集中存储和处理的技术。
数据仓库通过将企业中的数据进行抽象和归纳处理，将各个业务系统中的数据进行整合、清洗、转化和加工，并统一存储在数据仓库中。
数据仓库还提供了数据分析、挖掘和决策支持等功能。
数据仓库技术主要分为以下几个方面：1. 数据整合和清洗：将各种数据源中的数据进行抽象和归纳处理，将不同系统之间的数据进行整合和清洗。
2. 数据建模：通过数学模型、数据逻辑模型、物理模型等建模方法对数据进行分析和处理，为企业提供数据挖掘和分析等功能。
3. 数据抽取和转化：将数据仓库中不同格式的数据抽取并转化为统一的格式，方便对数据进行分析和处理。
4. 数据存储和管理：将各种数据存储在数据仓库中，并进行管理、备份和恢复等操作。
5. 数据分析和挖掘：利用数据仓库技术进行数据分析和挖掘，提供决策支持和业务优化等功能。
二、数据仓库技术的应用分析1. 市场数据分析在市场竞争日益激烈的情况下，企业需要通过市场趋势分析、消费者行为预测等手段，来制定正确的市场策略和营销方案。
数据仓库技术就可以为企业提供大数据分析和挖掘等功能。
比如，在食品饮料行业，企业可以通过数据仓库技术，对市场进行分析和趋势预测，分析消费者购买行为和偏好等，以制定正确的市场策略和营销方案，提高企业的竞争力和市场占有率。
2. 企业业务流程优化数据仓库技术可以对企业的业务流程进行分析和优化，减少业务处理时间和成本。
通过对销售、采购、库存等业务进行分析，找出存在的问题和瓶颈，并针对性地进行优化，提高企业的效率和经济效益。
3. 客户关系管理数据仓库技术可以为企业提供全面、准确、及时的客户数据，并通过数据分析和挖掘等手段对客户的行为和需求进行分析，制定有效的客户关系管理策略。
ods方案
ODS方案1. 简介ODS（Operational Data Store）是一种用于集成和存储企业各种操作型数据的存储方案。
ODS的目标是提供一个一致、完整、可靠的数据源，以支持企业内外部各种业务需求和数据需求。
本文档将介绍ODS方案的概念、重要性、实施步骤以及相关的最佳实践。
2. ODS的概念ODS是一个存储和管理企业操作型数据的中间层，它可以集成来自不同业务系统和数据源的数据，并提供标准化、一致的数据模型和接口。
ODS旨在解决企业内部各种数据源之间的数据一致性问题，并提供一个高效、可靠的数据仓库，为企业的决策支持和业务分析提供可信的数据来源。
ODS的特点包括： - 高性能：ODS需要以低延迟、高吞吐量的方式处理和存储数据，以满足实时的业务需求。
- 可扩展性：ODS需要能够容纳大量的数据源，并随着业务的扩张不断扩展。
- 可靠性：ODS需要提供高可用性和数据冗余，以确保数据的安全性和可靠性。
- 数据一致性：ODS需要对接不同类型的数据源，并保证数据在不同系统之间的一致性。
3. ODS的重要性ODS在企业中起着至关重要的作用，它可以帮助企业解决各种数据管理和数据一致性的挑战。
下面是ODS的几个重要作用：3.1 数据整合和一致性企业内部往往存在着各种不同的业务系统和数据源，这些系统和数据源之间的数据格式和结构可能不一致，这给数据整合和分析带来了很大的困难。
ODS可以作为一个中间层，将各种数据源的数据整合并进行转换，以提供标准化、一致的数据模型和接口。
3.2 决策支持和业务分析ODS提供了一个可信、完整、一致的数据源，可用于企业的决策支持和业务分析。
企业可以基于ODS的数据进行数据挖掘、业务分析和可视化，从而帮助企业发现隐藏的业务规律和趋势，做出更准确的决策。
3.3 业务流程优化通过对ODS中的数据进行分析和挖掘，企业可以更好地理解和优化自身的业务流程。
ODS可以为企业提供实时的、全面的业务数据，帮助企业发现业务流程中的瓶颈和问题，并优化相关流程，提高企业的效率和竞争力。
新型数据库技术在数据仓库中的应用研究
新型数据库技术在数据仓库中的应用研究随着数据时代的到来，大数据分析已经成为现代企业所必备的一项工作，数据仓库的构建和管理也成为企业所面临的一项难题。
传统的数据仓库在数据处理、存储方面存在明显缺陷，限制了数据的快速处理分析和应用。
因此，新型数据库技术的应用也成为了企业发展的必然趋势。
一、传统数据库技术问题传统数据库技术中，使用关系型数据库存储方式进行数据存储，通常是使用SQL来实现数据存储和检索。
SQL查询语句的执行是基于磁盘IO的，因此，当查询的数据量较大时，SQL查询的效率就会下降，从而影响到企业对数据的分析和使用。
在数据量较大时，使用传统数据库技术获取数据也需要进行多次磁盘读取，从而导致系统性能下降。
此外，关系型数据库会将数据拆分成多个表进行存储，通过相关SQL语句将这些数据联合起来查找。
这种存储方式使得数据仓库的查询效率受到了很大的限制。
二、新型数据库技术新型数据库技术是在传统关系型数据库的基础上，增加了时序数据库、图数据库、列数据库等特点。
时序数据库是一种基于时间序列的数据库，它可以存储时间序列数据，并对这些数据进行快速查询和分析，适用于物联网、实时监控和设备控制等领域。
时序数据库不仅可以存储非常大量的数据，而且还能够快速执行查询，得到高精度的计算结果。
图数据库利用图的数据结构方式来表示数据，使用图的方式可以方便地描述实体之间的关系，并可以快速地进行查询和分析。
图数据库适用于社交网络、认证授权等领域。
列数据库则是一种新增的存储方式，适用于存储单表行数巨大，但每个行中包含的列较少的情况。
它们可以快速地存储和查询大量的数据，而不会受到关系型数据库的限制。
三、新型数据库技术在数据仓库中的应用使用新型数据库技术，可以建立高效稳定、可扩展的数据仓库。
新型数据库技术可以提高数据存储和处理效率，将数据处理时间缩短至几十倍，从而使企业更快地获取数据。
另外，新型数据库技术还可以允许实时数据流动分析，将实时数据和已经存储的历史数据相结合，以提高企业决策的精度。
基于元数据仓的ODS模型创建技术的研究
元数据仓（ ｅ ｓ ｒ） Ｏ Ｓ Ｍ ｔ ｔｅ 的 Ｄ 元数据管理方法。 ａｏ
１ 基 本 概念
１． ＯＤＳ １
元数据桥方法相 比较 ， 简化了总体设计方案的复
够为企业提供辅助决 策功能。在此情况下， 出现 了数据 仓库 （ ａ ｒｈｕｅ 简记为 Ｄ 系统及 Ｄ ｔＷａ ｏｓ， ａ ｅ Ｗ） 建立在 其之 上 的 Ｏ Ａ （ ｎ Ｌ ｅＡ ａ ｔａ Ｐｏ Ｌ Ｐ Ｏ ｉ ｎｌｉ ｌ ｒ ｎ ｙｃ — ｃｓｉｇ联 机 分析 处 理 ） Ｄ Ｄ ｔ Ｍｎｎ ， ｅｓ ， ｎ 和 Ｍ（ ａ ｉｉｇ 数据 ａ 挖掘） 技术。考虑到用户分析需求 的不 同层次 ， 出现 了 Ｄ Ｂ—Ｏ Ｓ—Ｄ 三层 体 系结构 ， 中 ， Ｄ Ｄ Ｗ 其 ＯＳ （ ｐｒ ｉ ａ Ｄ ｔ Ｓ ｒ， Ｏ ｅ ｔｎｌ ａ ｔ ｅ操作型数据仓 ） ａｏ ａ ｏ 充当 了承 上 启下 的重 要角 色 … 。
ｔｙ 来管 理 元 数 据 ， 然 功 能 很 强 大 ， 是 大 大 ｏ） ｒ 虽 但 增加 了系统 的 成本 。为此 ， 文 提 出 了一 种基 于 本
在合 并 了 ＯＭ（ ｐｎＩｆｒ ｔｎＭｏｅ， 放 Ｉ Ｏ ｅ ｎｏｍａｏ ｄｌ开 ｉ
信息模型 ） 之后 ， ＷＭ（ ｏ ｍ ｎＷａ ｈｕｅＭ ｔ Ｃ Ｃｍ ｏ ｒ ｏｓ ｅ — ｅ ａ ｍ ｄｌ公共仓 库 元模 型 ） 为 了业 界 统 一 和 开 放 ｏｅ， 成
无 论是 在 Ｏ Ｓ还是 在整个 Ｄ 系统 中 ， Ｄ Ｗ 元数 据 都是 系 统实 现 的核 心 部 分 。传 统 的 Ｏ Ｓ没 有 Ｄ
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第28卷 第11期2004年11月 信 息 技 术I NFORM ATI ON TECH NO LOGYVO L.28 NO.11Nov.2004ODS数据仓库新技术的研究与应用王霓虹,刘美玲(东北林业大学,哈尔滨150040)摘 要:讨论数据仓库新的技术方向—操作型数据存储ODS(Operational Data Store),介绍了其基本内容及特性,并探讨了ODS与实时系统的应用问题。
介绍了结合林业企业木材销售应用的ODS商业系统。
关键词:ODS;数据仓库;实时数据仓库;O LAP中图分类号:TP311.13 文献标识码:B 文章编号:1009-2552(2004)11-0008-04 Operational Data Store—data w arehouse ne w technologyWANG Ni2hong,LI U Mei2ling(N ortheast Forestry U niversity,H arbin150040,China)Abstract:In this article,a new data warehouse application(ODS)-Operational Data Store technology is dis2 cussed.Chiefly,introduce its basic content and behavior.Als o ODS and real-time system is in this research.F or instance of a system which according to forestry enterprise timber marketing.K ey w ords:ODS(Operational Data Store);data warehouse;real-time data warehouse;O LAP(On-Line Analytical Processing)1 数据仓库及ODS的基本内容1.1 数据仓库概念典型的数据仓库应该是一个主题数据库,支持用户从巨大的运营数据存储中发现信息,支持对业务趋势进行跟踪,实现业务的预测和计划。
更为广泛接受的数据仓库定义是数据仓库之父Bill Inm on在1991年出版的“Building the Data Ware2 house”一书中所提到的:数据仓库是一个面向主题的,集成的,不同时间的,稳定的数据集合以便支持管理决策。
数据仓库不是一个新平台,而是一个新概念。
数据仓库也不是一个现成的产品,而是一个解决方案。
数据仓库是在收集各种分散、异构数据源的基础上,对数据进行转换和集成,从而为决策者提供单一的分析环境,帮助其科学决策分析。
1.2 数据仓库与ODS的关系基于数据库(Data Base)和数据仓库(Data Ware2 house)的中间层ODS(Operational Data Store)的数据存储技术,从应用的角度分析设计了一个商业系统的即时O LAP(On-Line Analytical Processing)系统。
通过使用ODS克服了利用DW进行决策过于臃肿且不适合企业即时的中层决策的问题。
2 ODS新技术的研究2.1 ODS的基本内容及其特征先从概念上对ODS有个直观的理解。
ODS定义为:(Operational Data Store)操作型数据存储,对于一些准实时的业务数据库当中的数据的暂时存储,支持一些同时关联到历史数据与实时数据分析的数据暂时存储区域。
操作数据存储(ODS)是用于支持企业日常的全局应用的数据集合,ODS的数据具有面向主题、集成的、可变的和数据是当前的或是接近当前的4个基本特征。
ODS是介于DB和DW之间的一种数据存储技术,和原来面向应用的分散的DB相比,ODS中收稿日期:2004-09-26作者简介:王霓虹(1952-),女,1978年毕业于哈尔滨船舶工程学院计算机系,现工作在哈尔滨东北林业大学信息与工程计算机工程学院,院长,教授,学科带头人,研究生导师。
—8—的数据组织方式和数据仓库(DW)一样也是面向主题的和集成的,所以对进入ODS的数据也象进入数据仓库的数据一样进行转化和集成处理。
另外ODS 只是存放当前或接近当前的数据,如果需要的话还可以对ODS中的数据进行增、删和更新等操作,虽然DW中的数据也是面向主题和集成的,但这些数据一般不进行修改,所以ODS和DW的区别主要体现数据的可变性和当前性上。
2.2 对于ODS的分析例如:一个数据仓库的开发,可以把所有业务初始数据(不同平台、不同数据库类型),导到一个统一的Oracle数据库中可称为staging data server(阶段数据服务器),staging data server存储的是从业务系统原版搬过来的没有经过数据清洗、转换的数据。
这些数据没有经过任何的其他处理,称它为“脏”数据,是否在数据仓库和staging data server之间再处理一次数据呢,这次处理就是清洗和转换过程,结果存放在ODS。
这样处理的好处如下:(1)ODS可以作为数据仓库的备份数据;(2)staging data是临时的增量数据,快速地从源数据抽取,减少业务系统压力;(3)客户如果想查询详细数据,可以直接从ODS 查询统计;(4)各个层次结构清晰明了,各自完成不同的功能;(5)ODS是与外部系统的标准接口,需求改变,减少数据ET L改变的工作量。
也有不足的地方:由于中间多一个层次结构,数据的分析不够及时。
2.3 ODS与Staging Data ServerStaging Data Server可以说是大型数据仓库的一个很重要的选项,其数据结构和内容与业务系统是一模一样的,这么做主要是为了减少对业务系统的压力,并让ET L(数据抽取、转换、清洗、装载)过程有一个统计的接口。
(1)Staging Data Server是一个虚拟的概念,它可以是一个单独的服务器,也可以驻留在业务系统或数据仓库的数据库服务器上,一般是不允许用户访问的。
而里面的内容一般是临时性的,抽取到数据仓库后删除或者在下一次更新抽取前删除。
但是现在也有一种做法是建立Persistent Staging(永久数据),数据是不断累积的,Persistent Staging相当于就是业务系统数据的备份,也能承担一部分的查询。
不过建立Per2 sistent Staging的做法现在还不怎么流行。
(2)ODS可以说是数据仓库的一个变体,其数据结构和数据仓库可以说是完全相同,也是基于主题进行组织的,但是其数据是挥发的,一般就保存1～3个月,因此还不能说是数据仓库的备份数据。
ODS 的主要功能是承担大量的报表和简单查询,以减少数据仓库的负担,因此报表和简单查询一般查的是近期数据。
超过3个月的数据就导入到数据仓库中。
因此ODS是可选的,如果数据仓库的压力不是特别大,就没必要建立ODS。
在很多情况下,Staging Data Server是逻辑的,据国外同行的经验,对于数据源特别复杂的情况,建议采用Staging Data Server可以实现统一的ET L接口,并且屏蔽ET L对源系统的影响。
物理上他可以和数据仓库是同一台服务器。
(考虑投资的因素)对于ODS的确有很多争论的地方,甚至有人就把Staging Data Server作为ODS,这样的话ODS就比较偏向业务系统,但是Bill Inm on(比尔・恩门)对ODS的定义是:“运营数据存储是一个面向主题的、集成的、当前的并且是可“挥发”的数据集合,主要用于企业战术性的决策制定过程或业务管理。
“ODS 的数据是可写回的,并不断进行刷新”。
因此ODS 是针对业务系统和数据仓库的不足提出来的,作为业务系统和数据仓库的中间桥梁,因为对业务系统来说,数据是分散的,用户无法得到统一的、全面的、集成的数据展现。
3 ODS与实时数据仓库和O LAP的使用3.1 ODS的应用一般来说,业务系统都可以作为数据源来处理,至于它们之间的数据结构是否一致,并不重要,都可以通过数据仓库中的所谓的integrator(积分器)来进行结构转换,最终都使用同一种格式。
还有,就是数据仓库中的数据并不需要原子粒度的数据,它的作用就是为统计分析,或者是模式挖掘等服务的,所以其中的数据是经过合成的。
所以,数据源与数据仓库之间的中间层是肯定必须的。
基于ODS构建的大客户管理系统,源数据层的数据经大客户管理系统的数据采集功能进行数据采集/整理/加载,形成的统一信息层-ODS层(操作数据存储,实际上就是大客户管理系统中的客户档案数据),在逻辑和存储上对业务处理系统与数据仓库进行隔离。
数据仓库采用多维模型进行存储,通过对ODS 层数据的抽取、净化和转换而形成的从细节级、轻度综合、中度综合直至高度综合各级粒度的O LAP分析数据层,是按照主题分析的需要建立的企业级全局数据存储。
在数据仓库之上通过联机分析(O LAP)和数据—9—挖掘预测的分析引擎,构建大客户经营分析与决策支持等应用,和Web服务器共同构成中间层。
ODS作为一个中间层次,一方面,它包含企业全局一致的、细节的数据,可以进行全局操作型处理;另一方面,它又是一种面向主题的、集成的数据环境,适合完成日常报表和决策的数据处理分析。
可见,ODS一方面支持业务性操作,另一方面面向主题。
在主题之下放置与该主题相关的各种基础数据,组合在一起就是基础数据源。
基础数据源是整个ODS的核心,存储着最为基础的非派生数据。
从上面分析可看出,建设数据仓库的第一步是建设基础数据源。
因此可以看到,面向主题和集成性斯得ODS的数据在静态特征上很接近DW中的数据。
但是,在ODS与DW之间仍然有许多基本的、重要的差别。
首先,ODS主要保存近期数据,而DW大量是长期保存并可重复查询的历史数据。
其二,ODS支持面向记录的联机刷新,包括企业级的O LAP;而DW中的基础数据是不可修改的。
其三是向ODS数据仓库DW提供一致的数据环境以供抽取。
DW则主要用于长期趋势分析或战略决策。
3.2 实时数据仓库的概念对于实时数据仓库,最早是Michaem Haisten(BI 专家)提出的,他对实时数据仓库的分类和架构有详细的描述。
现在逐渐提出了实时数据仓库的概念,主要的思想就是:在数据仓库中,将保存的数据分为两类,一种为静态数据,一种为动态数据,静态数据满足用户的查询分析要求;而动态数据就是为了适应实时性,数据源中发生的更新可以立刻传送到数据仓库的动态数据中,其中再经过响应的转换,满足实时的要求。
3.3 实时数据仓库和ODS的关系对于实时数据仓库和ODS的关系,现在更多的实时分析是建立在ODS上而不是数据仓库上,因为ODS相对数据量较少,处理较为容易,根据这种分类,ODS可以分为三类。