商业银行数据仓库建设

合集下载

商业银行数据管理架构和岗位职责

商业银行数据管理架构和岗位职责

商业银行数据管理架构和岗位职责1. 引言商业银行数据管理架构对于提高数据质量、保证数据安全和推动业务发展具有重要意义。

本文档旨在介绍商业银行数据管理架构以及相关岗位职责。

2. 数据管理架构商业银行数据管理架构包括以下关键组成部分:2.1 数据质量管理数据质量管理是确保数据准确性、完整性、一致性和及时性的过程。

在数据管理架构中,数据质量管理包括数据收集、数据清洗、数据整合和数据验证等环节。

相关岗位职责包括数据管理员、数据分析师和数据质量专员。

2.2 数据安全管理数据安全管理是保护银行数据免受未经授权的访问、篡改和破坏的过程。

在数据管理架构中,数据安全管理包括数据加密、访问控制、安全审计和灾备管理等环节。

相关岗位职责包括信息安全经理、网络安全工程师和数据安全专家。

2.3 数据治理管理数据治理管理是确保数据管理活动符合法律法规和内部规章制度的过程。

在数据管理架构中,数据治理管理包括数据政策制定、数据标准制定、数据应用规则和数据风险管理等环节。

相关岗位职责包括数据管理官、合规专员和风险控制经理。

3. 岗位职责商业银行数据管理架构中的各个岗位具有不同的职责和任务。

以下是一些常见岗位职责的简要描述:3.1 数据管理员- 负责数据收集、整理和存储;- 管理数据仓库和数据库,确保数据的可靠性和安全性;- 协助数据分析师解决数据相关问题。

3.2 数据分析师- 进行数据分析和挖掘,提供数据支持决策;- 根据业务需求,制定数据分析模型和算法;- 解读数据分析结果,提出业务改进建议。

3.3 数据质量专员- 设计数据质量检查程序和流程;- 定期对数据进行质量检查和评估;- 协助数据质量管理措施的改进和推广。

3.4 信息安全经理- 负责制定和执行数据安全策略;- 管理网络和系统安全,防止数据泄露和攻击;- 定期进行安全漏洞评估和修复。

3.5 数据管理官- 负责制定数据管理政策和规范;- 监督数据管理实践的合规性和有效性;- 协调各岗位间的数据管理工作。

某银行数据仓库建设情况汇报

某银行数据仓库建设情况汇报

某银行数据仓库建设情况汇报尊敬的领导们:根据您的要求,我将就某银行数据仓库的建设情况进行汇报。

以下是数据仓库建设的概述以及取得的成果。

1、项目背景:目前,随着信息技术的快速发展,数据作为金融业务的核心资源,具有极大的价值。

然而,由于银行系统内部数据分散、来源众多、格式不一致等问题,导致数据分析和决策效率低下。

因此,为了提高业务决策的科学性和准确性,我行决定开展数据仓库建设项目,整合银行各类数据,建立全面、统一、可靠的数据仓库系统。

2、项目目标:(1)整合数据:对银行内部的各类数据进行整合,包括存款、贷款、理财、信用卡等方面的数据,确保数据的一致性和准确性。

(2)提高决策效率:通过数据仓库系统,提升数据分析和决策效率,实现快速、准确的决策支持。

(3)优化风险控制:通过整合和分析大量数据,及时发现和应对潜在风险,提高风险控制能力。

(4)支持业务发展:为银行的业务发展提供全面、准确的数据支持,帮助银行实现持续增长。

3、建设成果:(1)数据整合:通过项目组的努力,已成功完成银行各类数据的整合工作,包括来自存款系统、贷款系统、理财系统以及信用卡系统等各个业务系统的数据。

数据整合的过程中,我们采用了ETL(Extract、Transform、Load)技术,确保数据的准确性和完整性。

(2)决策支持:数据仓库建设已成功运行,为各级领导提供了全面、准确的决策支持。

通过数据仓库,领导层可以快速获取和分析各项业务数据,从而做出更加科学、精准的决策。

(3)风险控制:数据仓库的建设大大优化了风险控制能力。

通过数据的分析和挖掘,可以及时发现潜在的风险因素,并采取相应的措施进行应对,从而保障银行的安全运营。

(4)业务发展:数据仓库的建设为银行的业务发展提供了良好的支持。

通过对客户数据的分析和挖掘,我们可以更好地理解客户需求和行为习惯,精准推送个性化服务,从而增强客户黏性和满意度。

4、未来展望:数据仓库建设是一个持续发展的过程,我们将继续完善数据仓库系统,进一步优化数据分析和决策支持能力。

XXX商业银行数据仓库系统完整解决方案

XXX商业银行数据仓库系统完整解决方案

XXX商业银行数据仓库系统完整解决方案在当今数字化时代,数据变得异常重要,对于银行业来说更是如此。

银行需要处理大量的数据,包括客户信息、交易记录、贷款情况等,而有效地管理和分析这些数据将对银行的业务发展和决策制定起着关键的作用。

为了更好地管理数据并提升运营效率,许多银行选择建立数据仓库系统来统一管理和分析数据。

XXX商业银行也不例外,它可以采用完整的数据仓库解决方案来满足其需求。

首先,一个完整的数据仓库系统需要包括数据抽取、数据转换、数据加载等核心功能。

数据抽取是指从各个数据源中提取数据的过程,这些数据源可以包括银行的核心系统、在线交易系统、ATM机系统等。

数据抽取过程需要能够实现增量抽取、全量抽取等功能,并能够保证数据的完整性和准确性。

数据转换是将抽取的数据进行清洗、转换和整合的过程,保证数据的一致性和统一性。

数据加载是将转换后的数据加载到数据仓库中,以便后续的分析和查询。

其次,一个完整的数据仓库系统还需要包括数据建模和数据分析功能。

数据建模是指对数据进行结构化和建模,以便更好地理解数据的关系和特点。

数据建模可以采用ER模型、维度模型等方法来构建数据模型。

数据分析是针对数据仓库中的数据进行分析和挖掘,以发现数据之间的关联性和规律性,为银行的业务决策提供支持。

数据分析可以采用OLAP、数据挖掘、机器学习等技术来实现。

最后,一个完整的数据仓库系统还需要包括数据可视化和报表功能。

数据可视化是将数据以图表、报表等形式展示出来,使用户能够更直观地理解数据的含义和趋势。

数据可视化可以采用数据可视化工具来实现,如Tableau、PowerBI等。

报表功能是将数据以报表的形式呈现出来,为银行的管理层和决策者提供直观的数据分析结果和业务洞察。

综上所述,一个完整的数据仓库系统可以帮助XXX商业银行更好地管理和分析数据,提高运营效率和业务决策水平。

通过建立数据仓库系统,XXX商业银行可以实现数据的统一管理和分析,挖掘数据的潜在价值,为未来的业务发展打下坚实基础。

建设商业银行数据仓库实现客户一体化管理

建设商业银行数据仓库实现客户一体化管理
维普资讯
《 融与经济) o 6年第 1 金 )o 2 2期
建设 商业银行数据仓库 实现客户一体化管理
田 凯 , 晓梅 z 黄
( 南昌工程学院, 1 . 江西南昌 309  ̄. 30 92中国建设银行江西省分行 , 江西南昌 300 ) 30 6
2 目前 数 据 仓 库 在 银 行 中 的 应 用 现 状 。 国 际 .
1银 行 客 户 关 系 管 理 系 统 的 概 念 。 银 行 客 户 .
关 系 管 理 系 统 是 以 围 绕 “ 何 发 展 最 有 价 值 的 潜 如 在 客 户 和 稳 定 已 有 的 客 户 ” 一 目标 , 过 优 化 银 这 通 行 业 务 流 程 , 开 系 统 的客 户 研 究 , 提 高 客 户 满 展 以 意 度 和 忠 诚 度 , 终 实 现 银 行 利 润 收 益 的 增 -: 它 最 N。 包 括 判 断 、 择 、 取 、 展 和 保 持 客 户 所 实 施 的 选 争 发
开 发 的 综 合 业 务 系 统 , 提 供 了 客 户 信 息 整 合 的
条 件 。 此 数 据 仓 库 的建 设 进 展 顺 利 , 中第 一 个 因 其
项 目( 户 关 系 管 理 ) 经 有 了 实 质 性 的 进 展 。 商 客 已 招 银 行 数 据 仓 库 建 设 的步 伐 很 快 , 公 系 统 、 蓄 系 对 储 统 和 人 事 系 统 已投 入 运 行 并 初 见 成 效 。 中 国 银 行 和 中 国建 设 银 行 数 据 仓 库 建 设 -程 正 抓 紧 进 行 。 r
金 融 界 十 分 重 视 数 据 仓 库 技 术 ,美 国花 旗 银 行 采
用 数 据 仓 库 和 数 据 挖 掘 技 术 进 行 风 险 分 析 及 管

对我国银行业数据仓库建设的分析

对我国银行业数据仓库建设的分析
分 析 ; 利 润 分 析 ;资 金 分 析 ;专 门 侧 重 某 一 方 面 的 未来 管理信 息系统建设 的发 展方 向,但 2 0 0 2年 各大
专 题应 用 等 。 目前 已开 发 了对 公 系统 、人 事 系统 、 银 行 的数 据 仓库 建 设 仍会 处 于试 点 阶 段 。
通 过数 据 仓 库 系统 从 业 务数 据 库 中 直接 提 取数 据 ,
从 源 数 据 的 提 取 到 最 终 报 表 的 形 成 全 部 由 自 动 引 擎
1.开发 客 户信息 管理 系统 ,实现 客 户关 系管 完成 。 中国建设 银 行海 南分 行开 发 了数据 仓库 及 信 理 。 目前 对于 客 户的拓 展 、保 留和 服务 是 国有 商业 息管理 决 策 系统 ,采 用数据 仓库 技 术建立 信 息管 理 银 行 业 务 发 展 最 薄 弱 的 环 节 ,也 是 最 迫 切 需 要 解 决
平 台 ,在 此基 础上 对行 内业 务数 据进 行全 方位 的 信 的 问题 。首先 要 整合个 人客 户 的基 本信 息 、交 易信 息 采集和分析 。 中国建设银 行总行于 2 0 年启动 了 01 息 和 关 系 信 息 ,配 合 个 人 存 款 实 名 制 的 实 施 ,对 银 基于 数据 仓库 技 术 的管理 信息 系统 项 目,其 目标 是 行 卡 、住 房贷款 及其 他 个人 贷款 、存款 、工 资 、公
资源 共享 ,并 且要 对 客户信 息 进行 科学 的分 析 、分 期 的具体 建设 目标 ,并逐 步 完成 。在认 真做 好 信息 类 , 为 实 现 差 别 化 服 务 提 供 基 础 。 最 后 要 通 过 各 种 采 集和信 息存 储 管理 等基础 建 设的 同时 ,还 要 积极

商业银行数据仓库浅析

商业银行数据仓库浅析

商业银行数据仓库浅析商业银行数据仓库浅析引言:随着科技的发展和金融业务的不断创新,商业银行积累了大量的数据,这些数据包括客户信息、交易记录、风险管理数据等。

为了更好地管理和利用这些数据,商业银行逐渐建立起了数据仓库系统。

本文将对商业银行数据仓库进行浅析,包括其定义、功能、架构、数据质量管理等方面的内容。

1、数据仓库的定义及意义1.1 数据仓库的定义数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策。

1.2 数据仓库的意义- 提供决策支持:数据仓库通过提供清晰、准确、及时的信息,帮助管理层做出更明智的决策。

- 促进数据共享:数据仓库将各个业务部门的数据进行集成,促进了不同部门之间的数据共享和协同工作。

- 提高数据质量:通过对数据进行清洗、整合和规范化的过程,数据仓库提高了数据的质量和准确性。

2、数据仓库的功能2.1 数据集成与整合数据仓库通过抽取、清洗、转换和加载等过程,将分散在不同系统、部门的数据进行整合,建立起全局视图。

2.2 决策支持数据仓库提供多维分析和数据挖掘的功能,支持管理层进行决策分析和趋势预测。

2.3 数据查询和报表数据仓库提供灵活的查询和报表工具,使用户能够根据需要快速获取所需的数据和报表。

2.4 数据质量管理数据仓库通过对数据进行清洗、验证和规范化等操作,确保数据的质量和准确性。

3、数据仓库的架构3.1 数据源层数据源层是数据仓库的基础,包括各种内部和外部数据源,如核心业务系统、营销系统、外部数据提供商等。

3.2 数据抽取和转换层数据抽取和转换层负责从数据源层抽取数据,并进行清洗、转换和整合等操作,适合数据仓库使用的数据。

3.3 数据存储层数据存储层是数据仓库的核心,通常采用关系数据库或大数据存储技术来存储和管理数据。

3.4 数据展示和分析层数据展示和分析层提供一系列工具和技术,如在线分析处理(OLAP)、数据挖掘等,帮助用户进行多维分析、查询和报表。

商业银行数据集市概述

商业银行数据集市概述

商业银行基于数据仓库的数据集市的解决方案翟建国,李文生北京邮电大学计算机科学与技术学院,北京(100876)E-mail:zhaijg2008@摘要:在数据仓库建设的后期,由于企业的多个部门都开始使用数据仓库所提供的服务。

而这些部门之间往往又对数据仓库有不同的要求,很多人就提出了在数据仓库基础上构建数据集市的概念。

虽然在业务系统中拥有足够的信息来进行数据分析,但是很难从这些系统中提取有意义的信息而且速度也较慢。

而且虽然这些系统可支持预定义报表,但却无法支持一个部门对数据进行历史的、集成的、智能的和易于访问的分析。

因为业务数据分布在许多跨系统和平台的表中,而且通常是“脏的”,包含了不一致和无效的值,使得分析难于进行。

数据集市可以合并不同系统的数据源来满足业务信息需求。

本文针对某商业银行数据仓库建设本身的特点,提出了一整套切实可行的针对这家银行的数据集市建设的解决方案,并成功应用于实际项目中,希望对其他银行或者企业在建设自己的数据集市时具有参考意义。

关键字:数据仓库,ODS,ETL,数据集市。

0.引言某商业银行数据仓库的建设目前已经初具规模,随着相关数据逐步积累,数据仓库的资源已经完全可以满足各类分析系统的数据需求,按照这家银行的技术架构,数据集市的建设已经迫在眉睫。

数据集市的建立可以解决各系统数据获取得问题,并在集市范围内得到最大的共享,数据集市可以根据各系统的数据需求,建设成一个高度整合的业务系统数据平台,经过整合后的数据便于应用的掘取、操作,发挥最大的效能。

数据集市的建立可以有效缓解数据仓库时间窗口的争用问题,加快各系统数据获取的速度。

同时整合的数据集市不仅可以解决信息不对称等方面的问题,且整合后方便统一管理,降低费用,提升效能、增进安全,使得整体架构更加合理化、科学化。

1.数据仓库技术1.1数据仓库介绍数据仓库技术是数据库与人工智能两项计算机技术相结合的产物,是当今信息管理技术的主流,它利用人工智能中的机器学习、知识处理和神经网络等方法,从数据库中挖掘有用信息、发现知识、搞清数据库中大量数据之间的相互关联及众多数据之间存在的规律,可供使用者有效分析和利用数据库中的已存储的各种有用信息,以帮助决策者迅速做出决策,从而使企业产生巨大的经济效益。

如何建设符合商业银行需求的数据仓库系统(下)

如何建设符合商业银行需求的数据仓库系统(下)
于 开 发 人 员 需 要 具 有 丰 富 的 自顶 向 下 的 系 统 开 发
虽 然 我 们 提 出 以 自顶 向 下 的 方 法 进 行 规 划 和 建 设 , 在 …些 局 部 的 、 熟 悉 的 领 域 , 然 可 以 采 但 ・ 不 仍
用 自底 向 上 的 方 法 进 行 一 些 探 索 性 的 尝 试 ,以 积 累 经 验 , 避 风 险 。所 以 最 终 策 略 是 以 自顶 向 下 为 主 规 导 ,自底 向 上 为 辅 ,充 分 发 挥 两 种 方 法 的 优 点 和 长
方 法 和 策 略 。 下 面 就 自顶 向 下 和 自底 向 上 、 务 驱 业
而 向 对 象 的方 法 。 而 在 自底 向上 的 开 发 中 , 用 螺 采
旋 式 的 原 型 开 发 方 法 , 过 以 上 两 种 方 法 的 对 比分 通
析 可 以看 出 ,当企 业 的 管 理 层 在 战 略 的 高 度 上 充 分
种方法 进行 开发 , 们 先对 两种方 法从 策 略和 过程 我
两个 方面进 行对 比分析 。
例 和成 功经验 可 以借鉴 。因此 , 银 行业 实施 数据 在 仓 库 已 经 不 是 探 索 性 的 尝 试 ,而 是 目标 明 确 、长 期
规 划 的 建 设 过 程 , 以 不 建 议采 用 自底 向 上 的 方 法 所
理 、分 析 上 是 按 照 事 务 处 理 的 逻 辑 进 行 的 ,与 现 实
中有 对 照 关 系 。而 数 据 仓 库 应 用 是 为 了 提 供 企 业 级
善 的 业 务 需 求 。 因 此 , 据 驱 动 的作 用 是 促 进 需 求 数 的 整 合 ,但 系 统 的 建 设 仍 需 要 面 向 需 求 进 行 ,只 有
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

商业银行数据仓库建设摘要:目前国内几大商业银行的数据大集中基本完成,为企业级数据仓库的建设创造了先决条件。

同时,银行管理层也希望从既有的海量数据库中获取信息,可以在精准营销、绩效考核、风险管理等方面发挥作用,这也成为建设企业级数据仓库的主要动力。

结合作者的工作背景,对银行数据仓库建设过程中的几个方面进行了阐述,以期望能对读者有所启发。

关键词:数据仓库;数据模型;数据标准;元数据管理;灵活查询0 引言数据挖掘是20世纪90年代中后期提出的概念,它是以传统的数据库技术作为存储数据和管理资源的基本手段,以统计分析技术作为分析数据和提取信息的有效方法。

以人工智能技术作为挖掘知识和发现规律的科学途径的一种解决问题的方案。

而数据仓库的建设,可以看作数据挖掘的一个重要预处理步骤。

在数据仓库的建设过程中,可以将支持企业日常运作的各个独立系统中的数据进行清理、集成和统一,并且可以将数据加载入不同于日常交易系统结构的易于查询分析的数据模型中,为后续数据挖掘高效地获取准确明晰的数据扫清障碍。

1 数据仓库根据数据仓库之父W.H.Inmon的说法,“数据仓库是一个面向主题的、集成的、时变的、非易失的数据集合,支持管理部门的决策过程”。

这个简短而又全面的定义指出了数据仓库的主要特征。

4个关键词,面向主题的、集成的、时变的、非易失的,将数据仓库与其他数据存储系统(如关系数据库系统、事务处理系统和文件系统)相区别。

数据仓库领域的领导厂商,美国Teradata公司给企业级数据仓库下过一个定义,“一个企业级数据仓库是一个由集成的、明细的、可扩展的数据组成的,集中的,保留历史的数据机,可以支持多个部门的各种决策分析,是整个企业分析型数据的唯一来源”。

这里有5个关键字:集成的、明细的、可扩展的、集中的、保留历史的。

从以上两个定义来看,时变的包含了保留历史的意思,而面向主题的结构保证了其结构和设计是可扩展的。

因此,从笔者的观点来看,数据仓库的关键字应该是:面向主题的、集成的、时变的、明细的、集中的和非易失的。

为了进一步理解数据仓库的概念,我们可以将数据仓库系统和操作型数据库系统进行一下比较,概括在表1中。

2 商业银行数据仓库所谓商业银行数据仓库,是将数据仓库技术运用到商业银行的经营分析中,从而为商业银行的精准营销、绩效考核、风险管理等提供强有力的数据支持。

从技术角度来看,商业银行的数据仓库与其他企业的数据仓库差别不大,具有数据仓库本身具有的一切技术特性。

但是其数据模型的设计,必须与商业银行的业务逻辑相切合,这样才能发挥其应有的作用。

商业银行数据仓库采集包括银行核心系统在内的交易系统数据,经过加载整理,按照银行业务主题(当事人、内部机构、资产、地址、产品、协议、事件、渠道、总账、营销等)进行组织和存储,形成商业银行数据仓库的基础模型区,特点为以数据驱动,保留基础、细节、历史、整合的数据。

3 数据仓库模型3.1 维度模型该模型将数据看作数据立方体(data cube)形式,立方体由维和事实定义。

维是关于一个组织想要记录的透视或实体。

每一个维都有一个表与之相联,该表称为维表,它进一步描述维。

维度数据模型围绕中心主题组织。

该主题用事实表表示。

事实是数值度量的。

把它们看作数量,是因为我们想根据他们分析维之间的关系。

事实表包括事实名称和度量,以及每个相关维表的关键字。

比如,银行想记录客户所持有的账户的相关信息,那么就要建一张账户的事实表来表示账户这个主题。

在账户表中有账户的余额、开户日期、开户机构、账户持有人等信息。

其中,账户余额就是账户表的度量字段。

而开户日期、开户机构等字段则是与其他日期、机构等维表关联的关键字。

3.2 星型模型是维度模型的一种,包括一个大的包含大批数据和不含冗余的中心表(事实表),一组小的附属表(维表),每维一个。

这种模型很像星星爆发,维表围绕中心表显示在射线上。

3.3 雪花模型雪花模型是星型模型的变种,其中某些维表是范式化的,因而把数据进一步分解到附加的表中。

结果模式图形成类似于雪花的形状。

雪花模型和星型模型的主要不同在于,雪花模型的维度可能是范式化形式,以便减少冗余。

这种表易于维护,并节省存储空间,因为当维结构作为列包含在内时,大维表可能非常大。

然而,与巨大的事实表相比,这种空间的节省可以忽略。

此外,由于执行查询需要更多的连接操作,雪花结构可能降低浏览的性能。

这样,系统的性能可能相对受到影响。

因此,在维度建模的数据仓库设计中,雪花模型不如星型模型流行。

3.4 范式化模型根据企业的业务特点,将整个业务流程抽象为若干个主题,主题内部遵循三范式以上的范式进行建模(必要时可以适当降范式),主题与主题间通过关系表连接。

比较类似于雪花纬度模型,但是范式化程度比雪花模型更高,也没有事实表和纬度表的概念。

3.5 商业银行数据仓库模型的选择从理论上来看,维度模型在查询上比较有优势,但是对于业务种类繁多,业务流程复杂的商业银行来说,用维度模型进行存储未必能将各个操作型系统的数据进行很好地整合。

而范式化模型可以将操作系统的各类数据很好地整合存储,但是范式化的结构不利于快速分析查询,需要经过多次的表间联接才能完成一次客户全视图查询。

因此,笔者认为单单使用维度建模或者范式化建模都不能很好地支持企业级数据仓库的建设和发展。

根据国际最佳实践以及笔者的项目实施经验,比较好的做法是在数据模型层使用范式化模型,而后通过视图将范式化模型转换为维度模型给数据集市供数。

4 商业银行数据仓库整体架构初探4.1 源系统文件(Source file)源系统文件就是将银行各操作型系统(比如客户信息系统、存贷款系统、中间业务系统、信用卡系统、电子银行系统等)数据表中的数据以文件形式下载给数据仓库系统。

同时,视相关业务数据量大小决定每天是全量下载还是增量下载。

4.2 操作型数据存储(ODS)层及其视图操作型数据存储区域的数据表结构一般与上游源表结构一致,数据也基本一致,等于是将上游数据复制一份到数据仓库系统,因此也称为源系统镜像(Source Image)。

操作型数据存储(ODS)视图,是为了数据安全性和查询性能等因素考虑建立的视图,其结构与ODS本身结构一致。

操作型数据存储(ODS)的作用主要有以下几个:①如果上游源系统文件每日下载增量数据给数据仓库,则可以在ODS进行全量累加;②对于上游源系统文件中部分错误数据(比如字段长度被截位等),可以在ODS及时发现,进行修复和清理,提高到达模型层数据的数据质量;③对于那些时效性要求高,不需要历史数据,且查询不是很复杂的业务需求(比如电话银行的增值业务等),可以绕过数据仓库模型层,由ODS直接供数。

4.3 范式化模型层根据商业银行日常运作的业务特点,抽象出若干个主题(比如当事人、内部机构、资产、地址、产品、协议、事件、渠道、总账、营销等),将银行各个交易系统中的数据经过整合加载入各主题内部的各个数据表中。

可以说,模型层的设计对于整个数据仓库建设的成败起着至关重要的作用,模型设计人员需要结合银行自身业务特点在模型的稳定性、准确性、完整性和易用性等方面进行权衡,从而设计出高效、稳定、准确的模型。

4.4 逻辑视图逻辑视图的主要目的是方便数据仓库下游各数据集市取数,由于是面向查询,建议使用维度建模。

随着数据仓库的发展,其下游的数据集市将会越来越多。

因此,对于逻辑视图的设计除了要方便查询以外,更要注意对于统计指标的重用,以及对于视图数量的合理规划。

需要在稳定性和易用性之间找到平衡点。

同时,从模型层到逻辑视图的转换逻辑复杂程度和转换性能也是需要考虑的一个问题。

5 数据标准、数据质量管理和元数据管理要建设好商业银行的企业级数据仓库,除了要选择一种合适的建模方法,有一个合理的数据架构以外,更要关注存入数据仓库的数据情况。

要真正体现数据仓库的价值,还是要依靠存入仓库中的数据,可以说数据是数据仓库的生命。

而说到数据,就必须要提数据标准、数据质量管理和元数据管理这3块内容。

5.1 数据标准数据标准是用来描述数据的,用来定义数据的业务含义和技术特征,可以分为业务数据标准和技术数据标准。

业务数据标准从银行业务角度来描述数据,比如账号可以描述为“与银行签订了特定协议的客户所持有的,用于存放交易金额的账户号”。

技术数据表准则从数据库技术的角度来描述数据,比如账号可以描述为“25位长度的数字串,由9位地区号+9位网点号+2位识别号+5位顺序号组成”。

5.2 数据质量管理数据质量管理是数据仓库建设的重要内容,是数据仓库应用及价值发挥的基础。

具体来说,数据质量管理需要部署数据质量检查规则。

对于在数据仓库中发现的数据质量问题,需要通过数据质量管理平台进行反馈、跟踪和验证,从而保证数据质量问题的有效解决。

5.3 元数据管理元数据管理的工作主要是建立一个物理平台,将数据标准在物理上实现落地。

元数据管理平台的建设要注意其范围和详细程度。

从范围上来说,最好是有一个覆盖全行所有数据和数据结构的大元数据系统,这样可以保证各个系统之间的数据结构和各个元数据的统一规划和设计。

从详细程度上来说,需要建立机制,要求各个系统的所有数据结构及其相关信息都要登记到元数据管理平台中,这样才能使其发挥应用的价值和作用。

5.4 数据标准、数据质量管理和元数据管理的关系数据标准、数据质量管理和元数据管理三者是相辅相成,相互作用的关系。

数据标准的建立给数据质量管理提供了判断依据,凡是不符合数据标准的数据都是有问题的数据。

同时,数据质量发现和解决的过程中也可能会产生新的数据标准。

元数据管理平台的建设则是需要和数据标准建立同步实施的,数据标准必须与元数据保持统一和同步。

6 灵活查询所谓灵活查询,就是在数据仓库中开辟一块空间,让业务用户直接从仓库中获取数据,以满足业务人员即时的、灵活的查询。

产品再好,也需要营销了才能让客户知晓。

灵活查询在数据仓库的建设过程中就是扮演了这么一个营销的角色。

让业务人员开始使用数据仓库,从中体会到数据仓库的优势。

同时,在业务人员使用数据仓库的过程中,也可能发现一些数据质量问题,这样也有利于改善数据仓库本身的数据质量情况。

对于数据仓库项目的设计开发来说,推广灵活查询也具有其积极的意义。

对于一般的数据集市应用类项目开发周期一般需要几个月时间,而且业务人员在提需求的时候,没有数据验证环节。

导致当项目完成了,或是已经失去市场机遇,或是没有达到业务人员的预期,效果未必令人满意。

灵活查询的推广,可以让业务人员在提需求前先通过数据仓库来验证自己的想法,有时还需要建立一些预测模型进行模型训练。

对于一些营销类项目,还可以较快地提取结果。

待到需求都成熟了,再向数据仓库项目组提需求,进行常规部署,这样也提高了项目开发的效率和效果。

参考文献:[1] JIAWEIEI HAN,MICHELINE KAMBER.数据挖掘[M].范明,孟晓峰,译.北京:北京出版社,2001.[2] DA VID HAND,HEIKKI MANNILA,PADHRAIC SMYTH.数据挖掘原理[M].张银奎,廖丽,宋俊,等,译.北京:机械工业出版社,2003.。

相关文档
最新文档