工商银行数据仓库设计方案

合集下载

银行数仓主题划份

银⾏数仓主题划份描述银⾏数据仓库（下⽂简称“数仓”）分层架构⾄少包含ODM 贴源层、SDM 标准层、FDM 主题层和ADM 应⽤层。

其中FDM 层的核⼼诉求是把复杂的源数据化繁为简，按照业务逻辑划分出⾦融主题，把源数据进⾏拆分与整合到⾦融主题的模型中。

关键是，⾦融主题应该划分成什么？每个⾦融主题的模型建设思路是怎样的？⾦融主题的数据模型该怎样维护？在解答上述问题之前，⾸先要了解国外主流的⾦融主题划分⽅案是如何的，如何从国外的主流⽅案中取经。

国外主流的⾦融主题划分⽅案Teradata 公司的 FS-LDM ⼗⼤⾦融主题模型Teradata 公司作为全球最⼤的专注于⼤数据分析、数据仓库和整合营销管理解决⽅案的供应商，并提出⼀种先进的 FS-LDM 模型（Financial Services Logcial Data Model），把银⾏约 80% 的业务数据囊括在该模型中。

Teradata FS-LDM 是⼀个成熟产品，在⼀个集成的模型内⽀持保险、银⾏及证券，包含⼗⼤主题：当事⼈、产品、协议、事件、资产、财务、机构、地域、营销、渠道。

具体划分如下图所⽰：IBM 公司的 BDWM 九⼤⾦融主题模型IBM 公司作为数据仓库和数据分析的“元⽼级”企业，为了对抗 Teradata 公司的 FS-LDM 模型，提出了 BDWM（Banking Date Warehouse Model）九⼤⾦融主题模型，主题模型分为参与⼈、合约、条件、产品、地点、分类、业务⽅向、事件和资源项⽬。

具体划分如下图所⽰：⾦融主题层划分及建模思路由上述的 FS-LDM 模型与 BDWM 模型，可以分析出以下共性：1）描述银⾏客户信息的主题；2）描述银⾏机构及员⼯信息的主题；3）描述银⾏产品信息的主题；4）描述银⾏与客户之间契约信息的主题；5）描述银⾏与客户资产信息的主题；6）描述客户使⽤银⾏服务时产⽣的⾏为信息的主题；7）描述银⾏与客户联系信息的主题。

工商银行全栈多异架构解决方案

472022 . 02 中国金融电脑ECOS 工程ECOS Project工商银行全栈多异架构解决方案中国工商银行软件开发中心专家徐翥中国工商银行软件开发中心专家徐翥近年来，面对日趋复杂的国际形势，如何守住我国的“金融边疆”，实现高标准的科技自立自强，已经上升为关乎国家安全的战略问题。

长期以来，银行传统的信息系统架构技术选型单一且产品不具可替代性，一旦发生供应链风险，金融信息系统将受到巨大影响。

面对上述挑战，工商银行积极践行大行担当，集中科技资源在计算、存储、数据库、终端、操作系统、云计算及分布式中间件等关键技术领域展开深耕细作，并结合不同系统业务特点，形成了可复制推广的全栈多异架构解决方案，力求从体系上避免单一技术依赖风险。

两年来，经过在办公、渠道、核心业务等大量业务场景中推行试点应用，总结形成了基本成熟、可借鉴、可复制的体系化行业级整体解决方案，以助力实现金融信息系统的高质量可持续发展。

工商银行全栈多异架构解决方案如图1所示。

实践中，工商银行以“信创工作与全行技术栈发展一体化”为原则，一方面前瞻性规划布局信创技术栈，真试真用；另一方面统筹全行技术栈发展方向，支持异构技术栈的并行，实现平稳过渡，支撑系统在实战中不断迭代完善、优胜劣汰，寻找最优路线。

同时，多异架构的规划建设以支撑工商银行全部IT 系统为目标，统筹全栈技术形成了逐层向上的基础支撑能力（自底向上分别为云平台层、开放架构层以及终端机具层），以达到合理分层解耦、降低转型成本、减少业务影响的总体转型目标。

数仓分层设计方案

数仓分层设计方案一、ODS层（原始数据层，Original Data Store）这层就像是数据的大仓库，不管是从哪儿来的数据，什么格式的，是数据库里导出来的，还是从文件里读出来的，一股脑儿全放在这儿。

就好比是把外面世界各种各样的原材料都堆到一个大院子里，先不管乱不乱，反正先存起来再说。

比如说从各个业务系统像销售系统、库存系统、客户管理系统里直接拉过来的数据，就原封不动地放在这儿，这个时候数据可能是各种各样的脏数据，就像刚从地里挖出来带泥的萝卜，但是没关系，这是第一步嘛。

二、DWD层（明细数据层，Detail Data Warehouse）从ODS层拿到数据之后，就开始在这层清理数据了。

把那些脏东西去掉，就像把萝卜上的泥洗干净一样。

对数据进行一些简单的处理，像数据格式的统一啊，把日期格式都搞成一样的，把一些明显错误的数据给修正或者标记出来。

这里的数据是按照业务主题来组织的，比如说销售相关的数据就放在一块儿，库存相关的放一块儿。

这层就像是把原材料初步加工分类，让数据变得稍微整齐一点，这样后面用起来就方便多啦。

三、DWS层（轻度聚合层，Data Warehouse Summary）到了这层，就开始做一些小的聚合操作了。

就像是把洗好切好的萝卜、青菜啥的，做一些简单的搭配组合。

比如按照地区统计销售总额、按照时间段统计库存的变化量。

这层的数据是从DWD层的数据聚合来的，它能让我们从更宏观一点的角度去看数据，但是还没有特别汇总，还保留了一定的明细信息，就像我们做的是几个小菜的拼盘，还能看到每个菜的大概样子。

四、ADS层（应用数据层，Application Data Store）这是最上面一层啦，这层的数据就是专门为了各种应用场景准备的。

比如说给领导看的报表数据，或者是给某个特定业务部门用的数据。

这层的数据就像是把前面那些加工好的菜，做成了精致的套餐，直接端到顾客（也就是使用数据的人）面前。

这个数据就是根据具体的需求高度定制的，比如说领导想要看每个季度不同产品线的利润情况，那在这层就把相关的数据按照要求整理好，让领导一眼就能看到他想看的东西。

数据仓库设计方案

数据仓库设计方案【正文】一、引言数据驱动的决策已经成为企业中不可或缺的一部分。

为了有效地管理和分析海量的数据，数据仓库设计方案应运而生。

本文将介绍数据仓库的概念、设计原则和关键步骤，帮助企业构建高效可靠的数据仓库。

二、数据仓库概述数据仓库是指将各类数据整合、清洗、转化并存储于统一的数据存储区域，旨在为决策支持系统提供准确可靠的数据服务。

其设计方案需要考虑多个方面，包括数据源、数据的抽取与转换、数据建模和数据的加载等。

三、数据仓库设计原则1. 一致性：数据仓库应该保持与源系统的数据一致性，确保决策所依据的数据准确无误。

2. 高性能：数据仓库需要具备高性能的查询和分析能力，以满足用户对数据的实时性和响应性要求。

3. 安全性：严格管理数据仓库的访问权限，确保敏感数据的安全性和隐私保护。

4. 可扩展性：数据仓库需要具备良好的扩展能力，能够适应数据量的增长和业务需求的变化。

5. 可维护性：数据仓库的设计应该具备良好的可维护性，便于数据的更新、维护和监控。

四、数据仓库设计步骤1. 需求分析：明确数据仓库的功能和目标，分析业务需求和数据源的特点，为后续的设计提供指导。

2. 数据抽取与转换：根据需求分析的结果，选择合适的数据抽取方式，并进行数据的清洗、转换和集成。

3. 数据建模：根据业务需求和数据源的特点，设计数据仓库的物理和逻辑模型，并建立相应的维度表和事实表。

4. 数据加载：将清洗和转换后的数据加载到数据仓库中，并进行合理的存储和索引，以便进行后续的查询和分析。

5. 数据质量控制：定期监控数据仓库的数据质量，并进行必要的修复和优化，确保数据准确无误。

6. 安全管理：建立合适的权限控制机制，确保数据仓库的安全性和合规性。

五、数据仓库设计工具和技术1. ETL工具：ETL（Extract-Transform-Load）工具可以帮助实现数据的抽取、转换和加载，实现数据仓库的数据集成和清洗。

2. 数据建模工具：数据建模工具可以辅助设计数据仓库的物理和逻辑模型，提供建模、维护和文档化的功能。

业务需求分析

《商务智能》中国工商银行营销数据仓库OLAP分析班级信管1101、1102姓名刘硕、张天鸣、林佳平、李佳欢一.需求背景：中国工商银行（Industrial and Commercial Bank of China）简称ICBC ，成立于1984年1月1日。

作为中国资产规模最大的商业银行，经过29年的改革发展，中国工商银行已经步入质量效益和规模协调发展的轨道。

2003年末资产总额约52，791亿元人民币，占中国境内银行业金融机构资产总和的近五分之一。

截至2010年末，工商银行总资产134，586.22亿元左右，当前总市值14，344.70亿元左右，居全球上市银行之首。

截至2011年末，工商银行拥有397,339名员工，通过16,227家境内机构、203家境外机构和遍布全球的逾1,562家代理行以及网上银行、电话银行和自助银行等分销渠道，向412万公司客户和2.59亿个人客户提供广泛的金融产品和服务，基本形成了以商业银行为主体，跨市场、国际化的经营格局，在商业银行业务领域保持国内市场领先地位。

2010年末，总资产达134,586.22亿元，比上年末增加16,735.69亿元，增长14.2%;总负债达126,369.65亿元，比上年末增加15,308.46亿元，增长13.8%;总市值达2,335亿美元，居全球上市银行之首。

2010年实现净利润1,660.25亿元，较上年增长28.4%，增幅同比加快了12.0个百分点，继续稳居全球最盈利银行地位；平均总资产回报率和加权平均权益回报率分别为1.32%和22.79%，处于全球银行业领先水平;每股收益为0.48元，较上年增加0.10元；不良贷款余额和不良贷款率连续11年保持双下降，不良率降至1.08%。

受益于经营结构的优化、再融资的完成以及利润留成比例的适当扩大，资本充足率和核心资本充足率分别达到12.27%和9.97%，资本实力和可持续发展能力进一步增强。

中国工商银行总部大楼由美国SOM设计师事务所设计，楼高13层，建筑面积近13万平方米，分矩型区和弧型区两大部分，中间以天桥形式联为一体。

数据仓库建设方案(DOC32页)

第1章数据仓库建设方案（DOC32页）1.1 数据仓库总体架构专家系统接收增购项目车辆TCMS或者其他子系统通过车地通信传输的实时或者离线数据，通过一系列综合诊断分析，以各类报表图形或者信息推送的形式向用户展示分析结果。

针对诊断出的车辆故障将给出专家建议处理措施，为车辆的故障根因修复提供必要的支持。

根据专家系统数据仓库建设目标，结合系统数据业务规范，包含数据采集频率、数据采集量等有关因素，设计专家系统数据仓库架构如下：数据仓库架构从层次结构上分为数据采集、数据存、数据分析、数据服务等几个方面的内容：数据采集：负责从各业务自系统中汇合信息数据，系统支撑Kafka、Storm、Flume 及传统的ETL采集工具。

数据存储：本系统提供Hdfs、Hbase及RDBMS相结合的存储模式，支持海量数据的分布式存储。

数据分析：数据仓库体系支持传统的OLAP分析及基于Spark常规机器学习算法。

数据服务总线：数据系统提供数据服务总线服务，实现对数据资源的统一管理与调度，并对外提供数据服务。

1.2 数据采集专家系统数据仓库数据采集包含两个部分内容：外部数据汇合、内部各层数据的提取与加载。

外部数据汇合是指从TCMS、车载子系统等外部信息系统汇合数据到专家数据仓库的操作型存储层（ODS）；内部各层数据的提取与加载是指数据仓库各存储层间的数据提取、转换与加载。

1.2.1外部数据汇合专家数据仓库数据源包含列车监控与检测系统（TCMS）、车载子系统等有关子系统，数据采集的内容分为实时数据采集与定时数据采集两大类，实时数据采集要紧关于各项检测指标数据；非实时采集包含日检修数据等。

根据项目信息汇合要求，列车指标信息采集具有采集数据量大，采集频率高的特点，考虑到系统后期的扩展，因此在数据数据采集方面，要求采集体系支持高吞吐量、高频率、海量数据采集，同时系统应该灵活可配置，可根据业务的需要进行灵活配置横向扩展。

本方案在数据采集架构使用Flume+Kafka+Storm的组合架构，使用Flume与ETL 工具作为Kafka的Producer，使用Storm作为Kafka的Consumer，Storm可实现对海量数据的实时处理，及时对问题指标进行预警。

银行数据中心项目工程实施方案

银行数据中心项目工程实施方案一、项目背景银行作为金融机构的重要组成部分，在日常运营中处理大量的客户数据以及财务信息，因此拥有一个安全及高效的数据中心至关重要。

本文将介绍银行数据中心项目的工程实施方案。

二、项目目标1.提升数据中心的安全性和稳定性。

2.提高数据中心的处理效率和性能。

3.降低数据中心的运营成本。

4.符合金融监管机构对于数据安全和保密性的要求。

三、项目实施方案1. 硬件设备选型在银行数据中心项目中，选择高品质、可靠性高的硬件设备至关重要。

我们建议选用如下硬件设备： - 服务器：选择双路冗余设计的高性能服务器，确保数据中心的稳定性和性能。

- 存储设备：采用高可用性的存储设备，支持快速数据访问和备份。

- 网络设备：选择高性能的路由器和交换机，保障数据中心网络的稳定和畅通。

2. 软件系统部署为银行数据中心项目部署合适的软件系统也是至关重要的一环。

推荐的软件系统包括： - 操作系统：选用经过认证的操作系统，如Windows Server或Linux，确保系统的稳定性和安全性。

- 数据库：选择高性能、高可用性的数据库系统，如Oracle或SQL Server，以支持银行数据的高效处理和管理。

- 安全软件：部署防火墙、入侵检测系统等安全软件，保障银行数据的安全性。

3. 数据备份与灾难恢复为了确保银行数据的安全性和可靠性，必须建立完善的数据备份和灾难恢复机制。

建议采取以下措施： - 定期备份数据：制定数据备份计划，定期对银行数据进行备份，并将备份数据存储在安全可靠的地方。

- 灾难恢复计划：建立完善的灾难恢复计划，包括灾难恢复测试、数据恢复流程等，确保在遭受灾难时能够迅速恢复数据。

4. 安全性保障银行数据中心包含大量敏感数据，必须加强安全性保障措施。

推荐的安全性保障方法包括： - 访问控制：建立严格的访问控制策略，限制只有授权人员可以访问银行数据中心。

- 数据加密：对存储和传输的数据进行加密处理，防止数据泄露或被窃取。

数据仓库设计作业指导书

数据仓库设计作业指导书一、背景介绍数据仓库是一种面向主题的、集成的、相对稳定的、不可操作的数据集合，用于支持业务分析和决策制定。

在数据仓库设计作业中，我们需要按照一定的步骤和方法，将原始数据进行抽取、转换和加载，构建一个适合分析和查询的数据仓库模型。

本指导书将引导您完成数据仓库设计作业，并提供相应的步骤和要点。

二、数据仓库设计步骤1. 需求分析在设计数据仓库之前，首先需要进行需求分析。

通过与业务用户的交流和调研，明确数据仓库的目标和用途，确定数据仓库要解决的问题，并明确需要提供的报表和查询需求。

2. 数据抽取与清洗在数据仓库设计中，数据抽取和清洗是非常重要的环节。

从各个数据源中抽取所需数据，并进行清洗，包括去重、去除空值、数据格式转换等，以确保数据的质量和准确性。

3. 数据转换与集成在数据仓库设计中，数据转换和集成是将原始数据转化为适合分析的形式，同时将来自不同数据源的数据整合在一起。

这一步骤包括数据规范化、数据合并、数据聚合等操作，以得到一致的数据模型。

4. 维度建模在数据仓库设计中，维度建模是一种常用的设计方法。

通过定义维度和事实表，建立维度模型，以支持灵活的数据分析和查询。

在维度建模过程中，需要定义维度表中的属性和层次，并与事实表进行关联。

5. 数据加载数据加载是将经过转换和整合的数据加载到数据仓库中的过程。

这一步骤包括数据加工和数据加载两个环节。

数据加工是对数据进行清洗和处理，数据加载是将清洗后的数据加载到数据仓库中的操作。

6. 数据访问数据访问是数据仓库设计的最终目标，通过各种工具和技术，实现数据的查询和分析。

数据访问可以通过数据仓库工具、OLAP工具、报表工具等方式进行。

三、数据仓库设计要点1. 主题导向：数据仓库的设计要以业务主题为导向，按照业务需求进行设计和建模，以支持相关业务的决策和分析。

2. 一致性和准确性：设计过程中需要确保数据的一致性和准确性，对于抽取的数据进行清洗和转换，去除重复值和不合法数据。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

贡献度指标的具体分布怎样
年龄在25-35的客户的透支利润和消费回佣最高，因为这类人群中，理财风格前卫，消费旺盛者居多。
透支利息在年龄段上的分布
03.12.2020
精选PPT
14
1.10 PCRM应用主题——深层分析
银行卡客户贡献度：初步结果
贡献度指标的具体分布怎样
年龄在25-35的客户的透支利润和消费回佣最高，因为这类人群中，理财风格前卫，消费旺盛者居多。
03.12.2020
精选PPT
12
1.10 PCRM应用主题——深层分析
银行卡客户贡献度：初步结果
贡献度指标的具体分布怎样
年龄在25-35的客户的透支利润和消费回佣最高，因为这类人群中，理财风格前卫，消费旺盛者居多。
03.12.2020
精选PPT
13
1.10 PCRM应用主题——深层分析
银行卡客户贡献度：初步结果
03.12.2020
精选PPT
3
2.1 开发进展——个人客户关系管理（PCRM）
▪需求分析
2001/10/11-2001/10/31
▪总体方案
2002/11/01-2002/02/28
▪原型开发
2001/11/15-2001/12/31
▪原型评估
2001/12/24-2002/02/09
▪银行卡设计开发
▪对优质客户提供详细的行为分析，帮助客户更好掌握自己的用卡行为
▪针对客户用卡的具体情形提供促销性建议，使优质客户感受到工商银行卡部的人性化关注
▪工商银行卡部可以更便捷地跟踪优质客户的信息
03.12.2020
精选PPT
19
1.10 PCRM应用主题——深层分析
深层分析:直邮用卡行为月报原型
应用的竞争力
▪利用数据挖掘进行优质客户自动筛选 ▪提高平均筛选精度，提高优质客户促销的投资建效率 ▪降低筛选成本，提高筛选速度，迎接他行的竞争（如交行的500 元个人理财报告）
年龄在25-35，36-45的客户对银行卡的贡献度最高，其中，36-45岁的客户的贡献度最高，因为这类人群中稳定、高收入或高积蓄者较多。贡献度在年龄段上的分布
03.12.2020
精选PPT
10
1.10 PCRM应用主题——深层分析
银行卡客户贡献度：初步结果
贡献度指标的具体分布怎样
年龄在36-45，46-55的客户的存款利润最高，其中， 36-45岁的客户的存款利润最高，因为这类人群中，理财风格保守，存款倾向性强者较多。
中国工商银行数据仓库建设
情况汇报
数据仓库项目组
03.12.2020
精选PPT
1
日程安排
开发进度最终应用展现数据仓库架构
03.12.2020
精选PPT
2
二、开发进展
2.1 个人客户关系管理（PCRM） 2.2 业绩价值管理（PVMS） 2.3 信贷台帐报表（CMIS-REPT） 2.4 管理信息综合统计报表
2002/01/04-2002/04/30
▪个人金融：存款类（综合帐户和个人理财等）设计开发 2002/02/01-2002/05/31
▪个人金融：贷款类设计开发
2002/05/05-2002/07/31
▪其他个人金融及住房信贷设计开发 2002/04/01-2002/08/31
▪银行卡应用集成测试和试运行
17
1.10 PCRM应用主题——深层分析
深层分析:原有需求之外的考虑
PCRM数据仓库应用对银行卡部的用户有什么直接的帮助？
利用数据挖掘自动筛选优质客户，针对优质客户提供个性化服务——
直邮用卡行为月报
03.12.2020
精选PPT
18
1.10 PCRM应用主题——深层分析
深层分析:直邮用卡行为月报原型解决的问题
2002/05/31-2002/06/30
03.1ቤተ መጻሕፍቲ ባይዱ.2020
精选PPT
4
日程安排
开发进度最终应用展现数据仓库架构
03.12.2020
精选PPT
5
1.8 主要应用
➢个人客户关系管理（PCRM） ➢业绩价值管理（PVMS） ➢信贷台帐报表（CMIS-REPT） ➢管理信息综合统计报表 ➢法人客户关系管理（CCRM） ➢开放式基金绩效分析
03.12.2020
精选PPT
11
1.10 PCRM应用主题——深层分析
银行卡客户贡献度：初步结果
贡献度指标的具体分布怎样
年龄在36-45，46-55的客户的存款利润最高，其中， 36-45岁的客户的存款利润最高，因为这类人群中，理财风格保守，存款倾向性强者较多。
存款利润在年龄段上的分布
消费回佣在年龄段上的分布
03.12.2020
精选PPT
15
1.10 PCRM应用主题——深层分析
银行卡客户贡献度：初步结果
对于银行卡客户发展的辅助作用
工行牡丹卡的客户中，25-55的年龄段为高贡献度主流年龄段，其中，如果关注当前直接贡献度， 36-45岁的客户是最好的人群，如果关注发展潜力以及对新产品、新消费渠道的接受程度，25-35岁的客户是重点人群。
03.12.2020
精选PPT
16
1.10 PCRM应用主题——深层分析
银行卡客户贡献度：初步结果
优质客户排名靠前的客户中，消费场所的分布怎样
金融、证券等交易机构有较大金额占比，饭店、旅游业其次，零售、百货等居于中游。可以根据这个结果制定相应的消费场所促销策略
03.12.2020
精选PPT
单次透支金额、还贷周期）。
➢客户群分析：
优质客户排名分析、卡业务存款分析、用卡行为分析、贡献度分析、卡申领情况分析、卡业务风险分析。
03.12.2020
精选PPT
8
1.10 PCRM应用主题——深层分析
银行卡客户贡献度：初步结果
按照现有的贡献度指标体系，什么样的客户对银行卡的贡献度最高
年龄在25-35，36-45的客户对银行卡的贡献度最高，其中，36-45岁的客户的贡献度最高，因为这类人群中稳定、高收入或高积蓄者较多。
03.12.2020
精选PPT
9
1.10 PCRM应用主题——深层分析
银行卡客户贡献度：初步结果
按照现有的贡献度指标体系，什么样的客户对银行卡的贡献度最高
03.12.2020
精选PPT
6
1.10 PCRM应用主题
银行卡应用：按照需求开发个人金融应用住房信贷应用深层分析：原有需求之外的考虑
03.12.2020
精选PPT
7
1.10 PCRM应用主题 ——银行卡应用
银行卡应用：按照需求开发
➢重点客户分析：
基本信息查询、存款余额分析、用卡行为分析、贡献度分析、透支分析（透支余额、单笔透支余额、