数据集市_数据架构方案设计
数据仓库的架构方式及其比较
数据仓库的架构方式及其比较数据仓库的架构方式及其比较传统的关系数据库一般采用二维数表的形式来表示数据，一个维是行，另一个维是列，行和列的交叉处就是数据元素。
关系数据的基础是关系数据库模型，通过标准的SQL语言来加以实现。
数据仓库是多维数据库，它扩展了关系数据库模型，以星形架构为主要结构方式的，并在它的基础上，扩展出理论雪花形架构和数据星座等方式，但不管是哪一种架构，维度表、事实表和事实表中的量度都是必不可少的组成要素。
下面解析由这些要素构成的数据仓库的架构方式。
1．星形架构星形模型是最常用的数据仓库设计结构的实现模式，它使数据仓库形成了一个集成系统，为最终用户提供报表服务，为用户提供分析服务对象。
星形模式通过使用一个包含主题的事实表和多个包含事实的非正规化描述的维度表来支持各种决策查询。
星形模型可以采用关系型数据库结构，模型的核心是事实表，围绕事实表的是维度表。
通过事实表将各种不同的维度表连接起来，各个维度表都连接到中央事实表。
维度表中的对象通过事实表与另一维度表中的对象相关联这样就能建立各个维度表对象之间的联系。
每一个维度表通过一个主键与事实表进行连接，如图3-10所示。
图3-10 星形架构示意图事实表主要包含了描述特定商业事件的数据，即某些特定商业事件的度量值。
一般情况下，事实表中的数据不允许修改，新的数据只是简单地添加进事实表中，维度表主要包含了存储在事实表中数据的特征数据。
每一个维度表利用维度关键字通过事实表中的外键约束于事实表中的某一行，实现与事实表的关联，这就要求事实表中的外键不能为空，这与一般数据库中外键允许为空是不同的。
这种结构使用户能够很容易地从维度表中的数据分析开始，获得维度关键字，以便连接到中心的事实表，进行查询，这样就可以减少在事实表中扫描的数据量，以提高查询性能。
在AdventureWorksDW数据仓库中，若以网络销售数据为事实表，把与网络销售相关的多个商业角度（如产品、时间、顾客、销售区域和促销手段等）作为维度来衡量销售状况，则这些表在数据仓库中的构成如图3-11所示，可见这几个表在数据仓库中是以星形模型来架构的。
数据仓库与数据集市的区别与选择
数据仓库与数据集市的区别与选择随着信息技术的发展和数据量的快速增长，企业对数据的需求也越来越高。
为了更好地利用和管理企业的数据资产，数据仓库和数据集市成为了常用的解决方案。
本文将探讨数据仓库与数据集市的区别，并给出在不同场景下的选择建议。
一、数据仓库的定义与特点数据仓库是指将企业各个业务系统产生的数据进行整合、清洗和转换，形成一个统一、集中、一致的数据存储空间。
数据仓库通常采取面向主题的建模方式，将业务数据按照主题进行组织，例如按照销售、客户、产品等主题进行存储。
数据仓库的特点包括：1. 面向主题：数据仓库关注企业的关键主题，将数据按照主题进行组织。
2. 集成的：数据仓库整合来自不同业务系统的数据，形成一张全面的数据模型。
3. 非易失的：数据仓库中的数据一般是只读的，不可修改，保证了数据的一致性和稳定性。
4. 历史的：数据仓库中保存了历史数据，可以进行时间序列分析和趋势预测。
二、数据集市的定义与特点数据集市是面向具体业务需求的数据存储和处理环境，它是数据仓库的一种延伸和扩展。
不同于数据仓库的集中式架构，数据集市通常采用分散式的架构，根据业务需求构建多个独立的数据集市。
数据集市的特点包括：1. 面向业务需求：数据集市根据不同的业务需求构建，可以为不同的部门和角色提供定制化的数据视图。
2. 高度灵活：数据集市采用分散式架构，每个集市可以独立定义数据模型和数据存储方式，实现灵活性和快速响应业务变化的能力。
3. 实时性需求：某些业务场景下，对于数据的实时性要求较高，数据集市可以针对这些需求提供实时数据。
4. 可扩展性：数据集市可以根据业务扩展的需要，灵活添加或删除数据集市，以适应业务的发展和变化。
三、数据仓库与数据集市的区别1. 架构设计：数据仓库采用集中式的架构，将各个业务系统的数据整合到一个统一的存储空间中；而数据集市采用分散式的架构，根据业务需求构建多个独立的数据集市。
2. 数据模型：数据仓库通常采用面向主题的数据建模方式，按照主题进行数据整合和存储；而数据集市根据具体的业务需求，可以采用不同的数据模型，如关系型模型、多维模型等。
基于数据仓库的财务数据集市构建探讨
基于数据仓库的财务数据集市构建探讨韩宏伟【摘要】论述财务数据集市与数据仓库关系,构建基于数据仓库的财务数据集市的设计方式、原则,以及建立统一的财务指标体系是财务数据集市的核心价值,在技术实现上实现财务应用与数据集市的直连,避免大规模的数据搬运,影响数据使用效率.【期刊名称】《金融经济（理论版）》【年(卷),期】2016(000)006【总页数】2页(P191-192)【关键词】数据仓库;财务数据集市【作者】韩宏伟【作者单位】国家开发银行股份有限公司,北京100037【正文语种】中文基于对收入和成本的财务大数据分析，在企业的经营管理方面，从前台的市场细分，客户营销，到中台的定价管理、风险管理，再到后台的绩效管理及战略规划，都离不开财务数据的支撑，财务数据的使用变得更加频繁和重要。
为进一步提升财务数据使用效率，提高财务数据质量，统一财务数据出入口，发挥财务数据整体业务价值，建立财务数据集市就变得非常必要。
数据仓库是在数据库已经大量存在的情况下，为了进一步挖掘数据资源和决策需要产生的数据集合。
数据仓库之父W.H.Inmon给出了数据仓库的定义：数据仓库是一个面向主题的，集成的，相对稳定的，反映历史变化的数据集市，用于支持管理决策。
对于数据仓库的概念我们可以从两个层次予以理解，首先，数据仓库用于支持决策，面向分析型数据处理，它不同于企业现有的操作型数据库；其次，数据仓库是对多个数据源有效集成，集成后按照主体进行了重组，并包含历史数据，而且数据仓库一般不再进行历史数据修改。
数据集市是建立在统一数据存储模型的数据仓库之上，各级业务人员按照各部门特定的需求把数据进行复制、处理、加工，并最终统一为有部门特点的业务应用提供数据支持。
建立企业级的数据仓库基本的要求是整个企业能够共享统一的数据存储模型，为各级业务人员提供一致的信息视图。
数据集市通常用于为单位的职能部门提供信息，还可以用于将数据仓库数据分段以反映按地理划分的业务。
数据集市建设数据质量及数据管理方法
数据集市建设数据质量及数据管理方法一、数据集市建设数据集市是一个基于主题的、集成的、可维护的、非易失型的数据集合，旨在帮助企业高效地管理和分析数据。
数据集市的建设主要包括以下几个关键步骤：1.需求分析：根据企业的业务需求，明确需要建设的数据集市主题，确定数据集市的目标和功能。
2.数据源集成：将企业内部各个部门的数据源集成到数据集市中，确保数据的一致性和完整性。
3.数据清洗和转换：对集成的数据进行清洗和转换，清理无效数据和错误数据，使数据具有一致的格式和规范。
4.数据建模和设计：根据业务需求，设计数据模型和关系表结构，建立数据集市的数据架构。
5.数据加载和更新：将清洗和转换后的数据加载到数据集市中，并实时或定期更新数据，确保数据的时效性。
6.数据查询和分析：提供灵活的查询工具和分析功能，方便用户快速获取所需的数据，并进行多维度的数据分析。
7.数据安全和权限控制：对数据集市的访问和操作进行安全控制，确保数据的保密性和完整性。
二、数据质量的重要性数据质量是数据是否适合使用的度量，对于企业的决策和运营具有重要的影响。
数据质量较差会导致企业做出错误的决策，增加企业的风险和成本。
因此，保障数据质量非常重要，以下是提高数据质量的几个方面：1.准确性：数据准确性是数据质量的核心，需要确保数据的真实和正确。
2.完整性：数据完整性是指数据的完整和完备，确保数据的完整性对于数据分析和决策至关重要。
3.一致性：数据一致性是指数据在不同系统和不同时间下的统一性，确保数据在不同场景下的一致性。
4.时效性：数据时效性是指数据的更新和有效性，保证数据及时更新可以提高数据的时效性和可用性。
1.数据标准化：制定统一的数据标准和规范，明确数据的定义、命名规则和数据格式。
2.数据清洗和转换：清理无效数据和冗余数据，对数据进行转换和格式化，确保数据的一致性和完整性。
3.数据备份和恢复：建立完备的数据备份和恢复机制，确保数据的安全和可靠。
数据集市建设数据质量及数据管理方法
数据治理实施步骤
制定计划
制定详细的数据治理实施计划， 包括资源投入、时间安排和人 员分工等。
监控与评估
对数据治理的实施过程进行监 控和评估，确保达到预期效果。
需求分析
了解业务需求和数据需求，明 确数据治理的目标和范围。
实施与执行
按照计划执行数据治理措施， 包括数据质量管理、数据安全 管理等。
持续改进
通过对比、验证等方法，评估数据 的准确性。
数据一致性评估
比较不同数据源之间的数据是否一 致，评估数据的一致性。
03
02
数据完整性评估
检查数据是否全面、无遗漏，评估 数据的完整性。
数据时效性评估
评估数据的及时性和有效性，确保 数据能够反映当前情况。
04
数据清洗与整合
数据清洗
通过数据预处理技术，去除无效、错误或不完整的数 据。
数据集市架构
数据集市架构通常包括数 据源、ETL过程、数据存 储和数据服务四个主要部 分。
数据源是数据集市的数据 来源，包括各类业务系统、 数据库、API等。
ETL过程负责从数据源抽 取、转换和加载数据到数 据集市中。
数据服务提供数据查询、 报表生成、数据分析等功 能的接口。
数据存储是数据集市的物 理存储结构，包括关系型 数据库、非关系型数据库 等。
数据整合
将不同来源的数据进行整合，形成统一的数据格式和 标准。
数据转换
将数据从一种格式或结构转换为另一种格式或结构， 以满足特定需求。
03
数据管理方法
数据管理流程
数据采集
从各种数据源中采集数据，确保数据的准确 性和完整性。
数据转换
将数据从原始格式转换为适合分析的格式， 如将日期格式统一。
数据架构总体设计方案
数据模型设计
3
概念数据模型构建
确定业务范围和对象
明确系统所涵盖的业务范围，识别关键业务对象及其 关系。
定义实体与关系
抽象出业务对象中的实体，确定实体间的关联关系， 如一对一、一对多、多对多等。
构建概念模型
利用ER图、UML类图等工具，将实体与关系可视化 展示出来，形成初步的概念数据模型。
评估不同数据库版本的优缺点，选择稳定、高性 能的版本。
数据库参数配置
针对选定的数据库类型和版本，进行合适的参数 配置，以优化数据库性能。
数据访问接口定义和开发规范
接口类型选择
根据业务需求和技术选型，选择合适的数据访问接口类型，如JDBC 、ODBC、RESTful API等。
接口协议定义
明确数据访问接口的协议规范，包括请求格式、响应格式、错误处理 等。
逻辑数据模型转换与优化
01
转换概念模型
将概念数据模型转换为逻辑数据 模型，进一步明确数据的属性、 数据类型、约束等信息。
02
03
规范化处理
性能优化
通过数据库规范化理论，消除数 据冗余，提高数据一致性和完整 性。
针对特定业务需求，对逻辑数据 模型进行性能优化，如建立索引 、分区等。
物理数据模型实现策略
采用AES、RSA等加密算法对敏感数据进行加密存 储，防止数据泄露。
定期对加密算法进行更新和升级，以应对不断变 化的安全威胁。
备份恢复策略制定及实施计划
01
制定完善的数据备份策略，包括全量备份、增量备份和差异备 份等，确保数据的可恢复性。
02
建立数据恢复机制，包括应急恢复和定期恢复演练，以应对数
数据集市设计原则
数据集市设计原则数据集市(DM)这里我们先回忆一下数据仓库的定义，数据仓库(Data Warehouse)是一个面向主题的(Subject Oriented)、集成的(Integrate)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合用于支持管理决策。
更多关于数据仓库的可以参考数仓架构发展史,而且前面我们也介绍了大量关于数仓建模这一块的内容，具体可以参考我们的专栏数仓建模方法论。
今天我们介绍一个在数仓中非常常见的概念——数据集市，数仓定义中的五个特性都值得一一仔细品味，随着你对数仓的理解加深，你对这个五个特性的理解也会更加全面。
首先数据仓库用于支持决策,面向分析型数据处理,它不同于企业现有的操作型数据库;其次,数据仓库是对多个异构的数据源有效集成，集成后按照主题进行了重组,并包含历史数据并且存放在数据仓库中的数据一般不再修改。
什么是数据集市(DM)这里有一个词是主题，那就是我们集成后的数据，又按照了主题进行了划分，而面向主题划分出来的部分就是数据集市，也就是说数据集市是数据仓库的一个子集或者说是集成后的子集。
数据集市通常是面向部门的或者是部门级业务，或者是面向部门的主题的，举个例子例如在金融领域可能会有结算部门的数据集市、风控部部门数据集市、市场部门的数据集市、运营部门的数据集市，这里的特点就是面向部门的，但是对于有的部门它的组织结构可能比较大，所以它所负责的业务线也有多个，这个时候就会出现，数据集市是面向部门的子业务，总之一句话，数据集市是面向主题的，一般公司的主题就是部门或者业务线。
这里还有一点要强调数据集市是作为我们数仓的一层，对外提供数据服务，当然提供服务的方式是有很多种的，但是最终我们是将数据集市层的数据提供出去的，也就是说这一层是面向用户的。
为什么要有数据集市上面了解了什么是数据集市，接下来我们就看看一下为什么要有数据集市，开始之前我们线回顾一下前面的数仓建模分层理论,我们知道了数仓最简单的就是ODS+DM，但为什么我们还要分层，在文章中我们解释了分层的意义是什么，如果你忘记了可以看一下前面的文章。
数据集市的架构和融合
数据挖掘
数据分析
数据获取
数据采集 B2B-CBU版权所有
数据处理
12
CONTENTS 目录
谈谈架构
框架基础 信息检索模型 投资人推荐 数据运用
谈谈架构>框架基础
第三方 合作
线下 数据
主动 抓取
线上 业务
数据采集服务
数据清洗，实体抽取 业务知识，归一化
用户基本
BI报表
数据集市的架构和融合
CONTENTS 目录
公司动态 数据之旅 谈谈架构
CONTENTS 目录
数据之旅
数据之于P2P 数据之于你我贷
数据之旅>数据之于P2P
大数据技术在P2P的应用
- 线上获客能力 - 线上风控能力 - 客户关系管理 - 其他
数据之旅>数据之于你我贷
数据在你我贷之旅 — 带你走进数据的世界
谈谈架构>信息检索模型
信息检索模型
谈谈架构>投资人推荐
投资人推荐
谈谈架构>数据运营
数据运营
Q&A
期待与您分享更多
THANKS
贷后 管理
灵 活
算
产品推荐 营销算法
法
转
化
用户社交 关系图谱
安 全
分布式存储 ＋ 分布式计算 （文件系统，hadoop， MySQL等）
第三 方服 务
催收
投资 用户 管理
信用 上报
VAS
其他 . ..
用户生命 周期建模
扩 展
贷款用户 风控建模
专家系统 业务规则
其他 …
线下合作 单位信息
网站业务 数据
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
工作计划/商业计划
汇报方:XXX
目录
1 科技部IT需求 2 业务部需求计划
数据架构—加工计量层定位
01 The 2021 annual work summary 2021
年度工作概述科技部需求
001 信用卡集市改造升级
信用卡集市项目背景
XX项目信用卡集市建设基于大数据技术的数据集市、结合数据治理措施，集中统筹管理XX项目信用卡 中心业务数据，并从信用卡营销、运营和风险控制的业务角度出发，实现数据管理集中化和规范化，提升面对 复杂市场环境和监管政策下的数据管理和决策支持能力，并为后续衍生出更多适应市场变化创新产品提供平台 基础，实现数据业务价值挖掘和数据价值变现，为信用卡业务战略决策和高效运营提供准确高效的数据支持， 提升行业科技竞争力。
数据结构
• 基于报表 展现的设计
数据处理
•SQL语句 •作业运行日 志以文件的 形式保存
数据形式
存储策略
•数据库表
•存储3-5年历史 数据（以业务给 定保存策略为准）
数据架构—ETL处理过程
XX项目信用卡数据集市
加载
计量加工
应用加工
校验 校验
接
加载
口
加载
文
件
通信接口 通信接口
关联 关联
代码转换
基
代码转换
信用卡数据集市
数据存储
信用卡集市现状：对信用卡数据集市内的基础数据
主题、计量数据主题、应用数据主题等各数据主题进 行定制化的存储，可指定关键时间节点存储、时间段 历史存储
加工计量层主题：计量数据主题，进行指标共性加
工存储、以供应用主题、进行定制化的存储，可指定 关键时间节点存储、时间段历史存储
数据交换
年度工作概述科技部需求
002 绩效考核改造升级
科技部IT需求—绩效考核平台改造
数据源 源系统
信用卡集市现状：信用卡数据集市的数据源为信用卡系统、 数据从XX项目DWH平台中接入大数据平台，DWH通过中转 服务器给大数据平台下发数据文件。
大数据平台信用卡接口数据将进行数据指 标校验以及数据条数校验规则进行程序的加工处理。
改造方案：信用卡数据源进行数据目录切换，不在通过DWH 进行数据文件下发，将通过源系统目录文件进行数据接收接 入大数据平台，跳过DWH平台。
数据架构—层次介绍
基础数据主题
• 存储信用卡集市应用所需的全部基础数据，进行统一的数据清洗、整合、预链接和预加工
计量数据主题
• 存储信用卡应用的聚合汇总（计量加工）数据，即从基础数据层加工而来的汇总（计量）数据，基础 指标的加工
应用数据主题
• 直接用于前端展示的业务数据，依据业务需求，对基础指标进行最终加工，并保存历史数据。
数据架构—详细介绍
基础数据主题
计量数据主题
应用数据主题
数据存储
数据结构
数据处理
•信用卡源系统 数据接口 •其他系统数据 接口
•基础 •每天数据通过 日期字段区分
•加载源数据文 件到BigData 库 •数据文件加载 需要配置作业 任务
数据形式 •数据库表
存储策略
•保留14天（以 业务给定保存策 略为准）
数据平台
信用卡 系统
其他系 统
DWH
整体架构-加工计量主题域
大数据平台信用卡集市改造
数据存 储
基础数据主题 计量数据主题 应用数据主题
任务监控
数据处理
任务管理
调度引擎
运营管理数 据质量
数据安全 备份恢复 数据校验 规则配置 系统监控 数据质量
信用卡报表系统 行内业务分析报表
对外报送报表
整体架构—具体描述
工整合 ✓ 减少同类报表间数据的冗余存储和
重复的ETL工作
✓ 实现信用卡、ETC业务的整合 ✓ 存储信用卡报表计量结果
以及分类，支持业务按照数 据来源进行查询
✓ 数据分析与报表展现 ✓ 分行特色业务查询
✓ 报表分层级管理
✓ 应用展现权限控制
✓ 建立数据质量检核机制 ✓ 推进信用卡数据质量的改善
数据源
信用卡集市定位
信用卡数据集市，在BigData基础上，以信用卡、ETC业务驱动为主，数据驱动为辅，建立的一种多层次数据访问服务体系。 支持新报表或报表需求变更的敏捷开发、落地 支持分行特色业务以及报表的分层级管理
信用卡数据集市的特点
数据层面
业务层面
功能层面
数据管理层面
✓ 确定的数据来源 ✓ 采用模型化结构对业务数据进行加
实收本金 应收利息 实收利息
交易成功率
客户明细 放款明细 还款明细
账务差异明细 贷款明细
风险管理部
贷款产品 五级分类 贷款期限 贷款状态 最后到期日 还款方式
贷款类型 进件渠道 贷款品种
逾期金额 逾期利息 逾期天数
贷款金额 贷款余额 到期本金
首期逾期金额 累积归还本金 催收服务费
与DWH中转服务器连机：落地为文本文件
数据处理
数据处理任务由统一大数据平台调度机器人完成来完成， 调度工具具备成熟的调度处理、任务监控、任务分析等 功能
整体架构—系统交互
上游系统
大数据平台
应用服务
DWH
加载
标准接
加载
口文件
BigData
信用卡集市
ADS联机库 ORA联机库
说明：针对大数据平台数据 集市改造，数据接口将不再 接DWH数据文件，直接对接 原系统数据目录文件，大数 据平台自身进行清洗脏数据 后，接入BigData。
数据存储
数据结构
•对基础数据 • 面向信用
的聚合汇总、 卡应用主题
计量加工、 建模。
• SQL语句 •作业运行日 志以文件的 形式保存
数据形式
存储策略
•数据库表
•存储3-5年历史 数据（以业务给 定保存策略为准）
数据存储
• 基础指标 的最终加工 •直接用于前 端展现
础
数
据
主
题
汇总 汇总
基础指标 基础指标
汇总
计
应
量
关联
数
关联
用 数
据
据
主
主
题
题
报表指标 报表指标
大数据统一调度平台
数据架构—加工计量层指标项
分类
业务维度
业务指标
明细类
运营管理部
贷款品种 贷款产品 支付渠道
放款渠道 进件渠道 还款渠道
贷款期数 扣款类型
放款笔数 放款金额 应收本金
逾期贷款明细 放款明细 还款明细
业务拓展部
贷款产品 合作渠道 贷款区域
学历 性别 年龄
城市级别
新增客户数 授信笔数 授信金额
进件笔数、金额 累积放款客户数
放款笔数
累计放款笔数
放款金额
累计放款金额
客户明细
02 The 2021 annual work summary 2021