支付宝数据建模介绍
支付宝产品架构简介(ppt 16页)PPT学习课件
2- 支付宝（个人版）
• 支付宝个人
– 个人会员，买家 – 购物，理财，缴费
2- 支付宝个人版（续）
2- 支付宝（商户版）
• 支付宝个人
– 个人会员，买家 – 购物，理财，缴费
2- 支付宝商户版（续）
2- 支付宝商户版（续2）
产品业务架构
营销平台 红包 积分 社区
促销频道
营销渠道
银行卡支付 信用卡支付
支什付么•宝是（ 支商付支户宝付版（）从宝产个品的人角度来看）
内外资金结算、– 各资种行金业流解决方案
各种实用支付宝– 的信场景息&流信息的聚合平台
事2- 实支上付，宝各商种户行版业（解续决•）方生案物可链能的本顶身端就是三方提供，并维护的。
事实上，各种行业解决方案可能本身就是三方提供，并维护的。
2- 支付宝商户版（续2）
在各种行业版方案中，支付宝将更多的是嵌入到内部。 2- 支付宝商户版（续） 2- 支付宝（个人版） 各种实用支付宝的场景&信息的聚合平台 各种实用支付宝的场景&信息的聚合平台 各种实用支付宝的场景&信息的聚合平台 各种实用支付宝的场景&信息的聚合平台 事实上，各种行业解决方案可能本身就是三方提供，并维护的。 1- 什么是支付宝（从产品的角度来看） 2- 支付宝（商户版） 2- 支付宝（个人版）
通过数据挖掘算法优化支付宝反欺诈系统
通过数据挖掘算法优化支付宝反欺诈系统最近，支付宝反欺诈系统正式升级了。
据官方介绍，新系统采用了大量的数据挖掘算法，能够更加细致地分析用户的行为，防范欺诈风险。
这项新技术到底是如何实现的呢？支付宝反欺诈系统，是为了防范用户在支付宝平台上的欺诈行为而设计的。
它可以检测并拦截那些存在欺诈风险的操作，从而保护用户的资金安全。
但是，由于诈骗者们不断地更新他们的手段，有些欺诈行为可能会滑过系统的监测。
这时候，就需要更先进、更敏锐的技术来防范。
新的反欺诈系统采用了LSTM神经网络、GBDT模型等数据挖掘算法。
其中，LSTM神经网络可以实现序列化数据的建模。
在反欺诈系统中，这意味着它可以同时分析用户前后的多个操作并进行归纳，从而将欺诈行为精准地区分出来。
而GBDT模型则可以应用于特征选择和特征组合中。
它可以自动选择最具区分度的特征，排除那些过于单一或难以解释的特征，并将各个特征进行优化组合。
除此之外，反欺诈系统还引入了图像识别技术。
例如，当用户在注册账号或进行交易过程中上传照片时，系统可以通过深度学习算法分析照片的信息，从而判断出该用户是否真实存在。
此外，系统还会优先考虑有实名认证的用户，以及在社交圈中有信誉保证的用户。
经过升级后，新的支付宝反欺诈系统对于那些极具针对性的欺诈行为有了更好的防范效果。
例如，以往有些欺诈者会利用一些“空壳”公司或存在漏洞的支付环节，并通过多层转账来掩盖其轨迹。
而新的系统可以通过LSTM神经网络对于各个支付环节进行链式分析，从而准确地找出欺诈行为并快速拦截。
那么，反欺诈系统到底会有哪些应用场景呢？首先，它可以应用于支付宝的金融交易平台，帮助用户检查其处于风险状态的交易并进行预警。
其次，反欺诈系统还可以应用于各大电商平台，帮助商家识别那些可能使用虚假账户或重复购货的欺诈行为。
最后，反欺诈系统还可以应用于保险公司，帮助其检查理赔申请中的风险操作。
不过，尽管反欺诈系统采用了如此先进的科技，其核心思路还是建立在数据敏感度和算法判别力的基础上。
五力模型的支付宝行业分析(ppt 17页)
4、五力分析
Ⅰ、现有竞争者
现有竞争者 威胁提升
2005年国内C2C市场份额饼状图（按成交额） ——引用于《易观国际》 2010年4月15日
Ⅱ、替代商品
项目 实体销售
B2C
C2C
优势 劣势
产品质量 可靠
容易获得 信任
实体接触 服务有保 证 租金库存 成本较高 产品相对 局限
产品质量比 较有保证
比较容易获 得信任
力是呈下降趋势的。
支付宝出现对C2C行业 竞争五力模型分析
— —企划：怡宝小组
产品相对局 限性
自身参与到 物流、客服等 环节，成本高
产品价格高
灵活 资源多，产 品多 成本低，产 品价格低
产品质量参 差不齐
卖家门槛太 低，不能完全 保证诚信
Ⅲ、潜在进入者
Ⅳ、购买者议价
• 支付宝当时只用于淘宝，购买 网上店铺位的卖家转换成本提
购买者的议价能力降低 高。
• 降低交易风险（与货到付款相 比），增加实现客户价值
• 网购信用的保证，为客户吸引 更多的顾客
Ⅴ、供应商议价
5、总 结
上面我们已经分别对供应商的议价能力、客户 的议价能力、替代产品或服务的威胁、新进入 者的威胁、行业现有的竞争状况这五力分别进 行了预测，除了行业现有的竞争状态这一力呈 现提高的趋势，其他四力都呈现降低的趋势， 所以我们认为将来C2C电子交易平台行业的五
支付宝出现对C2C行业 竞争五力模型分析
— —企划：怡宝小组
怡宝小组成员
AGENDA
1、背 景
2、行业介绍
淘宝所处的行业为C2C网络零售平台行业。 这个行业是通过互联网或其他电子渠道， 提供虚拟的交易环境， 让买卖双方完成买卖过程的行业。ຫໍສະໝຸດ 2、行业介绍盈利 模式
大数据个人信用体系模型及案例综述
大数据个人信用体系模型及案例综述随着互联网和信息技术的快速发展，大数据在各个领域的应用越来越广泛。
大数据在个人信用体系建设方面发挥了重要作用。
本文将对大数据个人信用体系模型及相关案例进行综述，以探讨其应用和影响。
1. 传统个人信用体系模型在传统的个人信用体系模型中，主要依靠金融机构和征信机构收集和整理个人信用信息。
这种模型主要依赖于人工审查和数据分析，存在信息不对称和风险隐患较大的问题。
2. 大数据个人信用体系模型大数据个人信用体系模型通过整合和分析大量的个人数据，如消费记录、社交网络数据、移动支付数据等，构建个人信用评估模型。
这种模型能够更全面、准确地评估个人信用状况，并为个人提供信用服务。
大数据个人信用体系模型的基本流程包括数据采集、数据清洗、数据挖掘和建模、评估和预测等环节。
通过对大量的个人数据进行分析和建模，可以发现个人信用状况的规律和特点，为金融机构和征信机构提供可靠的信用评估指标。
1. 支付宝芝麻信用支付宝芝麻信用是中国最大的信用评估商业平台之一，通过整合支付宝海量的用户数据，构建了全面的个人信用评估体系。
该体系主要根据用户的消费记录、还款记录、社交网络关系等多维度数据进行信用评估。
芝麻信用提供了信用分、信用保证金、信用报告等服务，成为了许多人的信用参考。
2. Sesame CreditSesame Credit是阿里巴巴旗下的个人信用评估平台，主要通过分析用户在淘宝、饿了么等阿里巴巴旗下平台上的消费行为，评估个人的信用状况。
Sesame Credit提供了借款、租房、信用卡申请等信用服务，帮助用户更便捷地获取信用。
3. 大众点评信用体系大众点评信用体系是基于用户在大众点评平台上的消费行为数据构建起来的信用评估体系。
该体系主要通过分析用户的点评、评分和消费金额等数据，评估用户的信用状况。
大众点评信用体系为用户提供了免押金租房、信用消费等服务。
以上案例只是大数据个人信用体系的一部分，大数据在个人信用体系建设方面的应用正在不断扩展和完善。
《支付宝架构与技术》课件
支付宝智能客服系统利用自然语言处理和人工智能技 术，提供高效、便捷的客户服务。通过分析用户问题， 智能客服能够快速给出准确答案，减轻人工客服压力。
利用深度学习技术，训练模型识别用户问题。
引入知识图谱，构建客服知识库，提高答案的准确性和 完整性。
结合NLP技术，实现自动回复和智能推荐，提升用户体 验。
将人工智能技术应用于风险控制、智能投顾 等领域，提升金融服务的智能化水平。
区块链技术的探索
研究区块链技术的去中心化、可追溯等特点 ，为未来的金融生态提供更多可能性。
05
案例分析
案例一：双十一交易系统架构
高并发、高性能
双十一交易系统面临巨大的并发压力，需要确保系统在高并发请求下仍能保持高 性能。支付宝通过分布式架构、缓存策略、数据库优化等技术手段，确保了交易 系统的稳定性和高效性。
案例三：支付宝风控系统
安全、风险控制
扩展内容：
利用大数据分析技术，实时分析用户行为和交易数据， 发现异常行为。
支付宝风控系统是保障平台安全和防范风险的关键。 通过对用户行为、交易信息等多维度分析，实时监测和 识别潜在风险，采取相应措施保障用户资金安全。
建立完善的风控规则体系，基于规则引擎实施自动化监 控和拦截。
在竞争激烈的市场环境中，如何持续提供 优质的用户体验和产品创新是支付宝面临 的重要挑战。
未来发展方向
01能、大数据等技术 提升用户体验，如智能客服、
个性化推荐等。
区块链技术的应用
探索区块链技术在支付清算、 权益证明等方面的应用，提高
交易的透明度和安全性。
无现金社会的推进
与第三方安全机构合作，引入外部数据和情报，提高风 控系统的准确性和全面性。
06
支付宝系统架构分析
支付宝系统架构概况目录：1系统架构 (2)2典型处理默认 (3)3资金处理平台 (3)4财务会计 (4)5支付清算 (5)6核算中心 (6)7交易 (7)8柔性事务 (8)8.1柔性事务说明举例 (9)9消息系统 (10) (10)10柔性事务TCC协调模式 (10)11柔性事务TCC服务 (12)12消息模式 (13)12.1消息模式（1） (13)12.2消息模式（2） (14)13数据分析 (15)14数据缓存 (16)15技术生产线 (17)16中间件 (17)16.1支付宝的开源分布式消息中间件–Metamorphosis(MetaQ) (17)16.2 Meta适合的应用 (18)1系统架构2典型处理默认3资金处理平台4财务会计5支付清算6核算中心7交易8柔性事务8.1柔性事务说明举例9消息系统10柔性事务TCC协调模式11柔性事务TCC服务12消息模式12.1消息模式（1）12.2消息模式（2）15技术生产线16中间件16.1支付宝的开源分布式消息中间件–Metamorphosis(MetaQ)Metamorphosis (MetaQ) 是一个高性能、高可用、可扩展的分布式消息中间件，类似于LinkedIn的Kafka，具有消息存储顺序写、吞吐量大和支持本地和XA事务等特性，适用于大吞吐量、顺序消息、广播和日志数据传输等场景，在淘宝和支付宝有着广泛的应用，现已开源。
Metamorphosis是淘宝开源的一个Java消息中间件。
关于消息中间件，你应该听说过JMS规范，以及一些开源实现，如ActiveMQ和HornetQ等。
Metamorphosis 也是其中之一。
Metamorphosis 的起源是我从对linkedin的开源MQ–现在转移到apache的kafka 的学习开始的，这是一个设计很独特的MQ系统，它采用pull机制，而不是一般MQ的push模型，它大量利用了zookeeper做服务发现和offset存储，它的设计理念我非常欣赏并赞同，强烈建议你阅读一下它的设计文档，总体上说metamorphosis的设计跟它是完全一致的。
电商平台数据建模与分析
电商平台数据建模与分析随着互联网的不断发展，电子商务已经成为人们生活中不可或缺的一部分，而电商平台的数据建模和分析，对于平台运营以及企业的决策制定有着重要的意义。
在这篇文章中，我们将讨论电商平台数据建模与分析的实际应用。
一、电商平台数据的基本构成首先，我们需要了解电商平台数据的基本构成。
电商平台的数据主要可以分为两个部分：一是用户数据，包括用户的个人信息、购买记录、浏览记录、搜索记录等；二是商品数据，包括商品的种类、价格、销量、评价等。
二、数据建模数据建模是指根据电商平台的数据，构建适用于分析和决策制定的数据模型。
常见的数据建模方法包括ER模型（实体-关系模型）、维度建模和数据立方体等。
在建模过程中，必须考虑到平台的业务特点，如商品的分类、评价体系、运营策略等，才能建立真实可靠的数据模型。
三、数据分析在建立好数据模型后，我们需要对数据进行深入分析，以便为企业的决策制定提供支持。
数据分析可以从多个角度进行：首先是用户分析，通过分析用户行为和喜好，可以为平台的推广和运营提供重要依据；其次是商品分析，通过对商品的销量、评价等指标进行分析，可以为平台的采购和促销提供参考；最后是运营分析，可以通过对平台的流量、转化率等指标进行分析，优化运营策略，提高企业的营收。
四、数据可视化数据可视化是将分析结果以图表、图形等形式呈现出来，使数据分析结果更加直观化。
在数据可视化方面，常用的工具包括Tableau、Power BI、Excel等，可以根据需要选择不同的工具进行数据可视化。
电商平台数据建模与分析在电商行业中具有重要的应用价值。
它能够为电商企业提供决策制定的基础和支撑，帮助企业优化运营，提高业绩。
我们相信，在未来，随着科技的不断发展，电商平台数据建模和分析会更加深入和精细，为电商企业带来更多的价值。
支付宝数据建模介绍
❖ 快速适应需求变更 适应维度变化 明细基础数据层稳定，适应前端应用层业务需求变更 所有前端应用层模型之间不存在依赖，需求变更对DW整个模型影响范围小 能适应短周期内上线下线需求
24
22
DW模型架构第五层介绍-ST层
23
DW五层模型架构特点
❖ 细化DW建模 对DW中各个主题业务建模进行了细分，每个层次具有不同的功能。 保留了最细粒度数据 满足了不同维度，不同事实的信息
❖ 满足数据重新生成 不同层次的数据支持数据重新生成 无需备份恢复 解决了由不同故障带来的数据质量问题 消除了重新初始化数据的烦恼
IBM FSDM九大数据概念
当事人
协议 介质
地理位置 资源项
产品 介质
分类
帐户
渠道
条件
事件
业务方向
主要变化：
1. 将产品中的介质以及 分类中的帐户和渠道独 立出来作为单独的数据 概念
2.条件和分类不作为单 独的数据概念，分散在 各个数据概念中。
3.业务方向中的部分在 事件数据概念中体现
支付宝九大数据概念
17
DW模型架构第三层介绍-DW层
功能 ❖ 为DM,ST层提供细粒度数据,细化成DWB和DWS ❖ DWB是根据DWD明细数据进行清洗转换，如维度转代理
键、身份证清洗、会员注册来源清洗、字段合并、空值处 理、脏数据处理、IP清洗转换、账户余额清洗 、资金来 源清洗等 ❖ DWS是根据DWB层数据按各个维度ID进行粗粒度汇总聚 合，如按交易来源，交易类型进行汇总 建模方式及原则 ❖ 聚合、汇总增加派生事实 ❖ 关联其它主题的事实表，DW层可能会跨主题域 ❖ DWB保持低粒度汇总加工数据，DWS保持高粒度汇总数 据 ❖ 数据模型可能采用反范式设计，合并信息等
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
DW模型架构第四层介绍-DM层
21
DW模型架构第五层介绍-ST层
功能 ❖ ST层面向用户应用和分析需求，包括前端报表、分析图
表、KPI、仪表盘、OLAP、专题等分析，面向最终结果 用户 ❖ 适合作OLAP、报表模型，如ROLAP，MOLAP ❖ 根据DW层经过聚合汇总统计后的粗粒度事实表
建模方式及原则 ❖ 保持数据量小 ❖ 维度建模，星形模型 ❖ 各种维度代理键+度量 ❖ 增加数据业务日期字段，支持数据重跑 ❖ 不分表存储
控
源 数 据
点击流数据 （Click stream
）
数据库数据（ OLTP）
文档数据（ Documents）
其它数据 （Other）
10
建立企业级概念数据模型(CDM) 的基本架构
相关方 描述 位置 相关方类型
安排类型
相关方关系
相关方
相关方及安排间的 关系 安排
▪ 业务概念框架提供了一套通用的结构， 它描述了所有业务环境
数据建模介绍
数据仓库构造方法
支付宝业务系统简介
❖ 业务特点
▪ 类金融交易：充值、提现、账务管理 ▪ 类电子商务：购物交易过程变更、实际交易（对B机票
、对C水电等） ▪ 非纯电子商务；纯金融
❖ 线上子系统多而杂
▪ 截止到2011年6月共有各类线上子系统259个 ▪ 类型多样：对C、对B、对内、对金融机构
27
数据仓库建设规范
程序命名规范
❖ 程序命名 ▪ [目标表名(去除分表规则部分)]_[程序类型].tcl ▪ 程序名称一律小写
❖ 解释 ▪ 目标表名(去除分表规则部分) ▪ 目标表名为程序生成数据的表名，如数据 ODS_TRD_TRADE_BASE_YYYYMMDD-> DWD_TRD_TRADE_BASE_YYYYMMDD，那么程序命名成 dwd_trd_trade_base_dd.tcl
17
DW模型架构第三层介绍-DW层
功能 ❖ 为DM,ST层提供细粒度数据,细化成DWB和DWS ❖ DWB是根据DWD明细数据进行清洗转换，如维度转代理
键、身份证清洗、会员注册来源清洗、字段合并、空值处 理、脏数据处理、IP清洗转换、账户余额清洗 、资金来 源清洗等 ❖ DWS是根据DWB层数据按各个维度ID进行粗粒度汇总聚 合，如按交易来源，交易类型进行汇总 建模方式及原则 ❖ 聚合、汇总增加派生事实 ❖ 关联其它主题的事实表，DW层可能会跨主题域 ❖ DWB保持低粒度汇总加工数据，DWS保持高粒度汇总数 据 ❖ 数据模型可能采用反范式设计，合并信息等
▪ 仓库层次更加清晰，对外暴露数据更加统一
5
❖ 需求驱动为主
传统仓库架构方法
…
6
支付宝交易主题现状
7
数据仓库模型建设目标示意图
8
仓库基础数据层建设的意义
❖ 避免底层业务变动对上层需求影响过大 ❖ 屏蔽底层复杂的业务逻辑，尽可能简单、完整的在接口层
呈现业务数据 ❖ 仓库数据更加丰富 ❖ 建设高内聚松耦合的数据组织，使得数据从业务角度可分
ST层
数据来自DW层，采用维度 建模，星型架构
DM层
数据来自DW层，采用维度 建模，星型架构
DW层
数据来自DWD层，是DW事 实层，采用维度建模，星型 架构,这一层可细分为dwb 和
dws
DWD层
数据来自ODS层，是DW明 细事实层,数据模型是ODS 一致
ODS层
数据准备区，数据来源是各 业务系统的源数据，物理模 型和业务系统模型一致。
服务领域
前端报表展现，主题分析， KPI报表
数据挖掘，自定义查询，应 用集市
为EDW提供各种统计汇总数 据
为EDW提供各主题业务明细 数据
为其它逻辑层提供数据，为 统一数据视图子系统提供数 据实时查询
数据ETL过程描述
从DW层的数据进行粗粒度 聚合汇总；如按年、月、季 、天对一些维度进行聚合生 成业务需要的事实数据
13
DW五层模型架构介绍
❖ DW五层模型是按照EDW各个应用层次的需求进行分层细 化而来的，每个层次满足不同的应用。
❖ 分为以下5层：
1. ODS 数据准备层
2. DWD 数据明细层
3. DW(B/S) 数据汇总层
4. DM
数据集市层
5. ST
数据应用层
14
DW五层模型架构介绍
数据来源及建模方式
割，有助于数据和团队的扩展。
9
第三方支付企业支付宝数据仓库体系结构
数
KPI
账单应用
日志产品应用
其它……
据
应 用
报表展示
自定义查询
数据分析
数据挖掘
元
数
据
数据应用（ST）
管 理
数 据
数据集市、宽表（DM）
数
仓 库
E T L
低粒度汇总加工数据（DWB ）
高粒度汇总数据（DWS ）
明细数据（DWD）
据 质 量 监
16
DW模型架构第二层介绍-DWD层
功能 ❖ 为DW层提供来源明细数据 ❖ 提供业务系统细节数据的长期沉淀 ❖ 为未来分析类需求的扩展提供历史数据支撑 建模方式及原则 ❖ 数据模型与ODS层一致（3NF） ❖ 不做清洗转换处理 ❖ 为支持数据重跑可额外增加数据业务日期字段 ❖ 可按天、月、年进行分表 ❖ 用增量ODS层数据和前一天DWD相关表进行 merge处理
28
数据仓库建设规范
❖ 表命名规范 ❖ 程序命名规范 ❖ 开发模板 ❖ 通用SQL文档
25
数据仓库建设规范
表命名规范
❖ 表名命名格式说明 ▪ [层次]_[主题] [_表内容]_[分表规则]
❖ T表命名格式说明 ▪ T_[层次]_[主题] [_表内容]
❖ 临时表名命名格式说明 ▪ [tmp]_所属程序名_[自定义序号1..10] ▪ [temp]_[操作者缩写]_YYYYMMDD_[表内容]
❖ 系统间依赖程度参差不齐
▪ 垂直依赖（业务与核心） ▪ 跨层依赖（跨过交易到账务）
3
支付宝业务系统
4
支付宝数据仓库架构原则
❖ 底层业务的数据驱动为导向同时结合业务需求驱动 ❖ 便于数据分析
▪ 屏蔽底层复杂业务 ▪ 简单、完整、集成的将数据暴露给分析层
❖ 底层业务变动与上层需求变动对模型冲击最小化
❖ 视图命名格式说明 ▪ V_[表名] ▪ DWB层视图仍以DWB_开头，为了兼容日后业务变动
26
数据仓库建设规范
表命名解释
❖ 层次 ▪ ODS, DWD, DWB,DWS, DM,ST ▪ 如ODS_TRD_TRADE_BASE_YYYYMMDD, DWD_TRD_TRADE_BASE_YYYYMMDD；
18
DW模型架构第三层介绍-DW层
19
DW模型架构第四层介绍-DM层
功能 ❖ 这一层可以是一些宽表，是根据DW层数据按照各种维度
或多种维度组合把需要查询的一些事实字段进行汇总统计 并作为单独的列进行存储 ❖ 满足一些特定查询、数据挖掘应用 ❖ 应用集市数据存储 建模方式及原则 ❖ 尽量减少数据访问时计算，优化检索 ❖ 维度建模，星形模型 ❖ 事实拉宽，度量预先计算 ❖ 分表存储
22
DW模型架构第五层介绍-ST层
23
DW五层模型架构特点
❖ 细化DW建模 对DW中各个主题业务建模进行了细分，每个层次具有不同的功能。 保留了最细粒度数据 满足了不同维度，不同事实的信息
❖ 满足数据重新生成 不同层次的数据支持数据重新生成 无需备份恢复 解决了由不同故障带来的数据质量问题 消除了重新初始化数据的烦恼
▪ 业务系统变化影响削弱在基础数据层（资金订单改造 ）
▪ 结合自上而下的建设方法削弱需求变动对模型的影响 ▪ 数据水平层次清晰化
❖ 高内聚松耦合
▪ 主题之内或各个完整意义的系统内数据的高内聚 ▪ 主题之间或各个完整意义的系统间数据的松耦合
❖ 构建仓库基础数据层
▪ 使得底层业务数据整合工作与上层应用开发工作相隔 离，为仓库大规模开发奠定基础
▪ IBM业务概念间最初的关系提供了
相关方 合约 位置 分类 产品/服务 资源 事件 业务方向 条件
➢ 所有业务信息都是可以用九大概念的词汇来表示 ➢ 每一种信息概念都可用三个分层来详细说明： I. 分类分层（是什么） II. 描述分层（有什么） III. 关系分层（做什么）
11
九大数据概念变迁
❖ 表内容 ▪ 表名视图名总长度不超过64个字符 ▪ ODS层和DWD层：[层次]_[主题]_[业务系统表名字]_[分表规则] ▪ DWB(含)以上层次表名字：[层次]_[主题]_[有意义的缩写]_[分表规则] ▪ 尽量详尽说明表的具体内容
❖ 分表规则 ▪ 日表YYYYMMDD ▪ 月表YYYYMM ▪ 日汇总DS,月汇总MS,日累计DT,月累计MT
❖ 减少应用对DW的压力 以业务应用驱动为向导建模，通过ST、DM层提供数据 避免直接操作基础事实表 降低数据获取时间
❖ 快速适应需求变更 适应维度变化 明细基础数据层稳定，适应前端应用层业务需求变更 所有前端应用层模型之间不存在依赖，需求变更对DW整个模型影响范围小 能适应短周期内上线下线需求
24
从DW层的数据进行粗粒度 聚合汇总；按业务需求对事 实进行拉宽形成宽表
从DWD层进行轻度清洗，转换， 汇总聚合生成DW层数据，如字符 合并，EMAIL,证件号，日期，手 机号转换，合并；用代理键取代 维度；按各个维度进行聚合汇总
根据ODS增量数据进行 merge生成全量数据，不做 清洗转换，保留原始全量数 据
IBM FSDM九大数据概念
当事人
协议 介质
地理位置 资源项
产品 介质
分类