数据中台技术架构方法论与实践
数据中台技术架构方法论与实践
目录
1、建设背景与目标
2、技术架构与思路
3、构建过程：
1.PaaS
2.DaaS
3.DA
4、未来发展方向
5、建设经验总结
广告、注册、搜索推荐、风控、IM 、支付、客服…复杂生态APP、小程序、垂类；线上、线下；C2X，B2B，X2C 纵深链路
MVP
30+1400+
圈子、拍卖、寄卖、回收、自营、视频，切客…
流程规范烟囱模式孤岛重复指标重复时间保障
数据安全数据共享形式单一临时取数响应及时
外部业务：数据脏、乱、差，业务不满意
内部研发：疲于奔命、四处救火，普遍苦恼SQL-Boy，人肉提数机 方案：数据中台建设
目标：复用、赋能、降本提效
数据中台
1、建设背景与目标
2、技术架构与思路
3、构建过程：
1.PaaS
2.DaaS
3.DA
4、未来发展方向
5、建设经验总结
数据资源集中全域数据
技术
基础架构
全链路
产品
能力复用
赋能业务
组织
企业级
平台
2、转转数据中台技术架构与思路 到底什么是数据中台？有什么特点？
2、数据中台技术架构与思路
数据应用
/业务反馈
DA（数据应用层）服务业务化
BI报表
渠道分析商品分析交易分析
数据产品
智能挖掘自助报表精细化推送
业务系统
商品系统财务系统
应用治理
指标字典
数据统计/用户分析订单分析行为分析画像档案事件漏斗A/B Test运营系统客服系统血缘关系
分析/挖掘搜索推荐竞品分析商业分析自助留存监控告警电视看板搜索推荐质检系统数据地图
DaaS（Data-as-a-Service）资产服务化
留存模型主题表事件模型主题表
数据集市层
画像提取平台实时自助框架生命周期管理质量安全管理
数据建模数据仓库层
/存储用户主题商品主题交易主题收入主题广告主题行为主题
前端埋点后端日志
源数据层
业务数据库三方广告战略竞对线下表单
数据资产化PaaS（Platform-as-a-Service）
数据传输
MapReduce Spark
数据计算层
Storm Flink Kylin Druid
实时/批量
HDFS Hive
数据存储层
HBase MySQL TiDB ZZRedis
数据采集
Flume Sqoop
数据传输层
Kafka Lego WS Server
业务数据化
转转数据中台
1、建设背景与目标
2、技术架构与思路
3、构建过程：
1.PaaS
2.DaaS
3.DA
4、未来发展方向
5、建设经验总结
zzdp大数据平台
目标
–高可用、高性能、可扩展的大数据全链路一站式解决方案
核心组件/功能
–Flink、Flume、Kafka、Hadoop、Spark、HBase等存储计算框架–Docker云平台日志采集系统
–苍鹰大数据管理平台
–Skynet 调度平台
PaaS（Platform-as-a-Service）
Skynet调度平台
Flink Spark
数据计算层
Storm MapReduce Kylin Druid
苍鹰数据治理平台
HDFS Kafka
数据存储层
TiDB HBase MySQL ZZRedis
Lego日志采集平台
SDK Docker
异构数据源
Server DB Spider AD
苍鹰大数据管理平台：
为集群提供立体监控、自助化、可视化运维服务，保障高可用
核心功能
集群日常使用情况报表统计与跟踪
冷数据压缩、删除、小文件定期自动合并
日常各类自助化运维操作、监控告警
权限管理
资产管理与优化治理：用户/任务/日志/表总量、增量、异常数TOP 效果
101小文件
1%
超长任务数
30%
高峰负载
Skynet 调度平台
–轻量级、可维护、可扩展
–与Hadoop生态融合 核心功能
–任务精准时刻调度
–依赖方式灵活多样
–根据任务自建血缘关系 效果
20,000+
任务数
99.99%
可用性
传统的数仓为何在数据中台地位如此重要？
目标：
汇聚全域数据打破数据孤岛，沉淀企业完整稳定准确的数据资产
核心组件/功能
–Galaxy 全域数据仓库
–iQuery 自助式、可视化查询分析平台
承数据启业务
DaaS （Data-as-a-Service ）
iQuery
数据服务层Zeppelin ZZSCF
留存模型主题表事件模型主题表
数据集市层
画像提取平台实时自助框架
生命周期管理数据质量管理用户主题商品主题数据仓库层
交易主题收入主题
广告主题行为主题前端埋点
后端日志
源数据层
业务数据库三方广告
战略竞对
线下表单
Galaxy全域数据仓库目标：
–统一的数据建模标准、规范
–开放的数据存储、建模、计算能力
–可落地、可扩展，满足转转未来2年，千万日活的业务体量 数据量
总数据30PB+
日增量50TB+
元数据20,000+
数据仓库构建之路：Galaxy全域数据仓库离线整体流程
Galaxy 全域数据仓库效果
时间段：模式：
2015.11-2016. 6业务支撑
2016.6-2017.6平台研发2017.7-至今业务共建、自治业务需求：500+1400+
600+
业务场景：分析
+监控+业务输出
+运营+线上服务
覆盖人群：20%40%70%
简单报表
Case by Case
BI 平台数据仓库
数据中台全域数仓
DaaS目标
–支撑数据服务化建设→数据价值输出
?平台、工具、API→服务化建设
?面向PM、运营、RD、分析师等多种角色→数据平民化，触达更多人&场景
DaaS落地的关键点-1
–数仓统一可落地的流程规范，统一认知：
?层次明确合理：规则、层次、划分、依赖清晰→不做不定项选择，质量控制和运维
?流程机制约束：审批+巡检→先污染后治理
DaaS 落地的关键点-2
–业务与数据增长，海量数据、报表、标签是服务能力的象征，但会带来哪些问题？
?信息过载，数据沼泽→负资产
?寻找数据、理解数据、信任数据、使用数据→
矛盾凸显？
0206有哪些?01
在哪里?
如何理解？09被谁使用？05质量如何？07
08是否安全？成本收益？
什么关系？03
04能不能取到？
DaaS落地的关键点-2–数据资产管理
?元数据管理
?生命周期管理
?性能优化
?权限管理
剖析大数据分析方法论的几种理论模型
剖析大数据分析方法论的几种理论模型 做大数据分析的三大作用，主要是：现状分析、原因分析和预测分析。什么时候开展什么样的数据分析，需要根据我们的需求和目的来确定。 作者：佚名来源：博易股份|2016-12-01 19:10 收藏 分享 做大数据分析的三大作用，主要是：现状分析、原因分析和预测分析。什么时候开展什么样的数据分析，需要根据我们的需求和目的来确定。 利用大数据分析的应用案例更加细化的说明做大数据分析方法中经常用到的几种理论模型。 以营销、管理等理论为指导，结合实际业务情况，搭建分析框架，这是进行大数据分析的首要因素。大数据分析方法论中经常用到的理论模型分为营销方面的理论模型和管理方面的理论模型。 管理方面的理论模型： ?PEST、5W2H、时间管理、生命周期、逻辑树、金字塔、SMART原则等?PEST：主要用于行业分析 ?PEST：政治(Political)、经济(Economic)、社会(Social)和技术(Technological) ?P：构成政治环境的关键指标有，政治体制、经济体制、财政政策、税收政策、产业政策、投资政策、国防开支水平政府补贴水平、民众对政治的参与度等。?E：构成经济环境的关键指标有，GDP及增长率、进出口总额及增长率、利率、汇率、通货膨胀率、消费价格指数、居民可支配收入、失业率、劳动生产率等。?S：构成社会文化环境的关键指标有：人口规模、性别比例、年龄结构、出生率、死亡率、种族结构、妇女生育率、生活方式、购买习惯、教育状况、城市特点、宗教信仰状况等因素。
?T：构成技术环境的关键指标有：新技术的发明和进展、折旧和报废速度、技术更新速度、技术传播速度、技术商品化速度、国家重点支持项目、国家投入的研发费用、专利个数、专利保护情况等因素。 大数据分析的应用案例：吉利收购沃尔沃 大数据分析应用案例 5W2H分析法 何因(Why)、何事(What)、何人(Who)、何时(When)、何地(Where)、如何做(How)、何价(How much) 网游用户的购买行为： 逻辑树：可用于业务问题专题分析
大数据处理平台构架设计说明书
大数据处理平台及可视化架构设计说明书 版本：1.0 变更记录
目录 1 1. 文档介绍 (3) 1.1文档目的 (3) 1.2文档范围 (3) 1.3读者对象 (3) 1.4参考文献 (3) 1.5术语与缩写解释 (3) 2系统概述 (4) 3设计约束 (5) 4设计策略 (6) 5系统总体结构 (7) 5.1大数据集成分析平台系统架构设计 (7) 5.2可视化平台系统架构设计 (11) 6其它 (14) 6.1数据库设计 (14) 6.2系统管理 (14) 6.3日志管理 (14)
1 1. 文档介绍 1.1 文档目的 设计大数据集成分析平台，主要功能是多种数据库及文件数据；访问；采集；解析，清洗，ETL，同时可以编写模型支持后台统计分析算法。 设计数据可视化平台，应用于大数据的可视化和互动操作。 为此，根据“先进实用、稳定可靠”的原则设计本大数据处理平台及可视化平台。 1.2 文档范围 大数据的处理，包括ETL、分析、可视化、使用。 1.3 读者对象 管理人员、开发人员 1.4 参考文献 1.5 术语与缩写解释
2 系统概述 大数据集成分析平台,分为9个层次，主要功能是对多种数据库及网页等数据进行访采集、解析，清洗，整合、ETL，同时编写模型支持后台统计分析算法，提供可信的数据。 设计数据可视化平台 ,分为3个层次，在大数据集成分析平台的基础上实现大实现数据的可视化和互动操作。
3 设计约束 1.系统必须遵循国家软件开发的标准。 2.系统用java开发，采用开源的中间件。 3.系统必须稳定可靠，性能高，满足每天千万次的访问。 4.保证数据的成功抽取、转换、分析，实现高可信和高可用。
大数据中台架构栈
近来数据中台概念大火，大家对它的定义也五花八门，不一而足。但无论怎么定义，一个完善的数据技术架构必不可少。了解这些架构里每个部分的位置，功能和含义，不仅能让我们更好了解数据产品的范围和边界，知道技术能帮我们实现什么，能怎么实现得更好，另一方面，很多技术的设计理念对我们认知世界，了解复杂系统也会有所裨益。因此这篇文章旨在梳理市面上常见的开源技术方案，背后原理及应用场景，帮助产品经理对大数据技术体系有个大致全面的了解。 一般来说，我们将数据整个链条区分为四个环节，从数据采集传输，到数据存储，再到数据计算&查询，到后续的数据可视化及分析。框架图如下： 1. 数据采集传输 这个一般对应于公司的日志平台，任务是将数据采集后缓存在某个地方，供后续的计算流程进行消费使用。 针对不同的数据来源有各自的采集方式，从 APP/服务器日志，到业务表，还有各种 API 接口及数据文件等等。其中因为日志数据有数据量多，数据结构多样，产生环境复杂等特点，属于「重点关照」的对象。 目前市面针对日志采集的有 Flume，Logstash，Filebeat，Fluentd ，rsyslog 几种常见的框架，我们挑应用较广泛的前两者介绍下： 1.1 Flume 和 Logstash Flume 是一款由 Cloudera 开发的实时采集日志引擎，主打高并发，高速度，分 布式海量日志采集。它是一种提供高可用、高可靠、分布式海量日志采集、聚合和传输的系统。Flume 支持在日志系统中定制各类数据进行发送，用于采集数据；同时，它支持对数据进行简单处理，并写到各种数据接收方。目前有两个版本，OG和NG，特点主要是： 1.侧重数据传输，有内部机制确保不会丢数据，用于重要日志场景 2.由java开发，没有丰富的插件，主要靠二次开发 3.配置繁琐，对外暴露监控端口有数据
数据中台与企业架构
数据中台与企业架构 张靖笙 现在各行各业，大家都非常关心数字化转型该怎么转，数据中台该怎么建。最近看来，不管主动还是被动，越来越多企业感受到数字化转型的迫切压力，于是数据中台的概念越炒越热。 关于数字化转型和数据中台，业界的声音不绝于耳，但当我听到有人把这两件事混为一谈的时候，我的感觉是异样的，我不否认两者有很大交集，但绝不能等同，毫无疑问，数字化转型是一个远比数据中台的内涵更宏大的命题，如果仅用数据中台的概念、方法和工具套用到数字化转型，这是一个片面得很明显的生搬硬套。 结合我自己的职业经验，企业架构（Enterprise Architecture，简称EA）可以说是更贴切数字化转型的方法工具，自上世纪八十年代以来，企业架构这个概念就在国际上日益流行，虽然架构师这个职业在我国也非常吃香，可就我自己的体会，意识和理解到企业架构重要性的企业组织在中国还不是太多。这种局面正日益成为中国企业信息化普遍的瓶颈，联系到今天很多人争着要建的数据中台，没有企业架构的支撑，数据中台在企业将是怎样一个职能定位？要怎么发挥作用？与企业其他业务和管理工作是怎样的关系？如何有效衔接？这些问题就很难得到让大家都信服的回答。 自然很多人都会问企业架构到底是什么？简单来说，就是把企业看成一个信息系统的建模工具。企业架构理论的提出和发展的确和信息系统有很深的历史渊源，20世纪80年代中期，当时还是IBM员工的John Zachman率先提出了“信息系统架构框架”的概念，从信息、流程、网络、人员、时间、基本原理等6个透视角度来分析企业，也提供了与这些视角每个相对应的6个模型，包括语义、概念、逻辑、物理、构件和功能等模型。由于其杰出的开创性工作成果，Zachman被公认为是企业架构领域的开拓者。但在当时，Zachman并没有明确的使用“企业架构”的概念。 虽然企业架构早期思想雏形来自信息技术领域的建模理论，20世纪80年代中期之前，虽然使用的理论和模型已经逐渐流行于各种信息系统的设计和开
(完整版)常用数据分析方法论
常用数据分析方法论 ——摘自《谁说菜鸟不会数据分析》 数据分析方法论主要用来指导数据分析师进行一次完整的数据分析，它更多的是指数据分析思路，比如主要从哪几方面开展数据分析？各方面包含什么内容和指标？ 数据分析方法论主要有以下几个作用： ●理顺分析思路，确保数据分析结构体系化 ●把问题分解成相关联的部分，并显示它们之间的关系 ●为后续数据分析的开展指引方向 ●确保分析结果的有效性及正确性 常用的数据分析理论模型 用户使用行为STP理论 SWOT …… 5W2H 时间管理生命周期 逻辑树 金字塔SMART原则 …… PEST分析法 PEST分析理论主要用于行业分析 PEST分析法用于对宏观环境的分析。宏观环境又称一般环境，是指影响一切行业和企业的各种宏观力量。 对宏观环境因素作分析时，由于不同行业和企业有其自身特点和经营需要，分析的具体内容会有差异，但一般都应对政治、经济、技术、社会，这四大类影响企业的主要外部环境因素进行分析。
以下以中国互联网行业分析为例。此处仅为方法是用实力，并不代表互联网行业分析只需要作这几方面的分析，还可根据实际情况进一步调整和细化相关分析指标：
5W2H分析法 5W2H分析理论的用途广泛，可用于用户行为分析、业务问题专题分析等。 利用5W2H分析法列出对用户购买行为的分析：（这里的例子并不代表用户购买行为只有以下所示，要做到具体问题具体分析）
逻辑树分析法 逻辑树分析理论课用于业务问题专题分析 逻辑树又称问题树、演绎树或分解树等。逻辑树是分析问题最常使用的工具之一，它将问题的所有子问题分层罗列，从最高层开始，并逐步向下扩展。 把一个已知问题当成树干，然后开始考虑这个问题和哪些相关问题有关。 （缺点：逻辑树分析法涉及的相关问题可能有遗漏。）
中台技术架构概述
中台技术架构概述
目录 1. 什么是中台 (3) 2. 中台和微服务的区别 (5) 3. 为什么要做中台 (6) 4. 深入中台架构 (8) 5. 总结 (10)
这两年中台很火，已经代替微服务成为架构首选，涌现出各种各样的中台名词，业务中台、数据中台、技术中台、算法中台等，让人眼花缭乱，稍微大点的互联网公司都号称在做中台。 1. 什么是中台 既然讲中台，必然还有前台和后台。前台很好理解，指的是面向 C 端的应用，包括前端(如App/ 小程序) 和对应的服务端。至于后台，很多人把它等同于管理后台，比如商品管理后台，负责商品定义/ 上下架等，提供给内部运营人员使用，这可能不够准确。 简单来说，对于一个交易系统，前台对应用户能看到的部分，如商品浏览和下单，属于接单的部分；后台对应履单部分，如仓库拣货/ 配送/ 财务结算/ 采购补货等，属于实际干活的，由企业内部人员负责，处于一个交易处理流程的后端。 在传统企业，没有在线的前台，基本是线下手工接单，内部信息管理系统基本都属于履单范畴，例如ERP、CRM、采购系统、仓库管理系统，财务系统等，这些系统属于一般意义上的后台概念。 在互联网企业，因为系统一般是自己开发，管理后台既包含面向前台销售的功能，如商品上下架和促销管理，也包含面向履单部分，比如配送、采购、财务结算，所以互联网企业的管理后台并不简单等同于履单后台。 接单和履单之间还有一系列事情要做，包括生成订单时的优惠计算/ 创建实际的订单/ 支付/ 库存扣减等, 这部分功能属于交易逻辑的核心。在简单场景下，前台应用包含这部分功能，在复杂的场景下，就有必要把这部分独立出来，构成独立的中台，为前台减负。 一些文章笼统地介绍中台是用来连接前台和后台的，这个值得商榷。如果管理后台就是后台，那没有连接的必要，因为管理后台本身就是系统的附属部分，和前台属于一体两面。至于履单
大数据 技术架构解析
大数据技术架构解析 作者：匿名出处：论坛2016-01-22 20:46 大数据数量庞大，格式多样化。大量数据由家庭、制造工厂和办公场所的各种设备、互联网事务交易、社交网络的活动、自动化传感器、移动设备以及科研仪器等生成。它的爆炸式增长已超出了传统IT基础架构的处理能力，给企业和社会带来严峻的数据管理问题。因此必须开发新的数据架构，围绕“数据收集、数据管理、数据分析、知识形成、智慧行动”的全过程，开发使用这些数据，释放出更多数据的隐藏价值。 一、大数据建设思路 1)数据的获得 大数据产生的根本原因在于感知式系统的广泛使用。随着技术的发展，人们已经有能力制造极其微小的带有处理功能的传感器，并开始将这些设备广泛的布置于社会的各个角落，通过这些设备来对整个社会的运转进行监控。这些设备会源源不断的产生新数据，这种数据的产生方式是自动的。因此在数据收集方面，要对来自网络包括物联网、社交网络和机构信息系统的数据附上时空标志，去伪存
真，尽可能收集异源甚至是异构的数据，必要时还可与历史数据对照，多角度验证数据的全面性和可信性。 2)数据的汇集和存储 数据只有不断流动和充分共享，才有生命力。应在各专用数据库建设的基础上，通过数据集成，实现各级各类信息系统的数据交换和数据共享。数据存储要达到低成本、低能耗、高可靠性目标，通常要用到冗余配置、分布化和云计算技术，在存储时要按照一定规则对数据进行分类，通过过滤和去重，减少存储量，同时加入便于日后检索的标签。 3)数据的管理
4)数据的分析
5)大数据的价值：决策支持系统
大数据的神奇之处就是通过对过去和现在的数据进行分析，它能够精确预测未来;通过对组织内部的和外部的数据整合，它能够洞察事物之间的相关关系;通过对海量数据的挖掘，它能够代替人脑，承担起企业和社会管理的职责。 6)数据的使用
大数据分析系统项目方案
大数据分析系统 方案
目录 第1章项目概述 (5) 1.1项目背景 (5) 1.2项目必要性 (5) 1.3建设目标 (6) 第2章需求分析 (8) 2.1功能及性能需求 (8) 2.2系统集成需求 (9) 2.3运行环境 (10) 2.4安全需求 (10) 第3章总体设计 (12) 3.1总体设计原则 (12) 3.2总体目标 (13) 3.3系统总体结构 (13) 3.4系统逻辑结构 (15) 第4章详细设计方案 (16) 4.1信息资源规划和数据库设计 (16) 4.1.1数据模型概述 (16) 4.1.2数据建模方法论 (17) 4.1.3数据建模基本原则 (18) 4.1.4数据库架构设计 (19) 4.2数据应用支撑系统设计 (21) 4.2.1大数据平台关键技术 (21) 4.2.2云平台数据共享功能 (26) 4.3数据服务层计 (33) 4.3.1模型的应用 (33) 4.3.2平台基础应用 (33) 4.4数据处理和存储系统设计 (34) 4.4.1大数据处理核心技术 (35) 4.4.2数据存储采用MPP与hadoop融合架构 (35) 4.5网络系统设计 (35) 4.6安全系统设计 (36) 4.6.1系统安全满足情况 (36) 4.6.2系统安全配置管理功能 (37) 4.6.3系统无安全漏洞保障 (40) 4.6.4软件自身安全 (43) 4.6.5性能和可靠性 (44) 4.7运行维护系统设计 (46)
4.7.2网络设备管理 (46) 4.7.3进程管理 (46) 4.7.4服务管理 (46) 4.7.5数据库管理 (46) 4.7.6中间管理 (46) 4.7.7集群管理 (47) 4.7.8故障管理 (47) 4.7.9性能管理 (47) 4.7.10配置文件管理 (47) 4.7.11SYSLOG管理 (47) 4.8其他系统设计 (47) 4.9系统配置及软硬件选型原则 (48) 4.9.1软硬件部署 (48) 4.9.2数据要求 (48) 4.9.3技术要求 (49) 4.10系统软硬件物理部署方案 (49) 第5章项目建设与运行管理 (51) 5.1项目领导机构 (51) 5.2项目管理机构 (51) 5.3项目承建机构 (53) 5.4运行维护机构 (53) 5.5相关管理制度 (54) 5.6项目测试 (55) 5.6.1单元测试 (55) 5.6.2集成测试 (55) 5.6.3系统测试 (56) 5.6.4性能测试 (56) 5.6.5验收测试 (57) 5.6.6安装测试 (57) 5.7安全性测试 (58) 5.7.1功能验证 (58) 5.7.2漏洞扫描 (58) 5.7.3模拟攻击实验 (58) 5.8项目验收 (60) 5.8.1项目验收要求 (60) 5.8.2项目验收的目的和原则 (61) 5.8.3项目验收的组织和实施 (61) 5.8.4项目验收的步骤和程序 (61) 5.8.5项目验收的测试方案 (61) 5.8.6项目验收的文档清单 (61) 第6章项目培训计划 (62) 6.1培训对象和培训目标 (62)
大数据分析方法论介绍
大数据分析方法论介绍
一. WHY：为什么要做数据分析 在目前讲解数据分析的文章里，大多数会忽略数据分析本身的目的。这会导致我们在执行时，会出现动作变形的情况。以终为始，才能保证不会跑偏。个人的理解上，数据分析是为了能以量化的方式来分析业务问题并得出结论。其中有两个重点词语：量化和业务。 首先讲下量化。量化是为了统一认知，并且确保路径可回溯，可复制。统一认知后，才能保证不同层级，不同部门的人在平等话语权和同一个方向的背景下进行讨论和协作，才能避免公司内的人以「我感觉」「我猜测」来猜测当前业务的情况。路径可回溯可复制指的是，通过量化后的结果，许多优化的方法是可以被找到原因并且可以被复制的。同样是转化率优化，用A 方案和B 方案，谁的效果会比较好和具体好多少，都是可被预测的。 要想做到量化，需要做到三点：建立量化体系，明确量化重点和保证数据准确性。
1.1 建立量化体系 建立量化体系，主要是根据「指标设计方法」，设计业务的「核心指标+拆解指标+业务指标」，最后落地成全公司通用的「指标字典」和「维度字典」。这种工作一般是由数据分析师或数据PM 来担任完成。通过这种方式，我们就能初步建立面向全公司全面而系统的量化分析框架，保证日常分析可以做到「逐层拆解，不重不漏」。 1.1.1 指标设计方法 讲到指标设计方法，大家可能觉得，之前听过了产品设计方法，程序开发方法，指标这种东西也有设计方法么？确实有，指标设计是一套以准确和易懂为准则，集合统计学和业务效果的方法论。准确是指能够准确满足衡量目的，易懂是指标算法能直观显示好与坏，并且指标的算法也能够通俗易懂。这两者很多时候需要有所抉择，准确是第一位的。举个例子：当我们想衡量一个群体收入的差异性时，用方差还是用基尼系数？方差好懂，但不能显示两个极端的差异性多大。基尼系数算法不好懂，但能准确描述这个问题。 具体到指标设计，我们需要使用一些常用的统计学工具：
大数据架构的介绍及分析
大数据架构的介绍及分析 数据分析工作虽然隐藏在业务系统背后，但是具有非常重要的作用，数据分析的结果对决策、业务发展有着举足轻重的作用。随着大数据技术的发展，数据挖掘、数据探索等专有名词曝光度越来越高，但是在类似于Hadoop系列的大数据分析系统大行其道之前，数据分析工作已经经历了长足的发展，尤其是以BI 系统为主的数据分析，已经有了非常成熟和稳定的技术方案和生态系统，对于BI 系统来说，大概的架构图如下： 可以看到在BI系统里面，核心的模块是Cube，Cube是一个更高层的业务模型抽象，在Cube之上可以进行多种操作，例如上钻、下钻、切片等操作。大部分BI系统都基于关系型数据库，关系型数据库使用SQL语句进行操作，但是SQL 在多维操作和分析的表示能力上相对较弱，所以Cube有自己独有的查询语言MDX，MDX表达式具有更强的多维表现能力，所以以Cube为核心的分析系统基本占据着数据统计分析的半壁江山，大多数的数据库服务厂商直接提供了BI套装软件服务，轻易便可搭建出一套Olap分析系统。不过BI的问题也随着时间的推移逐渐显露出来： BI系统更多的以分析业务数据产生的密度高、价值高的结构化数据为主，对于非结构化和半结构化数据的处理非常乏力，例如图片，文本，音频的存储，分析。 由于数据仓库为结构化存储，在数据从其他系统进入数据仓库这个东西，我
们通常叫做ETL过程，ETL动作和业务进行了强绑定，通常需要一个专门的ETL团队去和业务做衔接，决定如何进行数据的清洗和转换。 随着异构数据源的增加，例如如果存在视频，文本，图片等数据源，要解析数据内容进入数据仓库，则需要非常复杂等ETL程序，从而导致ETL变得过于庞大和臃肿。 当数据量过大的时候，性能会成为瓶颈，在TB/PB级别的数据量上表现出明显的吃力。 数据库的范式等约束规则，着力于解决数据冗余的问题，是为了保障数据的一致性，但是对于数据仓库来说，我们并不需要对数据做修改和一致性的保障，原则上来说数据仓库的原始数据都是只读的，所以这些约束反而会成为影响性能的因素。 ETL动作对数据的预先假设和处理，导致机器学习部分获取到的数据为假设后的数据，因此效果不理想。例如如果需要使用数据仓库进行异常数据的挖掘，则在数据入库经过ETL的时候就需要明确定义需要提取的特征数据，否则无法结构化入库，然而大多数情况是需要基于异构数据才能提取出特征。 在一系列的问题下，以Hadoop体系为首的大数据分析平台逐渐表现出优异性，围绕Hadoop体系的生态圈也不断的变大，对于Hadoop系统来说，从根本上解决了传统数据仓库的瓶颈的问题，但是也带来一系列的问题：从数据仓库升级到大数据架构，是不具备平滑演进的，基本等于推翻重做。 大数据下的分布式存储强调数据的只读性质，所以类似于Hive，HDFS 这些存储方式都不支持update，HDFS的write操作也不支持并行，这些特性导致其具有一定的局限性。 基于大数据架构的数据分析平台侧重于从以下几个维度去解决传统数据仓库做数据分析面临的瓶颈： 分布式计算：分布式计算的思路是让多个节点并行计算，并且强调数据本地性，尽可能的减少数据的传输，例如Spark通过RDD的形式来表现数据的计算逻辑，可以在RDD上做一系列的优化，来减少数据的传输。
数据中台的技术架构和方法论
数据中台的技术架构和方法论 建设企业的数据化引擎
目录 1.前言 (3) 2.为什么大家开始建设数据中台？ (3) 3.什么是数据中台？ (5) 4.数据中台包含什么？ (9) 4.1. 数仓体系 (9) 4.2. 数据服务集 (10) 4.3. BI 平台 (11)
1.前言 数据中台最早是阿里提出的，但真正火起来是2018 年，我们能感受到行业文章谈论数据中台的越来越多。大量的互联网、非互联网公司都开始建设数据中台。为什么很多公司开始建设数据中台？尽管数据中台的文章很多，但是一千人眼里有一千个数据中台，到底什么是数据中台？数据中台包含什么？2017 年开始，当网易严选有了一定量的数据，我们就开始规划建设我们的数据中台，目前我们已经完成了数据中台体系的搭建，我将根据我们建设数据中台的经验和方法论试图解答上面这些问题。 2.为什么大家开始建设数据中台？ 2018 年开始，朋友圈里讲数据中台的文章开始逐渐变多，当然拿着手机看世界并不一定看到真实的世界。我也跟各个行业的一些大公司的CIO 交流，发现很多行业的大公司都开始组建大数据团队，建设数据中台。结合文章和交流获取的信息，我切身感受到宏观经济对技术的影响。2018 年开始经济下行，生意不好做了，粗放的经营已经不行了，越来越多的企业想通过数据驱动来进行精细化的运营和数据化转型。
如上图所示，企业需要数字化转型，需要更多的触点去跟自己的用户/ 客户建立联系，很多企业就需要做自己的公众号、小程序(各家的小程序) 甚至app。我们希望用户更容易找到我们的商品/ 服务，我们就需要搜索。我们希望用户更多的浏览/ 使用我们的商品/ 服务就需要推荐。我们维护用户/ 客户的生命周期，根据生命周期采取不同的营销动作，就需要CRM。我们需要拉来更多的新用户，就需要投放广告，为了更好的投放效果，我们需要建设我们的DMP。当我们生意做大，我们需要对抗黑产(羊毛党)，让我们的优惠能让真正的用户享受，我们需要风控。这一切都需要底层大数据的支持。企业需要精细化运营，就需要不断的提升运营的频次(如下图所示) 和粒度。我们需要把运营的节奏提升到周级、天级甚至实时。我们随时随地了解我们企业经营状况，需要不断的更精细(细粒度) 的分析我们的业务，快速做出业务决策。我们就需要能够快速地构建大量的BI 报表，在一些重要的节点(大促) 时，甚至需要盯着数据大屏。如果我们有能力，还可以建设场景化的数据产品来支持业务的决策。这一切都需要底层大数据的支持。 如何快速地利用底层大数据的支持，让我们的数据化转型、精细化运营能够高频的迭代，这就需要我们的数据中台提供强有力的支持。这里也提醒一点，当我们需要大规模的数据应用时(搜
(完整版)常用数据分析方法论
常用数据分析方法论 ――摘自《谁说菜鸟不会数据分析》 数据分析方法论主要用来指导数据分析师进行一次完整的数据分析，它更多的是指数据分析思路，比如主要从哪几方面开展数据分析？各方面包含什么内容和指标？数据分析方法论主要有以下几个作用： 理顺分析思路，确保数据分析结构体系化 把问题分解成相关联的部分，并显示它们之间的关系为后续数据分析的开展指引方向 确保分析结果的有效性及正确性 常用的数据分析理论模型 营销方面管理方面 4P PEST 用户使用行为5W2H STP理论时间管理 SWOT生命周期 逻辑树 金字塔 SMART原贝 U PEST分析法 PEST分析理论主要用于行业分析 PEST分析法用于对宏观环境的分析。宏观环境又称一般环境，是指影响一切行业和企业的各种宏观力量 对宏观环境因素作分析时，由于不同行业和企业有其自身特点和经营需要，分析的具体内容会有差异，但一般都应对政治、经济、技术、社会，这四大类影响企业的主要外部环境因素进行分析。
以下以中国互联网行业分析为例。此处仅为方法是用实力，并不代表互联网行业分析只需要作这几方面的分析，还可根据实际情况进一步调整和细化相关分析指标：
?国衆出台那些相关政策？有何彩响?脚还是促谨? ?相关法律育哪些?有何影响? ?GDP及増悅壬迓出口总磁增氏聿谓劉介络拒题失业率、居民可支配收入 利用5W2H分析法列出对用户购买行为的分析：（这里的例子并不代表用户购买 行为只有以下所示，要做到具体问题具体分析）■ 经济 ?中国网民与中国公民在认可规愎性^比例、年龄结构、人口分布、生活方 式、购买习億教育伏况嫌扶宗教信仰状况等方面（网民与国民是否有区 别？ 锻术的发明、技术传抵更新、商品礎度、技术发离窗& ■国家重点支持顶目.国羸投入的研发费甩专利个数 5W2H分析法 5W2H分析理论的用途广泛，可用于用户行为分析、业务问题专题分析等。 r How1nu已1 k何价 What How 如何做 F-* k 5W2H 分 1 i k J r厂 i JVh o 何 k Ik——-J Wheni 何时
数据中台技术架构解读
数据中台技术架构解读
目录 前言 (3) 一当前关于“中台”问题研究存在诸多问题 (3) 二科学界定“数据中台”问题的基本原则 (7) 三小数据是理解数据中台的关键 (11)
前言 数据中台最近特别火，之前还在炒概念，现在突然就看到有的企业已经宣传自家的数据中台了，有的企业向外介绍如何构建自己的数据中台，利用数据中台打造数据驱动的经营能力。大家热衷于讨论什么是“数据中台”，并且还有“有一千个企业，就有一千个数据中台”的说法，但大家真的都理解了什么是数据中台了吗？ 本文基于笔者的个人思考，首先介绍了当前关于“中台”问题研究存在的3个主要问题，然后从3个方面说明了科学界定数据中台的基本原则，最后指出小数据是理解数据中台的关键，以更加科学合理的角度使读者更加清晰、全面的认识数据中台。” 一当前关于“中台”问题研究存在诸多问题 Supercell，芬兰移动游戏巨头，成立于2010年，拥有《部落冲突》、《卡通农场》、《海岛奇兵》、《皇室战争》和《荒野乱斗》等全球热门游戏。据说，2015年12月马云亲自率队到Supercell公司进行商务拜访，马云对Supercell的高效运营无比感慨，将其经营秘密概括为中台战略，要求阿里巴巴按照“大中台、小前台”的组织原则进行公司架构改革。 不管上述“中台”的马云说是否属实，但“中台”的概念确实在近年来不断发酵并从去年开始流行起来，日益成为行业共识，但大家对如何认识这个共识还没有达成一致意见，同时当前关于“中台”问题的研究还存在诸多问题。 1.1对数据中台的定义不清目前关于数据中台的定义很多，笔者根据网上数据中台相关著作或文章，搜集了一些对数据中台的定义，供读者参考，如下表所示。 表1 网上关于数据中台的定义
市政务大数据平台顶层设计框架及应用方案
市政务大数据平台顶层 设计框架及应用方案 Company Document number：WTUT-WT88Y-W8BBGB- BWYTT-19998
北京市政务大数据平台顶层设计框架及应用方案 一、大数据在政务领域应用的概述 说起大数据技术的应用，首先是在互联网行业起步并逐步拓展到电信、金融、工业等多个领域，产生了巨大的社会价值和产业空间，现正拓展到政务领域。 （一）大数据技术在互联网行业的成功应用，那些地方是值得我们关注的 第一，应该是思维观念和运作方式的变化，所谓的互联网思维，其核心理念包括： 体外互动：邮件、电话、信件互动---服务导引 服务外包：购买服务---简单服务 让渡社会：众包---自助服务 边界开放：数据开放---创造服务 第二，是其技术演进，针对数据处理的技术 首先是传统数据分析处理阶段，该阶段是面向结构化数据，非结构化处理效率低；硬件成本高；平台兼容性差。其次是基于云计算的大数据处理阶段，该阶段总体有了很大的改进和提升，主要体现在：具备结构化/非结构化混合分析的能力；基于消费级硬件，不依赖高性能、高可靠性硬件，从而保障系统性能和可靠性；平台兼容性好、扩展性高；进而业界又提出去IOE的思路。 第三，是数据挖掘分析技术 画像技术以及各类数据融合、分析、挖掘、预测等。 这些都是政务领域需要学习与借鉴的。为此，我认为：大数据在政务领域应用即包括用新的思维、模式与技术来解决电子政务需求，也包括了政务大数据新的应用。对于第一个方面比较容易理解，对于第二个方面需要对政务大数据给出定义。有些人认为政府没有大数据，只有传统的小数据或中数据。这个问题我们将在下一节专门中进行讨论。
阿里中台技术架构介绍
阿里中台技术架构介绍
目录 1.阿里业务中台架构图 (3) 2.业务中台化-产品形态 (4) 3.业务中台化-全局架构 (4) 4.业务中台化 - 业务创新和智能化 (5) 5.阿里核心业务架构 (6) 6.阿里数据中台架构 (7) 7.阿里技术全栈全景图 (8) 8.阿里技术平台底座 (9) 9.阿里中台组织架构 (10) 10.业务中台建设路径 (11) 11.企业中台战略升级的4个方面 (12) 12.阿里中台的能力开放 (13) 13.阿里业务中台建设方法论 (13) 14.小结 (15)
1.阿里业务中台架构图 基础设施服务，即IAAS层，提供硬件底层支持。 基础服务层，即PAAS层，包括分布式服务框架、分布式数据库、分布式消息、分布式存储、分布式事务、实时监控服务等等。 互联网业务中台，包括各服务中心的抽象出来的各种业务能力，包括交易中心、支付中心、营销中心、结算中心、用户中心、账户中心等等。也包括非业务类服务，如日志分析中心、配置中心、序列中心、基础中心。 业务应用，经过调取业务中台，组装形成独立业务服务能力的业务应用，如 交易来源，就是前台用户使用的各个端，如淘宝App、PC站等。
2.业务中台化-产品形态 阿里的电商生态，就是要根据对商业的理解，把一些基础逻辑梳理出来。例如什么是业务？什么是业务身份？各个业务领域的边界是什么？每个领域提供的基础服务是什么？领域服务和领域服务之间的流程链接标准是什么？再在这些思想的指导下去建立业务平台化的实施标准和业务管控标准。 电商业务中台由一系列：业务能力标准、运行机制、业务分析方法论，配置管理和执行系统以及运营服务团队构成的体系，提供各业务方能够快速，低成本创新的能力。 3.业务中台化-全局架构
大数据架构与关键技术.doc
如对你有帮助，请购买下载打赏，谢谢！ 4大数据参考架构和关键技术 4.1大数据参考架构 大数据作为一种新兴技术，目前尚未形成完善、达成共识的技术标准体系。本章结合NIST 和JTC1/SC32的研究成果，结合我们对大数据的理解和分析，提出了大数据参考架构（见图5）。 图5 大数据参考架构图 大数据参考架构总体上可以概括为“一个概念体系，二个价值链维度”。“一个概念体系”是指它为大数据参考架构中使用的概念提供了一个构件层级分类体系,即“角色—活动—功能组件”，用于描述参考架构中的逻辑构件及其关系；“二个价值链维度”分别为“IT价值链”和“信息价值链”，其中“IT价值链”反映的是大数据作为一种新兴的数据应用范式对IT技术产生的新需求所带来的价值，“信息价值链”反映的是大数据作为一种数据科学方法论对数据到知识的处理过程中所实现的信息流价值。这些内涵在大数据参考模型图中得到了体现。 大数据参考架构是一个通用的大数据系统概念模型。它表示了通用的、技术无关的大数据系统的逻辑功能构件及构件之间的互操作接口，可以作为开发各种具体类型大数据应用系统架构的通用技术参考框架。其目标是建立一个开放的大数据技术参考架构，使系统工程师、数据科学家、软件开发人员、数据架构师和高级决策者，能够在可以互操作的大数据生态系统中制定一个解决方案，解决由各种大数据特征融合而带来的需要使用多种方法的问题。它提供了一个通用的大数据应用系统框架，支持各种商业环境，包括紧密集成的企业系统和松散耦合的垂直行业，有助于理解大数据系统如何补充并有别于已有的分析、商业智能、数据库等传统的数据应用系统。 大数据参考架构采用构件层级结构来表达大数据系统的高层概念和通用的构件分类法。从构成上看，大数据参考架构是由一系列在不同概念层级上的逻辑构件组成的。这些逻辑构件被划分为三个层级，从高到低依次为角色、活动和功能组件。最顶层级的逻辑构件是角色，包括系统协调者、数据提供者、大数据应用提供者、大数据框架提供者、数据消费者、安全和隐私、管理。第二层级的逻辑构件是每个角色执行的活动。第三层级的逻辑构件是执行每个活动需要的功能组件。 大数据参考架构图的整体布局按照代表大数据价值链的两个维度来组织，即信息价值链（水平轴）和IT价值链（垂直轴）。在信息价值链维度上，大数据的价值通过数据的收集、预处理、分析、可视化和访问等活动来实现。在IT价值链维度上，大数据价值通过为大数据应用提供存放和运行大数据的网络、基础设施、平台、应用工具以及其他IT服务来实现。大数据应用提供者处在两个维的交叉点上，表明大数据分析及其实施为两个价值链上的大数据利益相关者提供了价值。 五个主要的模型构件代表在每个大数据系统中存在的不同技术角色：系统协调者、数据提供者、大数据应用提供者、大数据框架提供者和数据消费者。另外两个非常重要的模型构件是安全隐私与管理，代表能为大数据系统其他五个主要模型构件提供服务和功能的构件。这两个关键模型构件的功能极其重要，因此也被集成在任何大数据解决方案中。 参考架构可以用于多个大数据系统组成的复杂系统（如堆叠式或链式系统），这样其中一个系统的大数据使用者可以作为另外一个系统的大数据提供者。 参考架构逻辑构件之间的关系用箭头表示，包括三类关系：“数据”、“软件”和“服务使用”。“数据”表明在系统主要构件之间流动的数据，可以是实际数值或引用地址。“软件”表明在大数据处理过程中的支撑软件工具。“服务使用”代表软件程序接口。虽然此参考架构主要用于描述大数据实时运行环境，但也可用于配置阶段。大数据系统中涉及的人工协议和人工交互没有被包含在此参考架构中。
敏捷数据分析方法论
敏捷数据分析方法论革命来袭 想必大家都听说过敏捷开发，敏捷开发是以用户的需求进化为核心，采用迭代、循序渐进的方法进行软件开发。随着敏捷概念的深入人心，数据分析方法论也发生了革新，敏捷数据分析逐渐进入主流视野。本文将简要介绍到底何为敏捷数据分析。 传统VS敏捷 我们先来看一下传统的数据分析流程： 解读业务战略目标–>确定目标分解的量化KPI–>确定KPI的计算公式和所需字段–>确定所需字段来自于哪些数据库的哪些表–>数据建模–>预先汇总成二次表和Cube–>结果展示。由于需要建模和打CUBE，这一流程通常需数月才能完成。 现在，取代传统数据分析流程的，是快速迭代式分析。敏捷数据分析不必在开始时花很长的时间构思大而全的分析指标体系，而是低成本快速迭代，几分钟就做好一个当前想要分析的结果，通过敏捷数据分析工具实现动态切换视角，灵活展示数据，日积月累，指标自然越来越丰富，计算公式也越来越符合业务逻辑，这时再体系化。下面的演示视频将帮助大家了解如何通过敏捷数据分析工具在几分钟时间内实现自己的分析需求。 为什么传统数据分析无法实现快速迭代分析的高效?因为在过去这么多年以来，我们对于大数据海量数据的计算能力达不到比较理想的要求，所以我们才需要IT人员用通过建模等方式提前把数据计算汇总好，随着现在大数据的技术相对来讲都日趋成熟和完善，分布式计算，内存计算、列存储等比较成熟的技术架构，采用这种新的办法去处理数据的性能，已经比以前提升了几十倍甚至更高。 符合迭代思维 快速迭代式的敏捷数据分析有什么好处?首先，这种分析方法十分符合互联网思维中的迭代思维。企业的分析指标不可能一开始想得非常全面，本身就是迭代逐步形成的。以电商行业为例，电子商务的数据可分为两类：前端行为数据和后端商业数据。前端行为数据指访问量、浏览量、点击流及站内搜索等反应用户行为的数据;而后端数据更侧重商业数据，比如交易量、投资回报率，以及全生命周期管理等。 在最初期，电商行业最关注的是那些核心指标：UV、转化率、客单价、毛利率、推广ROI、
大数据架构和模式
大数据架构和模式（一）: 大数据分类和架构简介 1.本文对大数据做了哪些分类？ 2.对数据进行分类后，如何将它与合适的大数据模式匹配? 如何将大数据分为不同的类不 大数据问题的分析和解决通常专门复杂。大数据的量、速度和种类使得提取信息和获得业务洞察变得专门困难。以下操作是一个良好的开端：依据必须处理的数据的格式、要应用的分析类型、使用的处理技术，以及目标系统需要猎取、加载、处理、分析和存储数据的数据源，对大数据问题进行分类。 概述 大数据可通过许多方式来存储、猎取、处理和分析。每个大数据来源都有不同的特征，包括数据的频率、量、速度、类型和真实性。处理并存储大数据时，会涉及到更多维度，比如治理、安全性和策略。选择一种架构并构建合适的大数据解决方案极具挑战，因为需要考虑特不多的因素。 那个“大数据架构和模式” 系列提供了一种结构化和基于模 式的方法来简化定义完整的大数据架构的任务。因为评估一个业务场景是否存在大数据问题专门重要，因此我们包含了一些线索来关心确定哪些业务问题适合采纳大数据解决方案。 从分类大数据到选择大数据解决方案
假如您花时刻研究过大数据解决方案，那么您一定明白它不是一个简单的任务。本系列将介绍查找满足您需求的大数据解决方案所涉及的要紧步骤。 我们首先介绍术语“大数据” 所描述的数据类型。为了简化各种大数据类型的复杂性，我们依据各种参数对大数据进行了分类，为任何大数据解决方案中涉及的各层和高级组件提供一个逻辑 架构。接下来，我们通过定义原子和复合分类模式，提出一种结构来分类大数据业务问题。这些模式有助于确定要应用的合适的解决方案模式。我们提供了来自各行各业的示例业务问题。最后，关于每个组件和模式，我们给出了提供了相关功能的产品。 第 1 部分将介绍如何对大数据进行分类。本系列的后续文章将 介绍以下主题： ?定义大数据解决方案的各层和组件的逻辑架构 ?理解大数据解决方案的原子模式 ?理解用于大数据解决方案的复合（或混合）模式 ?为大数据解决方案选择一种解决方案模式 ?确定使用一个大数据解决方案解决一个业务问题的可行性?选择正确的产品来实现大数据解决方案 依据大数据类型对业务问题进行分类 业务问题可分类为不同的大数据问题类型。以后，我们将使用此类型确定合适的分类模式（原子或复合）和合适的大数据解决方
大数据咨询方法论白皮书
大数据咨询方法论白皮书Big Data Consultancy White Book
Catalogue 目录 大数据咨询的时代背景1 大数据咨询的定义和需求来源5大数据咨询的核心特征和挑战7大数据咨询的核心方法论9 大数据咨询工具：360o数据管家17 奇点云大数据咨询探索与实践19
大数据咨询的 时代背景 智能经济成为经济发展的新引擎 数字经济尚方兴未艾，智能经济却已经大步而来。 2019年政府工作报告，正式提出了「智能+」战略：「深化 大数据、人工智能等研发应用。打造工业互联网平台，拓展 “智能+”，为制造业转型升级赋能。」2019年5月，在全 球智慧物流峰会上，阿里巴巴CEO张勇也喊出了「数 智化」的口号：「未来的物流一定是从数字化到数智化，数智 世界将是我们共同面临的时代。」 人工智能（A I）将成为经济发展新引擎，已经成为全行业的 共识。普华永道报告认为，到2030年时，A I对全球经济的 贡献将高达15.7万亿美元，这超过了目前中国和印度的经 济总量之和；埃森哲分析报告称，2035年，A I将帮助人类 经济年增长率翻番；麦肯锡发布《人工智能对全球经济的影响》 报告，认为未来10年A I为全球G D P将贡献1.2%增 数据中台成为数字化转型的基础设施 数据中台演进的四个阶段 1
2 大数据咨询方法论白皮书 随着越来越多的企业上云，如何更好地利用云计算、大数 据和人工智能的力量就成为了他们探索的主题。要如何通 过技术来赋能企业数字化转型？如何让技术投入产生业务价值？是否需要调整组织？企业提出了越来越多的问题。 「数据中台」，狭义上，就是解决这一系列问题的基础设 施。 2018年以来，随着阿里巴巴双中台架构的普及，越来 越多的 企业把中台视为面向未来的企业进化必经之路，开 始寻求数据中台服务公司的帮助。2019年，甚至可以称为 数据中台 元年。 数据问题成为数字化转型的关键问题 随着企业把越来越多的业务和流程搬上云，以及使用了新 的 数字技术进行研发、生产、制造和销售领域的革新，数据问题 开始大量暴露出来。 统计口径不一致导致的数据质量问题；采集技术问题导致采集的数据一半是空值；缺乏实时计算能力，不能提供实 时数 据，导致管理的滞后性；数据分析和调研严重滞后于业务进 展，不能实时决策…… 数据问题已经成为企业数字化转型的关键问题，数据资产 将成为企业核心的战略资产。只有数据问题被解决，企业 才能真正实现数字化转型。 2019年9月，联合国发布了最新的《数字经济报告》，报告认为，数字经济扩张的驱动因素是数字数据和数字平台， 「在收集使用和分析大量数字数据的能力推动下，数字经 济继续以极快的速度发展」。 从全人类的角度来看，2015年是数据增长的里程碑。2015 年一年产生的数据量，是人类过去历史上产生的数据量 的 总和。从2015年之后，人类的数据量进入指数级增长， 每年增长40%-50%。 随着数据量的增长，一个全新的「数据价值链」开始浮 现。从数据采集、数据存储到数据治理再到数据应用，数 据生产进入了全新的「数据工业时代」，海量非结构化的 数据被结构化，从日志数据到视图声数据，人类开始以全 新的数据视角审视这个世界。 并且，越来越多的数据产品、越来越多的数据生态开始在 这个过程中被创造出来，商业数据、社会数据、政府数据 前所未有地交融在一起，为人类创造新的价值。 Information Created Worldwide = 180 160 140 120 100 80 Expected to Continue Accelerating % Structured/Tagged 2015年之后，人类社会的数据 量每年增长40%-50%。 2020: 过去历史上产生的数据量的总和。 2015: 12 ZB, 9% 2010: 2005: 2015年一年产生的数据量，是人类 Z e t a b t y t e s (Z B )