新技术基础知识介绍——大数据
新技术基础知识介绍——大数据[优质ppt]
![新技术基础知识介绍——大数据[优质ppt]](https://img.taocdn.com/s3/m/50b6bfda7c1cfad6195fa78f.png)
更好
不是因果关系而是相关关系，大 数据的核心是预测，相关关系是 大数据预测的关键，揭示“是什
么”，而不是“为什么”
来源：维克托·迈尔-舍恩伯格,英，数据科学的技术权威 13
典型事例，对相关性的追求
佛教关于因果报应的解释
哲学范畴的因果关系
舍恩伯格对大数据的相关性解释
佛教《三世因果经》主要讲：一是人的命是自己造就的； 原因和结果是揭示客观世界中普遍联系着的事物具有
A：人工智能
B：区块链
C：云
D：大数据
IoT：物联网
• 智能制造、供应链 • 智能财务、HR • 智能营销 • • 数字资产
• 外部协同在云端 • 内部协同在云端 • 信息存储在云端 • 基础设施在云端
• 大数据市场分析 • 大数据精准营销 • 大数据精细管理 • 大数据智能决策
二是怎样为自己造一个好命；三是行善积德与行凶作恶 先后相继、彼此制约的一对范畴。原因是指引起一定
干坏事的因果循环报应规律。
现象的现象，结果是指由于原因的作用而引起的现象。
10
不同认知角度的大数据定义
原始版本
大数据技术
用以区分数据
“信号”数据
暗数据
新瓶装旧酒
以大数据的三个特 征数量（Volume） 种类（Variety） 速度（Velocity） 定义大数据，是最 为人所知，且被公 认的一种。
我们除了面对更大 量（Volume）更多 种类（Variety）、 更快速（Velocity） 的数据以外，一批 新技术应运而生， 尤其是用以存储和 处理数据的开源技 术，如Hadoop、 NoSQL等。 学习和使用这些技 术和工具，需要一 个有别于传统技术 的名称，最终，将 其称为“大数据”。
大数据基础知识入门
大数据基础知识入门大数据是当今社会不可忽视的重要组成部分，其对商业、科学、医疗等领域都产生了深远的影响。
作为一门新兴的技术和概念，了解大数据的基础知识是非常重要的。
本文将介绍大数据的定义、特征以及其在不同领域的应用。
一、大数据的定义大数据指的是规模巨大、类型繁多且产生速度快的数据集合。
传统的数据处理技术已经无法胜任大数据的处理任务，因此需要新的技术和工具来帮助分析处理大数据。
二、大数据的特征1. 三个V：大数据的特征可以用“三个V”来概括，即Volume（数据量大）、Velocity（数据产生速度快）和Variety（数据类型多样化）。
2. 可信度低：由于大数据的多样性和复杂性，数据的质量和可信度往往较低，需要进行数据清洗和处理。
3. 快速决策：大数据的处理速度非常快，可以帮助决策者更快地做出准确的决策。
三、大数据的应用1. 商业领域：大数据在商业领域的应用非常广泛。
通过对大数据的分析，企业可以更好地了解消费者的需求，优化产品设计，并制定更精确的市场营销策略。
2. 科学研究：大数据在科学研究中扮演着重要角色。
科学家可以通过对大数据的分析来发现规律、预测趋势，并进行更深入的研究。
3. 医疗健康：大数据在医疗健康领域的应用不断增加。
医疗机构可以通过大数据分析来改进临床治疗，预防疾病，并提供个性化的医疗服务。
4. 城市管理：大数据在城市管理中的应用可以提高城市的智能化程度。
例如，通过对大数据的分析，城市可以更好地优化交通流量、提高能源利用效率等。
四、大数据处理工具和技术为了更好地处理和分析大数据，许多工具和技术得到了广泛应用。
以下列举几种常用的大数据处理工具和技术：1. Hadoop：是一个开源的大数据处理框架，能够高效地存储和处理大规模数据。
2. Spark：是一种快速、通用的大数据处理引擎，具有高效的内存计算能力。
3. NoSQL数据库：与传统的关系数据库相比，NoSQL数据库具有更好的横向扩展性和性能表现，适用于大数据存储和查询。
大数据的基础知识
大数据的基础知识大数据是指规模庞大，传统数据库处理能力无法胜任的数据集合。
随着互联网和移动设备的普及，全球每天都在产生大量的数据，这就需要一种全新的技术和方法来处理这些大规模的数据集合。
在这篇文章中，我们将深入探讨大数据的基础知识，包括大数据的定义、特征、处理技术、应用领域以及未来发展趋势等方面。
一、大数据的定义和特征1.定义：大数据可以简单地理解为规模庞大的数据集合。
通常情况下，大数据是指由传感器、移动设备、社交媒体等各种渠道采集得到的数据，这些数据可能包含结构化数据、半结构化数据和非结构化数据。
大数据的特点在于数据量大、数据来源复杂、数据类型多样等。
2.特征：大数据的特征主要包括四个方面：即量大、速度快、多样化和价值密度低。
量大指的是数据集合的规模非常庞大，常常是以亿计或甚至更多；速度快指的是数据的产生速度很快，需要实时或近实时的处理能力；多样化指的是大数据可能包含结构化、半结构化和非结构化数据，这些数据类型可能会混合在一起；价值密度低则表示数据中包含很多无用的信息，需要进行筛选和加工才能提取有用的信息。
二、大数据的处理技术1.存储技术：传统的关系型数据库在处理大数据时会遇到存储能力不足的问题，因此出现了一系列新的存储技术，比如分布式文件系统（HDFS）、NoSQL数据库（MongoDB、Cassandra等）和内存数据库（Redis、Memcached等）等。
2.处理技术：由于大数据的处理需要大规模的并行计算和分布式处理，因此出现了一系列用于大数据处理的技术和框架，比如MapReduce、Spark、Hadoop等。
3.分析技术：大数据分析通常涉及数据挖掘、机器学习、统计分析等技术，这些技术需要用到各种算法和工具，比如K-means、支持向量机、随机森林等。
三、大数据的应用领域1.金融行业：金融行业是大数据应用的一个典型领域，在金融行业，大数据可以应用于风险管理、反欺诈、智能投资、智能营销等方面。
大数据基础知识
大数据基础知识
随着互联网和智能化时代的到来，大数据已成为人们研究和开发新技术、新产品的重要工具和基础。
那么，什么是大数据？大数据有哪些特点？大数据的应用有哪些？让我们一起来学习大数据的基础
知识。
一、什么是大数据？
大数据是指数据量巨大、类型复杂、处理速度快的数据集合。
通常，大数据的数据量在TB或PB级别，而且受众范围广泛，包括企业、政府、科研机构等。
二、大数据的特点
1.数据量大：大数据的数据量通常在TB或PB级别，远远超过传统数据处理的能力。
2.类型复杂：大数据包括结构化数据、半结构化数据和非结构化数据，数据类型多样，难以分析。
3.处理速度快：大数据的处理速度需要快速高效，否则难以满足实时处理的要求。
4.价值高：大数据中蕴含着重要的商业价值、科研价值和社会价值，可以帮助企业、政府等机构做出更好的决策。
三、大数据的应用
1.商业智能：通过大数据的分析，企业可以了解市场需求、产品趋势、竞争对手等商业信息，为业务决策提供支持。
2.营销策略：利用大数据分析，企业可以更有效地实施精准营销，
提高营销效率和效果。
3.医疗健康：大数据可以帮助医疗机构进行疾病预测、诊断和治疗，提升医疗效率和健康水平。
4.公共服务：政府可以利用大数据分析提高公共服务的效率和质量，如城市交通管理、环境保护、安全监控等。
总之，大数据是当今时代的重要资源，具有广泛的应用前景和商业价值。
掌握大数据的基础知识，可以更好地把握时代机遇，实现个人和企业的发展。
大数据基础知识点
大数据基础知识点一、什么是大数据随着互联网的快速发展和各种智能设备的普及，人们产生的数据呈现爆炸式增长的趋势。
这些数据体量庞大、种类繁多，涵盖了各个领域的信息。
大数据就是指这些海量、高速、多样化的数据集合，它们对于传统的数据处理技术和工具来说存在着无法处理的挑战。
因此，大数据的处理和分析是当今科技领域的热点问题。
二、大数据的特点1. 体量巨大：大数据的体量往往以PB（1PB=1024TB=1048576GB）或EB（1EB=1024PB）为单位，远远超过了传统数据处理的能力范围。
2. 高速性：大数据的产生速度非常快，要求对数据进行及时的采集、存储和分析。
3. 多样性：大数据涵盖了结构化数据、半结构化数据和非结构化数据，包括文本、图像、音视频等多种形式。
4. 来源广泛：大数据的来源多样，包括社交媒体、传感器、移动设备等各种渠道。
三、大数据的应用领域1. 金融行业：大数据可以用来进行风险评估、信用评分、个性化推荐等，提供精准的金融服务。
2. 医疗行业：大数据可以用来进行疾病预测、基因分析、医疗资源优化等，提高医疗效率和质量。
3. 零售行业：大数据可以用来进行消费者行为分析、商品推荐、供应链管理等，提升销售业绩和客户满意度。
4. 交通运输行业：大数据可以用来进行交通流量预测、路况优化、智能导航等，提高交通效率和安全性。
5. 媒体行业：大数据可以用来进行内容推荐、舆情监测、营销策划等，增强媒体的影响力和竞争力。
四、大数据的处理方法1. 数据采集：通过各种方式收集数据，包括传感器、网络爬虫、日志文件等。
2. 数据存储：将采集到的数据存储到分布式文件系统（如Hadoop）或数据库中，以便后续处理和分析。
3. 数据清洗：对数据进行清理和去重，排除无效的数据和异常值，保证数据的质量和准确性。
4. 数据分析：通过数据挖掘、机器学习等方法，对数据进行统计分析和模式识别，以发现隐藏在数据中的规律和趋势。
5. 数据可视化：通过图表、图像等形式，将分析结果以直观的方式展示出来，帮助用户理解和利用数据。
大数据基础知识
大数据基础知识在当今数字时代，数据变得异常庞大和复杂，为了应对这样的挑战，大数据技术应运而生。
大数据指的是规模之大以至于传统的数据处理工具无法处理的数据集合。
对于许多人来说，大数据可能是一个陌生的概念，因此本文将介绍一些大数据的基础知识，希望能为读者提供一个全面的了解。
一、大数据的定义大数据的定义可以从不同的角度进行解释。
从技术层面来看，大数据是指具有极大体积、复杂性和多样性的数据集合，这些数据需要进行高效的处理和分析以从中发现有价值的信息。
此外，大数据还具有高速性和实时性，即数据的快速产生和处理。
从应用层面来看，大数据可用于各种领域，如金融、医疗、电子商务等。
通过对大数据的分析，企业可以深入了解市场趋势、消费者行为并作出相应决策，从而提高效率和竞争力。
二、大数据的特点大数据有以下几个典型的特点：1. 体积大：大数据的数据量通常以TB、PB甚至EB为单位，远远超过个人电脑或传统数据库的处理能力。
2. 多样性：大数据来自不同的来源，包括结构化数据（如关系数据库）、半结构化数据（如日志文件）和非结构化数据（如文本、图像和音频等），并且以不同的格式呈现。
3. 速度快：大数据的产生速度极快，企业需要实时处理和分析数据以及做出快速决策。
4. 真实性：大数据的真实性是指数据必须准确无误，并且具有可靠性和可信度。
三、大数据的处理和分析针对大数据的处理和分析，一般有以下几个步骤：1. 数据采集：大数据的采集可以通过传感器、网络爬虫、日志文件等方式进行。
为了确保数据的质量和准确性，采集过程需要遵循一定的规范和标准。
2. 数据存储：大数据的存储一般采用分布式文件系统，如Hadoop 和HDFS。
这些系统能够高效地存储和管理大量的数据。
3. 数据清洗：由于大数据的多样性和来源的不同，其中可能会包含一些无效或冗余的数据。
因此，为了减少误差和提高分析的准确性，在进行数据分析之前需要对数据进行清洗和预处理。
4. 数据分析：数据分析是对大数据进行挖掘和发现有价值信息的过程。
大数据知识点总结
大数据知识点总结在当今信息时代，大数据无疑是一项异常重要的技术。
随着社会的快速发展，大数据已经成为了企业经营的核心竞争力之一。
本文将对大数据的知识点作一个简单总结。
一、概述大数据是什么？所谓大数据，是指数据规模庞大、形态多样、处理复杂度高的一类数据。
这些数据可能来自各种数据源，并且数据的类型非常复杂，包括数字、音频、视频、文本等多种形式。
而大数据技术，则是指用新型的数据处理和分析方法来提取出有用的信息，以更好地支持决策和创新。
二、大数据的主要技术1. 数据采集技术数据采集是大数据领域中非常重要的技术，由于大数据的规模非常庞大，必须采用分布式数据采集技术。
目前常见的数据采集技术有网络爬虫、API、抓包等等。
2. 大数据存储技术存储是大数据处理的重要环节之一。
常见的大数据存储技术有Hadoop、Ceph、MongoDB等。
3.数据处理技术数据处理是大数据技术中最核心的技术。
大数据处理技术主要包括数据清洗、数据分析、数据挖掘和机器学习。
4. 大数据可视化技术数据可视化是将数据以图形化形式呈现，目的是让数据更容易被理解和分析。
常见的大数据可视化软件有Tableau、PowerBI、Metabase 等。
三、大数据的应用1. 金融领域在金融领域，大数据技术可以被用于风险管理、交易分析等方面。
2、电商领域在电商领域，大数据技术可以被用于解决个性化推荐、商品价格优化、用户行为分析等方面。
3、医疗领域在医疗领域，大数据技术可以被用于数据挖掘、疾病预测、精准医疗等。
四、发展趋势1. 云计算加速普及云计算技术的发展加速了大数据的普及，同时也为大数据提供了更加便利的分布式计算环境。
2. 数据安全和隐私保护数据安全和隐私保护是大数据技术发展的重要问题，未来大数据技术的发展方向之一就是保护数据隐私和安全。
3. 人工智能技术的融合人工智能技术和大数据技术的融合将成为未来的一个重要方向，这将会有助于更好地服务于人类社会。
总之，大数据技术是信息时代中一门非常重要的技术。
大数据入门知识总结
大数据入门知识总结随着互联网与技术的不断发展，大数据的重要性逐渐凸显。
大数据可以帮助企业获取市场洞察，提高产品体验，优化业务流程等，因此大数据技术已经成为众多企业追逐的目标。
但是对于普通人来说，大数据似乎是一项高深的技术，很难入门。
本文将介绍大数据的入门知识，帮助读者理解大数据的基本概念和应用。
一、什么是大数据大数据是指数据量巨大、处理时间长、数据种类繁多的数据集合。
随着互联网、移动设备和传感器等技术的发展，人们每天创造的数据量越来越大，因此大数据越来越受到人们的关注。
大数据具有三个特点：①数据量巨大：数据的总量通常是以GB、TB、PB等计量单位来衡量的；②数据种类繁多：大数据集合涵盖了结构化数据和非结构化数据等多种数据类型；③处理时间长：大数据需要使用分布式计算等技术来完成数据处理工作。
二、大数据技术为了处理大规模的数据集合，人们发明了大数据技术。
大数据技术主要包括以下三项：1. 分布式存储系统分布式存储系统是大数据处理的核心技术之一。
分布式存储系统可以将数据分散存储在多个节点中，从而提高数据处理效率。
目前比较流行的分布式存储系统包括Hadoop分布式文件系统(HDFS)、GlusterFS等。
2. 分布式计算系统大数据处理需要使用高效的计算系统来完成数据处理任务。
分布式计算系统可以将数据并行计算，从而提高数据处理效率。
目前比较流行的分布式计算系统包括MapReduce、Spark等。
3. 数据分析平台数据分析平台可以帮助人们进行数据挖掘、数据分析等工作。
目前比较流行的数据分析平台包括Hive、Pig等。
三、大数据应用大数据技术可以应用于各个行业。
以下是大数据应用的一些案例：1. 金融行业大数据技术可以帮助银行、保险公司等金融机构进行风险控制、营销分析等工作。
比如，银行可以借助大数据技术分析客户的信用记录、交易记录等数据，从而判断客户的信用风险。
2. 零售行业大数据技术可以帮助零售企业进行市场洞察、商品定价等工作。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
更多
不是随机样本而是全部数据，
么”，而不是“为什么”
技术发展，让我们处理所有
更多的数据成为可能。
来源：维克托·迈尔-舍恩伯格,英，数据科学的技术权威
13
典型事例，对相关性的追求
佛教关于因果报应的解释
哲学范畴的因果关系
舍恩伯格对大数据的相关性解释
佛教《三世因果经》主要讲：一是人的命是自己造就的； 原因和结果是揭示客观世界中普遍联系着的事物具有 二是怎样为自己造一个好命；三是行善积德与行凶作恶 先后相继、彼此制约的一对范畴。原因是指引起一定 现象的现象，结果是指由于原因的作用而引起的现象。 干坏事的因果循环报应规律。
速率 Velocity
多样 Variety 价值 Value
12
大数据思维区别于传统思维，其精髓在于数据分析方法的3个转变 更杂
不是精确性而是混杂性， 在大数据
环境中，更重要的是发现事物变化 的趋势，在一定程度上，不追求数 据的精度。
更好
不是因果关系而是相关关系，大 数据的核心是预测，相关关系是 大数据预测的关键，揭示“是什
第三方数据
标 杆 经 营 数 据 用 户 信 息 行 业 参 考 信 息
自 动 化 设 备
订 单 交 付 体 系
渠 道 运 营 与 门 店
经 销 商 体 系
门 店 体 系
电 商 与 微 店
O 2 O 平 台
大数据解决方案示例
数据采集 元数据管理 Sources
业务系统 ODS
数据流
规则
数据存储
模型
实际上，今天业界在谈大数据时，更多是指：在大规模数据的基 础之上，可以做到的事情，而这些事情在小规模数据的基础上是 无法完成的。 --大数据现已成为人们获得新的认知、创造新的价值的途径 --大数据时代对我们的思维方式提出了挑战
实时信息
来自新技术的数据 非传统形式的媒体 大数据量 最新流行词 社交媒体数据
新技术基础知识介绍
1
2016年，AlphaGo战胜李世石
22017年7月，李彦宏实战无人驾驶3无人超市一夜之间出现在大街小巷
4
今天，我们的“吓尿指数”已经不超过三十年
5
从企业角度来看，科技类企业正在成为商业的主角
单位：10亿美元
6
企业必须要依托新技术展开数字化转型，否则必将面临挑战
业绩落后企业
我们除了面对更大 量（Volume）更多 种类（Variety）、 更快速（Velocity） 的数据以外，一批 新技术应运而生， 尤其是用以存储和 处理数据的开源技 术，如Hadoop、 NoSQL等。 学习和使用这些技 术和工具，需要一 个有别于传统技术 的名称，最终，将 其称为“大数据”。
从技术角度定义 “大数据”难免模 糊，人们也尝试着 从业务角度来定义 “大数据”，用以 区分数据。 一种分类是交易、 互动、观察。 另一种分类是流程、 人、机器。
11
大数据的典型特征（4V）
规模 Volume
• 企业充斥着日益增长的各种类型的数据，很容易积累出TB级别，甚至PB级 别的信息数据。 • 将每天12TB的Twitter数据用于提高产品的顾客情绪分析。 • 将每年3500亿的智能电表读数用于预测用电量。
• 有时候，2分钟也意味着太长了。针对时间敏感的进程，例如油井泄漏，大 数据被用做数据流的形式以提高它的价值。 • 审查每天5百万的交易活动用以确定潜在的欺诈行为。 • 实时分析每天5亿次的通话记录用以更快的分析及预测客户的流失。 • 大数据包括任何结构化的、非结构化类型的数据，例如：文本、传感器数据、 音频、视频、点击流量以及日志文件等等。综合分析这些数据，有利于提高 企业的洞察力。 • 从成千上万个实时监控摄像头中发现价值信息点。 • 以80％的数据，图像，视频和文件增长的优势，提高客户满意度。 • 随着物联网的广泛应用，信息感知无处不在，信息的获取成几何式增长，但 价值密度较低。 • 通过使用先进的技术能更迅速地完成数据的价值“提纯”，大浪淘沙却弥足 珍贵。
大数据精细管理
大数据智能决策
产业互联
OMO
8
技术
A：人工智能 B：区块链 C：云计算 D：大数据 IoT：物联网
D
9
大数据的定义，随着技术的发展不断演进
定义大数据
更广的信息范围 新的数据与分析类型
Wiki百科：大数据是指一个超大的、难以用现有常规的数 据管理技术和工具处理的数据集。 研究机构（Gartner）：大数据是需要新的处理模式，才能 具有更强的决策力、洞察力和流程优化能力的，海量、高 增长率和多样化的信息资产。 IDC报告：大数据技术描述了一种新一代技术和构架，用于 以很经济的方式、以高速的捕获、发现和分析技术，从各 种超大规模的数据中提取价值 。 咨询公司：大数据是在互联网、云计算、移动、社交等技 术飞速发展的背景下，产生的需要新的技术和能力才能经 济地处理的，具有规模大、速度快、多样性及价值密度低 等特点的各类数据资产。
研发新产品 (产品/品牌创新) 获取新用户 (渠道/营销创新) 降低成本 (价格策略创新) 提高客户忠诚度 (服务创新) 加强风险管控 (风险防范创新)
产品市场细分
渠道创新 与交叉销售 降低决策成本 实现流程优化 用户个性化 分析与服务
1. 2. 3. 4. 市 场 吸 引 力
舆情监测及分析系统 大情报系统 平安城市 快速险情或疾病应急系统 物 流
电子商务
政府公 共服务
电 信 交通 医疗
1. 2. 3. 4.
客户购买行为分析 交叉销售 品牌定价策略分析 销售效果分析
1. 在线教育效果分 析 2. 大学生情绪分析 教 育
风险预测与防范
1. 2. 3. 4.
1. 电子健康档案管 智能交通和道路监控管理 理 客票和客户管理 2. 疾病预防和控制 货运和物流管理 3. 自动化诊断和处 航空/铁路智能线路调度 理系统 应用成熟度
数据采集交换层 Spider 数据源层
数据源
数据采集
数据传输
数据交换
开发运维
Storm
FTP
CDC
压缩解压缩
Sqoop
Flume
Web Services
MQ
Kafka
工具支撑 ……
结构化数据
数据源
数据源 数据源
非结构化数据
……
数据源
数据源
……
18
数据 存储
数据解析 如采用自 然语言处 理、语音 识别、图 像识别
大数据平台
经营 数据 基础 信息 交易 信息 行为 信息
数字化场景
企业经营数据
E R P 信 息
16
全渠道数据
协 同 工 作 平 台
社交平台数据
第 三 方 电 商 …… 社 交 媒 体 与 视 频 论 坛 与 贴 吧 搜 索 与 地 图 ……
从商业价值角度更 为直接的定义： 传统的事务性数据， 当我们记录下他们 的时候，要做什么/ 改变什么已经太晚 了（它已经发生）。 现今，企业可以利 用新的“信号 （Signal）”数据， 预测什么将要发生， 而因此早些做出改 进。
先前由于技术限制 这是最为懒惰和偏 而被我们忽略或无 激的一种定义。认 法进行的数据分析。 为“大数据”只是 或将其称为“暗数 将原有的BI分析或 据”（Dark Data）。商业智能重新冠以 了一个高大上的名 字。本质没有区别。
大数据的相关关系，而不强调因果关系；（舍恩伯 格），其实这个只是一种对无法探究因果的妥协，人 类应该去探寻因果，因为世界存在客观的运转规律；
14
大数据的典型行业应用
大数据典型行业应用
市场吸引力：金融、电子商务、物流、政府公共服务数据较高； 企业业务 大数据的作用 应用成熟度：金融、电子商务、电信、医疗最高。 1. 深度分析型CRM 2. 防欺诈和金融风险管 理 3. 根据客户建议优化业 务 4. 风险可控的产品组合 管理 金融
数据发现
数据可视化
数据追溯
决策支持
业务数据字典
数据湖 数据仓库
实时
商业智能 / 数据可视化
信息模型 基础层
集成化的主 题模型与数 据
报表 仪表盘 即席分析 与查询 BI 服务
渠道
CRM ERP 主数据 社交互联源系统保持近实 时数据同步，一体 化模型
访问与汇总 层
HDFS
Streams
迭代 式计 算与 机器 学习
分类、预测、聚类 、时序分析等监督 与无监督学习 多维度、大时间跨 度范围的数据筛选 对比、处理
YARN
MongoDB
生命周期
作业调度 管理
存储 管理
非结构/半结构/结构化数据
存储 管理
关系化、结构化宽表数据
存储 管理
NoSQL类数据
索引数据/其他应用数据
Spark
应用数据区（高性能实时访问）
HBase
资源 管理
HBase
资源 管理
Impala 存储 管理
结构化、关系化数据 基础层、汇总层、 指标数据
YARN
批量 数据 处理 计算
处理非结构化数 据，抽取结构化信 息、构建索引 结构化与非结构化 数据的整合、处理
Hadoop
资源 管理
YARN
YARN
HDFS
A：人工智能
B：区块链
C：云
D：大数据
IoT：物联网
• • • •
智能制造、供应链 智能财务、HR
• • • •
智能合约 共享账本
• • • •
外部协同在云端 内部协同在云端
• • • •
大数据市场分析 大数据精准营销
• • • •
人-机互联 工业互联
智能营销
智能决策
鉴证证明
数字资产