大数据的关键技术(PPT 51张)
合集下载
大数据技术及应用简介PPT课件
41
随机样本划分的数据块分布
42
大数据逼近式集成学习计算框架
子集Ɗ 子集Ɗ 子集Ɗ
大数据 Ɗ
子集Ɗ
子集Ɗ 子集Ɗ 子集Ɗ
子集Ɗ
计算操作
大数据划分 子集抽样
子集Ɗ
子模型
返回计算新 一批子模型
子集Ɗ
子模型
集成模型Π
子集Ɗ
子模型
子集Ɗ
子模型
子模型计算
子模型加入 Π + {πj´}
集成模型测试 输出模型Π
区域智能数据中心
支持多种终端访问
区域智能数据中心
46
大数据分析平台集群
47
支撑海量数据处理 、
挖掘与分析运算
云计算引擎
Open API
提供数据挖掘平台 与第三方应用系统
的扩展接口
关键技术
数据处理分析流程图形 化
设计数据处理分析流程 自动执行资源调度及优
化 工作流引擎
大数据分析平台
提供海量复杂数据 处理、分析与挖掘
14
• 人工采集
数据采集 • 自动化采集
数据 采集
数据 存储
数据 处理
分析 挖掘
应用
15
中央磁盘存储
数据存储
云存储
数据 采集
数据 存储
数据 处理
分析 挖掘
应用
16
数据处理、转换和融合
数据 采集
数据 存储
数据 处理
分析 挖掘
应用
17
关联分析
数据分析与挖掘
分类模型
聚类分析
数据 采集
数据 存储
数据 处理
基础性战略资源，全面实施促进大数据发展行动，加快推动 数据资源共享开放和开发应用。建设国家大数据平台、数据 中心等基础设施。
随机样本划分的数据块分布
42
大数据逼近式集成学习计算框架
子集Ɗ 子集Ɗ 子集Ɗ
大数据 Ɗ
子集Ɗ
子集Ɗ 子集Ɗ 子集Ɗ
子集Ɗ
计算操作
大数据划分 子集抽样
子集Ɗ
子模型
返回计算新 一批子模型
子集Ɗ
子模型
集成模型Π
子集Ɗ
子模型
子集Ɗ
子模型
子模型计算
子模型加入 Π + {πj´}
集成模型测试 输出模型Π
区域智能数据中心
支持多种终端访问
区域智能数据中心
46
大数据分析平台集群
47
支撑海量数据处理 、
挖掘与分析运算
云计算引擎
Open API
提供数据挖掘平台 与第三方应用系统
的扩展接口
关键技术
数据处理分析流程图形 化
设计数据处理分析流程 自动执行资源调度及优
化 工作流引擎
大数据分析平台
提供海量复杂数据 处理、分析与挖掘
14
• 人工采集
数据采集 • 自动化采集
数据 采集
数据 存储
数据 处理
分析 挖掘
应用
15
中央磁盘存储
数据存储
云存储
数据 采集
数据 存储
数据 处理
分析 挖掘
应用
16
数据处理、转换和融合
数据 采集
数据 存储
数据 处理
分析 挖掘
应用
17
关联分析
数据分析与挖掘
分类模型
聚类分析
数据 采集
数据 存储
数据 处理
基础性战略资源，全面实施促进大数据发展行动，加快推动 数据资源共享开放和开发应用。建设国家大数据平台、数据 中心等基础设施。
新技术基础知识介绍——大数据[优质ppt]
![新技术基础知识介绍——大数据[优质ppt]](https://img.taocdn.com/s3/m/50b6bfda7c1cfad6195fa78f.png)
据的精度。
更好
不是因果关系而是相关关系，大 数据的核心是预测，相关关系是 大数据预测的关键，揭示“是什
么”，而不是“为什么”
来源：维克托·迈尔-舍恩伯格,英，数据科学的技术权威 13
典型事例，对相关性的追求
佛教关于因果报应的解释
哲学范畴的因果关系
舍恩伯格对大数据的相关性解释
佛教《三世因果经》主要讲：一是人的命是自己造就的； 原因和结果是揭示客观世界中普遍联系着的事物具有
A：人工智能
B：区块链
C：云
D：大数据
IoT：物联网
• 智能制造、供应链 • 智能财务、HR • 智能营销 • • 数字资产
• 外部协同在云端 • 内部协同在云端 • 信息存储在云端 • 基础设施在云端
• 大数据市场分析 • 大数据精准营销 • 大数据精细管理 • 大数据智能决策
二是怎样为自己造一个好命；三是行善积德与行凶作恶 先后相继、彼此制约的一对范畴。原因是指引起一定
干坏事的因果循环报应规律。
现象的现象，结果是指由于原因的作用而引起的现象。
10
不同认知角度的大数据定义
原始版本
大数据技术
用以区分数据
“信号”数据
暗数据
新瓶装旧酒
以大数据的三个特 征数量（Volume） 种类（Variety） 速度（Velocity） 定义大数据，是最 为人所知，且被公 认的一种。
我们除了面对更大 量（Volume）更多 种类（Variety）、 更快速（Velocity） 的数据以外，一批 新技术应运而生， 尤其是用以存储和 处理数据的开源技 术，如Hadoop、 NoSQL等。 学习和使用这些技 术和工具，需要一 个有别于传统技术 的名称，最终，将 其称为“大数据”。
更好
不是因果关系而是相关关系，大 数据的核心是预测，相关关系是 大数据预测的关键，揭示“是什
么”，而不是“为什么”
来源：维克托·迈尔-舍恩伯格,英，数据科学的技术权威 13
典型事例，对相关性的追求
佛教关于因果报应的解释
哲学范畴的因果关系
舍恩伯格对大数据的相关性解释
佛教《三世因果经》主要讲：一是人的命是自己造就的； 原因和结果是揭示客观世界中普遍联系着的事物具有
A：人工智能
B：区块链
C：云
D：大数据
IoT：物联网
• 智能制造、供应链 • 智能财务、HR • 智能营销 • • 数字资产
• 外部协同在云端 • 内部协同在云端 • 信息存储在云端 • 基础设施在云端
• 大数据市场分析 • 大数据精准营销 • 大数据精细管理 • 大数据智能决策
二是怎样为自己造一个好命；三是行善积德与行凶作恶 先后相继、彼此制约的一对范畴。原因是指引起一定
干坏事的因果循环报应规律。
现象的现象，结果是指由于原因的作用而引起的现象。
10
不同认知角度的大数据定义
原始版本
大数据技术
用以区分数据
“信号”数据
暗数据
新瓶装旧酒
以大数据的三个特 征数量（Volume） 种类（Variety） 速度（Velocity） 定义大数据，是最 为人所知，且被公 认的一种。
我们除了面对更大 量（Volume）更多 种类（Variety）、 更快速（Velocity） 的数据以外，一批 新技术应运而生， 尤其是用以存储和 处理数据的开源技 术，如Hadoop、 NoSQL等。 学习和使用这些技 术和工具，需要一 个有别于传统技术 的名称，最终，将 其称为“大数据”。
大数据技术特点PPT课件
大数据的4V特性
体量Volume 多样性Variety 价值密度Value 速度Velocity
非结构化数据的超大规模和增长 总数据量的80~90% 比结构化数据增长快10倍到50倍 是传统数据仓库的10倍到50倍
大数据的异构和多样性 很多不同形式（文本、图像、视频、机器数据） 无模式或者模式不明显 不连贯的语法或句义
ZooKeeper
一个分布式的、高可用的协调服务。 Zookeeper提供分布式锁之类的基本服务用于 构建分布式应用。
Hive
分布式数据仓库。Hive管理HDFS中存储的数 据，并提供基于SQL的查询语言用以查询数据。
6
大数据涉及的关键技术
需求
大
海量数据分布式处理
数
据
采
非结构化数据处理
集
处
理
实时数据处理
大 数
可视化交互界面
据
分
智能数据分析
析
存储、 组织、 管理
数据隐私保护 高效存储和管理大规 模数据
关键技术
Hadoop 生态系统
文本处理技术；自然 语言理解； 多媒体处 理技术… Streaming Data 交互式可视化探 索分析技术 大规模机器学习 技术
数据隐私防范保 护措施与数据安 全技术 数据存储备份技术、 数据放置和调度技术、 数据溯源
.
2
Variety 多样性
•企业内部的经营交易信息;物联网世界中商品,物流信息;互联网世界中人与人交互 信息,位置信息等是大数据的主要来源.
•能够在不同的数据类型中,进行交叉分析的技术,是大数据的核心技术之一.语义分 析技术,图文转换技术,模式识别技术,地理信息技术等,都会在大数据分析时获得应 用.
体量Volume 多样性Variety 价值密度Value 速度Velocity
非结构化数据的超大规模和增长 总数据量的80~90% 比结构化数据增长快10倍到50倍 是传统数据仓库的10倍到50倍
大数据的异构和多样性 很多不同形式（文本、图像、视频、机器数据） 无模式或者模式不明显 不连贯的语法或句义
ZooKeeper
一个分布式的、高可用的协调服务。 Zookeeper提供分布式锁之类的基本服务用于 构建分布式应用。
Hive
分布式数据仓库。Hive管理HDFS中存储的数 据，并提供基于SQL的查询语言用以查询数据。
6
大数据涉及的关键技术
需求
大
海量数据分布式处理
数
据
采
非结构化数据处理
集
处
理
实时数据处理
大 数
可视化交互界面
据
分
智能数据分析
析
存储、 组织、 管理
数据隐私保护 高效存储和管理大规 模数据
关键技术
Hadoop 生态系统
文本处理技术；自然 语言理解； 多媒体处 理技术… Streaming Data 交互式可视化探 索分析技术 大规模机器学习 技术
数据隐私防范保 护措施与数据安 全技术 数据存储备份技术、 数据放置和调度技术、 数据溯源
.
2
Variety 多样性
•企业内部的经营交易信息;物联网世界中商品,物流信息;互联网世界中人与人交互 信息,位置信息等是大数据的主要来源.
•能够在不同的数据类型中,进行交叉分析的技术,是大数据的核心技术之一.语义分 析技术,图文转换技术,模式识别技术,地理信息技术等,都会在大数据分析时获得应 用.
大数据分析关键技术概述.ppt
Storage
Distribute File System
Column Database
流式计算
实时性：高
流式计算
流数据的实时计算注重对流数据的快速高效处理、计算和分析。其特点是计算过程数据不落地，所有 数据在内存中完成。其计算模型是根据规则生成容器，当数据流经过容器时，实时产生分析结果。
Output Adapter
Column Database
批量处理
实时性：低
批量处理 MapReduce是一种编程模型，用于大规模数据集的并行批量计算。概念Map和Reduce当前的主流
实现是指定一个Map函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce函数，用来保 证所有映射的键值对中的每一个共享相同的键组。
Context包括
• 实例A2异常
• 最终接收事件号
事件输入
• 实例A4新增
• 状态对象
事件路由
接入层
关键步骤1 • 从A1或A3中选择一个实例，如A3
实例 A 1
Context
实例 A 2
异常
实例 A 3
Context
实例 A 4
新增
Context
分析引擎
C 实例1
C 实例2
C 实例3
D 实例4
事件去重
事件分析平台
规则模板 开发IDE
事件元 数据
类SQL规 则语言
Action 元数据
Web规则 模板管理
Web规则 实例配置 与热部署
面向数据 流
基于内存
冷热数据 分离与恢
复
内存状态 数据迁移
集群规模 水平伸缩
事件动态 路由
自动化、图形化运维
大数据技术基础 PPT
2.4.2 数据的存储方式
大数据存储方式
➢ 开放系统的直连式存储(Direct Attached Storage， DAS)
直接连接于主机服务器的 一种储存方式。每一台主机服 务器有独立的储存设备，可以说是一种应用较为早的技 术实现。
DAS缺点： • 效率比较低 • 无法共享 • 数据保护流程复杂
支持Hadoop
2.1.1 Hadoop Hadoop技术架构
•经过多年的发展，Hadoop项目不断完善和成熟，目前已经包含多个子项目（如下图2-2所示） •除了核心的HDFS和MapReduce以外，Hadoop项目还包括Common、Avro、Zookeeper、HBase、Hive、Chukwa、Pig等子项目，它们提供了 互补性服务或在核心层上提供了更高层的服务
个人提供决策和服务，是大数据核心议题，也是云计算的最终方向。
3.数据采集
2.3 数据采集
数据采集：其实就是大数据抽取、转换和加载的过程 数据采集的工具：摄像头、麦克风等都是数据采集的工具。 数据采集的意义：足够的数据量是企业大数据战略建设的基础，数据采集成为大数据分析的前奏。数据采集是大数据价值挖掘中重
Facebook的Scribe
Facebook的Scribe
• Scribe是Facebook开源的日志手机系统，它能够从各种日志源上收集日 志，存储到一个中央存储系统上，以便于进行集中统计分析处理。它为日 志的“分布式收集，统一处理”提供了一个可扩展的，高容错的方案。
Hadoop的Chukwa
• chukwa 是一个开源的用于监控大型分布式系统的数据 收集系统。这是构建在 hadoop 的 hdfs 和 map/reduce 框架之上的，继承了 hadoop 的可伸缩 性和鲁棒性。Chukwa 还包含了一个强大和灵活的工 具集，可用于展示、监控和分析已收集的数据。
大数据及其相关新兴技术ppt课件
4
1、大数据浪潮汹涌澎湃
(2) 大科学工程产生了大数据
• *大型强子碰撞（LHC：Large Hadron Collider）试验：美国大数据研究计划 中专门列出寻找希格斯粒子（被称为“上帝粒子”）的LHC实验。据说至 少要1万亿个事例中才可能找出一个希格斯粒子。在发生碰撞时，LHC检测 器（Detector）在一秒钟内能捕获到其临近0.4亿（40 million）个快照。当 LHC试验时，约有1.5亿个传感器（Sensor）每秒传递数据0.4亿次，大约每 秒近6.0亿碰撞。如果所有的传感器数据均记录在LHC中，则在重复之前每 天将近有500EB（E=1018）数据流量，几乎是世界上所有其他资源的200倍。
计算能力。
5
1、大数据浪潮汹涌澎湃
(3) 新技术新应用催生的大数据
• 新技术：传感技术、新型通信技术、物联网技术等高速发展，让人们感知的东西很 多；人与人、人与机器、机器与机器时刻都在互联互动；新的获取、搜索、发现和 分析工具更使人们获得更丰富的数据。
• 新应用：物联网（使成千上万的网络传感器嵌入到现实世界中）和云计算（为海量 数据提供了存储空间和在线处理）等新型应用更使得数据激增。
• 数据之所以称为大数据，首先是因为其量大（Large Quantity），而量大对不同的 领域的界定也不同；目前，大数据一般典型范围为几十TB（T=1012）到PB （PB=1015），将来会更大。
(2) 大数据的4V定义
大数据可按其大容量、快速率、多样性和高价值等4个“V”进行定义如下：
• Volume（Amount of Data）：大容量
• Value（Usefulness of Data）：高价值
（大海捞针，“在大数据困难面前，不被利用就是成本”）
1、大数据浪潮汹涌澎湃
(2) 大科学工程产生了大数据
• *大型强子碰撞（LHC：Large Hadron Collider）试验：美国大数据研究计划 中专门列出寻找希格斯粒子（被称为“上帝粒子”）的LHC实验。据说至 少要1万亿个事例中才可能找出一个希格斯粒子。在发生碰撞时，LHC检测 器（Detector）在一秒钟内能捕获到其临近0.4亿（40 million）个快照。当 LHC试验时，约有1.5亿个传感器（Sensor）每秒传递数据0.4亿次，大约每 秒近6.0亿碰撞。如果所有的传感器数据均记录在LHC中，则在重复之前每 天将近有500EB（E=1018）数据流量，几乎是世界上所有其他资源的200倍。
计算能力。
5
1、大数据浪潮汹涌澎湃
(3) 新技术新应用催生的大数据
• 新技术：传感技术、新型通信技术、物联网技术等高速发展，让人们感知的东西很 多；人与人、人与机器、机器与机器时刻都在互联互动；新的获取、搜索、发现和 分析工具更使人们获得更丰富的数据。
• 新应用：物联网（使成千上万的网络传感器嵌入到现实世界中）和云计算（为海量 数据提供了存储空间和在线处理）等新型应用更使得数据激增。
• 数据之所以称为大数据，首先是因为其量大（Large Quantity），而量大对不同的 领域的界定也不同；目前，大数据一般典型范围为几十TB（T=1012）到PB （PB=1015），将来会更大。
(2) 大数据的4V定义
大数据可按其大容量、快速率、多样性和高价值等4个“V”进行定义如下：
• Volume（Amount of Data）：大容量
• Value（Usefulness of Data）：高价值
（大海捞针，“在大数据困难面前，不被利用就是成本”）
大数据核心技术PPT
汇报人：XXX时间：XX年XX月
目录/CONTENTS
添加目录一标题 ADD DIRECTORY ONE TITLES 添加目录二标题 ADD DIRECTORY TWO TITLES 添加目录三标题 ADD DIRECTORY THREE TITLES 添加目录四标题 ADD DIRECTORY FOUR TITLES
添加目录一标题
ADD DIRECTORY ONE TITLES
Add a page directory text description content, Add a page directory text description content, Add a page directory text description content, Add a page directory text description content, Add a page directory text description content.
请在此处输入具体内容，文字请尽量言简意赅，此 处为具体文字，表述该章节文字主题。
添加标题二
请在此处输入具体内容，文字请尽量言简意赅，此 处为具体文字，表述该章节文字主题。
添加标题三
请在此处输入具体内容，文字请尽量言简意赅，此 处为具体文字，表述该章节文字主题。
点击加入标题文字
输入内容
请在此处输入具体内容，文字请尽量言 简意赅，此处为具体文字，表述该章节 文字主题。
点击加入标题文字
此处添加文本标题
单击此处添加文字阐述，添加简 短问题说明文字，具体说明文字 在此处添加此处。
此处添加文本标题
单击此处添加文字阐述，添加简 短问题说明文字，具体说明文字 在此处添加此处。
目录/CONTENTS
添加目录一标题 ADD DIRECTORY ONE TITLES 添加目录二标题 ADD DIRECTORY TWO TITLES 添加目录三标题 ADD DIRECTORY THREE TITLES 添加目录四标题 ADD DIRECTORY FOUR TITLES
添加目录一标题
ADD DIRECTORY ONE TITLES
Add a page directory text description content, Add a page directory text description content, Add a page directory text description content, Add a page directory text description content, Add a page directory text description content.
请在此处输入具体内容，文字请尽量言简意赅，此 处为具体文字，表述该章节文字主题。
添加标题二
请在此处输入具体内容，文字请尽量言简意赅，此 处为具体文字，表述该章节文字主题。
添加标题三
请在此处输入具体内容，文字请尽量言简意赅，此 处为具体文字，表述该章节文字主题。
点击加入标题文字
输入内容
请在此处输入具体内容，文字请尽量言 简意赅，此处为具体文字，表述该章节 文字主题。
点击加入标题文字
此处添加文本标题
单击此处添加文字阐述，添加简 短问题说明文字，具体说明文字 在此处添加此处。
此处添加文本标题
单击此处添加文字阐述，添加简 短问题说明文字，具体说明文字 在此处添加此处。
51大数据介绍PPT课件
4、高容错性：hadoop能够自动保存数据的多个副本，并且能够自动将失 败的任务重新分配。
5、低成本： hadoop本身是运行在普通PC服务器组成的集群中进行大数据 的分发及处理工作的，这些服务器集群是可以支持数千个节点的。
Hadoop核心设计
MapReduce HDFS
Map：任务的分解 Reduce：结果的汇总
化
传统数据与大数据对比
数据规模 数据类型
数据与模式关系 处理对象
传统数据（DB） 小（MB） 单一（结构化）
现有模式后有数据 数据
大数据（BD） 大（GB、TP、PB） 繁多（结构化、半结构化、非结构化）
现有数据后有模式，模式种类繁多 各种类型
相关技术
分析技术：
• 数据处理：自然语言处理技术 • 统计和分析：A/B test；top N排行榜 • 数据挖掘：关联规则分析；分类；聚类
互联网（社交、搜索、电商）、移动 互联网（微博）、物联网（传感器、智慧 地球）、车联网、GPS、医学影像、安全监 控、金融（银行、股市、保险）、电信 （通话、短信）
大数据的定义
大数据（Big data或Megadata），或称巨量数 据、海量数据、大资料，指的是所涉及的数据量 规模巨大到无法通过人工在合理时间内截取、管 理、处理、并整理成为人类所能解读的形式的信 息。
例：报表
• 实时性：（毫秒级）storm 例：信用卡欺诈
• 交互式分析：（秒级）spark
数据挖掘
数据 挖掘
数据挖掘是指从大量的数据中通 过算法搜索隐藏于其中信息的过程
数据可视化
大数据主要应用技术---Hadoop
Hadoop是一个由Apache基金会所开发的分布式 系 统 基 础 架 构 Hadoop 的 框 架 最 核 心 的 设 计 就 是 ： HDFS和MapReduce。HDFS为海量的数据提供了存储， 则MapReduce为海量的数据提供了计算。
5、低成本： hadoop本身是运行在普通PC服务器组成的集群中进行大数据 的分发及处理工作的，这些服务器集群是可以支持数千个节点的。
Hadoop核心设计
MapReduce HDFS
Map：任务的分解 Reduce：结果的汇总
化
传统数据与大数据对比
数据规模 数据类型
数据与模式关系 处理对象
传统数据（DB） 小（MB） 单一（结构化）
现有模式后有数据 数据
大数据（BD） 大（GB、TP、PB） 繁多（结构化、半结构化、非结构化）
现有数据后有模式，模式种类繁多 各种类型
相关技术
分析技术：
• 数据处理：自然语言处理技术 • 统计和分析：A/B test；top N排行榜 • 数据挖掘：关联规则分析；分类；聚类
互联网（社交、搜索、电商）、移动 互联网（微博）、物联网（传感器、智慧 地球）、车联网、GPS、医学影像、安全监 控、金融（银行、股市、保险）、电信 （通话、短信）
大数据的定义
大数据（Big data或Megadata），或称巨量数 据、海量数据、大资料，指的是所涉及的数据量 规模巨大到无法通过人工在合理时间内截取、管 理、处理、并整理成为人类所能解读的形式的信 息。
例：报表
• 实时性：（毫秒级）storm 例：信用卡欺诈
• 交互式分析：（秒级）spark
数据挖掘
数据 挖掘
数据挖掘是指从大量的数据中通 过算法搜索隐藏于其中信息的过程
数据可视化
大数据主要应用技术---Hadoop
Hadoop是一个由Apache基金会所开发的分布式 系 统 基 础 架 构 Hadoop 的 框 架 最 核 心 的 设 计 就 是 ： HDFS和MapReduce。HDFS为海量的数据提供了存储， 则MapReduce为海量的数据提供了计算。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
讲大数据的关键技术
大数据的三个关键问题 Google的大数据技术 Google的业务：PageRank 1 1
三大关键问题
3V
数据分析
数据计算 平 台 管 理
｝ ｝
现代数据处理 能力组件
…
计算 存储
数据存储
｝
容错
文件存储
数据集成
Database Web Log
数据源
Health+ iPhone 应用
手机+投 平板电脑 资能源+ +Google 应用商店 眼镜
Google之前的搜索
目录型搜索：Yahoo!
– 收集：人工分类 – 索引：主题 – 使用：目录结构 – 优点：准确率高 – 缺点：覆盖率低
索引型搜索：AltaVista
– 收集：自动爬取（Scooter）
2008 2007 2009 2010 2011 2012 ...
1998 1999
2000 2001
2002 2003
2004 2005
2006
合作开发 BackRub 搜索引擎
Google 公司成立
建立10亿 网址的索 引
商品+新 闻+API
80亿网址 索引+上市 +学术搜索
YouTube +Google Apps
提升吞吐量
RAID：Redundant Array of Inexpensive Disks，冗余磁盘阵列
– 把多块独立的硬盘按一定的方式组合起来形成一个硬盘组，从而实现高性 能和高可靠性
– RAID0：连续以位或字节为单位分割数据，并行读/写于多个磁盘上，提升 吞吐量
Source: /
每个处理器拥有独立的内存和若干磁盘， 通过高速网络相连 处理器独立处理所管理的数据
– – – – – –
结构简单，负载均衡
数据总线成为瓶颈，可扩展性较差， 共享内存单点故障 适合处理器较少（≤8）的小规模并 行数据库
– –
处理器间共享全部磁盘
容错性提高 共享磁盘成为性能瓶颈，需要额外 维护内存与磁盘间的数据一致性
现代数据处理框架
三大关键问题
存储
计算 容错
存储问题
解决大数据存储效率的两方面：
– 容量 – 吞吐量
容量
– 单硬盘容量提升：MB → GB → TB → ┈
– 系统整体容量提升：DAS、NAS、SAN
吞吐量 = 传输数据量 / 传输时间
– 单硬盘吞吐量提升：转速、接口、缓存等 – 节点吞吐量提升：RAID、专用数据库机
–
–
–
–
–
并行系统架构
共享内存（Shared Memory，SM）
–
共享磁盘（Shared Disk，SD）
–
无共享（Shared Nothing，SN）
–
多个处理器，多个磁盘，一个共享 内存，通过数据总线相连 处理器间共享全部磁盘和内存
– – –
多个处理器，每个处理器拥有独立 内存，多个磁盘，处理器与磁盘通 过数据总线相连
Source: /
计算任务容错
计算任务容错的关键问题：
– 故障监测 – 计算数据定位与获取 – 任务迁移
Google的大数据技术
Google是如何解决其大数据处理的三个关键性问题 的? 我们需要先了解Google的业务特点。
14
Google
三大关键问题
存储
计算 容错
多核技术
Moor定律：当价格不变时，集成电路上可容纳的晶体管数目，约每 隔18个月便会增加一倍，性能也将提升一倍。 采用多核（Multi-core）技术提升IPC，从而突破性能提升瓶颈。
指令数
主频
多处理器技术
多处理器技术的核心： IPS MF IPCF 1 F/ N 1
数据传输量小，效率高
可扩展性强 节点间交换数据开销较大 适合处理器数量较大的大规模并行系统 后期发展的主流
–
–
三大关键问题
存储
计算 容错
数据容错
RAID单节点数据冗余存储
– RAID0：并行磁盘 – RAID1：镜像冗余 – RAID10：RAID1+RAID0 – RAID5：校验冗余
集群多节点数据冗余存储
Google最重要的业务？
搜索 AdWords
Google发展史
当佩奇遇见 布林
1996 1995 1997
命名 Google
首名专用 厨师入职
图片搜索 +30亿网 址索引
开始收购 +Google 图书
地图 +Talk+ 分析
Gmail+ 社交网络 街景 搜索+实时 地图导航+ 搜索 收购Moto +Android
–
多个操作间存在依赖关系，且 后一个操作必须等待前一个操 作处理完后方可执行 将多个操作分配给不同处理器， 但处理器间以流水线方式执行 例：Scan → Sort → Group
数据操作的输入数据可以分解为多个 子集，且子集之间相互独立 分割为若干独立的子操作，每个子操 ቤተ መጻሕፍቲ ባይዱ只处理对应的部分数据，并将这些 子操作配到不同的处理器上执行 例： Scan → Merge
按处理器之间的关系可以分为两类：
非对称多处理器架构（ASMP）
– –
对称多处理器架构（SMP）
– –
不同类型计算任务或进程由不同处理器执行
简单，操作系统修改小 低效 早期过渡性架构
所有处理器完全对等
计算任务按需分配 高效 普遍采用
–
–
–
–
并行模式
独立并行
–
流水线并行
–
分割并行
–
两个数据操作间没有数据依 赖关系 可以采用独立并行的方式分 配给不同的处理器执行 例：两个独立数据集的Scan 操作
– 索引：自动标记 – 使用：输入关键词搜索
– 优点：覆盖率高 – 缺点：准确率低
覆盖率 VS. 准确率：鱼与熊掌不可兼得？
Google
Google的自我揭秘！
核心算法
– Lawrence Page, Sergey Brin, et. al., The PageRank Citation Ranking: Bringing Order to the Web. Technical Report, Stanford InfoLab, 1999. (6881)
三大法宝
– Sanjay Ghemawat, Howard Gobioff, et. al., The Google file system, Proceedings of the Nineteenth ACM Symposium on Operating Systems Principles, 2003. (3911) – Jeffrey Dean, Sanjay Ghemawat, MapReduce: Simplified Data Processing on Large Clusters , Sixth Symposium on Operating System Design and Implementation, 2004. (9569) – Fay Chang, Jeffrey Dean, et. al., Bigtable: A Distributed Storage System for Structured Data, Seventh Symposium on Operating System Design and Implementation, 2006. (2558)
大数据的三个关键问题 Google的大数据技术 Google的业务：PageRank 1 1
三大关键问题
3V
数据分析
数据计算 平 台 管 理
｝ ｝
现代数据处理 能力组件
…
计算 存储
数据存储
｝
容错
文件存储
数据集成
Database Web Log
数据源
Health+ iPhone 应用
手机+投 平板电脑 资能源+ +Google 应用商店 眼镜
Google之前的搜索
目录型搜索：Yahoo!
– 收集：人工分类 – 索引：主题 – 使用：目录结构 – 优点：准确率高 – 缺点：覆盖率低
索引型搜索：AltaVista
– 收集：自动爬取（Scooter）
2008 2007 2009 2010 2011 2012 ...
1998 1999
2000 2001
2002 2003
2004 2005
2006
合作开发 BackRub 搜索引擎
Google 公司成立
建立10亿 网址的索 引
商品+新 闻+API
80亿网址 索引+上市 +学术搜索
YouTube +Google Apps
提升吞吐量
RAID：Redundant Array of Inexpensive Disks，冗余磁盘阵列
– 把多块独立的硬盘按一定的方式组合起来形成一个硬盘组，从而实现高性 能和高可靠性
– RAID0：连续以位或字节为单位分割数据，并行读/写于多个磁盘上，提升 吞吐量
Source: /
每个处理器拥有独立的内存和若干磁盘， 通过高速网络相连 处理器独立处理所管理的数据
– – – – – –
结构简单，负载均衡
数据总线成为瓶颈，可扩展性较差， 共享内存单点故障 适合处理器较少（≤8）的小规模并 行数据库
– –
处理器间共享全部磁盘
容错性提高 共享磁盘成为性能瓶颈，需要额外 维护内存与磁盘间的数据一致性
现代数据处理框架
三大关键问题
存储
计算 容错
存储问题
解决大数据存储效率的两方面：
– 容量 – 吞吐量
容量
– 单硬盘容量提升：MB → GB → TB → ┈
– 系统整体容量提升：DAS、NAS、SAN
吞吐量 = 传输数据量 / 传输时间
– 单硬盘吞吐量提升：转速、接口、缓存等 – 节点吞吐量提升：RAID、专用数据库机
–
–
–
–
–
并行系统架构
共享内存（Shared Memory，SM）
–
共享磁盘（Shared Disk，SD）
–
无共享（Shared Nothing，SN）
–
多个处理器，多个磁盘，一个共享 内存，通过数据总线相连 处理器间共享全部磁盘和内存
– – –
多个处理器，每个处理器拥有独立 内存，多个磁盘，处理器与磁盘通 过数据总线相连
Source: /
计算任务容错
计算任务容错的关键问题：
– 故障监测 – 计算数据定位与获取 – 任务迁移
Google的大数据技术
Google是如何解决其大数据处理的三个关键性问题 的? 我们需要先了解Google的业务特点。
14
三大关键问题
存储
计算 容错
多核技术
Moor定律：当价格不变时，集成电路上可容纳的晶体管数目，约每 隔18个月便会增加一倍，性能也将提升一倍。 采用多核（Multi-core）技术提升IPC，从而突破性能提升瓶颈。
指令数
主频
多处理器技术
多处理器技术的核心： IPS MF IPCF 1 F/ N 1
数据传输量小，效率高
可扩展性强 节点间交换数据开销较大 适合处理器数量较大的大规模并行系统 后期发展的主流
–
–
三大关键问题
存储
计算 容错
数据容错
RAID单节点数据冗余存储
– RAID0：并行磁盘 – RAID1：镜像冗余 – RAID10：RAID1+RAID0 – RAID5：校验冗余
集群多节点数据冗余存储
Google最重要的业务？
搜索 AdWords
Google发展史
当佩奇遇见 布林
1996 1995 1997
命名 Google
首名专用 厨师入职
图片搜索 +30亿网 址索引
开始收购 +Google 图书
地图 +Talk+ 分析
Gmail+ 社交网络 街景 搜索+实时 地图导航+ 搜索 收购Moto +Android
–
多个操作间存在依赖关系，且 后一个操作必须等待前一个操 作处理完后方可执行 将多个操作分配给不同处理器， 但处理器间以流水线方式执行 例：Scan → Sort → Group
数据操作的输入数据可以分解为多个 子集，且子集之间相互独立 分割为若干独立的子操作，每个子操 ቤተ መጻሕፍቲ ባይዱ只处理对应的部分数据，并将这些 子操作配到不同的处理器上执行 例： Scan → Merge
按处理器之间的关系可以分为两类：
非对称多处理器架构（ASMP）
– –
对称多处理器架构（SMP）
– –
不同类型计算任务或进程由不同处理器执行
简单，操作系统修改小 低效 早期过渡性架构
所有处理器完全对等
计算任务按需分配 高效 普遍采用
–
–
–
–
并行模式
独立并行
–
流水线并行
–
分割并行
–
两个数据操作间没有数据依 赖关系 可以采用独立并行的方式分 配给不同的处理器执行 例：两个独立数据集的Scan 操作
– 索引：自动标记 – 使用：输入关键词搜索
– 优点：覆盖率高 – 缺点：准确率低
覆盖率 VS. 准确率：鱼与熊掌不可兼得？
Google的自我揭秘！
核心算法
– Lawrence Page, Sergey Brin, et. al., The PageRank Citation Ranking: Bringing Order to the Web. Technical Report, Stanford InfoLab, 1999. (6881)
三大法宝
– Sanjay Ghemawat, Howard Gobioff, et. al., The Google file system, Proceedings of the Nineteenth ACM Symposium on Operating Systems Principles, 2003. (3911) – Jeffrey Dean, Sanjay Ghemawat, MapReduce: Simplified Data Processing on Large Clusters , Sixth Symposium on Operating System Design and Implementation, 2004. (9569) – Fay Chang, Jeffrey Dean, et. al., Bigtable: A Distributed Storage System for Structured Data, Seventh Symposium on Operating System Design and Implementation, 2006. (2558)