hadoop原理介绍ppt
合集下载
22hadoop讲解PPT课件
HADOOP 讲解
Mapreduce hadoop hive三者关系
Hadoop 是2005 Google MapReduce的一个Java 实现。
MapReduce是一种简化的分布式编程模式，让程序自动分布 到一个由普通机器组成的超大集群上并发执行。就如 同java程 序员可以不考虑内存泄露一样， MapReduce的run-time系统会 解决输入数据的分布细节，跨越机器集群的程序执行调度，处 理机器的失效，并且管理机器之间的通讯请求。这样的 模式
MapReduce 引擎，该引擎由JobTrackers 和TaskTrackers组成。
虽然Hadoop自身由Java语言开发，但它除了使用Java语言进行编程外，同样支持
多种编程语言，如C++
一、概论
作为Hadoop程序员，他要做的事情就是： 1、定义Mapper，处理输入的Key-Value对，输出中间结果。 2、定义Reducer，可选，对中间结果进行规约，输出最终结果。 3、定义InputFormat 和OutputFormat，可选，InputFormat将每行输入文件的内 容转换为Java类供Mapper函数使用，不定义时默认为String。 4、定义main函数，在里面定义一个Job并运行它。
“移动计算比移动数据更划算”
一个应用请求的计算，离它操作的数据越近就越高效，在数据达到海量级别的时 候更是如此。因为这样就能降低网络阻塞的影响，提高系统数据的吞吐量。将计 算移动到数据附近，比之将数据移动到应用所在显然更好。HDFS为应用提供了 将它们自己移动到数据附近的接口。
异构软硬件平台间的可移植性
流式数据访问
运行在HDFS上的应用和普通的应用不同，需要流式访问它们的数 据集。HDFS的设计中更多的考虑到了数据批处理，而不是用户交 互处理。比之数据访问的低延迟问题，更关键的在于数据访问的高 吞吐量。 POSIX （表示可移植操作系统接口）标准设置的很多硬性约束对 HDFS应用系统不是必需的。为了提高数据的吞吐量，在一些关键 方面对POSIX的语义做了一些修改。
Mapreduce hadoop hive三者关系
Hadoop 是2005 Google MapReduce的一个Java 实现。
MapReduce是一种简化的分布式编程模式，让程序自动分布 到一个由普通机器组成的超大集群上并发执行。就如 同java程 序员可以不考虑内存泄露一样， MapReduce的run-time系统会 解决输入数据的分布细节，跨越机器集群的程序执行调度，处 理机器的失效，并且管理机器之间的通讯请求。这样的 模式
MapReduce 引擎，该引擎由JobTrackers 和TaskTrackers组成。
虽然Hadoop自身由Java语言开发，但它除了使用Java语言进行编程外，同样支持
多种编程语言，如C++
一、概论
作为Hadoop程序员，他要做的事情就是： 1、定义Mapper，处理输入的Key-Value对，输出中间结果。 2、定义Reducer，可选，对中间结果进行规约，输出最终结果。 3、定义InputFormat 和OutputFormat，可选，InputFormat将每行输入文件的内 容转换为Java类供Mapper函数使用，不定义时默认为String。 4、定义main函数，在里面定义一个Job并运行它。
“移动计算比移动数据更划算”
一个应用请求的计算，离它操作的数据越近就越高效，在数据达到海量级别的时 候更是如此。因为这样就能降低网络阻塞的影响，提高系统数据的吞吐量。将计 算移动到数据附近，比之将数据移动到应用所在显然更好。HDFS为应用提供了 将它们自己移动到数据附近的接口。
异构软硬件平台间的可移植性
流式数据访问
运行在HDFS上的应用和普通的应用不同，需要流式访问它们的数 据集。HDFS的设计中更多的考虑到了数据批处理，而不是用户交 互处理。比之数据访问的低延迟问题，更关键的在于数据访问的高 吞吐量。 POSIX （表示可移植操作系统接口）标准设置的很多硬性约束对 HDFS应用系统不是必需的。为了提高数据的吞吐量，在一些关键 方面对POSIX的语义做了一些修改。
Hadoop技术介绍ppt课件
ppt课件.
18
ppt课件.
19
此课件下载可自行编辑修改，供参考！ 感谢您的支持，我们努力做得更好！
4
目录
Hadoop是什么 Hadoop是如何运作的 Hadoop能做什么 大数据时代三架马车
ppt课件.
5
MapReduce
➢ 化大为小 ➢ 化繁为简
开发方式 ✓ 实现map函数 ✓ 实现reduce函数
ppt课件.
6
统计词频
➢ 方法一 写一个小程序遍历整个文件，统计每一个遇到的词的出现次数。
张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务 进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的 MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分 析。
数据存储 Table
每个表对应HDFS上一个目录。 Partition
Hadoop技术介绍
ppt课件.
1
目录
Hadoop是什么 Hadoop是如何运作的 Hadoop能做什么 大数据时代三架马车
ppt课件.
2
前言
ppt课件.
3
Hadoop是由Apache基金会研发的开源 的分布式计算框架和分布式文件系统。是对 Google的MapReduce和GFS的开源实现。
对指定列根据列值进行分区，每个区一个目录。 Bucket
对指定列进行Hash分区，每个区一个目录。 External Table
对应HDFS一个目录路径，删除表，数据不会删除
ppt课件.
15
Hbase (Hadoop DataBase) HBase是一个分布式的、面向列的开源数据库。Hbase依托于Hadoop的HDFS
《hadoop培训》PPT课件
Blocksize指数据尾 加上数据尾部之后 补齐的长度，多用 于64M边界处的数据 段,大于或等于 Datasize
Data/Tails
Garbage data
垃圾数据，用于补齐 数据到64M边界用。 以保证每一个分块被 map读取时都能读到 完整的data。在非 64M边界处，该段长 度为0，否则为恰好 补齐64M的长度
Page 13
Streaming编程框架
自定义Streaming支持的文件内数据结构
Datasize 指 本数据的数 据尾总长 度，(不包括 头部)
One data One data One data One … data … … … … … … … … … … … … One data
16bit uuid/date Key/Head 4bit Datasize Sdata 4bit Blocksize Sblock 231bit the rest of head data
Page 16
Байду номын сангаас
Streaming编程框架
子程序的调试方法
数据的准备，可使用fetchdata_hdp.jar工具从hdfs上下载到文件中 的一块作为调试程序的输入文件分块 调试环境的准备，将提交任务时的命令行作为调试命令行，提交 任务时上传的文件作为资源文件放在执行目录下 IDE的选择： linux下使用gdb或者codelite windows下使用visual studio，调试过程和普通的C++/C程序一致
提交任务过程：用户与JobTracker交互，提交任务资源和配置 运行任务过程：JobTracker将队列中的tasks按调度算法分配给各 tasktracker的空闲槽，tasktracker随后就运行之并监视汇报tasks 的运行情况。
Hadoop综述.ppt
layoutVersion是一个负整数，保存了HDFS的持续化在硬盘 上的数据结构的格式版本号。
心跳信号传递信息（并不存储在硬盘）：
一个文件包括哪些数据块，分布在哪些数据节点 上。系统启动的时候从Datanode收集而成的。
Datanode在Namenode的指挥下进行block的 创建、删除和复制。
2.2.2.2 HDFS Concepts-Namenodes and DatanodesNameNode- persistent state of the filesystem metadata
2.2.1 HDFS Concepts-Namenodes and Datanodes- Basic model
查看块信息hadoop fsck –files –blocks 部分运行结果
2.2.2 HDFS Concepts-Namenodes and Datanodes- NameNode
making the unit of abstraction a block rather than a file simplifies the storage subsystem.
2.2 HDFS Concepts-Namenodes and Datanodes
Basic modelBiblioteka Namenode DataNode
通信接口
2.1 HDFS Concepts-blocks
files in HDFS are broken into block-sized chunks(64 MB by default)
1. 减少元数据的量 2. 有利于顺序读写（在磁盘上数据顺序存放） 3. 副本的默认数目是3
a file can be larger than any single disk in the network.
心跳信号传递信息（并不存储在硬盘）：
一个文件包括哪些数据块，分布在哪些数据节点 上。系统启动的时候从Datanode收集而成的。
Datanode在Namenode的指挥下进行block的 创建、删除和复制。
2.2.2.2 HDFS Concepts-Namenodes and DatanodesNameNode- persistent state of the filesystem metadata
2.2.1 HDFS Concepts-Namenodes and Datanodes- Basic model
查看块信息hadoop fsck –files –blocks 部分运行结果
2.2.2 HDFS Concepts-Namenodes and Datanodes- NameNode
making the unit of abstraction a block rather than a file simplifies the storage subsystem.
2.2 HDFS Concepts-Namenodes and Datanodes
Basic modelBiblioteka Namenode DataNode
通信接口
2.1 HDFS Concepts-blocks
files in HDFS are broken into block-sized chunks(64 MB by default)
1. 减少元数据的量 2. 有利于顺序读写（在磁盘上数据顺序存放） 3. 副本的默认数目是3
a file can be larger than any single disk in the network.
hadoop入门介绍PPT学习课件
8
Hadoop如何满足新需求
满足高可扩展性 -Hadoop把一个大作业分解为多个相对小的任务， 分配给 多个节点处理，通过增加节点来线性的提高系统的负载容量 ； -MapReduce的各个任务之间不需要通信（Shared nothing 架构 ），对于大作业增加处理任务的节点可以线性 的提高作业的作业处理速度。
30
Thank You
31
17
分布式存储系统HDFS
18
分布式存储系统HDFS
Hdfs文件写入
19
分布式存储系统HDFS
Hdfs文件读取
HDFS客户端
1 打开 3 读取
客户端JVM
6 关闭
分布式计算
FSData InputStream
4 读取
2 获取数据块的位置
名称节点 NameNode
5 读取
数据节点 DataNode
9
Hadoop如何满足新需求
满足数据一致性、组件可恢复性等容错需求 -如果一个节点出现了故障，master会检测到故障并把 工作重新分配到系统中别的节点上，重启任务不需要与 负责处理其他部分数据的节点进行交互； -如果故障的节点重启并修复了故障，它会自动加回系 统中并被分配给新任务； -如果一个节点出现了对任务处理慢的状况，master 会 在另一个节点上为同一个任务启动另一个执行实例，先 完成的哪个实例的结果被使用。
负责集群资源的统一管理和调度
分布式计算框架MapReduce
具有易于编程、高容错性和高扩展性等优点
13
分布式存储系统HDFS
HDFS特点 ：
良好的扩展性 高容错性 适合PB级以上海量数据的存储
基本原理：
将文件切分成等大的数据块，存储到多台机器上 将数据切分、容错、负载均衡等功能透明化 可将HDFS看成一个容量巨大、具有高容错性的磁盘
Hadoop如何满足新需求
满足高可扩展性 -Hadoop把一个大作业分解为多个相对小的任务， 分配给 多个节点处理，通过增加节点来线性的提高系统的负载容量 ； -MapReduce的各个任务之间不需要通信（Shared nothing 架构 ），对于大作业增加处理任务的节点可以线性 的提高作业的作业处理速度。
30
Thank You
31
17
分布式存储系统HDFS
18
分布式存储系统HDFS
Hdfs文件写入
19
分布式存储系统HDFS
Hdfs文件读取
HDFS客户端
1 打开 3 读取
客户端JVM
6 关闭
分布式计算
FSData InputStream
4 读取
2 获取数据块的位置
名称节点 NameNode
5 读取
数据节点 DataNode
9
Hadoop如何满足新需求
满足数据一致性、组件可恢复性等容错需求 -如果一个节点出现了故障，master会检测到故障并把 工作重新分配到系统中别的节点上，重启任务不需要与 负责处理其他部分数据的节点进行交互； -如果故障的节点重启并修复了故障，它会自动加回系 统中并被分配给新任务； -如果一个节点出现了对任务处理慢的状况，master 会 在另一个节点上为同一个任务启动另一个执行实例，先 完成的哪个实例的结果被使用。
负责集群资源的统一管理和调度
分布式计算框架MapReduce
具有易于编程、高容错性和高扩展性等优点
13
分布式存储系统HDFS
HDFS特点 ：
良好的扩展性 高容错性 适合PB级以上海量数据的存储
基本原理：
将文件切分成等大的数据块，存储到多台机器上 将数据切分、容错、负载均衡等功能透明化 可将HDFS看成一个容量巨大、具有高容错性的磁盘
《Hadoop综述》课件
3 Hadoop未来发展的趋势
Hadoop将向着更加智能化、更加广泛的应用场景和应用领域进行拓展。
Hadoop在大数据领域的应用
云计算
Hadoop在云计算领域的应用 主要包括了基础设施即服务 （IaaS）、平台即服务 （PaaS）、软件即服务 （SaaS）等。
商业智能和数据分 析
Hadoop在商业智能和数据分 析领域的应用主要包括了数 据挖掘、数据仓库、OLAP、 ETL等。
社交网络
Hadoop可以用于存储和处理 海量的社交网络数据，包括 了关系图分析、用户画像分 析、情感分析等。
2 广泛的应用场景和应用领域
Hadoop的应用场景将逐渐扩展到更多的行业和领域，如医疗、金融、能源等。
总结
1 Hadoop的优点和缺点
Hadoop是一种具有高效处理大规模数据能力的分布式计算框架，但处理小规模数据的效 率较低。
2 Hadoop在大数据领域的重要性
Hadoop已成为当前大数据处理的主流技术之一，得到了广泛的发展和应用。
HDFS和MapReduce
1
HDFS
Hadoop分布式文件系统(HDFS)是一个可扩展的、容错的和高可用性的分布式文 件系统，支持数据的随机访问和流式访问。
2
MapReduce
Hadoop MapReduce是一个用于分布式处理大规模数据的编程框架，将任务分 解成小的任务并在各个节点上并行执行。
2 发展
自2005年以来，Hadoop得到了广泛的发展和应用，并逐渐成为了当前大数据处理的主流 技术之一。
Hadoop的核心组件和生态系统
核心组件
Hadoop的核心组件包括了HDFS、MapReduce 等，它们协同工作来进行大规模数据的存储和处 理。
Hadoop将向着更加智能化、更加广泛的应用场景和应用领域进行拓展。
Hadoop在大数据领域的应用
云计算
Hadoop在云计算领域的应用 主要包括了基础设施即服务 （IaaS）、平台即服务 （PaaS）、软件即服务 （SaaS）等。
商业智能和数据分 析
Hadoop在商业智能和数据分 析领域的应用主要包括了数 据挖掘、数据仓库、OLAP、 ETL等。
社交网络
Hadoop可以用于存储和处理 海量的社交网络数据，包括 了关系图分析、用户画像分 析、情感分析等。
2 广泛的应用场景和应用领域
Hadoop的应用场景将逐渐扩展到更多的行业和领域，如医疗、金融、能源等。
总结
1 Hadoop的优点和缺点
Hadoop是一种具有高效处理大规模数据能力的分布式计算框架，但处理小规模数据的效 率较低。
2 Hadoop在大数据领域的重要性
Hadoop已成为当前大数据处理的主流技术之一，得到了广泛的发展和应用。
HDFS和MapReduce
1
HDFS
Hadoop分布式文件系统(HDFS)是一个可扩展的、容错的和高可用性的分布式文 件系统，支持数据的随机访问和流式访问。
2
MapReduce
Hadoop MapReduce是一个用于分布式处理大规模数据的编程框架，将任务分 解成小的任务并在各个节点上并行执行。
2 发展
自2005年以来，Hadoop得到了广泛的发展和应用，并逐渐成为了当前大数据处理的主流 技术之一。
Hadoop的核心组件和生态系统
核心组件
Hadoop的核心组件包括了HDFS、MapReduce 等，它们协同工作来进行大规模数据的存储和处 理。
Hadoop基础知识培训 ppt课件
适合海量的，但是同时也是简单的操作，具备低延时的数 据返回，比如说key-value的操作，是生产环境对外访问可 行的方式
海量数据存储的驱使，具备动态扩展系统容量的需求
把信息化打造成为中国电信企业核心竞争力之一
ppt课件
企业信息化部 35
Hadoop常用组件——Hive简介
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一 张数据库表，并提供完整的类sql查询功能，可以将类sql语句转换为 MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速 实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数 据仓库的统计分析。
ppt课件
企业信息化部 31
HBase 简介（续）
• 大：一个表可以有上亿行，上百万列
• 面向列：面向列(族)的存储和权限控制， 列(族)独立检索
• 稀疏：对于为空的列，并不占用存储空 间，因此，表可以设计的非常稀疏
• 多版本：每条记录中的数据可以有多个 版本
• 无类型：存在HBase中的数据都是字符 串，无其他类型
ppt课件
企业信息化部 16
3 HDFS 之漫画读写
把信息化打造成为中国电信企业核心竞争力之一
ppt课件
企业信息化部 17
3 HDFS 之漫画读写
把信息化打造成为中国电信企业核心竞争力之一
ppt课件
企业信息化部 18
4 HDFS 之漫画容错
把信息化打造成为中国电信企业核心竞争力之一
ppt课件
企业信息化部 19
把信息化打造成为中国电信企业核心竞争力之一
ppt课件
企业信息化部 33
2 HBase 体系结构
海量数据存储的驱使，具备动态扩展系统容量的需求
把信息化打造成为中国电信企业核心竞争力之一
ppt课件
企业信息化部 35
Hadoop常用组件——Hive简介
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一 张数据库表，并提供完整的类sql查询功能，可以将类sql语句转换为 MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速 实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数 据仓库的统计分析。
ppt课件
企业信息化部 31
HBase 简介（续）
• 大：一个表可以有上亿行，上百万列
• 面向列：面向列(族)的存储和权限控制， 列(族)独立检索
• 稀疏：对于为空的列，并不占用存储空 间，因此，表可以设计的非常稀疏
• 多版本：每条记录中的数据可以有多个 版本
• 无类型：存在HBase中的数据都是字符 串，无其他类型
ppt课件
企业信息化部 16
3 HDFS 之漫画读写
把信息化打造成为中国电信企业核心竞争力之一
ppt课件
企业信息化部 17
3 HDFS 之漫画读写
把信息化打造成为中国电信企业核心竞争力之一
ppt课件
企业信息化部 18
4 HDFS 之漫画容错
把信息化打造成为中国电信企业核心竞争力之一
ppt课件
企业信息化部 19
把信息化打造成为中国电信企业核心竞争力之一
ppt课件
企业信息化部 33
2 HBase 体系结构
Hadoop综述PPT课件
4
.
4
第三篇 Hbase简单介绍
一 ：简介 二：数据模型 三：行、列、时间戳、API
5
.
5
第一篇HDFS 分布式文件系统
.
6
1 The Design of HDFS
Very large files
大数据集合为目标数
以千万计的文件
典型文件大小一般都在千兆至T字节
Streaming data access
通信接口
.
9
2.1 HDFS Concepts-blocks
files in HDFS are broken into block-sized chunks(64 MB by default)
1. 减少元数据的量 2. 有利于顺序读写（在磁盘上数据顺序存放） 3. 副本的默认数目是3
a file can be larger than any single disk in the network.
.
12
2.2.1 HDFS Concepts-Namenodes and Datanodes- Basic model
查看块信息hadoop fsck –files –blocks 部分运行结果
.
13
2.2.2 HDFS Concepts-Namenodes and Datanodes- NameNode
.
23
3 Hadoop应用程序示例
//在hdfs://master:9000/user/coole目录下创建文件并写入内容 public class DFSOperator {
public static void main(String[] args) { Configuration conf = new Configuration(); try { FileSystem fs = FileSystem.get(conf); Path t = new Path("hdfs://master:9000/user/coole/dfs_operator.txt"); FSDataOutputStream os = fs.create(t,true); int i = 0; for (i = 0 ;i<5; i++) os.writeChars("test"); os.close(); } catch (IOException e) { e.printStackTrace(); } }
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
客服：根据我们全球定位系统的车辆行驶自动跟踪系统记录。您登记有一辆车号 为SB-748的摩托车，而目前您正在解放路东段华联商场右侧骑着这辆摩托车。 顾客当即晕倒……
大数据VS传统数据
大数据处理流程
非结构化数据 结构化数据 实时流数据
其它数据
xxxx xxxx xxxx xxxx xxxx
x xxxx xxxx xxxx xxxx xxxx
主要特点 ✓使用低成本存储和服务器构建 ✓存放PB级别的海量数据 ✓高可扩展性,实际生产环境扩展至4000个节点 ✓高可靠性和容错性，数据自动复制，可自我修复 ✓高带宽，高并发访问，对于延迟不敏感
数据分布与复制
HDFS基本设计
数据块：文件被划分为固定大小的数据块进行存储 ✓数据块缺省为64M，远大于一般文件系统数据块大小 •减少元数据的量 •有利于顺序读写（在磁盘上顺序存放） ✓可靠性：数据通过副本的方式保存在多个数据节点上 •默认3个副本 •副本选择会考虑机架信息以防止整个机架同时掉电
✓ 其他特征
✓ 数据来自大量源,需要做相关性分析 ✓ 需要实时或者准实时的流式采集,有些应用90%写vs.10%读 ✓ 数据需要长时间存储,非热点数据也会被随机访问
什么是大数据
某顾客比：萨那店你们的有电什话么可铃以响推了荐的，？客服人员拿起电话。 客客顾服客服：：：您你可怎XX以么X试知比试道萨我我店们会的喜。低欢您脂吃好健这康种，比的请萨？问。有什么需要我为您服务 ？ 顾客服客：：您你上星好期，一我在中想央要图一书馆份借…了…一本《低脂健康食谱》。 客顾客服：：好先。那生我，要烦一个请家先庭把特大您号的比会萨，员要卡付号多少告钱诉？我。 顾客心服脏客：搭：9桥9手x元x术，xx，这xx还个x处足**在够*恢您。复一期家。六口吃了。但您母亲应该少吃，她上个月刚刚做了 客顾客服：：那陈可以先刷生卡，吗？您好！您是住在泉州路一号12楼120x室，请 问客服您：想陈要先生点，什对么不起？。请您付现款，因为您的信用卡已经刷爆了，您现在还欠 顾银顾行客客4：8：那07我我元先，想去而要附且一近还的不个提包海款括鲜机房提贷比款利萨。息…。… 客客服服：：陈陈先生先，生根，据您海的鲜记比录，萨您不已适经超合过您今。日提款限额。 顾顾客客：：算为了，什你么们？直接把比萨送我家吧，家里有现金。你们多久会送到？ 客客顾服客服：：：大为根约什么3据0？分您钟的。如医果疗您记不想录等，，你可以的自血己压骑车和来胆。固醇都偏高。
4
Hadoop YARN基本架构
5
运行在YARN上的基本框架
6
YARN 发展趋势
Hadoop概述
Hadoop是一个开源的、可靠的、可扩展的分布式并行计算 框架 主要组成:分布式文件系统HDFS和MapReduce算法执行 作者:Doug Cutting 语言:Java，支持多种编程语言，如:Python、C++
Hadoop2.0架构设计与原理
数据中心-Alan
主要内容 1 2 3
Hadoop介绍 Hadoop原理 Hadoop YARN产生的背景
4
Hadoop YARN基本架构
5
运行在YARN上的计算框架
6
YARN 发展趋势
主要内容 1 2 3
Hadoop介绍 Hadoop原理 Hadoop YARN产生的背景
5
运行在YARN上的基本框架
6
YARN 发展趋势
HDFS-分布式文件系统
设计目标 ✓错误检测和快速自动恢复 •硬件故障是常态而非异常 ✓为流式数据访问优化 ✓针对支持大数据集 •单个文件大小有数GB或者TB •可提供高聚合带宽访问 • 可能够扩展至数千个节点 ✓简化“一致性”模型 •一次写入、多次读，写入过程可能并发 ✓移动“计算”比移动“数据”更便宜
Hadoop的起源
Hadoop是Google的集群系统的开源实现 Google集群系统：GFS(Google File System)、 MapReduce、BigTable Hadoop主要由HDFS(Hadoop Distributed File System Hadoop分布式文件系统)、MapReduce
x xxxx xxxx xxxx xx01 11
xxxx xxxx xxxx xxxx xxxx
x xxxx xxxx xxxx xxxx xxxx
x xxxx xxxx xxxx xx01 11
ETL
API
xx
xx
xx
xx
xx
xx
xx
xxxx
01
xxxx
11
xxxx
xx
xxxx
xx
xxxx
xx
x
xx
Hadoop的初衷是为解决 Nutch 的海量数据爬取和存储的需 要 Hadoop于2005年秋天作为 Lucene的子项目Nutch的一部 分正式引入Apache基金会。 名称起源: Doug Cutting儿子的黄色大象玩具的名字 目前最新稳定版本2.6.0
什么是大数据
• 数据集主要特点
✓ Volume: 数量量从TB到PB级别 ✓ Variety: 数据类型复杂，超过80%的数据是非结构化的 ✓ Velocity:数据量在持续增加(两位数的年增长率) ✓ Value：巨大的数据价值
系统设计优化：用单个管理节点来保存文件系统元数据和管理/协调 ✓数据缓存：DataNode没有数据缓存 •由于文件的访问是扫描式的，不具有局部性 ✓访问方式 •读、写、文件改名、删除等 •文件内容不允许覆盖更新 •提供一个特殊的访问接口：追加append
HDFS体系结构
• 中心目录服务器 (NameNode) 管理大量数据服务器(DataNode) • NameNode 管理元数据 (文件目录树, 文件->块映射,块->数据服务器映 射表, etc.) • DataNode 负责存储数据、以及响应数据读写请求 • 客户端与NameNode交互进行文件创建/删除/寻址等操作, 之后直接与 DataNodes交互进行文件I/O
xxxx
xx
xxxx
xx
xxxx
xx
xxxx
01
xxxx
11
x
xxxx
xxxx
xxxx
xx01
11
Text
Big Data Store and Analytics
Hadoop生态圈
主要内容 1 2 3
Hadoop介绍 Hadoop原理 Hadoop YARN产生的背景
4
Hadoop YARN基本架构
大数据VS传统数据
大数据处理流程
非结构化数据 结构化数据 实时流数据
其它数据
xxxx xxxx xxxx xxxx xxxx
x xxxx xxxx xxxx xxxx xxxx
主要特点 ✓使用低成本存储和服务器构建 ✓存放PB级别的海量数据 ✓高可扩展性,实际生产环境扩展至4000个节点 ✓高可靠性和容错性，数据自动复制，可自我修复 ✓高带宽，高并发访问，对于延迟不敏感
数据分布与复制
HDFS基本设计
数据块：文件被划分为固定大小的数据块进行存储 ✓数据块缺省为64M，远大于一般文件系统数据块大小 •减少元数据的量 •有利于顺序读写（在磁盘上顺序存放） ✓可靠性：数据通过副本的方式保存在多个数据节点上 •默认3个副本 •副本选择会考虑机架信息以防止整个机架同时掉电
✓ 其他特征
✓ 数据来自大量源,需要做相关性分析 ✓ 需要实时或者准实时的流式采集,有些应用90%写vs.10%读 ✓ 数据需要长时间存储,非热点数据也会被随机访问
什么是大数据
某顾客比：萨那店你们的有电什话么可铃以响推了荐的，？客服人员拿起电话。 客客顾服客服：：：您你可怎XX以么X试知比试道萨我我店们会的喜。低欢您脂吃好健这康种，比的请萨？问。有什么需要我为您服务 ？ 顾客服客：：您你上星好期，一我在中想央要图一书馆份借…了…一本《低脂健康食谱》。 客顾客服：：好先。那生我，要烦一个请家先庭把特大您号的比会萨，员要卡付号多少告钱诉？我。 顾客心服脏客：搭：9桥9手x元x术，xx，这xx还个x处足**在够*恢您。复一期家。六口吃了。但您母亲应该少吃，她上个月刚刚做了 客顾客服：：那陈可以先刷生卡，吗？您好！您是住在泉州路一号12楼120x室，请 问客服您：想陈要先生点，什对么不起？。请您付现款，因为您的信用卡已经刷爆了，您现在还欠 顾银顾行客客4：8：那07我我元先，想去而要附且一近还的不个提包海款括鲜机房提贷比款利萨。息…。… 客客服服：：陈陈先生先，生根，据您海的鲜记比录，萨您不已适经超合过您今。日提款限额。 顾顾客客：：算为了，什你么们？直接把比萨送我家吧，家里有现金。你们多久会送到？ 客客顾服客服：：：大为根约什么3据0？分您钟的。如医果疗您记不想录等，，你可以的自血己压骑车和来胆。固醇都偏高。
4
Hadoop YARN基本架构
5
运行在YARN上的基本框架
6
YARN 发展趋势
Hadoop概述
Hadoop是一个开源的、可靠的、可扩展的分布式并行计算 框架 主要组成:分布式文件系统HDFS和MapReduce算法执行 作者:Doug Cutting 语言:Java，支持多种编程语言，如:Python、C++
Hadoop2.0架构设计与原理
数据中心-Alan
主要内容 1 2 3
Hadoop介绍 Hadoop原理 Hadoop YARN产生的背景
4
Hadoop YARN基本架构
5
运行在YARN上的计算框架
6
YARN 发展趋势
主要内容 1 2 3
Hadoop介绍 Hadoop原理 Hadoop YARN产生的背景
5
运行在YARN上的基本框架
6
YARN 发展趋势
HDFS-分布式文件系统
设计目标 ✓错误检测和快速自动恢复 •硬件故障是常态而非异常 ✓为流式数据访问优化 ✓针对支持大数据集 •单个文件大小有数GB或者TB •可提供高聚合带宽访问 • 可能够扩展至数千个节点 ✓简化“一致性”模型 •一次写入、多次读，写入过程可能并发 ✓移动“计算”比移动“数据”更便宜
Hadoop的起源
Hadoop是Google的集群系统的开源实现 Google集群系统：GFS(Google File System)、 MapReduce、BigTable Hadoop主要由HDFS(Hadoop Distributed File System Hadoop分布式文件系统)、MapReduce
x xxxx xxxx xxxx xx01 11
xxxx xxxx xxxx xxxx xxxx
x xxxx xxxx xxxx xxxx xxxx
x xxxx xxxx xxxx xx01 11
ETL
API
xx
xx
xx
xx
xx
xx
xx
xxxx
01
xxxx
11
xxxx
xx
xxxx
xx
xxxx
xx
x
xx
Hadoop的初衷是为解决 Nutch 的海量数据爬取和存储的需 要 Hadoop于2005年秋天作为 Lucene的子项目Nutch的一部 分正式引入Apache基金会。 名称起源: Doug Cutting儿子的黄色大象玩具的名字 目前最新稳定版本2.6.0
什么是大数据
• 数据集主要特点
✓ Volume: 数量量从TB到PB级别 ✓ Variety: 数据类型复杂，超过80%的数据是非结构化的 ✓ Velocity:数据量在持续增加(两位数的年增长率) ✓ Value：巨大的数据价值
系统设计优化：用单个管理节点来保存文件系统元数据和管理/协调 ✓数据缓存：DataNode没有数据缓存 •由于文件的访问是扫描式的，不具有局部性 ✓访问方式 •读、写、文件改名、删除等 •文件内容不允许覆盖更新 •提供一个特殊的访问接口：追加append
HDFS体系结构
• 中心目录服务器 (NameNode) 管理大量数据服务器(DataNode) • NameNode 管理元数据 (文件目录树, 文件->块映射,块->数据服务器映 射表, etc.) • DataNode 负责存储数据、以及响应数据读写请求 • 客户端与NameNode交互进行文件创建/删除/寻址等操作, 之后直接与 DataNodes交互进行文件I/O
xxxx
xx
xxxx
xx
xxxx
xx
xxxx
01
xxxx
11
x
xxxx
xxxx
xxxx
xx01
11
Text
Big Data Store and Analytics
Hadoop生态圈
主要内容 1 2 3
Hadoop介绍 Hadoop原理 Hadoop YARN产生的背景
4
Hadoop YARN基本架构