hadoop基础知识学习
可以使用Secondary NameNode作为备用的NameNode。
4、JobTracker：后台程序用来连接应用程序与Hadoop，用户应用提交到集群后，由JobTracker决 定哪个文件处理哪个task执行，一旦某个task失败，JobTracker会自动开启这个task。
5、TaskTracker：负责存储数据的DataNode相结合，位于从节点，负责各自的task。
2. Hadoop体系结构- Hive家族成员
•用户接口主要有三个：CLI，JDBC/ODBC和 WebUI •CLI，即Shell命令行 •JDBC/ODBC 是 Hive 的JAVA，与使用传统数据库 JDBC的方式类似 •WebGUI是通过浏览器访问 Hive •Hive 将元数据存储在数据库中，目前只支持 mysql、 derby，下一版本会支持更多的数据库。Hive 中的元 数据包括表的名字，表的列和分区及其属性，表的属 性（是否为外部表等），表的数据所在目录等 •解释器、编译器、优化器完成 HQL 查询语句从词法 分析、语法分析、编译、优化以及查询计划的生成。 生成的查询计划存储在 HDFS 中，并在随后有 MapReduce 调用执行 •Hive 的数据存储在 HDFS 中，大部分的查询由 MapReduce 完成（包含 * 的查询，比如 select * from table 不会生成 MapRedcue 任务）
2. Hadoop体系结构-Chukwa族成员
口和性能高效、功能稳定的系统提供给用户。
■ Hadoop简介及其家族成员
■ Hadoop体系结构原理
■ Hadoop相关技术详细介绍
2.1 Hadoop体系结构原理-角色组成-1简介
及
其家族成员
Hadoop使用主/从（Master/Slave）架构，主要角色有 NameNode，DataNode，JobTracker，TaskTracker组成。 在Master节点的服务器中会执行两套程序：一个是负责 安排MapReduce运算层任务的JobTracker，以及负责管 理HDFS数据层的 NameNode程序。而在Worker节点的 服务器中也有两套程序，接受JobTracker指挥，负责执行 运算层任务的是TaskTracker程 序，与NameNode对应的 则是DataNode程序，负责执行数据读写操作以及执行 NameNode的副本策略。
在Pig中称之为Pig Latin，在这套脚本中我们可以对加载出来的数据进行排序、过滤、求和、分组 (group by)、关联(Joining)，Pig也可以由用户自定义一些函数对数据集进行操作。 • ZooKeeper是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、名字服务、 分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接
序，由TaskTracker负责执行Map和Reduce工作，并将运算结果回复 给Master节点上的 JobTracker。 开发人员先分析需求所提出问题的解决流程，找出数据可以并发处理的部分（Reduce）， 也就是那些能够分解为小段的可并行处理的数据，再将这些能够采用并发处理的需求写成Map 程序（Map）。
总，完成整个快递流程。在这里，每个快递员都会负责配送，所执行的动作大致相同，且只负
责少量的包裹，最后由物流公司的系统进行汇总。 在MapReduce运算层上，担任Master节点的服务器负责分配运算任务，Master节点上的
JobTracker程序会将Map和Reduce 程序的执行工作指派给Worker服务器上的TaskTracker程
2.1 Hadoop体系结构原理-角色组成-2简介及
其家族成员
1、NameNode ：是HDFS的守护程序，负责记录文件是如何分割成数据块的，以及这些数据块被存 储到哪些数据节点上。它的功能是对内存及I/O进行集中管理。 2、DataNode：集群中每个从服务器都运行一个DataNode后台程序，后台程序负责把HDFS数据块 读写到本地文件系统。需要读写数据时，由NameNode告诉客户端去哪个DataNode进行具体的读写 操作。 3、Secondary NameNode：是一个用来监控HDFS状态的辅助后台程序，如果NameNode发生问题，
• HDSF具有高容错性的，通过流的方式访问文件系统中的数据。该系统由数百上千个存储文件的 服务器组成。
• Chukwa开源的数据收集系统，用于显示、监视和分析数据结果。
• Hbase是一个分布式的面向列存储的数据库，与bigtable使用相同的数据模型，一个数据行拥有一 个可以选择的键和任意多列，主要用于随机访问和实时读写大数据。
• Core也是Common，为Hadoop其它子项目提供常用工具，主要包括FileSystem、RPC和串行化库。 • Avro用于数据序列化的系统。 • MapReduce是一种编程模型，用于大数据集的并行计算，可以方便编程人员在不了解分布式并行
家族成员
编程的情况下也可以将自己的程序运行在分布式系统上。
Hadoop基础学习
■ Hadoop简介及其家族成员 ■ Hadoop体系结构原理 ■ Hadoop相关技术详细介绍
1.1 Hadoop简介简介
及其家族成员
Hadoop——一个分布式系统基础架构
名字的由来“这个名字是我孩子给一个棕黄色的大象玩具命名的。” Apache基金会旗下的开源项目
是一个能够对大量数据进行分布式处理的软件框架
2.3 Hadoop体系结构- MapReduce-1介及其家族
成员
思想——分而治之、大事化小
MapReduce通过Map（映射）和Reduce（化简）来实现大规模数据（TB级）的并行计算。
2.3 Hadoop体系结构- MapReduce-2介及其家族
成员
MapReduce的运作方式就像快递公司一样。物流部门会将发往各地的包裹先运送到各地 的物流分站，再由分站派出进行派送；快递员等每个包裹的用户签单 后将数据反馈给系统汇
其核心是Hadoop Distributed File System（HDFS）和MapReduce并行计算框架 它可以轻松的利用比较廉价的硬件计算机资源搭建自己的分布式计算平台 目前主要应用于互联网企业，用于数据分析、机器学习、数据挖掘
1.2 Hadoop家族成员简介-1及其家族成员
1.2 Hadoop家族成员简介-2及其家族成员
1.2 Hadoop家族成员简介-3及其家族成员
• Hive建立在Hadoop基础上的数据仓库，支持类似传统SQL的查询语言，提供ETL工具、数据存储管 理和大大的作用就是对mapreduce算法(框架)实现了一套shell脚本 ，类似我们通常熟悉的SQL语句，
2.2 Hadoop体系结构- HDFS处理流程-2介及其
家族成员
写文件过程
1）客户端调用create()来创建文件， 2）DistributedFileSystem用RPC调用元数据节点，在文件系统的命名 空间中创建一个新的文件。元数据节点首先确定文件原来不存在，并且 客户端有创建文件的权限，然后创建新文件。DistributedFileSystem返 回FSOutputStream，客户端用于写数据。 3）客户端开始写入数据，DFSOutputStream将数据分成块，写入data queue。 4）Data queue由Data Streamer读取，并通知元数据节点分配数据节 点，用来存储数据块(每块默认复制3块)。分配的数据节点放在一个 pipeline里。 Data Streamer将数据块写入pipeline中的第一个数据节点。第一个数据 节点将数据块发送给第二个数据节点。第二个数据节点将数据发送给第 三个数据节点。 5）DFSOutputStream为发出去的数据块保存了ack queue，等待 pipeline中的数据节点告知数据已经写入成功。 如果数据节点在写入的过程中失败：关闭pipeline，将ack queue中的 数据块放入data queue的开始。当前的数据块在已经写入的数据节点中 被元数据节点赋予新的标示，则错误节点重启后能够察觉其数据块是过 时的，会被删除。 失败的数据节点从pipeline中移除，另外的数据块则写入pipeline中的另 外两个数据节点。 元数据节点则被通知此数据块是复制块数不足，将来会再创建第三份备 份。 6）当客户端结束写入数据，则调用stream的close函数。此操作将所有 的数据块写入pipeline中的数据节点，并等待ack queue返回成功。 7）最后通知元数据节点写入完毕。
2. Hadoop体系结构- Hbase-1家族成员
2. Hadoop体系结构- Hbase-2家族成员
HBase Client使用HBase的RPC机制与HMaster和HRegionServer进行通信，对于管理类操作， Client与HMaster进行RPC；对于数据读写类操作，Client与HRegionServer进行RPC Zookeeper Quorum中除了存储了-ROOT-表的地址和HMaster的地址，HRegionServer也会把自己 以Ephemeral方式注册到 Zookeeper中，使得HMaster可以随时感知到各个HRegionServer的健康状 态。此外，Zookeeper也避免了HMaster的 单点问题，见下文描述 HMaster没有单点问题，HBase中可以启动多个HMaster，通过Zookeeper的Master Election机制保 证总有一个Master运行，HMaster在功能上主要负责Table和Region的管理工作： 1. 管理用户对Table的增、删、改、查操作 2. 管理HRegionServer的负载均衡，调整Region分布 3. 在Region Split后，负责新Region的分配 4. 在HRegionServer停机后，负责失效HRegionServer 上的Regions迁移 HRegionServer主要负责响应用户I/O请求，向HDFS文件系统中读写数据，是HBase中最核心的模 块。 HStore存储是HBase存储的核心了，其中由两部分组成，一部分是MemStore，一部分是StoreFiles。 MemStore是Sorted Memory Buffer，用户写入的数据首先会放入MemStore，当MemStore满了以后 会Flush成一个StoreFile（底层实现是HFile）， 当StoreFile文件数量增长到一定阈值，会触发 Compact合并操作，将多个StoreFiles合并成一个StoreFile。
hadoop期末实训总结
hadoop期末实训总结一、实训背景Hadoop是一个开源的分布式计算系统，能够处理大规模数据集。
在现实应用中，大数据的处理成为了一项重要的任务。
为了提高学生的实践能力和对Hadoop分布式计算系统的了解，我们学校安排了Hadoop期末实训。
二、实训目标本次实训的主要目标是让学生了解Hadoop的基本概念和原理，并能够通过实践掌握Hadoop的使用方法和技巧。
具体来说，实训的目标如下：1. 掌握Hadoop的基本概念和原理。
Hadoop是一个分布式计算系统，由一个主节点和多个从节点组成。
主节点负责整个系统的管理和调度，从节点负责存储和计算。
学生需要了解Hadoop的基本概念，例如NameNode、DataNode等，并了解Hadoop的工作流程和原理。
2. 掌握Hadoop的安装和配置。
学生需要学会如何在操作系统上安装和配置Hadoop。
这包括设置Hadoop的环境变量、修改配置文件等。
在安装和配置过程中，学生需要应对各种问题和错误，锻炼自己的解决问题能力。
3. 掌握Hadoop的使用方法和技巧。
学生需要学会使用Hadoop的各种命令和工具，例如HDFS命令、MapReduce程序等。
在使用Hadoop的过程中，学生需要处理各种不同类型的数据集，了解Hadoop的数据处理能力和性能。
三、实训过程1. 学习阶段在实训开始前，学生需要通过自学来了解Hadoop的基本概念和原理。
学生可以通过阅读相关教材和文档，观看在线视频，参加线下培训等方式来学习。
2. 实践阶段在学习阶段结束后，学生需要进行实际操作。
学生首先需要在自己的计算机上安装Hadoop，并按照要求进行配置。
然后，学生需要完成一系列小实验，例如创建一个HDFS 文件系统、上传和下载文件、运行一个简单的MapReduce程序等。
3. 项目开发阶段在完成小实验后，学生需要参与到一个真实的项目开发中。
每个学生会被分配到一个小组中，小组由4-5人组成。
《Hadoop大数据技术》课程理论教学大纲
《Hadoop大数据技术》课程教学大纲一、课程基本情况课程代码：1041139083课程名称（中/英文）：Hadoop大数据技术/Hadoop Big Data Technology课程类别：专业必修课学分：3.5总学时：56理论学时：32实验/实践学时：24适用专业：数据科学与大数据技术适用对象：本科先修课程：JA V A程序设计、Linux基础教学环境：课堂、多媒体、实验机房二、课程简介《Hadoop大数据技术》课程是数据科学与大数据技术专业的专业必修课程。
《Hadoop大数据技术》主要学习当前广泛使用的大数据Hadoop平台及其主要组件的作用及使用。
通过学习Hadoop 平台框架，学会手动搭建Hadoop环境，掌握Hadoop平台上存储及计算的原理、结构、工作流程，掌握基础的MapReduce编程，掌握Hadoop生态圈常用组件的作用、结构、配置和工作流程，并具备大数据的动手及问题分析能力，使用掌握的知识应用到实际的项目实践中。
课程由理论及实践两部分组成，课程理论部分的内容以介绍Hadoop平台主要组件的作用、结构、工作流程为主，对Hadoop 平台组件的作用及其工作原理有比较深入的了解；课程同时为各组件设计有若干实验，使学生在学习理论知识的同时，提高实践动手能力，做到在Hadoop的大数据平台上进行大数据项目开发。
三、课程教学目标2.课程教学目标及其与毕业要求指标点、主要教学内容的对应关系四、教学内容（一）初识Hadoop大数据技术1.主要内容：掌握大数据的基本概念、大数据简史、大数据的类型和特征、大数据对于企业带来的挑战。
了解对于大数据问题，传统方法、Google的解决方案、Hadoop框架下的解决方案，重点了解Google的三篇论文。
掌握Hadoop核心构成、Hadoop生态系统的主要组件、Hadoop发行版本的差异及如何选择；了解Hadoop典型应用场景；了解本课程内容涉及到的Java语言基础；了解本课程实验涉及到的Linux基础。
大数据hadoop云平台日常运维知识考试
大数据hadoop云平台日常运维知识考试1. IT公司所有（）应系统为单位配备二线运维现场值班、备班（非现场）人员，确保系统出现故障后第一时间处理。
[单选题] *A.业务系统B.核心系统(正确答案)C.重要系统D.一般系统答案解析：《中移（动）信息技术有限公司IT系统运维质量管理办法》第六章第二十八条核心系统二线运维值班备班管理要求。
IT公司所有核心系统应以系统为单位配备二线运维现场值班、备班（非现场）人员，确保系统出现故障后第一时间处理。
2. 二线运维备班人员应保持7×24小时实时待命状态，确保系统出现故障后（）分钟内可接入生产系统开展运维处置工作。
[单选题] *A.30分钟B.20分钟C.15分钟D.10分钟(正确答案)答案解析：《中移（动）信息技术有限公司IT系统运维质量管理办法》第六章第二十八条二线运维备班人员应保持7×24小时实时待命状态，确保系统出现故障后10分钟内可接入生产系统开展运维处置工作。
3. 根据公司割接管理要求，下列哪项不属于“四个必须”管理要求。
[单选题] *A.割接实施过程中涉及的关键步骤、关键动作，必须做到有人复核、有人验证。
B.割接方案经过评审后，方可实施。
涉及或潜在影响多部门或外单位的割接，必须通过割接工单或其它形式提前告知。
C.割接工作涉及或潜在影响其他系统的，必须请相关系统的主体运营部门参与方案评审。
D.各部门应对割接方案进行评审，项目经理作为割接工作的第一责任人，必须要对割接方案进行审核。
(正确答案)答案解析：《中移（动）信息技术有限公司IT系统运维质量管理办法》第七章割接报备管理第三十三条割接管理须遵循“四个必须”管理要求（一）各部门应对割接方案进行评审，部门领导作为割接工作的第一责任人，必须要对割接方案进行审核。
（二）割接工作涉及或潜在影响其他系统的，必须请相关系统的主体运营部门参与方案评审。
（三）割接方案经过评审后，方可实施。
Hadoop基础知识培训
存储+计算(HDFS2+Yarn)
集中存储和计算的主要瓶颈
Oracle IBM
EMC存储
scale-up(纵向扩展)
➢计算能力和机器数量成正比 ➢IO能力和机器数量成非正比
多,Intel,Cloudera,hortonworks,MapR • 硬件基于X86服务器,价格低,厂商多 • 可以自行维护,降低维护成本 • 在互联网有大规模成功案例(BAT)
总 结
• Hadoop平台在构建数据云(DAAS)平台有天 然的架构和成本的优势
成本投资估算:从存储要求计算所需硬件及系统软件资源（5000万用户 为例）
往HDFS中写入文件
• 首要的目标当然是数 据快速的并行处理。 为了实现这个目标， 我们需要竟可能多的 机器同时工作。
• Cient会和名称节点达 成协议（通常是TCP 协议）然后得到将要 拷贝数据的3个数据节 点列表。然后Client将 会把每块数据直接写 入数据节点中（通常 是TCP 协议）。名称 节点只负责提供数据 的位置和数据在族群 中的去处（文件系统 元数据）。
• 第二个和第三个数据 节点运输在同一个机 架中，这样他们之间 的传输就获得了高带 宽和低延时。只到这 个数据块被成功的写 入3个节点中，下一 个就才会开始。
• 如果名称节点死亡， 二级名称节点保留的 文件可用于恢复名称 节点。
• 每个数据节点既扮演者数据存储的角色又 冲当与他们主节点通信的守护进程。守护 进程隶属于Job Tracker，数据节点归属于 名称节点。
大数据开发基础知识
大数据开发基础知识
大数据开发基础知识包括以下内容：
1. 大数据概念和特点：了解大数据的定义、特点、挑战和机遇，以及大数据技术的发展背景和趋势。
2. 大数据生态系统：熟悉大数据生态系统的各个组件，如Hadoop、Spark、Hive、HBase、Kafka等，以及它们之间的关系和作用。
3. 数据处理和分析：掌握大数据的处理和分析方法，包括数据的采集、清洗、存储、处理和可视化等。
4. 数据存储和管理：了解大数据的存储和管理技术，如分布式文件系统（HDFS）、NoSQL数据库（HBase、Cassandra）等。
5. 数据挖掘和机器学习：熟悉数据挖掘和机器学习的基本概念和方法，如分类、聚类、回归、推荐系统等。
6. 大数据编程：掌握大数据编程的相关技术和工具，如Hadoop MapReduce编程、Spark编程、Python编程等。
7. 数据可视化：了解数据可视化的基本原理和方法，以及相关的工具和库，如Tableau、D3.js等。
8. 大数据安全和隐私：了解大数据安全和隐私保护的基本原理和方法，以及相关的技术和措施。
9. 大数据应用：了解大数据在各个行业和领域的应用，如金融、电商、医疗、交通等。
10. 大数据项目实践：参与和实践大数据项目，了解项目管理和团队合作的方法和技巧。
以上是大数据开发基础知识的一些内容，通过学习和实践可以逐步掌握和提升自己的大数据开发能力。
Hadoop压缩知识汇总_光环大数据培训
Hadoop压缩知识汇总_光环大数据培训光环大数据培训，随着大数据时代的来临，数据体量越来越大，处理这些数据会越来越受到网络IO的限制，为了尽可能多的处理更多的数据我们必须使用压缩。
那么压缩在hadoop里面是不是所有格式都适用呢?它都有哪些性能呢?压缩在sqoop里面可以做，在hive和impala里面也可以做。
那么什么情况下我们会用压缩呢?通常在数据量非常大，我们通过压缩去减小数据量，从而达到将来去使用数据的时候，减少数据传输IO的情况下去使用。
压缩对于性能的提升以及存储效率的提高也有作用。
一、数据压缩每种文件格式都支持压缩，压缩将减少磁盘空间的占用。
但是压缩本身会带来CPU 的一些开销，所以压缩需要在CPU时间和带宽/存储空间之间进行权衡。
比如：(1)有些算法会花费很长的时间，但节省更多的空间.(2)有些算法更快，但节省的空间有限。
这个怎么来理解呢?我们打个比方，假如说1T的数据压缩成100G，可能需要10分钟。
如果压缩成500G可能需要1分钟。
请问你选择那种方式?所以我们就需要在CPU时间和带宽之间进行一个权衡，当然这里不存在哪种方式的好坏，只是我们根据自己使用的需求去选择。
另外，压缩对性能很有好处：很多Hadoop作业是受IO限制的，使用压缩可以每个IO操作处理更多的数据，压缩也可以改进网络传输的性能。
二、压缩Codecs压缩算法的实现被称为codec，是Compressor/Decompressor的简写。
很多codecs 在Hadoop中很常用，每种都有不同的性能特性。
但是，不是所有的Hadoop工具都是跟所有codecs兼容的。
Hadoop中常用的压缩算法有bzip2、gzip、lzo、snappy，其中lzo、snappy 需要操作系统安装native库才可以支持。
在这里我们看一下不同压缩工具的性能：Bzip2和GZIP是比较消耗CPU的，压缩比最高，GZIP不能被分块并行的处理;Snappy 和LZO差不多，稍微胜出一点，CPU消耗的比GZIP少。
大数据基础知识题库
大数据基础知识题库1. 什么是大数据？大数据是一个相对概念，指的是数据集的规模和复杂度超出了传统处理工具的管理和处理能力。
通常用四个V来描述大数据：数据容量（volume）、数据类型（variety）、数据速度（velocity）和数据价值（value）。
2. 大数据的特征有哪些？大数据的特征包括：规模大、复杂度高、增长快、价值密度不均等。
3. 大数据处理的关键技术有哪些？大数据处理的关键技术包括：分布式存储和计算、数据挖掘和机器学习、流式处理、可视化和交互。
4. 什么是Hadoop？Hadoop是一个开源的、基于Java的分布式计算系统，用于处理大规模数据集。
它包括两个核心组件：分布式文件系统（HDFS）和分布式计算框架（MapReduce）。
5. 什么是Spark？Spark是一个快速、通用、分布式的计算引擎，用于处理大规模数据集。
它的特点包括：内存计算、支持多种语言、支持多种数据源、支持复杂数据处理、可扩展性强等。
6. 什么是NoSQL？NoSQL（Not Only SQL）是一类非关系型数据库，它的设计目的是解决关系型数据库的局限性，支持分布式存储和处理海量数据。
NoSQL数据库有多种类型，如列式存储、文档存储、键-值存储、图形数据库等。
7. 什么是数据挖掘？数据挖掘是从大规模数据中挖掘出有价值的信息和知识的过程。
数据挖掘包括多种技术，如分类、聚类、关联规则挖掘、预测分析等。
8. 什么是机器学习？机器学习是让计算机通过学习数据的方式提高性能的过程。
机器学习包括多种算法，如回归算法、分类算法、聚类算法、支持向量机等。
9. 什么是流式处理？流式处理是实时处理数据流的技术，主要应用于对实时数据流进行监控、分析、处理和应用。
常用的流式处理工具包括Apache Storm、Apache Flink等。
10. 大数据技术的应用场景有哪些？大数据技术的应用场景包括：金融风控、社交网络分析、智能交通、医疗健康、电子商务、城市治理等。
Hadoop试题试题库
1. 以下哪一项不属于Hadoop可以运行的模式___C___。
A. 单机（本地）模式B. 伪分布式模式C. 互联模式D. 分布式模式2. Hadoop的作者是下面哪一位__B____。
A. Martin FowlerB. Doug cuttingC. Kent BeckD. Grace Hopper3. 下列哪个程序通常与NameNode 在同一个节点启动__D___。
A. TaskTrackerB. DataNodeC. SecondaryNameNodeD. Jobtracker4. HDFS 默认Block Size的大小是___B___。
A.32MBB.64MBC.128MBD.256M5. 下列哪项通常是集群的最主要瓶颈____C__。
A. CPUB. 网络C. 磁盘IOD. 内存6. 下列关于MapReduce说法不正确的是_____C_。
A. MapReduce是一种计算框架B. MapReduce来源于google的学术论文C. MapReduce程序只能用java语言编写D. MapReduce隐藏了并行计算的细节，方便使用8. HDFS是基于流数据模式访问和处理超大文件的需求而开发的，具有高容错、高可靠性、高可扩展性、高吞吐率等特征，适合的读写任务是__D____。
A．一次写入，少次读B．多次写入，少次读C．多次写入，多次读D．一次写入，多次读9. HBase依靠__A____存储底层数据。
A. HDFSB. HadoopC. MemoryD. MapReduce10. HBase依赖___D___提供强大的计算能力。
A. ZookeeperB. ChubbyC. RPCD. MapReduce11. HBase依赖___A___提供消息通信机制A. ZookeeperB. ChubbyC. RPCD. Socket12. 下面与HDFS类似的框架是___C____？A. NTFSB. FAT32C. GFSD. EXT313. 关于SecondaryNameNode 下面哪项是正确的___C___。
Hadoop知识点总结
Hadoop知识点总结Hadoop知识点总结1.什么是hadoop?hadoop是⼀个开源软件框架，⽤于存储⼤量数据，并发处理/查询在具有多个商⽤硬件(即低成本硬件)节点的集群上的那些数据。
总之Hadoop包括⼀下内容：HDFS(Hadoop分布式⽂件系统)：允许以⼀种分布式和冗余的⽅式存储⼤量数据。
例如：1GB(即1024MB)⽂本⽂件可以拆分为16*128MB⽂件，并存储在Hadoop集群中的8个不同节点上。
每个分裂可以复制三次，以实现容错，以便如果⼀个节点出现错误的话，也有备份。
HDFS适⽤于顺序的"⼀次写⼊，多次读取"的类型访问。
MapReduce:⼀个计算框架。
它以分布式和并⾏的⽅式处理⼤量的数据，当你对所有年龄>18的⽤户在上述1GB⽂件上执⾏查询时，将会有"8个映射"函数并⾏运⾏，以在其128MB拆分⽂件中提取年龄>18的⽤户，然后"reduce"函数将将会运⾏以将所有单独的输出组合成单个最终结果。
YARN(⼜⼀资源定位器)：⽤于作业调度和集群资源管理的框架。
Hadoop⽣态系统，拥有15多种框架和⼯具，如Sqoop,Flume,Kafka,Pig,Hive,Spark,Impala等以便将数据摄⼊HDFS，在HDFS中转移数据(即变换、丰富、聚合等)，并查询来⾃HDFS的数据⽤于商业智能和分析。
某些⼯具(如Pig和Hive)是MapReduce上的抽象层，⽽Spark和Impala等其他⼯具则是来⾃MapReduce的改进架构/设计，⽤于显著提⾼延迟以⽀持近实时和实时处理2.为什么组织从传统的数据仓库⼯具转移到基于Hadoop⽣态系统的智能数据中⼼？1.现有数据基础设施：主要使⽤存储在⾼端和昂贵硬件中的"structured data，结构化数据"主要处理为ETL批处理作业，⽤于将数据提取到RDBMS和数据仓库系统中进⾏数据挖掘，分析和报告，以进⾏关键业务决策主要处理以千兆字节到兆字节为单位的数据量2.基于Hadoop的更加智能的数据基础设施，其中：结构化(例如RDBMS)，⾮结构化(例如images,PDF,docs)和半结构化(例如logs,XMLs)的数据可以以可扩展和容错的⽅式存储在⽐较便宜的商⽤机器中数据可以存储诸如Spark和Impala之类的⼯具以低延迟的能⼒查询可以存储以兆兆字节到千兆字节为单位的较⼤数据量3.基于Hadoop的数据中⼼的好处是什么？随着数据量和复杂性的增加，提⾼量整体服务⽔平协议。
Hadoop试题题库
1. 以下哪一项不属于Hadoop 可以运行的模式___CA. 单机（本地）模式B. 伪分布式模式C. 互联模式D. 分布式模式2. Hadoop 的作者是下面哪一位__B ___ 。
A. Martin FowlerB. Doug cuttingC. Kent BeckD. Grace Hopper3. 下列哪个程序通常与NameNode 在同一个节点启动__DA. TaskTrackerB. DataNodeC. SecondaryNameNodeD. Jobtracker4. HDFS 默认Block Size 的大小是___B___。
A. 32MBB. 64MBC. 128MBD. 256M5. 下列哪项通常是集群的最主要瓶颈 ______ CA. CPUB. 网络C. 磁盘IOD. 内存6. _____________________________________ 下列关于MapReduce说法不正确的是___________________________________________ C_。
A. MapReduce 是一种计算框架B. MapReduce 来源于google 的学术论文C. MapReduce 程序只能用java 语言编写D. MapReduce 隐藏了并行计算的细节，方便使用8. HDFS 是基于流数据模式访问和处理超大文件的需求而开发的，具有高容错、高可靠性、高可扩展性、高吞吐率等特征，适合的读写任务是__D ___ 。
A. —次写入，少次读B. 多次写入，少次读C. 多次写入，多次读D. —次写入，多次读9. HBase依靠A存储底层数据。
A. HDFSC. MemoryD. MapReduce10. HBase依赖—D—供强大的计算能力。
A. ZookeeperB. ChubbyC. RPCD. MapReduce11. HBase依赖A 提供消息通信机制A. ZookeeperB. ChubbyC. RPCD. Socket12. _______________________________ 下面与HDFS类似的框架是___C ？A. NTFSB. FAT32C. GFSD. EXT313. 关于SecondaryNameNode下面哪项是正确的 ____ C 。