Hadoop应用开发与案例实战课后习题参考答案1-10章全书章节练习题答案题库
Hadoop大数据技术基础智慧树知到课后章节答案2023年下河北软件职业技术学院
Hadoop大数据技术基础智慧树知到课后章节答案2023年下河北软件职业技术学院河北软件职业技术学院第一章测试1.HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上。
（）答案:对2.Hadoop既适合超大数据集存储,也适合小数据集的存储。
（）答案:错3.HDFS为海量的数据提供了存储,而MapReduce为海量的数据提供了计算。
（）答案:对4.Hadoop起始于以下哪个阶段？（）答案:2002年，Apach项目的Nutch。
5.Hadoop集群具有以下哪个优点?（）高容错性;高扩展性;高可靠性第二章测试1.在本次课程里，Linux发行版本我们选择（）。
答案:Centos72.从哪一个Hadoop历史版本引入了yarn（）。
答案:3.x版本系列3.Hadoop部署方式分三种（）。
答案:单机模式;伪分布式模式;分布式模式4.商业版Hadoop是指由第三方商业公司在社区版Hadoop基础上进行了一些修改、整合以及各个服务组件兼容性测试而发行的版本。
（）答案:对5.Hadoop一般是安装在Windows服务器上的。
（）错第三章测试1.Hadoop 的安装部署的模式属于伪分布模式（）。
答案:全分布式模式的一个特例，Hadoop的守护进程运行在一个节点上。
2.Hadoop 的核心组件不包括（）。
答案:Common3.下列操作不能实现关闭Linux系统的命令是（）。
答案:reboot4.下列关于克隆虚拟机描述正确的是（）。
答案:克隆操作结束后，克隆的虚拟机就可以脱离原始虚拟机独立存在5.VMware Workstation的虚拟网络类型有（）。
答案:NAT模式;Host-only模式;桥接模式6.Hadoop系统三种部署方式是（）。
答案:全分布式;伪分布式模式;单机模式7.下列关于Hadoop HA模式的描述是正确的（）。
答案:HA模式当工作中的机器宕机后，会自动处理这个异常，并将工作转移到其他备用机器;实现高可用最关键的策略是消除单点故障。
hadoop习题册答案
hadoop习题册答案Hadoop习题册答案Hadoop是一个开源的分布式存储和计算框架，被广泛应用于大数据处理领域。
学习Hadoop需要不断练习和实践，而习题册则是一个很好的学习工具。
在这篇文章中，我们将为大家提供Hadoop习题册的答案，希望能够帮助大家更好地掌握Hadoop的知识。
1. 什么是Hadoop的核心组件？答：Hadoop的核心组件包括HDFS（Hadoop分布式文件系统）和MapReduce （分布式计算框架）。
2. Hadoop中的NameNode和DataNode分别是什么作用？答：NameNode是HDFS的主要组件，负责管理文件系统的命名空间和客户端对文件的访问。
DataNode则是存储实际数据块的节点，负责存储和检索数据。
3. 请简要说明MapReduce的工作流程。
答：MapReduce的工作流程包括两个阶段：Map阶段和Reduce阶段。
在Map 阶段，数据被划分成若干个小的数据块，然后由不同的Map任务并行处理。
在Reduce阶段，Map任务的输出被合并和排序，然后由Reduce任务进行最终的处理。
4. 什么是Hadoop的作业调度器？答：Hadoop的作业调度器负责管理集群上的作业，并根据资源的可用情况来进行作业的调度和分配。
5. Hadoop中的数据压缩是如何实现的？答：Hadoop中的数据压缩可以通过使用压缩编解码器来实现，例如Gzip、Snappy等。
以上是Hadoop习题册的部分答案，希望对大家学习Hadoop有所帮助。
通过不断地练习和实践，相信大家一定能够掌握Hadoop的核心知识，并在大数据处理领域有所建树。
(完整版)hadoop习题册
第一章大数据概述1.互联网的发展分为______个阶段。
A．一 B.三 C.二 D.四2.下列不属于大数据特点的是（）。
A.种类和来源多样化B.数据量巨大C.分析处理速度快D.价值密度高3.互联网发展的第_____个时代为智能互联网。
A.3.0B.4.0C.1.0D.2.04.关于大数据叙述不正确的一项是（）。
A.大数据=“海量数据”+“复杂类型的数据”B.大数据是指在一定时间对内容抓取、管理和处理的数据集合C.大数据可以及时有效的分析海量的数据D.数据包括结构化数据、半结构化数据、结构化数据。
5.下列数据换算正确的一项为（）。
A.1YB=1024EBB.1TB=1024MBC.1PB==1024EBD.1024ZB=1EB6.结构化数据的表现形式为______。
A.文本B.视图C.二维表D.查询7.结构化的数据，先有________,再有_________.A.数据结构B.结构数据C.内容结构D.结构内容8.结构化的数据，先有________,再有_________.A.数据结构B.结构数据C.内容结构D.结构内容9.软件是大数据的_________。
A.核心B.部件C.引擎D.集合10.大数据技术不包括( )。
A.数据计算B.数据存储C.数据冗余D.数据采集11.大数据的特点不包括（）。
A.数量大B.类型少C.速度快D.价值高第二章Hadoop简介1.下列对云栈架构层数不正确的一项为________。
A.三层云栈架构B.四层云栈架构C.五层云栈架构D.六层云栈架构2.下列______不是云计算三层架构的概括。
A.IaaSB.PaaSC.SaaPD.SaaS3.IaaS基础设施及服务可以称为______。
A.弹性计算B.效用计算C.有效计算D.随需应用4.四层云栈模式，是将三层模式中的_________进行分解，分为两层，一层为硬件层，一层为虚拟资源层。
A.硬件部分B.虚拟化部分C.基础设施D.平台5.五层云栈模式，第五层为______。
Hadoop基础(习题卷1)
Hadoop基础(习题卷1)说明：答案和解析在试卷最后第1部分：单项选择题，共145题，每题只有一个正确答案,多选或少选均不得分。
1.[单选题]以下哪一项不属于Hadoop可以运行的模式（）A)单机模式B)伪分布式模式C)互联模式D)分布式模式2.[单选题]下列哪一个不属于Hadoop的大数据层的功能？A)数据挖掘B)离线分析C)实时计算D)BI分析3.[单选题]用于检查节点自身的健康状态的进程是（ ）A)ResourceManagerB)NodeManagerC)NameNodeD)DataNode4.[单选题]下面与Zookeeper类似的框架是？A)ProtobufB)JavaC)KafkaD)Chubby5.[单选题]哪个不是HDFS的特点？A)高容错B)高吞吐量C)低延迟读取D)大文件存储6.[单选题]在mapreduce任务中，下列哪一项会由hadoop系统自动排序（）A)keys of mapper's outputB)values of mapper's outputC)keys of reducer's outputD)values of reducer's output7.[单选题]HDFS的是基于流数据模式访问和处理超大文件的需求而开发的，默认的最基本的存储单位是64M，具有高容错、高可靠性、高可扩展性、高吞吐率等特征，适合的读写任务是？A)一次写入，多次读写B)一次写入，少次读写C)多次写入，少次读写D)多次写入，多次读写8.[单选题]下列哪项通常是集群的最主要的性能瓶颈? ()A)CPUB)网络C)磁盘D)内存9.[单选题]以下选项中，哪种类型间的转换是被Hive查询语言所支持的（）A)Double-NumberB)BigInt-DoubleC)Int-BigIntD)String--Double10.[单选题]下面哪个选项中的Daemon总是运行在同一台主机上()A)Name Node & Job TrackerB)Secondary Name Node & Job TrackerC)Name Node & Secondary Name NodeD)Data Node & Task Tracker11.[单选题]2003年，Google公司发表了主要讲解海量数据的可靠存储方法的论文是？A)“TheGoogleFileSystem”B)“MapReduce:SimplifiedDataProcessingonLargeClusters”C)“Bigtable:ADistributedStorageSystemforStructuredData”D)“TheHadoopFileSystem”12.[单选题]下列_______通常与NameNode在一个节点启动。
Hadoop基础(习题卷11)
Hadoop基础(习题卷11)第1部分：单项选择题，共54题，每题只有一个正确答案,多选或少选均不得分。
1.[单选题]在文件属性中， 文件的权限用第( )列字符表示。
A)1-5B)2-10C)3-9D)1-8答案:B解析:2.[单选题]下列______不是云计算三层架构的概括。
A)IaaSB)PaaSC)SaaPD)SaaS答案:C解析:3.[单选题]验证java运行环境是否安装成功，使用哪个命令查看java版本，若出现版本号则表示 安装成功（）A)java-versionB)java-ipconfigC)java-editionD)java-Release答案:A解析:4.[单选题]在Hadoop官方的示例程序包hadoop-maprecduceexamples-2.6.4.jar中，封装了一些常用的测试模块。
可以获得文件中单词长度的中位数的模块是(C)。
A)wordcountB)wordmeanC)wordmedianD)wordstandarddeviation答案:C解析:5.[单选题]在 MapReduce 中 Shuffle 的主要作用是（ ）A)将数据进行拆分B)对映射后的数据进行排序, 然后输入到 ReducerC)经过映射后的输出数据会被排序， 然后每个映射器会进 行分区D)通过实现自定义的 Partitioner 来指定哪些数据进入哪个Reducer答案:B解析:B)HTTPSC)SSHD)ClientProtocol答案:C解析:7.[单选题]关于ApplicationMaster组件描述错误的是（）。
A)与资源管理器协商获取资源B)与节点管理器通信以启动或停止具体的任务C)监控应用程序所有任务的状态D)定时向资源管理器汇报资源使用情况答案:A解析:8.[单选题]SecondaryNameNode 是对主NameNode的一个补充，他会定期地执行对HDFS元数据的检查点。
当前设计仅允许每个HDFS只有（）SecondaryNameNode节点。
(完整版)hadoop习题册
第一章大数据概述1. ____________________ 互联网的发展分为个阶段。
A．一 B.三 C.二 D.四2. 下列不属于大数据特点的是（）。
D.价值密度高A. 种类和来源多样化B.数据量巨大C.分析处理速度快3. _________________ 互联网发展的第个时代为智能互联网。
A. 3.0B.4.0C.1.0D.2.04. 关于大数据叙述不正确的一项是（）。
A. 大数据=“海量数据” +“复杂类型的数据”B. 大数据是指在一定时间对内容抓取、管理和处理的数据集合C. 大数据可以及时有效的分析海量的数据D. 数据包括结构化数据、半结构化数据、结构化数据。
5. 下列数据换算正确的一项为（）。
A. 1YB=1024EBB. 1TB=1024MBC. 1PB==1024EBD. 1024ZB=1EB6. ___________________________ 结构化数据的表现形式为。
A. 文本B.视图C.二维表D.查询7. ________________________ 结构化的数据，先有,再有.A. 数据结构B. 结构数据C. 内容结构D. 结构内容8. ________________________ 结构化的数据，先有,再有.A. 数据结构B. 结构数据C. 内容结构D. 结构内容9. ______________________ 软件是大数据的。
A.核心B.部件C.引擎D.集合10. 大数据技术不包括（）。
A.数据计算B.数据存储C.数据冗余D.数据采集11.大数据的特点不包括（）。
A.数量大B.类型少C.速度快D.价值高第二章Hadoop 简介1. ______________________________________ 下列对云栈架构层数不正确的一项为A. 三层云栈架构B. 四层云栈架构C. 五层云栈架构D. 六层云栈架构2. _________ 下列不是云计算三层架构的概括。
hadoop练习题--带答案
hadoop练习题--带答案Hadoop 练习题姓名：分数：单项选择题1.下面哪个程序负责HDFS数据存储。
a)NameNodeb)Jobtrackerc)Datanode √d)secondaryNameNodee)tasktracker2.HDfS中的block默认保存几份？a)3份√b)2份c)1份d)不确定3.下列哪个程序通常与NameNode在一个节点启动？a)SecondaryNameNodeb)DataNodec)TaskTrackerd)Jobtracker√4.Hadoop作者a)Martin Fowlerb)Kent Beckc)Doug cutting√5.HDFS默认Block Sizea)32MBb)64MB√c)128MB6.下列哪项通常是集群的最主要的性能瓶颈a)CPUc)磁盘√d)内存7.关于SecondaryNameNode哪项是正确的？a)它是NameNode的热备b)它对内存没有要求c)它的目的是帮助NameNode合并编辑日志，减少NameNode 启动时间√d)SecondaryNameNode应与NameNode部署到一个节点8.一个gzip文件大小75MB，客户端设置Block大小为64MB，请我其占用几个Block？a)1b)2√c)3d)49.HDFS有一个gzip文件大小75MB，客户端设置Block大小为64MB。
当运行mapreduce任务读取该文件时input split大小为？a)64MBb)75MB√c)一个map读取64MB，另外一个map读取11MB10.HDFS有一个LZO（with index）文件大小75MB，客户端设置Block大小为64MB。
当运行mapreduce任务读取该文件时input split大小为？a)64MBb)75MBc)一个map读取64MB，另外一个map读取11MB√多选题：11.下列哪项可以作为集群的管理工具a)Puppet√c)Cloudera Manager√d)Rsync + ssh + scp√12.配置机架感知的下面哪项正确a)如果一个机架出问题，不会影响数据读写√b)写入数据的时候会写到不同机架的DataNode中√c)MapReduce会根据机架获取离自己比较近的网络数据√13.Client端上传文件的时候下列哪项正确a)数据经过NameNode传递给DataNodeb)Client端将文件以Block为单位，管道方式依次传到DataNode√c)Client只上传数据到一台DataNode，然后由NameNode负责Block复制工作d)当某个DataNode失败，客户端会继续传给其它DataNode √14.下列哪个是Hadoop运行的模式a)单机版√b)伪分布式√c)分布式√15.Cloudera提供哪几种安装CDH的方法a)Cloudera manager√b)Tar ball√c)Yum√d)Rpm√判断题：（全部错）16.Ganglia不仅可以进行监控，也可以进行告警。
Hadoop应用开发实战案例
Hadoop应用开发实战案例近年来，大数据分析逐渐火热，成为提升企业竞争力的重要手段。
由于传统关系型数据库有难以扩展的弱点，以Hadoop为主流的新兴分布式集群解决方案逐渐击败传统数据库，成为大数据分析领域的霸主。
在炼数成金的基础课程《Hadoop数据分析平台》里，对Hadoop的两大支柱技术HDFS和Map-Reduce以及Hadoop生态圈的各个子产品作了详细的介绍和学习。
本课程是《Hadoop数据分析平台》的后续课程。
在本课程里，我们致力于向学员描画若干真正的企业级数据分析项目的全貌，我们会分别站在甲方——需求者，乙方团队——数据架构师、算法设计师、IT 系统架构师、开发工程师等多个角色的角度来审视项目整个过程，向大家展示项目的业务背景，数据建模，算法设计，集群设计和部署，系统开发编码等过程的全貌，使大家有亲历其境的感觉，犹如自己身处于项目团队之中，熟悉大数据分析项目的完成工序。
无论你的个人目标是何种角色，都能在课程中有所收获。
本课程覆盖互联网，电子商务，电信运营商，金融行业，地理位置应用等多个领域，每一次课就是一个独立的项目，这些实战内容将可以使大家在基础课程之后，更加理解Hadoop在实际中是如何使用，同时吸取跨行业的项目知识经验，对将来的个人发展将大有裨益。
《Hadoop应用开发实战案例》课程内容：第1课Hadoop基础回顾第2课Hadoop应用情况综述第3课巨型网站日志系统分析，提取KPI数据(Map-Reduce)第4课电信运营商LBS应用，分析手机用户移动轨迹(Map-Reduce)第5课电信运营商用户分析，通过通话指纹判断重入网用户(map-Reduce)第6课电子商务推荐系统设计(Map-Reduce)第7课更复杂的推荐系统场景(Mahout)第8课社交网络，判断微博用户关系亲疏程度，发现社区(Pig)第9课在社交网络中衡量节点的重要程度(Map-Reduce)第10课聚类算法应用，分析优质客户(Map-Reduce,Mahout)第11课金融数据分析，从历史数据中提取逆回购信息(Hive)第12课通过数据分析制定股票策略(Map-Reduce,Hive)第13课GPS应用，签到数据分析(Pig)第14课Map-Reduce全排序实现和优化第15课中间件开发，让多个Hadoop集群协作起来授课对象：具有Hadoop基础知识（例如修完我们《Hadoop数据分析平台》课程），对将Hadoop 应用到各种实际系统感兴趣的朋友授课讲师：黄志洪（tigerfish），ITPUB创始人，中山大学海量数据与云计算研究中心主任。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
习题一、选择题1．下列有关 Hadoop 的说法正确的是( ABCD )。
A ．Hadoop 最早起源于 NutchB ．Hadoop 中HDFS 的理念来源于谷歌发表的分布式文件系统( GFS )的论文C ．Hadoop 中 MapReduce 的思想来源于谷歌分布式计算框架 MapReduce 的论文D．Hadoop 是在分布式服务器集群上存储海量数据并运行分布式分析应用的一个开源的软件框架2．使用 Hadoop 的原因是( ABCD )。
A．方便：Hadoop 运行在由普通商用机器构成的大型集群上或者云计算服务上B．稳健：Hadoop 致力于在普通商用硬件上运行，其架构假设硬件会频繁失效，Hadoop 可以从容地处理大多数此类故障C ．可扩展：Hadoop 通过增加集群节点，可以线性地扩展以处理更大的数据集D．简单：Hadoop 允许用户快速编写高效的并行代码3．Hadoop 的作者是( B )。
A ．Martin FowlerB ．Doug CuttingC ．Kent BeckD ．Grace Hopper4．以下关于大数据特点的描述中，不正确的是( ABC )。
A ．巨大的数据量B ．多结构化数据C ．增长速度快D ．价值密度高二、简答题1．Hadoop 是一个什么样的框架？答：Hadoop 是一款由Apache 基金会开辟的可靠的、可伸缩的分布式计算的开源软件。
它允许使用简单的编程模型在跨计算机集群中对大规模数据集进行分布式处理。
2．Hadoop 的核心组件有哪些？简单介绍每一个组件的作用。
答：核心组件有 HDFS 、MapReduce 、YARN 。
HDFS ( Hadoop Distributed File Sy，st doop 分布式文件系统)是 Hadoop 的核心组件之一，作为最底层的分布式存储服务而存在。
它是一个高度容错的系统，能检测和应对硬件故障，可在低成本的通用硬件上运行。
MapReduce 是 Hadoop 的一个分布式计算框架，也是一种大规模数据集并行运算的编程模型，主要用于处理海量数据的运算。
MapReduce 主要包括 map (映射)和 reduce(规约)两部份。
它是一个分布式运算程序的编程框架，其核心功能是将用户编写的业务逻辑代码和自带的默认组件整合成一个完整的分布式运算程序，并发运行在Hadoop 集群上。
Hadoop YARN 是开源 Hadoop 分布式处理框架中的资源管理和作业调度框架，主要负责将系统资源分配给在Hadoop 集群中运行的各种应用程序，并调度在不同集群节点上执行的任务3．简述Hadoop 生态体系，并列举此生态体系中涉及的技术。
答：当今的Hadoop 已经成长为一个庞大的生态体系，随着生态体系的成长，新浮现的项目也越来越多，其中不乏一些非Apache 主管的项目，这些项目对Hadoop 做了更好的补充或者更高层的抽象，涉及的技术有HBase、Hive、Sqoop、Pig、Flume、Oozie、ZooKeeper、kafka、Spark 等。
4．简单列举几个 Hadoop 的应用场景。
答： ( 1 )在线旅游( 2 ) 电子商务( 3 ) 挪移数据(4)能源发现( 5 )节约能源( 6 )图象处理( 7 )医疗保健( 8 ) IT 安全( 9 )欺诈检测( 10 )基础设施管理习题一、填空题1．Hadoop 集群中的节点 DataNode 负责 HDFS 的数据存储。
2．Hadoop 集群中的Jobtracker 程序通常与 NameNode 在一个节点启动。
3．Hadoop 的运行模式有独立(本地)运行模式、伪分布式运行模式和彻底分布式运行环境。
4．Hadoop 集群搭建中常用的4 个配置文件有hadoop-env.sh、core-site,xm、l mapred- site,.xm和l yarn-site.xml。
二、操作题1．根据 2.2节伪分布式安装的安装及配置步骤，在自己计算机上搭建伪分布式Hadoop 集群环境，环境搭建完毕后通过命令及Web 访问方式查看集群的启动情况。
答：具体步骤见章节内容。
2. 根据2.3 节彻底分布式安装的安装及配置步骤，根据自己计算机的实际配置情况分析是否可以搭建至少2 台节点的彻底分布式Hadoop 集群环境，如果配置允许则搭建彻底分布式集群环境，搭建完毕后通过命令或者Web 访问方式查看集群的启动信息。
答：具体步骤见章节内容。
习题一、填空题1．由于NameNode 宕机，导致无法对外提供服务，可通过搭建HDFS HA 来解决。
2．YARN 的高可用主要是解决 ResourceManager单点故障。
3．由于HDFS 存储数据量过大，导致NameNode 内存不足，可以通过搭建联邦来解决。
二、简答题1．Hadoop 是如何解决高可用问题的？答：对于 Hadoop 集群， RM 和 NN 都是S“ingle Point of Fai(lu单re点故障)”，起着“一票否决”的作用，所以Hadoop 对 NN 和 RM 都提供了 HA 选项，采用的都是 Active/Standb 措施来达到 HA 的要求。
所谓 Active/Standb是y一种热备方案，这种方案中，“在位”的行使职权ctive 的管理者惟独一个，但有一个作为备份(即 Standby)的候补管理者时刻准备着，当 Active的管理者发生故障， Standby的管理者就立刻顶上，并进行业务的接管，不用暂时开机和初始化。
2．简述 ZooKeeper 的功能及其在 Hadoop 高可用中起到的作用。
答：ZooKeeper 主要用来解决分布式应用中时常遇到的一些数据管理问题，如统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。
在 Hadoop 的 HA 集群中，使用 ZooKeeper 的存储功能可保存 NameNode 的状态信息,ZooKeeper会监听两个 NameNode 的工作状态，当状态发生改变时，由其协调 Active与 Standby 状态的切换。
3．YARN 是如何解决高可用问题的？答： Hadoop 在 2.4版本之后，针对 YARN 引入了 HA 机制，也就是 ResourceManager 的Active/Standb。
yYARN 的 HA 与 HDFS 的 HA 基本相同，但 YARN HA 能够支持多个 Standby的ResourceManager ( Hadoop 2.x的 HDFS HA 只允许有一个Standby的 NameNode ，Hadoop 3.x之后，允许有多个 Standby 的 NameNode )，Active和 Standby 的状态可以通过控制台命令手动切换，也可以自动切换。
4．Hadoop 联邦解决了什么问题？答： Hadoop 集群启动后， NameNode 在内存中保存了文件和块的映射关系，这意味着对于一个拥有大量文件的超大集群来说，由于数据量太大， NameNode 的内存中可能也无法放下这么多的对应关系，内存将成为限制系统横向扩展的瓶颈。
Hadoop 2.x版本中引入了 HDFS 联邦机制来解决这个问题一、选择题1．数据块(block)的大小由( A )参数决定。
A ．dfs.blocksizeB ．fs.replicationC ．fs.defaultFSD ．dfs.block2．创建 HDFS 新目录/“newdi 的命令为(D )。
A ．hadoop mkdir /newdirB ．hadoop fs mkdir /newdirC ．hadoop fs mkdir newdirD ．hadoop fs mkdir /newdir二、简答题简述HDFS 的写数据流程。
答： ( 1 ) 客户端首先与NameNode 建立连接，发起文件上传请求。
( 2 ) NameNode 检查上传路径是否存在，目标文件是否存在，权限是否允许。
若无问题则修改命名空间，并反馈允许上传。
( 3 ) 客户端收到允许上传反馈后再次请求第一个 Block 所在的节点名。
( 4 ) NameNode 根据机架感知原理选取三个节点( DataNode1、DataNode2、DataNode3 )并将其反馈给客户端。
( 5 ) 客户端从获取的三个节点中选取一个节点建立管道 ( Pipelin)e连接，请求上传数据。
节点1 收到请求后与节点2 获取连接，节点2 收到请求后与节点3 获取连接。
(6)连接全部建立成功后，客户端开始向第一个节点传输第一个 Block。
该 Block 数据以Packet 为单位进行传输。
数据的校验则是以更小的Chunk 单位进行的。
数据在客户端本地和DataNode 端都有读取和写入的缓存队列。
每一次 Packet在 Pipeline上的传输都需要反向应答。
直到写完预定的 Block 为止。
节点 1、节点2 和节点3 之间也会以同样的方式同步传输。
(7)当第一个 Block传输完毕后，客户端会再次发送请求到NameNode ，将整个流程再次重复。
三、编程题编写程序完成HDFS 文件系统根目录下所有文件的列举。
Configuration conf = new Configuration();FileStatus[] listStatus = hdfs.listStatus(new Path(path));for(FileStatus fs:listStatus) {system.out..println(fs.getPath()));习题一、填空题1．YARN 提供的调度器策略有 FIFO Scheduler(FIFO 调度器 )、Capacity Schedule 容量调度器)和 Fair Schedule(r公平调度器 ) .2．YARN 采用的体系架构是主从结构，其中主节点是 ResourceManager ，从节点是NodeManager 。
3．ResourceManager 的两个重要组件是 Scheduler和 ApplicationsManager。
4．在 NodeManager 中封装内存、CPU 、磁盘、网络等资源的是 Container 。
二、简答题1．简述共享集群模式的优点。
答：( 1 )资源利用率高( 2 )运维成本低( 3)数据共享2．简述 ApplicationMaster的主要作用。
答：( 1 )为运行应用向 ResourceManager 申请资源。
( 2 )在 Job 中对 Task 实现调度。
( 3)与 NodeManager 通信以启动或者住手任务。
( 4 )监控所有任务的运行情况，并在任务失败的情况下重新为任务申请资源以重启任务3．简述 YARN 的工作流程。