大数据导论: 阶段作业2

8.
1.MapReduce的工作流程可分为三个阶段：Map、Shuffle、Reduce；而shuffle又可分为Map端的shuffle和Reduce端的shuffle
2.Map阶段：通过InputFormat的getSplits()方法，从HDFS上获取数据，然后对获取的文件进行切片，分三片，每片128M，然后根据CreateRecordReader()方法返回一行行的数据，每读取返回一行数据，调用一次map
3.KEYOUT：是我们映射类型所产生的key的类型，String；
4.VALUEOUT：是我们映射类型所产生的value的类型，Integer；
知识点:
阶段作业2
学生答案:
[A;B;C;D;]
标准答案:
A;B;C;D
得分:
[5]
试题分值:
5.0
提示:
2.错误
知识点:
阶段作业2
学生答案:
[A;]
标准答案:
A
得分:
[5]
试题分值:
5.0
提示:
3.
Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架，MapReduce充分借鉴了分而治之的思想，将一个数据处理过程拆分成Map（映射）与Reduce（归约）两步。
4.
1.正确
2.错误
知识点:
阶段作业2
学生答案:
[A;]
标准答案:
A
得分:
[5]
试题分值:
5.0
提示:
5.
FSDataOutputStream，这个类重载了很多write方法，用于写入很多类型的数据：比如字节数组，long，int，char等等。
6.
1.正确
2.错误
知识点:
阶段作业2
学生答案:
[A;]
5.Reduce：排序完成后将文件扔到Reduce上，然后将结果存储到HDFS中
biner只有在输入和输出格式一样的情况下才可以使用
知识点:
阶段作业2
学生答案:
[A;B;C;D;E;F;]
标准答案:
A;B;C;D;E;F
得分:
[5]
试题分值:
5.0
提示:
9.
HDFS客户端JavaAPI查询目录信息的方法是？
一、判断题（共10道小题，共50.0分）
1.
MapReduce运行的时候，会通过Mapper运行的任务读取HDFS中的数据文件，然后调用自己的方法，处理数据，最后输出。Reducer任务会接收Mapper任务输出的数据，作为自己的输入数据，调用自己的方法，最后将结果输出到HDFS的文件中。
2.
1.正确
3.Map端的shuffle：调用map后，数据持续写入到环形缓冲区内，缓冲区大小默认为100M，阈值为80%，当数据达到80%时，系统会自动开启Spill线程，然后对数据进行分区，排序和Combiner，最后溢写到磁盘，数据写入完成后，会将环形缓冲区内的数据也拉到磁盘中，生成新的文件
4.Reduce端的Shuffle：Reduce端会将Map端生成的所有新文件copy过来，然后对这些数据进行合并，形成一个大的文件，再对这个文件排序
A;B;D
得分:
[5]
试题分值:
5.0
提示:
18.
列出hdfs文件系统根目录下的所有目录和文件。
19.
1.hdfs dfs -ls -R /
2.hdfs dfs -ls /
3.hadoop fs -ls -R /
4.hadoop fs -ls /
知识点:
阶段作业2
学生答案:
[A;C;]
标准答案:
A;C
10.
11.
1.正确
2.错误
知识点:
阶段作业2
学生答案:
[A;]
标准答案:
A
得分:
[5]
试题分值:
5.0
提示:
12.
BufferedReader有一个很特别的方法：readLine()，使用起来特别方便，每次读回来的数据都是一行。
13.
1.正确
2.错误
知识点:
阶段作业2
学生答案:
[A;]
标准答案:
A
得分:
[5]
试题分值:
5.0
提示:
14.
Shuffle意义在于将不同map处理后的数据进行合理分配，让reduce处理，从而产生了排序、分区。
15.
1.正确
2.错误
知识点:
阶段作业2
学生答案:
[A;]
标准答案:
A
得分:
[5]
试题分值:
5.0
提示:
16.
在MapReduce里，Reduce处理的是原始数据，自然是杂乱无章的，每条数据之间互相没有关系，到了Map阶段，数据是以key后面跟着若干个value来组织的，这些value有相关性，至少它们都在一个key下面，于是就符合函数式语言里map和reduce的基本思想了。
得分:
[5]
试题分值:
5.0
提示:
20.
Map阶段开发需要继承Mapper接口，有四个泛型需要理解，下列说法正确的是？
21.
1.KEYIN：是mapTask读取到的数据中key（一行一行的数据中的起始偏移量）的类型，Long；
2.VALUEIN：是mapTask读取到的数据中value(一行一行的数据的内容)的类型，String；
标准答案:
A
得分:
[5]
试题分值:
5.0
提示:
7.
FileSystem.get()构造了一个访问HDFS的工具对象，他的内部封装了HDFS集群的URI、客户端的参数、客户端的用户名。
8.
1.正确
2.错误
知识点:
阶段作业2
学生答案:
[A;]
标准答案:
A
得分:
[5]
试题分值:
5.0
提示:
9.
BufferedReader的readLine()方法是阻塞式的,如果到达流末尾,就返回null。
13.
1.12345
2.41235
3.14235
4.24135
知识点:
阶段作业2
学生答案:
[B;D;]
标准答案:
B;D
得分:
[5]
试题分值:
5.0
提示:
14.
以下哪些存储系统可以存储日志文件等数据？
15.
1.HDFS
2.Logstash
3.Mysql
4.ElasticSearch
知识点:
阶段作业2
学生答案:
知识点:
阶段作业2
学生答案:
[A;B;C;D;]
标准答案:
A;B;C;D
得分:
[5]
试题分值:
5.0
提示:
3.
FileSystem对象中的哪些方法返回的是FSDataOutputStream对象？
4.
1.fs.append()
2.fs.open()
3.fs.create()
4.fs.close()
知识点:
[A;]
标准答案:
A
得分:
[5]
试题分值:
5.0
提示:
20.
使用hadoop的jar包命令可以是hadoop jar或者java jar。
21.
1.正确
2.错误
知识点:
阶段作业2
学生答案:
[B;]
标准答案:
B
得分:
[5]
试题分值:
5.0
提示:
二、多项选择题（共10道小题，共50.0分）
1.
对hadoop中Combiner的作用说法正确的是？
17.
1.正确
2.错误
知识点:
阶段作业2
学生答案:
[B;]
标准答案:
B
得分:
[5]
试题分值:
5.0
提示:
18.
HDFS客户端JavaAPI按行读取数据的方法：new BufferedReader(new InputStreamReader(open))。
19.
1.正确
2.错误
知识点:
阶段作业2
学生答案:
阶段作业2
学生答案:
[A;C;]
标准答案:
A;C
得分:
[5]
试题分值:
5.0
提示:
5.
在Map阶段读取数据时，缓冲区达到阈值就会溢写到磁盘，此处的阈值为多少？
6.
1.60%
2.70%
3.80%
4.90%
知识点:
阶段作业2
学生答案:
[C;]
标准答案:
C
得分:
[5]
试题分值:
5.0
提示:
7.
对MapReduce的工作流程说法正确的是：
2.
biner是reduce的实现，在map端运行计算任务，减少map端的输出数据
2.作用是优化
3.在MapReduce编程模型中，Mapper和Reducer之间有一个非常重要的组件，它解决了性能瓶颈问题，它就是Combiner
biner的使用场景是mapreduce的map和reduce输入输出一样
10.
1.fs.create()
2.fs.listFiles()
3.fs.listStatus()
4.fs.mkdirs()
知识点:
阶段作业2
学生答案:
[C;]