Hadoop原理期末作业(5)

Hadoop原理期末作业

一、搭建一个由三个节点构成的完全分布式非HA集群；

1、主机角色分配：

2、搭建HDFS集群：

（1）core-site.xml配置文件代码及注释所编辑的代码行作用：(5分)

fs.defaultFS

hdfs://JYM2018122101001Master:9000

（2）hadoop-env.sh配置文件代码及注释所编辑的代码行作用：(5分) export JAVA_HOME=/home/YM/software/jdk1.8.0_45

（3）hdfs-site.xml配置文件代码及注释所编辑的代码行作用：(5分)

https://www.360docs.net/doc/6a4895302.html,.dir

/home/YM/dfsdate/name

dfs.datanode.data.dir

/home/YM/dfsdate/data

https://www.360docs.net/doc/6a4895302.html,node.secondary.http-address

JYM2018122101001Slave01:50090

dfs.replication

2

dfs.blocksize

128M

（4）slaves配置文件代码：(1分)

JYM2018122101001Slave01

JYM2018122101001Slave02

（5）将Hadoop配置到/etc/profile系统环境变量；(2分)

export JAVA_HOME=/home/YM/software/jdk1.8.0_45

export JRE_HOME=/home/YM/software/jdk1.8.0_45/jre

export CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

export HADOOP_HOME=/home/YM/software/hadoop-2.8.1

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

（6）批量启动HDFS集群，查看各个节点的进程，并截图，要求截图中必须含有用户及主机名；(5分)

2、搭建简单yarn集群：

（1）yarn-site.xml配置文件的内容及注释所编辑的代码行作用；(5分)

yarn.ResourceManager.hostname

JYM2018122101001Master

yarn.NodeManager.aux-services

mapreduce_shuffle

yarn.nodemanager.resource.memory-mb

1024

yarn.nodemanager.resource.cpu-vcores

2

（2）批量启动Yarn集群，查看各个节点的进程，并截图，要求截图中每行必须含有用户及主机名；(5分)

二、使用MapReduce编写一个简单程序统计指定文件中英文单词出现的次数：

1、数据目录：

（1）数据源目录：HDFS文件系统中/wordcount/input/：自定义一个文本文件；

（2）目标输出目录：HDFS文件系统中/wordcount/output/

2、程序代码：（三个类）客户端生成工程Jar，且该工程Jar包在Hadoop的运行平台为本地模式：Local（10分）

WordCountReducer.java

package zhutu.mapreduce.wc;

import java.io.IOException;

import java.util.Iterator;

import org.apache.hadoop.io.IntWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Reducer;

/**

* 当前实现类的父类Reducer的泛型：

* 1、keyIn：接收key，并且是单词名称，Text类型；

* 2、ValueIn：接收value,是单词名称所对应值，IntWritable类型；

* 3、KeyOut：当前程序全局汇总结果中key,分组名称，即单词名称，Text；

* 4、ValueOut：当前程序全局汇总结果中key所对应的Value值，即单词出现的总次数；

*/

public class WordCountReducer extends Reducer{

/**

* 每调用一次reduce()方法，ReducerTask任务就会向其传送一个分组数据；

* 参数一：分组中的key,Text类型；

* 参数二：分组中的Value，因为一个key对应了多个value值，该参数被定义迭代器类型，用于接收分组所形成的多个1；

* 参数三：用于存储每个分组进行聚合时所产生的中间结果；

*/

@Override

protected void reduce(Text key, Iterable values,Context context) throws IOException, InterruptedException {

// 1、定义一个变量int类型的变量存储一个分组值聚合结果；

int count = 0;

// 2、生成一个迭代器，使用iterator()方法从Iterable values获取封装了value数据迭代器；

Iterator iterator = values.iterator();

// 3、遍历迭代器；

while(iterator.hasNext()){

IntWritable value = iterator.next();

count += value.get();

}

// 4、将分组的聚合结果写入到Context实例

context.write(key, new IntWritable(count));

}

}

WordCountMapper.java

package zhutu.mapreduce.wc;

import java.io.IOException;

import org.apache.hadoop.io.IntWritable;

import org.apache.hadoop.io.LongWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Mapper;

public class WordCountMapper extends Mapper{

/**

* 第一个参数为行偏移量

* 第二个参数为一行的内容

* 第三个参数用于存储每一行处理结果上下文件对象；

* map()方法：用于在其编写用户的实际运算逻辑，每调用该方法一次，只读取文件块中的一行，通过多次反复调用，完成对整个切片中行数据从头到尾的依次读取；；

@Override

protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {

// 1、读取到了一行数据,并将其转换为Java为String类型；

String line_string = value.toString();

// 2、使用空格作为分隔符切分行中的，提取第个单词，并返回一个字符串数组；

String[] words = line_string.split(" ");

// 3、遍历字符串数组，并以1为每个单词的value，生成多个kv对；

/**为字符串数组words中的每个单词添加一个value,值为1，形成key-value;

* 1、遍历存储了一行数据字符串数组；

* 2、调用context的wirte()方法完成value，即int类弄数字1；

* 3、context对象是Hadoop中的对象，其write()方法参数为Text类型、IntWritable类型，需要将String类型、int类型包装如上两种对应的类型；

* 4、map()每调用一次处理完成一行数据的中间结果被存储到上下对象context中；

*/

for (String word : words) {

context.write(new Text(word), new IntWritable(1));

}

}

}

JobSubmitforLinux.java

package zhutu.mapreduce.wc;

import java.io.IOException;

import https://www.360docs.net/doc/6a4895302.html,.URI;

import https://www.360docs.net/doc/6a4895302.html,.URISyntaxException;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.IntWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class JobSubmitforLinux {

public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException, URISyntaxException {

// 8、设置当前客户端程序访问HDFS文件系统的用户：

System.setProperty("HADOOP_USER_HAME","YM");

// 2、Configuration实例化；

Configuration configuration = new Configuration();

// 2-1、设置job对象运行要访问的文件系统类型：

configuration.set("fs.defaultFS", "hdfs://hadoopMaster01:9000");

/**

* 2-2、设置job提交后，到哪个框架运行，由哪个框架为其分配资源：

* （1）Yarn：程序是运行于Yarn模式；

* （2）local:本地模式运行；

*/

configuration.set("mapreduce.framework,name", "yarn");

// 如果mapreduce程序的资源高度框架设置为yarn方式，此时必须定义Yarn集群中的主节点名称属性

configuration.set("yarn.ResourceManager.hostname", "hadoopmaster");

configuration.set("mapreduce.app-submission.cross-platform", "true");

// 1、获取Job实例，参数为Configuration实例；

Job job = Job.getInstance(configuration);

// 2、job对象封装参数：提交的工程jar包的位置：通过类加载器动态获取jar包所在位置路径

job.setJarByClass(JobSubmitforLinux.class);

// 3、job对象封装参数：本次job执行时所要调用的Mapper实现类、Reducer实现类；

job.setMapperClass(WordCountMapper.class);

job.setReducerClass(WordCountReducer.class);

// 4、job对象封装参数：本次job执行过程中Mapper实现类、Reducer实现类的产生的结果数据类型：

job.setMapOutputKeyClass(Text.class);

job.setMapOutputValueClass(IntWritable.class);

job.setOutputKeyClass(Text.class);

job.setOutputValueClass(IntWritable.class);

// 9、判断输出目录是否存在，如果存在，则先删除目录；

Path output_Path = new Path(args[1]);

FileSystem fileSystem = FileSystem.get(new URI("hdfs://hadoopmaster:9000"),configuration,"YM");

if (fileSystem.exists(output_Path)) {

fileSystem.delete(output_Path,true);

}

// 5、job对象封装参数：数据输入及输出路径：

FileInputFormat.setInputPaths(job, new Path(args[0]));

FileOutputFormat.setOutputPath(job, output_Path);

// 6、job对象封装参数：设置程序运行时ReduceTask任务的数量；

job.setNumReduceTasks(2);

// 7、将job提交到集群运行：方式一；

//job.submit();

// 10、将job提交到集群运行：方式二；

boolean mr_result = job.waitForCompletion(true);

System.out.println(mr_result?1:0);

}

}

3、查看HDFS中输出结果并截图

（1）运行工程jar的完整格式；（3分）

（2）使用hdfs文件系统命令查看：生成的统计文件内容，并截图。（2分）