hadoop教程

2013-3-5
2 Hadoop使用
• 编写map和reduce函数 • 运行测试
– 命令行运行 – eclipse运行
• 查看结果
命令行运行
• 打包mapreduce函数，wordcount.jar
设类名WordCount • 进入hadoop安装目录
•
• •
$bin/hadoop jar 本地jar包目录 类名
• 查看结果
Eclipse 配置
• 1. 下载 eclipse • 2. 将 hadoop 文件夹下的 contrib/eclipse-plugin/hadoop-*-eclipse- plugin.jar 拷贝到 eclipse 文件夹下的/plugins 文件夹里 • 3. 启动 Eclipse • 4. 设置 Hadoop 安装文件夹的路径 Window->Preferences ，见下一页
Hadoop使用
聂志 niezhixuesen@
outline
1. 云计算概念 2. Hadoop使用 3. Mapreduce详解
1云计算概念
• 概念
狭义云计算是指IT基础设施的交付和使用模式，通过网络以 按需、易扩展的方式获得所需的资源（硬件、平台、软件）。 广义云计算是指服务的交付和使用模式，通过网络以按需、 易扩展的方式获得所需的服务。这种服务可以是IT和软件、 互联网相关的，也可以是任意其他的服务。
2013-3-5
• 三层模型
Saas：more Paas：hadoop Iaas： openstack
google vs hadoop
Google calls it: MapReduce GFS Hadoop equivalent: Hadoop HDFS
Bigtable Chubby
2013-3-5
HBase Zookeeper
3Mapreduce详解
• 程序流程例子1
3Mapreduce详解
• 程序流程例子2
直接访问hdfs文件接口
1程序
如果我们只需要访问文件系统，而不需要对文件中的数据进行处理， 那么只需要使用下面的访问 hdfs的接口就行了。 而不需要编写mapreduce函数
String dir = "/user/nz/btc/pvint"; //the input directory Configuration conf = new Configuration(); //get conf FileSystem fs = FileSystem.get(conf); Path path = new Path(dir); //get the directory FileStatus stat = fs.getFileStatus(path); //get directory FileStatus[] filelist = fs.listStatus(path); //get file list for(FileStatus list: filelist) { String filename = list.getPath().getName(); System.out.println("result:"+filename); }
} 说明： map的输出key 、value和reduce的输入key、value要一致，见上面红色部分
2013-3-5
Job 配置
public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs(); if (otherArgs.length != 2) { System.err.println("Usage: wordcount <in> <out>"); System.exit(2); } Job job = new Job(conf, "word count"); //job name job.setJarByClass(WordCount.class); job.setMapperClass(TokenizerMapper.class); job.setCombinerClass(IntSumReducer.class); job.setReducerClass(IntSumReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path(otherArgs[0])); //file input FileOutputFormat.setOutputPath(job, new Path(otherArgs[1])); //file output System.exit(job.waitForCompletion(true) ? 0 : 1); }
hdfs输入文件目录 hdfs输入文件目录
例子： $bin/hadoop jar /home/deke/wordcount.jar WordCount 文件目录
hdfs输入文件目录 hdfs输入
2013-3-5
2 Hadoop使用
• 编写map和reduce函数 • 运行测试
– 命令行运行 – eclipse运行
2013-3-5
直接访问hdfs文件接口
2 命令行 上传文件到hdfs： bin/hadoop fs -copyFromLocal 本地文件/目录 hdfs文件目录 下载到本地： bin/hadoop fs -copyToLocal hdfs文件目录 本地文件/目录
2013-3-5
参考文献
• JefferyDean, Sanjay Ghemawat.: MapReduce: Simplified data processing on large clusters. OSDI, San Francisco, CA, 2004. • S. Ghemawat, H. Gobioff, and S.-T. Leung, The Google File System,in Proceedings of the 19th ACM Symposium on Operating System Principles, 2003. • /
2013-3-5
reduce
public static class IntSumReducer
extends Reducer<Text,IntWritable,Text,IntWritable> { private IntWritable result = new IntWritable();
public void reduce(Text key, Iterable<IntWritable> values, Context context ) throws IOException, InterruptedException { int sum = 0; for (IntWritable val : values) { sum += val.get(); //聚集操作 } result.set(sum); context.write(key, result); }
Eclipse 配置
2 Hadoop使用
• 编写map和reduce函数 • 运行测试
– 命令行运行 – eclipse运行
• 查看结果
• http://10.77.110.161:50030/jobtracker.jsp • http://10.77.110.161:50070/dfshealth.jsp
2 Hadoop使用
• 编写map和reduce函数 • 运行测试
– 命令行运行 – eclipse运行
• 查看结果
map
public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable>{ private final static IntWritable one = new IntWritable(1); private Text word = new Text(); public void map(Object key, Text value, Context context ) throws IOException, InterruptedException { StringTokenizer itr = new StringTokenizer(value.toString()); while (itr.hasMoreTokens()) { word.set(itr.nextToken()); context.write(word, one); //设置 key value } } } 说明： map的输出key 、value和reduce的输入key、value要一致，见上面红色部分