Hadoop Reducer中的key、value不能直接放入集合

Hadoop Reducer中的key、value不能直接放入集合我的案例是对一个IP地址文件进行统计共有多少个独立的ip地址类似这样的后面的就不显示了：第一次代码关键看reduce：package apache.ip;import java.io.IOException;import java.util.HashSet;import java.util.Set;import mac1.FlowBean;import mac1.Mac1Main;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.mapreduce.Mapper;import org.apache.hadoop.mapreduce.Reducer;import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;public class IPMain {public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException {Configuration conf = new Configuration();Job job = new Job(conf,"IPMain");job.setJarByClass(IPMain.class);job.setMapperClass(IPMapper.class);job.setReducerClass(IPReducer.class);job.setOutputKeyClass(Text.class);job.setOutputValueClass(Text.class);String in = "hdfs://master:9000/ip.txt";String out = "hdfs://master:9000/outip";FileInputFormat.addInputPath(job, new Path(in));FileOutputFormat.setOutputPath(job, new Path(out));job.waitForCompletion(true);}static class IPMapper extends Mapper<LongWritable, Text, Text, Text>{private static Set<Text> set = new HashSet<Text>();protected void map(LongWritable key, Text value, Context context) throws java.io.IOException ,InterruptedException {Text text = new Text();String input = value.toString();String[] arr = input.split(" ");text.set(arr[0]);set.add(text);};protected void cleanup(Context context) throws java.io.IOException ,InterruptedException{for(Text t : set){context.write(t, new Text(""));}};}static class IPReducer extends Reducer<Text, Text, Text, Text>{ private static Set<Text> set = new HashSet<Text>();private Text text = new Text("");protected void reduce(Text key,Iterable<Text> value,Context context) throws java.io.IOException ,InterruptedException{set.add(key); //第一次代码我是直接放入集合，利用集合自身的去重功能//Text t= new Text(); //下面三行是第二次成功正确的代码//t.set(key.toString());//set.add(key);//Context.write(key,new Text(“”));//第三次代码：不要cleanup 了，直接输出key，得到的ip也是正确的，因为我没取一次就write到内存了，第二次变了Text值，再输出到一块内存中又是新的数了。

但是不能输出汇总数。

};protected void cleanup( Context context) throws java.io.IOException ,InterruptedException{for(Text tt:set){context.write(tt, text);}text.set( set.size()+"");context.write(new Text("总ip数"), text);//最后我不仅输出ip个数，还有ip的内容};}}得到的结果，总数是对的，但是IP地址全是一个：经过分析得知：为了优化性能，hadoop架构中大量的使用重用，包括对象和jvm等待，这里的reduce方法会反复执行多次，由于变量会重用，也就是说，值会被覆盖，所以只能将其中的值取出另存或者重新clone一个对象，而不能直接赋引用，因为引用从始至终都是指向同一个对象，你如果直接保存它们，那最后它们都指向最后一个输入记录。

会影响最终计算结果而出错。

结合我的情况分析如下：我的IP地址map传来的都是不同内存地址的Text对象，map是正常的没错，经过shuffle 洗牌分组排序后，根据Text字典默认排序，最大的ip地址，61.160.224.145就在内存中的最后一个了，reduce开始从内存中取数存入第一个IP地址的Text对象，然后我把对象直接就放入set，reduce取第二个Text的时候，复用了第一次创建的Text临时变量，改变值（Text.set(“ip”)）而已，然后被我接收，存第二个。

存第三个。

直到最后一个最大的61.160.224.145，每取一次我存一次，到最后所有的对象的引用都是同一个内存地址，而当最后一个ip被我接受后，所有的对象的值都指向了常量池的”61.160.224.145”，所以结果都是61.160.224.145，而总数是591.那么很多会有疑问，既然是同一个地址的Text对象为什么还能放入Set集合呢。

原因如下：java8大基本类型的hashcode和equals方法比较的是值，String类型比较的是字符串。

而HashSet HashMap 很明显先比较类的hashcode，再比较equals方法Text类型属于String类型，所以hashcode方法跟String值相关，第一次放入的ip地址”61.160.224.138”肯定放进去了，hashcode假设是2323，那么hashcode mod取余后（假设是3）存入HashSet集合中，集合中有一套hash表映射关系，余数 3 --->2323,2345,2356等，第二个ip地址61.160.224.143 过来的时候，Text只是改变值，内存地址是一样的，也就是说前一个”61.160.224.138”对应Text对象的新的hashcode和现在这个ip 61.160.224.143地址Text的hashcode是一样的，这个是肯定的，但是为什么第二个ip 61.160.224.143还是能放进去，因为HashSet集合存的映射关系还是维持之前的，这个不会变，所以第二个ip地址对应的hashcode取余后只要跟3不一样就可以放进去，或者=3，但是hashcode 不是2323，就可以放进hashSet啦，神奇的是，当放完所有可以放入的ip地址后，set遍历的结果都是同一个IP地址，而且是最大的那个（hadoop-shuffle排序的结果）举个例子：大家看我重写了hashcode方法和equals方法（比较简单，实际上重写的hashcode 和equals方法比较复杂）Public class Student {public Student(int name) {=name;}private int name;@Overridepublic int hashCode() {// TODO Auto-generated method stubreturn name;}@Overridepublic boolean equals(Object obj) {// TODO Auto-generated method stubif(obj instanceof Student){Student s = (Student)obj;return == ;}return false;}}Main函数：Student s1 = new Student(1);Set<Student> set1 = new HashSet<Student>();set1.add(s1); = 2;set1.add(s1);System.out.println(set1);for(Student s :set1){System.out.println();}输出结果：[day07.Test$Student@2, day07.Test$Student@2] 22所以看到了吧，放是可以放进去的，但是值都变成2了。