Hadoop上数据表一对多Join操作

An Example
Reduce String valueData = values.next().toString(); //value Data While(values.hasNext()){ String spuData = values.next().toString(); Output.collect(…….); //输出带有value值的 SPU 数据 }
An Example
背景介绍 SPU表中含有属性值ID：valueID Base value表：valueID, value Data 这两个表是1：n的关系，比如 SPU表： SPUID valueID 1001 123 1002 123 Base value表： valueID value Data 123 120GB
An Example
public class KeyPartitioner implements Partitioner<TextPair, Text> { @Override public int getPartition(TextPair key, Text value, int numPartitions) { return (key.getFirst().hashCode() & Integer.MAX_VALUE) % numPartitions; } @Override public void configure(JobConf conf) { } }
An Example
@Override public int hashCode() { return first.hashCode() + second.hashCode(); } @Override public boolean equals(Object o) { if (o instanceof TextPair) { TextPair tp = (TextPair) o; return first.equals(tp.first) && second.equals(tp.second); } return false; }
An Example
小规模数据上述做法没问题，但是对于大数据， 即使我们更改配置： <property> <name>mapred.child.java.opts</name> <value> -Xmx2048M </value> </property> 我们已经把 JVM 堆内存调成了最大值，但是难 道没有超过 2G 的数据吗？？
An Example
要求把 SPU 表中的 value id都换成对应的 value data 糟糕的做法 Base-value Map输出： key：value id；value：VALUE”value data SPU Map 输出： Key：value id; value: spu_id等其他信息
An Example
Reduce: ArraryList<String> spuData = new ……; String valueData = null; While(values.hasNext()){ String text = values.next().toString(); if (text.startWith(“VALUE”){ valueData = text.subString(…..); } else{ spuData.add(text); } }
An Example
@Override public String toString() { return first + "\t" + second; } @Override public int compareTo(TextPair tp) { int cmp = pareTo(tp.first); if (cmp != 0) { return cmp; } return pareTo(tp.second); }
An Example
Text k = new Text(); Text v = new Text(); Map for SPU 表： k.set(new TextPair(valueid, “1”) v.set(………..); Output.collect(k, v); Map for Base value 表： k.set(new TextPair(valueid, “0”) v.set(………..); Output.collect(k, v);
An Example
其实我们只要保证value Data出现在 reduce values的第一个位置，就不用保存所有的 SPU data了。 定义一个composite Key: public class TextPair implements WritableComparable<TextPair> { } 其中几个必须实现的方法如下：
Hadoop上数据表一对多Join操作
迟炯 2010-01-27
1
Topic
KeyPartitioner GroupComparator 举例
KeyPartitioner
Partitioner负责控制map输出结果key的分割。Key（或者一个key子集被 用于产生分区，通常使用的是Hash函数。分区的数目与一个作业reduce 任务的数目是一样的。因此，它控制将中间过程的key（也就是这条记录） 应该发送给m个reduce任务中的哪一个来进行reduce操作。
An Example
jobConf.setOutputValueGroupingComparator( GroupComparator.class); jobConf.setPartitionerClass(KeyPartitioner.class);
KeyPartitioner
有时候，我们需要改变 key 的划分，这就需 要我们提供自己实现的 KeyPartitioner，其实 只是实现接口 Partitioner
Hale Waihona Puke Group Comparator
在每次调用 Reducer.reduce(Object, java.util.Iterator, OutputCollector, Reporter)之前，Reduce在 处理之前，要先对key进行分组。 比如：key-value 对<K1,V1> 和<K2,V2>,如 果k1 和 k2相等，那么values v1和 v2会被送 到同一个reduce!