hadoop--mapreduce--自定义key类型

问题：

输入文件A的样例如下（注意文件以tab为分隔符，粘贴时请检查）：

20170101     x

20170102     y

20170103     x

20170104     y

20170105     z

20170106     x

 

 

 

 

 

 

输入文件B的样例如下：

20170101      y

20170102      y

20170103      x

20170104      z

20170105      y

 

 

 

 

 

 

根据输入文件A和B合并得到的输出文件C的样例如下：

20170101      x

20170101      y

20170102      y

20170103      x

20170104      y

20170104      z

20170105      y  20170105      z

20170106      x

 

 

 

 

 

 

 

 

代码实现：

import org.
apache.hadoop.fs.Path;
import org.apache.hadoop.io.DoubleWritable;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;

public class Task1 {
    public static class MapClass extends Mapper<LongWritable, Text, Text, Text>{
        public void map(LongWritable key,Text value,Context context) throws IOException, InterruptedException {
            context.write(value, new Text(""));
        }
    }
    public static  class ReduceClass extends Reducer<Text,Text,Text,Text>{
        public void reduce( Text key, Iterable<Text> values,Context context) throws IOException, InterruptedException {
            context.write(key, new Text(""));
        }
    }
    public static void main(String args[]) throws IOException, ClassNotFoundException, InterruptedException {
        Configuration conf = new Configuration();
        Job job = new Job(conf);
        job.setJarByClass(Task1.class);
        job.setMapperClass(MapClass.class);
        job.setReducerClass(ReduceClass.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(Text.class);
        
        FileInputFormat.addInputPath(job, new Path("C:\Users\Administrator\Desktop\新建文件夹\input2.txt")  );
        FileInputFormat.addInputPath(job, new Path("C:\Users\Administrator\Desktop\\新建文件夹\input1.txt")  );
        FileOutputFormat.setOutputPath(job, new Path("C:\Users\Administrator\Desktop\新建文件夹\output"));
        
        System.exit(job.waitForCompletion(true)?0:1);
    }
}

 结果：

 

 踩过的坑：

　　reduce不执行的原因：

　　　　1、程序出现过异常，可以通过日志来debug；

　　　　2、参数类型不匹配；

　　　　等