MapReduce Java API

MapReduce是Hadoop的一个核心组成框架

一个MapReduce任务主要包括两部分：Map任务和Reduce任务。

Map任务负责对数据的获取、分割与处理，其核心执行方法为map()方法；

Reduce任务负责对Map任务的结果进行汇总，其核心执行方法为reduce()方法。

MapReduce将并行计算过程高度抽象到了map()方法和reduce()方法中，程序员只需负责这两个方法的编写工作，而并行程序中的其他复杂问题（如分布式存储、工作调度、负载均衡、容错处理等）均可由MapReduce框架代为处理

MapReduce程序编写步骤

Hadoop支持多种语言开发MapReduce程序，但是对Java语言的支持最好，其提供了很多方便的Java API接口。

那么如何使用Java来编写一个MapReduce程序呢？编写一个MapReduce程序需要新建三个类：Mapper类、Reducer类、程序执行主类。当然，Mapper类和Reducer类也可以作为内部类放在程序执行主类中。

1. 新建Mapper类

新建一个自定义Mapper类MyMapper.java，该类需要继承MapReduce API提供的Mapper类并重写Mapper类中的map()方法，例如以下代码：

public class MyMapper extends Mapper<LongWritable, Text, Text, IntWritable> {
    //重新map()函数
    public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        //业务逻辑
    }
}

2. 新建Reducer类

新建一个自定义Reducer类MyReducer.java，该类需要继承MapReduce API提供的Reducer类并重写Reducer类中的reduce()方法，例如以下代码：

public class MyReducer extends Reducer<MyKeyPair, IntWritable, Text, IntWritable> {
    /**
     * 重写reduce()方法
     */
    public void reduce(MyKeyPair key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
        //定义Text类型的输出key
        Text outKey = new Text();
        //迭代输出<key,value>对
        for (IntWritable value : values) {
            outKey.set(key.getFirst());
            context.write(outKey, value);
        }
    }
}

3. 新建程序执行主类

程序执行主类为MapReduce程序的入口类，主要用于启动一个MapReduce作业。

新建一个程序执行主类MyMRApplication.java，在该类的main()方法中添加任务的配置信息，并指定任务的自定义Mapper类和Reducer类，代码结构如下：

public class MyMRApplication {
    public static void main(String[] args) throws Exception {
        //构建Configuration实例
        Configuration conf = new Configuration();
        //其它配置信息代码...
        //获得Job实例0
        Job job = Job.getInstance(conf, "My job name");
        //其它job配置代码...
        //设置MapperReduce处理类
        job.setMapperClass(MyMapper.class);
        //  job.setCombinerClass(MyReducer.class);

        //设置输入和输出目录...
        //提交任务
    }
}

4. 提交程序到集群

提交程序之前需要启动Hadoop集群，包括HDFS和YARN。因为HDFS存储了MapReduce程序的数据来源，而YARN则负责MapReduce任务的执行、调度以及集群的资源管理。

将包含自定义的Mapper类、Reducer类和程序执行主类的Java项目打包为jar包并上传到HDFS的NameNode节点，然后执行以下命令提交任务到Hadoop集群。

hadoop jar MyMRApplication.jar com.hadoop.mr.MyMRApplication

上述命令中的MyMRApplication.jar为程序打包后的jar文件，com.hadoop.mr为程序执行主类MyMRApplication.java所在的包名称。

书籍:Hadoop大数据技术开发实战 第5章 MapReduce

https://gitee.com/caoyeoo0/xc-springboot/blob/hadoopApi/src/main/java/com/xc/xcspringboot/test/WordCount.java

https://gitee.com/caoyeoo0/xc-springboot/blob/hadoopApi/src/main/java/com/xc/xcspringboot/test/Dedup.java

https://gitee.com/caoyeoo0/xc-springboot/blob/hadoopApi/src/main/java/com/xc/xcspringboot/test/Score.java