在eclipse中用gradle搭建MapReduce项目

我用的系统是ubuntu14.04
新建一个Java Project。

这里用的是gradle打包，gradle默认找src/main/java下的类编译。src目录已经有了，手动在src下创建main/java(也可以配置gradle去找其他路径的下的文件)。
在项目跟录下创建build.gradle文件。

apply plugin: 'java'
apply plugin: 'eclipse'

jar {
  baseName = 'hadoop'
  version =  '0.0.1'
}

sourceCompatibility = 1.8
targetCompatibility = 1.8

dependencies {
  compile fileTree(dir: 'lib', include: ['*.jar'])
}

根目录下创建一个lib文件夹，将hadoop安装目录下share/hadoop下的 common, common/lib, mapreduce, yarn, yarn/lib目录下的jar包拷进项目的lib文件夹里。选中所有的jar包，右键Build Path-->add to build path。
项目基础环境搭好，把源码包中的WordCount测试类中的代码拷进项目里。

package fzk;

import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;

public class MR {
  public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> {

    private final static IntWritable one = new IntWritable(1);
    private Text word = new Text();

    public void map(Object key, Text value, Context context)
        throws IOException, InterruptedException {
      StringTokenizer itr = new StringTokenizer(value.toString());
      while (itr.hasMoreTokens()) {
        word.set(itr.nextToken());
        context.write(word, one);
      }
    }
  }

  public static class IntSumReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
    private IntWritable result = new IntWritable();

    public void reduce(Text key, Iterable<IntWritable> values, Context context)
        throws IOException, InterruptedException {
      int sum = 0;for (IntWritable val : values) {
        sum += val.get();
      }
      result.set(sum);
      context.write(key, result);
    }
  }

  public static void main(String[] args) throws Exception {
    Configuration conf = new Configuration();
    String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();

    if (otherArgs.length < 2) {
      System.err.println("Usage: wordcount <in> [<in>...] <out>");
      System.exit(2);
    }
    Job job = Job.getInstance(conf, "word count");
    job.setJarByClass(MR.class);
    job.setMapperClass(TokenizerMapper.class);
    job.setCombinerClass(IntSumReducer.class);
    job.setReducerClass(IntSumReducer.class);
    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(IntWritable.class);
    
    for (int i = 0; i < otherArgs.length - 1; ++i) {
      FileInputFormat.addInputPath(job, new Path(otherArgs[i]));
    }
    FileOutputFormat.setOutputPath(job, new Path(otherArgs[otherArgs.length - 1]));
    System.exit(job.waitForCompletion(true) ? 0 : 1);
  }
}

一切准备就绪后，想利用hadoop运行mapreduce项目，需要自己手动打包。利用gradle打包，打开一个终端，在build.gradle的目录下，执行

$ gradle build

等命令执行结束后，会发现项目中多出了一个build文件夹，我们打出来的jar包在build/lib目录下。确保jar下确实包含了我们自己编写的类可以用解压软件进入jar看一下(不用解压，只是查看一下)。里面有src目录下的文件就说明已经打包成功了。
我们在build.gradle中配置的打出来的jar包的名字叫hadoop-0.0.1.jar。随自己起什么名都可以。
接下来测试一下，测试需要的是一个已经存在的文件作文输入，名字随便（这里是input），为了方便把input放在和打出来的jar包放在一个目录下，在测试时还需要一个输出的目录(这里是output)，指定的目录下不可以存在这个目录。进入到jar包的目录下执行下面命令测试程序

$ hadoop jar hadoop-0.0.1.jar fzk.MR input output

fzk.MR前面的是包名，在代码中已经把包名粘出来了，说明我就是在fzk包下创建的MR类。这个地方指定类的时候前面需要加上包名。input就是手动创建的一个测试文件，output在这个目录下不可以存在，程序运行后会创建出一个output文件夹，结果就在里边。
为了方便我们可以创建一个run.sh这样每次运行的时候就不用输入那么多的命令：

rm -fr output
hadoop jar build/libs/hadoop-0.0.1.jar fzk.MR input output

每次执行前先把output文件夹删掉，这行这条命令的目录是在项目根目录下，input应该放在根目录下，也会在根目录生成output结果。

到这里，我们就是完整的运行完一个WordCount程序了。但是这样太麻烦，我们已经用eclipse了为什么还需要打包才能运行。我们确实是不需要每次都去打包才可以测试的。如果向直接在eclipse里运行，jar必须确保把需要的全部导入了，如果程序运行时报什么ClassDefNotFound之类的错误就是哪个jar没有导，自己找找导进去就行了。下面看看怎么直接在eclipse运行程序。
这里只需要把main方法修改一下即可，我们这里需要args中的参数，但是ctrl + f11 运行的时候肯定是传不进去参数的，这里你可以在配置run configuration中添加启动参数，至少两个，从第一个到倒数第一个是input，最后一个是output。也可以偷懒一下我们只是测试，只需要在用到args的时候赋值就可以了，在main方法的第一行加上

    args = new String[] {"input", "output/" + System.currentTimeMillis()};

output后面加上当前时间戳的目的是不用每次运行的时候都去手动删掉output目录。

这里只是对于初学的时候方便自己随便怎么修改。接下来就去探索了。