mapreduce作业提交流程： 1、配置文件 //输入输出格式(TextInput(output)Format) 2、job.waitforcompletion 3、submit 4、int map = split.size 1)、看文件格式，textFile 判断文件的压缩编解码器(文件名后缀)，如果是压缩，则判断是否是可切割的压缩 如果不是压缩，则肯定可切割 2)、getMaxSplitSize //最大切片默认是long的最大值 getMinSplitSize //最小切片默认是1 blockSize //块大小 5、开始作业真正提交过程 ExecutorService mapService = createMapExecutor(); runTasks(mapRunnables, mapService, "map"); //执行MapTaskRunnables对象的run函数 //map中除了partition、combiner还有sort阶段 使用maptask的runNewMapper方法开始正式的map阶段 1、根据自定义map类名，获得自定义map对象 2、调用Mapper的run函数来运行用户自定义的map方法 //设置相关变量或者参数，一个map只调用一次 setup(context); try { while (context.nextKeyValue()) { //使用while循环调用自定义map的方法 map(context.getCurrentKey(), context.getCurrentValue(), context); } } finally { //清理过程，包括清理一些没用的k-v cleanup(context); } Spill：溢出 //当map中的数据超出内存空间的80%，超出的数据就会被本地化 map端的输出称为IFile：key-len, value-len, key, value shuffle在调用的时候对ifile进行处理 4、通过shuffle进行网络间分发，reduce的调用过程类似于map过程 5、细节：FileInputFormat ====> RecordReader ==> map ===> partition ===> sort ===> combiner ===> shuffle ====> reduce ===> RecordWriter ====> FileOutputFormat MR的数据倾斜处理： 大量数据涌入单个节点，造成单个节点的负载量变大 1、重新设计key 2、随机分区 均使用两个job 排序： 部分排序：对每个分区中的key分别进行排序 全排序： 对所有分区中的key进行排序 1、使用一个reduce 2、自定义分区函数 3、采样 //设置采样路径，要放在输入输出路径之后 //保证map的输入key和输出key一致！！！ 如果有n个reduce，那么对应的会产生n-1个key集 1)随机采样 随机取得样本 //freq ：每个key被选中的几率 样本数/总数< freq 则继续 //numSamples：获得样本总数 //maxSplitsSampled： 最大切片数 //只要一个条件成立则停止采样 RandomSampler(double freq, int numSamples, int maxSplitsSampled) 2)间隔采样：适用场景(key有序的情况) 每隔一个相等的间隔对样本进行采样 //freq ：每个key被选中的几率 //maxSplitsSampled： 最大切片数 // 3)切片采样 对每个切片的数据头部取得数据 采样过程代码顺序：保证全分区和采样设置在最后 1、设置输入输出路径 2、设置输出k-v 3、设置输入输出文件类型 4、指定map和reduce的类 5、任务数设置 6、设置全分区函数 7、设置采样器 Configuration conf = job.getConfiguration(); Job job = Job.getInstance(); job.setJarByClass(App.class); job.setJobName("word count"); // 设置输入输出路径 FileInputFormat.addInputPath(job, new Path("D:/Temp/seq/1.seq")); FileOutputFormat.setOutputPath(job, new Path("D:/Temp/out")); FileSystem fs = FileSystem.get(conf); if (fs.exists(new Path("D:/Temp/out"))) { fs.delete(new Path("D:/Temp/out"), true); } job.setNumReduceTasks(6); // 设置输出kv job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); //设置输入类型 job.setInputFormatClass(SequenceFileInputFormat.class); // 指定map和reduce的类 job.setMapperClass(WCMapper.class); // 指定分区函数 job.setPartitionerClass(TotalOrderPartitioner.class); TotalOrderPartitioner.setPartitionFile(conf, new Path("D:/Temp/par/par.seq")); /** * freq 一个key被选中的几率 * numSamples 样本总数. * maxSplitsSampled 一个切片检查的最大数量. */ InputSampler.Sampler<Text, Text> sampler = new InputSampler.RandomSampler(0.1, 500,10); //InputSampler.Sampler<Text, Text> sampler = new InputSampler.IntervalSampler(0.1, 500); //InputSampler.Sampler<Text, Text> sampler = new InputSampler.SplitSampler(500,10); InputSampler.writePartitionFile(job, sampler); System.exit((job.waitForCompletion(true) ? 0 : 1)); 二次排序：对key进行全排序的基础上，对value进行排序 当Map和Reduce的输出K-V不同时，要进行分别配置 //设置reduce的输出K-V job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); //设置Map输出k-v job.setMapOutputKeyClass(KVPair.class); job.setMapOutputValueClass(NullWritable.class); 分组对比器： public class GroupComparator extends WritableComparator { protected GroupComparator() { super(KVPair.class,true); } //将相同年份的KVPair识别为一组 @Override public int compare(WritableComparable a, WritableComparable b) { KVPair kv1 = (KVPair)a; KVPair kv2 = (KVPair)b; String year1 = kv1.getYear(); String year2 = kv2.getYear(); return year1.compareTo(year2); } } InputFormat OutputFormat： ===================================== TextInputFormat： 文本类型，以行为单位处理，k：LongWritable， v:Text KeyValueTextInputFormat k-v文本类型，以制表符为k-v的分隔，默认k-v均为text格式 SequenceFileInputFormat:k-v序列文件，k-v类型以sequenceFile为主 1、创建源文件 2、在App中指定文件格式 job.setInputFormatclass() 3、对Map的输入k-v类型进行修改 NLineInputFormat： 文本类型，以n行为单位进行处理，一次切片按照指定的行号进行切分 在处理一行文本数据量小的情况下可以使用，减少分发过程 k：LongWritable， v:Text DBInputFormat：对SQL中的数据进行数据迁移或分布式计算、k:LongWritable v:DBWritable DBWritable: public class MyWritable implements Writable, DBWritable { private String line; public void write(DataOutput out) throws IOException { out.writeUTF(line); } public void readFields(DataInput in) throws IOException { line = in.readUTF(); } //使用ppst对数据进行写入 public void write(PreparedStatement statement) throws SQLException { statement.setString(1, line); } //jdbc读取数据返回的是结果集对象(ResultSet) public void readFields(ResultSet resultSet) throws SQLException { line = resultSet.getString(1); } } OutputFormat: 对年度气温数据进行采样：Text x SeqFile SequenceFileOutputFormat： 在seqfile中设置压缩类型和压缩编解码器： SequenceFileOutputFormat.setOutputCompressionType(job, SequenceFile.CompressionType.BLOCK); SequenceFileOutputFormat.setOutputCompressorClass(job, Lz4Codec.class);