1.Mapreduce的shuffle机制:
Mapreduce中，map阶段处理的数据如何传递给Reduce阶段，是mapreduce框架中最关键的一个流程，这个流程就叫shuffle
将maptask处理后的输出结果数据，分发给reducetask，并在分发的过程中，对数据按key进行了分区和排序
MapReduce程序的执行过程分为两个阶段：Mapper阶段和Reducer阶段。
1.MapReduce的Map阶段：
1.1.从HDFS读取数据：
由FileInputFormat实现类的getSplits()方法将待处理数据执行逻辑切片，默认切片的类为FileInputFormat，通过切片
输入文件将会变成split1、split2、split3……随后对输入切片split按照一定的规则解析成键值对<k1,v1>,在MapTask进行读取
数据时，其中默认处理的类为TextInputFormat，并通过记录读取器RecordReader的read()方法一次读取一行，并返回key和
value，其中k1就是读到的一行文本的起始偏移量，v1就是行文本的内容。
调用自己编写的Map逻辑，Maptask会对每一行<k1,v1>输入数据调用一次我们自定义的map()方法，
Map使用context.write输出键值对<k2,v2>，其输出结果由OutPutCollector将每个Map任务的键值对输出到内存所构造
的一个环形缓冲区中，其数据结构其实就是个字节数组，叫Kvbuffer，Mapper中的Kvbuffer的大小默认100M，spill一般会在
Buffer空间大小的80%开始进行spill溢出到文件，在溢出之前，按照一定的规则对输出的键值对<k2,v2>进行分区：分区的规
则是针对k2进行的，比如说k2如果是省份的话，那么就可以按照不同的省份进行分区，同一个省份的k2划分到一个区，注意：
默认分区的类是HashPartitioner类，这个类默认只分为一个区，因此Reducer任务的数量默认也是1.注意：如reduce要求得
到的是全局的结果，则不适合分区!然后再对每个分区中的键值对进行排序；注意：所谓排序是针对k2进行的，v2是不参与排
序的，如果要让v2也参与排序，需要自定义排序的类，此时得到的溢出文件分区且区内有序；不断溢出，不断形成溢出文件；
在MapTask结束前会对这些spill溢出文件进行归并排序Merge，形成MapTask的最终结果文件
注：Combiner存在的时候，此时会根据Combiner定义的函数对map的结果进行合并
由于job的每一个map都会根据reduce(n)数将数据输出结果分成n个partition，hadoop中是等job的第一个map结束后，
所有的reduce就开始尝试从完成的map中下载该reduce对应的partition部分数据（网络传输）到ReduceTask的本地磁盘工作
目录，当所有map输出都拷贝完毕之后，所有数据被最后合并成一个整体有序的文件，作为reduce任务的输入，Reducetask
真正进入reduce函数的计算阶段
Reduce在这个阶段，框架为已分组的输入数据中的每个 <key, (list of values)>对调用一次 reduce()方法。Reduce
任务的输出通常是通过调用 OutputCollector.collect(WritableComparable,Writable)写入文件系统
注意：Shuffle中的缓冲区大小会影响到mapreduce程序的执行效率，原则上说，缓冲区越大，磁盘io的次数越少，执行速
度就越快缓冲区的大小可以通过参数调整, 参数：io.sort.mb 默认100M
2.Mapreduce中的Combiner:
（1）combiner是MR程序中Mapper和Reducer之外的一种组件
（2）combiner组件的父类就是Reducer
（3）combiner和reducer的区别在于运行的位置：
Combiner是在每一个maptask所在的节点运行
Reducer是接收全局所有Mapper的输出结果；
(4) combiner的意义就是对每一个maptask的输出进行局部汇总，以减小网络传输量
具体实现步骤：
1、 自定义一个combiner继承Reducer，重写reduce方法
2、 在job中设置： job.setCombinerClass(CustomCombiner.class)
(5) combiner能够应用的前提是不能影响最终的业务逻辑而且，combiner的输出kv应该跟reducer的输入kv类型要
对应起来
Combiner的使用要非常谨慎因为combiner在mapreduce过程中可能调用也肯能不调用，可能调一次也可能调多次所以：
combiner使用的原则是：有或没有都不能影响业务逻辑
参考文章：https://blog.csdn.net/aijiudu/article/details/72353510