combiner是发生在map的最后一个阶段,其原理也是一个小型的reducer,主要作用是减少输出到reduce的个数,减少reducer的输入,提高reducer的执行效率。注意:mapper的输出为combiner的输入,reducer的输入为combiner的输出。
求平均值的时候不用
聚合的时候用,因为combiner本身就只能做求和的事
combiner是发生在map的最后一个阶段,其原理也是一个小型的reducer,主要作用是减少输出到reduce的个数,减少reducer的输入,提高reducer的执行效率。注意:mapper的输出为combiner的输入,reducer的输入为combiner的输出。
求平均值的时候不用
聚合的时候用,因为combiner本身就只能做求和的事