• Shuffle WritableComparable 排序


    一、概述

    1、MapTask和ReduceTask均会对数据按照key进行排序,这是Hadoop的默认行为。任何应用程序中的数据均会被排序,而不管逻辑上是否需要,默认排序是按照字典顺序排序,方法为:快速排序

    2、MapTask,在什么时候排序?

    a、环形内存缓冲区,快速排序,溢出到磁盘

    b、所有数据处理完毕,将磁盘中的数据进行归并排序

    3、ReduceTask,在什么时候发生排序?

    a、从MapTask中copy数据到ReduceTask,若磁盘发生溢出,则进行归并排序

    b、所有的数据分析完成后,将内存和磁盘中的所有数据进行归并排序

    二、排序分类

    1、部分排序

    Partition,各个输出文件,分别排序

    2、全排序

    输出一个文件,排序

    3、分组排序

    4、二次排序

    compareTo的判断条件有两次,即为二次排序

  • 相关阅读:
    poj3255,poj2449
    poj2186
    poj3249
    poj3378
    poj3274
    poj1948
    hdu 2181暴搜
    hdu 3342
    hdu 1285
    hdu 1598
  • 原文地址:https://www.cnblogs.com/wt7018/p/13624940.html
Copyright © 2020-2023  润新知