• Yarn的调度器探究


    Hadoop的调度器分为三类:

      FIFO(先进先出调度器)

      Capacity Scheduler (容量调度器)

      Fair Scheduler (公平调度器)

        注意:Hadoop2.7.2 默认的资源调度器为 容量调度器

    区别:

      FIFO:先进先出,同一时间队列中只有一个任务在执行

        按照到达时间排序,先到先服务

        1. 有新的服务器节点资源

        2. Job1 里面包含 n个MapTask m个ReduceTask 

        3. 分配一个Task给该节点

      容量调度器:多队列,每个队列内部先进先出,同一时间队列中只有一个任务在执行

        队列的并行度为队列的个数

        1. 支持多个队列,每个队列可以配置一定的资源量,每个队列采用FIFO调度策略

        2. 调度器会对同一用户提交的作业所占资源量机型限定

        3. 计算每个队列中正在运行的任务数 与 其应该分得的计算资源之间的比值,选择一个该比值最小的队列 (闲队列)

        4. 按照作业优先级和提交时间顺序,同时考虑用户资源量限制和内存限制对队列内任务排序

        5. 多个队列同时按照任务的先后顺序依次执行。

      公平调度器:

        多队列;按照缺额排序,缺额大者优先;支持多用户多队列;

          缺额:资源有限的情况下,每个job获得的计算资源与实际获得的计算资源存在的差距 即为缺额

        每个队列资源量可以配置,同一队列中的作业公平共享队列中的所有资源

          同一队列中,Job的资源缺额越大,越先获得资源优先执行。作业按照缺额的高低来先后执行

        每个队列内存按照缺额大小分配资源启动任务;

        同一时间队列中有多个任务执行,队列的并行度大于等于队列的个数

      

  • 相关阅读:
    [置顶] 一道经典的sql面试题不同的写法
    Spring框架下的单元测试方法
    [Oracle] 参数修改小结
    linux之chdir函数解析
    windows media player 中播放pls的方法
    服务器管理十大误区
    AsyncTask 与 对话框显示 view.WindowManager$BadTokenException: Unable to add window…is not valid; is your a
    php用apc实现的临界区 解决并发,资源互斥同步访问
    Windows无需CygWin 使用NDK开发
    poj 2305(指定进制,大数取模)
  • 原文地址:https://www.cnblogs.com/joey-413/p/14111527.html
Copyright © 2020-2023  润新知