YARN 调度器
1、FIFO(先进先出调度器)
单队列,任务独占所有资源,先进先出;
优点:简单不需配置;
缺点:大集群中大小任务都会阻塞;
2、Capacity(容量调度器)
多队列(单队列FIFO),支持配额,弹性队列,延迟调度(等待别的队列容器释放而非抢占)
优点:相比FIFO更适用于集群
缺点:单个队列仍是FIFO
3、Fair(公平调度器)
多队列(单队列 Fair/FIFO/DRF),支持配额,弹性队列,延迟调度,支持抢占
优点:单队列默认Fair,任务动态公平分配
缺点:相对其他调度器复杂
3.1、Fair Share说明
Instantaneous Fair Share:瞬时公平分配
Steady Fair Share:固定公平分配
steady fair share,是一个静态值,是Yarn根据每个队列的minShare、maxShare和weight的配置计算得到的理论上应该分配给这个队列的最大资源,它与这个队列当前是否有app正在运行无关,只和我们在fair-scheduler.xml中的配置有关。
Instaneous fair share则不同,它是根据当前集群中队列的运行状态的变化而实时变化的,即,如果一个队列上没有任何一个app在运行,即这个队列是inactive队列,那么,这个队列的instaneous fair share值是0,剩余的active队列会对集群资源进行瓜分,显然,如果集群中有队列从active变为inactive,那么剩余这些队列瓜分到的instaneous fair shared都会随之变大,反之,如果有一个队列从inactive变为active,则剩余每个队列的instaneous fair share会随之变小,即instaneous fair share会变小。
3.2、Fair Share资源计算
FairShare和SteadyFairShare的计算思想为: 先找到一个比值R,则各个队列应分配的资源分为如下三种情况:
-
当队列S的minShare > R*weight,则分配minShare
-
当队列S的maxShare < R*weight,则分配maxShare
-
其它情况直接分配R*weight 这些分配的总和等于totalSlots。这个比值R也称为weight-to-slots,因为其值将队列的weight转换为实际的资源个数。
简单评估队列分配资源值:
Steady FairShare的计算公式是
totalResources(集群总资源)/weights(所有队列的weight总和)*weight(某个队列的weight)
FairShare的计算公式是