目前,Hadoop作业调度器主要有三种:FIFO、Capacity Scheduler和Fair Scheduler。Hadoop2.7.2默认的资源调度器是Capacity Scheduler。
具体设置详见:yarn-default.xml文件
<property> <description>The class to use as the resource scheduler.</description> <name>yarn.resourcemanager.scheduler.class</name> <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value> </property>
1 FIFO调度器。先进先出,同一时间队列中只有一个任务在执行。
2 容量调度器。多队列,每个对列内部先进先出,同一时间队列中只有一个任务在执行,队列的并行度为队列的个数。
3 公平调度器。多队列,每个队列内部按照缺额大小分配资源启动任务,同一时间队列中有多个任务执行,队列的并行度大于等于队列的个数。
在生产环境中,一般使用容量调度器或公平调度器。