• Hadoop YARN资源管理-容量调度器详解


    注意:

    根据经验,使用容量调度器是最重要的两点是容量平衡占用百分比和弹性。(注意各个分层队列【父队列和子队列之间的比例配置】之间的容量配置)

    这两者之间有一个折中:如果设置刚性容器限制(配置最大容量),则队列变得不那么有弹性,从而背离了容量调度器的关键目标之一。

    容量计划支持以下功能:

    • 等级队列- 支持队列的等级,以确保在其他队列允许使用免费资源之前,组织子队列之间共享资源,从而提供更多的控制和可预测性。

    • 容量保证- 队列被分配到电网容量的一小部分,因为一定容量的资源将可供其使用。提交给队列的所有申请都将访问分配给队列的容量。管理员可以配置分配给每个队列的容量的软限制和可选硬限制。

    • 安全性 - 每个队列都有严格的 AML,可控制用户向单个队列提交申请。此外,还有安全卫士,以确保用户无法查看和/或修改来自其他用户的应用程序。此外,还支持每个队列和系统管理员角色。

    • 弹性- 可将免费资源分配给超出容量的任何队列。当未来时间点的队列对这些资源的需求低于容量时,当这些资源上安排的任务完成时,它们将被分配到运行在容量以下的队列上的应用程序(不支持先发制人)。这确保了资源以可预测和弹性的方式可用于队列,从而防止了有助于利用的集群中资源的人工孤岛。

    • 多租赁- 提供一套全面的限制,以防止单个应用程序、用户和队列垄断队列或整个集群的资源,以确保集群不会不堪重负。

    • 操作

      • 运行时间配置 - 管理员可以在运行时安全地更改队列定义和属性(如容量、AML)以安全的方式更改,以尽量减少对用户的干扰。此外,还为用户和管理员提供了一个控制台,以便查看当前向系统中各个队列分配的资源。管理员可以在运行时添加其他队列,但无法在运行时删除队列。
      • 排干应用程序 - 管理员可以在运行时停止排队,以确保在现有应用程序运行到完成时,不会提交任何新应用程序。如果队列处于停止状态,则无法向自己其任何儿童队列提交新的申请。现有应用程序继续完成,因此可以优雅地排出队列。管理员还可以启动已停止的队列。
    • 基于资源的调度- 支持资源密集型应用,其中应用程序可以选择性地指定比默认更高的资源要求,从而适应具有不同资源要求的应用程序。当前,内存是支持的资源要求。

    • 基于用户或组的队列映射- 此功能允许用户根据用户或组将作业映射到特定队列。

    参考:

    Apache Hadoop 2.7.1 – Hadoop: Capacity Scheduler

    Hadoop YARN资源管理-容量调度器(Yahoo!的Capacity Scheduler)

  • 相关阅读:
    自动生成 serialVersionUID 的设置
    常见的HTTP状态码(HTTP Status Code)说明
    PowerDesigner 创建表格及导出SQL语句
    简历
    idea+Maven+SSM框架增删改查
    @Resource和@Autowired的区别
    SSM java.lang.NullPointerException
    多进程和多线程的优缺点(二)
    多进程和多线程的优缺点
    基于swoole扩展实现真正的PHP数据库连接池
  • 原文地址:https://www.cnblogs.com/-courage/p/15016426.html
Copyright © 2020-2023  润新知