• 如何在CDH中配置YARN动态资源池的计划规则


     

    1.文档编写目的


    在CDH中使用Yarn的动态资源池,用户会根据时段来区分集群资源的分配情况(如:在夜晚时段集群资源主要倾向于跑批作业,白天时段集群资源主要倾向于业务部门实时计算作业)。针对这样的需求在CDH中如何配置?本篇文章Fayson主要介绍如何通过CM配置Yarn动态资源池的计划规则。

    • 内容概述

    1.创建资源池配置集

    2.修改各配置集资源分配及验证

    3.总结

    • 测试环境

    1.CM和CDH版本为5.15

    2.创建资源池配置集


    在CDH集群中默认只有一个资源池的配置集,接下来Fayson通过CM创建多个资源池配置集,在本示例中Fayson共创建3个配置集

    • 晚上9点到早上9点使用pool_nigth资源池配置集
    • 早上9点到晚上6点使用pool_day资源池配置集
    • 其它时间段使用default资源池配置集

    1.登录CM进入动态资源池管理界面

    2.点击“计划模式”进入配置界面

    3.点击“创建计划规则”,创建两个新的配置集

    创建新的配置集时需要从一个现有的配置集进行复制,可以选择配置集重复周期“每天、每周、每月”,重复时间以小时为单位进行选择。

    4.配置集创建完成列表如下

    以上步骤只是完成了多个不通时间段使用的配置集。

    3.修改各配置集资源分配


    1.进入资源池配置主界面

    2.将default的配置集root.default和root.users资源池占比修改50%和50%

    3.选择pool_nigth资源池,将root.defaut和root.users资源池占比修改为80%和20%

    4.选择pool_day资源池,将root.default和root.users资源池占比修改为20%和80%

    5.修改完成各个配置集资源池配置后,点击“刷新动态资源池

    如上步骤完成各个配置集资源池的配置。

    4.验证配置集是否生效


    根据资源池配置集的配置规则,当前时间为晚上10点,此时应该使用的资源池为pool_nigth配置集。

    1.登录Yarn的8088界面查看资源池的占比

    2.点击Scheduler查看资源池的占比情况

    可以看到root.default的资源池是root.users资源池占比的4倍,与配置集的计划规则一致。

    5.总结


    1.通过CM的动态资源池配置,可以方便的创建多个配置集。

    2.根据不同时段对资源池的使用进行重新分配,动态的调整不需要手动触发。

  • 相关阅读:
    有了bootstrap,为什么还要做amaze ui
    互联网科普知识【野狗】
    诶,很有意思的点子——云适配
    nodeJS一些事儿
    主流浏览器js 引擎内核市场份额attialx总结vOa9
    50 个 Bootstrap 插件
    Bean Validation
    Spring Security的核心拦截器
    关于未来十年企业架构的十个关键词
    写一个函数对字符串数组排序,使所有变位词都相邻
  • 原文地址:https://www.cnblogs.com/zhangrui153169/p/11460854.html
Copyright © 2020-2023  润新知