• yarn resourcemanager调优


    问题现象

    在作业提交比较多的时候,集群资源还有剩余,但是分配跟不上,导致peeding比较多,peeding时间长达10分钟。
    在这里插入图片描述

    调优方法

    1.开启批量分配资源功能,在小任务多的时候能提高吞吐量。

    2.限制一次批量分配数量。默认没有限制,会导致节点计算资源不均衡,部分节点把所有的vcore都分配了,而部分节点一个也没分配。

    3.关掉持续调度功能,这个功能在集群规模比较大(大于75个节点)的时候会影响resouremanager的性能,该功能在hadoop2.7以后已经废弃。

    在这里插入图片描述

    cdh官方建议

    在这里插入图片描述

    调优操作
    在这里插入图片描述

    调优效果
    调优前,上午特别堵

    在这里插入图片描述

    调优后,上午部分队列资源有限制才堵,整体集群快速分配资源,单个任务peeding等待不超2分钟

    在这里插入图片描述

    持续调度相关说明

    https://blog.csdn.net/zhanyuanlin/article/details/78799131

  • 相关阅读:
    梦断代码读后感一
    二阶段之五
    二柱子阶段二
    动手动脑
    二柱子
    开学测试
    jdk的安装
    软工人8月30日学习记录
    软工人8月29日学习记录
    软工人8月28日学习记录
  • 原文地址:https://www.cnblogs.com/erlou96/p/16878379.html
Copyright © 2020-2023  润新知