• 第二十八章 Hadoop-Yarn生产经验


    一、Resourcemanager相关

    yarn.resourcemanager.scheduler.client.thread-count	ResourceManager处理调度器请求的线程数量
    yarn.resourcemanager.scheduler.class	配置调度器
    

    二、Nodemanager相关

    yarn.nodemanager.resource.memory-mb	              NodeManager使用内存数
    yarn.nodemanager.resource.system-reserved-memory-mb  NodeManager为系统保留多少内存,和上一个参数二者取一即可
    
    yarn.nodemanager.resource.cpu-vcores	NodeManager使用CPU核数
    yarn.nodemanager.resource.count-logical-processors-as-cores	是否将虚拟核数当作CPU核数
    yarn.nodemanager.resource.pcores-vcores-multiplier	虚拟核数和物理核数乘数,例如:4核8线程,该参数就应设为2
    yarn.nodemanager.resource.detect-hardware-capabilities	是否让yarn自己检测硬件进行配置
    
    yarn.nodemanager.pmem-check-enabled	是否开启物理内存检查限制container
    yarn.nodemanager.vmem-check-enabled	是否开启虚拟内存检查限制container
    yarn.nodemanager.vmem-pmem-ratio        虚拟内存物理内存比例
    

    三、Container容器相关

    yarn.scheduler.minimum-allocation-mb	     容器最小内存
    yarn.scheduler.maximum-allocation-mb	     容器最大内存
    yarn.scheduler.minimum-allocation-vcores	 容器最小核数
    yarn.scheduler.maximum-allocation-vcores	 容器最大核数
    
  • 相关阅读:
    python基础一
    IO多路复用
    协程
    线程之互斥锁与递归锁、队列、线程池
    线程
    进程之间的通信与数据共享
    进程
    操作系统的简介
    PyCharm的基本使用指南
    【解决方案】明明安装了库,PyCharm还是提示:No module named bs4 / No module named 'requests'
  • 原文地址:https://www.cnblogs.com/jhno1/p/15252153.html
Copyright © 2020-2023  润新知