• yarn下资源配置


    http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.0.6.0/bk_installing_manually_book/content/rpm-chap1-11.html

     (公式)

    http://developer.51cto.com/art/201401/426625.htm

      YARN配置参数剖析

    http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-configurations-resourcemanager-nodemanager
    

    /  董的博客。

    http://www.aboutyun.com/thread-8149-1-1.html
    

    yarn.nodemanager.resource.memory-mb

    每个节点可用的内存,单位是mb,默认是8G,用于供NodeManager分配的。我出现的问题是资源分配太小,只有2G, 程序一直跑不起来, 如果用默认的8G, 电脑物理内存达不到8G, 则容易卡住

    yarn.scheduler.maximum-allocation-vcores 默认是4 ,单机可以适当改小

    yarn.nodemanager.resource.cpu-vcores

    表示该节点上YARN可使用的虚拟CPU个数,默认是8,注意,目前推荐将该值设值为与物理CPU核数数目相同。如果你的节点CPU核数不够8个,则需要调减小这个值,而YARN不会智能的探测节点的物理CPU总数. 单机需要改小

    Hadoop YARN常见问题以及解决方案

    http://www.tuicool.com/articles/uMvyee

    yarn的资源管理

    http://my.oschina.net/1987times/blog/287866

     

  • 相关阅读:
    2
    1
    Java面试题整理二(侧重SSH框架)
    solr添加多个core
    Oracle SQL性能优化
    jQuery的$.ajax
    spring四种依赖注入方式
    通过JAXB完成Java对象与XML之间的转换
    window环境下将solr6.3部署到tomcat中
    Java面试题整理一(侧重多线程并发)
  • 原文地址:https://www.cnblogs.com/chengxin1982/p/3987519.html
Copyright © 2020-2023  润新知