• 关于HADOOP_HEAPSIZE参数(转)


    原文链接: http://www.oratea.net/?p=821

    HADOOP_HEAPSIZE参数是控制hadoop的jvm内存大小的。

    这个参数的设置要结合当前服务器的内存情况。

    今天测试环境的hadoop出现问题,一些与jvm相关的操作都会报内存不够的错误,如下:

    [hadoop@jdk1.6.0_20]$ jps Error occurred during initialization of VM Could not reserve enough space for object heap Could not create the Java virtual machine.
     
    查看发现当前的HADOOP_HEAPSIZE大小为500M,而由于是测试环境,所以将NameNode,SecondNameNode以及DataNode都设置在这一台服务器上,所以当hadoop启动的时候会占据大量的内存,导致其他的jvm相关操作就报内存不够的错误。
     
    最后将HADOOP_HEAPSIZE减少到200M,问题消失。
    不过因为这台机器的内存比较小,以后执行那些大任务的时候可能200M不够用,还是有可能报内存不过的错误。
  • 相关阅读:
    bzoj2124 等差子序列(树状数组+hash)
    CF817F MEX Queries(线段树上二分)
    [USACO12MAR]摩天大楼里的奶牛(状态压缩DP)
    CF786B Legacy(线段树优化建图)
    绿豆蛙的归宿
    单选错位
    聪聪和可可
    Tyvj1952 Easy
    OSU!
    弱题
  • 原文地址:https://www.cnblogs.com/devops/p/3038977.html
Copyright © 2020-2023  润新知