• 5、利用搭建的hadoop集群计算wordcount时出现内存问题


    • 报错信息如下

    • 原因分析

      集群中运行的container尝试使用更多的内存 ,但是被NodeManager给中断了

    • 解决措施

      配置所需内存大小

      /opt/software/hadoop-3.1.3/etc/hadoop/下的mapred-site.xml中添加如下配置:(其中的数字大小可以根据自己电脑的内存大小情况更改)

      <!-- 以下对标:2GB内存,2核心-->
      
      <property>
        <name>mapreduce.map.memory.mb</name>
        <value>1024</value>
      </property>
      <property>
        <name>mapreduce.map.java.opts</name>
        <value>-Xmx1024M</value>
      </property>
      <property>
        <name>mapreduce.reduce.memory.mb</name>
        <value>1024</value>
      </property>
      <property>
        <name>mapreduce.reduce.java.opts</name>
        <value>-Xmx1024M</value>
      </property>
      
  • 相关阅读:
    python GUI
    Python 博客网站资源
    Python 100 天学习计划
    pycharm基本设置
    MySQL 57安装部署(Zip版)(Windows版)
    nginx在centos下的安装
    仓位计算
    python笔记
    vue(一)--监听事件
    Hibernate(五)--级联
  • 原文地址:https://www.cnblogs.com/nuochengze/p/15304005.html
Copyright © 2020-2023  润新知