• hadoop 异常 问题解决:NameNode is still loading. Redirecting to the Startup Progress page


    环境:apache  hadoop 2.7.2 、机器发生重启,集群异常关闭

    现象:重启hdfs和yarn服务,底层namenode和datanode都没有报错,但是在namenode的web ui上报错  198.3.100.21:50070

    NameNode is still loading. Redirecting to the Startup Progress page

    在一篇博客中有一个人这样评论:

    这种一般发生在一个namenode挂掉之后,隔一段时间重启,那么这个重启namenode需要加载到最新的fsimage,这种情况就是正常的,根据fsimage大小,加载的时间长短也是不一样的。

    我看了很多人换浏览器就ok了,很可能他们的hdfs上的数据比较少,能快速加载完毕,换浏览器的时间就加载完毕了。

    我的服务持续加载了2个小时,一直显示50%,可能是因为我的hdfs数据比较多?但是fsimage只有600k而已啊。

    等了一会老司机领导已经打电话过来了。

    描述了一下情况,领导帮忙看了一眼,说:内存问题

    修改

    修改hadoop-env.sh,对其参数进行内存调优
    扩大一下2个参数的jvm使用内存,原来是512m,改为5120M
    export HADOOP_PORTMAP_OPTS="-Xmx5120m $HADOOP_PORTMAP_OPTS"
    xport HADOOP_CLIENT_OPTS="-Xmx5120m $HADOOP_CLIENT_OPTS"
    
    
    分发配置文件
    重启
    问题解决
  • 相关阅读:
    squid代理缓存服务
    部署网络存储ISCSI
    电子邮局系统
    使用DHCP动态管理主机地址
    vsftp -samba-autofs
    python初学 | 循环for while
    python初学 | 条件语句if
    python初学 | set
    python初学 | 字典dictionary
    python初学 | 元组tuple
  • 原文地址:https://www.cnblogs.com/students/p/12653169.html
Copyright © 2020-2023  润新知