• Hadoop启动datanode失败,clusterId有问题


    问题:

    搭建伪Hadoop集群的时候,运行命令:

    hdfs namenode -format

    格式化或者说初始化namenode。

    然后用命令:

    start-dfs.sh

    来启动hdfs时,jps发现datanode先是启动了一下,然后就挂掉了,在http://192.168.195.128:50070 (HDFS管理界面)也看不到datanode的信息。

    然后去datanode的日志上面看,看到这样的报错:

    出错原因:(来自博客https://blog.csdn.net/qq_30136589/article/details/51638069)

    hadoop的升级功能需要data-node在它的版本文件里存储一个永久性的clusterID,当datanode启动时会检查并匹配namenode的版本文件里的clusterID,如果两者不匹配,就会出现"Incompatible clusterIDs"的异常。
      每次格式化namenode都会生成一个新的clusterID, 如果只格式化了namenode,没有格式化此datanode, 就会出现”java.io.IOException: Incompatible namespaceIDs“异常。
      参见官方CCR[HDFS-107]

    这就解释了,为什么我第一次是成功的,后面一直都datanode挂掉的情况。

    因为第一次成功后,每次再跑hdfs之前我都格式化或者说初始化了hdfs的配置。然后,namenode的clusterId就会清空,在你跑start-dfs.sh的时候,就会重新生成一个clusterId。但你datanode没有初始化噢,就是说datanode里面的那个clusterId还是之前那个,于是就出现了两者不匹配,报错了。

    解决方法:

    1.在namenode机器上:   找到${dfs.namenode.name.dir}/current/VERSION 里找到clusterID。这个dfs.namenode,name.dir在hdfs-site.xml可以找到你这个路径的真正路径。:

    这里的话就是在/home/hadoop/data/name/current下找到VERSION文件,然后里面有个clusterId,找到它复制了:

    2.在出问题的datanode上:    找到$dfs.datanode.data.dir,这个也是在hdfs-site.xml配置文件可以找到这个路径具体的位置:

    像我的机器,就是在/home/hadoop/data/data/current下找到VERSION文件,然后里面也有个clusterId:

     然后你要做的就是把(1)中复制的namenode的clusterId覆盖了出问题的datanode的clusterId。

    3.在问题节点重新重启你的datanode,也就是重新跑命令:

    start-dfs.sh

    然后datanode就重新跑起来了。在浏览器上访问那个管理界面也看到datanode了:

    注意:

    1.配置完clusterId后不要再hdfs namenode -format格式化或者说初始化namenode了。

    2.记得把所有机器的防火墙给关了,不然可能通信上会有所拦截。(反正我一开始没关,然后配好了clusterId在浏览器的Hadoop管理界面上没能看到datanode,一关掉所有机器的防火墙就好了~)

  • 相关阅读:
    使用博客园平台写文章赚外快的实践
    博客换来的不仅仅是评论,还有Money!!!
    软件测试方法和规则
    向string,int,类对象等中扩展方法
    江苏省计算机三级偏软知识点整理
    MVC是什么
    ASP.NET关于session的用法
    ASP.Net 中Application的用法
    什么是单件模式
    输入法中全角和半角的区别
  • 原文地址:https://www.cnblogs.com/wangshen31/p/9900987.html
Copyright © 2020-2023  润新知