• 启动HDFS时datanode无法启动的坑


    启动HDFS

    启动hdfs,进入sbin目录,也可以执行./start-all.sh

    - $cd /app/hadoop/hadoop-2.2.0/sbin
    - $./start-dfs.sh
    

    在此之前要进行NameNode的格式化

    - $cd /app/hadoop/hadoop-2.2.0/
    - $./bin/hdfs namenode -format
    

    格式化是个巨大的坑,慎用!当我们进行多次格式化的时候,会出现datanode无法启动。原因在于多格式化之后,datanode的clusterID 和 namenode的clusterID 不匹配。这是datanode将无法启动。
    解决方法:开机之后只进行一次格式化,格式化之后会导致datanode的clusterID 和 namenode的clusterID的不一致,就要进行替换。

    1.打开name/current/VERSION文件 复制clusterID

    2.打开data/current/VERSIO文件 将clusterID覆盖跟namenode的clusterID一直即可
    3.每个datanode节点的clusterID都要进行替换覆盖

    这时在启动,输入jps查看进程,就可以看到namenode,datanode节点都起来了

    出现该问题的原因:在第一次格式化dfs后,启动并使用了hadoop,后来又重新执行了格式化命令(hdfs namenode-format),这时namenode的clusterID会重新生成,而datanode的clusterID 保持不变。

  • 相关阅读:
    :Netty中的Idle事件
    :Netty中的Idle事件
    大数据分析在石化企业的应用探讨
    全关联优化
    Java中的instanceof关键字
    Java中的instanceof关键字
    第七章 正则模式
    Rac sequence
    监控ping
    第六章 HASH
  • 原文地址:https://www.cnblogs.com/zlxbky/p/9042832.html
Copyright © 2020-2023  润新知