• hadoop fs -put localfile . 时出现如下错误: could only be replicated to 0 nodes, instead of 1


    hadoop fs -put localfile . 时出现如下错误:
    could only be replicated to 0 nodes, instead of 1
    网友的说法:

    这个问题是由于没有添加节点的原因,也就是说需要先启动namenode,再启动datanode,然后启动jobtracker和tasktracker。这样就不会存在这个问题了。

    这个异常主要是因为hdfs文件系统出现异常,解决方法是:
    先停hadoop;
    到hadoop.tmp.dir这里配置路径清除文件;(hadoop.tmp.dir默认:/tmp/hadoop-${user.name})
    然后hadoop namenode -format;
    最后重启hadoop

    有可能客户端防火墙问题:所以除了服务器外,slave(即datanode)也需要sudo /etc/init.d/iptables stop关闭防火墙

    重新格式化后把Datanode保存数据块目录中的tmp目录删掉试试看

    format之后之前的datanode会有一个ID,这个ID没有删除,所以会拒绝当前Namenode链接和分配。所以需要删除 原来的datanode中的hdfs目录。user和tmp然后再格式化,即可

    不需要删除datanode的ID,只需要将datanode的进程号修改为namenode的进程号.
    在/tmp目录先看看能不能找到他的进程文件,打开修改一下即可

    我也遇到这个问题,让我鼓捣了半天,最后打开eclipse,用dfs视图把里面一个文件删除了,就好了


    我来个暴力点的:
    bin/stop-all.sh
    hadoop fs namenode -format
    bin/start-all.sh
    终于弄好了,不过这有点恨,不能每次都format,以后碰到类似问题再试一下其他方法。

    我的情况是:我在namenode上也起了一个datanode,第二次启动时没启动这个节点上的datanode ,后来启动以后就好了

  • 相关阅读:
    穷人思维与富人思维
    纯真IP库读取文件
    memcached 分布式 一致性hash算法demo
    纯CSS画的基本图形(矩形、圆形、三角形、多边形、爱心、八卦等)
    IPhone在横屏字体变大解决办法-webkit-text-size-adjust
    js设计模式---阅读笔记002--接口
    js设计模式---阅读笔记001--富有表现力的js
    关于js继承
    js正则表达式中test,exec,match方法的区别说明
    js获取自定义的属性值
  • 原文地址:https://www.cnblogs.com/lfxiao/p/10432127.html
Copyright © 2020-2023  润新知