• Hadoop一些问题总结


    1、运行mr程序出错
      connecting to resoucemanager
      retrying ....
      retrying .....

      原因是没有启动yarn或者启动失败

    2、初始化工作目录结构
      hdfs namenode -format 只是初始化了namenode的工作目录
      而datanode的工作目录是在datanode启动后自己初始化的

    3、datanode不被namenode识别的问题
       namenode在format初始化的时候会形成两个标识:
      blockPoolId:
      clusterId:

      新的datanode加入时,会获取这两个标识作为自己工作目录中的标识

      一旦namenode重新format后,namenode的身份标识已变,而datanode如果依然持有原来的id,就不会被namenode识别


    4、datanode下线后多久看到效果
      datanode不是一下线就会被namenode认定为下线的,有一个超时时间


    5、关于副本数量的问题
      副本数由客户端的参数dfs.replication决定(优先级: conf.set > 自定义配置文件 > jar包中的hdfs-default.xml)


    6、可以通过-DHADOOP_USER_NAME=hadoop来处理报错 persmission报错问题user=windows的用户名这个时候需要更改登录hadoop的用户名

    7、namenode安全模式问题

      当namenode发现集群中的block丢失数量达到一个阀值时,namenode就进入安全模式状态,不再接受客户端的数据更新请求

      在正常情况下,namenode也有可能进入安全模式:
        集群启动时(namenode启动时)必定会进入安全模式,然后过一段时间会自动退出安全模式(原因是datanode汇报的过程有一段持续时间)
      也确实有异常情况下导致的安全模式
        原因:block确实有缺失
        措施:可以手动让namenode退出安全模式,bin/hdfs dfsadmin -safemode leave
        或者:调整safemode门限值: dfs.safemode.threshold.pct=0.999f

  • 相关阅读:
    基于《Hadoop权威指南 第三版》在Windows搭建Hadoop环境及运行第一个例子
    使用java发送HTTP请求
    关于centOS7的一些笔记
    关于netty的多个handler链式模式
    关于netty的简单实现
    EF---延迟加载技术
    Restful Api 最佳实践
    FlaskWeb开发
    python多线程/多进程
    Python网络编程
  • 原文地址:https://www.cnblogs.com/atomicbomb/p/6896382.html
Copyright © 2020-2023  润新知