• Hadoop一些问题总结


    1、运行mr程序出错
      connecting to resoucemanager
      retrying ....
      retrying .....

      原因是没有启动yarn或者启动失败

    2、初始化工作目录结构
      hdfs namenode -format 只是初始化了namenode的工作目录
      而datanode的工作目录是在datanode启动后自己初始化的

    3、datanode不被namenode识别的问题
       namenode在format初始化的时候会形成两个标识:
      blockPoolId:
      clusterId:

      新的datanode加入时,会获取这两个标识作为自己工作目录中的标识

      一旦namenode重新format后,namenode的身份标识已变,而datanode如果依然持有原来的id,就不会被namenode识别


    4、datanode下线后多久看到效果
      datanode不是一下线就会被namenode认定为下线的,有一个超时时间


    5、关于副本数量的问题
      副本数由客户端的参数dfs.replication决定(优先级: conf.set > 自定义配置文件 > jar包中的hdfs-default.xml)


    6、可以通过-DHADOOP_USER_NAME=hadoop来处理报错 persmission报错问题user=windows的用户名这个时候需要更改登录hadoop的用户名

    7、namenode安全模式问题

      当namenode发现集群中的block丢失数量达到一个阀值时,namenode就进入安全模式状态,不再接受客户端的数据更新请求

      在正常情况下,namenode也有可能进入安全模式:
        集群启动时(namenode启动时)必定会进入安全模式,然后过一段时间会自动退出安全模式(原因是datanode汇报的过程有一段持续时间)
      也确实有异常情况下导致的安全模式
        原因:block确实有缺失
        措施:可以手动让namenode退出安全模式,bin/hdfs dfsadmin -safemode leave
        或者:调整safemode门限值: dfs.safemode.threshold.pct=0.999f

  • 相关阅读:
    腾讯推出微信企业服务平台风铃
    WAP网页输入框的默认键盘类型控制
    asp.net+扫描仪+图片上传
    Web截屏插件
    java扫描仪上传文件
    web高拍仪图片上传
    网页中怎么实现客户端通过扫描仪把图像传到服务器上
    如何在Web页面里面使用高拍仪扫描上传图像
    B/S选择文件夹上传
    用java实现文件的断点续传并发下载
  • 原文地址:https://www.cnblogs.com/atomicbomb/p/6896382.html
Copyright © 2020-2023  润新知