• 关于hdfs集群中Please check the logs or run fsck in order to identify the missing blocks. See the Hadoop FAQ for common causes and potential solutions.错误解决


    一次偶然操作,图快在web界面直接操作删除了一些文件,刷新后出现下面的情况

    Please check the logs or run fsck in order to identify the missing blocks. See the Hadoop FAQ for common causes and potential solutions.

    输入下面的指令检查并尝试修复了一下文件块,发现没用

    hadoop  fsck 
    

    直接删除损坏的文件块

    hadoop  fsck -delete
    

    原因分析:
    删除了几个hdfs上的数据,然后就出现这个问题,异常信息
    在hdfs中数据是按块方式(blk_1073748128没理解错误就是一个块)存储的,删除了blk_1073748128后,元数据还在,但是数据块不在了,才报的这个错,但是这部分数据其实不需要了,所以可以直接将异常的文件块的元数据信息也删除。

    作者:Ya
    本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须在文章页面给出原文连接,否则保留追究法律责任的权利。
  • 相关阅读:
    UPC 5130 Concerts
    poj 1079 Calendar Game
    2018 ACM-ICPC 中国大学生程序设计竞赛线上赛
    CF932E
    浅谈Tarjan算法
    拉格朗日差值
    扩展欧几里得算法(exgcd)
    欧拉定理
    莫比乌斯反演
    除法分块
  • 原文地址:https://www.cnblogs.com/1463490Ya/p/15562825.html
Copyright © 2020-2023  润新知