• hdfs fsck / 检查hdfs中block问题


    迁移hdfs节点过程中,退役datanode节点,出现这个问题:
    image
    使用命令检查block报告
    hdfs fsck /

    返回结果截图如下:

    参数说明:

    Total size : hdfs集群存储大小,不包括复本大小。如:75423236058649 B (字节)。(字节->KB->m->G->TB,75423236058649/1024/1024/1024/1024=68.59703358591014TB)

    Total blocks (validated) : 总共的块数量,不包括复本。(5363690 (avg. block size 14061818 B) (Total open file blocks (not validated): 148),计算: 14061818 *5363690=75423232588420 集群的容量大小,不包括复本的)

    Number of data-nodes : datanode的节点数量

    Number of racks : 机架数量

    Default replication factor : 默认的复制因子

    Average block replication : 当前块的平均复制数,如果小 default replication factor,则有块丢失

    Under-replicated blocks : 正在复制块数量

    Mis-replicated blocks : 正复制的缺少复制块的数量

    Missing replicas : 缺少复制块的数量,通常情况下Under-replicated blocksMis-replicated blocksMissing replicas 都为0,则集群健康,如果不为0,则缺失块了

    Corrupt blocks : 坏块的数量,这个值不为0,则说明当前集群有不可恢复的块,即数据有丢失了

    当下架节点时Under-replicated blocksMis-replicated blocksMissing replicas,这三个参数会显示当前,需要补的块的数量,集群会自动补全,当三个参数都为0时,则集群块的复制块完全了。

    如下截图:

    hadoop fsck / -openforwrite | egrep -v '^.+$' | egrep "MISSING|OPENFORWRITE" | grep -o "/[^ ]*" | sed -e "s/:$//" | xargs -i hadoop fs -rmr {};

    作者:少帅

    出处:少帅的博客--http://www.cnblogs.com/wang3680

    您的支持是对博主最大的鼓励,感谢您的认真阅读。

    本文版权归作者所有,欢迎转载,但请保留该声明。

    支付宝 微信
  • 相关阅读:
    $python日期和时间的处理
    $python生成器
    $思维导图——numpy基本知识
    $python用装饰器实现一个计时器
    $ MySQL-python数据库模块用法
    CentOS 7.2下编译安装PHP7.0.10+MySQL5.7.14+Nginx1.10.1
    Nginx、Apache工作原理及Nginx为何比Apache高效
    Apache的三种工作模式及相关配置
    ThinkPHP框架
    session与cookie的区别是什么?如果客户端禁用了cookie功能,将会对session有什么影响?
  • 原文地址:https://www.cnblogs.com/wang3680/p/15411760.html
Copyright © 2020-2023  润新知