• HBASE文件太大,磁盘空间不足,清楚日志oldWALs


    版本信息

    Hadoop: 3.0.0-cdh6.3.2

    hbase : 2.1.0-cdh6.3.2

    当/hbase/WALs中的HLog文件被持久化到存储文件中,且这些Hlog日志文件不再被需要时,就会被转移到{hbase.rootdir}/oldWALs目录下,该目录由HMaster上的定时任务负责定期清理。

    网上说了很多方法,类似改配置文件会自动清除,我做了,但不管用。

    我用的这个版本的文件,直接删除,很方便

    查看磁盘空间:

    [hbase@cdh01 ~]$ df -lTH
    Filesystem Type Size Used Avail Use% Mounted on
    /dev/vda1 ext4 32G 18G 14G 57% /
    此时可用空间为14G

    查看oldWALs大小:

    [root@cdh01 ~]# hadoop fs -du -h hdfs://172.18.10.90:8020/opt/hbase/
    14.3 K 34.2 K hdfs://172.18.10.90:8020/opt/hbase/.hbase-snapshot
    20.1 G 20.1 G hdfs://172.18.10.90:8020/opt/hbase/oldWALs
    0 0 hdfs://172.18.10.90:8020/opt/hbase/staging

    发现oldWALs有20G

    清除oldWALs

    [root@cdh01 ~]# hadoop fs -rm -f hdfs://172.18.10.90:8020/opt/hbase/oldWALs/*

    21/01/08 15:22:25 INFO fs.TrashPolicyDefault: Moved: 'hdfs://172.18.10.90:8020/opt/hbase/oldWALs/cdh01%2C16020%2C1610089452456.cdh01%2C16020%2C1610089452456.regiongroup-0.1610089462374' to trash at: hdfs://172.18.10.90:8020/user/root/.Trash/Current/opt/hbase/oldWALs/cdh01%2C16020%2C1610089452456.cdh01%2C16020%2C1610089452456.regiongroup-0.1610089462374
    21/01/08 15:22:25 INFO fs.TrashPolicyDefault: Moved: 'hdfs://172.18.10.90:8020/opt/hbase/oldWALs/cdh01%2C16020%2C1610089452456.meta.1610089462785.meta' to trash at: hdfs://172.18.10.90:8020/user/root/.Trash/Current/opt/hbase/oldWALs/cdh01%2C16020%2C1610089452456.meta.1610089462785.meta

    看打印出来的信息提示说,移动到 hdfs://172.18.10.90:8020/user/root/.Trash/Current/opt/hbase/oldWALs 这个目录下面了,相当于windows的垃圾桶

    那就在把他删除

    hadoop fs -rm -f hdfs://172.18.10.90:8020/user/root/.Trash/Current/opt/hbase/oldWALs/*

    再查看一下磁盘空间(可能要等一会才会刷新):

    [root@cdh01 ~]# df -lTH
    Filesystem Type Size Used Avail Use% Mounted on
    /dev/mapper/vg_data-lvm_data ext4 74G 35G 36G 50% /opt

    完成!

  • 相关阅读:
    c++下使用邮槽实现进程间通信
    c++下基于windows socket的多线程服务器(基于TCP协议)
    C++实现线程同步的几种方式
    c++多线程编程:实现标准库accumulate函数的并行计算版本
    c++多线程在异常环境下的等待
    c++下基于windows socket的服务器客户端程序(基于UDP协议)
    c++下基于windows socket的单线程服务器客户端程序(基于TCP协议)
    C++解决error C4996报错
    Python读取UTF-8编码文件并使用命令行执行时输出结果的问题
    P4655 [CEOI2017]Building Bridges 题解
  • 原文地址:https://www.cnblogs.com/thirteen-yang/p/14252243.html
Copyright © 2020-2023  润新知