• HBASE文件太大,磁盘空间不足,清楚日志oldWALs


    版本信息

    Hadoop: 3.0.0-cdh6.3.2

    hbase : 2.1.0-cdh6.3.2

    当/hbase/WALs中的HLog文件被持久化到存储文件中,且这些Hlog日志文件不再被需要时,就会被转移到{hbase.rootdir}/oldWALs目录下,该目录由HMaster上的定时任务负责定期清理。

    网上说了很多方法,类似改配置文件会自动清除,我做了,但不管用。

    我用的这个版本的文件,直接删除,很方便

    查看磁盘空间:

    [hbase@cdh01 ~]$ df -lTH
    Filesystem Type Size Used Avail Use% Mounted on
    /dev/vda1 ext4 32G 18G 14G 57% /
    此时可用空间为14G

    查看oldWALs大小:

    [root@cdh01 ~]# hadoop fs -du -h hdfs://172.18.10.90:8020/opt/hbase/
    14.3 K 34.2 K hdfs://172.18.10.90:8020/opt/hbase/.hbase-snapshot
    20.1 G 20.1 G hdfs://172.18.10.90:8020/opt/hbase/oldWALs
    0 0 hdfs://172.18.10.90:8020/opt/hbase/staging

    发现oldWALs有20G

    清除oldWALs

    [root@cdh01 ~]# hadoop fs -rm -f hdfs://172.18.10.90:8020/opt/hbase/oldWALs/*

    21/01/08 15:22:25 INFO fs.TrashPolicyDefault: Moved: 'hdfs://172.18.10.90:8020/opt/hbase/oldWALs/cdh01%2C16020%2C1610089452456.cdh01%2C16020%2C1610089452456.regiongroup-0.1610089462374' to trash at: hdfs://172.18.10.90:8020/user/root/.Trash/Current/opt/hbase/oldWALs/cdh01%2C16020%2C1610089452456.cdh01%2C16020%2C1610089452456.regiongroup-0.1610089462374
    21/01/08 15:22:25 INFO fs.TrashPolicyDefault: Moved: 'hdfs://172.18.10.90:8020/opt/hbase/oldWALs/cdh01%2C16020%2C1610089452456.meta.1610089462785.meta' to trash at: hdfs://172.18.10.90:8020/user/root/.Trash/Current/opt/hbase/oldWALs/cdh01%2C16020%2C1610089452456.meta.1610089462785.meta

    看打印出来的信息提示说,移动到 hdfs://172.18.10.90:8020/user/root/.Trash/Current/opt/hbase/oldWALs 这个目录下面了,相当于windows的垃圾桶

    那就在把他删除

    hadoop fs -rm -f hdfs://172.18.10.90:8020/user/root/.Trash/Current/opt/hbase/oldWALs/*

    再查看一下磁盘空间(可能要等一会才会刷新):

    [root@cdh01 ~]# df -lTH
    Filesystem Type Size Used Avail Use% Mounted on
    /dev/mapper/vg_data-lvm_data ext4 74G 35G 36G 50% /opt

    完成!

  • 相关阅读:
    基于Centos 7 vue+nginx+docker 的前端项目部署
    uni-app学习随笔
    微服务和Docker
    Ado.Net
    数据库(SQLServer)
    JavaScript
    CSS样式
    HTML前端标签
    vue中 拖动元素边框 改变元素宽度
    vue学习笔记14
  • 原文地址:https://www.cnblogs.com/thirteen-yang/p/14252243.html
Copyright © 2020-2023  润新知