• HBASE文件太大,磁盘空间不足,清楚日志oldWALs


    版本信息

    Hadoop: 3.0.0-cdh6.3.2

    hbase : 2.1.0-cdh6.3.2

    当/hbase/WALs中的HLog文件被持久化到存储文件中,且这些Hlog日志文件不再被需要时,就会被转移到{hbase.rootdir}/oldWALs目录下,该目录由HMaster上的定时任务负责定期清理。

    网上说了很多方法,类似改配置文件会自动清除,我做了,但不管用。

    我用的这个版本的文件,直接删除,很方便

    查看磁盘空间:

    [hbase@cdh01 ~]$ df -lTH
    Filesystem Type Size Used Avail Use% Mounted on
    /dev/vda1 ext4 32G 18G 14G 57% /
    此时可用空间为14G

    查看oldWALs大小:

    [root@cdh01 ~]# hadoop fs -du -h hdfs://172.18.10.90:8020/opt/hbase/
    14.3 K 34.2 K hdfs://172.18.10.90:8020/opt/hbase/.hbase-snapshot
    20.1 G 20.1 G hdfs://172.18.10.90:8020/opt/hbase/oldWALs
    0 0 hdfs://172.18.10.90:8020/opt/hbase/staging

    发现oldWALs有20G

    清除oldWALs

    [root@cdh01 ~]# hadoop fs -rm -f hdfs://172.18.10.90:8020/opt/hbase/oldWALs/*

    21/01/08 15:22:25 INFO fs.TrashPolicyDefault: Moved: 'hdfs://172.18.10.90:8020/opt/hbase/oldWALs/cdh01%2C16020%2C1610089452456.cdh01%2C16020%2C1610089452456.regiongroup-0.1610089462374' to trash at: hdfs://172.18.10.90:8020/user/root/.Trash/Current/opt/hbase/oldWALs/cdh01%2C16020%2C1610089452456.cdh01%2C16020%2C1610089452456.regiongroup-0.1610089462374
    21/01/08 15:22:25 INFO fs.TrashPolicyDefault: Moved: 'hdfs://172.18.10.90:8020/opt/hbase/oldWALs/cdh01%2C16020%2C1610089452456.meta.1610089462785.meta' to trash at: hdfs://172.18.10.90:8020/user/root/.Trash/Current/opt/hbase/oldWALs/cdh01%2C16020%2C1610089452456.meta.1610089462785.meta

    看打印出来的信息提示说,移动到 hdfs://172.18.10.90:8020/user/root/.Trash/Current/opt/hbase/oldWALs 这个目录下面了,相当于windows的垃圾桶

    那就在把他删除

    hadoop fs -rm -f hdfs://172.18.10.90:8020/user/root/.Trash/Current/opt/hbase/oldWALs/*

    再查看一下磁盘空间(可能要等一会才会刷新):

    [root@cdh01 ~]# df -lTH
    Filesystem Type Size Used Avail Use% Mounted on
    /dev/mapper/vg_data-lvm_data ext4 74G 35G 36G 50% /opt

    完成!

  • 相关阅读:
    FpSpread实现筛选的功能
    比较通用的ID,ParentID结构表,返回树路径。
    如何解决,在安装Sql2000时,出现程序挂起的解决方法。
    FarPoint Spread 控件如何实现剪切,粘贴,复制
    MySql中Group By和Order By使用的注意事项!
    php md5下16位和32位的实现代码
    Shadows在C#代替方法!
    FTP命令使用详解
    数据库中存放目录与文件结构,方案选择
    vs2008 sp1下载
  • 原文地址:https://www.cnblogs.com/thirteen-yang/p/14252243.html
Copyright © 2020-2023  润新知