版本信息
Hadoop: 3.0.0-cdh6.3.2
hbase : 2.1.0-cdh6.3.2
当/hbase/WALs中的HLog文件被持久化到存储文件中,且这些Hlog日志文件不再被需要时,就会被转移到{hbase.rootdir}/oldWALs目录下,该目录由HMaster上的定时任务负责定期清理。
网上说了很多方法,类似改配置文件会自动清除,我做了,但不管用。
我用的这个版本的文件,直接删除,很方便
查看磁盘空间:
[hbase@cdh01 ~]$ df -lTH
Filesystem Type Size Used Avail Use% Mounted on
/dev/vda1 ext4 32G 18G 14G 57% /
此时可用空间为14G
查看oldWALs大小:
[root@cdh01 ~]# hadoop fs -du -h hdfs://172.18.10.90:8020/opt/hbase/
14.3 K 34.2 K hdfs://172.18.10.90:8020/opt/hbase/.hbase-snapshot
20.1 G 20.1 G hdfs://172.18.10.90:8020/opt/hbase/oldWALs
0 0 hdfs://172.18.10.90:8020/opt/hbase/staging
发现oldWALs有20G
清除oldWALs
[root@cdh01 ~]# hadoop fs -rm -f hdfs://172.18.10.90:8020/opt/hbase/oldWALs/*
21/01/08 15:22:25 INFO fs.TrashPolicyDefault: Moved: 'hdfs://172.18.10.90:8020/opt/hbase/oldWALs/cdh01%2C16020%2C1610089452456.cdh01%2C16020%2C1610089452456.regiongroup-0.1610089462374' to trash at: hdfs://172.18.10.90:8020/user/root/.Trash/Current/opt/hbase/oldWALs/cdh01%2C16020%2C1610089452456.cdh01%2C16020%2C1610089452456.regiongroup-0.1610089462374
21/01/08 15:22:25 INFO fs.TrashPolicyDefault: Moved: 'hdfs://172.18.10.90:8020/opt/hbase/oldWALs/cdh01%2C16020%2C1610089452456.meta.1610089462785.meta' to trash at: hdfs://172.18.10.90:8020/user/root/.Trash/Current/opt/hbase/oldWALs/cdh01%2C16020%2C1610089452456.meta.1610089462785.meta
看打印出来的信息提示说,移动到 hdfs://172.18.10.90:8020/user/root/.Trash/Current/opt/hbase/oldWALs 这个目录下面了,相当于windows的垃圾桶
那就在把他删除
hadoop fs -rm -f hdfs://172.18.10.90:8020/user/root/.Trash/Current/opt/hbase/oldWALs/*
再查看一下磁盘空间(可能要等一会才会刷新):
[root@cdh01 ~]# df -lTH
Filesystem Type Size Used Avail Use% Mounted on
/dev/mapper/vg_data-lvm_data ext4 74G 35G 36G 50% /opt
完成!