一、删除Kafka topic
运行./bin/kafka-topics --delete --zookeeper 【zookeeper server】 --topic 【topic name】;如果kafaka启动时加载的配置文件中server.properties没有配置delete.topic.enable=true,那么此时的删除并不是真正的删除,而是把topic标记为:marked for deletion
可以通过命令:./bin/kafka-topics --zookeeper 【zookeeper server】 --list 来查看所有topic
此时若想真正删除它,可以登录zookeeper客户端,命令:./bin/zookeeper-client
找到topic所在的目录:ls /brokers/topics
找到要删除的topic,执行命令:rmr /brokers/topics/【topic name】即可,此时topic被彻底删除。
另外被标记为marked for deletion的topic可以在zookeeper客户端中通过命令获得:ls /admin/delete_topics/【topic name】,如果你删除了此处的topic,那么marked for deletion 标记消失;
二、Zookeeper数据清理
下面分四种场景,具体如下:
1、停止kafka,保持zookeeper仍旧运行
A.用zookeeper客户端zkClient连接zookeeper,如:
./zkCli.sh -server 10.67.2.21:2181,10.67.2.20:2181
连接成功后,可以用命令查看zk的目录结构:
ls /brokers/topics
然后可以看到该目录下有pjtest目录,删除方式:
delete /brokers/topics/pjtest/partitions/0/state ... delete /brokers/topics/pjtest/partitions/9/state delete /brokers/topics/pjtest/partitions/0 ... delete /brokers/topics/pjtest/partitions/9 delete /brokers/topics/pjtest/partitions delete /brokers/topics/pjtest
2、停止kafka和zookeeper
- 查看server.properties中配置的log.dirs路径;
- 进入此路径中(如果kafka是一个集群,需要在每台机器上执行) 假定要删除的topic名称为:pjtest,则rm -rf pjtest-*;
- vi replication-offset-checkpoint
假设原文为:
0
15
pjtest 4 0
pjtest 8 0
managejob 5 0
pjtest 6 0
pjtest 0 0
pjtest 5 0
pjtest 3 0
pjtest 7 0
pjtest 9 0
pjtest 2 0
managejob 9 0
managejob 1 0
managejob 3 0
pjtest 1 0
managejob 7 0
修改为:
0
5
managejob 5 0
managejob 9 0
managejob 1 0
managejob 3 0
managejob 7 0 - 同理需要修改vi recovery-point-offset-checkpoint
3、启动kafka和zookeeper
一、kafka日志清理
Kafka将会保留所有发布的消息,不论他们是否被消费过.如果需要清理,则需要进行配置.server.properties配置:
log.cleanup.policy=delete
日志清理策略
log.retention.hours=240
数据存储的最大时间超过这个时间会根据log.cleanup.policy设置的策略处理数据,也就是消费端能够多久去消费数据
log.retention.bytes和log.retention.minutes任意一个达到要求,都会执行删除
log.retention.bytes=-1
topic每个分区的最大文件大小,一个topic的大小限制=分区数*log.retention.bytes.-1表示没有大小限制
log.retention.bytes和log.retention.minutes任意一个达到要求,都会执行删除
log.retention.check.interval.ms=5minutes 文件大小检查的周期时间