KAFKA常用命令

# 创建主题 my-topic1   副本(replication-factor) 3   分区(partitions)3
# ./bin/kafka-topics.sh --zookeeper 192.168.37.130:2181,192.168.37.131:2181,192.168.37.132:2181 --create --topic my-topic1 --replication-factor 3 --partitions 3

# 增加分区到16 参数 --alter  --partitions
# ./bin/kafka-topics.sh --zookeeper 192.168.37.130:2181,192.168.37.131:2181,192.168.37.132:2181 --topic my-topic1 --alter --partitions 16

# 删除主题 --delete，为了能够删除主题，broker的delete.topic.enable参数必须设置为true。如果该参数被设为false,删除主题的请求会被忽略。默认为false.
# ./bin/kafka-topics.sh --zookeeper 192.168.37.130:2181,192.168.37.131:2181,192.168.37.132:2181 --topic my-topic1 --delete

# 列车所有主题
# ./bin/kafka-topics.sh --zookeeper 192.168.37.130:2181,192.168.37.131:2181,192.168.37.132:2181 --list
log-format
my-topic
my-topic1 - marked for deletion
test

# 列出所有主题的详细信息。参数 --describe
# ./bin/kafka-topics.sh --zookeeper 192.168.37.130:2181,192.168.37.131:2181,192.168.37.132:2181 --describe

# 列出所有包含不同步副本的分区。参数 --under-replicated-partitions
# ./bin/kafka-topics.sh --zookeeper 192.168.37.130:2181,192.168.37.131:2181,192.168.37.132:2181 --describe --under-replicated-partitions

# 列车所有没有首领的分区，这些分区是离线状态，对于生产者和消费者来说是不可用的。参数--unavailable-partitions
./bin/kafka-topics.sh --zookeeper 192.168.37.130:2181,192.168.37.131:2181,192.168.37.132:2181 --describe --unavailable-partitions 

###消费者群组，使用kafka-consumer-group.sh工具可以用于列出消费者群组
# 旧版本的消费者客户端，可以使用--zookeeper和list参数列出消费者群组；
# ./bin/kafka-consumer-groups.sh --zookeeper 192.168.37.130:2181 --list
Note: This will only show information about consumers that use ZooKeeper (not those using the Java consumer API).
console-consumer-71980

# 使用新版本的消费者客户端时，则要使用--bootstarap-server、--list和--new-consumer参数
# ./bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server 192.168.37.130:9092,192.168.37.131:9092,192.168.37.132:9092 --list

# 使用--describe替代--list，并通过--group指定特定的群组，获取该群组的详细信息。它会列出群组里所有主题的信息和每个分区的偏移量
# 旧版本
# ./bin/kafka-consumer-groups.sh --zookeeper 192.168.37.130:2181,192.168.37.131:2181,192.168.37.132:2181 --describe --group console-consumer-71980

# 新版本
# ./bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server 192.168.37.130:9092,192.168.37.131:9092,192.168.37.132:9092 --describe --group console-consumer-71980

# 删除群组
# 只有旧版本的消费者客户端才支持删除群组的操作。删除群组操作将从zookeeper上移除整个群组，包括所有已保存的偏移量。在执行前，必须关闭所有的消费者。
# ./bin/kafka-consumer-groups.sh --zookeeper 192.168.37.130:2181,192.168.37.131:2181,192.168.37.132:2181 --delete --group console-consumer-71981
# 删除群组-指定主题
# ./bin/kafka-consumer-groups.sh --zookeeper 192.168.37.130:2181,192.168.37.131:2181,192.168.37.132:2181 --delete --group console-consumer-71981 --topic my-topic

## 偏移量管理
# 导出偏移量
# ./bin/kafka-run-class.sh kafka.tools.ExportZkOffsets -zookeeper 192.168.37.130:2181 --group console-consumer-71981 --output-file filename

# 手动修改偏移量
# ./bin/kafka-consumer-groups.sh --bootstrap-server 10.20.1.196:9092 --group jsis-group-biaozhun --reset-offsets --topic carInfoUp --to-offset 17307399 --execute

# ./bin/kafka-consumer-groups.sh --bootstrap-server 10.20.1.196:9092 --group jsis-group-biaozhun --reset-offsets --topic carServiceInfoUp --to-offset 3755699 --execute

# 查看偏移量
# ./bin/kafka-console-consumer.sh --bootstrap-server 172.18.2.50:9092 --topic carServiceAlteration2 --from-beginning
 
 
 
# 查看消费组
# ./kafka-consumer-groups.sh --bootstrap-server 10.20.1.196:9092 --list

./kafka-topics.sh --zookeeper 172.18.106.202:2181 --topic parkOutUp2 --describe


# 查看消费组
# ./bin/kafka-consumer-groups.sh --bootstrap-server 172.18.2.50:9092 --list

# 查看数据积压偏移量
# ./bin/kafka-consumer-groups.sh --bootstrap-server 172.18.2.50:9092 --group bishan.mcity --describe|grep -w bishan.mcity.park.in 

# 查看大于100的数据积压偏移量
./bin/kafka-consumer-groups.sh --bootstrap-server 172.18.2.50:9092 --group bishan.mcity --describe|awk '{if (int($5)>100) { print $1,$5,$7}}'|sort -n









1.查看topic的详细信息 
./kafka-topics.sh -zookeeper 127.0.0.1:2181 -describe -topic testKJ1 
 
2、为topic增加副本 
./kafka-reassign-partitions.sh -zookeeper 127.0.0.1:2181 -reassignment-json-file json/partitions-to-move.json -execute 
 
3、创建topic 
./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testKJ1 
 
4、为topic增加partition 
./bin/kafka-topics.sh –zookeeper 127.0.0.1:2181 –alter –partitions 20 –topic testKJ1 
 
5、kafka生产者客户端命令 
./kafka-console-producer.sh --broker-list localhost:9092 --topic testKJ1 
 
6、kafka消费者客户端命令 
./kafka-console-consumer.sh -zookeeper localhost:2181 --from-beginning --topic testKJ1 
 
7、kafka服务启动 
./kafka-server-start.sh -daemon ../config/server.properties  
 
8、下线broker 
./kafka-run-class.sh kafka.admin.ShutdownBroker --zookeeper 127.0.0.1:2181 --broker #brokerId# --num.retries 3 --retry.interval.ms 60 
shutdown broker 
 
9、删除topic 
./kafka-run-class.sh kafka.admin.DeleteTopicCommand --topic testKJ1 --zookeeper 127.0.0.1:2181 
./kafka-topics.sh --zookeeper localhost:2181 --delete --topic testKJ1 
 
10、查看consumer组内消费的offset 
./kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper localhost:2181 --group test --topic testKJ1