通常Kafka的监控我们采用KafkaOffsetMonitor,相关下载链接请参见:http://blog.csdn.net/lizhitao/article/details/27199863
安装布署完成后通过如下命令来启动监控:
nohup java -cp KafkaOffsetMonitor-assembly-0.2.1.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb -zk XXX:yyy,TTT:zzz --port 9090 --refresh 10.seconds --retain 5.days &
可以通过http://IP:9090或者http://DNS:9090来访问
其中Consumer Offsets表各个列的含义如下:
- Topic:Topic的名字
- Partition:Topic包含的分区,上例中,learn.topic.p8.r2有8个分区
- Offset:Kafka Consumer已经消费的分区上的消息数
- logSize: 已经写到该分区的消息数
- Lag:还有多少消息数未读取(Lag = logSize-Offset)
- Owner: 该分区位于哪个Broker上,上例中有三个Broker(consumer group name + hostname + broker.id)
- Created: 分区创建时间
- Last Seen: Offset和logSize数字最后一次更新时间
注意:刚开始启动时,发现Lag为负数,这明显不对,但是当使用Producer和Consumer进行读写Kafka后,数字显示正常