kafka官方介绍是分布式的流处理平台,理解上比较难。先简单理解为一种分布式的支持发布订阅的高可用消息队列
kafka通过topic(主题) 对数据分类,每条记录包含:一个key,一个value,一个时间戳
核心概念:一串流的记录topic,一个topic可以有一个或者多个消费者来订阅
topic数据是被记录在日志里面的,日志是分区存储的,分区是被多台机器共享的。
生产者可以把数据发送到topic
topic中的数据会被多个消费者组消费,或者被一个消费者组消费
每个消费者组里,只有一个消费者可以收到消息