一、Kafka的基础特点
1、消息系统有两种模型(队列和发布订阅)。kafka使用消费者组统一了上述的两种模型。
同一个消费者组内的消费者之间是队列模型。不同的消费者组之间是订阅模型。
二、kafka中zookeeper的作用
1、管理broker和consumer
zookeeper用来存储kafka集群的元数据信息
2、不管理producer
三、kafka的生产者流程
在正常情况下,Kafka中的每个Topic都会有很多个分区,每个分区又会存在多个副本。在这些副本中,存在一个leader分区,而剩下的分区叫做 follower,所有对分区的读写操作都是对leader分区进行的。所以当我们向Kafka写消息或者从Kafka读取消息的时候,必须先找到对应分区的Leader及其所在的Broker地址,这样才可以进行后续的操作。本文将要介绍的就是 Kafka 是如何找到 leader 分区的。
由于Producer和Consumer都只会与Leader角色的分区副本相连,所以kafka需要以集群的组织形式提供主题下的消息高可用。kafka支持主备复制,所以消息具备高可用和持久性。
生产者客户端也可以配置某种算法用来规划消息发往那个partiton。
四、kafka的消费者流程
五、kafka的controller
kafka会从所有的broker中选取一个broker作为controller。
--------------------------------------------------------------------------------------------------------------------------------------------------
消息没有健时,通过轮询方式进行负载均衡;消息有健时,根据分区语义确保相同键的消息总是发送到同一个分区。
生产者和消费者都可以批量操作
生产者的ISR机制(最小同步副本数+acks=all)
生产者序列化器、分区器和记录搜集器
参考文献:
kafka源码分析:https://www.jianshu.com/p/aa274f8fe00f
kafka生产者:https://www.jianshu.com/p/4297ad291f1a
kafka如何寻找leader分区:https://blog.csdn.net/b6ecl1k7BS8O/article/details/80164679
kafka设计原理:https://www.cnblogs.com/likehua/p/3999538.html
kafka的配置:https://www.cnblogs.com/sodawoods-blogs/p/8969513.html
kafka消息系统:https://www.cnblogs.com/cyfonly/p/5954614.html
kafka的原理和特性:https://yuanhsh.iteye.com/blog/2202880
kafka的元数据管理:https://blog.csdn.net/bingdianone/article/details/88555490#ZK_1