一 基本架构:
作为一个消息系统,其基本结构至少要包括生产组件(producer)以及消费组件(consumer).
1.kafka 生产者将消息写入kafka集群
2.kafka消费者将从集群中拉取消息。
二、kafka基本概念
1.主题(topic)
kafka将一组消息抽象归纳为一个主题
一个主题就是对消息的分类
生产者将消息发送到特定主题。
消费者从订阅的主题进行消费。
2.消息
消息是kafka通信的基本单位
有一个固定的消息头和可变的消息结构组成
每一条消息成为message,或者record
3.分区和副本
每个主题下分为一个或多个分区(partition)
每个分区由一系列有序的消息组成。
每个分区物理上对应一个文件夹。
分区命令规则:topic名称-分区编号,从0开始。
每个分区有一个或者多个副本,分布在集群的不同代理上。提高高可用行
分区副本与log日志一一对应。