第一讲：概念、ZK的存储结构、Producer、Consumers流程、Kafka Broker的启动（额外）
从客户端使用角度来讲。
第二讲：从设计原理角度来讲。
Kafka属于Apache组织，是一个高性能跨语言分布式发布订阅消息队列系统[7]。它的主要特点有：
- 以时间复杂度O(1)的方式提供消息持久化能力，并对大数据量能保证常数时间的访问性能；
- 高吞吐率，单台服务器可以达到每秒几十万的吞吐速率；
- 支持服务器间的消息分区，支持分布式消费，同时保证了每个分区内的消息顺序；
- 轻量级，支持实时数据处理和离线数据处理两种方式。
1 Broker
Kafka是一个高吞吐量分布式消息系统，采用Scala和Java语言编写，它提供了快速、可扩展的、分布式、分区的和可复制的日志订阅服务。它由Producer、Broker、Consumer三部分构成，如图所示。
- Producer向某个Topic发布消息，
- 而Consumer订阅某个Topic的消息。
- 一旦有某个Topic新产生的消息，Broker会传递给订阅它的所有Consumer。
- ，每个Topic分为多个分区，这样的设计有利于管理数据和负载均衡。
- Broker：消息中间件处理结点，一个Kafka节点就是一个broker，多个broker可以组成一个Kafka集群。
- Controller：中央控制器Control，负责管理分区和副本状态并执行管理着这些分区的重新分配。（里面涉及到partition leader 选举）
- ISR：同步副本组
2 Topic
在Kafka中，消息是按Topic组织的.
- Partition:topic物理上的分组，一个topic可以分为多个partition，每个partition是一个有序的队列。
- Segment：partition物理上由多个segment组成
- offset：每个partition都由一系列有序的、不可变的消息组成，这些消息被连续的追加到partition中。partition中的每个消息都有一个连续的序列号叫做offset,用于partition唯一标识一条消息.
2.1 topic中partition存储分布
在Kafka文件存储中，同一个topic下有多个不同partition，每个partition为一个目录，partiton命名规则为topic名称+有序序号，第一个partiton序号从0开始，序号最大值为partitions数量减1。
├── data0
│ ├── cleaner-offset-checkpoint
│ ├── client_mblogduration-35
│ │ ├── 00000000000004909731.index
│ │ ├── 00000000000004909731.log // 1G文件--Segment
│ │ ├── 00000000000005048975.index // 数字是Offset
│ │ ├── 00000000000005048975.log
│ ├── client_mblogduration-37
│ │ ├── 00000000000004955629.index
│ │ ├── 00000000000004955629.log
│ │ ├── 00000000000005098290.index
│ │ ├── 00000000000005098290.log
│ ├── __consumer_offsets-33
│ │ ├── 00000000000000105157.index
│ │ └── 00000000000000105157.log
│ ├── meta.properties
│ ├── recovery-point-offset-checkpoint
│ └── replication-offset-checkpoint
- cleaner-offset-checkpoint:存了每个log的最后清理offset
- meta.properties: broker.id 信息
- recovery-point-offset-checkpoint:表示已经刷写到磁盘的记录。recoveryPoint以下的数据都是已经刷到磁盘上的了。
- replication-offset-checkpoint: 用来存储每个replica的HighWatermark的(high watermark (HW)，表示已经被commited的message，HW以下的数据都是各个replicas间同步的，一致的。)
这些都是归于LogManager使用。
[huangqiang@yz4098 data1]$ cat cleaner-offset-checkpoint
0
0
[huangqiang@yz4098 data1]$ cat recovery-point-offset-checkpoint
0
2
__consumer_offsets 23 148062
client_mblogduration 1 6244035
[huangqiang@yz4098 data1]$ cat replication-offset-checkpoint
0
2
__consumer_offsets 23 148062
client_mblogduration 1 6244092
2.2 partiton中文件存储方式
- 每个partion(目录)由多个大小相等segment(段)数据文件中。但每个段segment file消息数量不一定相等，这种特性方便old segment file快速被删除。
- 每个partiton只需要支持顺序读写就行了，segment文件生命周期由服务端配置参数决定。
[huangqiang@yz4098 kafka]$ ll -ah data9/client_mblogduration-18/
-rw-rw-r-- 1 kafka kafka 607K Nov 21 22:33 00000000000005046268.index
-rw-rw-r-- 1 kafka kafka 1.0G Nov 21 22:33 00000000000005046268.log
-rw-rw-r-- 1 kafka kafka 590K Nov 22 12:26 00000000000005188203.index
-rw-rw-r-- 1 kafka kafka 1.0G Nov 22 12:26 00000000000005188203.log
2.3 partiton中segment文件存储结构
partion中segment file组成和物理结构。
- segment file组成：由2大部分组成，分别为index file和data file，此2个文件一一对应，成对出现，后缀".index"和“.log”分别表示为segment索引文件、数据文件.
- segment文件命名规则：partion全局的第一个segment从0开始，后续每个segment文件名为上一个segment文件最后一条消息的offset值。数值最大为64位long大小，19位数字字符长度，没有数字用0填充。
以一对segment file文件为例，说明segment中index<—->data file对应关系物理结构如下
- Index文件存储大量元数据，指向对应log文件中message的物理偏移地址。
- log数据文件存储大量消息
其中以Index文件中元数据3,497为例，依次在数据文件中表示第3个message(在全局partiton表示第368772个message)、以及该消息的物理偏移地址为497。
下面看看segment data file的内部
segment data file由许多message组成，下面详细说明message物理结构如下：
| 关键字 | 解释说明 |
|---|---|
| 8 byte offset | 该message在partition的offset |
| 4 byte message size | message大小 |
| 4 byte CRC32 | 用crc32校验message |
| 1 byte "magic" | 表示本次发布Kafka服务程序协议版本号 |
| 1 byte "attributes" | 表示为独立版本、或标识压缩类型、或编码类型。 |
| 4 byte key length | 表示key的长度,当key为-1时，K byte key字段不填 |
| K byte key | 可选 |
| value bytes payload | 表示实际消息数据。 |
2.4 在partition中如何通过offset查找message
例如读取offset=368776的message，需要通过下面2个步骤查找。
-
第一步查找segment file
- 上述图2为例，其中00000000000000000000.index表示最开始的文件，起始偏移量(offset)为0.第二个文件00000000000000368769.index的消息量起始偏移量为368770 = 368769 + 1.同样，第三个文件00000000000000737337.index的起始偏移量为737338=737337 + 1，其他后续文件依次类推，以起始偏移量命名并排序这些文件，只要根据offset 二分查找文件列表，就可以快速定位到具体文件。
当offset=368776时定位到00000000000000368769.index|log
- 上述图2为例，其中00000000000000000000.index表示最开始的文件，起始偏移量(offset)为0.第二个文件00000000000000368769.index的消息量起始偏移量为368770 = 368769 + 1.同样，第三个文件00000000000000737337.index的起始偏移量为737338=737337 + 1，其他后续文件依次类推，以起始偏移量命名并排序这些文件，只要根据offset 二分查找文件列表，就可以快速定位到具体文件。
-
第二步通过segment file查找message
- 通过第一步定位到segment file，当
offset=368776时，依次定位到00000000000000368769.index的元数据物理位置（这个较小，可以放在内存中，直接操作）和00000000000000368769.log的物理偏移地址，然后再通过00000000000000368769.log 顺序查找 直到offset=368776为止。
- 通过第一步定位到segment file，当
从上述图2.3节可知这样做的优点，segment index file采取稀疏索引存储方式，它减少索引文件大小，通过map可以直接内存操作，稀疏索引为数据文件的每个对应message设置一个元数据指针,它比稠密索引节省了更多的存储空间，但查找起来需要消耗更多的时间。
2.5 读写message总结
写message
- 消息从java堆转入page cache(即物理内存)。
- 由异步线程刷盘,消息从page cache刷入磁盘。
读message
- 消息直接从page cache转入socket发送出去。
- 当从page cache没有找到相应数据时，此时会产生磁盘IO,从磁
盘Load消息到page cache,然后直接从socket发出去
Kafka高效文件存储设计特点
- topic中一个parition大文件分成多个小文件段，通过多个小文件段，就容易定期清除或删除已经消费完文件，减少磁盘占用。
- 通过索引信息可以快速定位message和确定response的最大大小。
- 通过index元数据全部映射到memory，可以避免segment file的IO磁盘操作。
- 通过索引文件稀疏存储，可以大幅降低index文件元数据占用空间大小。
3 Producer
- 同步、异步
4 Consumer
- Partition
- ConsumerGroup和Consumer
- Coordinator