保证数据的可靠性、数据的传递语义、幂等性、事务
生产者-数据的可靠性
ACKS
-
0: 生产者发送过来的数据，不需要等数据落盘应答。
-
1: 生产者发送过来的数据，Leader收到数据后应答。
应答完成后，还没开始同 步副本，Leader挂了，新的Leader不会 收到Hello的信息， 因为生产者已经 认为发送成功了
- -1(all): 生产者发送过来的数据，Leader+和isr队列 里面的所有节点收齐数据后应答。-1和all等价。
数据完全可靠条件 = ACK级别设置为-1 + 分区副本大于等于2 + ISR里应答的最小副本数量大于等于2
可靠性总结:
acks=0，生产者发送过来数据就不管了，可靠性差，效率高;
acks=1，生产者发送过来数据Leader应答，可靠性中等，效率中等;
acks=-1，生产者发送过来数据Leader和ISR队列里面所有Follwer应答，可靠性高，效率低;
生产环境使用场景：
在生产环境中，acks=0很少使用;acks=1，一般用于传输普通日志，允许丢个别数据;acks=-1，一般用于传输和钱相关的数据， 对可靠性要求比较高的场景。
那么ACKS 为-1 会存在什么问题？
leader 没有同步完成挂掉了，新的leader 确包含消息，而生产者却重新发送消息，就会导致消息的重复。
生产者-数据的传递性语义：
- 至少一次(AtLeastOnce) : At Least Once可以保证数据不丢失，但是不能保证数据不重复
ACK级别设置为-1+分区副本大于等于2+ISR里应答的最小副本数量大于等于2
- 最多一次(AtMostOnce)： At Most Once可以保证数据不重复，但是不能保证数据不丢失。
ACK级别设置为0
-
精确一次(Exactly Once):
对于一些非常重要的信息，比如和钱相关的数据，要求数据既不能重复也不丢失。 Kafka 0.11版本以后，引入了一项重大特性:幂等性和事务。
生产者-幂等性：
幂等性就是指Producer不论向Broker发送多少次重复数据，Broker端都只会持久化一条，保证了不重复。
精确一次(Exactly Once) = 幂等性 + 至少一次( ack=-1 + 分区副本数>=2 + ISR最小副本数量>=2) 。
重复数据的判断标准:
具有<PID, Partition, SeqNumber>相同主键的消息提交时，Broker只会持久化一条。
- PID是Kafka每次重启都会分配一个新的;
- Partition 表示分区号;
- Sequence Number是单调自增的。
所以幂等性只能保证的是在单分区单会话内不重复。
开启幂等性：
开启参数 enable.idempotence 默认为 true，false 关闭。
生产者-事务：
幂等性只保证单分区，单会话才会不丢失数据，一旦kafka重启，还会有数据同步问题。
生产者-数据有序性
单分区内，数据有序
解决乱序问题：
1）kafka在1.x版本之前保证数据单分区有序，条件如下: max.in.flight.requests.per.connection=1（设置缓存的个数）(不需要考虑是否开启幂等性)。
2）kafka在1.x及以后版本保证数据单分区有序，条件如下:
(1)未开启幂等性max.in.flight.requests.per.connection需要设置为1。
(2)开启幂等性max.in.flight.requests.per.connection需要设置小于等于5。
原因说明:因为在kafka1.x以后，启用幂等后，kafka服务端会缓存producer发来的最近5个request的元数据， 故无论如何，都可以保证最近5个request的数据都是有序的。