• kafka的ACK


      在谈及到Kafka的ACK之前我们要向讲一下Kafka的复制机制,为了保证Kafka的高性能,设计了分区,一个topic的分区是的数据可以分散,然后可以让更多的消费者来进行消费;避免单一分区,只能由一个消费者消费,造成串行处理,多分区本质还是实现了并行消费的机制;其实但凡是分片,很大程度上都是为了实现并行处理,比如Hdfs的Hive查询,Spark以及ES,他们的使用的底层存储技术无一不是分片保存;可以将操作下放到每个分片,然后再进行汇总,实现了增加了的数据处理的吞吐。

      谈完了高性能,我们再来谈高可用;分区确实可以实现并发处理进而提供处理效率,那么如果分区所在的盘挂了呢?于是Kafka引入了复制,注意,复制是分区级别的事情。为了防止硬盘的挂掉导致的请求异常,Kafka引入了复制机制,角色有两个:master,follower。master挂了之后,就需要通过选主操作(依赖zookeeper)选择出舵主。

      那么到此我们再来说一下Kafka的ACK:

      0:没有任何机制,producer将消息发出之后不再关心;

      1:只有broker确认master数据已经写成功了,才会返回1给producer端;

      2:只有所有的follower返回OK可,才返回。

  • 相关阅读:
    【转】Intellij IDEA常用配置详解
    scala(一)
    scala(三)
    Scrapy学习篇(六)之Selector选择器
    Scrapy学习篇(五)之Spiders
    Scrapy学习篇(四)之数据存储
    Scrapy学习篇(三)之创建项目
    Scrapy学习篇(二)之常用命令行工具
    Scrapy学习篇(一)之框架
    git实现github仓库和本地仓库同步
  • 原文地址:https://www.cnblogs.com/xiashiwendao/p/10928080.html
Copyright © 2020-2023  润新知