• 面试知识点总结之RabbitMQ/Kafka使用场景


    RabbitMQ消息丢失的情况

    provider->Rabbitmq->consumer

    1. 消息在传送过程中丢失 方案①开启RabbitMQ事务(同步,不推荐) ②开启Confim模式(异步,推荐)

    2. Rabbitmq收到消息,暂存内存中,还没消费,自己挂掉了,内存中的数据丢失 方案:开启RabbitMQ持久化

    3. 消费者消费到了这个消息,但还没来得及处理就挂了,Rabbitmq以为消息已经被处理了 方案:关闭RabbitMQ自动ACK

    kafka消息丢失和重复消费  2两面分析

    一、发送方式:kafka消息发送有两种方式:同步和异步 默认时同步方式。可通过 producer.type 属性来配置消息发送方式

    1. 确认消息生产 可通过 request.required.acks属性来配置,其中

      ①0 不进行消息接受是否成功的确认

      ②1 当leader接受成功时确认

      ③-1 当leader和Fllower都接收成功时确认

    2. 丢失场景

      ①acks = 0 时,不和kafka集群进行消息接收确认,则当网络异常或缓存区满了等情况,消息可能丢失

      ②acks = 1 时,同步模式下,只有leader确认接收成功后但挂掉了,副本没有同步,消息可能丢失

    二、消息消费:kafka消息消费有2个consumer接口:Low-level API 和 High-level API

      ①Low-level API:消费者自己维护 offset 等值,可以实现对kafka的完全控制;

      ②High-level API:封装了对 partition 和 offset的管理,使用简单

    如果使用高级接口 High-level API 可能存在一个问题就是当消息消费者从集群中把消息取出来,并提交了新的消息 offset 值后,还没来得及消费就挂掉了,那么下次再消费时之前没消费成功的消息就’诡异‘消失了;

    解决方案:

    1. 对于消息丢失:同步模式下,确认机制设置为 -1 ,即让消息写入leader 和follower之后再确认消息发送成功;异步模式下,为防止缓冲区满,可以再配置文件设置不限制阻塞

    2. 针对消息重复:将消息的唯一标识保存到外部介质中,再次消费时判断是否处理过即可。

    使用场景

    优点:解耦、、异步、削峰

    使用MQ作解耦:一个模块,调用了多个模块,互相之间的调用很复杂,维护起来很麻烦,但其实这个调用是不需要直接同步调用接口的。

    // TODO

  • 相关阅读:
    redis下载安装及php配置redis
    php--小数点问题
    php--0与空的判断
    php--判断是否是手机端
    php--ip的处理
    mysql--sql_mode报错整理
    mysql-建表、添加字段、修改字段、添加索引SQL语句写法
    Python-多任务复制文件夹
    Python学习笔记(十一)——赋值、深拷贝与浅拷贝
    Python学习笔记(十)—JSON格式的处理
  • 原文地址:https://www.cnblogs.com/cgy-home/p/14526469.html
Copyright © 2020-2023  润新知