• RabbitMQ消息可靠性投递


    一般的消息中间件(MQ)只能保证消息不丢,但是不能保证重复发送等问题。

    比如在使用Rabbitmq过程中,如何保证消息都能正确的投递被消费,这个是要考虑的问题。

    那么可靠性投递所面临的问题有哪些?

      1. 如果发送的消息重复怎么办。

      2. 如果消息发送过程中丢了怎么办。

      3. 如何保证MQ节点成功收到消息。

      针对这个问题RabbitMQ提供了以下几个机制来解决:

    1. 生产者确认
    2. 持久化
    3. 手动Ack

      下图是Rabbitmq一个完整的消息可靠投递的一个方案。

      

      我们来分析下。

       Step1:Producer所发送的数据是我们的业务数据,比如订单信息。Producer在发送消息之前给我们的订单信息写入我们的本地数据库(BIZ DB)中,BIZ DB是我们的业务数据库,接着将要发送到消息存储到消息记录数据库中(MSG DB),这个MSG DB就是存储所有发送给Rabbitmq的消息记录用的,写入消息记录表中该记录字段status(状态)会有几个值,比如0表示消息发送中,1表示发送成功,2表示消息发送失败,。

      Step2:应用程序要消息发送给Rabbitmq的Broker,这个发送的消息属于confirm模式,发送后需要Rabbitmq确认。

      Step3:Rabbitmq Broker收到消息后会给Producer一个应答来确认信息,说我已经收到消息了。

      Step4:紧跟上一步,Producer一直在监听(Listener)Broker所确认的信息,在收到消息之后,根据收到消息的结果再去更新MSG DB中的消息发送状态,将记录status字段更新为1。

      Step 5:但是在消息确认这个过程中可能由于网络闪断、MQ Broker端异常等原因导致 回送消息失败或者异常。这个时候就需要发送方(生产者)对消息进行可靠性投递了,保障消息不丢失,100%的投递成功!(有一种极限情况是闪断,Broker返回的成功确认消息,但是生产端由于网络闪断没收到,这个时候重新投递可能会造成消息重复,需要消费端去做幂等处理)所以我们需要有一个定时任务,(比如每5分钟拉取一下处于中间状态的消息,当然这个消息可以设置一个超时时间,比如超过1分钟 Status = 0 ,也就说明了1分钟这个时间窗口内,我们的消息没有被确认,那么会被定时任务拉取出来)。

    • Step 5:但是在消息确认这个过程中可能由于网络闪断、MQ Broker端异常等原因导致 回送消息失败或者异常。这个时候就需要发送方(生产者)对消息进行可靠性投递了,保障消息不丢失,100%的投递成功!(有一种极限情况是闪断,Broker返回的成功确认消息,但是生产端由于网络闪断没收到,这个时候重新投递可能会造成消息重复,需要消费端去做幂等处理)所以我们需要有一个定时任务,(比如每5分钟拉取一下处于中间状态的消息,当然这个消息可以设置一个超时时间,比如超过1分钟 Status = 0 ,也就说明了1分钟这个时间窗口内,我们的消息没有被确认,那么会被定时任务拉取出来)

    • Step 6:接下来我们把中间状态的消息进行重新投递 retry send,继续发送消息到MQ ,当然也可能有多种原因导致发送失败

    • Step 7:我们可以采用设置最大努力尝试次数,比如投递了3次,还是失败,那么我们可以将最终状态设置为Status = 2 ,最后 交由人工解决处理此类问题(或者把消息转储到失败表中)。


    作者:阿神
    链接:https://www.imooc.com/article/49814
    来源:慕课网
    本文原创发布于慕课网 ,转载请注明出处,谢谢合作

       Step 6:接下来我们把中间状态的消息进行重新投递 retry send,继续发送消息到MQ ,当然也可能有多种原因导致发送失败。

  • 相关阅读:
    FICOON
    Mezzanine
    BIOS
    基于ftp的自动传输脚本
    主机存活检测、端口检测
    基于ssh的服务器基础信息搜集
    Spring Boot aop使用指南
    Java动态代理
    Spring中的声明式事务管理
    Spring Boot注解使用指南
  • 原文地址:https://www.cnblogs.com/songgj/p/10941745.html
Copyright © 2020-2023  润新知