• RabbitMQ 消息确认与公平调度消费者


    一、消息确认

    为了确保消息一定被消费者处理,rabbitMQ提供了消息确认功能,就是在消费者处理完任务之后,就给服务器一个回馈,服务器就会将该消息删除,如果消费者超时不回馈,那么服务器将就将该消息重新发送给其他消费者

    默认是开启的,在消费者端通过下面的方式开启消息确认,  首先将autoAck自动确认关闭,等我们的任务执行完成之后,手动的去确认,类似JDBC的autocommit一样

    QueueingConsumer consumer = new QueueingConsumer(channel);
    boolean autoAck = false;
    channel.basicConsume("hello", autoAck, consumer);

    在前面的例子中使用的是channel.basicConsume(channelName, true, consumer) ; 在接收到消息后,就会自动反馈一个消息给服务器。

    下面这个例子来测试消息确认的功能。

    Sender03.Java

    [java] view plain copy
     
    1. package com.zf.rabbitmq03;  
    2.   
    3. import java.io.IOException;  
    4.   
    5. import com.rabbitmq.client.Channel;  
    6. import com.rabbitmq.client.Connection;  
    7. import com.rabbitmq.client.ConnectionFactory;  
    8.   
    9. /** 
    10.  * 发送消息 
    11.  * @author zhoufeng 
    12.  * 
    13.  */  
    14. public class Sender03 {  
    15.       
    16.     public static void main(String[] args) throws IOException {  
    17.           
    18.           
    19.         ConnectionFactory connFac = new ConnectionFactory() ;  
    20.           
    21.         //RabbitMQ-Server安装在本机,所以直接用127.0.0.1  
    22.         connFac.setHost("127.0.0.1");  
    23.           
    24.         //创建一个连接  
    25.         Connection conn = connFac.newConnection() ;  
    26.           
    27.         //创建一个渠道  
    28.         Channel channel = conn.createChannel() ;  
    29.           
    30.         //定义Queue名称  
    31.         String queueName = "queue01" ;  
    32.           
    33.         //为channel定义queue的属性,queueName为Queue名称  
    34.         channel.queueDeclare( queueName , false, false, false, null) ;  
    35.           
    36.         String msg = "Hello World!";  
    37.           
    38.         //发送消息  
    39.         channel.basicPublish("", queueName , null , msg.getBytes());  
    40.           
    41.         System.out.println("send message[" + msg + "] to "+ queueName +" success!");  
    42.           
    43.         channel.close();   
    44.         conn.close();   
    45.           
    46.     }  
    47.   
    48. }  



    与Sender01.java一样,没有什么区别。

    Recv03.java

    [java] view plain copy
     
    1. package com.zf.rabbitmq03;  
    2.   
    3. import java.io.IOException;  
    4.   
    5. import com.rabbitmq.client.Channel;  
    6. import com.rabbitmq.client.Connection;  
    7. import com.rabbitmq.client.ConnectionFactory;  
    8. import com.rabbitmq.client.ConsumerCancelledException;  
    9. import com.rabbitmq.client.QueueingConsumer;  
    10. import com.rabbitmq.client.QueueingConsumer.Delivery;  
    11. import com.rabbitmq.client.ShutdownSignalException;  
    12.   
    13. /** 
    14.  * 接收消息 
    15.  * @author zhoufeng 
    16.  * 
    17.  */  
    18. public class Recv03 {  
    19.   
    20.     public static void main(String[] args) throws IOException, ShutdownSignalException, ConsumerCancelledException, InterruptedException {  
    21.           
    22.         ConnectionFactory connFac = new ConnectionFactory() ;  
    23.           
    24.         connFac.setHost("127.0.0.1");  
    25.           
    26.         Connection conn = connFac.newConnection() ;  
    27.           
    28.         Channel channel = conn.createChannel() ;  
    29.           
    30.         String channelName = "channel01";  
    31.           
    32.         channel.queueDeclare(channelName, false, false, false, null) ;  
    33.           
    34.           
    35.         //配置好获取消息的方式  
    36.         QueueingConsumer consumer = new QueueingConsumer(channel) ;  
    37.           
    38.   
    39.         //取消 autoAck  
    40.         boolean autoAck = false ;  
    41.           
    42.         channel.basicConsume(channelName, autoAck, consumer) ;  
    43.           
    44.         //循环获取消息  
    45.         while(true){  
    46.               
    47.             //获取消息,如果没有消息,这一步将会一直阻塞  
    48.             Delivery delivery = consumer.nextDelivery() ;  
    49.               
    50.             String msg = new String(delivery.getBody()) ;    
    51.               
    52.             //确认消息,已经收到  
    53.             channel.basicAck(delivery.getEnvelope().getDeliveryTag()  
    54.                     , false);  
    55.               
    56.             System.out.println("received message[" + msg + "] from " + channelName);  
    57.         }  
    58.           
    59.     }  
    60.       
    61. }  

    注意:一旦将autoAck关闭之后,一定要记得处理完消息之后,向服务器确认消息。否则服务器将会一直转发该消息

    如果将上面的channel.basicAck(delivery.getEnvelope().getDeliveryTag(), false);注释掉, Sender03.java只需要运行一次 , Recv03.java每次运行将都会收到HelloWorld消息

    注意:

    但是这样还是不够的,如果rabbitMQ-Server突然挂掉了,那么还没有被读取的消息还是会丢失 ,所以我们可以让消息持久化。 只需要在定义Queue时,设置持久化消息就可以了,方法如下:

    boolean durable = true;
    channel.queueDeclare(channelName, durable, false, false, null);

    这样设置之后,服务器收到消息后就会立刻将消息写入到硬盘,就可以防止突然服务器挂掉,而引起的数据丢失了。  但是服务器如果刚收到消息,还没来得及写入到硬盘,就挂掉了,这样还是无法避免消息的丢失。

     

    二、公平调度

    上一个例子能够实现发送一个Message与接收一个Message

    从上一个Recv01中可以看出,必须处理完一个消息,才会去接收下一个消息。如果生产者众多,那么一个消费者肯定是忙不过来的。此时就可以用多个消费者来对同一个Channel的消息进行处理,并且要公平的分配任务给多个消费者。不能部分很忙  部分总是空闲

    实现公平调度的方式就是让每个消费者在同一时刻会分配一个任务。 通过channel.basicQos(1);可以设置

  • 相关阅读:
    跑mmaction代码遇到的问题:KeyError: 'xxxDataset is not in the dataset registry' when test #3751
    内存 显存 缓存
    fvcore计算模型参数量和计算量
    深度学习中模型参数量和计算量的理解与计算
    linux安装tmux
    findDecoder imread_(...) can't open/read file: check file path/integrity
    self._traceback = tf_stack.extract_stack()
    VRChat制作世界需要的unity包
    onnxruntime、cuda、cudnn、显卡驱动
    耗时统计
  • 原文地址:https://www.cnblogs.com/liuchuanfeng/p/6820348.html
Copyright © 2020-2023  润新知