RabbitMQ
消息队列:
消息(Message)是指在应用间传送的数据。消息可以非常简单,比如只包含文本字符串,也可以更复杂,可能包含嵌入对象。
消息队列(Message Queue)是一种应用间的通信方式,消息发送后可以立即返回,由消息系统来确保消息的可靠传递。消息发布者只管把消息发布到 MQ 中而不用管谁来取,消息使用者只管从 MQ 中取消息而不管是谁发布的。这样发布者和使用者都不用知道对方的存在。
为何用消息队列:
从上面的描述中可以看出消息队列是一种应用间的异步协作机制,那什么时候需要使用 MQ 呢?
以常见的订单系统为例,用户点击【下单】按钮之后的业务逻辑可能包括:扣减库存、生成相应单据、发红包、发短信通知。在业务发展初期这些逻辑可能放在一起同步执行,随着业务的发展订单量增长,需要提升系统服务的性能,这时可以将一些不需要立即生效的操作拆分出来异步执行,比如发放红包、发短信通知等。这种场景下就可以用 MQ ,在下单的主流程(比如扣减库存、生成相应单据)完成之后发送一条消息到 MQ 让主流程快速完结,而由另外的单独线程拉取MQ的消息(或者由 MQ 推送消息),当发现 MQ 中有发红包或发短信之类的消息时,执行相应的业务逻辑。
RabbitMQ
RabbitMQ 是一个由 Erlang 语言开发的 AMQP 的开源实现。
rabbitMQ是一款基于AMQP协议的消息中间件,它能够在应用之间提供可靠的消息传输。在易用性,扩展性,高可用性上表现优秀。使用消息中间件利于应用之间的解耦,生产者(客户端)无需知道消费者(服务端)的存在。而且两端可以使用不同的语言编写,大大提供了灵活性。
安装教程请参考:
ERLANG和rabbitmq安装教程:
https://blog.csdn.net/weixin_39735923/article/details/79288578?tdsourcetag=s_pctim_aiomsg
1.RabbitMQ 之简单模式
1.1最简单的示例:
customer:
import pika # 1 连接rabbitmq connection = pika.BlockingConnection(pika.ConnectionParameters('localhost')) channel = connection.channel() # 2 创建队列 channel.queue_declare(queue='hello') # 3.定义一个毁掉函数 def callback(ch,method,properties,body): print('客户端收到了%s'%body ) # 确定监听事件 channel.basic_consume(callback, queue='hello', no_ack=True, #此处代表不接受返回值 ) # 开始监听 channel.start_consuming()
producer:
import pika # 1.链接rabbitmq connection = pika.BlockingConnection(pika.ConnectionParameters('localhost')) channel= connection.channel() # 2.创建队列 channel.queue_declare(queue='hello') # 3.填值 channel.basic_publish( exchange='',# exchange=''说明为简单模式 routing_key='hello', #关联的队列名 body='hello,mixtea', #往队列内填入的内容 ) # 4 关闭连接 connection.close()
1.2 在调用 basic_consume 时一些参数的使用方法.
(1)no-ack = False(主要预防消费端(处理端)出现问题导致数据丢失),如果消费者遇到情况(its channel is closed, connection is closed, or TCP connection is lost)挂掉了,那么,RabbitMQ会重新将该任务添加到队列中。
- 回调函数中的
ch.basic_ack(delivery_tag=method.delivery_tag)
- basic_comsume中的
no_ack=False
customer:
import pika # 1 连接rabbitmq connection = pika.BlockingConnection(pika.ConnectionParameters('localhost')) channel = connection.channel() # 2 创建队列 channel.queue_declare(queue='hello') # 3.定义一个毁掉函数(第二回重启时记得删掉mixtea,代表修复bug,再看看消息是否有丢失) def callback(ch,method,properties,body): mixtea print('客户端收到了%s'%body ) # 应答 ch.basic_ack(delivery_tag=method.delivery_tag) # 确定监听事件 channel.basic_consume(callback, queue='hello', no_ack=False, #no_ack=False此处代表接受返回值 ) # 开始监听 channel.start_consuming()
producer:和上面简单例子代码一致
(2) durable :消息不丢失,数据持久化,rabbitmq会将部分数据保存到磁盘上(主要防止rabbitmq服务器出现宕机)
测试方法:先关闭customer,开启producer发送数据,此时数据发送到rabbitmq中,关闭rabbitmq,造成宕机现象,而后重启,并且运行customer端接收数据.
可在未做持久化操作前后各尝试一次,看差异
producer:
import pika # 1.链接rabbitmq connection = pika.BlockingConnection(pika.ConnectionParameters('localhost')) channel= connection.channel() # 2.创建队列 # channel.queue_declare(queue='hello') channel.queue_declare(queue='hello2', durable=True) # 3.填值 channel.basic_publish( exchange='',# exchange=''说明为简单模式 routing_key='hello2', #关联的队列名 body='hello,mixtea', #往队列内填入的内容 properties=pika.BasicProperties( delivery_mode=2, # make message persistent 持久化数据 ) ) # 4 关闭连接 connection.close()
customer:
import pika # 1 连接rabbitmq connection = pika.BlockingConnection(pika.ConnectionParameters('localhost')) channel = connection.channel() # 2 创建队列 # channel.queue_declare(queue='hello') channel.queue_declare(queue='hello2', durable=True) #现有的队列不能修改成可持续化队列,需重新创建队列 # 3.定义一个毁掉函数(第二回重启时记得删掉mixtea,代表修复bug,再看看消息是否有丢失) def callback(ch,method,properties,body): print('客户端收到了%s'%body ) # 应答 ch.basic_ack(delivery_tag=method.delivery_tag) # 确定监听事件 channel.basic_consume(callback, queue='hello2', no_ack=False, #no_ack=False此处代表接受返回值 ) # 开始监听 channel.start_consuming()
(3) 消息获取顺序
默认消息队列里的数据是按照顺序被消费者拿走,例如:消费者1 去队列中获取 奇数 序列的任务,消费者1去队列中获取 偶数 序列的任务。
channel.basic_qos(prefetch_count=1) 表示谁来谁取,不再按照奇偶数排列,平均分配
仅需要在客户端加一句代码即可:
import pika # 1 连接rabbitmq connection = pika.BlockingConnection(pika.ConnectionParameters('localhost')) channel = connection.channel() # 2 创建队列 # channel.queue_declare(queue='hello') channel.queue_declare(queue='hello2', durable=True) #现有的队列不能修改成可持续化队列,需重新创建队列 # 3.定义一个毁掉函数(第二回重启时记得删掉mixtea,代表修复bug,再看看消息是否有丢失) def callback(ch,method,properties,body): print('客户端收到了%s'%body ) # 应答 ch.basic_ack(delivery_tag=method.delivery_tag) # 确定监听事件 channel.basic_consume(callback, queue='hello2', no_ack=False, #no_ack=False此处代表接受返回值 ) # 分配方式 channel.basic_qos(prefetch_count=1) # 开始监听 channel.start_consuming()
2.RabbitMQ 之exchange模式
2.1 发布订阅 exchange type = fanout
发布订阅和简单的消息队列区别在于,发布订阅会将消息发送给所有的订阅者,而消息队列中的数据被消费一次便消失。所以,RabbitMQ实现发布和订阅时,会为每一个订阅者创建一个队列,而发布者发布消息时,会将消息放置在所有相关队列中。
大致流程如图:
代码如下:
生产者:
import pika # 1.链接rabbitmq connection = pika.BlockingConnection(pika.ConnectionParameters('localhost')) channel= connection.channel() # 2.声明一个交换机 channel.exchange_declare(exchange='logs',exchange_type="fanout") #exchange_type="fanout" 代表为订阅模式 #exchange='logs' logs为交换机名字,是变量可自己设定 # 3.填值 message ="Hello World&Mixtea!" channel.basic_publish( exchange='logs',# exchange=''说明为简单模式 routing_key='', #关联的队列名 body = message, #往队列内填入的内容 ) # 4 关闭连接 connection.close()
消费者:
import pika # 1 连接rabbitmq connection = pika.BlockingConnection(pika.ConnectionParameters('localhost')) channel = connection.channel() # 2.声明交换机 channel.exchange_declare(exchange='logs',exchange_type='fanout') #3.创建随机队列名 result = channel.queue_declare(exclusive=True) queue_name = result.method.queue # 4.为队列绑定交换机 channel.queue_bind(exchange='logs', queue=queue_name) # 4.回调函数 def callback(ch,method,properties,body): print('客户端收到了%s'%body ) # 确定监听事件 channel.basic_consume(callback, queue=queue_name, #no_ack=False此处代表不接受返回值 no_ack=True) # 开始监听 channel.start_consuming()
2.2 关键字发送
发送消息时明确指定某个队列并向其中发送消息,RabbitMQ还支持根据关键字发送,即:队列绑定关键字,发送者将数据根据关键字发送到消息exchange,exchange根据 关键字 判定应该将数据发送至指定队列。
其过程如下图
详细代码如下:
生产者:
import pika # 1.链接rabbitmq connection = pika.BlockingConnection(pika.ConnectionParameters('localhost')) channel= connection.channel() # 2.声明一个交换机 channel.exchange_declare(exchange='direct_logs',exchange_type="direct") #exchange_type="direct" 代表为关键字模式 #exchange='direct_logs' logs为交换机名字,是变量可自己设定 # 3.填值 message ="Hello World&Mixtea!" channel.basic_publish( exchange='direct_logs', routing_key='info', #说明此次发送的数值类型 body = message, #往队列内填入的内容 ) # 4 关闭连接 connection.close()
消费者:
import pika # 1 连接rabbitmq connection = pika.BlockingConnection(pika.ConnectionParameters('localhost')) channel = connection.channel() # 2.声明交换机 channel.exchange_declare(exchange='direct_logs',exchange_type='direct') #3.创建随机队列名 result = channel.queue_declare(exclusive=True) queue_name = result.method.queue # 4.为队列绑定交换机 channel.queue_bind(exchange='direct_logs', queue=queue_name, routing_key='info', #在绑定交换机的同时绑定获取值的类型 ) # 4.回调函数 def callback(ch,method,properties,body): print('客户端收到了%s'%body ) # 确定监听事件 channel.basic_consume(callback, queue=queue_name, #no_ack=False此处代表不接受返回值 no_ack=True, ) # 开始监听 channel.start_consuming()
2.3 模糊匹配
exchange type = topic 发送者路由值 队列中 old.boy.python old.* -- 不匹配 old.boy.python old.# -- 匹配
在topic类型下,可以让队列绑定几个模糊的关键字,之后发送者将数据发送到exchange,exchange将传入”路由值“和 ”关键字“进行匹配,匹配成功,则将数据发送到指定队列。
- # 表示可以匹配 0 个 或 多个 单词
- * 表示只能匹配 一个 单词
使用方法和关键字查询几乎一样,只需要在
routing_key="*.apple.#" 中的值改为模糊查询的样式即可(不常用)