安装Pika Python客户端:
pip3 install pika
一、单发送单接收
https://www.rabbitmq.com/tutorials/tutorial-one-python.html
在下图中,"P"是我们的生产者,"C"是我们的消费者;中间的框是一个队列。
生产者send.py:
P发送消息给"秒杀"队列,C消费者从队列中获取消息,默认轮询方式。
import pika # 创建凭证,使用RabbitMQ用户密码登录(去邮局取邮件,必须得验证身份) credentials = pika.PlainCredentials("pd", "123456") # 新建连接(找到这个邮局,等于连接上服务器) connection = pika.BlockingConnection(pika.ConnectionParameters(host="localhost", port=5672, credentials=credentials)) # 创建频道(建造一个大邮箱,隶属于这家邮局的邮箱,就是个连接) channel = connection.channel() # 声明一个队列,用于接收消息,队列名字叫"秒杀" channel.queue_declare(queue="秒杀") # 注意在RabbitMQ中,消息想要发送给队列,必须经过交换(exchange),初学可以使用空字符串交换(exchange=""),它允许我们精确的指定发送给哪个队列(routing_key=""),参数body的值为发送的数据。 channel.basic_publish(exchange="", routing_key="秒杀", body="恭喜您抢到iPhone666") print("已经发送了消息") # 程序退出前,确保刷新网络缓冲以及消息发送给RabbitMQ,需要关闭本次连接 connection.close()
消费者receive.py:
可以同时存在多个接收者,等待接收队列的消息,默认是轮询方式分配消息。接收者receive.py,可以运行多次,即运行多个消费者。
import pika credentials = pika.PlainCredentials("pd", "123456") connection = pika.BlockingConnection(pika.ConnectionParameters(host="localhost", port=5672, credentials=credentials)) channel = connection.channel() channel.queue_declare(queue="秒杀") def callback(ch, method, properties, body): # 有消息来临,立即执行callback,没有消息则夯住,等待消息 print("消费者接收到了任务:%s" % body.decode("utf8")) # 果粉们开始去抢购iPhone,队列名字是"秒杀" channel.basic_consume(callback, queue="秒杀", no_ack=True) # 开始消费,接收消息 channel.start_consuming()
结果:
设置超时时间:
import pika credentials = pika.PlainCredentials("pd", "123456") connection = pika.BlockingConnection(pika.ConnectionParameters(host="localhost", port=5672, credentials=credentials)) # 超时时间(如果5秒内没有收到消息,将不会夯住等待消息,取消接收消息) connection.add_timeout(5, lambda: channel.stop_consuming()) channel = connection.channel() channel.queue_declare(queue="秒杀") def callback(ch, method, properties, body): # 有消息来临,立即执行callback,没有消息则夯住,等待消息 print("消费者接收到了任务:%s" % body.decode("utf8")) channel.basic_consume(callback, queue="秒杀", no_ack=True) channel.start_consuming()
二、单发送多接收
使用场景:一个发送端,多个接收端,如分布式的任务派发。为了保证消息发送的可靠性,不丢失消息,使消息持久化了。同时为了防止接收端在处理消息时down掉,只有在消息处理完成后才发送ack消息。
三、RabbitMQ消息确认之ack
默认情况下,生产者发送数据给队列,消费者取出消息后,数据将被清除。
特殊情况,如果消费者处理过程中,出现错误,数据处理没有完成,那么这段数据将从队列丢失。
no-ack机制
不确认机制
也就是说每次消费者接收到数据后,不管是否处理完毕,rabbitmq-server都会把这个消息标记完成,从队列中删除。
ack机制
确认机制用于保证消费者如果拿了队列的消息,客户端
处理时出错了,那么队列中仍然还存在这个消息,提供下一位消费者继续取。
代码示例
生产者无须变动,发送消息。
消费者如果no_ack=True,数据消费后如果出错就会丢失;反之no_ack=False,数据消费如果出错,数据也不会丢失。
生产者send.py:只负责发送数据即可,无须变动。
消费者reveive.py给与ack回复:
拿到消息必须给RabbitMQ服务端回复ack信息,否则消息不会被删除,防止客户端出错,数据丢失。
import pika credentials = pika.PlainCredentials("pd", "123456") connection = pika.BlockingConnection(pika.ConnectionParameters(host="localhost", port=5672, credentials=credentials)) channel = connection.channel() channel.queue_declare(queue="秒杀") def callback(ch, method, properties, body): print("消费者接收到了任务:%s" % body.decode("utf8")) # 模拟异常,没能给服务端回复ack信息,消息不丢失 print(xx) # 告诉服务端,我已经取走了消息,否则消息一直存在 ch.basic_ack(delivery_tag=method.delivery_tag) # 关闭no_ack,代表给与服务端ack回复(确认) channel.basic_consume(callback, queue="秒杀", no_ack=False) channel.start_consuming()
四、公平分发
默认消息队列里的数据是按照轮询被消费者拿走,例如:消费者1去队列中获取奇数序列的任务,消费者2去队列中获取偶数序列的任务。假如消费者1获取到任务,需要处理很久;下个任务就被消费者2获取到,一下子就处理完了;那么按照RabbitMQ默认设置,下个任务就应该分发给消费者1了,但是此时消费者1还是没处理完任务。RabbitMQ是不知道消费时1还没处理完任务的,既然轮到了消费者1,那RabbitMQ依然向消费者1发送消息。
为了避免这种情况,设置:
channel.basic_qos(prefetch_count=1)
生产者:
import pika credentials = pika.PlainCredentials("pd", "123456") connection = pika.BlockingConnection(pika.ConnectionParameters(host="localhost", port=5672, credentials=credentials)) channel = connection.channel() channel.queue_declare(queue="uu", durable=True) channel.basic_publish(exchange="", routing_key="uu", body="你在干什么?") connection.close()
消费者1:time.sleep(30)
import pika import time credentials = pika.PlainCredentials("pd", "123456") connection = pika.BlockingConnection(pika.ConnectionParameters(host="localhost", port=5672, credentials=credentials)) channel = connection.channel() channel.queue_declare(queue="uu", durable=True) def callback(ch, method, properties, body): print("消费者1接收到了任务:%s" % body.decode("utf8")) time.sleep(30) ch.basic_ack(delivery_tag=method.delivery_tag) channel.basic_qos(prefetch_count=1) channel.basic_consume(callback, queue="uu", no_ack=False) channel.start_consuming()
消费者2:
import pika credentials = pika.PlainCredentials("pd", "123456") connection = pika.BlockingConnection(pika.ConnectionParameters(host="localhost", port=5672, credentials=credentials)) channel = connection.channel() channel.queue_declare(queue="uu", durable=True) def callback(ch, method, properties, body): print("消费者2接收到了任务:%s" % body.decode("utf8")) ch.basic_ack(delivery_tag=method.delivery_tag) channel.basic_qos(prefetch_count=1) channel.basic_consume(callback, queue="uu", no_ack=False) channel.start_consuming()
五、消息持久化
1.执行生产者,向队列写入数据,产生一个新队列queue 2.重启服务端,队列丢失 3.开启生产者数据持久化后,重启服务端,队列不丢失 4.客户端依旧可以读取数据
消息的可靠性是RabbitMQ的一大特色,那么RabbitMQ是如何保证消息可靠性的呢——消息持久化。 为了保证RabbitMQ在退出或者crash等异常情况下数据没有丢失,需要将queue、exchange和Message都持久化。
生产者send.py
import pika credentials = pika.PlainCredentials("pd", "123456") connection = pika.BlockingConnection(pika.ConnectionParameters(host="localhost", port=5672, credentials=credentials)) channel = connection.channel() """ 声明一个队列(创建一个队列), 默认此队列不支持持久化,如果服务挂掉,数据丢失, 参数 durable=True 开启queue持久化,必须新开启一个队列,原本的队列已经不支持持久化了。 """ channel.queue_declare(queue="zz", durable=True) """ 实现RabbitMQ持久化条件 delivery_mode=2 """ channel.basic_publish(exchange="", routing_key="zz", body="吃饭了没?", # 支持数据持久化 properties=pika.BasicProperties( delivery_mode=2, # 代表消息是持久的 2 ) ) print("已经发送了消息") connection.close()
消费者receive.py
import pika credentials = pika.PlainCredentials("pd", "123456") connection = pika.BlockingConnection(pika.ConnectionParameters(host="localhost", port=5672, credentials=credentials)) channel = connection.channel() """ 声明一个队列(创建一个队列), 默认此队列不支持持久化,如果服务挂掉,数据丢失, 参数 durable=True 开启queue持久化,必须新开启一个队列,原本的队列已经不支持持久化了。 """ channel.queue_declare(queue="zz", durable=True) """ 实现RabbitMQ持久化条件 delivery_mode=2 """ channel.basic_publish(exchange="", routing_key="zz", body="吃饭了没?", # 支持数据持久化 properties=pika.BasicProperties( delivery_mode=2, # 代表消息是持久的 2 ) ) print("已经发送了消息") connection.close()
六、exchange模型
RabbitMQ发送消息首先是发给exchange,然后再通过exchange发送消息给队列(queue)。
exchange有四种模式:
fanout:
exchange将消息发送给和该exchange连接的所有queue;也就是所谓的广播模式;此模式下忽略routing_key。
direct:
路由模式,通过routing_key将消息发送给对应的queue;如下面这句即可设置exchange为direct模式,只有routing_key为"black"时才将其发送到队列queue_name;
channel.queue_bind(exchange=exchange_name, queue=queue_name, routing_key="black")
在上图中,Q1和Q2可以绑定同一个key,如绑定routing_key="KeySame",那么收到routing_key为KeySame的消息时将会同时发送给Q1和Q2,相当于广播模式。
topic:
topic模式类似于direct模式,只是其中的routing_key变成了一个有"."分隔的字符串,"."将字符串分割成几个单词,每个单词代表一个条件。
headers:
headers类型的exchange不依赖于routing key与binding key的匹配规则来路由消息,而是根据发送的消息内容中的headers属性进行匹配。
发布订阅
https://www.rabbitmq.com/tutorials/tutorial-three-python.html
exchange type = "fanout"
发布订阅和简单的消息队列区别在于,发布订阅会将消息发送给所有的订阅者,而消息队列中的数据被消费一次便消失。所以,RabbitMQ实现发布和订阅时,会为每一个订阅者创建一个队列,而发布者发布消息时,会将消息放置在所有相关队列中。
生产者(发布者):
import pika credentials = pika.PlainCredentials("pd", "123456") connection = pika.BlockingConnection(pika.ConnectionParameters(host="localhost", port=5672, credentials=credentials)) channel = connection.channel() # 指定exchange channel.exchange_declare(exchange="mm", exchange_type="fanout") channel.basic_publish(exchange="mm", routing_key="", # 这里不再指定队列,由exchange分配,如果是fanout模式,每一个队列放一份 body="你妈妈叫你回家吃饭了!", ) connection.close()
消费者(订阅者):
import pika credentials = pika.PlainCredentials("pd", "123456") connection = pika.BlockingConnection(pika.ConnectionParameters(host="localhost", port=5672, credentials=credentials)) channel = connection.channel() # exchange="mm",exchange(秘书)的名称 # exchange_type="fanout" , 秘书工作方式将消息发送给所有的队列 channel.exchange_declare(exchange="mm",exchange_type="fanout") # 随机生成一个队列,并且在关闭消费者连接后,删除这个队列 result = channel.queue_declare(exclusive=True) queue_name = result.method.queue # 让exchange和queue进行绑定 channel.queue_bind(exchange="mm", queue=queue_name) def callback(ch, method, properties, body): print("消费者接收到了任务:%s" % body.decode("utf8")) channel.basic_consume(callback, queue=queue_name, no_ack=True) channel.start_consuming()
操作示例:
1.运行订阅者(可以多个),相当于有多个滴滴司机,订阅同一个电台(队列),等待着消息到来 2.运行发布者,发送消息给Exchange 3.查看是否给所有的队列发送了消息
关键字发送
https://www.rabbitmq.com/tutorials/tutorial-four-python.html
exchange type = "direct"
之前事例,发送消息时明确指定某个队列并向其中发送消息,RabbitMQ还支持根据关键字发送,即:队列绑定关键字,发送者将数据根据关键字发送到消息exchange,exchange根据关键字判定应该将数据发送至指定队列。
生产者:
发送消息给匹配的路由,"小白"或者"小黑";如果routing_key为"小白",两个订阅者都可以收到消息,如果为"小黑",订阅者2无法收到消息。
import pika credentials = pika.PlainCredentials("pd", "123456") connection = pika.BlockingConnection(pika.ConnectionParameters(host="localhost", port=5672, credentials=credentials)) channel = connection.channel() # 路由模式的交换机会发送给绑定的key和routing_key匹配的队列 channel.exchange_declare(exchange="kk", exchange_type="direct") # 发送消息,给有关"小白"的路由关键字 channel.basic_publish(exchange="kk", routing_key="小黑", body="喜洋洋与灰太狼", ) connection.close()
消费者1:
路由关键字"小白"、"小黑"
import pika credentials = pika.PlainCredentials("pd", "123456") connection = pika.BlockingConnection(pika.ConnectionParameters(host="localhost", port=5672, credentials=credentials)) channel = connection.channel() channel.exchange_declare(exchange="kk", exchange_type="direct") # 随机生成一个队列,并且在关闭消费者连接后,删除这个队列 result = channel.queue_declare(exclusive=True) queue_name = result.method.queue # 让exchange和queue进行绑定 channel.queue_bind(exchange="kk", queue=queue_name, routing_key="小白") channel.queue_bind(exchange="kk", queue=queue_name, routing_key="小黑") def callback(ch, method, properties, body): print("消费者接收到了任务:%s" % body.decode("utf8")) channel.basic_consume(callback, queue=queue_name, no_ack=True) channel.start_consuming()
消费者2:
路由关键字"小白"
import pika credentials = pika.PlainCredentials("pd", "123456") connection = pika.BlockingConnection(pika.ConnectionParameters(host="localhost", port=5672, credentials=credentials)) channel = connection.channel() channel.exchange_declare(exchange="kk", exchange_type="direct") # 随机生成一个队列,并且在关闭消费者连接后,删除这个队列 result = channel.queue_declare(exclusive=True) queue_name = result.method.queue # 让exchange和queue进行绑定 channel.queue_bind(exchange="kk", queue=queue_name, routing_key="小白") def callback(ch, method, properties, body): print("消费者接收到了任务:%s" % body.decode("utf8")) channel.basic_consume(callback, queue=queue_name, no_ack=True) channel.start_consuming()
模糊匹配
https://www.rabbitmq.com/tutorials/tutorial-five-python.html
exchange type = "topic"
在topic类型下,可以让队列绑定几个模糊的关键字,之后发送者将数据发送到exchange,exchange将传入"路由值"和 "关键字"进行匹配,匹配成功,则将数据发送到指定队列。
* 表示只能匹配 1个 单词 # 表示可以匹配 0个 或 多个 单词
发送者路由值 队列中 i.love i.* 匹配 i.love i.# 匹配 i.love.you i.* 不匹配 i.love.you i.# 匹配 i.love.you *.love.* 匹配
生产者:
路由秘钥:i.love.you
import pika credentials = pika.PlainCredentials("pd", "123456") connection = pika.BlockingConnection(pika.ConnectionParameters(host="localhost", port=5672, credentials=credentials)) channel = connection.channel() channel.exchange_declare(exchange="topic_xx", exchange_type="topic") # 让exchange和queue进行绑定,并且指定这条消息的路由密钥 channel.basic_publish(exchange="topic_xx", routing_key="i.love.you", body="该写做作业了!") connection.close()
消费者1:
队列绑定秘钥:i.# 和 *.love.*
只要有一个能匹配到路由秘钥,就能接收到消息。
import pika credentials = pika.PlainCredentials("pd", "123456") connection = pika.BlockingConnection(pika.ConnectionParameters(host="localhost", port=5672, credentials=credentials)) channel = connection.channel() channel.exchange_declare(exchange="topic_xx", exchange_type="topic") result = channel.queue_declare(exclusive=True) queue_name = result.method.queue binding_keys = ["i.#", "*.love.*"] for binding_key in binding_keys: # 让exchange和queue进行绑定,并且指定queue绑定密钥 channel.queue_bind(exchange="topic_xx", queue=queue_name, routing_key=binding_key) def callback(ch, method, properties, body): print("消费者接收到了任务:%s" % body.decode("utf8")) print(method.routing_key) channel.basic_consume(callback, queue=queue_name, no_ack=True) channel.start_consuming()
消费者2:
队列绑定秘钥:i.*
无法匹配到路由秘钥,丢失消息。
import pika credentials = pika.PlainCredentials("pd", "123456") connection = pika.BlockingConnection(pika.ConnectionParameters(host="localhost", port=5672, credentials=credentials)) channel = connection.channel() channel.exchange_declare(exchange="topic_xx", exchange_type="topic") result = channel.queue_declare(exclusive=True) queue_name = result.method.queue # 让exchange和queue进行绑定,并且指定queue绑定密钥 channel.queue_bind(exchange="topic_xx", queue=queue_name, routing_key="i.*") def callback(ch, method, properties, body): print("消费者接收到了任务:%s" % body.decode("utf8")) print(method.routing_key) channel.basic_consume(callback, queue=queue_name, no_ack=True) channel.start_consuming()
七、RPC(远程过程调用)
将一个函数运行在远程计算机上并且等待获取那里的结果,这个称作远程过程调用(Remote Procedure Call)或者 RPC。RPC是一个计算机通信协议。
通俗理解RPC:
将计算机服务运行理解为厨师做饭,厨师想做苦瓜炒鸡蛋,则厨师需要:洗和切苦瓜、拌鸡蛋、炒等。他一个人完成所有的事,如同一台计算机做所有的事,效率低下。
RPC应用:
老板有钱了,请了专职员工,各司其职,不再是厨师一个人单打独斗,而是备菜师傅准备苦瓜、鸡蛋、调料,切菜师傅切苦瓜、拌鸡蛋,厨师只负责炒好即可。
制作苦瓜炒鸡蛋:
- 备菜师傅 -> 备好菜、调料
- 切菜师傅 -> 切好菜
- 厨师 -> 炒好菜
此时一件事好多人在做,厨师就得和其他人沟通,通知备菜、切菜师傅的这个动作就是远程过程调用(RPC)。
这个过程在计算机系统中,比如一个电商的下单过程,涉及物流、支付、库存、红包等多个系统,多个系统又在多个服务器上,由不同的技术团队负责,整个下单过程,需要所有团队进行远程调用。
下单:
- 库存 -> 减少库存
- 支付 -> 扣款
- 红包 -> 减免红包
- 物流 -> 生成订单
RPC到底是什么?
RPC指的是在计算机A上的进程,调用另外一台计算机B的进程,A上的进程被挂起,B上的被调用进程开始执行后,产生返回值给A,A继续执行。调用方可以通过参数将信息传递给被调用方,而后通过返回结果得到信息,这个过程对于开发人员来说是透明的。
如同厨师一样,服务员把菜单给后厨,厨师告诉洗菜人,备菜人,开始工作,完成工作后,整个过程对于服务员是透明的,他完全不用管后厨是怎么把菜做好的。
由于服务在不同的机器上,远程调用必经网络通信,调用服务必须写一坨网络通信代码,很容易出错且很复杂,因此就出现了RPC框架。
阿里巴巴 dubbo java 新浪 motan java 谷歌 grpc 多语言 Apache thrift 多语言
RPC封装了数据的序列化,反序列化,以及传输协议。
Python实现RPC
利用RabbitMQ构建一个RPC系统,包含了客户端和RPC服务器,依旧使用pika模块。
Callback queue 回调队列
一个客户端向服务器发送请求,服务器端处理请求后,将其处理结果保存在一个存储体中。而客户端为了获得处理结果,那么客户在向服务器发送请求时,同时发送一个回调队列地址reply_to。
Correlation id 关联标识
一个客户端可能会发送多个请求给服务器,当服务器处理完后,客户端无法辨别在回调队列中的响应具体和哪个请求是对应的。为了处理这种情况,客户端在发送每个请求时,同时会附带一个独有correlation_id属性,这样客户端在回调队列中根据correlation_id字段的值就可以分辨此响应属于哪个请求。
客户端发送请求:某个应用将请求信息交给客户端,然后客户端发送RPC请求,在发送RPC请求到RPC请求队列时,客户端至少发送带有reply_to以及correlation_id两个属性的信息。
服务器端工作流程:等待接受客户端发来RPC请求,当请求出现的时候,服务器从RPC请求队列中取出请求,然后处理后,将响应发送到reply_to指定的回调队列中。
客户端接受处理结果:客户端等待回调队列中出现响应,当响应出现时,它会根据响应中correlation_id字段的值,将其返回给对应的应用。
过程:
- 启动RPC服务端,等待接收数据到来,来了之后就进行处理,再将结果丢进队列
- 启动RPC客户端,发起请求
rpc_server.py
import pika credentials = pika.PlainCredentials("pd", "123456") connection = pika.BlockingConnection(pika.ConnectionParameters(host="localhost", port=5672, credentials=credentials)) channel = connection.channel() # 声明RPC请求队列 channel.queue_declare(queue="rpc_xx") # 模拟一个进程,例如切菜师傅,等着洗菜师傅传递数据 def add(n): # 对RPC请求队列中的请求进行处理 n += 100 return n def on_request(ch, method, props, body): print(body, type(body)) n = int(body) print("正在处理add(%s)" % n) # 调用数据处理方法 response = add(n) # 将处理结果(响应)发送到回调队列 ch.basic_publish(exchange="", # reply_to代表回复目标 routing_key=props.reply_to, # correlation_id(关联标识),用来将RPC的响应和请求关联起来。 properties=pika.BasicProperties(correlation_id=props.correlation_id), body=str(response)) ch.basic_ack(delivery_tag=method.delivery_tag) # 负载均衡,同一时刻发送给该服务器的请求不超过一个 channel.basic_qos(prefetch_count=1) channel.basic_consume(on_request, queue="rpc_xx") print("等待接收RPC请求") # 开始消费 channel.start_consuming()
rpc_client.py
import pika import uuid class RpcClient(object): def __init__(self): # 客户端启动时,创建回调队列,会开启会话用于发送RPC请求以及接受响应 # 建立连接,指定服务器的ip地址 credentials = pika.PlainCredentials("pd", "123456") self.connection = pika.BlockingConnection(pika.ConnectionParameters(host="localhost", port=5672, credentials=credentials)) # 建立一个会话,每个channel代表一个会话任务 self.channel = self.connection.channel() # 声明回调队列,再次声明的原因是,服务器和客户端可能先后开启,该声明是幂等的,多次声明,但只生效一次 # exclusive=True 是指只对首次声明它的连接可见 # exclusive=True 会在连接断开的时候,自动删除该队列 result = self.channel.queue_declare(exclusive=True) # 将次队列指定为当前客户端的回调队列 self.callback_queue = result.method.queue # 客户端订阅回调队列,当回调队列中有响应时,调用"on_response"方法对响应进行处理 self.channel.basic_consume(self.on_response, queue=self.callback_queue, no_ack=True) # 对回调队列中的响应进行处理的函数 def on_response(self, ch, method, props, body): if self.corr_id == props.correlation_id: self.response = body # 发出RPC请求 # 例如这里服务端就是一个切菜师傅,菜切好了,需要传递给洗菜师傅,这个过程是发送rpc请求 def call(self, n): # 初始化 response self.response = None # 生成correlation_id关联标识,通过python的uuid库,生成全局唯一标识ID,保证时间空间唯一性 self.corr_id = str(uuid.uuid4()) # 发送RPC请求内容到RPC请求队列"rpc_xx",同时发送的还有"reply_to"和"correlation_id" self.channel.basic_publish(exchange="", routing_key="rpc_xx", properties=pika.BasicProperties( reply_to=self.callback_queue, correlation_id=self.corr_id, ), body=str(n)) while self.response is None: self.connection.process_data_events() return self.response # 建立客户端 rpc = RpcClient() # 发送RPC请求,丢进rpc队列,等待客户端处理完毕,给与响应 print("发送了请求sum(100)") response = rpc.call(100) print("得到远程结果响应:%s" % response)