pika不支持多线程的rpc，虽然可以用多进程做到，但进程比线程更要耗费资源，而且多进程支持的也并不是很好，会出现偶发的异常。
https://stackoverflow.com/questions/49154404/pika-threaded-execution-gets-error-505-unexpected-frame
根据文章的指引，最快的方式就是放弃pika模块，换成kombu。
示例
文档
Kombu模块的文档地址：https://docs.celeryproject.org/projects/kombu/en/stable/
安装
pip install kombu
代码
服务端任然采用旧的pika模块的代码，因为服务端不需要多线程去执行命令，单线程即可，客户端代码更换为kombu模块。
- 服务端代码
#!/usr/bin/python3
# _*_ coding: utf-8 _*_
"""
@Software: PyCharm
@File: RPCCmd.py
@Author: 高留柱
@E-mail: liuzhu.gao@foxmail.com
@Time: 2020/7/6 15:49
"""
import pika
import uuid
import json
class CMD:
def __init__(self):
"""
初始化函数的时候就建立管道，接收服务端的任务结果
"""
credentials = pika.PlainCredentials('qpm', 'cljslrl0620')
self.connection = pika.BlockingConnection(pika.ConnectionParameters(
"it.sucheon.com", credentials=credentials, virtual_host="qpm"))
self.channel = self.connection.channel()
# 建立随机管道，用于告诉服务端，任务的结果放在这个随机管道中
result = self.channel.queue_declare('', exclusive=True)
self.callback_queue = result.method.queue
# 从随机管道中取任务
self.channel.basic_consume(
queue=self.callback_queue,
on_message_callback=self.on_response, # 回调函数
auto_ack=True,
)
# 收到任务结果的回调函数
def on_response(self, ch, method, props, body):
# 如果客户端的随机字符串和服务端发送过来的随机字符串相等，就代表着该结果属于该任务
if self.corr_id == props.correlation_id:
self.response = body
def call(self, cmd, port):
"""
:param cmd:
:return:
exchange: 交换器
routing_key: 是管道的名字
reply_to: 告诉服务端执行完命令把结果丢到哪个管道中
"""
# TODO: 根据port查询UUID
self.response = None
self.corr_id = str(uuid.uuid4()) # 唯一标识符, 用于标识服务端的结果和客户端命令之间的联系，防止服务端和客户端命令和结果不对等
self.channel.basic_publish(exchange="",
routing_key=str(port),
properties=pika.BasicProperties(
reply_to=self.callback_queue,
correlation_id=self.corr_id,
),
body=str(cmd))
# 最多等待10秒，10秒内有值立刻返回
self.connection.process_data_events(time_limit=30) # 检查队列中有没有新消息，没加time_limit代表不会阻塞，加了之后会进入阻塞态
if self.response is None:
# 如果服务端没有返回值的话，将删除任务管道，以免积累消息，但会导致服务端脚本停止堵塞态，结束运行
# 如果不删除任务管道的话，也没啥大问题，就是当服务端重新连接rabbitMQ的时候，会把之前没接收到的命令全部执行一遍，但接收结果的管道并不会积压
self.channel.queue_delete(queue=str(port))
return {"status": 1, "stdout": "", "stderr": "连接超时，请重试！".encode('utf-8')}
return json.loads(self.response)
- 客户端代码
pika替换为kombu，实现多线程执行命令，且限制命令超时时间为10秒，无响应后终止命令执行。
#!/usr/bin/python3
# _*_ coding: utf-8 _*_
"""
@Software: PyCharm
@File: rpc_kombu.py
@Author: 高留柱
@E-mail: liuzhu.gao@foxmail.com
@Time: 2020/8/6 15:35
@Notes:
"""
import subprocess
import json
import os
import time
from kombu import Producer, Queue, Connection
from kombu.mixins import ConsumerProducerMixin
from concurrent.futures import ThreadPoolExecutor
# 开启线程池，提供多用户同时操作
pool = ThreadPoolExecutor(5)
def execute_cmd(cmd):
timeout = 10
try:
p = subprocess.Popen(cmd, stderr=subprocess.PIPE, stdout=subprocess.PIPE, preexec_fn=os.setsid, shell=True,
close_fds=True)
p.wait(timeout)
out = p.stdout.read().decode("utf-8").strip("
")
err = p.stderr.read().decode("utf-8").strip("
")
return json.dumps({'status': int(p.returncode), 'stdout': out, 'stderr': err})
except Exception as e:
print(e)
return json.dumps({'status': 1, 'stdout': '', 'stderr': str(e)})
finally:
try:
p.stdout.flush()
p.stderr.flush()
p.stdout.close()
p.stderr.close()
p.kill()
os.killpg(p.pid, subprocess.signal.SIGKILL)
except:
pass
def getPort():
port = json.loads(execute_cmd("/bin/echo $PORT")).get('stdout')
if not port:
port = json.loads(execute_cmd('/bin/hostname')).get('stdout').split('-')[-1]
return port
# 队列的名字
port = getPort()
rpc_queue = Queue(port)
class Worker(ConsumerProducerMixin):
def __init__(self, connection):
self.connection = connection
def task(self, message):
cmd = message.payload # 获取消息内容
result = execute_cmd(cmd)
self.producer.publish(
body=result,
exchange='',
routing_key=message.properties['reply_to'],
correlation_id=message.properties['correlation_id'],
# serializer='json', # 序列化器
retry=False,
expiration=3, # 设置消息到期时间，单位是秒
)
message.ack()
def get_consumers(self, Consumer, channel):
return [Consumer(
queues=[rpc_queue],
on_message=self.on_request,
accept={'application/json'},
# prefetch_count=1,
no_ack=True, # 自动确认消息，为True自动确认收到消息，为False或不写的话，不会自动确认消息，消息执行失败，下次重启还能收到该消息
)]
def on_request(self, message):
try:
pool.submit(self.task, message)
# t_obj = Thread(target=self.task, args=(message,))
# t_obj.start()
except Exception as e:
print(e)
def Main():
try:
with Connection('amqp://qpm:cljslrl0620@it.sucheon.com/qpm') as conn:
Worker(conn).run()
except Exception as e:
print(e)
if __name__ == '__main__':
Main()