上次 gevent.hub.BlockingSwitchOutError: Impossible to call blocking function in the event loop callback 这篇文章记录的优雅退出的问题,前后还有些东西想记录一下。
一开始遇到的问题是本地运行某个服务(声明一下不是我写的),ctrl+c 结束时报错:
File "/usr/local/lib/python3.6/multiprocessing/process.py", line 122, in join
assert self._parent_pid == os.getpid(), 'can only join a child process'
经过调查(看代码查资料),发现原来是因为在启动多进程之前注册了信号处理的回调函数,并且在回调函数最后执行了对多进程的 join。有点像这样:
def run(self):
...
def start(self):
# 注册 SIGINT 信号的回调函数
signal.signal(signal.SIGINT, self.graceful_exit)
# 启动一个心跳协程
self.heartbeat_task = gevent.spawn(self.heartbeat)
# 创建子进程
self.workers = [multiprocessing.Process(
target=self.run) for _ in range(4)]
for worker in self.workers:
worker.start()
def graceful_exit(self, sig, frame):
...
# join 是等待进程结束
for worker in self.workers:
worker.join()
另外一点是,还在创建子进程前创建了一个 gevent 协程。而被用来的开发者忽略掉的重要问题就是:
创建子进程,也就是调用了操作系统的 fork,而 fork 会继承当前进程的信号处理回调函数以及协程,其实就是拷贝了整个当前进程,准确点说是写时拷贝,如果只是读的话,那读的都和原来进程是同一个内存。
明白了这一点,问题就很清晰了。