Python多进程
(所有只写如何起多进程跑数据,多进程数据汇总处理不提的都是耍流氓,恩,就这么任性)
(1)进程间数据问题,因为多进程是完全copy出的子进程,具有独立的单元,数据存储就是问题了
(2)多进程间同时写文件,会出现窜行问题,如果都是追加模式,a进程在写,b进程也在写,刚好a写到一半,b抢占了写了自己的内容,导致数据错乱
(3)为此提出可以安装数据库,多进程数据入库不就解决问题了。(傻啊,为了跑一个简单的小功能,还得额外装数据库软件,设置数据库授权,再写连库写库;多此一举么)
- 多进程跑数据(不管数据存储),怎么做? 例子如下
#!/usr/bin/env python
# -*- coding=utf-8 -*-
import json
import multiprocessing
def get_page(page):
return page
- 多进程间数据汇总,怎么做?