Python多进程

进程：是资源的集合，一个进程至少包含一个线程。所有程序的进程由系统的父进程拉起。如linux中所有进程由PID:1的进程创建

 

进程间数据交互：

这里需要用到进程包的queue，由于多个进程无法共享数据，所以没有办法使用import queue

from multiprocessing import Process,Queue

def pan(rr):
    rr.put([1,"2sdf"])

if __name__ == "__main__":
    #创建进程queue队列对象
    q = Queue()
    #创建子进程,target=函数名,args=进程队列对象
    p = Process(target=pan,args=(q,))
    #启动进程
    p.start()
    #获取队列中的值
    print(q.get())
    #等待进程结束
    p.join()

通过Pipe（管道）实现进程间数据交互

1、管道是一发一收机制

2、如果收的次数大于发的次数，程序就会卡住

from multiprocessing import Process,Pipe

def execut(conn):
    conn.send([1,"hello word"])
    print("接收主进程发来的消息：%s"%conn.recv())

if __name__ == "__main__":
    #创建管道对象，当管道对象创建后必定返回两个参数，把这两个参数分别赋给不同的进程即可
    Apipe,Bpipe = Pipe()
    p = Process(target=execut,args=(Bpipe,))
    p.start()
    print("接收子进程发来的消息：%s"%Apipe.recv())
    Apipe.send({"王阳明": "传习录"})
    p.join()

通过Manager包创建多进程共享

#进程间共享一份数据
#这里Manager实际是将主进程创建的内存对象拷贝给子进程，在所有进程结束后合并所有进程产生的数据。

from multiprocessing import Process,Manager
import os

def run(dt,lt):
    dt["name"] = "sober"
    dt["workdata"] = "2018-05-09"
    lt.append(os.getpid())
    print(lt)

if __name__ == "__main__":
    with Manager() as mng:
        #使用Manager对象创建一个共享字典
        dt = mng.dict()
        #使用Manager对象创建一个共享列表
        lt = mng.list()
        #存储子进程对象
        plist = []
        for i in range(5):
            #创建子进程
            p = Process(target=run,args=(dt,lt))
            p.start()
            plist.append(p)
        for n in plist:
            #等待所有子进程结束
            n.join()

        print(dt)
        print(lt)

进程池使用

from multiprocessing import Process,Pool
import os

def run(n):
    #创建子进程执行函数
    print("Start number: %s"%n)

def backDef(b):
    #显示回调函数的信息，打印执行回调函数的PID
    print("CallBacke Def :%s"%b,os.getpid())

if __name__ == "__main__":
    print("Print master processes PID:%s"%os.getpid())
    #定义一个进程池，限制进程数为：2
    pl = Pool(processes=2)
    #创建进程
    for i in range(10):
        #异步进程，func=进程执行方法名，args=方法参数，callback=回调函数
        pl.apply_async(func=run,args=(i,),callback=backDef)
    print("Test finish")
    #先关闭池子，在等待池子内的工作都完成
    pl.close()
    pl.join()