#-*-coding:utf-8-*- '''multiprocessing模块提供了一个Pool类来代表进程池对象 1、Pool可以提供指定数量的进程供用户调用,默认大小是CPU的核心数; 2、当有新的请求提交到Pool中,如果池还没有满,name就会创建一个新的进程用来执行改请求; 3、但如果池中的进程数已经达到规定最大值,那么该请求就会等待池中有进程结束,才会创建新的进程。 ''' from multiprocessing import Pool import os,time,random def run_task(name): print("任务:%s(%s)运行..."%(name,os.getpid())) time.sleep(random.random()*3) print("任务:%s 结束!"%name) if __name__=="__main__": print("当前进程ID: %s" %os.getpid()) p=Pool(processes=3) for i in range(5): p.apply_async(run_task,args=(i,)) print("等待所有进程结束。") p.close() p.join() print("所有进程结束") '''Pool对象调用join()方法会等待所有子进程执行完毕,调用join()之前 必须先调用close(),调用close()之后就不能继续添加新的Process了''
摘自《Python爬虫开发与项目实战》