一,Process类的介绍
Process([group [, target [, name [, args [, kwargs]]]]]),由该类实例化得到的对象,表示一个子进程中的任务(尚未启动) 强调: 1. 需要使用关键字的方式来指定参数 2. args指定的为传给target函数的位置参数,是一个元组形式,必须有逗号 参数介绍: 1 group参数未使用,值始终为None 2 target表示调用对象,即子进程要执行的任务 3 args表示调用对象的位置参数元组,args=(1,2,'egon',) 4 kwargs表示调用对象的字典,kwargs={'name':'egon','age':18} 5 name为子进程的名称
1 p.start():启动进程,并调用该子进程中的p.run() 2 p.run():进程启动时运行的方法,正是它去调用target指定的函数,我们自定义类的类中一定要实现该方法 3 p.terminate():强制终止进程p,不会进行任何清理操作,如果p创建了子进程,该子进程就成了僵尸进程,使用该方法需要特别小心这种情况。如果p还保存了一个锁那么也将不会被释放,进而导致死锁 4 p.is_alive():如果p仍然运行,返回True 5 p.join([timeout]):主线程等待p终止(强调:是主线程处于等的状态,而p是处于运行的状态)。timeout是可选的超时时间,需要强调的是,p.join只能join住start开启的进程,而不能join住run开启的进程
1 p.daemon:默认值为False,如果设为True,代表p为后台运行的守护进程,当p的父进程终止时,p也随之终止,并且设定为True后,p不能创建自己的新进程;必须在p.start()之前设置 2 p.name:进程的名称 3 p.pid:进程的pid 4 p.exitcode:进程在运行时为None、如果为–N,表示被信号N结束(了解即可) 5 p.authkey:进程的身份验证键,默认是由os.urandom()随机生成的32字符的字符串。这个键的用途是为涉及网络连接的底层进程间通信提供安全性,这类连接只有在具有相同的身份验证键时才能成功(了解即可)
在Windows操作系统中由于没有fork(linux操作系统中创建进程的机制),在创建子进程的时候会自动 import 启动它的这个文件,而在 import 的时候又执行了整个文件。因此如果将process()直接写在文件中就会无限递归创建子进程报错。所以必须把创建子进程的部分使用if __name__ ==‘__main__’ 判断保护起来,import 的时候 ,就不会递归运行了。
1、join(timeout):阻塞,直使用该方法的进程执行完成才结束阻塞
主线程等待p终止(强调:是主线程处于等的状态,而p是处于运行的状态)。timeout是可以选的超市时间,需要强调的是,p.join只能阻塞住start启动的进程,而不能阻塞住run开启的进程
#完全异步 import time import random from multiprocessing import Process def func(index): time.sleep(random.random(1,3)) print('第%s个邮件已经发送完毕'%index) if __name__ == '__main__': for i in range(10): Process(target=func,args=(i,)).start() print('10个邮件已经发送完毕') #完全同步 import time import random from multiprocessing import Process def func(index): time.sleep(random.random()) print('第%s个邮件已经发送完毕'%index) if __name__ == '__main__': for i in range(10): p = Process(target=func,args=(i,)) p.start() p.join() #阻塞:直到p进程(逐个)执行完毕就结束阻塞 print('10个邮件已经发送完毕') #子进程之间都是异步的,主进程与其他子进程是同步 import time import random from multiprocessing import Process def func(index): time.sleep(random.random(1,3)) print('第%s个邮件已经发送完毕'%index) if __name__ == '__main__': p_lst = [] for i in range(10): p = Process(target=func,args=(i,))
l p_lst.append(p) p.start() for p in p_lst: p.join() #阻塞:直到所有进程执行完毕就结束阻塞 print('10个邮件已经发送完毕')
2、开启进程的第二种方式
#开启进程的第二种方式 import os from multiprocessing import Process class MyProcess(Process): def run(self): print('子进程',os.getpid(),os.getppid()) if __name__ == '__main__': p = MyProcess() p.start() #开启一个子进程,让这个子进程执行run方法 print('主进程',os.getpid()) # 开启进程的第二种方式,并传参 class MyProcess(Process): def __init__(self,arg): super().__init__() self.arg = arg def run(self): print('子进程',os.getpid(),os.getppid(),self.arg) if __name__ == '__main__': p = MyProcess('参数') p.start() #开启一个子进程,让这个子进程执行run方法 print('主进程',os.getpid()) #开启进程的另一种方式,并多线程 class MyProcess(Process): def __init__(self,arg): super().__init__() self.arg = arg def run(self): print('第%s子进程'%self.arg,os.getpid(),os.getppid()) if __name__ == '__main__': p_lst = [] for i in range(10): p = MyProcess(i) p.start() #开启一个子进程,让这个子进程执行run方法 p_lst.append(p) for p in p_lst: p.join() print('主进程:10个子进程已完成',os.getpid())
3、守护进程:
1.一般情况,主进程会等待子进程完全结束才结束,守护进程会随着主进程的代码执行完毕而结束
2.如果主进程代码已经执行完毕,但是子进程还没执行完,守护进程都不会继续执行
3.主进程会等待子进程结束,守护进程只等待主进程代码结束就结束了
4.守护进程内无法再开启子进程,否则抛出异常
注意:进程之间是互相独立的,主进程代码运行结束,守护进程随机终止
import time from multiprocessing import Process def func(): print('子进程 start') time.sleep(3) print('子进程 end') if __name__ == '__main__': p = Process(target=func) p.daemon = True #设置p为一个守护进程,必须在start之前完成 p.start() print('主进程')
应用场景:程序报活
import time from multiprocessing import Process def func(): while True: time.sleep(5*60) print('我还活着') def main(): p = Process(target=func) p.daemon = True 守护进程:每隔5分钟就向一台机器汇报自己的状态 p.start() while 1: print('主程序7*24小时提供服务')
4.锁LOCK
1.为了保证数据安全
2.在异步的情况下,多个进程又可能同时修改同一份资源
3.解决方法就是给这个修改的过程加上锁
注意:加锁是会降低程序的效率,让原来能够同时执行的代码变成顺序执行了,异步变同步的过程,加锁保证了数据的安全
互斥锁llock:同一个进程,如果存在两个lock.acquire,后面lock.acquire无法执行,导致死锁
#加锁可以保证多个进程修改同一块数据时,同一时间只能有一个任务可以进行修改,即串行的修改,没错,速度是慢了,但牺牲了速度却保证了数据安全。 虽然可以用文件共享数据实现进程间通信,但问题是: 1.效率低(共享数据基于文件,而文件是硬盘上的数据) 2.需要自己加锁处理 #因此我们最好找寻一种解决方案能够兼顾:1、效率高(多个进程共享一块内存的数据)2、帮我们处理好锁问题。这就是mutiprocessing模块为我们提供的基于消息的IPC通信机制:队列和管道。 队列和管道都是将数据存放于内存中 队列又是基于(管道+锁)实现的,可以让我们从复杂的锁问题中解脱出来, 我们应该尽量避免使用共享数据,尽可能使用消息传递和队列,避免处理复杂的同步和锁问题,而且在进程数目增多时,往往可以获得更好的可获展性。
#lock应用场景:抢票 import json import time from multiprocessing import Process,Lock def dump_count(): dic = {'count':4} with open('ticket','w') as f: json.dump(dic,f) def get_ticket(person,lock): lock.acquire() with open('ticket') as f: dic = json.load(f) time.sleep(0.2) # print(dic,type(dic)) if dic['count'] > 0: print('%s买到票了'%person) dic['count'] -= 1 time.sleep(0.2) with open('ticket','w') as f: json.dump(dic,f) else: print('%s没买到票'%person) lock.release() if __name__ == '__main__': lock = Lock() dump_count() for i in range(10): p = Process(target=get_ticket,args=('person%s'%i,lock)) p.start()
5.信号量:变形的锁
信号量的实现机制:计数器+锁
互斥锁同时只允许一个线程更改数据,而信号量Semaphore是同时允许一定数量的线程更改数据 。
假设商场里有4个迷你唱吧,所以同时可以进去4个人,如果来了第五个人就要在外面等待,等到有人出来才能再进去玩。
实现:
信号量同步基于内部计数器,每调用一次acquire(),计数器减1;每调用一次release(),计数器加1.当计数器为0时,acquire()调用被阻塞。这是迪科斯彻(Dijkstra)信号量概念P()和V()的Python实现。信号量同步机制适用于访问像服务器这样的有限资源。
信号量与进程池的概念很像,但是要区分开,信号量涉及到加锁的概念
import time import random from multiprocessing import Process,Semaphore def ktv(person): sem.acquire() print('%s走进ktv'%person) time.sleep(random.randint(1,3)) print('%s走出ktv'%person) sem.release() if __name__ == '__main__': sem = Semaphore(4) for i in range(10): p = Process(target=ktv,args=('person%s'%i,sem)) p.start()
6.Event,事件
阻塞事件:wait()方法
wait是否阻塞是看event对象内部的一个属性
控制这个属性的值:
set()将这个属性的值改为True
clear()将这个属性的值改为False
is_set()判断当前的属性是否为True
python线程的事件用于主线程控制其他线程的执行,事件主要提供了三个方法 set、wait、clear。
事件处理的机制:
全局定义了一个“Flag”,如果“Flag”值为 False,那么当程序执行 event.wait 方法时就会阻塞,如果“Flag”值为True,那么event.wait 方法时便不再阻塞。
clear:将“Flag”设置为False
set:将“Flag”设置为True
#实例:红绿灯 import time from multiprocessing import Process,Event def traffic_light(e): # flag = False while True: if e.is_set(): print('