一 互斥锁
进程之间数据不共享,但是共享同一套文件系统,所以访问同一个文件,或同一个打印终端,是没有问题的,而共享带来的是竞争,竞争带来的结果就是错乱,如下
from multiprocessing import Process,Lock import time def task(name): print("%s 1" % name) time.sleep(1) print("%s 2" % name) time.sleep(1) print("%s 3" % name) if __name__ == "__main__": mutex = Lock() for i in range(3): p = Process(target=task,args=("进程 %s" % i,)) p.start()
结果是:
进程 0 1 进程 1 1 进程 2 1 进程 0 2 进程 1 2 进程 2 2 进程 0 3 进程 1 3 进程 2 3
如何控制,就是加锁处理。而互斥锁的意思就是互相排斥,如果把多个进程比喻为多个人,互斥锁的工作原理就是多个人都要去争抢同一个资源:卫生间,一个人抢到卫生间后上一把锁,其他人都要等着,等到这个完成任务后释放锁,其他人才有可能有一个抢到......所以互斥锁的原理,就是把并发改成穿行,降低了效率,但保证了数据安全不错乱
#由并发变成了串行,牺牲了运行效率,但避免了竞争
from multiprocessing import Process,Lock import time def task(name,mutex): mutex.acquire() # 加锁 print("%s 1" % name) time.sleep(1) print("%s 2" % name) time.sleep(1) print("%s 3" % name) mutex.release() # 释放锁 if __name__ == "__main__": mutex = Lock() for i in range(3): p = Process(target=task,args=("进程 %s" % i,mutex)) p.start()
结果
进程 0 1 进程 0 2 进程 0 3 进程 1 1 进程 1 2 进程 1 3 进程 2 1 进程 2 2 进程 2 3
互斥锁与join
使用join可以将并发变成串行,互斥锁的原理也是将并发变成穿行,那我们直接使用join就可以了啊,为何还要互斥锁,说到这里我赶紧试了一下
from multiprocessing import Process,Lock import time def task(name): print("%s 1" % name) time.sleep(1) print("%s 2" % name) time.sleep(1) print("%s 3" % name) if __name__ == "__main__": for i in range(3): p = Process(target=task,args=("进程 %s" % i,)) p.start() p.join()
结果是
进程 0 1 进程 0 2 进程 0 3 进程 1 1 进程 1 2 进程 1 3 进程 2 1 进程 2 2 进程 2 3
发现使用join将并发改成穿行,确实能保证数据安全,但问题是也变成只能一个一个人去查了,很明显应该是并发地去而无需考虑数据准确与否,此时join与互斥锁的区别就显而易见了,join是将一个任务整体串行,而互斥锁的好处则是可以将一个任务中的某一段代码串行,
总结
互斥锁是将部分变成串行,而join是整个变成串行。
加锁可以保证多个进程修改同一块数据时,同一时间只能有一个任务可以进行修改,即串行地修改,没错,速度是慢了,但牺牲了速度却保证了数据安全。
虽然可以用文件共享数据实现进程间通信,但问题是:
1、效率低(共享数据基于文件,而文件是硬盘上的数据)
2、需要自己加锁处理
因此我们最好找寻一种解决方案能够兼顾:
1、效率高(多个进程共享一块内存的数据)
2、帮我们处理好锁问题。
这就是mutiprocessing模块为我们提供的基于消息的IPC通信机制:队列和管道。
队列和管道都是将数据存放于内存中,而队列又是基于(管道+锁)实现的,可以让我们从复杂的锁问题中解脱出来,因而队列才是进程间通信的最佳选择。
我们应该尽量避免使用共享数据,尽可能使用消息传递和队列,避免处理复杂的同步和锁问题,而且在进程数目增多时,往往可以获得更好的可获展性。