大家都知道python脚本执行的时候不是很快,特别是python下面的多线程机制,长久以来一直被大家所诟病。所以,很多同学都在思考python下面有没有什么方法可以让python执行地更快一些。其中这些方法包括:1、将复杂的代码转由c完成;2、多进程并发执行;3、用多线程完成io操作等等。另外,这几年,大家讨论最多的大概还是gevent协程机制。
1、协程的基本原理
gevent的基本原理来自于libevent&libev。熟悉c语言的同学对这么一个lib应该不陌生。本质上libevent或者说libev都是一种事件驱动模型。这种模型对于提高cpu的运行效率,增强用户的并发访问非常有效。但是因为它本身是一种事件机制,所以写起来有点绕,不是很直观。所以,为了修正这个问题,有心人引入了用户侧上下文切换的机制。这就是说,如果代码中引入了带io阻塞的代码时,lib本身会自动完成上下文的切换,全程用户都是没有觉察的。这就是gevent的由来。
2、gevent安装
ubuntu下面可以直接用apt-get安装gevent库。
sudo apt-get install python-gevent
3、gevent入门
为了说明gevent的使用方法,我们可以看一段简单的代码,
import gevent def f1(): for i in range(5): print 'this is ' + str(i) gevent.sleep(0) def f2(): for i in range(5): print 'that is ' + str(i) gevent.sleep(0) t1 = gevent.spawn(f1) t2 = gevent.spawn(f2) gevent.joinall([t1, t2])
通过打印输出,可以看出f1和f2是交叉打印信息的,因为在代码执行的过程中,由用户自己主动调用了切换函数。
4、延时操作
关于延时,我们只需要将上面的代码修改一下,即将sleep时间变长即可,
import gevent def f1(): for i in range(5): print 'this is ' + str(i) gevent.sleep(3) def f2(): for i in range(5): print 'that is ' + str(i) gevent.sleep(3) t1 = gevent.spawn(f1) t2 = gevent.spawn(f2) gevent.joinall([t1, t2])
5、锁操作
虽然是协程,但是在里面添加锁增加对共享资源的互斥访问也是非常重要的,此外锁本身的添加也是很简单的,
import gevent from gevent.lock import Semaphore sem = Semaphore(1) def f1(): for i in range(5): sem.acquire() print 'this is ' + str(i) sem.release() def f2(): for i in range(5): sem.acquire() print 'that is ' + str(i) sem.release() t1 = gevent.spawn(f1) t2 = gevent.spawn(f2) gevent.joinall([t1, t2])
6、延时和锁
大家可以看一下如果锁和延时一起使用,会怎么样?
import gevent from gevent.lock import Semaphore sem = Semaphore(1) def f1(): for i in range(5): sem.acquire() print 'this is ' + str(i) sem.release() gevent.sleep(2) def f2(): for i in range(5): sem.acquire() print 'that is ' + str(i) sem.release() t1 = gevent.spawn(f1) t2 = gevent.spawn(f2) gevent.joinall([t1, t2])
7、gevent下的monkey机制
要是gevent说到这里,只能算的上还行。我个人觉得gevent另外一个特别厉害的功能就是它的monkey机制。简单来说,假设你不愿意修改原来已经写好的python代码,但是又想充分利用gevent机制,那么你就可以用monkey来做到这一点。你所要做的就是在文件开头打一个patch,那么它就会自动替换你原来的thread、socket、time、multiprocessing等代码,全部变成gevent框架。这一切都是由gevent自动完成的。注意这个patch是在所有module都import了之后再打,否则没有效果。
from gevent import monkey; monkey.patch_all() import gevent
---------------------
原文:https://blog.csdn.net/feixiaoxing/article/details/79056535